CN108447081A - 视觉系统中对彩色图像中色彩候选姿态评分的系统和方法 - Google Patents

视觉系统中对彩色图像中色彩候选姿态评分的系统和方法 Download PDF

Info

Publication number
CN108447081A
CN108447081A CN201810111897.3A CN201810111897A CN108447081A CN 108447081 A CN108447081 A CN 108447081A CN 201810111897 A CN201810111897 A CN 201810111897A CN 108447081 A CN108447081 A CN 108447081A
Authority
CN
China
Prior art keywords
image
color
trained
template
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810111897.3A
Other languages
English (en)
Inventor
J·戴维斯
D·J·迈克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of CN108447081A publication Critical patent/CN108447081A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种通过使用与边缘对齐候选姿态相关的受训色彩、灰度和/或距离(高度)信息(“色彩/灰度/距离”)在视觉系统的几何模板匹配工具中对候选姿态进行评分的系统和方法。受训模板包括测试点集中相关的色彩/灰度/距离信息。在运行时获取或者提供色彩、灰度和/或距离图像。运行时姿态具有与受训模板相关的色彩/灰度/距离图像的坐标空间，其中所述运行时姿态由对齐工具生成。色彩/灰度/距离测试点被映射到图像的坐标空间上。然后在各个映射的测试点上确定匹配。基于所述测试点确定分数。所述分数连同运行时间中的对齐结果一起使用以从(例如)获取的运行时目标图像中接受或者退回候选姿态。

Description

视觉系统中对彩色图像中色彩候选姿态评分的系统和方法
技术领域
本发明涉及成像现场中的对象对齐和检查的机器视觉系统及相关方法。
背景技术
机器视觉系统，本文中又名“视觉系统”，用于在生产环境中执行各种任务。一般说来，视觉系统由一个或者多个带有图像传感器的摄像机组成，所述摄像机获取现场的灰度或者彩色图像，而所述现场又含有生产对象。分析所述对象的图像以向用户及相关生产过程提供数据/信息。通常通过一个或者多个视觉系统处理器中的视觉系统对由图像所产生的数据进行分析和处理，而所述视觉系统处理器可以是特定用途的，又或者是通用计算机(例如PC，笔记本电脑，平板电脑或者智能电话)中的一个或多个软件应用程序的一部分。
常规视觉系统任务包括对齐和检查。在对齐任务中，视觉系统工具，例如众所周知的、可通过商业途径从Cognex Corporation of Natick，MA获取的系统，比较现场图像中的特征以训练模板(使用实际的或者合成的模型)，并确定成像现场中模板的存在/缺席及姿态。此信息能在后续的检查(或其它)操作中使用，以搜索缺陷和/或执行其它操作，例如部件退回。
对于视觉系统来说，将某些成像的特征与受训模板匹配是非常具有挑战性的。这由缺乏高对比度的边缘(大部分模板匹配工具以此作为基础做出匹配决定)所导致。杂波的存在，即独立于期望的边缘的对比特征的存在，可用于协助做出匹配决定，正如申请号为14/580,153，名为SYSTEM AND METHOD FOR DETERMINING CLUTTER IN AN ACQUIRED IMAGE(确定获取的图像中杂波的系统和方法)，Jason Davis等人于2014年12月24号提交的美国专利申请所描述的那样，所述专利申请的公开文件通过引用全文并入作为有益的背景信息。此系统和方法操作时识别运行时基于灰度的杂波，特别是，其可确定杂波分数，而所述杂波分数使得关于受训模板的候选姿态的匹配成为可能。所述受训模板具有表现受训模板中空集(emptiness)水平的杂波测试点集。具有关于受训模板的图像坐标空间的运行时姿态得以建立。所述杂波测试点然后被映射到所述图像的坐标空间上，然后所述空集水平在映射的杂波测试点上得以确定。基于空集水平，获取图像(至少一部分)中的杂波大小也得以确定。
在机器视觉的许多应用中，对含有不同于边缘的清晰的图像信息，如颜色、灰度等级和/或高度(距离信息)。与杂波估算值在高梯度区域中稳定性较差相类似，色彩、灰度和/或距离(高度)典型地在目标边缘-高梯度区域-中较为不稳定，而这些高梯度区域，典型地在传统几何模板匹配过程和/或算法中作为特征得到使用。
发明内容
本发明通过提供一种在视觉系统的几何模板匹配工具中对候选姿态进行评分的系统和方法，所述系统和方法使用除了(例如)基于边缘的匹配技术外以及杂波评分之外，还使用与候选姿态相关的受训色彩、灰度和/或距离(高度)信息(术语为“色彩/灰度/距离”)。所述系统和方法以此提供包括相关色彩、灰度和/或距离信息的受训模板，此受训模板的特征在于色彩/灰度/距离测试点集。所述色彩/灰度/距离测试点集在受训模板中提供，通常选择性的位于受训图像中最低梯度的区域。在运行时间上，现场中一个或者多个目标的色彩、灰度和/或距离图像被获取和/或馈给所述系统和方法。运行时姿态具有与受训模板相关的色彩/灰度/距离图像的坐标空间，其中所述运行时姿态由几何模板匹配(对齐)工具和处理所生成。所述色彩/灰度/距离测试点被映射到图像的坐标空间上。然后，色彩/灰度/距离匹配在各个映射的色彩/灰度/距离测试点上确定。基于色彩/灰度/距离测试点匹配，色彩/灰度/距离分数在图像的至少一部分中(与有用目标相关)得以确定。通常说来，所述分数，通过提供基于低梯度区域内的匹配的色彩/灰度/距离的存在/缺席的额外评分度量，可为用户提供与受训模板和候选姿态之间的匹配的质量相关的信息。可选地，所述分数可连同运行时间上的几何模板匹配对齐结果使用，用于从获取的运行时目标图像中接受或者退回候选姿态。可选地，同样的测试点或者具有类似的低梯度的测试点也可用于测量杂波。
在示例性的实施例中，一种通过具有摄像机总成和视觉系统处理器的视觉系统针对彩色图像对受训彩色模板的候选姿态进行评分的系统和方法得以提供。视觉系统处理器包括带有表示受训模板中色彩匹配信息的色彩测试点集的受训彩色模板。所述色彩测试点至少位于与彩色图像的强度图像表示相关的低梯度区域。现场的运行时彩色图像被提供给视觉系统处理器，其创建与受训模板相关的运行时彩色图像的具有坐标空间的运行时姿态，其中所述运行时姿态由几何对齐过程所产生。图像的坐标空间上的色彩测试点被映射，以及色彩匹配得以确定，分别地，在映射的色彩测试点上。基于色彩匹配，在至少一部分运行时彩色图像中色彩匹配分数得以确定。示例性地，色彩匹配的确认包括将受训彩色模板的预设色彩空间中的色彩值配给映射的色彩测试点上的运行时彩色图像。姿态的创建可包括(a)使用视觉系统中的对齐工具以自动对齐运行时图像至受训色彩模板以及(b)从用户输入处获得指明姿态的信息中的至少一项。所述系统和方法可应用遮蔽至运行时彩色图像，其中所述遮蔽指明运行时彩色图像的哪些区域可用于色彩匹配估算。示例性地，强度图像可从受训彩色模板和运行时彩色图像中的至少一项中生成，供几何对齐过程使用。所述色彩测试点基于梯度幅度阈值被布置在低梯度区域，其中所述梯度幅度阈值可由(a)用户输入参数以及(b)系统生成的参数中的至少一项创建。
在另外的示例性实施例中，一种通过具有摄像机总成和视觉系统处理器的视觉系统针对灰度图像对受训灰度模板的候选姿态进行评分的系统和方法得以提供。视觉系统处理器包括带有表示受训模板中灰度匹配信息的灰度测试点集的受训灰度模板。所述灰度测试点至少位于与灰度图像的强度图像表示相关的低梯度区域。现场的运行时灰度图像被提供给视觉系统处理器，其创建与受训模板相关的运行时灰度图像的具有坐标空间的运行时姿态，其中所述运行时姿态由几何对齐过程所产生。图像的坐标空间上的灰度测试点被映射，以及灰度匹配得以确定，分别地，在映射的灰度测试点上。基于灰度匹配，在至少一部分运行时灰度图像中灰度匹配分数得以确定。示例性地，灰度匹配的确认包括将受训灰度模板的预设灰度空间中的灰度值配给映射的灰度测试点上的运行时灰度图像。姿态的创建可包括(a)使用视觉系统中的对齐工具以自动对齐运行时图像至受训灰度模板以及(b)从用户输入处获得指明姿态的信息中的至少一项。所述系统和方法可应用遮蔽至运行时灰度图像，其中所述遮蔽指明运行时灰度图像的哪些区域可用于灰度匹配估算。示例性地，强度图像可从受训灰度模板和运行时灰度图像中的至少一项中生成，供几何对齐过程使用。所述灰度测试点基于梯度幅度阈值被布置在低梯度区域，其中所述梯度幅度阈值可由(a)用户输入参数以及(b)系统生成的参数中的至少一项创建。
在另外的示例性实施例中，一种通过具有摄像机总成和视觉系统处理器的视觉系统针对距离图像对受训距离模板的候选姿态进行评分的系统和方法得以提供。视觉系统处理器包括带有表示受训模板中距离匹配信息的距离测试点集的受训距离模板。所述距离测试点至少位于与距离图像的强度图像表示相关的低梯度区域。现场的运行时距离图像被提供给视觉系统处理器，其创建与受训模板相关的运行时距离图像的具有坐标空间的运行时姿态，其中所述运行时姿态由几何对齐过程所产生。图像的坐标空间上的距离测试点被映射，以及距离匹配得以确定，分别地，在映射的距离测试点上。基于距离匹配，在至少一部分运行时距离图像中距离匹配分数得以确定。示例性地，距离匹配的确认包括将受训距离模板的预设距离空间中的距离值配给映射的距离测试点上的运行时距离图像。姿态的创建可包括(a)使用视觉系统中的对齐工具以自动对齐运行时图像至受训距离模板以及(b)从用户输入处获得指明姿态的信息中的至少一项。所述系统和方法可应用遮蔽至运行时距离图像，其中所述遮蔽指明运行时距离图像的哪些区域可用于距离匹配估算。示例性地，强度图像可从受训距离模板和运行时距离图像中的至少一项中生成，供几何对齐过程使用。所述距离测试点基于梯度幅度阈值被布置在低梯度区域，其中所述梯度幅度阈值可由(a)用户输入参数以及(b)系统生成的参数中的至少一项创建。
在另外的示例性实施例中，通过视觉系统训练模板的系统和方法得以提供，所述视觉系统包括摄像机总成和工作时连接至摄像机总成的视觉系统处理器。训练模块接收训练图像数据，识别低梯度幅度区域和基于色彩、灰度强度和距离中的至少一项在与图像数据相关区域中应用最多为最大测试点数的测试点。示例性地，所述视觉系统处理器包括运行时对齐模块，所述运行时对齐模块被设置为(a)获取现场的运行时图像数据和(b)创建运行时图像数据的具有与受训模板相关的坐标空间的运行时姿态，其中所述运行时姿态由几何对齐处理所生成，以及(c)运行时图像数据的坐标空间上的色彩测试点。所述视觉系统处理器可包括一匹配过程，所述匹配过程被设置为(a)确认受训模板和运行时图像数据之间的色彩、灰度强度和距离匹配中的至少一项以及(b)确认运行时图像数据的至少一部分中的匹配分数。连同几何对齐过程一起使用，基于受训距离图像模板和运行时图像数据中的至少一项，强度图像得以生成。示例性地，基于(a)视觉系统中将运行时图像自动对齐至受训模板的对齐工具以及(b)从用户输入获得的指明姿态的信息。在实施例中，遮蔽可应用于运行时图像中，其中所述遮蔽指明了运行时图像哪些区域可用于匹配估算。
附图说明
以下对本发明的描述引用了附图，其中：
图1为被设置为获取目标表面的色彩、灰度和/或距离图像的视觉系统的示意图，其中所述目标含有示例性特征，其中存在具有区别性的色彩、灰度水平和/或高度的区域；
图2为连同图1的几何模板匹配工具使用的在训练时间和运行时间操作内推导强度图像信息的整体程序；
图3为基于模型图像建立色彩/灰度/距离测试点的训练程序的流程图，其用于确定一对齐的运行时图像候选姿态内的测试点上的对应色彩/灰度/距离信息；
图3A为训练时间或者运行时间上的示例性特征集的示意图，其中色彩/灰度/距离测试点填充了含有所述特征集的有用的示例性区域；
图3B为图3A的示例性特征集和测试点网格的示意图，其示出了根据一具体实施例的对相对较高梯度区域中测试点的省略；
图4为连同图3的训练程序使用的用于确立Color/Grayscale/RangePixelCount和TrainingPixelCount的值的程序的流程图，
图5为运行时色彩/灰度/距离信息匹配确定程序的流程图，其中色彩/灰度/距离测试点被映射至运行时图像候选姿态上，以及训练和运行时测试点之间的匹配由此而得以确定；以及
图6为在图5的运行时确定程序中使用的色彩/灰度/距离匹配分数确定程序的流程图。
具体实施方式
图1示出了一种机器视觉系统的结构(简单地又名为“视觉系统”)100，用于检查和/或分析位于现场110中的目标的表面上的特征，所述现场110在视觉系统摄像机总成120的视野(FOV)112中成像。所述摄像机总成120，基于任意可接受的图像技术，例如CCD或者CMOS，可具有任意可接受的部件机构，并典型地包括镜片总成122和容纳图像传感器(或“成像器”)126的摄像机主体124。成像器126可被设置为获取图像像素阵列中两个维度(例如长度L和宽度W)上的图像。在不同实施例中，摄像机还能被设置为在也定义了目标高度H的工作空间(例如锥体体积129)内获取关于成像现场的三维(3D)信息。不同的3d技术能被采用，例如包括，但不限于，激光位移传感器(分析器)，立体摄像机，声纳，激光或者LIDAR测距摄像机，飞秒传感器，以及各种其它被动或者主动距离感应技术。此类摄像机生成距离图像，其中生成的图像像素阵列(典型地具有沿正交的x和y轴定位的特点)含有每一像素的第三(高度)维(典型地具有沿垂直于x-y平面的z轴定位的特定)。
摄像机主体可含有不同的图像处理部件，其构成了执行相关视觉处理的视觉处理器130。所述视觉处理器基于获取的现场图像进行运算，并利用视觉系统工具和进程132从获取的图像中提取信息。这些信息与有用特征和出现在图像内的其它物体相关-例如，视觉系统工具，比如同样是众所周知的可从Cognex Corporation of Natick，MA获取的and/or PatMax 可用于分析图像中的特征并处于提供相关的姿态、对和其它细节信息-例如存在/缺席，等。这些工具通常能用于执行几何模板匹配134。
当某些或者全部视觉系统处理能在摄像机总成120的主体124内实体化时，可清楚地预见到，某些或者全部处理(如虚线箭头134所示)能通过互连(有线或者无线)的计算机设备/处理器，比如特定用途的处理器或者通用计算机(例如服务器，PC，笔记本电脑，智能电话，平板电脑，等等)140，其具有合适的用户界面142和显示器144，146和显示器148。互连的计算机设备/处理器140能利用处理的图像数据执行进一步的应用任务(即使用“应用元”或者|“应用程序信息”处理)150。举例来说。在视觉系统执行检查任务时，所述信息用于为数据库或者在生产线上退回有缺陷的部件提供质量控制信息。所述信息还能用于(例如)物流应用，通过读取目标上的标签和/或ID码。不同的使用任务同样能通过图像数据和相应的信息得以实现。注意到，当示出单个摄像机120时，整个“摄像机总成”可包括多个摄像机(例如额外的摄像机128，显示为虚线)，每个摄像机均可对现场成像，所述多个摄像机定义了整个FOV/工作空间。此类摄像机能通过视觉系统处理器130，或者其它处理方式，结合到一起。不同的标定技术对本领域的技术人员而言是公知的，在对现场和其中的目标成像时，这些标定技术可用于建立摄像机间的共用坐标系。
在说明性的实施例中，所述视觉处理和处理器包括判定处理(器)(又名为“模块”)160，其在训练时间和运行时间内在成像的现场/目标的有用区域中查找并分析色彩值/水平、灰度和/或距离信息(这三类供选择的度量在本文中名为“色彩/灰度/距离”)。无论是色彩、灰度或者距离，其处理均基于摄像机的固有性能进行，以及，鲜明图像信息的形式可在远离目标边缘的位置上正确地识别目标。举例来说，当分析不同的具有离散颜色的目标时，可使用色彩测定处理。如果目标间的灰度阴影不同，距离测定处理则是适用的。通常，根据本文的一个实施例，测定处理(器)或者模块运行时确定获取的图像中的色彩/灰度/距离的大小。色彩典型地具有与图像中每一色彩像素相关的3个变量-例如红、绿和蓝(RGB)，蓝绿、洋红和黄色(CMY)，HIS，HSV，等等。这些变量表现在“色彩空间”中，其中每一数值均具有预设范围内的数字。类似地，灰度由一系列灰阶所体现，可包括(例如)8-16比特。高度或者距离由“z”轴值所体现，其被定义为摄像机的标定工作空间内的距离-例如成像表面和传感器S的光学平面之间沿光轴的距离(例如以毫米为单位)。在每一种情况下，图像中的位置(通常由x和y坐标，或者其它2D阵列所定义)包括信息的此第三测量值，其为图像位置提供了相关的色彩、灰度或距离。
在示例性的结构100中，摄像机120(和128)在摄像机120(和128)的FOV112和/或工作空间129中对现场110进行成像。示例性的目标170位于现场110中。此目标包括示例性的特征171、172、173和174，被背景176所环绕。作为非限制性的例子，特征171、172、173和174可在色彩、灰度等级和/或距离上互相或者相对于背景176不同。再通过另外的非限制性例子，“贯穿”特征172和174具有类似的几何边缘结构，但在色彩、灰度等级和/或高度上不同。通过将这些区别加入到整体评分度量中，这些区别可用于补充或者加强基于边缘的模板匹配工具134的效果，以获得更可靠和精确的整体对齐效果，其中所述整体评分度量决定了哪个运行时候选姿态相对于受训模型模板能提供最好的对齐解决方案。
在确定图像中的色彩、灰度级以及距离值时，所述系统首先提供训练图像数据180，其典型地包括有用特征，并可基于实际的训练目标表面获取的图像和/或合成的图像数据获取。也就是说，所述训练图像和相关训练模板，可由(例如)CAD模型、合成的方形等提供的描述所指定。术语“训练图像”和“训练模板”应被更为广泛地理解为包括通常不依赖于像素值的数据集。在运行时间上，所述系统从获取的图像中接受图像数据184。这可基于实时获取或者存储的现场110和目标170的图像。所述系统能从训练和运行时操作中接收不同的输入参数190，下文将对此做出进一步说明。
现在参见图2，其示出了分析训练图像和运行时图像的初始程序200.在此初始程序中，如果需要可从彩色图像中建立强度图像。此图像典型地由强度值的阵列/矩阵所定义，每一强度值均与阵列中各个像素的位置相关联，所述强度值定义了特定范围(例如16比特)内的数字。在步骤210，在训练时间内，色彩/灰度/距离从一模型中获得，或者由用户/操作者提供(使用CAD表示，等)给系统。如果所述图像以灰度的形式获得或提供，其则会根据灰度级由强度值所定义。可选地，距离图像也可包括具有对应于强度图像的灰度级的像素，又或者可作为选择地，具有额外的强度图像。如下所述，几何模板匹配可基于距离图像和度图像之一，或者两者通过适当的组合方式存在。如果所述图像是彩色的，则其可被转化为强度图像，再步骤220。通过此种方式，所述几何模板匹配工具可在训练时间和运行时间上对其进行分析。所述强度图像可从彩色图像中通过所示的不同但适当的机制生成。举例来说，强度I可被确定为分配给每单一颜色的每一像素的值(例如绿色G像素的值。作为一种选择，I能被定义为每一像素的定义了色彩空间的各独立值的平均数(例如I＝Avg(R+G+B))。作为一种选择，加权的/归一化的平均值也可被用到(例如I＝αR+βG+γB,其中α+β+γ＝1)，此外，所述强度图像可通过本领域的技术人员使用摄像机电子学和/或拜耳滤波技术获取。
在程序230的步骤230中，强度/灰度/距离图像在训练时间内被馈送入几何模板匹配工具(图1中的134)中，其使用所述强度/灰度/距离图像执行所述程序并生成为训练模型的结果(步骤240)。
在运行时间上，如步骤250所示，运行时现场的强度/灰度/距离图像再次被生成，如上所述，并被馈送入几何模板匹配工具和程序(例如，Patmax 等等)中。这用于生成为姿态和得分的结果(步骤260)。
现在参见图3，其示出了程序300，用于创建训练模型，此模型用于如下所述的后续运行时色彩/灰度/距离判定程序。实际或者合成的训练图像在步骤310被提供给系统。所述训练图像被设置为像素的二维(2D)阵列，每一像素均具有坐标(x和y)以及相关的强度值(例如，多个色彩/色彩强度存在时)。作为一种选择，另一值，比如高度地图中的高度可在给定坐标上描述像素。另外，所述训练图像可包括至少一个有用特征-例如定义了对比鲜明的边沿和预设形状的印刷和/或图形。所述图像可从通过摄像机总成(或另外的摄像机结构)从物理模型中获取，或者可通过使用用户生成并插入到训练图像中的有用特征的预设形状合成，例如，预设的给定尺寸/比例的圆、方形、字母等等。作为一种选择，所述训练图像可为含有不同边缘和杂波的数据，无实际的2D图像，例如，引用有用区域中位置的强度矩阵和/或梯度值。
如步骤310进一步所述，可选的梯度图像可被创建。这可用于如本文所述的后续步骤。梯度图像通过测量相邻像素值之间的变化(例如强度级别)并将变化的程度定义为图像中每一离散的像素位置上的梯度值生成。
在步骤320中，程序300提供了所述训练图像的每一像素位置的姿态梯度幅度阈值。此阈值可作为用户输入(例如通过用户界面)或者系统提供的参数(例如存储值)提供。所述姿态梯度幅度阈值可通过使用判定图像数据的相关值(值的范围，等等)并在算法中利用这些值算出所述阈值的适当算法以不同方式算出，这在后文将得到描述。
在步骤330中，程序300生成与训练图像中每一指定的位置相关联的色彩/灰度/距离测试点。这些位置可基于像素位置获取，或与子像素位置相关联，或通常可通过关于训练图像的、可接受的坐标空间建立。色彩/灰度/距离测试点中的每一点均在各自的位置上创建，所述位置具有小于步骤320中提供的梯度幅度阈值的梯度幅度。换句话说，测试点(某些时候名为“探针”)在可被施加在图像中的弱边缘上，其中梯度幅度的测量/分析值(或者图像特征/特点的其它标记)低于给定的阈值。作为在低梯度位置上选择测试点的常见后果，它们如此施加，因此它们探测目标图像远离边缘(即高梯度)的区域，以及其它高梯度的区域。通常来说，所述测试点位于训练图像中梯度接近或者等于0的位置(即图像的稳定位置)。应该注意到，不同的实施例可省略输入阈值的使用，以支持被设为低梯度等级的默认值。在其它的实施例中，实际阈值被输入，此值可被(典型地)设为低数目，在此数目上测试点通常被从具有高于几乎零梯度值的图形区域中被省略掉。
通常，以上所述的梯度幅度阈值可在视觉系统中使用(例如)直方图以类似于噪音阈值的方式计算出，注意到，梯度图像可在步骤310中生成或提供。在步骤310中，梯度图像可直接从强度/灰度/距离图像中算出，或者作为一种选择，对于彩色图像，所述梯度图像可直接从彩色图像中算出。对于梯度图像中具有小于梯度幅度阈值的幅度的每一个像素，所述程序生成色彩/灰度/距离测试点。就其本身而言，所述系统考虑到(为稍后的运行时分析)训练图像/模板上在运行时间上应具有低梯度幅度的并因此作为提供测试点的潜在位置的位置。这些创建在训练图像上的测试点成为其上的色彩、灰度或距离信息被比较(训练时对比运行时)的位置。
参见图3和图4中的步骤330，根据一组MaxColor/Grayscale/RangePixels值，色彩/灰度/距离测试点的生成可被限制为图像中的一最大色彩/灰度/距离点之下(根据子程序400)。作为非限制性的例子，可使用默认值10000。就此而言，在步骤420中，生成的没有此上限(即步骤410中的MaxColor/Grayscale/RangePixelCount)的色彩/灰度/距离测试点的总数量被MaxColor/Grayscale/RangePixels值所除。说明性地，此值的平方根得以生成。举例来说，当总共20000个测试点生成时，但10000是最大值时，生成因子n变成(10,000/20,000)1/2，或者1.414。因此，在步骤430中，程序400可在水平方向和垂直方向两者上检查每第1.414个(every1.414’th pixel)像素(或者其它位于坐标空间中的位置，例如子像素)(取整，最近邻)，所述程序(图4中的步骤430)仅对那些具有低于梯度幅度阈值的梯度幅度值的像素/位置进行测试(如果在运行时图像中的那个位置上出现意料之外的数据，其则变成运行时间上的相关色彩/灰度/或距离值)。此程序400对整个图像数据的1/n(1/nth of)进行采样。生成的样本为MaxColor/Grayscale/RangePixels的估算值。应该清楚，其它不同的技术也可用于限制图像中的色彩/灰度/距离测试点的上限(cap)。因期望的特征，或缺乏这些特征，一些技术涉及从图像中省略某些区域，或者在某些区域中进行加权计算。程序400随后在步骤440中基于步骤430提供的像素/位置创建训练图像中的测试点的位置。根据程序300的步骤344(图3)，这些位置得以存储以供后续步骤使用(即在运行时间上)。
注意到，步骤340(虚线框)提供了可选的训练时间遮蔽(mask)。此步骤可在步骤330前或后出现，或在整个程序300内的合适时间上出现。训练图像中预设的测试点数目(例如10000)的配置可被进一步限制为或者筛选为被标记为与有用特征相关的位置。举例来说，“小心”标记可被放置在相关点上。此区域外的其它点可被标记为“不用小心”或者被此处理所忽略。举例来说，在其它因素之中，在具有红色按钮的图像中，通过与训练图像匹配的遮蔽图像，用户可指定只有所述红色按钮可用于(例如)颜色匹配。此方法也可用于基于预设灰度和/或范围/距离值的遮蔽。
还注意到，作为步骤310中梯度图像的创建和使用的替代品，所述程序可利用额外的处理方法/技术以生成边缘(举例来说，使用Sobel操作员或者其它类似的图像滤波器形式)。在定位图像中的边缘后，所述程序施加测试点到通常无边缘特征的位置上。这样，本文中的术语“梯度图像”应被更广泛地理解为包括在图像中定位边缘/高对比度区域以配置测试点的可选方法-其中这样的可选方法通过将测试点定位在图像中远离边缘特征的某些位置上实现了与使用梯度图像相类似的效果。说明性地，所述程序可具有图像中边缘的列表(例如作为合成训练数据集的一部分)，以及测试点因此可远离边缘定位。
作为非限制性的例子，并进一步说明，参见图3A，其示出了含有训练特征集360的FOV350的全部或者部分。在这种情况下，特征集360(边缘362)定义了一交叉模板，其类似于图1中离散的示例性模板172和174。边界框370(或者其它轮廓)位于含有特征360的区域附近。边缘362是目标的一部分，所述目标也含有至少一个其它的区别特征-相对于有界区域370中周围背景364的色彩、灰度阴影和高度/距离中的至少一项。边界框可被自动放置或者通过用户指定的程序放置，以完全包围有用的特征，但应避开明显地位于应对其进行分析的所需区域的外部的区域。在此例中，测试点380的几何网格得以建立，并通常跨越有界区域370。如图所示，这些测试点分属色彩、灰度等级或者范围/距离不同的区域。图像或者有用区域上的点分布的粒度是高度可变的，如网格的结构一样。在这种情况下，测试点在垂直和水平方向上是均匀分布的。测试点也可被设置在与边缘的普通轮廓更匹配的阵列中。同样地，当使用正交网格，阵列可被设置在(例如)极坐标网格中。图3A的图像，描绘了测试点380的阵列，其跨越整个图像，且与梯度幅度(边缘)无关，使得它难以与边缘362内、外的不同色彩/距离/强度区域区分开。然而，如图3B所示，程序300特别对图3A的训练或运行时图像进行了修改，因此靠近高梯度幅度的区域(边缘362)的测试点380被忽略。在此版本的图像中剩下的测试点明显地位于边缘362中或者位于背景区域370中。这样，测试点在图像中的实际布置典型地与图3B示出的实例一致。在此例子中，明显地位于每一区域内的测试点的布置使得所述程序可有效地描绘出不同色彩/灰度/强度的区域。
图5示出了运行时程序500，其中获取的图像(候选图像)被评分以确定匹配色彩、灰度登记或者距离相对于训练模型的程度。此图像由摄像机总成120(图1)所获取，并存储，或供给系统，用于步骤510中的运行时分析。在步骤520中，程序500计算图案的候选姿态和覆盖范围(原始)分数，并可选地，还计算杂波分数。如果原始分数低于“接受”阈值，候选运行时图像则被丢弃，并对下一候选姿态进行分析-示出一“拒绝”状态。覆盖范围的计算和有规律的图像“探针”的生成和其它运行时内图像的对齐/评分机制可通过如下所述的通过商业途径获得的模板匹配工具和处理方式(例如Cognex PatMax 等等)得以实现。此外，运行时遮蔽可用于避开对运行时图像的任何在运行时间上已经被遮蔽为与色彩/灰度/距离匹配程序无关的区域进行平分。注意到，至少一基础(例如粗略的)注册程序用于在整个过程中在合适的时间上通过训练图像的坐标空间对运行时图像的坐标空间进行对齐。
在步骤540中，发现的运行时图像的“姿态”用于将色彩/灰度/距离测试点映射到运行时图像的坐标空间上。对于每一个点，程序500在步骤550对其进行评分。步骤550中映射点的分数为色彩/灰度/距离图像和映射点上训练模板中色彩/灰度/距离图像的区别，或者为平均减去的(mean-subtracted)色彩/灰度/距离图像和映射点上训练模板中平均减去的色彩/灰度/距离图像的乘积。作为一种选择，所述分数可为绝对值或者此值的平方或者此值的数学函数。此结果可(作为非限制性的例子)乘以一合适的因子以重新调整其分数空间以归一化(即0和1之间)。注意到，其它归一化方式(或者无归一化)可用于不同的实施例中。作为运行时程序的非限制性例子(其在不同实施例中可以是多变的)，根据步骤560，计算出的分数信息用于通过程序500为运行时姿态和训练模板之间的匹配提供一总得分。在示例性的实施例中，参见图6，在步骤610中，程序600将来自所有映射色彩/灰度/距离测试点的所有色彩/灰度/距离匹配分数值加在一起。在步骤620中，此结果值然后除以像素/位置的总数在步骤620中得到的值(这满足梯度幅度阈值限定的要求-名为TrainingPixelCount)，以此在步骤630中推导出图像的总色彩/灰度/距离匹配分数(Color/Grayscale/RangeScore)。通过除以TrainingPixelCount的值，而不是除以Color/Grayscale/RangePixelCount的值，以获得作为结果的粗略平均值，并假设覆盖范围值1可在图像中提供和存在的潜在“正确”像素/位置一样多的匹配的色彩/灰度/距离像素/位置。最终记录的得分(CoverageScore–Color/Grayscale/RangeFactor*Color/Grayscale/RangeScore-ClutterScore)，被钳位在0上，其中Color/Grayscale/RangeFactor默认值为0.5。
留意到，运行时候选姿态中的色彩/灰度/距离匹配分数或者色彩/灰度/距离特性上的其它信息可由下游的(可选)处理过程和任务所使用，以执行不同的动作，比如(但不限于)停止生产线，响起警报，存储质量控制数据，和/或退回零部件。举例来说，如果对齐的姿态显示出与训练图像在色彩、灰度等级和/或高度上的高匹配度，潜在的运行时目标会被接受。如果在运行时姿态的色彩/灰度/距离测试点和训练模型的对应点之间存在不匹配，对齐就会失败(即使可用的边缘特征显得已经对齐)，那目标就会被退回。
说明性地，在以上包含的测定系统和方法中，在找到候选模板匹配后，色彩/灰度/距离信息可被映射到运行时图像上，然后每一测试点的色彩/灰度/距离信息可被匹配至在映射点上在运行时图像中出现的色彩(使用我们选择的任意度量，例如RGB空间中的欧几里德距离)。在不同的实施例中，聚合的色彩/灰度/距离分数被算出且被报告给客户，可选地，此分数用于构成总模板分数，例如，通过加上模板分数和色彩匹配分数，或者减去距离阈值外的色彩/灰度/距离测试点的比例。
应该清楚，色彩/灰度/距离测试点训练模板的生成使得在远离高梯度等级边缘的区域内的运行时候选图像上的非匹配特征的快速和可靠的检测成为可能，在部分图像中它更稳定。此方法可使得在执行更深入的和处理器/时间密集的分析之前接受和退回运行时候选姿态成为可能。以此增加运行效率和生产能力。
上文是对本发明的示例性实施例的具体说明，在不偏离本发明的精神和范围的情况下，可做出不同的修改和扩充。每一以上所述的实施例的特征均可视情况而定与其它描述的实施例的特征结合，以提供与新实施例相关的多种特征组合。此外，当上文描述了本发明的装置和方法的一些独立的实施例时，本文所描述的仅仅是本发明原理的应用的示例性说明。举例来说，术语“测试点”和/或“探针”应被更广泛地理解为包括图像坐标空间中的其它类型的几何结构，比如具有顶点的多边形，可在所述多边形中计算出色彩、灰度等级和/或距离/高度的平均值。也可想到，可在运行时间上使用遮蔽，因此对齐过程可省略那些位于遮蔽边界外的区域。这通过移除没有关联的特征或者那些没有用的特征加快了对齐过程。一般说来，图像中的区域可从色彩/灰度/激励测试点的位置中遮蔽出来，如果它们被认为是对图像分析而言是不重要的。此外，本文中使用的不同方向和取向术语(及其语法上的变形)，例如“垂直”、“水平”、“上”、“下”、“底”、“顶”、“侧”、“前”、“后”、“左”、“右”、“向前”、“向后”等等，仅用于相关的约定俗成，而不是相对于固定坐标系的绝对取向，例如作为重力的作用方向。此外，图示的过程和/或处理器可与其它过程和/或处理器结合，或者被分成子过程或者处理器。根据本文的实施例，这样的子过程和/或子处理器可多变地组合。同样地，可清楚地想到，任何本文的功能、处理或者处理机均可通过使用含有程序指令的非易失性计算机可读媒介的电子硬件、软件，或者硬件和软件的组合实现。综上所述，此说明旨在示例，而不是限制本发明的保护范围。

Claims (21)

1.一种通过具有摄像机总成和视觉系统处理器的视觉系统针对彩色图像对受训色彩模板进行候选姿态评分的方法，具有以下步骤：
为视觉处理器提供具有体现受训模板中色彩匹配信息的色彩测试点集的受训色彩模板，所述色彩测试点集至少位于与所述彩色图像的强度图像表示相关的低梯度区域中；
为所述视觉系统处理器提供现场的运行时彩色图像；
通过所述视觉系统处理器，创建与受训模板相关的运行时彩色图像的带有坐标空间的运行时姿态，其中所述运行时姿态由一几何对准过程生成；
通过所述视觉系统处理器，映射所述图像的坐标空间上的色彩测试点；
通过所述视觉系统处理器，分别确定映射的色彩测试点上的色彩匹配；
基于所述色彩匹配，确定所述运行时彩色图像的至少一部分中的色彩匹配分数。
2.根据权利要求1所述的方法，其中确定色彩匹配的步骤包括确定映射的色彩测试点上的运行时彩色图像的受训色彩模板中预设的色彩空间中的色彩值。
3.根据权利要求1所述的方法，其中创建姿态的步骤包括(a)使用视觉系统中对齐工具将运行时图像自动对齐至受训色彩模板以及(b)从用户输入获得指明所述姿态的信息中的至少一项。
4.根据权利要求1所述的方法，进一步包括应用在运行时彩色图像中的遮蔽，其中所述遮蔽指明了运行时彩色图像的哪些区域可用于色彩匹配估算。
5.根据权利要求1所述的方法，进一步包括从受训色彩模板和运行时彩色图像中的至少一项中生成强度图像，供几何对齐过程使用。
6.根据权利要求1所述的方法，其中所述色彩测试点基于梯度幅度阈值位于低梯度区域，并且其中所述梯度幅度阈值通过(a)用户输入的参数和(b)系统生成的参数中的至少一项所创建。
7.一种通过具有摄像机总成和视觉系统处理器的视觉系统针对灰度图像对受训灰度模板进行候选姿态评分的方法，具有以下步骤：
为视觉处理器提供具有体现受训模板中灰度等级匹配信息的灰度测试点集的受训灰度模板，所述灰度测试点集至少位于与所述灰度图像的强度图像表示相关的低梯度区域中；
为所述视觉系统处理器提供现场的运行时灰度图像；
通过所述视觉系统处理器，创建与受训模板相关的运行时灰度图像的带有坐标空间的运行时姿态，其中所述运行时姿态由一几何对准过程生成；
通过所述视觉系统处理器，映射所述图像的坐标空间上的灰度测试点；
通过所述视觉系统处理器，分别确定映射的灰度测试点上的灰度等级匹配；
基于所述灰度等级匹配，确定所述运行时图像的至少一部分中的灰度等级匹配分数。
8.根据权利要求7所述的方法，其中创建姿态的步骤包括(a)使用视觉系统中对齐工具将运行时灰度图像自动对齐至受训灰度模板以及(b)从用户输入获得指明所述姿态的信息中的至少一项。
9.根据权利要求7所述的方法，进一步包括应用在运行时灰度图像中的遮蔽，其中所述遮蔽指明了运行时灰度图像的哪些区域可用于灰度等级匹配估算。
10.根据权利要求7所述的方法，其中所述灰度测试点基于梯度幅度阈值位于低梯度区域，并且其中所述梯度幅度阈值通过(a)用户输入的参数和(b)系统生成的参数中的至少一项所创建。
11.一种通过具有摄像机总成和视觉系统处理器的视觉系统针对距离图像对受训距离图像模板进行候选姿态评分的方法，具有以下步骤：
为视觉处理器提供具有体现受训模板中距离匹配信息的距离测试点集的受训距离图像模板，所述距离测试点集至少位于与所述距离图像的强度图像表示相关的低梯度区域中；
为所述视觉系统处理器提供现场的运行时距离图像；
通过所述视觉系统处理器，创建与受训模板相关的运行时距离图像的带有坐标空间的运行时姿态，其中所述运行时姿态由一几何对准过程生成；
通过所述视觉系统处理器，映射所述图像的坐标空间上的距离测试点；
通过所述视觉系统处理器，分别确定映射的距离测试点上的距离匹配；
基于所述距离匹配，确定所述运行时图像的至少一部分中的距离匹配分数。
12.根据权利要求11所述的方法，其中创建姿态的步骤包括(a)使用视觉系统中对齐工具将运行时距离图像自动对齐至受训距离图像模板以及(b)从用户输入获得指明所述姿态的信息中的至少一项。
13.根据权利要求11所述的方法，进一步包括应用在运行时距离图像中的遮蔽，其中所述遮蔽指明了运行时距离图像的哪些区域可用于距离匹配估算。
14.根据权利要求11所述的方法，其中所述距离测试点基于梯度幅度阈值位于低梯度区域，并且其中所述梯度幅度阈值通过(a)用户输入的参数和(b)系统生成的参数中的至少一项所创建。
15.根据权利要求11所述的方法，进一步包括基于受训距离模板和运行时距离图像中的至少一项生成强度图像，供几何对齐过程使用。
16.通过视觉系统训练模板的系统，包括：
摄像机总成以及工作时与摄像机总成相连的视觉系统处理器；以及
训练模块，接收训练图像数据，识别低梯度幅度区域，并基于色彩/灰度强度和距离中的至少一项将最多为最大测试点数目的测试点应用到与图像数据相关的区域中。
17.根据权利要求16所述的系统，其中所述视觉系统处理器包括运行时对齐模块，所述运行时对齐模块被设计为(a)获取现场的运行时图像数据；(b)建立与受训模板相关的运行时图像数据的带有坐标空间的运行时姿态，其中所述运行时姿态由几何对齐过程所生成；以及(c)运行时图像数据的坐标空间上的测试点。
18.根据权利要求17所述的系统，其中所述视觉系统处理器包括匹配过程，所述匹配过程被设置为(a)确定受训模板和运行时图像数据之间的色彩、灰度强度和距离匹配中的至少一项，以及(b)确定运行时间图像数据的至少一部分中的匹配分数。
19.根据权利要求18所述的系统，进一步包括基于受训距离模板和运行时距离图像中的至少一项生成强度图像，供几何对齐过程使用。
20.根据权利要求18所述的方法，其中所述姿态基于(a)视觉系统中将运行时图像自动对齐至受训模板的对齐工具，以及(b)从用户输入获得指明姿态的信息中的至少一项建立。
21.根据权利要求18所述的系统，，进一步包括应用在运行时图像中的遮蔽，其中所述遮蔽指明了运行时图像的哪些区域可用于匹配估算。
CN201810111897.3A 2017-02-03 2018-02-05 视觉系统中对彩色图像中色彩候选姿态评分的系统和方法 Pending CN108447081A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/424,767 US20180225799A1 (en) 2017-02-03 2017-02-03 System and method for scoring color candidate poses against a color image in a vision system
US15/424,767 2017-02-03

Publications (1)

Publication Number Publication Date
CN108447081A true CN108447081A (zh) 2018-08-24

Family

ID=61157085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810111897.3A Pending CN108447081A (zh) 2017-02-03 2018-02-05 视觉系统中对彩色图像中色彩候选姿态评分的系统和方法

Country Status (5)

Country Link
US (1) US20180225799A1 (zh)
EP (1) EP3358526A1 (zh)
JP (2) JP2018152055A (zh)
KR (1) KR102073468B1 (zh)
CN (1) CN108447081A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562505B2 (en) * 2018-03-25 2023-01-24 Cognex Corporation System and method for representing and displaying color accuracy in pattern matching by a vision system
JP7182528B2 (ja) * 2018-09-12 2022-12-02 コグネックス・コーポレイション マシンビジョン用の画像データを処理するための方法及び装置
EP3627379A1 (en) * 2018-09-24 2020-03-25 Siemens Aktiengesellschaft Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium
US10896483B2 (en) * 2018-12-14 2021-01-19 Adobe Inc. Dynamic content generation system
CN109784189A (zh) * 2018-12-19 2019-05-21 中国人民解放军战略支援部队航天工程大学 基于深度学习的视频卫星遥感图像景相匹配方法及其装置
US10811055B1 (en) * 2019-06-27 2020-10-20 Fuji Xerox Co., Ltd. Method and system for real time synchronization of video playback with user motion
CN110346953B (zh) * 2019-07-02 2022-08-09 晋城市龙鑫达光电科技有限公司 一种液晶显示模组偏光片剥离的撕片检测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030083850A1 (en) * 2001-10-26 2003-05-01 Schmidt Darren R. Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
EP1667068A1 (en) * 2003-08-29 2006-06-07 NEC Corporation Object posture estimation/correlation system using weight information
JP2008234456A (ja) * 2007-03-22 2008-10-02 Chushajo Sogo Kenkyusho:Kk 駐車場情報提供システム、駐車場情報提供方法、それに用いる駐車場情報管理装置
JP2008234465A (ja) * 2007-03-22 2008-10-02 Casio Comput Co Ltd 相違度評価装置、相違度評価方法及びプログラム
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
WO2010077524A1 (en) * 2008-12-29 2010-07-08 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
CN105718931A (zh) * 2014-12-22 2016-06-29 康耐视公司 用于确定采集图像中的杂斑的系统和方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434976B2 (ja) * 1996-06-28 2003-08-11 三菱電機株式会社 画像処理装置
US7016539B1 (en) * 1998-07-13 2006-03-21 Cognex Corporation Method for fast, robust, multi-dimensional pattern recognition
EP1218851B1 (en) * 1999-08-17 2016-04-13 National Instruments Corporation System and method for locating color and pattern match regions in a target image
US7043055B1 (en) * 1999-10-29 2006-05-09 Cognex Corporation Method and apparatus for locating objects using universal alignment targets
US6751338B1 (en) * 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
EP1306805A1 (en) * 2001-10-25 2003-05-02 Mitsubishi Electric Information Technology Centre Europe B.V. Image Analysis
DE60319095T2 (de) * 2003-11-10 2009-02-12 Leica Microsystems Cms Gmbh Verfahren zur Verzerrungskorrektur von Multifokus-Bilderstapeln
US7327902B2 (en) * 2004-12-10 2008-02-05 Radiological Imaging Technology, Inc. Optimizing image alignment
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
JP5639925B2 (ja) * 2011-02-25 2014-12-10 株式会社日立ハイテクノロジーズ パターンマッチング装置、及びコンピュータープログラム
KR101180027B1 (ko) * 2011-03-10 2012-09-06 디나스트 광센서 및 이를 이용한 감지 방법
KR101279561B1 (ko) * 2012-01-19 2013-06-28 광운대학교 산학협력단 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법
US20140050387A1 (en) * 2012-08-17 2014-02-20 Cognex Corporation System and Method for Machine Vision Inspection
US9443297B2 (en) * 2013-07-10 2016-09-13 Cognex Corporation System and method for selective determination of point clouds
WO2015049233A1 (en) * 2013-10-01 2015-04-09 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US9576221B2 (en) * 2014-07-09 2017-02-21 Ditto Labs, Inc. Systems, methods, and devices for image matching and object recognition in images using template image classifiers
CN106033621B (zh) * 2015-03-17 2018-08-24 阿里巴巴集团控股有限公司 一种三维建模的方法及装置
KR102317247B1 (ko) * 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
US11158039B2 (en) * 2015-06-26 2021-10-26 Cognex Corporation Using 3D vision for automated industrial inspection
CN106327526B (zh) * 2016-08-22 2020-07-07 杭州保新科技有限公司 图像目标跟踪方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030083850A1 (en) * 2001-10-26 2003-05-01 Schmidt Darren R. Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
EP1667068A1 (en) * 2003-08-29 2006-06-07 NEC Corporation Object posture estimation/correlation system using weight information
JP2008234456A (ja) * 2007-03-22 2008-10-02 Chushajo Sogo Kenkyusho:Kk 駐車場情報提供システム、駐車場情報提供方法、それに用いる駐車場情報管理装置
JP2008234465A (ja) * 2007-03-22 2008-10-02 Casio Comput Co Ltd 相違度評価装置、相違度評価方法及びプログラム
WO2010077524A1 (en) * 2008-12-29 2010-07-08 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
CN105718931A (zh) * 2014-12-22 2016-06-29 康耐视公司 用于确定采集图像中的杂斑的系统和方法

Also Published As

Publication number Publication date
JP2020161129A (ja) 2020-10-01
KR20180090756A (ko) 2018-08-13
EP3358526A1 (en) 2018-08-08
JP2018152055A (ja) 2018-09-27
KR102073468B1 (ko) 2020-02-04
US20180225799A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
CN108447081A (zh) 视觉系统中对彩色图像中色彩候选姿态评分的系统和方法
CN105184765B (zh) 检查设备、检查方法和程序
CN104732207B (zh) 高精度与高抗干扰性定位PCB板Mark点的方法及装置
US10482621B2 (en) System and method for improved scoring of 3D poses and spurious point removal in 3D image data
CN107025663B (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
US20170262985A1 (en) Systems and methods for image-based quantification for allergen skin reaction
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
US11676301B2 (en) System and method for efficiently scoring probes in an image with a vision system
CN104854620B (zh) 图像处理装置、图像处理系统和程序
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
CN101751672A (zh) 图像处理系统
JP2019061484A (ja) 画像処理装置及びその制御方法及びプログラム
CN105678737B (zh) 一种基于Radon变换的数字图像角点检测方法
JP2012021919A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN109816051B (zh) 一种危化品货物特征点匹配方法及系统
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
US20080063272A1 (en) Character extracting apparatus, method, and program
US11562505B2 (en) System and method for representing and displaying color accuracy in pattern matching by a vision system
US9652837B2 (en) Method of determining quality of heart and cupid optical effects of diamond device therefor
JPH07146937A (ja) パターンマッチング方法
Chowdhury et al. Computer vision-based street-width measurement for urban aesthetics identification
CN116736272A (zh) 一种联合标定参数确定方法、装置、设备及介质
Solanki Image Processing Techniques for Edge Detection: A Comparative Analysis
EP3096266A1 (en) Method for precise localization of elements on an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180824

WD01 Invention patent application deemed withdrawn after publication