CN107424160A - 通过视觉系统查找图像中线的系统和方法 - Google Patents

通过视觉系统查找图像中线的系统和方法 Download PDF

Info

Publication number
CN107424160A
CN107424160A CN201610945410.2A CN201610945410A CN107424160A CN 107424160 A CN107424160 A CN 107424160A CN 201610945410 A CN201610945410 A CN 201610945410A CN 107424160 A CN107424160 A CN 107424160A
Authority
CN
China
Prior art keywords
line
gradient
point
marginal
marginal point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610945410.2A
Other languages
English (en)
Other versions
CN107424160B (zh
Inventor
许裕丰
L·D·雅各布森
D·Y·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to CN202110169339.4A priority Critical patent/CN112927249A/zh
Publication of CN107424160A publication Critical patent/CN107424160A/zh
Application granted granted Critical
Publication of CN107424160B publication Critical patent/CN107424160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种查找图像中多个线特征的系统和方法。两个相关的步骤用于识别线特征。首先，该方法在每一个图像位置上计算梯度场的x和y分量，将所述梯度场投影在多个子区域上并检测多个梯度极值，生成具有位置和梯度的多个边缘点。接下来，该方法迭代地选择两个边缘点，将一个模型线匹配给它们，并当边缘点梯度与模型一致时，计算位置和梯度与模型一致的整组内点点。保留具有最大内点数的候选线并到处一组剩下的外点点。接着该过方法重复地将线匹配操作应用于此并应用随后的外点组以查找多个线结果。该过程基于穷举的RANSAC。

Description

通过视觉系统查找图像中线的系统和方法
相关申请
本申请要求于2015年11月2日提交的共同未决的美国专利临时申请号62/249,918、名称为查找图像中的线的具有视觉系统的系统和方法的权益，该临时申请的教示通过引用的方式并入本文。
技术领域
本发明涉及机器视觉系统，尤其涉及在所获取的图像中查找线特征的视觉系统工具。
背景技术
机器视觉系统(在本文中也简称为“视觉系统)用于制造业、物流业和工业中各种各样的任务。这些任务包括表面和零件检测、组装时的物体对准、模式和ID代码的读取以及需要视觉资料并对视觉资料进行解析以用于进一步处理的其它任何操作。视觉系统典型地使用一个或多个摄像机，这些摄像机获得场景的图像，该场景包括物体或感兴趣的主体。该物体或主体能够为静止或相对运动。在机器人进行多部分操作的情况下，视觉系统产生的信息也能够控制运动。
视觉系统的常见任务是在图像中查找和表示线特征。各种各样的工具用于识别和分析这些线特征。典型地，这些工具依赖于出现在图像的一部分中的鲜明的对比差异。通过使用例如卡尺(caliper)工具测定图像中的个别点与对比差异是否能够组合为线形特征，对该对比差异进行分析。如果是这样的话，那么在图像中就把线识别出来。需要注意的是，查找边缘点的工具和尝试将线匹配到点上的工具彼此之间独立作用。这增加了处理开销和降低了可靠性。在图像包括多条线的地方，这些工具在对这些线进行准确识别的能力上会受到限制。此外，当图像包括多条具有相似取向和极性的密集线时，设计为在图像中查找单一的线的传统线查找工具在使用时会产生问题。
发明内容
本发明克服现有技术的缺点，提供一种查找图像中的线特征的系统和方法，所述系统和方法可有效和正确地识别和表征多条线。首先，该过程在每一个图像位置上计算梯度场的x和y分量，将所述梯度场投影在多个图像子区域上方并在每一个子区域内检测多个梯度极值，产生具有相关位置和梯度的多个边缘点。接下来，该过程迭代地选择两个边缘点，将一个模型线匹配给那些边缘点，并当那些边缘点的梯度与所述模型线一致时，计算位置和梯度与所述模型线一致的整组内点。具有最大内点数的候选线被保留为线结果，产生一组剩下的外点。接着该过程重复地将线匹配操作应用于此，并应用随后的外点设置查找多个线结果。该线匹配过程能够为穷举的，或者基于随机抽样一致性(RANSAC)方法。
在说明性的实施例中，提供在所获取图像中查找线特征的系统。视觉系统处理器接收包括线特征的场景的图像数据。边缘点提取器产生图像数据的强度梯度图像并基于所述强度梯度图像查找边缘点。接着，线查找器基于所述边缘点的强度梯度将所述边缘点匹配到一条或多条线。说明地，所述线查找器运行基于RANSAC的过程以将内点边缘点匹配到新的线上，包括从与在先定义的线相关的外点边缘点中迭代定义线。所述边缘点提取器进行所述强度梯度图像的包括线特征的区域的梯度场投影。说明地，所述梯度场投影沿着一方向被定向，该方向设定为响应于一个或多个线特征的预期方位，并且所述梯度场投影能够定义基于1D高斯核的粒度。说明地，所述图像数据能够包括从多个摄像机获取并被转换到公共坐标空间的多个图像的数据。也能够使用平滑(加权)核对所述图像数据进行平滑，所述平滑(加权)核能够包括1D高斯核或另一加权函数。所述边缘点能够基于一绝对对比和一标准化的对比定义的阈值被选定，所述标准化的对比为基于所述图像数据的平均强度。说明地，所述线查找器构造和配置为交换表示平行线或相交线的一部分的边缘点以纠正错误的定向和/或识别具有极性变化的线，所述极性变化包括基于所述边缘点的梯度值的线特征中的混合极性。此外，说明地，所述边缘点提取器配置为查找每一个所述梯度投影子区域中的多个梯度幅值最大值。这些梯度幅值最大值能够分别被识别为所述多个边缘点中的一些，所述多个边缘点能够由位置向量和梯度向量描述。此外，所述线查找器能够配置为通过对一度量标准进行计算，确定所提取的多个边缘点的至少一个边缘点和所发现的多条线的至少一条候选线之间的一致性。所述度量标准能够基于所述至少一个边缘点到所述候选线的距离和所述边缘点的梯度方向与所述候选线的法线方向之间的角度差。
附图说明
下面参考附图对本发明进行描述，其中：
图1为根据说明性实施例的典型视觉系统配置和视觉系统处理器的示意图，所述视觉系统配置获取包括多个边缘特征的物体图像，所述视觉系统处理器包括边缘查找工具或模块；
图2为示出了根据说明性实施例的用于所获取的图像中的边缘点提取和线查找的系统和方法的概况的示意图；
图3为根据图2的系统和方法的边缘点提取过程的流程图；
图4为对包括边缘特征的图像区域的场投影的示意图，该步骤为图3的边缘点提取过程的一部分；
图5为示出了高斯核应用于图像以平滑图像的的示意图，用于图3的边缘点提取过程；
图6为场投影的示意图，包括对于投影平滑的高斯核的应用，用于图3的边缘点提取过程；
图7为示出了图3的边缘点提取过程的以图形表示的概况的示意图，包括高斯核的应用和对边缘点的绝对和标准化对比阈值的计算；
图8为示出了边缘点的合格对比区域的图表，这些边缘点具有足够的绝对对比阈值和标准化对比阈值；
图9为根据说明性实施例的基于图3所找到的边缘点的线查找过程的流程图，其使用典型的RANSAC过程；
图10和11为分别示出了关于密集平行的线特征的边缘点错误对准和准确对准的示意图；
图12和13为分别示出了关于相交线特征的边缘点准确对准和错误对准的示意图，根据说明性系统和方法的线查找器能够解决该问题；
图14-17为分别示出了多种线的示例的示意图，这些线的示例示出了亮到暗的极性、暗到亮的极性、亮到暗或暗到亮的极性或者混合极性，根据说明性系统和方法的线查找器能够解决该问题；以及
图18为示出了用户定义的遮罩的视图中对所找到的线的覆盖分值改进的示意图。
具体实施方式
图1示出了根据一个说明性实施例能够应用的典型视觉系统配置100。系统100包括至少一个视觉系统摄像机110，并且能够包括一个或多个另外的可选摄像机112(以虚像示出)。所述说明性摄像机(或者多个摄像机)110、112包括用于获取图像帧并把图像帧传输到视觉系统程序(处理器)130的图像传感器(或成像器)S以及相关的电子器件，视觉系统过程(处理器)130能够在独立处理器和/或计算装置140中具体化。摄像机110(和112)包括聚焦到某一场景的适用的透镜/光学器件116，所述场景包括检测中的物体150。摄像机110(和112)能够包括根据图像采集过程运作的内部和/或外部照明器(未示出)。根据该说明性实施例，计算装置140能够为任何可接受的基于处理器的能够储存和处理图像数据的系统。例如，计算装置140能够包括PC(如图所示)、服务器、笔记本电脑、平板电脑、智能手机或其它相似装置。计算装置140能够包括适用的外围设备，例如互连到所述摄像机的基于总线的图像采集卡。在可替换实施例中，所述视觉处理器能够部分或整体被包含到所述摄像机主体本身内，并能够与共享和处理图像数据的其它多台PC、服务器和/或基于摄像机的处理器联网。可选地，计算装置140包括适用的显示器142，能够支持合适的图形用户界面(GUI)，所述图形用户界面(GUI)能够根据视觉系统工具和处理器132运作，所述视觉系统工具和处理器132设置在视觉系统过程(处理器)130中。需要注意的是，显示器能够在多种实施例中被省略和/或仅仅提供为设置和服务功能。所述视觉系统工具能够为任何可接受的软件和/或硬件包的一部分，这些软件和/或硬件包在物体检测的使用中可被接受，例如市场上可买到来自康耐视公司的Natick，MA。所述计算装置也能够包括相关的用户界面(UI)组件，所述相关的用户界面(UI)组件包括例如键盘144和鼠标146以及显示器142内的触摸屏。
摄像机(多个摄像机)110(和112)对位于所述场景内的物体150的部分或全部进行成像。每个摄像机限定一光轴OA，基于光学器件116、焦距等等围绕光轴OA建立视野。物体150包括分别配置在不同方向的多个边缘152、154和156。例如，所述物体边缘能够包括安装在智能手机主体内的防护玻璃的边缘。说明地，所述摄像机(多个摄像机)能够成像整个物体或者特定的位置(例如玻璃与主体相接处的边角)。关于所述物体、其中一个摄像机或另外的参考点(例如支撑物体150的移动平台)能够建立(公共的)坐标空间。如图所示，所述坐标空间通过坐标轴158表示。说明地，这些坐标轴限定正交的x、y和z轴以及x-y平面中关于z轴的旋转θz。
根据一个说明性实施例，视觉系统过程130与(计算装置140上运行的)一个或多个应用/进程协同操作，所述一个或多个应用/进程共同包括一套视觉系统工具/程序132。这些工具能够包括用于解析图像数据的各种传统和专门的应用-例如各种校准工具和仿射变换工具能够用于将获取的图像数据转换到预定的(例如公共的)坐标系。也能够包括基于预定阈值的转换图像灰度强度数据为二进制图像的工具。同样地，能够设置分析相邻图像像素(和子像素)之间的强度梯度的工具。
根据一个说明性实施例，视觉系统过程(处理器)130包括线查找程序、工具或模块134，所述线查找程序、工具或模块134定位所获取图像中的多条线。因此，参考图2，其在图形上描述了根据说明该性实施例的线查找过程200的概况。过程200由两个主要部分组成。将输入图像210提供给处理器。如图所示，所述图像包括一对相交的边缘212和214。这些边缘能够表示上述物体150的边角区域。边缘点提取器220处理输入图像210以获得一候选边缘点组230，所述候选边缘点组230包括分别沿着边缘212和214驻留的边缘点232和234。边缘点232、234以及它们的相关数据(例如以下所述的强度梯度信息)被提供到递归线查找器240，递归线查找器240对选定边缘点进行一系列迭代过程。所述迭代过程的目的为试图将其它找到的边缘点匹配到候选线特征。线查找过程240产生找到的线252和254，如图所示。这些结果能够提供到使用该信息的其它下游过程260-例如对准过程、机器人操作、检测、ID读取、零件/表面检测等等。
参考图3，图3描述了根据一实施例的用于提取边缘点的过程。获取场景的一个或多个图像，其包括具有待查找的边缘特征的物体或表面(步骤310)。所述图像(多个图像)能够通过单一摄像机或多个摄像机提取。步骤320中，无论在哪一种情况下，图像像素能够(可选地)通过合适的校准参数转换到新的和/或公共的坐标空间。该步骤也能够包括以下所述的图像的平滑。在多个摄像机成像所述场景的间断区域的某些实施例中-例如聚焦更大物体的边角区域-所述公共的坐标空间能够解释摄像机视野之间的空白区域。如下所述，这些视野之间延伸的线(例如连接两个找到的边角区域的物体边缘)能够由该说明性实施例的系统和方法进行判定。步骤330中，通过边缘点提取器使用梯度场投影在合适的坐标空间中从图像中提取对于查找线所需的边缘点。首先关于每一个像素计算梯度值，关于x和y梯度分量产生两幅图像。进一步地，通过将梯度场投影到许多和卡尺类似的区域上处理所述图像(多幅图像)。与对强度值投影的传统卡尺工具不一样的是，根据该实施例，通过对梯度场投影，能够保留梯度方向，其便于随后的线查找过程，如下所述。
步骤340中，参考图4的示意图，图像的一部分(类卡尺的区域)400包括候选边缘特征，该步骤对所述图像的一部分400进行梯度场投影(由多个投影410、420、430表示)，并对其在查找方向(箭头SD)上在(适当地)预期的边缘方位上进行查找，并在正交投影方向(箭头PD)上对区域400进行反复投影。对每一个投影(例如投影420)来说，边缘作为梯度场440中与所述投影相关的局部最大值出现。一般来说，与一边缘相关的投影内的一系列边缘点将展示与所述边缘的延伸方向正交的强度梯度(矢量552、554)。如下所述，用户能够基于预期的线的方位定义投影方向。可替换地，这能够通过默认或另一机制提供-例如图像中特征的分析。
上述梯度投影步骤中涉及两个粒度参数。在梯度场计算之前，用户能够选择使用各向同性高斯核平滑所述图像。第一粒度确定该高斯平滑核的尺寸。如图5的示意图500所示，适当尺寸的高斯核(例如大512、中514、小516)的应用是为了平滑图像210。因此，第一粒度参数在场计算之前确定各向同性高斯平滑核的尺寸。
在梯度场计算之后，所述过程由此执行高斯加权投影，而不是传统卡尺工具中的均匀加权。因此，如图6所示，第二粒度参数确定场投影期间使用的一维(1D)高斯核的尺寸，区域600经过高斯平滑核610、620、630处理。在一个典型的操作期间，用户核实(使用GUI)覆盖在所述图像上的所有提取的边缘，接着调整粒度和对比阈值，直到沿着待查找的线所提取边缘的数目出现令人满意的结果，同时避免由于图像的背景噪声的过多边缘数目。也就是说，该步骤允许关于图像特征的信噪比最优化。该调整也能够使用各种实施例中的缺省值通过系统自动进行。需要注意的是，高斯加权函数的使用为各种用于加权投影的方法中的其中一种，所述各种用于加权投影的方法包括(例如)平均加权。
梯度场提取和投影的整个流程在图7的示意图700中以图表形式说明。所述两个粒度参数，各向同性高斯核710和1D高斯核720，各自在整个示意图700的每一半中示出。如图所示，每一个获取的图像210经过平滑和抽取730处理。如上所述，接着生成的图像740经过梯度场计算750处理，生成两个梯度图像752和754。这些梯度图像也表示为gx和gy，在公共坐标空间中表示两个正交轴。需要注意的是，根据一实施例，由于所处理的强度信息也用于计算标准化对比，因此除了两个梯度图像，强度图像756也典型地经过平滑、抽取和投影过程760(使用基于1D高斯核720的高斯加权投影770)处理-如下所述。结果为梯度图像772(gx)、774(gy)和强度图像776的投影轮廓。
进一步参考过程300的步骤350(附图3)，接着通过组合x和y梯度图像两者的1D投影轮廓提取合格的边缘点。这基于强度图像(Intensity image)使用原始的对比计算780和标准化对比计算790实现。更特别地，根据以下说明性方程，同时具有超过各自阈值的原始投影梯度幅值和标准化投影梯度幅值的任何局部峰值被认为是随后的线查找的候选边缘点：
(gx 2+gy 2)1/2>TABS
(gx 2+gy 2)1/2/I>TNORM
其中gx和gy分别为像素位置中的x-梯度和y-梯度投影的值，I为强度，TABS为原始投影梯度幅值的绝对对比阈值，TNORM为强度标准化投影梯度幅值的标准化对比阈值。
需要注意的是，只有当一个点的绝对和标准化对比都超过它们各自的阈值时，这个点才认为是候选边缘点。这通过标准化对比阈值TNORM对绝对对比阈值TABS的典型图表800中的上右方象限810示出。双重(绝对和标准化)阈值的使用通常与现有方法不同，现有方法典型地使用绝对对比阈值。双重对比阈值的好处是明显的，通过示例的方式，当图像同时包括阴暗和明亮的强度区域，这些阴暗和明亮的强度区域都包括感兴趣的边缘时。为了在图像的阴暗区域中检测边缘，需要设定低的对比阈值。然而，这样一个低的对比阈值在图像的明亮部分中会导致错误边缘的检测。相反地，为了避免图像的明亮区域中错误边缘的检测，需要设定高的对比阈值。然而，在高对比设定下，系统也许不能充分检测图像阴暗区域中的边缘。除了传统的绝对对比阈值，通过使用次要的标准化对比阈值，系统能够恰当地检测阴暗和明亮区域两者中的边缘，并避免在图像的明亮区域中检测错误边缘。因此，通过能够进行相关边缘的检测同时避免假的边缘，双重对比阈值的使用有助于最大化整个过程的随后的线查找阶段的速度和鲁棒性。
进一步地，参考过程步骤350(图3)，一旦提取所有边缘点，它们将以便于随后的线查找器操作的数据结构进行表示和储存。需要注意的是，例如，以下元组：
p＝(x,y,gx,gy,gm,go,I,gm/I,m,n)
其中(x,y)为边缘点的位置，(gx,gy)为其各自的x-梯度和y-梯度投影的值，(gm,go)为从(gx,gy)中计算得到的梯度幅值和方位，I为边缘点位置的强度，gm/I为通过将梯度幅值gm除以强度I得到的强度标准化对比，m为图像索引，n为投影区域索引。和标准卡尺工具中一样，能够插入边缘点的位置以提供精度。
需要注意的是，边缘点提取过程通常以运行单一方向中的场投影来操作，所述单一方向基本上匹配预期线角度。因此，该工具对该角度的边缘最敏感，对其它角度的边缘来说其敏感度逐渐衰减，其中衰减的速率取决于间接确定场投影长度的粒度设置。因此，所述过程在查找角度“接近”预期线角度的线时受到限制，受制于用户指定的角度范围。当所述过程适配为查找不是正交的线时，可以设想的到，在各种实施例中能够概括到通过在多个方向进行投影查找超过360度的任何角度的线(全方向的线查找)，所述多个方向包括正交方向。
现在参照过程300的步骤360(图3)，根据一个说明性实施例，将设定了阈值的边缘点候选提供到线查找器。示例地，所述线查找器递归操作并使用(例如)基于随机抽样一致性(RANSAC)的方法。并参考图9中的线查找过程900。步骤910中，用户通过(例如)GUI在图像中指定预期线的最大数目，以及预期角度、角度公差、距离公差和(说明性地)最小覆盖分值(一般为以下所定义)。通过线查找器使用这些参数以操作以下过程。通过递归运行RANSAC线查找器对图像的每一个子区域查找线，来自一个阶段的边缘点外点成为下一阶段的输入点。因此，在步骤920中，过程900选择一对边缘点，所述一对边缘点为一组边缘点的一部分，所述一组边缘点被识别为边缘查找过程中的极值。过程900基于匹配梯度值(在公差的选定范围内)尝试将模范线匹配到选定的边缘点，所述匹配梯度值与模范线一致。步骤924中，返回步骤922的一个或多个线候选。每一个线查找阶段返回候选线、其内点和外点。返回的线(多条线)经过内点边缘点的计算，所述内点边缘点具有与线候选一致的位置和梯度(步骤926)。步骤928中，识别具有最大内点数的候选线。当上述线查找阶段达到所允许的RANSAC迭代的最大数目(决策步骤930)时，上述线查找阶段(步骤920-928)终止。通过使用内部计算的最坏情况下的外点比例和用户指定的确保等级，自动计算每一个线查找阶段内部的最大迭代数目。每一个线查找阶段返回线，该线具有出自其所有迭代中的所采集的最大数目的边缘点-经过用户指定的匹配公差、几何约束和极性。每一个边缘点只能指定到单一线的内点列表，每一条线只允许包括至多一个来自每一个投影区域的边缘点。边缘点的梯度方向以及其位置被用于确定其是否应该包括在候选线的内点列表中。特别地，边缘点应该具有与候选线的角度一致的梯度方向。
如果决策步骤930确定了允许更多迭代，那么来自最好的内点候选的外点将被返回(步骤940)到RANSAC过程(步骤920)以用于查找线候选。
在每一个RANSAC迭代期间，随机选取属于不同投影区域的两个边缘点，一条线将匹配到那两个点。生成的候选线只有当其角度与点对上的两边缘的梯度角度一致并且线的角度与用户指定的不确定角度一致时，才得到进一步考虑。一般来说，边缘点的梯度方向名义上是正交的，但是允许与用户配置的角度公差存在差异。如果候选线经过这些初始测试，那么将评估内点边缘点的数目，否则开始新的RANSAC迭代。边缘点只有当其梯度方向和位置与线一致时才被认为是候选线的内点-基于用户指定的梯度角度和距离公差。
当RANSAC迭代达到最大值(决策步骤930)，通过使用(例如)最小二乘回归或者另一可接受的近似计算法，所找到的最佳线候选的内点经过改进的线匹配，并且通过重复这些步骤最多N(例如3或更多)次，直到内点的数目停止进一步增加或者减少(步骤960)，一组内点边缘点将被重新评估。这是被标示为在步骤970中找到的线。
决策步骤980确定更多的线是否需要被找到(基于(例如)进一步查找子区域或另一个标准)，如果是的话，过程循环返回步骤920以对新的一组边缘点操作(步骤982)。当点已经用完了或者达到最大迭代数，过程900在步骤990中返回图像的一组(也就是多条)找到的线。
在结果为两条线于检测区域内相交的一些情况下，多线查找器适配为进行现有结果的最终调整。大体如图10和11所示，对于密集平行线1010和1020来说，由于RANSAC过程的统计性质，有时会获得错误的线结果(也就是图10)。然而，当该错误发生时，内点点组(图11中组1110的箭头1120)的交换有时会定位具有增加的覆盖分值和降低的匹配残差的正确的线。如图所示，当图像包括密集平行线时，点交换能够最有效。相反地，如图12和13所示，当图像包括实际上相交的线1210和1220，在点交换后，覆盖分值会减少(图12的组1240的箭头1230)，所以交换前得到的初始结果被过程保留以成功地检测相交线。
需要注意的是，RANSAC过程只是各种方法中的一个，通过这些方法，线查找器能够将点匹配到线。在可替换实施例中，候选点能够根据其间设定的位移被选定，或者图像能够使用(例如)穷举搜索方法被处理。因此，如本文使用的参考RANSAC方法应该推广到包括各种相似的点匹配方法。
该系统和方法能够提供另外的功能。这些功能包括对混合极性的支持、自动计算投影区域宽度、支持多视图线查找以及允许输入图像免受预翘曲的影响以移除光学畸变。这些功能如下进一步所述。
进一步参考图14-16的示例，对找到的边缘间对比来说，该说明性实施例的线查找系统和方法通常支持标准的亮到暗、暗到亮和两者的任一极性设置(分别地)。另外，系统和方法也能够支持混合极性设置(图17)，在混合极性设置中亮到暗和暗到亮两者的特征在同一条线上出现。所有4个设置的线查找结果在接着的附图中示出。在一个说明性实施例中，系统和方法能够包括混合极性设置，该混合极性设置允许对包括相反极性的边缘点的单一线的查找。这与“两者之一”极性的传统设置不同，在“两者之一”极性的传统设置中，单一线的所有边缘点为两极性的其中一个-但是只有一个极性。除了别的应用以外，当用于分析(例如)校准板的明亮和阴暗棋盘格时，该混合极性设置会有优势。
用户能够选择线查找的改进的移不变性。在这种情况下，边缘点提取器使用基本上重叠的投影区域以提高结果稳定性。当区域未重叠时，当图像被转移，考虑中的像素能够潜在地移出投影区域，导致线查找结果的不好的移不变性。重叠的投影区域确保考虑中的像素被投影区域连续覆盖。如果使用重叠的投影区域，那么能够进行增量计算以保持速度，以及可能的低级优化。
用户能够提供遮罩，该遮罩省略所获取的图像和/或来自对线特征分析的成像表面的某些部分。在表面包括不感兴趣的已知线特征的地方(例如通过其他机制分析的条形码、文本以及与要对线进行查找的任务不相关的任何其它结构)，这会是需要的。因此，边缘点提取器能够支持图像遮罩，其中“不考虑”图像区域能够被遮罩出去，“考虑”区域被遮罩进来。说明地，在该遮罩发生的地方，找到的线覆盖分值根据落入所述遮罩内的边缘点数目重新加权。
参考图18的典型图像区域1800，其示出了图像遮罩出现时的覆盖分值以及该覆盖分值上的图像遮罩的效果。在图像的“不考虑区域”能够被遮罩出去的地方，边缘点提取器支持图像遮罩。如图所示，找到的线1810通过考虑的边缘点表示(基于“考虑”遮罩区域1820)。该考虑边缘点由线1810的考虑边缘点内点1830和线1810的考虑边缘点外点1840组成。线1810上的不考虑边缘点1850驻留在所述遮罩的考虑区域1820之间，如该示例中所示，并且不被包括在覆盖分值计算中，即使它们驻留在线上作为内点。如图所示，沿着线1810的边缘点的潜在位置1860也被确定。这些潜在位置位于已知点之间，这些已知点为基于找到点的间隔的可预见间隔。说明地，所找到线的覆盖分值根据落入所述遮罩内的边缘点数目被重新加权。因此，该覆盖分值如下修改：
覆盖分值＝线的考虑边缘点内点数目/(线的考虑边缘点内点+线的考虑边缘点外点的数目+边缘点的考虑潜在位置的数目)。
运行根据本文的系统和方法的线查找过程后，所找到的线能够基于用户指定的分类标准(通过(例如)GUI)以各种方式分类。用户能够从内在分类衡量中选择，例如内点覆盖分值、强度或对比。用户也能够从外在分类衡量中选择，例如标记的距离或相对的角度。使用外在分类衡量时，用户能够指定参考线分段，对该参考线分段，所找到线的外在衡量将被计算。
一般如上所述，该系统和方法能够包括多视野(MFOV)超负荷，其中来自不同视野的图像向量能够进入所述过程。所述图像应该全部在基于校准的公共客户端坐标空间中。如上所述，该功能在多个摄像机用于捕获单一零件的局部面积的应用场景中会极其有用。因为边缘点保留梯度信息，视野中的间隙间投影的线特征也能够被解析(当对给定的线方向和每一个视野的对准来说，两个视野中的梯度都匹配时)。
需要注意的是，假如失真不严重，该系统和方法不需要(允许图像免受影响)翘曲的移除(也就是不需要图像为未翘曲的)以去除非线性失真。在图像为未翘曲的地方，该系统和方法仍然能够检测候选边缘点，并通过非线性变换映射点位置和梯度向量。
应该清楚的是，根据该系统提供的线查找器，以及方法和各种可替换实施例/改进，为确定各种条件下的多个线特征的有效和鲁棒的工具。一般来说，用于查找线特征时，该系统和方法对图像上待查找的线的最大数目没有特别的限制。只有内存和计算时间会对能够找到的线的数目造成实际的限制。
前文已详细描述了本发明的说明性的实施例。在不脱离本发明的思想和范围的情况下可进行各种修改和增加。为提供多种与新实施例相关的结合特征，上述各种实施例中的每一个实施例的特征可适当地与其他所述实施例的特征相结合。此外，虽然前文描述了一些本发明的设备和方法的单独的实施例，但本文的描述仅仅是对本发明原理的应用的说明。此处所使用的术语“过程(process)”和/或“处理器”应推广为包括各种基于功能和组件的电子硬件和/或软件(并且可替换地，能够被称为功能“模块”或“元件”)。此外,一所述的过程或处理器能够与其他过程和/或处理器组合或分为多个子过程或处理器。根据此处的实施例可对这种子过程和/或子处理器进行各种不同的组合。同样地,可明确设想到,本文所述的任何功能、过程和/或处理器能够利用电子硬件、软件或硬件和软件的结合实施，这些软件包括过程指令的非暂时计算机可读的媒介。还有，本文应用的各种方向性和倾向性的术语，如“纵向”、“水平方向”、“上方”、“下方”、“低端”、“顶端”、“侧边”、“前边”、“后边”、“左边”、“右边”等，只适用于相对情况，不作为关于固定坐标空间的绝对方位/倾向，如重力作用方向。另外，关于给定的衡量、值或特征来说，应用术语“基本上”或者“大约”的地方，其指的是在实现所期望结果的正常操作范围内的量，除此之外，包括由于系统允许公差(例如1-5％)内的固有误差和错误的一些变化。因此，该描述仅仅起示例性的作用，而并不旨在限制本发明的范围。

Claims (23)

1.查找获取的图像上线特征的系统，包括：
一视觉系统处理器，所述视觉系统处理器接收含有线特征的场景的图像数据，并具有一边缘点提取器，所述边缘点提取器：
(a)计算所述图像数据的梯度向量场；
(b)将所述梯度向量场投影在多个梯度投影子区域上；以及
(c)基于投影的梯度数据查找各个梯度投影子区域中的多个边缘点；以及
所述视觉系统处理器还具有一线查找器，所述线查找器生成与从所述图像中提取的边缘点一致的多条线。
2.根据权利要求1所述的系统，其中，所述线查找器运行基于RANSAC的程序以将内点边缘点匹配到新线上，包括从与预先定义的线相关的外点边缘点中迭代定义线。
3.根据权利要求1所述的系统，其中，所述梯度场投影沿着被设定为响应于一个或多个线特征的预期定向的方向定向。
4.根据权利要求1所述的系统，其中，所述梯度场投影基于高斯核定义粒度。
5.根据权利要求1所述的系统，其中，所述边缘点提取器配置为查找每一个所述梯度投影子区域中的多个梯度幅值最大值，其中，所述梯度幅值最大值分别被识别为所述多个边缘点中的一部分，并由位置向量和梯度向量所描述。
6.根据权利要求1所述的系统，其中，所述线查找器配置为，通过对一度量标准进行计算，确定所提取的多个边缘点中的至少一个边缘点和所发现的多条线的中至少一条候选线之间的一致性，所述度量标准基于所述至少一个边缘点到所述至少一条候选线的距离和所述至少一个边缘点的梯度方向与所述至少一条候选线的法线方向之间的角度差。
7.根据权利要求1所述的系统，其中，所述图像数据包括从多个摄像机获取的多个图像的数据，所述图像被转换到一公共坐标空间中。
8.根据权利要求1所述的系统，所述系统进一步包括平滑所述图像数据的平滑核。
9.根据权利要求8所述的系统，其中，所述平滑核包括高斯核。
10.根据权利要求1所述的系统，其中，基于由一绝对对比和一标准化的对比定义的阈值选定所述边缘点，所述标准化的对比为基于所述图像数据的平均强度。
11.根据权利要求1所述的系统，其中，所述线查找器配置为交换所提取的多个边缘点中的至少一些边缘点，所述多个边缘点表示所找到的多条线中的平行线或相交线的一部分，从而纠正错误的定向。
12.根据权利要求1所述的系统，其中，所述线查找器配置为从所找到的具有极性变化的多条线中识别线。
13.根据权利要求12所述的系统，其中，基于所提取的多个边缘点的梯度值，所识别的线为由所找到的多条线的线特征中的混合极性定义的线。
14.查找获取的图像上线特征的方法，所述方法包括步骤：
通过视觉系统处理器接收场景的图像数据，所述数据包括线特征；
计算所述图像数据的梯度向量场；
将所述梯度向量场投影在多个梯度投影子区域上；
基于投影的梯度数据，查找各个梯度投影子区域中的多个边缘点；以及
生成与从所述图像中提取的边缘点一致的多条线。
15.根据权利要求14所述的方法，所述方法进一步包括使用基于RANSAC的程序将内点边缘点匹配到新的线上，包括从与在先定义的线相关的外点边缘点中迭代定义线。
16.根据权利要求14所述的方法，其中，所述梯度场投影沿着被设定为响应于一个或多个线特征的预期定向的方向定向。
17.根据权利要求14所述的方法，其中，所述梯度场投影定义基于1D高斯核的粒度。
18.根据权利要求14所述的方法，所述方法进一步包括在每一个所述梯度投影子区域中查找多个梯度幅值最大值，其中，所述梯度幅值最大值分别被识别为所述多个边缘点中的一部分，并由位置向量和梯度向量描述。
19.根据权利要求14所述的方法，所述方法进一步包括通过对一度量标准进行计算，确定所提取的多个边缘点的至少一个边缘点和所发现的多条线的至少一条候选线之间的一致性，所述度量标准基于所述至少一个边缘点到所述至少一条候选线的距离和所述至少一个边缘点的梯度方向与所述至少一条候选线的法线方向之间的角度差。
20.根据权利要求14所述的方法，其中，所述图像数据包括从多个摄像机获取并被转换到一公共坐标空间中的多个图像的数据。
21.根据权利要求14所述的方法，所述方法进一步包括使用平滑核平滑所述图像数据。
22.根据权利要求14所述的方法，所述方法进一步包括基于由一绝对对比和一标准化的对比定义的阈值选定所述边缘点，所述标准化的对比为基于所述图像数据的平均强度。
23.根据权利要求14所述的方法，所述方法进一步包括以下至少一个步骤：(a)交换表示平行线或相交线的一部分的边缘点以纠正错误的定向；(b)识别线特征中具有极性变化的线，所述极性变化包括基于所述边缘点的梯度值的线的混合极性。
CN201610945410.2A 2015-11-02 2016-11-02 通过视觉系统查找图像中线的系统和方法 Active CN107424160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110169339.4A CN112927249A (zh) 2015-11-02 2016-11-02 通过视觉系统查找图像中线的系统和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562249918P 2015-11-02 2015-11-02
US62/249,918 2015-11-02
US15/338,445 US10152780B2 (en) 2015-11-02 2016-10-31 System and method for finding lines in an image with a vision system
US15/338,445 2016-10-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110169339.4A Division CN112927249A (zh) 2015-11-02 2016-11-02 通过视觉系统查找图像中线的系统和方法

Publications (2)

Publication Number Publication Date
CN107424160A true CN107424160A (zh) 2017-12-01
CN107424160B CN107424160B (zh) 2021-01-19

Family

ID=58546193

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110169339.4A Pending CN112927249A (zh) 2015-11-02 2016-11-02 通过视觉系统查找图像中线的系统和方法
CN201610945410.2A Active CN107424160B (zh) 2015-11-02 2016-11-02 通过视觉系统查找图像中线的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110169339.4A Pending CN112927249A (zh) 2015-11-02 2016-11-02 通过视觉系统查找图像中线的系统和方法

Country Status (4)

Country Link
US (3) US10152780B2 (zh)
JP (2) JP6934026B2 (zh)
CN (2) CN112927249A (zh)
DE (1) DE102016120775A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399892A (zh) * 2018-04-24 2019-11-01 北京京东尚科信息技术有限公司 环境特征提取方法和装置
CN110570439A (zh) * 2018-06-06 2019-12-13 康耐视公司 使用视觉系统在图像中查找和分类线的系统和方法
CN110712194A (zh) * 2018-07-13 2020-01-21 发那科株式会社 物体检查装置、物体检查系统以及调整检查位置的方法
CN111141208A (zh) * 2019-01-09 2020-05-12 银河水滴科技（北京）有限公司 一种平行线检测方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
US9934578B2 (en) * 2016-08-15 2018-04-03 Macau University Of Science And Technology Method for edge detection
KR20180055070A (ko) * 2016-11-16 2018-05-25 삼성전자주식회사 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치
WO2018109764A1 (en) * 2016-12-14 2018-06-21 Eyes Ltd System and methods for fully automated data analysis, reporting and quantification for medical and general diagnosis, and for edge detection in digitized images
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11176675B2 (en) * 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US10471955B2 (en) * 2017-07-18 2019-11-12 lvl5, Inc. Stop sign and traffic light alert
CN109993747A (zh) * 2019-03-22 2019-07-09 上海理工大学 融合点线特征的快速图像匹配方法
KR102205325B1 (ko) * 2019-06-14 2021-01-21 경북대학교 산학협력단 라인 검출 방법
US11410334B2 (en) * 2020-02-03 2022-08-09 Magna Electronics Inc. Vehicular vision system with camera calibration using calibration target
CN111724366B (zh) * 2020-06-16 2023-08-25 武汉工程大学 一种激光腔识别方法及装置
CN113096073B (zh) * 2021-03-19 2022-10-18 浙江华睿科技股份有限公司 化纤丝锭表面平整度检测方法及装置
CN113111674A (zh) * 2021-04-12 2021-07-13 广东奥普特科技股份有限公司 Aztec码定位与解码方法、系统、设备及存储介质
WO2023141903A1 (en) 2022-01-27 2023-08-03 Cognex Vision Inspection System (Shanghai) Co., Ltd. Easy line finder based on dynamic time warping method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778688B2 (en) * 2001-05-04 2004-08-17 International Business Machines Corporation Remote authentication of fingerprints over an insecure network
CN1685367A (zh) * 2002-10-02 2005-10-19 西门子共同研究公司 基于定向边缘的快速二维目标定位
US20100007797A1 (en) * 2008-07-08 2010-01-14 Zeitera, Llc Digital Video Fingerprinting Based on Resultant Weighted Gradient Orientation Computation
JP2012514252A (ja) * 2008-12-29 2012-06-21 コグネックス・コーポレイション マシンビジョンを用いたオブジェクトの３次元アライメントのためのシステムと方法
US8213679B2 (en) * 2007-01-25 2012-07-03 Shanghai Yao Wei Industry Co. Ltd. Method for moving targets tracking and number counting
CN103390280A (zh) * 2013-07-26 2013-11-13 无锡信捷电气股份有限公司 基于灰度-梯度二维对称Tsallis交叉熵的快速阈值分割方法
CN103440654A (zh) * 2013-08-27 2013-12-11 南京大学 一种lcd异物缺陷检测方法
CN103793880A (zh) * 2014-03-04 2014-05-14 山东科技大学 一种结构自适应和结构保持的图像局部扭曲方法
JP2014092922A (ja) * 2012-11-02 2014-05-19 Tottori Univ 検出装置、検出方法及び検出プログラム
CN103824275A (zh) * 2012-10-31 2014-05-28 康耐视公司 在图像中搜寻鞍点状结构并测定其信息的系统和方法
CN104008553A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 融合影像梯度方向直方图和分水岭方法的裂缝检测方法

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61120002A (ja) 1984-11-16 1986-06-07 Toyota Central Res & Dev Lab Inc 画像のコ−ナ点検出方法及びその装置
US4910786A (en) 1985-09-30 1990-03-20 Eichel Paul H Method of detecting intensity edge paths
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US6728404B1 (en) 1991-09-12 2004-04-27 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
US6005984A (en) 1991-12-11 1999-12-21 Fujitsu Limited Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
WO1995016234A1 (en) 1993-12-12 1995-06-15 Asp Solutions Usa, Inc. Apparatus and method for signal processing
JP3394104B2 (ja) 1993-12-24 2003-04-07 株式会社小松製作所 位置認識方式
US5559695A (en) 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
JP3620884B2 (ja) 1995-03-01 2005-02-16 富士機械製造株式会社 画像処理装置
JP3366497B2 (ja) 1995-07-12 2003-01-14 松下電器産業株式会社 部品検出方法
WO1997021188A1 (en) 1995-12-04 1997-06-12 David Sarnoff Research Center, Inc. Wide field of view/narrow field of view recognition system and method
US6256109B1 (en) * 1996-05-29 2001-07-03 Richard Rosenbaum Image enlargement system
US6137893A (en) 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
JP3189870B2 (ja) * 1996-12-24 2001-07-16 シャープ株式会社 画像処理装置
US5974169A (en) 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
JP3548748B2 (ja) * 1998-04-07 2004-07-28 オムロン株式会社 画像処理装置および方法、画像処理のためのプログラムを記憶した媒体、ならびに検査装置
JPH11351827A (ja) * 1998-06-10 1999-12-24 Fuji Mach Mfg Co Ltd 画像処理装置
US6621924B1 (en) * 1999-02-26 2003-09-16 Sony Corporation Contour extraction apparatus, a method thereof, and a program recording medium
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
US7817844B2 (en) * 1999-08-26 2010-10-19 Nanogeometry Research Inc. Pattern inspection apparatus and method
US7415156B2 (en) 2000-01-28 2008-08-19 Carnegie Mellon University Parametric shape grammar interpreter
US6778699B1 (en) * 2000-03-27 2004-08-17 Eastman Kodak Company Method of determining vanishing point location from an image
WO2001078005A2 (en) 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US7062093B2 (en) 2000-09-27 2006-06-13 Mvtech Software Gmbh System and method for object recognition
US7006694B1 (en) 2000-10-05 2006-02-28 Coreco Imaging, Inc. System and method for pattern identification
DE10157958B4 (de) 2000-11-29 2012-11-15 Omron Corp. Bildverarbeitungsverfahren und-vorrichtung
US6829384B2 (en) 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
JP4707249B2 (ja) * 2001-03-28 2011-06-22 Ｊｕｋｉ株式会社 部品位置検出方法及び装置
JP4199939B2 (ja) * 2001-04-27 2008-12-24 株式会社日立製作所 半導体検査システム
US7217266B2 (en) * 2001-05-30 2007-05-15 Anderson R Rox Apparatus and method for laser treatment with spectroscopic feedback
AU2002319621A1 (en) 2001-07-17 2003-03-03 Amnis Corporation Computational methods for the segmentation of images of objects from background in a flow imaging instrument
JP3822468B2 (ja) * 2001-07-18 2006-09-20 株式会社東芝 画像処理装置及びその方法
US6845171B2 (en) * 2001-11-19 2005-01-18 Microsoft Corporation Automatic sketch generation
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP3863014B2 (ja) * 2001-12-14 2006-12-27 株式会社東芝 物体検出装置及びその方法
US7636455B2 (en) * 2002-06-04 2009-12-22 Raytheon Company Digital image edge detection and road network tracking method and system
US7116823B2 (en) * 2002-07-10 2006-10-03 Northrop Grumman Corporation System and method for analyzing a contour of an image by applying a Sobel operator thereto
US7110602B2 (en) * 2002-08-21 2006-09-19 Raytheon Company System and method for detection of image edges using a polar algorithm process
JP4206723B2 (ja) * 2002-10-11 2009-01-14 オムロン株式会社 画像処理方法および画像処理装置
US7400770B2 (en) * 2002-11-06 2008-07-15 Hrl Laboratories Method and apparatus for automatically extracting geospatial features from multispectral imagery suitable for fast and robust extraction of landmarks
US7927278B2 (en) * 2002-12-13 2011-04-19 California Institute Of Technology Split-screen display system and standardized methods for ultrasound image acquisition and multi-frame data processing
US7236632B2 (en) * 2003-04-11 2007-06-26 Ricoh Company, Ltd. Automated techniques for comparing contents of images
US7983446B2 (en) 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
US7500511B2 (en) 2003-09-24 2009-03-10 Magneco/Metrel, Inc. Molding composition and method of use
US7324661B2 (en) 2004-04-30 2008-01-29 Colgate-Palmolive Company Computer-implemented system and method for automated and highly accurate plaque analysis, reporting, and visualization
JP4327654B2 (ja) 2004-05-10 2009-09-09 シャープマニファクチャリングシステム株式会社 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体
WO2006002320A2 (en) 2004-06-23 2006-01-05 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
JP4328692B2 (ja) 2004-08-11 2009-09-09 国立大学法人東京工業大学 物体検出装置
JP2006260527A (ja) 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法
US20080292194A1 (en) 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
EP1904952A2 (en) 2005-05-23 2008-04-02 Nextcode Corporation Efficient finder patterns and methods for application to 2d machine vision problems
US7689016B2 (en) 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
WO2006138525A2 (en) 2005-06-16 2006-12-28 Strider Labs System and method for recognition in 2d images using 3d class models
JP2007018269A (ja) 2005-07-07 2007-01-25 Nippon Telegr & Teleph Corp <Ntt> 映像中の動き確率計算方法、映像中の動き確率マップ計算方法、変化検出方法、及びプログラム
US20070165966A1 (en) 2005-07-15 2007-07-19 Yissum Research Development Co. Closed form method and system for matting a foreground object in an image having a background
JP4634250B2 (ja) * 2005-08-08 2011-02-16 Ｊｕｋｉ株式会社 矩形部品の画像認識方法及び装置
US7400414B2 (en) * 2005-10-31 2008-07-15 Mitutoyo Corporation Hand-size structured-light three-dimensional metrology imaging system and method
JP4248558B2 (ja) * 2006-03-24 2009-04-02 トヨタ自動車株式会社 道路区画線検出装置
US7831098B2 (en) 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
JP4306744B2 (ja) 2007-03-01 2009-08-05 ソニー株式会社 生体認証装置
WO2008123584A1 (ja) 2007-04-04 2008-10-16 Sony Corporation 生体認証装置
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
US8675951B2 (en) 2007-05-11 2014-03-18 Three Pixels Wide Pty Ltd. Method and system for generating a 3D model
CN101358936B (zh) * 2007-08-02 2011-03-16 同方威视技术股份有限公司 一种利用双视角多能量透射图像进行材料识别的方法及系统
US8237935B2 (en) 2007-10-23 2012-08-07 Gii Acquisition, Llc Method and system for automatically inspecting parts and for automatically generating calibration data for use in inspecting parts
JP4627782B2 (ja) * 2008-03-05 2011-02-09 株式会社日立ハイテクノロジーズ エッジ検出方法、及び荷電粒子線装置
JP2009252959A (ja) * 2008-04-04 2009-10-29 Toshiba Corp パターン検査装置、パターン検査方法および半導体装置の製造方法
US8363973B2 (en) 2008-10-01 2013-01-29 Fuji Xerox Co., Ltd. Descriptor for image corresponding point matching
JP2010092199A (ja) 2008-10-07 2010-04-22 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP5645842B2 (ja) 2008-12-11 2014-12-24 アイマックス コーポレイション スケールスペースを使用した画像処理装置及び方法
JP5429869B2 (ja) * 2008-12-22 2014-02-26 株式会社 Ｎｇｒ パターン検査装置および方法
US8774498B2 (en) 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
US9400769B2 (en) * 2009-08-06 2016-07-26 Hewlett-Packard Development Company, L.P. Document layout system
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
EP2507744A2 (en) 2009-12-02 2012-10-10 QUALCOMM Incorporated Feature matching by clustering detected keypoints in query and model images
CN102414720B (zh) * 2010-03-19 2015-08-19 松下电器（美国）知识产权公司 特征量计算装置、特征量计算方法
US8805083B1 (en) * 2010-03-21 2014-08-12 Jeffrey M. Sieracki System and method for discriminating constituents of image by complex spectral signature extraction
US8565536B2 (en) * 2010-04-01 2013-10-22 Microsoft Corporation Material recognition from an image
EP2582127B1 (en) 2010-06-11 2018-04-18 Panasonic Intellectual Property Corporation of America Image processing apparatus and image processing method
JP2012027617A (ja) 2010-07-21 2012-02-09 Canon Inc パターン識別装置、パターン識別方法及びプログラム
JP5597056B2 (ja) * 2010-08-02 2014-10-01 株式会社キーエンス 画像測定装置、画像測定方法及び画像測定装置用のプログラム
WO2012036306A1 (ja) 2010-09-17 2012-03-22 日本電気株式会社 携帯物領域抽出装置、携帯物領域抽出方法、及び、携帯物領域抽出プログラム
EP2549735A3 (en) 2011-07-19 2014-08-27 Samsung Electronics Co., Ltd. Method of editing static digital combined images comprising images of multiple objects
RU2458396C1 (ru) 2011-07-19 2012-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ редактирования статических цифровых комбинированных изображений, включающих в себя изображения нескольких объектов
JP5783567B2 (ja) 2011-10-12 2015-09-24 国立大学法人鳥取大学 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
JP5743849B2 (ja) 2011-10-27 2015-07-01 株式会社日立製作所 映像解析装置及びシステム
US9218536B2 (en) * 2011-12-23 2015-12-22 Cognex Corporation Methods and apparatus for one-dimensional signal extraction
JP2013196308A (ja) 2012-03-19 2013-09-30 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2014149788A (ja) 2013-02-04 2014-08-21 Nippon Telegr & Teleph Corp <Ntt> 物体領域境界推定装置、物体領域境界推定方法及び物体領域境界推定プログラム
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
JP6209069B2 (ja) 2013-11-26 2017-10-04 日本電信電話株式会社 境界検出装置、境界検出方法及びコンピュータプログラム
US20150324689A1 (en) 2014-05-12 2015-11-12 Qualcomm Incorporated Customized classifier over common features
JP6629762B2 (ja) 2014-05-23 2020-01-15 ベンタナ メディカル システムズ， インコーポレイテッド 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
CN106157283A (zh) 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
DE102016009030B4 (de) 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
CN105260699B (zh) 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
JP6463593B2 (ja) 2015-11-02 2019-02-06 コグネックス・コーポレイション ビジョンシステムでラインを検出するためのシステム及び方法
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
US10235623B2 (en) 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10878574B2 (en) 2018-02-21 2020-12-29 Topcon Corporation 3D quantitative analysis of retinal layers with deep learning

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778688B2 (en) * 2001-05-04 2004-08-17 International Business Machines Corporation Remote authentication of fingerprints over an insecure network
CN1685367A (zh) * 2002-10-02 2005-10-19 西门子共同研究公司 基于定向边缘的快速二维目标定位
US8213679B2 (en) * 2007-01-25 2012-07-03 Shanghai Yao Wei Industry Co. Ltd. Method for moving targets tracking and number counting
US20100007797A1 (en) * 2008-07-08 2010-01-14 Zeitera, Llc Digital Video Fingerprinting Based on Resultant Weighted Gradient Orientation Computation
JP2012514252A (ja) * 2008-12-29 2012-06-21 コグネックス・コーポレイション マシンビジョンを用いたオブジェクトの３次元アライメントのためのシステムと方法
CN103824275A (zh) * 2012-10-31 2014-05-28 康耐视公司 在图像中搜寻鞍点状结构并测定其信息的系统和方法
JP2014092922A (ja) * 2012-11-02 2014-05-19 Tottori Univ 検出装置、検出方法及び検出プログラム
CN103390280A (zh) * 2013-07-26 2013-11-13 无锡信捷电气股份有限公司 基于灰度-梯度二维对称Tsallis交叉熵的快速阈值分割方法
CN103440654A (zh) * 2013-08-27 2013-12-11 南京大学 一种lcd异物缺陷检测方法
CN103793880A (zh) * 2014-03-04 2014-05-14 山东科技大学 一种结构自适应和结构保持的图像局部扭曲方法
CN104008553A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 融合影像梯度方向直方图和分水岭方法的裂缝检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399892A (zh) * 2018-04-24 2019-11-01 北京京东尚科信息技术有限公司 环境特征提取方法和装置
CN110399892B (zh) * 2018-04-24 2022-12-02 北京京东尚科信息技术有限公司 环境特征提取方法和装置
CN110570439A (zh) * 2018-06-06 2019-12-13 康耐视公司 使用视觉系统在图像中查找和分类线的系统和方法
CN110570439B (zh) * 2018-06-06 2024-05-17 康耐视公司 使用视觉系统在图像中查找和分类线的系统和方法
CN110712194A (zh) * 2018-07-13 2020-01-21 发那科株式会社 物体检查装置、物体检查系统以及调整检查位置的方法
CN111141208A (zh) * 2019-01-09 2020-05-12 银河水滴科技（北京）有限公司 一种平行线检测方法及装置
CN111141208B (zh) * 2019-01-09 2021-08-27 银河水滴科技（北京）有限公司 一种平行线检测方法及装置

Also Published As

Publication number Publication date
DE102016120775A1 (de) 2017-05-04
JP6934026B2 (ja) 2021-09-08
CN107424160B (zh) 2021-01-19
US20190378254A1 (en) 2019-12-12
JP7297018B2 (ja) 2023-06-23
JP2021184307A (ja) 2021-12-02
US20170236258A1 (en) 2017-08-17
US10152780B2 (en) 2018-12-11
CN112927249A (zh) 2021-06-08
US10902568B2 (en) 2021-01-26
JP2019079553A (ja) 2019-05-23
US11854173B2 (en) 2023-12-26
US20210183032A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
CN107424160A (zh) 通过视觉系统查找图像中线的系统和方法
US11699283B2 (en) System and method for finding and classifying lines in an image with a vision system
KR102649038B1 (ko) 비전 시스템으로 이미지에서 라인을 찾기 위한 시스템 및 방법
US11676301B2 (en) System and method for efficiently scoring probes in an image with a vision system
CN108038826B (zh) 透视变形的搁架图像的校正方法和装置
TWI765442B (zh) 瑕疵等級判定的方法及存儲介質
JP2024016287A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
Żak et al. Local image features matching for real-time seabed tracking applications
CN111353325A (zh) 关键点检测模型训练方法及装置
AU2014277851A1 (en) Detecting a gap between text columns from text line fragments
US20240078801A1 (en) System and method for finding and classifying lines in an image with a vision system
Oh et al. Saliency detection using centroid weight map
CN109670519A (zh) 图像处理装置和图像处理方法
CN117253022A (zh) 一种对象识别方法、装置及查验设备
Nguyen et al. Tensor voting, hough transform and SVM integrated in chess playing robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant