CN112567384A - 用视觉系统在图像中查找图案并对图案进行分类的系统和方法 - Google Patents
用视觉系统在图像中查找图案并对图案进行分类的系统和方法 Download PDFInfo
- Publication number
- CN112567384A CN112567384A CN201980047703.0A CN201980047703A CN112567384A CN 112567384 A CN112567384 A CN 112567384A CN 201980047703 A CN201980047703 A CN 201980047703A CN 112567384 A CN112567384 A CN 112567384A
- Authority
- CN
- China
- Prior art keywords
- pattern
- neural network
- image
- trained
- finding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 92
- 230000008569 process Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 14
- 238000007689 inspection Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- YLJREFDVOIBQDA-UHFFFAOYSA-N tacrine Chemical compound C1=CC=C2C(N)=C(CCCC3)C3=NC2=C1 YLJREFDVOIBQDA-UHFFFAOYSA-N 0.000 description 1
- 229960001685 tacrine Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
Abstract
本发明提供了一种用于在图像中查找图案的系统和方法，该系统结合了神经网络分类器。图案查找工具与分类器耦合，该分类器可在工具之前或之后运行，以具有亚像素精度的标记图案结果。对于可检测多个模板的图案查找工具，当神经网络分类器通知图案查找工具只在最初训练的模板的子集上工作时，其性能得到改善。类似地，开始时图案查找工具检测图案，然后神经网络分类器可确定它是否查找到了正确的图案。神经网络还可重建/清理成像的形状，和/或消除与感兴趣的形状不太相关的像素，因此减少搜索时间，以及显著增加锁定正确形状的机会。
Description
技术领域
本发明涉及机器视觉系统和方法，更具体地，涉及图案搜索和识别工具。
背景技术
机器视觉系统，本文也称为“视觉系统”，用于在制造环境中执行各种任务。一般地，视觉系统由一个或多个带有图像传感器(或“成像器”)的相机组成，图像传感器获取包含制造中的对象的场景的灰度或彩色图像。可对对象的图像进行分析，以向用户和相关的制造过程提供数据/信息。图像产生的数据通常由一个或多个视觉系统处理器中的视觉系统进行分析和处理，该视觉系统处理器可以是专门构建的，或者是通用计算机(例如，PC、膝上型电脑、平板电脑或智能手机)中实例化的一个或多个软件应用程序的一部分。
普通视觉系统任务包括对准和检查。在对准任务中，视觉系统工具(例如从马萨诸塞州的康耐视公司购买的众所周知的
系统)将场景图像中的特征与训练(使用实际或合成模型)图案进行比较，并且确定成像场景中图案的存在/不存在和姿态。此信息可用于后续检查(或其它)操作，以搜索缺陷和/或执行其它操作，例如零件拒收。
希望提高传统图案查找工具的性能，这些工具可包括预定的可搜索图案列表(例如圆形、正方形、螺旋图像等)。通常，此类工具可能无法正确区分某些具有细微差异(例如圆形与带有小凹口的圆形)的训练图案。
发明内容
本发明通过提供一种结合神经网络(也称为“神经网络(neural net)”)分类器(有时也称为“分析器”)的用于在图像中查找图案的系统和方法来克服现有技术的缺点。图案查找工具与分类器耦合，该分类器可在工具之前或之后运行，以获得具有亚像素精度的标记图案结果。在可检测多个模板的图案查找工具的情况下，当神经网络分类器通知图案查找工具只在最初训练的模板的子集上工作时，其性能得到改善。可替代地，当在运行图案查找工具之前使用神经网络来重建或清除图像时，可提高图案查找工具的性能。此外，神经网络可用于基于图像中每个像素属于待匹配图案的可能性来计算该像素的加权值。类似地，开始时图案查找工具检测图案，然后神经网络分类器可确定其是否查找到了正确的图案。
在说明性实施例中，用于在图像中查找图案的系统和方法包括图案查找工具，基于与包含感兴趣图案的一个或多个训练图像相关的一个或多个模板训练该图案查找工具。在一个或多个训练图像上训练神经网络分类器，并且在运行时间期间运行时间模板匹配处理，其中，(a)训练的神经网络分类器基于运行时间图像向图案查找工具提供一个或多个模板，并且训练的图案查找工具基于与运行时间图像组合的一个或多个模板图像执行图案匹配，或者(b)训练图案查找工具将从运行时间图像查找到的图案提供给训练的神经网络分类器，并且训练的神经网络分类器基于查找到的图案和运行时间图像执行图案匹配。图案查找工具适于使用多个模板或在单个模板上进行训练。神经网络包括卷积神经网络(CNN)。
在另一个实施例中，提供了一种用于在图像中查找图案的系统和方法，该系统和方法包括神经网络，该神经网络训练为在图像中定位一个或多个候选形状，并且布置为在运行时间操作期间识别图像中存在一个或多个形状的概率。神经网络由此生成(a)具有超过概率阈值的一个或多个候选形状的特征的加权掩模，和/或(b)重建的图像，其中，在重建的图像中替换一个或多个候选形状的模型的特征，其中，神经网络分析器识别超过概率阈值的一个或多个候选形状的特征的存在。说明性地，使用相对于一个或多个候选形状的一个或多个模型来训练图案查找工具，以在(a)加权掩模和/或(b)重建的图像中查找到一个或多个候选形状。神经网络可定义加权掩模，使得其中的每个像素具有与一个或多个形状的识别相关的分数。重建的图像可被定义为二值图像。说明性地，神经网络分析器向图案查找工具提供关于一个或多个候选形状的类型的存在的数据，并且图案查找工具将所述处理限制为与定位该类型相关的处理。通常，神经网络可包括卷积神经网络(CNN)。
附图说明
下面的发明描述参考附图，其中：
图1为视觉系统的示意图，该视觉系统布置为使用图案查找工具结合神经网络分类器来分析包含不同形状和/或图案的成像对象；
图2为示出智能图案查找工具的训练过程的框图，该智能图案查找工具包括在一个或多个图像模板的相同集合上训练的神经网络分类器和图案查找工具；
图3为使用图2的训练的智能图案查找工具对输入图像进行运行时间操作的框图，其中，神经网络分类器在图案查找工具之前运行；
图4为示出智能图案查找工具的训练过程的框图，该智能图案查找工具包括在单个模板的一个或多个图像上训练的神经网络分类器和图案查找工具；
图5为使用图4的训练的智能图案查找工具对输入图像进行运行时间操作的框图，其中，神经网络分类器在图案查找工具之后运行；
图6为示出了应用神经网络来初始搜索/确定图像中的候选形状，然后应用图案查找工具来细化搜索/确定的过程的概述的流程图；
图7为示出在图6的过程中神经网络的训练和运行时间操作的流程图；
图8为示出使用由图7的神经网络过程提供的图像结果的图案查找工具的运行时间操作的流程图；
图9为示出与图5的图案查找工具相关的加权掩模的创建的框图；
图10为示出根据图9处理示例性感兴趣形状和包含感兴趣形状和感兴趣形状模型的获取的图像数据以生成加权掩模的示意图；
图11为示出使用根据图5的神经网络来重建或清理获取的图像数据中的感兴趣形状的框图；以及
图12为示出处理包含感兴趣形状的示例性获取的图像数据以生成根据图11的该形状的重建的和/或清理后的版本(例如作为二值图像)的示意图。
具体实施方式
I.系统概述
图1示出了根据说明性系统和方法使用的通用视觉系统装置100。视觉系统可在任何可接受的环境中实现，包括零件/表面检查、机器人控制、零件对准等。该系统包括至少一个视觉系统相机组件110，该视觉系统相机组件110具有光学件O和图像传感器(也称为“传感器”或“成像器”)S，该图像传感器也可包括机载照明或独立照明(未示出)。相机组件对场景120成像，该场景可包括一个或多个静止或运动对象130。在这个示例中，对象包括轮廓形状，以及规则和不规则几何形状的各种内部形状132、134、136和138。更一般地，图案可为任何几何形状或对象的任意2-D图像。
相机组件110和相关的传感器S互连到视觉系统处理器140，该视觉系统处理器可全部或部分位于相机组件110内，或者可位于单独的处理设备中，例如服务器、PC、膝上型电脑、平板电脑或智能手机(计算机160)。计算设备可包括适当的用户交互，例如显示器/触摸屏162、键盘164和鼠标166。
说明性地，视觉系统处理(处理器)140操作各种视觉系统工具和相关软件/固件，以在运行时间期间操纵和分析对象130的获取和/或存储的图像。处理(处理器)140可训练为根据特定参数起作用，并且使用训练过程来识别在对象中查找到的特定形状。处理(处理器)140包括各种视觉系统组件，视觉系统组件包括图案查找工具142，例如在上述
软件包及其变体(例如
Multi-Model)中查找到的那些图案查找工具。图案查找工具可采用训练模板144中包含的训练图案或标准形状图案(正方形、圆形等)。如下所述，视觉系统处理(处理器)还包括神经网络处理(处理器)150，或与该神经网络处理(处理器)对接。神经网络处理(处理器)(也称为“神经网络”)150以分类器的形式对各种图案进行操作，以提高系统100的图案查找速度和性能。
图案查找的结果可通过计算机接口162传送给用户，和/或传送给另一个下游使用设备或处理(处理器)180。这种设备或处理(处理器)可包括装配机器人控制器、生产线检查、零件检查/拒收、质量控制等。
已认识到，传统的图案匹配方法需要使用具有感兴趣形状或特征的模型图像来训练常规的图案匹配工具，例如
或
MultiModel。在运行时间期间，图案匹配工具运行通过训练模板中的一个或多个(可能全部)，以努力在检查对象的获取图像中定位与训练图案的正确匹配。
相反，本实施例提供了一种智能图案查找工具，其利用神经网络处理来增强传统的图案查找工具，从而使其具有在工具结果中自动标记查找的图案或者使用相关的神经网络分类器来可靠地检测图案的能力。在操作中，这种方法允许在包含模板的图像数据库上训练智能图案查找工具。训练后，在运行时间期间，智能图案查找器工具结合了传统图案查找器和神经网络分类器的最佳特性，以提供具有高度精确姿态(位置、比例、旋转等)的正确标记图案查找结果。
II.使用神经网络优化搜索的图案查找
参考图2，其示出了表示运行时间前的训练时间过程200的框图。工具210包括常规的图案查找工具220和相关的神经网络分类器，该分类器帮助图案查找工具在一组/多个训练图案(模板)240中查找正确的图案。
更具体地，在训练时间，在一个或多个模板图像上训练传统的图案查找工具220(例如，
Multi-Model)。同时，在由每个模板表示的图案的多个示例图像上训练神经网络分类器(例如卷积神经网络(CNN))230。神经网络分类器230训练成处理输入图像并且报告在输入图像中查找到的模板标签子集。
图3描绘了运行时间过程(使用预分类)300，其中，训练的神经网络分类器310首先在输入运行时间图像(由相机110获取和/或通过先前获取而存储)320上运行，并确定每个模板的概率。智能图案查找工具过滤出最佳结果，然后通知训练的图案查找工具350处理这些匹配的M个模板340的子集，而不是N个模板的完整集合(图2中的240)。这样，将M个最佳拟合模板340的子集作为搜索参数提供给训练图案查找工具350。将输入图像320提供给图案查找工具350，并且将搜索参数用来产生匹配模板结果360作为工具350的输出。这些结果可显示给用户或用于下游使用操作(如零件校准、检查等)。有利地，该过程300减少了生成匹配模板通常需要的计算量。
根据本文的实施例，可采用各种专有的和商业上可获得的(例如开源的)神经网络体系架构和相关的分类器。例如TensorFlow、微软CNTK。
可使用上述训练过程和运行时间过程200和300的示例性应用是查找正确的基准，其中，不同部分的基准形状可有所不同(十字、菱形等)。说明性地，传统的图案查找工具是在代表每个可能的基准图案的模板图像上训练的。此外，神经网络分类器(例如TensorFlow)在多个图像上训练，这些图像示出每个基准图案的外观变化，以及与每个基准图案相关的标签。在运行时间，首先运行训练的神经网络分类器，其返回在运行时间图像中查找到的标签集。利用这些信息，系统可通知图案查找工具(例如
MultiModel)只在由神经网络分类器生成的标签表示的模板集上运行，从而加快对准并且生成更可靠的结果。
图4示出了一种装置，其中，传统的图案查找工具查找某个图案，并且神经网络分类器确定其是否是正确的匹配(即，后分类)。在训练时间，用单个图像模板440训练传统的图案查找工具410。然后，在多个图像上针对期望的模板训练与工具410相关的神经网络分类器(例如TensorFlow)430。分类器430的输入与输入到传统图案查找工具440的图像相同。
图5描绘了运行时间过程(使用后分类)500，其中，图案查找工具550首先在输入图像520中查找图案。输入图像520以及从传统图案查找工具(例如
)的输出计算的可选边界框一起被提供给训练的神经网络分类器510。然后，分类器510确定传统图案查找器是否已经查找到正确的/匹配的图案560。分类器510的输出是查找到训练模板的总体置信度。
举例来说，一个可操作的应用示例涉及具有微小差异的高度易混淆的形状，例如圆形与带有凹口的圆形。假设传统的图案查找工具(例
)350是在模板图像上训练的，该模板图像描绘了一个带有凹口的圆形。然后，神经网络分类器510在包含期望形状(带凹口的圆)以及其它易混淆形状(不带凹口的圆形)的图像上进行训练。在运行时间，输入图像以及从传统图案查找工具的输出计算的可选边界框馈送到训练的神经网络分类器510，然后分类器确定传统图案查找器是否查找到了正确的图案(带凹口的圆形)。在这种示例性情况下，该过程提高了图案查找的稳健性。
注意，在替代实施例中，传统的图案查找工具及其在一个或多个模板上训练的能力是高度可变的。在替代实施例中，上述预分类和后分类过程可各自修改以包括不同类型的图案查找工具和相关的模板。
III.使用训练图案工具优化搜索的图案查找
参考图6，示出了根据可由图1的装置100实现的另一个示例性实施例的智能图案查找的总体(概括)过程600。可预期的是，使用对获取的图像进行操作的常规训练的图案查找工具来定位一些图案可能会更具挑战性。在一些情况下，神经网络/深度学习架构的固有特性可在图像中最初定位图案候选时提供益处。因此，在过程600中，神经网络训练为定位各种图案类型，并且在步骤610中应用于获取的图像。这将为给定类型的形状生成一个带有相关分数的候选列表。然后，基于分数，过程600将常规的图案查找工具(例如
MultiModel)应用于分数高于特定阈值的形状候选(步骤620)。图案查找工具搜索由神经网络识别的特定形状，或者其可在每个形状候选中搜索各种类型的形状。
有利地，神经网络可有效地识别可能的形状候选，而计算量大的任务，例如亚像素级模型拟合，可通过图案查找工具以稳健的方式来处理。
在图7的过程700的步骤710中描述了训练神经网络以识别某些形状。一旦进行了训练，在运行时间期间，神经网络使用训练的配置基于获取的图像中的每个像素是否看起来是训练的形状的一部分来为其分配分数(概率)(步骤720)。结果是一概率图像，其中，图像中的每个像素都具有分配的分数(步骤730)。来自步骤730的概率图像可被存储，然后被提供(例如作为掩模)给图案查找工具——从图案查找工具操作的图像结果中屏蔽掉看起来不具有候选形状的像素(步骤740)。神经网络结果可包括概率图像中候选形状的类型。形状类型信息允许图案查找工具将其在概率图像中(在选定位置)的搜索专门缩小到由这些结果提供的形状类型(步骤750)。因此，图案查找工具可更快更有效地操作，因为其避免了运行与候选形状无关的工具。
上述过程600在多种应用中是有利的。例如，在存在高局部失真的情况下，使用神经网络来初始筛选图像是有用的，因为神经网络本质上以更直接的方式基于概率重建图像，以便由图案查找工具进行分析。举例来说，传入的图像可是高度纹理化的，并且缺乏定义的对比线。通过神经网络处理后，得到的概率图像是具有高对比度的二值表示，定义的边界表示(例如)矩形、三角形、圆形等。在特定示例中，神经网络可有效地解决可能磨损的绳索或缆绳的末端形状(产生高纹理区域)。神经网络将黑暗背景上的亮矩形传递给图案查找工具——反之亦然。
如图8的过程800中所述，在运行时间期间，训练的图案查找工具(已经用与感兴趣形状相关的基于模型的模板训练)从神经网络接收概率图像(掩模)和(可选地)接收关于图像中识别的候选形状类型的信息(步骤810)。图案查找工具对图像进行操作，聚焦于所选区域，并且使用与所识别的图像类型相关的工具和过程(步骤820)。然后，在步骤830中，图案查找工具生成结果，其中，查找到的形状位于图像内，并且形状上的适当坐标(和其它)数据输出到后续操作。
进一步参考图9，其示出了用于创建和使用与获取的图像中的感兴趣形状相关的加权掩模的示例性过程900的框图。如图所示，图像910输入到神经网络920。使用适当的训练技术，神经网络920输出感兴趣形状的加权掩模930。如上所述，每个像素基于其成为感兴趣形状的一部分的可能性来评分。随后，将加权掩模930以及原始图像数据910输入到图案查找(模板匹配)工具(例如Cognex
等)。工具940由此可基于包含在加权掩模930中的数据输出图像950内感兴趣形状的位置和附加匹配分数信息960。
图10的图表1000中描绘了过程900。感兴趣的示例性形状1010示出为具有连续边界的U形结构。然而，相关的获取的图像1012提供了断开的边界1014和中间形状1016。附加地，感兴趣的图像形状1012在场景内相对于预期形状1010的方向旋转一个角度。也可能存在获取的图像与预期形状之间的其它基于失真的差异。如本文所述，感兴趣的形状数据1010和图像数据1012输入到神经网络1020。所得到的图像的输出加权掩模1030表示为一系列形状段1040，这些形状段近似感兴趣的底层形状，并且省略了中间形状数据1016。如图所示，段1040以更高的概率/可能性包围周围像素的范围。这个区域近似于感兴趣形状边缘的一般轮廓。这种表示1040更容易由常规的模型训练的图案查找(模板匹配)工具匹配。
在另一个示例性实施例中，神经网络可用于重建和/或清理图像内的感兴趣形状。如图11的过程1100中所示，神经网络1120接收获取的图像数据1110，并采用训练来输出感兴趣形状的重建1130，其中，每个像素根据其属于感兴趣形状(即神经网络训练的对象)的可能性来评分。该重建然后输入到基于模型的图案查找(模板匹配)工具1140，该工具包括感兴趣形状的模板。该工具输出感兴趣形状的粗略位置1150。这个粗略位置可由下游过程适当地使用和/或可选地再次输入到模型训练图案查找工具1160(与块1140相同的工具或不同的工具)。原始图像数据1110也提供给图案查找工具1160。来自输入1110和1150的工具1160的输出是图像1110中感兴趣形状的精细位置1170。
作为过程1100的示例，图12的图表1200示出了图像中的两个输入形状1210和1212。如上所述，对每个形状进行神经网络重建1220和1222。这产生了分别用于获取的图像数据的重建形状1230和1232。重建可因此取代现有的失真的或不清楚的形状。因此，神经网络可用于有效地提供图像数据中不完整或失真形状的清除和/或重建，这可允许在下游操作(包括使用上述图案查找工具或另一种合适的工具的图案查找)中更有效地使用这种数据。如图所示，该形状可以表示为具有与预期/模型形状的边界相称的界限分明的二值图像。
IV.结论
应该清楚的是，上述系统和方法使用传统图案匹配应用和神经网络分类器的组合，提供了用于查找和匹配训练图案的更可靠和更快速的技术。这种方法允许减少模板的数量或过滤查找到的图案，从而增强系统和方法对正确匹配的决策。此外，上述系统和方法有效地使得神经网络能够用作成像的形状重建/清理工具，和/或消除与感兴趣的形状不太相关的像素，因此减少了搜索时间，并且显著增加了锁定正确形状的机会。当图像中的形状失真或缺少形状特征时，这种技术尤其有效。
前面已经详细描述了本发明的说明性实施例。在不背离本发明的技术方案和范围的情况下，可进行各种修改和添加。为了在相关的新实施例中提供多种特征组合，上述各种实施例中的每一个的特征可适当地与其它描述的实施例的特征相结合。此外，尽管前面描述了本发明的设备和方法的多个单独的实施例，但是本文所描述的仅仅是本发明原理的应用的说明。例如，如本文所使用的，术语“处理”和/或“处理器”应广义地理解为包括各种基于电子硬件和/或软件的功能和组件(并且可替代地称为功能“模块”或“元件”)。此外，所描绘的过程或处理器可以与其它过程和/或处理器相结合，或者分成各种子过程或处理器。根据本文的实施例，可不同地组合此类子过程和/或子处理器。同样，可清楚地设想，本文的任何功能、过程和/或处理器可使用电子硬件、由程序指令的非暂时性计算机可读介质组成的软件或者硬件和软件的组合来实现。附加地，如本文所使用的，各种方向和设置术语，例如“垂直”、“水平”、“向上”、“向下”、“底部”、“顶部”、“侧面”、“前部”、“后部”、“左侧”、“右侧”等，仅用作相对惯例，而不是相对于固定坐标空间(例如重力的作用方向)的绝对方向/设置。附加地，当术语“基本上”或“近似”用于给定的测量、值或特性时，它指的是在正常操作范围内以获得期望结果的量，但包括由于系统允许公差(例如1％-5％)内的固有不准确性和误差引起的一些可变性。因此，该描述仅意味着作为示例，而不是限制本发明的范围。
Claims (22)
1.一种用于在图像中查找图案的系统，包括：
图案查找工具，所述图案查找工具是基于与包含感兴趣图案的一个或多个训练图像相关的一个或多个模板训练的；
神经网络分类器，在所述一个或多个训练图像上训练所述神经网络分类器；
模板匹配处理，其中，在运行时间期间：
(a)所述训练的神经网络分类器基于运行时间图像向图案查找工具提供一个或多个模板，并且所述训练的图案查找工具基于与所述运行时间图像组合的所述一个或多个模板图像执行图案匹配，或者
(b)所述训练图案查找工具将从所述运行时间图像查找到的图案提供给所述训练的神经网络分类器，并且所述训练的神经网络分类器基于所述查找到的图案和所述运行时间图像执行图案匹配。
2.根据权利要求1所述的系统，其中，所述图案查找工具适于使用多个所述模板来训练。
3.根据权利要求1所述的系统，其中，所述图案查找工具在单个模板上训练。
4.根据权利要求1所述的系统，其中，所述神经网络包括卷积神经网络(CNN)。
5.一种用于在图像中查找图案的系统，包括：
神经网络，所述神经网络训练为在图像中定位一个或多个候选形状，并且布置为在运行时间操作期间识别所述图像中存在所述一个或多个形状的概率，并且由此生成(a)具有超过概率阈值的所述一个或多个候选形状的特征的加权掩模，或(b)重建的图像，其中，在所述重建的图像中替换所述一个或多个候选形状的模型的特征，其中，所述神经网络识别超过所述概率阈值的所述一个或多个候选形状的特征的存在。
6.根据权利要求5所述的系统，还包括图案查找工具，使用与所述一个或多个候选形状相关的一个或多个模型来训练所述图案查找工具，以在(a)所述加权掩模或(b)所述重建图像中查找到所述一个或多个候选形状。
7.根据权利要求6所述的系统，其中，所述神经网络定义所述加权掩模，其中，每个像素具有与所述一个或多个形状的识别相关的分数。
8.根据权利要求5所述的系统，其中，所述重建图像定义为二值图像。
9.根据权利要求6所述的系统，其中，所述神经网络向所述图案查找工具提供关于所述一个或多个候选形状的类型的存在的数据，并且所述图案查找工具将所述处理限制为与定位所述类型相关的处理。
10.根据权利要求5所述的系统，其中，所述神经网络包括卷积神经网络(CNN)。
11.一种用于在图像中查找图案的系统，包括：
神经网络，所述神经网络训练为在图像中定位一个或多个候选形状，并且布置为在运行时间操作期间识别所述图像中存在所述一个或多个形状的概率，并且由此生成(a)具有超过概率阈值的所述一个或多个候选形状的特征的加权掩模，和(b)重建的图像，其中，在所述重建的图像中替换所述一个或多个候选形状的模型的特征，其中，所述神经网络识别超过所述概率阈值的所述一个或多个候选形状的特征的存在。
12.根据权利要求11所述的系统，还包括图案查找工具，使用与所述一个或多个候选形状相关的一个或多个模型来训练所述图案查找工具，以在(a)所述加权掩模和(b)所述重建的图像中查找到所述一个或多个候选形状。
13.一种用于在图像中查找图案的方法，包括：
用神经网络定位图像中的一个或多个候选形状，并且在运行时间操作期间识别所述图像中存在所述一个或多个形状的概率；以及
生成(a)具有超过概率阈值的所述一个或多个候选形状的特征的加权掩模，或(b)重建的图像，其中，在所述重建的图像中替换所述一个或多个候选形状的模型的特征，其中，所述神经网络识别超过所述概率阈值的所述一个或多个候选形状的特征的存在。
14.根据权利要求13所述的方法，还包括利用图案查找工具在(a)所述加权掩模或(b)所述重建的图像中查找所述一个或多个候选形状，使用相对于所述一个或多个候选形状的一个或多个模型来训练所述图案查找工具。
15.根据权利要求14所述的方法，还包括用所述神经网络定义所述加权掩模，使得其中的每个像素具有与所述一个或多个形状的识别相关的分数。
16.根据权利要求13所述的方法，还包括将所述重建的图像定义为二值图像。
17.根据权利要求16所述的方法，还包括，从所述神经网络向所述图案查找工具提供关于所述一个或多个候选形状的类型的存在的数据，并且将所述图案查找的处理限制为与定位所述类型相关的处理。
18.根据权利要求13所述的方法，其中，所述神经网络包括卷积神经网络(CNN)。
19.一种用于在图像中查找图案的系统，包括：
神经网络，所述神经网络训练为在图像中定位一个或多个候选形状，并且布置为在运行时间操作期间识别所述图像中所述一个或多个形状存在的概率，并且由此生成具有超过概率阈值的所述一个或多个候选形状的特征的加权掩模。
20.根据权利要求19所述的系统，还包括图案查找工具，使用与所述一个或多个候选形状相关的一个或多个模型来训练所述图案查找工具，以在所述加权掩模中查找到所述一个或多个候选形状。
21.一种用于在图像中查找图案的系统，包括：
神经网络，所述神经网络训练为定位图像中的一个或多个候选形状，并且布置为在运行时间操作期间识别所述图像中所述一个或多个形状存在的概率，并且由此生成重建的图像，其中，在所述重建的图像中替换所述一个或多个候选形状的模型的特征，其中，所述神经网络识别超过所述概率阈值的所述一个或多个候选形状的特征的存在。
22.根据权利要求21所述的系统，其中，所述重建的图像定义了二值图像。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862681619P | 2018-06-06 | 2018-06-06 | |
| US62/681,619 | 2018-06-06 | ||
| US201962793364P | 2019-01-16 | 2019-01-16 | |
| US62/793,364 | 2019-01-16 | ||
| PCT/US2019/035840 WO2019236885A1 (en) | 2018-06-06 | 2019-06-06 | System and method for finding and classifying patterns in an image with a vision system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112567384A true CN112567384A (zh) | 2021-03-26 |
Family
ID=68769594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980047703.0A Pending CN112567384A (zh) | 2018-06-06 | 2019-06-06 | 用视觉系统在图像中查找图案并对图案进行分类的系统和方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11568629B2 (zh) |
| JP (2) | JP7316731B2 (zh) |
| KR (2) | KR102649930B1 (zh) |
| CN (1) | CN112567384A (zh) |
| DE (1) | DE112019002848T5 (zh) |
| WO (1) | WO2019236885A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7372076B2 (ja) * | 2019-08-07 | 2023-10-31 | ファナック株式会社 | 画像処理システム |
| US11593931B2 (en) | 2020-06-09 | 2023-02-28 | Howmedica Osteonics Corp. | Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types |
| KR102509460B1 (ko) * | 2020-11-25 | 2023-03-14 | 파크시스템스 주식회사 | 원자 현미경에서 목표 위치를 인식하기 위한 장치 및 방법 |
| KR102465302B1 (ko) * | 2020-12-04 | 2022-11-10 | 파크시스템스 주식회사 | 원자 현미경에서 프로브 종류를 인식하기 위한 장치 및 방법 |
| US20230249349A1 (en) * | 2020-12-18 | 2023-08-10 | Strong Force Vcn Portfolio 2019, Llc | Deployment System for Additive Manufacturing Robot Fleet |
| KR102554224B1 (ko) | 2020-12-31 | 2023-07-12 | 파크시스템스 주식회사 | 원자 현미경에서 시료 위치를 인식하기 위한 방법 및 장치 |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| DE69315990T2 (de) | 1993-07-01 | 1998-07-02 | Ibm | Mustererkennung durch Erzeugung und Benutzung zonenweiser Merkmale und Anti-Merkmale |
| JP4613466B2 (ja) | 2001-09-28 | 2011-01-19 | パナソニック株式会社 | 実装部品検査方法および装置 |
| US7668388B2 (en) | 2005-03-03 | 2010-02-23 | Mitutoyo Corporation | System and method for single image focus assessment |
| JP2007220004A (ja) | 2006-02-20 | 2007-08-30 | Funai Electric Co Ltd | テレビおよび認証装置 |
| US7724962B2 (en) | 2006-07-07 | 2010-05-25 | Siemens Corporation | Context adaptive approach in vehicle detection under various visibility conditions |
| WO2008022156A2 (en) | 2006-08-14 | 2008-02-21 | Neural Id, Llc | Pattern recognition system |
| US8165407B1 (en) | 2006-10-06 | 2012-04-24 | Hrl Laboratories, Llc | Visual attention and object recognition system |
| US9799098B2 (en) | 2007-04-24 | 2017-10-24 | Massachusetts Institute Of Technology | Method and apparatus for image processing |
| US8103085B1 (en) * | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| US8379940B2 (en) | 2009-06-02 | 2013-02-19 | George Mason Intellectual Properties, Inc. | Robust human authentication using holistic anthropometric and appearance-based features and boosting |
| US11488322B2 (en) * | 2010-12-08 | 2022-11-01 | Cognex Corporation | System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same |
| US8600192B2 (en) * | 2010-12-08 | 2013-12-03 | Cognex Corporation | System and method for finding correspondence between cameras in a three-dimensional vision system |
| US9015092B2 (en) | 2012-06-04 | 2015-04-21 | Brain Corporation | Dynamically reconfigurable stochastic learning apparatus and methods |
| US11074495B2 (en) | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| WO2014068567A1 (en) | 2012-11-02 | 2014-05-08 | Itzhak Wilf | Method and system for predicting personality traits, capabilities and suggested interactions from images of a person |
| US9488483B2 (en) * | 2013-05-17 | 2016-11-08 | Honda Motor Co., Ltd. | Localization using road markings |
| US10657451B2 (en) | 2013-09-04 | 2020-05-19 | Rokio, Inc. | Pattern recognition system |
| JP2015095042A (ja) | 2013-11-11 | 2015-05-18 | 独立行政法人科学技術振興機構 | 画像認識装置、画像認識方法、および、プログラム |
| WO2015112932A1 (en) * | 2014-01-25 | 2015-07-30 | Handzel Amir Aharon | Automated histological diagnosis of bacterial infection using image analysis |
| WO2015143173A2 (en) | 2014-03-19 | 2015-09-24 | Neurala, Inc. | Methods and apparatus for autonomous robotic control |
| WO2015188275A1 (en) | 2014-06-10 | 2015-12-17 | Sightline Innovation Inc. | System and method for network based application development and implementation |
| AU2015308717B2 (en) | 2014-08-28 | 2021-02-18 | Retailmenot, Inc. | Reducing the search space for recognition of objects in an image based on wireless signals |
| US10061972B2 (en) * | 2015-05-28 | 2018-08-28 | Tokitae Llc | Image analysis systems and related methods |
| US10382300B2 (en) | 2015-10-06 | 2019-08-13 | Evolv Technologies, Inc. | Platform for gathering real-time analysis |
| JP6327274B2 (ja) | 2016-03-22 | 2018-05-23 | トヨタ自動車株式会社 | ロックアップクラッチの制御装置 |
| WO2017223560A1 (en) | 2016-06-24 | 2017-12-28 | Rensselaer Polytechnic Institute | Tomographic image reconstruction via machine learning |
| US10185914B2 (en) | 2016-11-03 | 2019-01-22 | Vicarious Fpc, Inc. | System and method for teaching compositionality to convolutional neural networks |
| CN108108731B (zh) | 2016-11-25 | 2021-02-05 | 中移（杭州）信息技术有限公司 | 基于合成数据的文本检测方法及装置 |
| US10360494B2 (en) | 2016-11-30 | 2019-07-23 | Altumview Systems Inc. | Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules |
| US11205103B2 (en) | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| US10755428B2 (en) | 2017-04-17 | 2020-08-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model |
| US10108850B1 (en) | 2017-04-24 | 2018-10-23 | Intel Corporation | Recognition, reidentification and security enhancements using autonomous machines |
| US10552962B2 (en) | 2017-04-27 | 2020-02-04 | Intel Corporation | Fast motion based and color assisted segmentation of video into region layers |
| WO2018208791A1 (en) | 2017-05-08 | 2018-11-15 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
| US10467756B2 (en) * | 2017-05-14 | 2019-11-05 | International Business Machines Corporation | Systems and methods for determining a camera pose of an image |
| US10579875B2 (en) | 2017-10-11 | 2020-03-03 | Aquifi, Inc. | Systems and methods for object identification using a three-dimensional scanning system |
-
2019
- 2019-06-06 US US16/433,602 patent/US11568629B2/en active Active
- 2019-06-06 WO PCT/US2019/035840 patent/WO2019236885A1/en active Application Filing
- 2019-06-06 JP JP2020568316A patent/JP7316731B2/ja active Active
- 2019-06-06 KR KR1020217000060A patent/KR102649930B1/ko active IP Right Grant
- 2019-06-06 KR KR1020247008933A patent/KR20240042143A/ko active Search and Examination
- 2019-06-06 CN CN201980047703.0A patent/CN112567384A/zh active Pending
- 2019-06-06 DE DE112019002848.0T patent/DE112019002848T5/de active Pending
-
2023
- 2023-01-30 US US18/103,432 patent/US20240005148A1/en active Pending
- 2023-07-15 JP JP2023116363A patent/JP2023134688A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210020065A (ko) | 2021-02-23 |
| WO2019236885A1 (en) | 2019-12-12 |
| KR102649930B1 (ko) | 2024-03-20 |
| DE112019002848T5 (de) | 2021-04-01 |
| KR20240042143A (ko) | 2024-04-01 |
| US20240005148A1 (en) | 2024-01-04 |
| JP2023134688A (ja) | 2023-09-27 |
| US20200005069A1 (en) | 2020-01-02 |
| JP2021527256A (ja) | 2021-10-11 |
| US11568629B2 (en) | 2023-01-31 |
| JP7316731B2 (ja) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112567384A (zh) | 用视觉系统在图像中查找图案并对图案进行分类的系统和方法 | |
| US9639748B2 (en) | Method for detecting persons using 1D depths and 2D texture | |
| Jia et al. | Visual tracking via coarse and fine structural local sparse appearance models | |
| Patruno et al. | People re-identification using skeleton standard posture and color descriptors from RGB-D data | |
| US8135172B2 (en) | Image processing apparatus and method thereof | |
| Romdhane et al. | An improved traffic signs recognition and tracking method for driver assistance system | |
| CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| Shahab et al. | How salient is scene text? | |
| CN113111844B (zh) | 一种作业姿态评估方法、装置、本地终端及可读存储介质 | |
| CN106874901B (zh) | 一种行驶证识别方法及装置 | |
| Li et al. | High-level visual features for underwater place recognition | |
| Polewski et al. | A voting-based statistical cylinder detection framework applied to fallen tree mapping in terrestrial laser scanning point clouds | |
| Vasanth et al. | Facial expression recognition using SVM classifier | |
| US20230049798A1 (en) | Individual object identification system, individual object identification program, and recording medium | |
| US20200034649A1 (en) | Object tracking system, intelligent imaging device, object feature extraction device, and object feature extraction method | |
| TWI543117B (zh) | 物件辨識與定位方法 | |
| CN112686872A (zh) | 基于深度学习的木材计数方法 | |
| CN111862147A (zh) | 视频中多车辆和多行人目标的跟踪方法 | |
| Prabha et al. | Three dimensional object detection and classification methods: a study | |
| Nasreddine et al. | Shape-based fish recognition via shape space | |
| CN114648809A (zh) | 计算机实施的处理监视方法、装置、系统和记录介质 | |
| Lugo et al. | Semi-supervised learning approach for localization and pose estimation of texture-less objects in cluttered scenes | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
| Aiouez et al. | Real-time Arabic Sign Language Recognition based on YOLOv5. | |
| Araújo et al. | Segmenting and recognizing license plate characters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |