CN104574357A - 定位带有已知图形的基准点的系统和方法 - Google Patents

Abstract

本发明提供一种确定图形姿态的系统和方法，所述图形对于视觉系统而言是已知的并经受仿射变换和变形。具有基准点的目标图像被获取。所述基准点具有仿射参数，包括自由度(DOFs)、搜索范围和搜索步长以及具有相关DOFs和步长的控制点。对每一2D仿射参数的搜索范围以及畸变控制点的DOFs进行采样，并且获取所有组合。为每一组合对粗略指定的基准点进行变换并为每一变换后的基准点算出匹配度量，生成计分表面。在此表面上计算出峰值作为潜在的候选者，其会被进一步提炼直到匹配度量得到最大化。返回超出预设分数的精化表示作为场景中的潜在图形。可选地，具有最佳分数的候选者可用作为训练基准点。

Description

定位带有已知图形的基准点的系统和方法

相关申请

本申请要求于2013年10月16日提交的，标题为定位具有已知图形的基准点的美国临时申请号61/891,446的权益，其全文通过引用并入本文中。

技术领域

本发明涉及在图像化场景中定位图形的机器视觉系统和方法。

背景技术

机器视觉系统，又名"视觉系统"，在本文中用于在生产环境中执行多种不同的任务。通常说来，一个视觉系统由一个或者多个具有图像传感器(或者"成像器")的摄像机组成，获取含有生产中目标的场景的灰度或者彩色图像。对目标图像进行分析以为用户提供数据/信息，并将目标图像与生产过程相关联。由图像生成的数据典型地由视觉系统在一个或者多个视觉系统处理器中进行处理，这些视觉系统处理器可以是专用的，或在通用计算机(例如PC、笔记本电脑、平板电脑或智能手机)的一个或多个软件的一部分中处理。由视觉系统执行的一些类型的任务可包括，目标和表面的检查，和/或处于移动中的动作阶段的目标(也称"工件")的定位，该定位包括沿一个或多个正交的轴线或以旋转伺服该动作阶段。

工件的对准通常要求对一预定图形的辨识和定位，该预定图形可称为"基准点"。作为对准处理的一部分，在图像上识别基准点，以及确定其二维(2D)或三维(3D)中的"姿态"。基于对姿态的确定，该工件可对齐以执行一生产操作，例如部件的装配。

通常，基准点的图形(例如十字架)被训练入视觉系统，作为其初始设置的一部分。该训练基于基准点一个合成的或者实际的成像。应认识到，基准点可以被扭曲。这样的扭曲可以是由生成该图形/基准点的流程导致的。例如，十字架的基准点的印刷可引起流程变动，其导致该十字架描边宽度的变化。在十字架和圆的情形中，描边宽度可改变而圆的一部分可变平，结果是出现限定椭圆形或样条线(spline)的边缘。尽管搜索仿射变换(affinetransformation)(即一般在2D中的比例变化、旋转、平移和扭曲)的视觉系统应用可以相对有效率地识别和定位(确定基准点的姿态)基准点，但结合仿射变换而加入的扭曲，可使确定基准点姿态的处理更具挑战和带来较小的可靠度/效率。

发明内容

本发明克服现有技术的缺陷，提供一种用于确定图形的姿态的系统和方法，该图形为视觉系统所知，该视觉系统以增加效率和可靠性的方式，同时采用仿射变换和形变来确定图形的姿态。在一说明性的实施例中，该系统和方法获取具有基准点的目标图像。根据仿射参数的粗略评估、用于仿射自由度(DOFs)的搜索范围和搜索步长，来指定该基准点(图形)。同样地，其包括具有关联的DOFs和步长的一个或多个扭曲控制点。该系统和方法对每一2D仿射参数的搜索范围和扭曲控制点的自由度(DOF)进行采样。对于以上采样的每一个组合，该系统和方法变换该粗略指定的基准点，并计算出对应图像中的变换的基准点图形的一匹配度量。该计算的结果是一计分表面。在该计分表面上计算出一组顶点。这些顶点为图像中的潜在候选者。然后，说明性地，通过使用爬山法，对每一候选者进行精化，在该爬山法中，反复地修改对参数的粗略评估，直到匹配度量为最大。在超过一预定(例如用户指定的)分数时，返回该候选者的精化表示。一个或多个该精化的表示可指示运行时图像中的一个或多个基准点的位置。可替代地，具有最佳分数的一个或多个该精化的表示可用于对粗略指定的合成的训练基准点进行精化。该精化的训练基准点可用于训练随后的运行时姿态测定流程。

在一说明性的实施例中，提供了一种利用视觉系统自动确定图形姿态的系统和方法，该图形经历均匀形变和非线性形变，该系统和方法具有关联的处理和处理步骤。该系统和方法采用一相机总成和关联的视觉系统处理器/进程以获取包含图形的目标的图像。该系统和方法典型地通过搜索由用户指定搜索范围的仿射参数和非直线失真参数，来执行该图形的粗略定位，以识别和选择匹配预定图形的至少一个图形候选者。仿射参数和非直线失真参数对应一个或多个(至少一个)最佳匹配候选者而精化，并生成精化的最佳匹配候选者的图形表示。通常在训练图形中采用该结果，用于随后的通过视觉系统的运行时姿态测定处理。扭曲信息的加入，提高了系统在定位基准点时的稳定性。

说明性地，通过一个或多个2D仿射自由度来限定均匀形变，以及通过描边宽度和样条翘曲(spline warp)中的至少一个来限定非线性形变。执行粗略定位包括，在基于预定步长的多个步级和搜索范围上，将相对于预定图形的至少一个控制点反复地从一标称位置移动至多个控制点配置。对于每一控制点配置，该系统和方法可在基于预定步长的多个步级和对应至少一个DOF的搜索范围上反复地计算相对于预定图形的仿射变换。在通过该系统和方法分析基准点/图形的各种示例中，该图形限定：(a)具有正交朝向的臂的十字架，每一臂限定一描边宽度和至少一个控制点，该控制点由位于两臂交叉角的单个点来限定-其中该控制点位于相对于该臂的预定象限中，从而限定有效的图形；(b)与该十字架结合的圆或环，且还包括另一控制点，分别地位于该圆或环的每一边缘上。

在说明性的实施例中，该系统和方法可采用层级分析法，其中基准点/图形(例如十字架、具有十字架的圆，或具有十字架的环)按照基于预定层级的处理顺序分解为较基本的分图形。在该层级分析法中，根据本发明的系统和方法，在基于预定步长的多个步级和搜索范围上，将相对于每一较基本的图形的至少一个控制点，反复地从一标称位置移动至多个控制点配置。对于每一控制点配置，该系统和方法还可在基于预定步长的多个步级和对应至少一个DOF的搜索范围上反复地计算相对于该较基本的图形的仿射变换。说明性地，基准点渲染器将图形分解为更基本的图形，以及该层级包括从具有最大周界的图形至具有最小周界的图形的顺序。通常本发明的系统和方法使用的步长可基于用户参数或自动处理来限定。

本发明的系统和方法说明性地计算出对应多个控制点配置和仿射变换组合中的每一个的分数，并从该计算中提供一计分表面，该计分表面位于由仿射DOFs和控制点DOFs界定的空间中。然后，本发明的系统和方法在该计分表面上选定一组顶点并精化每一顶点。该选定和精化可进一步包括对图像中的图形表示或图形的多个实例的定位的组合的一个或多个最高分数的选定。对分数的计算还可以包括，生成一梯度图像，并限定沿该梯度图像边缘的探针，且对分数的计算可基于在梯度图像中的相应位置的探针和内插的梯度值之间的点积的平均值。另外，通过本发明的系统和方法的对分数的计算可包括，使用爬山法对该分数进行极大化。通过执行粗略定位以及通过在反复的逐步更精细的步长下对仿射参数和非直线失真参数的精化，可获得准点/图形的子采样(subsampled)表示，至子像素精度。该图形表示用作运行时基准点定位操作和/或合成的基准点图像模范的生成中的一个或两个的模范图像。本发明的系统和方法可建立围绕图形的边界和相对于该边界的单元图形。说明性地，该图形表示可用于在视觉系统的运行时操作期间对一个或多个基准点/图形的定位，或用于，基于训练视觉系统工具所用的基准点/图形图像来精化一合成的图形。

附图说明

以下参考附图对本发明进行说明，其中：

图1为根据一说明性的实施例的视觉系统的示意图，其获取场景的图像，该场景包含动作段和具有示例性的十字架基准点的工件，其中该视觉系统设置为操作一基准点查找器进程/处理器以定位该示例性的十字架基准点；

图2为示例性的十字架基准点的示意图，其具有位于示例性的边界方框内的相对未扭曲的臂，该示意图显示了与图1的基准点查找器关联的控制点和相对的图像轴线的操作；

图3为示例性的具有变窄的水平臂的十字架基准点的示意图，其显示了图2所述的控制点的再定位，以适应这样的臂的描边宽度的改变；

图4为示例性的具有变窄的垂直臂的十字架基准点的示意图，其显示了图2所述的控制点的再定位，以适应这样的臂的描边宽度的改变；

图5为根据一实施例的示例性的具有十字架基准点的环(内圈和外圈)的示意图，其显示了用于表征圆的额外的控制点；

图6为根据一实施例的示例性的具有十字架基准点的环(内圈和外圈)的示意图，其中宽度对比图5所述的发生了变化，该示意图显示了对应三个用于表征圆和十字架元素的控制点的新的配置；

图7为根据一说明性实施例的系统的整个基准点查找进程的流程图；

图8为示例性的具有十字架基准点的圆的示意图，其具有一控制点以控制十字架的水平臂和垂直臂的宽度；

图9为示例性的具有十字架基准点的菱形的示意图，其具有一控制点以控制十字架的水平臂和垂直臂的宽度；

图10为另一示例性的具有十字架基准点的圆的变种，其具有一控制点以控制十字架的水平臂和垂直臂的宽度，以及具有第二控制点以控制圆的半径；

图11为一基准点的图像的示意图，该基准点由基于一候选图形的进程生成，其中对应十字架图形的控制点位于臂交叉的不正确的象限中，该示意图显示了可由查找进程丢弃的无效图形；

图12为一基准点的图像的示意图，该基准点由基于一候选图形的进程生成，其中对应十字架图形的控制点位于图像的单元边界方框的外部，该示意图显示了可由查找进程丢弃的无效图形；

图13为一基准点渲染器的方框图，其用于按关联的输入和输出定位图像中的基准点；

图14为根据一说明性实施例的使用在本发明的系统和方法的整个基准点查找进程的流程图；

图15为根据一说明性实施例的示例性的具有十字架基准点的圆的示意图，其显示了通过基准点查找进程应用探针以定位基准点的轮廓图形的图示；

图16为根据一说明性实施例的基准点候选图形计分进程的流程图，该计分进程为基准点查找进程所用；

图17为层级的基准点定位进程的流程图，其中较复杂的图形由图13的基准点渲染器分解为较基本的图形，以提高基准点定位进程的稳定性和减少运行时间；

图18为根据一说明性实施例的示例性的具有十字架基准点的环的示意图，其显示了由渲染器分解的基准点元素，以实现层级的基准点定位，以便加快系统定位时间；以及

图19为根据一说明性实施例的另一示例性的环，其具有十字架和环的不同配置，还显示了由渲染器分解的元素，且其以相比图18的基准点的不同的顺序计算出DOFs，以实现层级的基准点定位。

具体实施方式

I.视觉系统概要

图1显示了一个示例性的机器视觉系统装置(在本文又名为“视觉系统”)100，其中摄像机110具有合适的光学总成(例如镜头套件112和图像传感器(也名为“成像器”)114，使用CCD、COMS或者类似技术构成)，在光轴(虚线116)上对准以对场景120成像。所述场景在此实施例中包括运动平台总成122，采用致动器120和126来生成沿着正交的x轴和y轴的运动，同时生成在由平台122的底座128界定的共同平面中沿旋转方向(如弯曲的双箭头R所示)的运动。此运动平台122以及其相对运动方向为多个可用于在多个方向上平移/定位工件130或者其它任意目标或者平面的可能结构中的一个示例，其中在这些方向上可产生各种变化的观察条件。

成像的工件130定义了一个表面，典型地此表面为平坦面并含有至少一个带有预定要素的特征140，可选地，此要素可被称为“基准点”。视觉系统100的任务在于相对于图像视场(FOV)定位此基准点。在图示的示例中，基准点140被定义为具有正交/垂直臂的十字架。

摄像机110在此实施例中与专用或者通用的计算机和/或处理器150相连，使用与在计算机150上运行的操作系统和其它关联应用程序交互的视觉系统进程/处理器160接收、存储和处理图像数据152。系统100能够视情况而定并以本领域技术人员所熟知的方式使用其它关联的设备和功能，比如帧抓取器、图像采集卡和/或不同照明装置/照明控制设备(未示出)。此外，可容易地理解，在另外的可选实施例中，这些视觉进程和/或处理器中的一些或者全部可在摄像机主体内独立地存在。视觉系统收集的数据被存储起来并可用于其它目的，比如部件操作。如图所示，运动平台128与视觉系统进程/处理器交流位置数据154以相对于运动平台128和工件130对运动进行控制，并提供位置反馈。只要视觉系统使用本文所述的过程确定基准点的位置，就能够通过平移和旋转平台来控制工件130的位置以将其置于合适的方向上以进行进一步的生产任务。

在一个示例性的实施例中，视觉系统进程/处理器160含有多种不同的视觉工具162，这些视觉工具162对于本领域的技术人员而言是已知的，包括但不限制于，融合工具、寻边器、测径器和其它合适的功能和处理，使得视觉系统能够定位和分析获取的图像中(典型地经过仿射变换)的特征。这些工具可从例如，Cognex Corporation of Natick,MA处得到，包括广为人知的系统。根据所示的实施例，视觉系统进程/处理器160还运行一个基准点查找器进程/处理器170。此基准点查找器进程/处理器在下文中将得到详细的描述。所述视觉系统进程/处理器子进程/处理器接收用户自定义的信息和/或参数180以控制系统100的不同方面，更具体地，控制所述基准点查找器进程/处理器170。

摄像头校准能够解决许多由光学和视角产生的畸变问题，人们认识到基准十字架作为一个图像对于视觉系统而言是显而易见的，在图像中所述臂具有不均匀的描边宽度，且与图形所需的对称性无关。此畸变与若干因素有关，通常与将图形打印/涂覆到目标表面的技术有关。这为使用基本视觉工具确定这样一种畸变基准点的姿态带来了挑战，其依赖于沿一个或者多个自由度(即比例、纵横比、平移、旋转和倾斜上的变化)的仿射变换变形的概念。这样，提供一种有效并可靠的自动化进程和相关的处理器来识别并确定沿着一个或者多个仿射自由度(TOF)移动并具有非线性畸变-比如在采用十字架或者类似几何图形情况下的多变臂描边宽度和/或在采用圆形和/或环形(在本文中名为“样条翘曲”，例如其中由于样条翘曲，O形可经受部分扁平处理或在常规和黑体字外观之间变化)情况下的多变单个/多个半径-的基准点(图形)的姿态也是极度必要的。

II.使用控制点的基准点/图形扭曲的特性描述

参见图2，所示的图像200显示了具有单位宽度和高度的十字架基准点210。更具体地，图示的图像200以及相关的系统和方法描绘了在单位限位框240内作为图形的基准点或图案。这些图形可被称为“单位基准点”。图示的X和Y轴在本文中分别定义了限位框240的水平和纵向方向，并具有与限位框240的中心相一致的原点O。供图示系统和方法使用的用于确定姿态的所需图形的基准点可通过采用2D仿射变换和一组额外的扭曲来转化单位基准点210来获得。可使用一组允许通过最少点归类特定扭曲的控制点控制所述额外的扭曲。在示例性十字架210的例子中，具有两个DOF(即沿着X和Y轴)的单个控制点Cc，位于交叉的纵向和水平臂220和230的适当角落里，能够分别基于每一臂220、230上的描边宽度的变化充分地特征化和控制畸变。类似地，位置、方向和臂长度可由2D仿射变换所控制。十字架的控制点，Cc，位于十字架图形的右上象限上。如下所述，通过限定十字架的控制点至此象限，所述系统和方法能够防止会带来负描边宽度的无效控制点配置出现。

如图3和4中的图像300和400分别所示，将以上所述的十字架扭曲至十字架图形310和410中。示例性地，在十字架图形310(图3)中，水平臂330具有相对于纵向臂320而言较窄的描边宽度WA1。在每一表示中，示出了各个控制点Cc1和Cc2沿两个DOF的平移，以特征化每一臂中的描边宽度的变化。应当清楚，十字架中任意相关的描边宽度均可由两个DOF上的控制点的合适定位所特征化。

参见图5，其进一步详细说明了利用控制点在组合图形中定义畸变的概念。在此示例中，限位框502内单位基准点的图像500定义了十字架(512)和环形(514)的图形510。用于查找同时含有十字架特征和圆形特征的基准点/图形的传统方法依赖于对这些因素的独立定位。图示的实施例在和很宽的可能图形模型范围内对所述特征组合定位，其采用一个或者多个特征化非线性畸变的控制点的分析以及一个或者多个2D DOF上的仿射变换。所述基准点采用2D仿射变换来控制图形位置的位置、其方向以及十字架臂的长度。用作说明地，所述基准点含有3个控制点。控制点Co5控制外环圈530的半径。控制点Ci5控制内环圈520的半径。第三个控制点Cc5控制十字架臂的描边宽度，如前所述。

每一控制点还具有一组在单位基准点上针对其位置的约束。作为说明地，环的外圈控制点Co5被限制至位于线段OA上，具有定义图形的原点的O点和定义图形限位框502的倒圆角之一的A点。在线段OA上，从中心O至控制点Co5的距离代表了外圈的半径。通过将控制点限制至位于线段OA上，系统能够强加某些规则-比如防止生成具有负半径的圆，和/或延伸至单位框502外部的圆。类似地，控制点Ci5被限制至位于线段OB上。一额外的约束保证了Co5至O的距离大于Ci5至O的距离，这样就保证了外圈530不会定义小于内圈520半径的半径。十字架512的控制点Cc5位于图案的右上象限内。如前所述，此单个控制点能够控制十字架的水平臂和纵向臂的描边宽度。通过将十字架的控制点约束至特定、预定的象限，阻止了可带来负描边宽度的无效控制点配置的出现。如本文所定义的，控制点每一圈半径的Co5、Ci5是一个DOF的，而且十字架的控制点是两个DOF的。更广泛地说，在示例性的图形中，环514的外圈530的控制点Co5可位于线段OA上的任何位置上。内圈520的控制点Ci5可位于线段OB上的任何位置上，而十字架512的控制点Cc5可位于(例如)单位图形/基准点510的右上象限内的任何位置上。参见图6，同一通用十字架和环状基准点610的图像600及其环半径和相对于图5的基准点510不同的臂描边宽度得以显示。对应的内和外圈控制点Ci6和Co6因此沿着其DOF在各自的线段OA和OB上移动。类似地，十字架控制点Cc6沿着x轴和y轴DOF移动以特征化畸变描边宽度。清楚地，具有任意图形变化的圆和十字架基准点通常可被三个相对于它们指定DOF的控制点Ci、Co和Cc所定义。

从以上所述可清楚得知，控制点的使用允许了图形的生成，而图形的生成并不能容易地利用代数方法建模，比如具有不同描边宽度的单位十字架，和/或具有不同/多变外半径-内半径比的单位环。此外，本文所描述的技术提供了一种通过采用针对基准点位置(即相对于基准点和相互之间的控制点(一个或多个)的定位)的某些约束来避免非法基准点生成的简单方法。

III.基准点/图形查找过程

在描述了使用含有预定(已知)基准点/图形的图像的单位限制框内的控制点在图形内对畸变进行建模之后，现在参见图7，其描述了用于查找基准点/图形的总过程700。通常，此过程700使得视觉系统能够通过先前所属的摄像机110获取目标130的图像(步骤710)，并定位所述目标图像中放置在目标上的已知基准点/图形或者图案的位置，来确定运动平台122上目标的姿态/位置。本文所描述的图示实施例的系统和方法能够对通过2D仿射变换和其它扭曲的组合扭曲的基准点/图形或者图案进行定位。我们假设可能畸变和额外畸变的模型是预先知道的。举例来说，本文使用的技术能够定位以上所述的十字架140，其中所述十字架经受2D仿射变换(比如其在位置、大小、倾斜和方向上的变化)以及额外的扭曲(比如其臂的宽度变化)处理。过程700单独模型化十字架臂的描边宽度的变化，这是因为不这样的话就不可能通过相同的2D仿射变换参数但不同的臂宽度来模型化一组十字架，所述参数比如为位置、尺寸、倾斜以及方向。过程700提供了(步骤720)基准点的一(典型地用户指定和预设的)指定的图形，比如十字架；其放射参数和控制点的粗略估计；一定范围的2D仿射搜索参数，比如最小和最大尺寸；以及用于定位基准点的额外扭曲的搜索参数。

在步骤730中，基于粗定基准点图形和参数，过程700对一组2D仿射参数和扭曲参数同时(在处理中基本上同时进行)进行采样。在一个实施例中，所述参数统一进行采样，但可以理解，其它其它采样技术也可以用于其它实施例中。所述变换用于为图像中的变换图形计算匹配度量，以此来生成量化计分表面。

在步骤750中，所述过程计算量化计分表面上生成图像中潜在候选者的一组峰值。只要此组候选者得以识别，每一候选者的2D仿射参数和扭曲参数就得以提炼精化，更好的表示得以生成(步骤760)。作为说明地，在现有技术中被称为爬山法的技术得以使用，其中所述过程反复地修改由以上候选者提供的参数的粗略估值，直到匹配度量达到最大，所述匹配度量代表了图形和基准点图像之间的相似程度。所述匹配度量在下文中会得到进一步的描述。

在步骤770中，过程700返回候选者超出预设分数阈值的精化表示。此预设分数阈值可以是用户特定的。在步骤780中，返回的精化表示可用作为针对一个或者多个在获取的运行时图像中的基准点的位置的一组潜在基准点，其中所述图像已经通过2D仿射变换以及其它已经被基准点所模型化的扭曲所扭曲。举例来说，如前所述，所述过程能够用于在运行时定位十字架形的基准点，其中所述基准点因为(例如)打印过程而经历臂宽变化。

可选地，在步骤780中，返回的精化表示能够用于自动生成一个训练基准点-使用具有最好分数的返回基准点。作为说明地，操作员在图像中粗略指定的基准点合成图形能被精化。操作员使用鼠标(图1中的192)或者其它任意同等的定点设备/用户界面能够加快此过程。此精化后的合成图形能够用于训练任意的图案查找工具，比如广为人知的工具或者CNLSearch工具，两者均可从Cognex Corporation of Natick,MA处购买。过程700需要为视觉系统在定位和对齐含有已知基准点的目标方面加强人性化安装和运行过程，这可通过允许用户使用较低精度指定定位和对齐操作实现。所述过程还明显地加强了用于训练任意图案查找工具的合成图形的质量，这是因为所述合成图形非常接近地反映了图像中的图形。如果指定的图形和基准点的图像位于2D仿射参数和控制点指定的查找范围内，训练之后，在后续的运行中所述图形就能准确地找到图像。

IV.其它图形

下文描述了图形的其它类型，除了将所述系统和方法施加到目标图形上的一些通用准则外，所述系统和方法的原理在这些类型的图形上也是适用的，包括通过将多个约束强加到关联的控制点位置上以将所述约束强加到图形上。

A.带有十字架的圆

参见图8，图像800连同水平X轴和纵向Y轴上的单位宽度和高度的限制框802定义了由组合的单位圆830和单位十字架820构成的基准点/图形810，原点O与框的中心一致。十字架的控制点，Cc8，位于图案的右上象限内，与以上所述的其它十字架形相类似，并因此具有两个DOF。此单个控制点Cc8能够控制十字架830的水平臂822和纵向臂824的描边宽度。如前所述，通过将十字架的控制点约束至此区域，所述系统能够防止会带来负描边宽度的无效控制点配置的出现。2D仿射变换控制十字架的位置、方向和臂长度。水平和纵向臂的描边宽度由具有两个DOF的控制点Cc8所控制。圆半径为单位值，与限制框802交叉。

B.具有十字架的菱形

参见图9，图像900和单位宽度和高度的限制框902得以显示，包括以具有十字架920的单位菱形930形式存在的基准点/图形910。X轴和Y轴分别位于框902的水平和纵向方向上，原点O与框的中心一致。十字架920的控制点，Cc9，位于图案的右上象限内，并因此具有两个DOF。此单个控制点Cc9能够控制十字架920的水平臂922和纵向臂924的描边宽度。通过将十字架的控制点约束至此象限/区域，所述系统能够有效地防止会带来负描边宽度的无效控制点配置的出现。2D仿射变换控制十字架920的位置、方向和臂长度。水平和纵向臂的描边宽度由控制点Cc9所控制。菱形的线段940与十字架的描边宽度相交叉，在十字架中其与单位限制框902相连。

C.圆内十字架

参见图10，图像1000含有由单位宽度和高度的限制框1002所约束的基准点/图形1010。X轴和Y轴分别位于框1002的水平和纵向方向上，其原点O与框1002的中心一致。基准点/图形1010包括单位十字架1020和圆1030，位于远离并位于框1002内部的半径上。十字架1020的控制点Cc10位于基准点/图形图案的右上象限/区域内，并因此具有两个DOF。此单个控制点Cc10能够控制十字架1020的水平臂1022和垂直臂1024的描边宽度。注意到，控制点Cc10被置于臂的交叉处，其由两条延伸进入圆1030界定的区域内的虚线1026的汇合点所标识。通过将十字架1020的控制点Cc10限制至此区域，所述系统有效地阻止了会导致负描边宽度的无效控制点配置的出现。控制点Cc10被约束至位于线段OA上，O点定义了限制框1002和基准点/图形的原点，A点定义了限制框倒圆角之一。中心/原点O至控制点Co10的距离代表了圆1030的半径。通过将控制点约束至位于线段OA上，所述系统能够强加规则/约束，以此防止具有负半径的圆和/或延伸至单位框1002外的圆的生成。2D仿射变换控制十字架1020的原点、方向和臂长度。

D.无效图形

如前所述，所述系统和方法避免了会导致无效图形的控制点位置。这样的活动由基准点渲染器所执行，这会在下文中得到详述。通常，置于控制点上的约束保证了基准点渲染器还指出了是否有输入控制点位置会导致无效图形。举例来说，如果对于单位十字架基准点，控制点迁移出图示的右上象限(在此实施例中)外，这会导致负描边宽度，基准点渲染器则会指明基准点/图形1110的控制点Cc11所产生的配置是无效的。必须避免这样的控制点配置。类似地，在图12中，通常会指定一个十字架的图形/基准点1210的图像1200得以显示，其中控制点Cc12位于单位限制框1202之外。在图11和图12所示的设置中，生成了一个明显无效的图形。

V.基准点渲染器、定位输入和输出

图13为代表基准点渲染器1310和渲染器进程1300的方框图。基准点渲染器操作渲染给定控制点位置和2D仿射变换的基准点。另外，给定2D仿射参数的搜索范围、控制点位置和具有基准点的图像；基准点渲染器1310可计算子采样参数(如下所述)，其可用于在运行图形定位进程之前对图像进行子采样，其中该图形定位进程使用和渲染器联合工作的图形定位器。如此，该渲染器用于加速整个图形定位进程。此外，如下所述(模块1312)，渲染器1310可用于层级的基准点定位，以及如上所述，其可检测引起无效图形的控制点配置(模块1314)。

如图13进一步所示，基准点渲染器1310从多个源接收输入信息。这信息包括待定位的基准点/图形的图像(模块1320)以及描述单元基准点/图形和基准点的图像之间的近似映射的2D仿射变换(模块1330)。如本文所用到的，用于这种变换的仿射变换参数的值可称为它们的“标称”值。至渲染器1310的输入还包括围绕指定的近似位置的对应2D仿射参数的搜索范围(模块1332)。渲染器的输入进一步包括扭曲控制点的近似定位(模块1340)。可在单元基准点或图像上指定该位置，且该位置依据DOFs(例如X和Y轴坐标)来限定。说明性地，该进程在图像中指定位置。本文中，这些控制位置可称为它们的“标称”位置。还输入围绕该指定的近似位置的对应该控制点的搜索范围(模块1342)。

从用户指定的源或其它机构(例如自动输入)将基准点类型(例如十字架、具有十字架的圆、具有十字架的菱形、十字架内的圆等等)(模块1350)输入至渲染器。根据基准点类型，渲染器1310运行映射进程/处理器1352，该映射进程/处理器1352从单元基准点和控制点位置映射至图像。基于该映射，渲染器1310和映射进程1352计算在图像坐标中的基准点图形(模块1360)，作为输出。

V.详细的基准点查找进程

参照图7的总体进程700，在图14中示出并描述了基准点查找进程1400的更具体的实施方式。在获取目标的图像之后，在步骤1410，从输入图像计算出梯度图像，该目标包含图像场景内的至少一个基准点。在步骤1414中，控制点的标称位置，以及对应该控制点的搜索范围和步长，用于生成所有可能的控制点配置。在一实施例中，以一个像素的分步移动控制点，因此步长为一个像素，但是应想到，可获得如下描述的子像素精度。作为实例，如果有n个控制点，其每一个具有一个DOF，以及在搜索范围内对应每一DOF有m个搜索步级，则将会有mxn个控制点配置。

在步骤1420中，独立地计算出对应每一2D仿射参数的步长，所有其它仿射参数按其标称值设置。对其选定，由此，对于仿射参数的每一步级，离原点最远的基准点上的点移动一个像素。在步骤1424中，使用旋转、纵横比、倾斜和比例的各种值中的各自的搜索范围和步长，计算出对应旋转、纵横比、倾斜和比例的各种值的所有可能的2D仿射变换。对应步骤1414的控制点位置的每一配置，以及步骤1424的输入的2D仿射变换，在步骤1430中使用基准点渲染器1310(图13)计算基准点的形状。如果控制点位置的配置导致一无效图形(其为图13的模块1314处，由基准点渲染器执行的功能，检测控制点的无效组合)，则在步骤1434丢弃该无效的配置。保留有效的图形/配置用于进一步处理。

在步骤1440，对一个或多个有效的基准点的轮廓进行采样并生成一组探针，以及使用2D仿射变换来映射这些探针，其中该2D仿射变换是在步骤1424中使用基准点渲染器所计算出的。在步骤1444中，以(例如)一个像素的分步绕X和Y图像轴线平移探针，以及计算对应每一平移值的分数。该分数用于由控制点配置、步骤1424的2D仿射变换和平移值的组合所生成的图形。在步骤1450，计算出对应控制点配置、2D仿射变换和平移值的所有组合的分数。在步骤1454，这允许在由2D仿射搜索参数和控制点DOFs限定的空间中生成一计分表面。进程1400还检测在计分表面上的一组顶点，该计分表面指出图像中的基准点/图形的多个实例。该信息可用于对齐多个基准点和/或选定一个用于对准的实例(步骤1460)。

现在进一步参照图15和16，更详细地描述了带有探针的示例性的具有圆的十字架图像1500，以及用于生成分数的程序1600。说明性地，该用于图形的计分，为被视觉系统定位的运行时图像中的图形和图案之间的相似性的数值测量。计分进程1600的重点是其步骤中的计算分数所用的技术。在该进程中使用到从步骤1410的输入图像计算出的梯度图像。梯度图像中的每一个像素为一2D向量，其中第一分量为相应的像素位置处的水平导数(horizontalderivative)，在的情况下第二分量为垂直导数(vertical derivative)。存在有许多计算梯度图像的技术。在一实施例中，计分进程1600通过用本领域熟知为Sobel操作符的两个3X3内核卷积输入图像来计算梯度图像。

通过用下列的内核卷积输入图像来计算水平梯度：

$\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$

通过用下列的内核卷积输入图像来计算垂直梯度：

$\left[\begin{array}{ccc}1& 2& -1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

在步骤1610中，对图形轮廓进行采样并生成一组对应候选图形的探针。每一探针为具有位置、方向和量级的数据结构。该位置为采样位置；该方向对于该图形为常态的，且指向由该图形的极性所确定的方向。在步骤1620中，计分进程1600分配单元量级至探针，但是应设想到，在可选的实施例中，可分配不同的权重至探针，以便在计分中按需将一些探针的权重设得更大。如图15所示，在示例性的具有十字架基准点/图形的圆的图像1500中，探针1510图示为从十字架1520的边缘延伸的线。

在步骤1630中，将对应探针的计分计算为探针和该探针位置处的梯度图像之间的点积。如果探针落入像素边界之间，通过对相邻像素的插值，获得探针位置处的梯度。可以设想到，可采用一个或多个不同的插补技术。在一说明性实施例中，进程1600使用本领域已知的双线性内插法，分别对水平和垂直梯度进行插补。用于图形的计分，为所有探针和在它们在梯度图像中的相应位置处的内插的梯度值之间的点积的平均值(步骤1640)。因此，给定的n个探针，每一个具有方向(x_pi,y_pi,0<i<n)，以及在相应位置的梯度值(x_gi,y_gi,0<i<n)，使用以下方程计算分数：

$\frac{1}{n}\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{x}_{\mathrm{pi}}.x_{\mathrm{gi}}+y_{\mathrm{pi}}.y_{\mathrm{gi}}$

如果用户选择忽略极性，用于图形的计分为所有探针和它们在梯度图像中的相应位置的内插的梯度值之间的点积的绝对值的平均值，由以下修改的方程提供：

$\frac{1}{n}\underset{i=0}{\overset{n-1}{\mathrm{\&Sigma;}}}|x_{\mathrm{pi}}\&CenterDot;x_{\mathrm{gi}}+y_{\mathrm{pi}}\&CenterDot;y_{\mathrm{gi}}|$

在步骤1454中导出计分表面并在该计分表面上检测顶点后，结合进程1600，进程1400现在可以可选地获得子像素精度，其中计分表面上的顶点可指示基准点/图形的多个实例。这可通过使用两个可替代的步骤1470或1474来实现。在可选的步骤1470中，进程使用爬山法，将上述的结果用作为开始点，对在基准点或图形的实例处的分数进行最大化。该山由2D仿射搜索参数和控制点DOFs界定。

在可替代的步骤1474中，通过在获取的梯度图像上多次运行上述的基准点查找步骤(例如步骤1414-1460)，进程1400可获得对应来自步骤1460的每一基准点/图形实例的子像素精度，而每一次反复的运行使用从先前的/过去的运行计算出的仿射变换和控制点(结果)，作为进程步骤(1400)的随后的/下一个运行中的输入参数。对应每一连续的运行的步长采用为对应每一参数的逐步的更精细的步长，以精化，最后生成子像素精度表示。然后，在步骤1480中，进程1400识别计算出的超过预定的用户指定的阈值的具有最高的分数(或一组分数)的组合(视情况而定)。这返回为如该表示。

VI.生成自动子采样参数

为了更快地定位基准点，系统可在子采样的图像上运行基准点查找器进程(1400)并获得基准点位置的粗略评估。这个结果可通过在一图像版本上运行工具来精化，该图像还未使用较窄的2D仿射参数和控制点范围来采样。该子采样规模受限于基准点上最窄的特征的宽度。如果子采样规模太大，这窄的特征可能丢失，由此导致差劲的效果。

基准点渲染器1310能被用来自动地计算子采样规模。这是因为对于给定的图像和单元基准点之间的2D仿射映射，以及控制点位置，该基准点渲染器能够计算基准点的最窄特征的宽度。选定子采样规模以使该窄的特征被保留。作为实例，对于十字架基准点/图形，2D仿射变换参数和控制点位置用于计算十字架的臂的描边宽度。进程使用较窄臂的宽度来生成子采样规模。

VII.层级的基准点定位

基准点查找器的运行时间依赖于所利用的控制点的数量。如果有n个控制点，其每一个具有一个DOF，以及在搜索范围内对应每一DOF有m个搜索步级，则将会有mⁿ个控制点配置。因此，运行时间按控制点的数量成指数地提高。本文的说明性的层级的进程允许系统对应基准点位置递增地计算DOFs。如模块1312和图17的进程1700所指示，这是通过控制基准点渲染器1310将基准点打碎(分解)为更简单的(更基本的)分图形(步骤1710)来实现的。随着基准点分解为更简单的图形，渲染器返回相应的一组DOFs，可对应每一简单的图形(步骤1720)计算出该组DOFs。对应每一简单图形的DOFs为整个DOFs组的子集，必须精化该DOFs组以定位基准点。递增地计算DOF值(步骤1730)，降低对应可由更简单的图形表示的基准点的运行时间。对应具有n个控制点的图形，其可按q个控制点的最大值来分解为p个更简单图形，运行时间从O(mⁿ)降低至O(m^q)，其中m为对应每一DOF的搜索范围内的搜索步级的数量。系统按照周界递减的顺序来处理该更简单的图形。一旦递增地计算出各自的图形，在其它步骤中使用这联合的结果，以计算分数和选定基准点候选者。通常，进程1700提高了基准点定位的稳定性。

说明性地，图18和19中的图像1800和1900限定了相同的基准点类型8910、1910(例如分别具有十字架1830、1930的环1820、1920)的不同的配置。该示例性的基准点定位的复杂度为O(m³)。特别地参照图18，由此，基准点渲染器1310将图形1810分解并表示为离散的十字架的合成物，该离散的十字架具有臂1840、外圆1850以及内圆1860。对应这配置，计算出的相应的DOFs(步骤1730)包括旋转、比例、纵横比、扭曲、平移(通过仿射变换)和十字架描边宽度(通过具有在X和Y的两个DOFs的控制点Cc18)；外圆半径(通过具有一个DOF的控制点Co18)；以及以本列出的顺序的内圆半径(通过具有一个DOF的控制点Ci18)。基准点定位的复杂度为O(m)。

现在参照图19，基准点渲染器1310再次将图形1910分解为离散的、更基本的图形：外圆1950、具有臂1940的十字架1930，以及内圆1960。对应这配置，再次以本列出的层级顺序，计算出的相应的DOFs(步骤1730)包括平移、纵横比、扭曲和外圆半径(通过具有一个DOF的控制点Co19)；旋转和描边宽度(通过带有两个DOFs的控制点Cc19)；以及内圆半径(通过具有一个DOF的控制点Ci19)。应注意，该顺序根据相对图18的表示的每一个基本图形的相对大小而改变。对应占优势的图形查找DOFs，首先将总体上提高了系统稳定性，同时减少基准点查找器的运行时间。在本示例中，该示例性的基准点定位的复杂度为O(m)。

VII.结论和可选的实施例

应该清楚，上述的基准点定位和姿态测定的系统和方法，提供了有效和有效率的技术，允许具有某些类型/配置的基准点/图形的目标的对准，该基准点/图形除了可承受仿射变换，还可承受形变。通过使用层级的基准点定位、将基准点图像分解为成分的更简单的几何学图形以及求解那些图形，再加上采用子采样程序，可使本技术更精确和更快。

以上详细地描述了本发明示例性的实施例。在不背本发明的精神和保护范围的情况下，可对本发明进行多种修改并提供附加物。视情况而定，以上所描述的每一不同实施例的特征可结合其它所述实施例的特征，以提供与新实施例相关的特征组合的多样化。另外，在上文描述本发明的装置和方法的多个单独的实施例时，于此所描述的仅仅是本发明的原理的示例性应用。例如，此处所使用的术语"进程"和/或"处理器"应从广义上来理解，包括各种基于电子硬件和/或基于软件的功能和部件。此外，本文使用的各种方向的和朝向的术语，例如“垂直”、“水平”、“上”、“下”、“底部”、“顶部”、“侧面”、“正面”、“后面”、“左”、“右”等等，仅仅用作相对于固定坐标系(例如重力)的相对约定，而非绝对定向。此外，所述的进程或处理器能够与其他进程和/或处理器组合或分为多个子进程或处理器。根据此处的实施例可对这种子程序和/或子处理器进行各种不同的组合。同样地，可明确设想到，此处所述的任何功能、进程和/或处理器能够利用电子硬件、软件、或硬件和软件的结合实施，其中该软件由程序指令的非易失性的计算机可读媒介组成。另外，尽管本文描述了某些控制点约束(例如十字架控制点放置于右上角象限)，应清楚地可设想到，可采用可选的约束，例如将控制点放置于不同的象限或沿一个或多个DOF放置在离例如臂交叉点的实际位置的指定距离。因此，此说明书仅应被当作示例性说明，而不应该作为对本发明保护范围的限制。

Claims (20)

1.一种通过视觉系统自动确定经受仿射变形和非线性变形的图形的姿态的方法，包括以下步骤：

获取含有所述图形的目标的图像；

执行对所述图形的粗略定位以识别和选择至少一个与预设图形匹配的候选图形；

提炼最匹配候选图形的仿射参数和非线性变形参数；

生成至少一个提炼后的最匹配候选图形的图形表示。

2.根据权利要求1所述的方法，其中所述仿射变形由一个或者多个二维(2D)仿射自由度所定义，以及所述非线性变形由描边宽度和样条翘曲中的至少一个所定义。

3.根据权利要求2所述的方法，其中执行粗略定位的步骤包括从标称位置经过多个基于预设步长和搜索范围的步骤重复地将至少一个与预设图形相关的控制点移动至多个控制点配置，以及，对于每一控制点配置，经过多个基于至少一个仿射自由度(DOF)的预设步长和搜索范围的步骤重复地计算与预设图形相关的仿射变换。

4.根据权利要求3所述的方法，其中所述图形定义了一具有正交朝向的臂的十字架，每一所述臂定义了一描边宽度以及至少一个由位于所述臂的交叉角上的单个点定义的控制点。

5.根据权利要求4所述的方法，其中所述控制点位于相对于所述臂的预设象限内，因此定义了一有效图形。

6.根据权利要求4所述的方法，其中所述图形定义了一与所述十字架相组合的圆或者环并且进一步包括另一控制点，分别位于所述圆或环的每一边缘上。

7.根据权利要求3所述的方法，进一步包括丢弃导致无效图形的控制点配置。

8.根据权利要求3所述的方法，进一步包括(a)基于预设的层级将图形分解成更基本的组成图形并定义一处理次序，以及(b)对于每一更基本的图形，将至少一个与每一更基本的图形相关的控制点从标称图形经过多个基于预设步长和搜索范围的步骤重复地移动至多个控制点配置，以及(c)对于每一控制点配置，经过多个基于至少一个仿射自由度(DOF)的预设步长和搜索范围的步骤重复地计算与预设图形相关的仿射变形。

9.根据权利要求8所述的方法，其中分解的步骤由基准点渲染器所执行，并且所述层级包括从具有最大周长的图形至具有最小周长的图形的次序。

10.根据权利要求3所述的方法，其中执行粗略定位的步骤包括搜索仿射参数和非线性变形参数的用户指定的搜索范围。

11.根据权利要求3所述的方法，进一步包括为控制点配置和仿射变换的多个组合中的每一个计算分数，并于此提供仿射DOFs和控制点DOFs生成的空间中的计分表面。

12.根据权利要求11所述的方法，其中选择和提炼每一峰值的步骤进一步包括选择组合的最高得分中的一个或者多个作为图形表示或者以在图像中定位图形的多个实例。

13.根据权利要求11所述的方法，其中计算分数的步骤包括生成一梯度图像并定义沿着所述梯度图像的边沿的探针。

14.根据权利要求13所述的方法，计算分数的步骤基于梯度图像内的对应位置上的探针和插值的梯度值之间点积的平均值。

15.根据权利要求14所述的方法，其中计算分数的步骤包括使用爬山法最大化分数。

16.根据权利要求3所述的方法，进一步包括执行在渐进地更精细的步长上重复地执行和提炼以获得至少一个子采样的图像像素候选图形的步骤。

17.根据权利要求2所述的方法，其中所述图形表示在运行时基准点定位操作和合成基准点图像模型的生成中的至少一个用作为模型图像。

18.根据权利要求1所述的方法，进一步包括建立环绕图形的边界和建立与所述边界相关的单位图形。

19.根据权利要求1所述的方法，其中所述图形表示用于在视觉系统的运行时操作中定位一个或者多个基准点/图形或者基于所述基准点/图形的图像提炼合成图形以训练视觉系统。

20.一种通过视觉系统自动确定经受仿射变形和非线性变形的图形的姿态的系统，包括：

视觉系统摄像机总成，获取含有所述图形的目标的图像；

视觉系统处理器，执行对所述图形的粗略定位以识别和选择至少一个与预设图形匹配的候选图形；

精炼进程，提炼最匹配候选图形的仿射参数和非线性变形参数，生成至少一个精化后最匹配候选图形的图形表示。