CN110959168A - 用于图像处理和特征识别的系统和方法 - Google Patents

Abstract

本发明涉及用于处理多维图像数据以隔离图像数据中的特定特征的系统和方法。一种示例性应用是非破坏性测试，以从图像数据中检测结构的变形。隔离显著特征的方法包括通过将图像细分为三角形平面网络、近似每个平面的测量值并从原始图像数据中减去基线以生成已处理图像，生成表面图像的“基线”近似值。限定三角形平面网络、近似每个平面并执行基线减去的过程可以产生最终已处理图像，该图像包括在特定三角形平面内发生的特征值变化，其可以指变形，而在较大区域上发生的特征值变化可以是环境变量和检查变量的产物，至少会部分地从所得数据集中移除。

Description

用于图像处理和特征识别的系统和方法

发明领域

本发明涉及图像处理方法，特别是涉及非破坏性测试系统和方法，其用于分析结构的表面图像数据以识别结构特征，包括材料变形。

背景技术

石油和天然气工业中使用的管道和容器结构随着时间的推移会受到应力的影响，这些应力会累积而在结构中产生缺陷。遗憾的是，通常难以确定这种结构是否受到破坏性应力，直到容易观察到的缺陷发生。

结构材料例如管道中使用的非金属管的非破坏性检查技术的可用性是有限的。在大多数情况下，到目前为止可用的技术要么对材料具有破坏性，要么是实验性的和不可靠的。此外，相对于用于检测被检查表面的图像内的特征的现有图像处理系统，通常集中于基于频率对特征进行平均、平滑和隔离。具体地说，现有的用于检查材料的非破坏性系统和监测技术对于以足够的准确度和精度有效检测材料上或材料中的例如拉伸应力或压缩应力的应力的存在可能是不足够的，从而无法在缺陷出现之前对其进行预测。

使用计算机图形技术的表面近似已被用于处理图像数据集。存在表面近似的几种方法，包括使用较小的正方形离散大表面域的正方形/矩形网格近似、使用相同形状的三角形的三角规则网络、使用任何形状的三角形的三角形不规则网络等。但是，由于处理算法和监视系统的复杂性，当前用于表面近似的计算机技术和算法可能需要大量的数字数据存储和昂贵的计算机硬件。

需要的是用于通过以足够的分辨率和精度是计算机图像处理有效地检测表面图像数据中的特征的系统和方法。更具体地，一种图像处理和监视系统，其隔离特征并且可以用于从使用光学检查装置收集的图像数据中量化结构的材料变形。

关于这些和其它考虑因素，提出了本文所公开的内容。

发明内容

本发明涉及一种计算机实现的方法，该方法用于从利用光学检查装置捕获的结构的表面的多维图像数据中检测结构的变形。

在一个方面，提供了一种计算机实现的方法，用于从使用光学检查装置捕获的结构的多维图像数据中检测结构的变形。特别地，该方法包括在处理器处提供该结构的表面的多维图像数据的步骤，其中该图像数据包括使用光学检查装置测量的多个数据点。更具体地，每个数据点包括：1)位置数据，该位置数据以至少二维方式标识捕获了相应数据点的表面上的相应位置；以及2)特征值数据，其至少包括对于使用检查装置测得的相应数据点的相应z值。该方法还包括利用处理器将表面划分模型应用于图像数据的步骤。更具体地，应用表面划分模型包括以下步骤：将由图像数据表示的表面划分为多个平行四边形形状的平面，并将每个平行四边形形状的平面分别细分为两个三角形平面。该方法还包括利用处理器为每个三角形平面计算相应的特征值V的步骤。更具体地，基于在相应的三角形平面内的一个或多个数据点的测量的特征值z计算相应的三角形平面的特征值。该方法还包括以下步骤：利用处理器基于特征值为多个数据点中的每一个计算调整后的特征值Z。更具体地，基于针对相应数据点的测量的特征值z和针对相应数据点在其内的三角形平面的计算的近似特征值V，计算针对相应数据点的调整后的特征值Z。该方法还包括以下步骤：生成表面的处理后的多维图像，其中用于处理后的多维图像的数据集与提供的图像数据中的数据集不同。更具体地说，利用处理器基于每个数据点的调整后的特征值Z生成表面的多维图像。该方法还包括由处理器在显示器上输出表面的处理后的多维图像的步骤，其中处理后的多维图像以图形表示描绘了在图像数据的表面划分模型的特定三角形平面内检测到的表面变形。

根据另一方面，提供了一种用于从利用光学检查装置捕获的表面的多维图像数据中检测结构变形的系统。该系统包括计算机可读存储介质、通信接口和显示器。该系统还包括一个或多个处理器，该一个或多个处理器被配置为访问所述存储介质，并且与所述通信接口和显示器进行操作性通信。另外，该系统包括存储在存储介质上并且可由处理器执行的软件模块。

这些软件模块包括通信模块，该通信模块在由处理器执行时将处理器配置为接收包括使用光学检查设备测量的多个数据点的多维图像数据。特别地，数据点包括：位置数据，其在至少两个维度上标识在表面上捕获了相应数据点的相应位置；以及特征值数据，其至少包括使用检查装置测量的相应数据点的相应特征值z。

软件模块还包括表面划分模块，该表面划分模块在由处理器执行时配置处理器以根据表面划分模型将由图像数据表示的表面划分为多个平行四边形形状的平面，并且还分别细分每个平行四边形形状的平面为两个三角形平面。

该软件模块还包括特征检测模块，该特征检测模块在由处理器执行时配置处理器以针对每个三角形平面计算相应的近似特征值V。具体地，基于在相应的三角形平面内的一个或多个数据点的测量的特征值v计算相应的三角形平面的近似特征值V。另外，其中特征检测模块还配置处理器以针对多个数据点中的每一个计算调整后的特征值Z。具体地，基于针对相应数据点的测量的特征值z和针对相应数据点在其内的三角形平面的计算的近似特征值V，计算针对相应数据点的调整后的特征值Z。

软件模块还包括图像生成模块，该图像生成模块在由处理器执行时将处理器配置为基于每个数据点的调整后的特征值Z生成表面的已处理多维图像，其中已处理多维图像的数据集与提供的图像数据中的数据集不同。图像生成模块还配置处理器以使用显示器输出表面的已处理多维图像。更具体地说，已处理多维图像以图形表示描绘了在图像数据的表面划分模型的特定三角形平面内检测到的表面变形。

可以根据本发明的某些实施例的附随描述和附图以及权利要求理解这些和其它方面、特征和优点。

附图说明

图1是根据本发明的实施例的检查设备的示意图；

图2是根据本发明的实施例的用于分析多维图像数据的计算装置的组件的示意性框图；

图3是示出根据本发明实施例的用于分析多维图像数据的例程的示意流程图；

图4A是示出根据本发明实施例的图像数据的数据结构的概念图；

图4B是根据本发明实施例的在处理的各个阶段的表面图像数据的图形表示；

图4C是根据本发明实施例的表面图像数据的三角形平面网络的图形表示；

图4D是根据本发明实施例的表面图像数据的三角形平面的三维图形表示；

图5A是根据本发明实施例的包括观察到的特征值的表面图像数据的三维图形表示；

图5B是根据本发明实施例的图5A的表面图像数据的近似特征值的三维图形表示；

图5C是根据本发明实施例的覆盖在图5B的表面图像数据的图形表示上的已处理表面图像数据的三维图形表示；

图5D是根据本发明实施例的图5C的已处理表面图像数据的三维图形表示；

图5E是根据本发明实施例的覆盖在表面图像数据的三角图上的已处理表面图像数据的三维图形表示；

图5F是根据本发明实施例的图5E的已处理表面图像数据的三维图形表示；和

图5G是根据本发明的实施例已处理表面图像数据的层的三维图形表示的分解图。

具体实施方式

通过概述和介绍的方式，在此公开的系统和方法涉及设计用于图像“处理”的计算机实现的图像处理方法，以外推、隔离、突出和量化图像数据中的特定特征。作为非限制性实例，公开的图像处理系统和方法可以应用于非破坏性测试(NDT)系统中，以检查材料并检测本来大致均匀的材料结构中的变形。因此，尽管本文中将示例性系统和方法进一步描述为应用于测量材料结构变形的系统中，但是示例性处理算法的应用不受限于此，因为该算法可用于使用任何各种多维图像，或更一般而言，任何多维图、矩阵或张量(统称为“图像”或“图像数据”)进行处理和特征检测。

概括地说，处理多维图像数据的示例性方法包括生成多维“基线”图像并执行基线减法(即从原始图像中减去基线)以生成已处理图像。例如，在示例性二维图像分析应用中，计算机实现的方法将计算设备处理器配置为生成基线表面，将其从原始图像中减去以消除与数据集的“长范围”变化(例如，跨越较大区域)，以便仅保留“更清晰”或本地化的特征，而将其余数据集平坦化。结合处理三维图像数据，即在结构的NDT检测期间使用光学检测装置捕获的表面图像数据的三维图，更具体地描述所公开的实施例，但是，相同的过程也可以扩展到更高维的数据集。

在本文中简要描述了被配置为促进NDT测试的示例性结构材料和可用于生成三维表面图像数据集的示例性检查装置，并在共同待决且共同转让的美国专利申请15/082,327中进一步描述，该申请于2016年3月28日提交、名称为“构造和测试复合光子结构的系统和方法”、发明人是Bovero等人。

通常，在NDT测试期间，定位检查设备以将辐射发射到结构表面的区域上。从结构表面(和/或从结构内部)以及结构内或表面上的任何周期性特征(例如，周期性光栅、荧光团材料等)衍射的辐射可以使用检查装置的辐射传感器检测。因此，使用检测到的衍射光，处理装置可以分析图像数据以确定被检查表面的截面是否已经变形。

为了监测现场大型结构例如管道和储存容器的状况，促进NDT测试的材料可以被并入、嵌入或附着在结构上，作为结构状态的指示器。这种材料可包括响应于变形而经历指数参数变化的结构。一类重要的这种材料包括周期性光子材料，包括光栅和光子晶体。由光子材料响应于辐射而传输的衍射图案对其组成元件的周期性间距极其敏感。因此，由于例如拉伸应力、压缩应力、弯曲、温度变化等，嵌入的光子材料所经受的从常态的任何变形或扰动都可以在扰动结构与常态的衍射图案的相应差异中显示出来。衍射图案的变化可与扰动的大小成比例，并且可以使用检查设备捕获和测量。

图1示出了用于检查包括光子材料103(例如，嵌入在结构中，未示出)的结构150的检查设备100的示例性实施例。光子材料103可以包括衍射光栅，但是也可以包括表现出光学特性例如折射率的周期性变化的其他结构。设备100包括壳体105，壳体105包含用于检查结构的多个组件，所述壳体可以沿着结构的长度作为一个单元定位和移动。为此目的，壳体可以连接到运载器，例如机器人或无人机，或者，壳体可以包括用于自动运动的驱动机构和轮子。

放置在壳体105内的是辐射源110、115，其定位成将辐射通过壳体的开口107引向结构150的一部分。尽管描绘了两个辐射源，但是在一些实施例中可以使用单个源，并且在替代实施例中，可以使用两个以上的源。在示例性实施方式中，辐射源110是激光(单一波长)源，并且辐射源115是发射多个不同波长的漫射辐射源。漫射辐射源115可以采取多种形式，并且可以在可见光谱中和/或可见光谱外的宽波长或窄波长范围内发射辐射。例如，漫射辐射源可以使用白色LED、闪光灯、X射线发射器或自然环境辐射来实现。一个或多个透镜例如120可以被配置为将通过漫射辐射源110发射的辐射聚焦到结构150以进行检查。

在操作中，在光子材料103处接收的辐射被衍射并反射回检查装置的开口107。在一些实施例中，设备100包括反射器125(如图所示)，其被定位以接收从光子材料衍射的辐射。反射器125和一个或多个聚焦组件128可定向成将入射辐射引导并聚焦到辐射传感器130中。辐射传感器130可以以多种方式实现，包括数码相机、红外检测器、电荷耦合器件(CCD)光电倍增管、摄影胶片等。在传感器构成单个元件的实施方式中，传感器输出信号的幅度或强度用于确定位移。对于包括诸如CCD阵列的元件阵列的传感器，特定阵列元件(即位置)的响应提供了可以确定位移的信息。在所示实施例中，辐射传感器耦合到本地处理器140并将捕获的传感器数据发送到本地处理器140。检查设备100可以布置有各种计算机硬件和软件组件，其用于使得能够操作检查设备，并且更具体地，执行与由辐射传感器130捕获的信息的分析相关的操作。另外或在替代实施例中，设备100包括通信模块(例如，无线收发器或其他有线或无线通信接口)，用于将传感器数据传输到基于远程的计算设备，以进一步处理捕获的图像数据，如本文进一步所述。

图2是示出了根据所公开的一个或多个实施例的用于处理多维图像数据的计算设备200的示例性计算机硬件和软件组件的框图。计算设备200可以布置有用于实现用于分析表面的多维图像数据以选择性地检测特征的示例性方法的各种计算机硬件和软件组件。例如但不限于，在本文进一步描述的更具体的示例性实施方式中，计算设备可以被配置为执行与分析成像设备100捕获的图像数据信息有关的操作，以检测被检查者结构的显著特征(例如变形)。

如图2所示，计算设备200的组件包括处理器240和电路板250。如图2所示，电路板可包括存储器255、通信接口260和可由处理器240访问的计算机可读存储介质265。处理器240和/或电路板250还可以耦合到用于可视地输出信息给操作员(用户)的显示器270，用于接收操作员输入的用户界面275，以及用于提供声音反馈的声音输出280，如本领域技术人员理解的。作为实例，设备200可以从显示器270发出视觉信号，例如，使用检查设备100捕获的表面的图像或描绘根据本文进一步描述的示例性图像处理算法检测到的特定特征的表面的已处理图像。虽然各个组件被描绘为独立于电路板250或者是电路板250的一部分，但是可以理解的是，所述组件可以以各种配置布置。

处理器240用于执行可以加载到存储器中的软件指令。处理器240可以使用多个处理器、多处理器核或一些其它某种类型的处理器执行。存储器255可由处理器240访问，从而使处理器能够接收和执行存储在存储器和/或储存器上的指令。存储器255可以使用例如随机存取存储器(RAM)或任何其他合适的易失性或非易失性计算机可读存储介质来实现。另外，存储器255可以是固定的或可移除的。存储介质265还可以采取各种形式，这取决于具体实施方式。例如，存储介质265可以包含一个或多个组件或设备，例如硬盘驱动器、闪存、可重写光盘、可重写磁带或上述的一些组合。存储介质265也可以是固定的或可移动的或远程的，例如基于云的数据存储系统(远程储存器或存储配置，未示出)。电路板250还可以包括或耦合到电源(未示出)，用于为计算设备供电。

一个或多个软件模块285被编码在存储器255和/或存储介质265中。软件模块可以包括一个或多个软件程序或应用程序，其具有在处理器240中执行的计算机程序代码或一组指令。用于执行操作和实现本文公开的系统和方法的各方面的这种计算机程序代码或指令可以用一种或多种编程语言的任何组合来编写。当软件模块本地存储在存储器265或储存器255中并在处理器240中本地执行时，处理器可以经由通信接口260和经由局域网或广域网与基于远程的计算平台交互，优选地无线地交互，以执行计算或分析。

在执行软件模块285期间，处理器240被配置成执行与多维图像数据的分析有关的各种操作，如以下将更详细描述的。这些软件模块可以包括例如但不限于：表面划分模块290，其配置处理器以将表面图像数据划分为多个离散表面；特征检测模块292，其配置处理器以分析离散表面内的特征数据并外推、隔离、突出和量化表面图像数据内的特定特征；图像生成模块294，其配置处理器以生成表示表面并突出检测到的特征的已处理图像，以经由显示器270输出；和通信模块296，其配置处理器以通过诸如通信网络或任何有线或无线电子通信连接的通信连接(未示出)与远程设备(例如，检查设备100)通信。

软件模块285的程序代码和一个或多个非暂时性计算机可读存储设备(诸如存储器255和/或储存器265)可形成计算机程序产品，其可以根据本公开内容进行制造和/或分发，如本领域普通技术人员所知的。另外，与本设备和方法的配置和操作相关的信息和/或数据也可以与软件模块相关联地存储。这样的信息可以包括与多维图像数据有关的规定设置和参数、由多维图像数据表示的结构和物体的已知特性(例如，可以检查的光子材料的预期特性，例如预期的衍射图样)以及要检测的特征的特性(例如，材料变形的类型以及相关的特性例如大小、形状等)。类似地，还可以存储特定于检查设备并且有利于其操作的操作参数。

图3是用于分析多维图像数据以便外推、隔离、突出和量化图像数据内的特定特征的计算机实现的方法300的示意流程图。特别地，方法300是在处理通过使用检查设备100对表面进行检查而捕获的表面的多维图像数据的背景中描述的。

在本文描述的NDT实例中，表面材料可以包括内置的衍射光栅或具有已知周期性的其他此类特征，以使得被检查结构的变形例如通过改变特征的尺寸和/或光栅特征之间的相对距离来局部改变光栅的周期性，从而导致由检查设备100捕获的反射光的波长发生变化。

现有的用于在三维世界中记录和存储初始和观察到的光栅图案并根据已知或预期的衍射特性逐点分析此类数据的系统和方法可能需要大量的计算资源。此类系统通常还需要对特定的环境特征进行测量和数学计算，以及检查可能影响测量值的相关变量(例如，温度、光照、检查设备相对于表面的距离和方向、表面的形状等等)。本文公开的示例性系统和方法包括步骤的特定组合，每个步骤均根据一组特定的规则和参数执行，其实现了更有效、更可靠的解决方案，用于以高度的准确性、精度和分辨率隔离和量化多维图像数据集中的显著特征，同时还可以保持较高水平的计算效率。同时，处理算法允许使用不太复杂的成像系统和简化的检查过程。此外，通过调整执行各种算法图像处理步骤所依据的参数，该系统可用于检测图像数据中任何数量的不同类型的特征，从而提供可用于各种应用中的高度可调的解决方案。

例程300开始于步骤305，其中在计算设备200处提供多维表面图像数据。如所指出的，可以从用于检查表面、记录测量数据并将数据集发送到计算设备的检查设备100接收多维数据集。在一些实施中，计算设备可接收预处理图像(例如，表面图像411，如图4B(a)中所示)形式的图像数据。

作为示例而非限制，多维数据也可以以数据图、矩阵或张量的格式表示。图4A是多维数据集406的示例性矩阵表示。数据集包括数量为i的数据点。每个数据点包括k个维度。i和k均可以是任何正整数(i,k≥0)；i和k相互独立。如图4A所示，第一维度“维度1”由变量“x”表示，第二维度“维度2”由变量“y”表示。例如，子数据集(x，y)可以代表二维位置数据集。例如，在图像数据点的检查和捕获期间，检查设备100可以被配置为使用机载定位传感器(未示出)来收集二维定位数据(例如，x和y位置)。应当理解，可以使用替代的二维定位系统而不背离所公开的实施例的范围，例如，可以使用包括角度和距离值的极坐标系统。

优选地，多维数据包括至少一个测量的尺寸数据，即由变量“z”表示的“特征数据”。例如，在实际的NDT实例中，z可以表示在给定位置被检查表面衍射的辐射的色调值，如使用检查装置100测量的。如将理解的，测量的色调值可以直接与由表面上的特定点反射并通过成像装置捕捉的光的波长相关。

在一些示例性实施方式中，多维数据306可以包括三维位置数据集(x，y，z)，其中该位置数据集包括相对于三维笛卡尔坐标系或高斯-克鲁格坐标系的经度、纬度和高度。如所指出的，优选地，所测量的图像数据包括一个或多个所测量的特征值(例如，变量d，其表示由检查装置在具有三维位置的点处所测量的色调值)。

在例程300的步骤310，由多维图像数据表示的表面被划分为多个离散的子区域。更具体地，通过执行优选地包括表面划分模块290的一个或多个软件模块而配置的处理器240可以根据表面划分模型将表面311划分为整数个平行四边形形状的平面312。图4B以图形方式示出了由图像数据表示的表面311(顶部(a)部分所示)。图4B还示出了被划分为多个平行四边形形状的平面312的表面(中间(b)部分所示)。在一些实施例中，平行四边形是矩形，但是平行四边形也可以是正方形。

另外，在步骤315，可以将表面312的每个平行四边形进一步划分为三角形。更具体地，通过执行一个或多个软件模块(优选地包括表面划分模块290)来配置的处理器240可以通过相应平行四边形的对角线之一将表面412的平行四边形网络进一步划分为两个三角形。

在一些实施例中，处理器可以被配置为定义表面划分模型的参数。例如，配置的处理器可以定义平行四边形的数量，以及平行四边形的大小和形状。更具体地，可以由所配置的处理器根据所测量的区域的尺寸(例如，表面的尺寸和/或其形状)来定义表面划分模型。

例如，可以通过将图像(或更一般地，数据集)细分为具有与原始图像(或整个数据集)相同的长宽比(或多个长宽比)的整数个矩形来定义矩形网络。例如，如果图像尺寸为400 x 300像素，则可以将其划分为100个大小为40x 30像素的矩形，或划分为10,000个大小为4 x 3像素的矩形，依此类推。如果图像(或数据集)的整个区域都不能被整数个矩形(或正方形)完全覆盖，则可以近似或忽略。图4B进一步示出了示例性的一组控制点420，其形成了细分表面312的平行四边形的顶点。

附加地或替代地，所配置的处理器可以定义模型，以将图像细分为平行四边形平面的网络，该平行四边形平面具有特定数量和尺寸，该特定数量和尺寸是目标分辨率的函数，用于已处理图像的分析和细节水平。例如，平行四边形网络的分辨率以及因此三角形网络的分辨率可以被定义为特征(例如，大小、连续性等)的特性的函数，这些特征将通过减去基准面的图像分析而被隔离和曝光。更具体地，如本文进一步描述的，较高数量的细分(即，平行四边形)可以导致更详细的“基准面”图像，当从原始图像中减去该“基准面”图像时，可以导致更大量的图像数据(例如，特征)，其将从原始图像中进行平滑处理，并仅突出显示在生成的已处理图像中离散平行四边形内发生的变化。因此，对表面划分模型的参数的调整允许使用该系统选择性地隔离和检测图像数据内具有各种类型特性的特征，从而使得所公开的实施例可用于多种检查应用。

作为实例，图4B示出了表面412的特定平行四边形414的特写概念图，其具有沿实对角线425划分成两个三角形的顶点420a、420b、420c和420d。点划线427示出了用于将平行四边形划分为三角形平面的替代选项。因此，已被细分为三角形的平行四边形的网络共同形成三角形平面网络，其中每个三角形表示表面的平面。三角形网络可以是处理表面数据的有效方法，因为它会根据它们的空间关系模拟表面特征，并且可以使用有限数量的三角形平面来模拟任何曲面。在示例性实施方式中，代表表面的预定区域的数据点每个具有代表被检查表面的某些物理特性的测量值z(例如色调值)。

图4C示出了在步骤315生成的三角形的子集，其定义了表面412的三角形网络表示。在图4C所示的示例性实施方式中，网络中的平行四边形的对角线彼此平行，但是替代的布置也是可能的。另外，可以理解的是，其中平行四边形是矩形或正方形的实施方式导致直角三角形的网络，如图4C所示。直角三角形网络可以减少数据结构冗余，节省存储空间，并可以提高表面划分和近似算法的鲁棒性。

然后在步骤320，计算各个三角形平面的近似特征值。给定平面的特征值的计算用于生成由给定平面表示的表面部分的测得特征值的近似值。特别地，通过执行一个或多个软件模块(优选地包括特征检测模块292)而配置的处理器240可以针对由相应的三角形平面表示的成像表面的部分计算近似特征值。如本文中进一步描述的，可以根据三角平面方程计算近似特征值。

图4C示出了在步骤315处定义的三角形网络的直角三角形430，并且点划线表示也形成三角形网络的一部分的相邻三角形。可以根据三角形的顶点来计算网络的每个三角形的近似特征值Z，该顶点可以对应于测得的数据点。还应当理解，近似特征值Z可以是一个或多个值，表示测量值或其近似的矢量表示或等式。例如，由于三角形，例如三角形430，定义了一个平面，因此可以使用例如但不限于下面给出的特征之间的关系从其顶点432a、432b和432c的数据点外推该平面的等式：

等式1：a＝x_a,y_a,z(x_a,y_a)

等式2:b＝x_b,y_b,z(x_b,y_b)

等式3:c＝x_c,y_c,z(x_c,y_c)

等式4:

等式5:

等式6:

更具体地，在等式1、2和3中，a、b和c分别表示三角形的一个顶点。等式1例如包含位置数据(x_a,y_a)，其具有数据点432a的测得的特征值z(x_a,y_a)，而等式2和等式3具有分别在数据点432b和432c的相同的数据结构中的相同信息。虽然ab和ac是三角形的两个边缘，但矢量

和

如等式4和5所示表示同一平面上的两个矢量。如等式6所示，

和

的叉积在本领域中也称为“点和法线”矢量，定义了笛卡尔坐标系中三角形平面的系数矩阵。总的来说，等式1-6用于近似多维数据的各个点，因为三角形平面和多个三角形平面一起近似表面的多维图像。除上面列出的方法外，还有其他方法，因此，等式1-6只是一个实例。可以使用以下给出的关系表示平面：

等式7:D＝A·x_a+B·x_a+C·z(x_a，y_a)

三维平面的上述表达式可以用以下示例性公式替代表示：

等式8：Ax+By+Cz＝D

因此，可以使用平面公式等式来近似给定平面中数据点的特征值。令Z代表数据点的近似特征值。在表面数据的任何给定的三角形平面中，近似Z值可以使用公式如等式9变换计算，其中我们将在等式8中Z替换为z(x_i，y_i)：

等式9:

如指出的，在示例性实际NDT应用中，近似Z值可以表示色调。有效地，计算每个平面的近似Z值用于生成每个平面内的点的色调值的近似表示。此外，如此近似的三角形平面的连续网络用于生成整个表面图像数据集的近似表示。

应当理解，除了调制各个平面的尺寸以调整图像的分辨率并选择性地突出显示不同类型的特征之外，还可以根据技术的特定应用调整用于近似各个平面的特定数学算法。

然后在步骤325，从原始表面数据生成调整后的特征值。步骤325有效地突出了并隔离了表面图像在表面上的各个位置处的显著特征。特别地，在示例性实施方式中，通过执行一个或多个软件模块(优选地包括特征检测模块292)来配置的处理器240可以通过减去基线/基准面计算表面图像中各个数据点的调整后的特征值V。更具体地，所配置的处理器可以从具有对应的x和y坐标的表面图像数据集的每个点的观察到的z值中减去各个平面的近似Z值，并将这种差异定义为调整后的特征值V。

等式10中显示了用于为单个数据点计算调整后的特征值Z的示例性数学关系：

等式10:V＝z(x_i，y_i)-Z(x_i，y_i)

应当理解，在一些实施方式中，由原始表面图像数据集表示的测量特征值z可以是绝对值(例如，测量幅度)，并且作为基线减去的结果，调整后的特征值Z是相对于相应三角形平面的近似特征值V。还应该理解，可以执行附加处理以进一步细化针对数据点的调整后的特征值Z。例如，可以基于已知的数学关系将调整后的色调特征值转换为位移的量度。附加地或替代地，可以执行“去皮”操作，其中可以从通过基线减去计算出的调整后的特征值中减去预期值(例如，与未变形结构相对应的预期特征值或位移)(例如仅将位移的大小量化为绝对值)。还应该理解，可以执行附加的数据处理和处理步骤，以进一步完善所得数据集和/或将数据转换为替代形式或度量。

作为进一步的例子，图4D以图形方式示出了表面412的特定三角形平面442，其具有以三维表示的顶点440a、440b和440c，以及由如上所述三个测量数据点确定的顶点440a'、440b'和440c'的三角形平面的对应二维表示444。

图5A-5C描绘了根据例程300在各个处理阶段的示例性图像数据的图形表示。图5A描绘了实例表面图像数据集515，其包括观察/测量的特征值并且细分为三角形平面的网络(例如，在步骤315)。图5B描绘了实例表面图像数据集520，其包括如在步骤320中计算出的各个三角形平面的近似特征值。图5C描绘了表面图像数据集525，其包括通过将观察到的特征值z(如图5A所示)的基准面相减而计算出的调整后的特征值，其叠加在近似特征值Z上，如图5B所示(例如，在步骤325)。调整后的特征值显示为覆盖在图5A的细分表面图像上，以突出在调整后的特征值图像中出现的特征的相应位置。

所公开的用于表面图像数据分析的示例性过程提供了一种特定方法，该方法包括图像表面细分和表面逼近的步骤，然后进行基准面减去，导致在特定三角形平面内发生的被测特征值的显著变化以保持在所得调整后的特征值数据集内。另外，在减法之后至少部分地平滑在大于单个三角形的尺寸的区域上发生的特征值的变化。因此，相对于“较慢”的变化(例如，在较大面积上延伸的变化)，突出了快速变化(即，在特定三角形平面内发生的z的变化)。然而，应当理解，取决于这种在较大区域上延伸的较慢的变化的幅度，尽管未加强调，但这种变化仍可以存在于所得的调整后的特征值数据集中。因此，在调整后的特征值数据集中是否表示特定特征可以是幅度和大小/面积的函数。

最终，基准平面/基准线近似然后进行减法操作用于除去通常在整个表面上共享的特征值，并且将在步骤320生成并在步骤325减去生成的表面图像的基线近似值中表示。类似地，由于用于表面近似和基线减法的特定方法，存在于较大区域上的特征值的变化——通常可以由环境或检查条件及其变化(例如，在检查过程中检查设备相对于成像表面的距离或角度、照明条件、表面的特定轮廓、温度等)引起——可以在包括调整后的特征值数据集的最终处理数据集中类似地被平滑(例如未加强调)。因此，步骤的特定组合导致了健壮的特征检测过程，该过程在数学上得到了简化并变得更加高效，因为不需要考虑许多变化的环境和检查条件，并且在不牺牲检测和隔离显著特征(例如材料变形)的准确性的情况下。从实际的角度来看，检查过程在操作上也更加有效，因为可以测量和捕获特征数据值，而与环境和检查条件的变化无关。

关于实际的NDT应用，由材料变形产生的特征值通常与近似特征值有很大不同，而与材料变形不对应的特征值(以及特征值的变化)具有接近于近似值的测量特征值。因此，在减去基线之后，与材料变形相对应的特征值保留在最终图像数据中(即，三角平面的近似特征值)，并且在所得的处理后的表面图像中以突变形式示出。更具体地，可以将表面变形描述为具有“锐利”值，因为测量值与相应平面的近似值大大偏离并且可以在已处理图像中呈现为峰值。相比之下，其他环境变化(例如，材料形状的潜在变化或检查条件例如检查角度的变化)产生的测量值不会明显偏离近似值。

图5C示出了在基线相减之后持久存在于表面图像数据中的锐利特征值变化的实例。如上所述，在某些情况下，特征值的变化不会越过三角形平面的边界，即保持在一个三角形平面的边界之内或之上。在图5C的左侧的峰550为不跨越三角形平面边界(例如，相邻三角形之间的边界)的锐利值的实例。在一些示例性实施方式中，特征值改变跨越多个三角形平面并且在基线相减之后在已处理图像中保持为锐利特征。在图5C的右边的峰555是跨越多个三角形平面的尖锐特征值的实例。如所指出的，已经通过基线减去在某种程度上消除了跨越多个三角形平面的特征值的锐利变化(例如，幅度减小)，而单个三角形内的锐利值保持相对不受影响。

在步骤330中，可以生成表面的已处理多维图像。更具体地，通过执行一个或多个软件模块(优选地包括图像生成模块294)配置的处理器240可以基于每个数据点的调整后的特征值V生成描绘表面的图形表示(例如图像)。可以理解，通过基于每个数据点的调整后的特征值Z生成表面的处理后的多维图像，限定表面的处理后的多维图像的数据集与提供的图像数据中的数据集不同。图5D是示出了调整后的特征值V的处理后的多维图像530的示例性图形说明。

作为进一步的例子，图5E是覆盖在表面图像数据的三角图形表示上的处理过的表面图像数据的三维图形表示。特别地，图5E示出了替代实例，其中表示急剧的特征值变化的调整后的特征值在基线减去后仍保留在数据集中，并且其中急剧的特征值变化的两个实例均不跨越三角形平面边界(例如，分别保持在一个平面的边界内或边界上)。图5F以图形方式示出了处理后的多维图像530，其示出了调整后的特征值V而没有覆盖在表面图像数据的三角图上。

在一些实施方式中，由处理器生成的经处理的多维图像可以包含在示例性例程300的各个步骤处生成的多层信息。例如，如图5G所示，信息层可以包括位置数据层575、示出表面图像的细分的三角形网络层570、原始测量特征值层580(例如，示出各个位置的色调的测量值的原始表面图像)以及基于调整后的特征值生成的最终表面图像层585。配置的处理器将最终处理的图像和图层一起或分别输出。另外，如本领域中将理解的，所生成的图像可以被格式化为矢量数据或光栅数据。

在步骤335中，处理器240可以使用计算设备200的显示器270输出一个或多个图像层，该图像层优选包括表面的处理后的多维图像。更具体地，使用显示器270的处理器240可以将最终处理的图像以图形方式输出给操作员，从而以图形方式呈现来自原始表面图像的与材料变形相对应的特征，如根据例程300的步骤305-330检测和隔离的。例如，图形输出可以包括

现有技术主要集中在基于频率的平均、平滑和隔离特征上，并且由于需要对变化的环境和检查条件进行监视和数学调整而可能受到进一步的限制，因此上述公开的实施例根据特定的方法应用特定的一组规则，所述方法是本领域中非常规的，并且在准确性和处理效率等方面获得了实际的益处。更具体地，根据显著方面，基于计算出的调整后的特征值Z生成的处理后的多维图像以图形表示方式描绘了在给定三角形平面内发生的测量到的特征值z的变化，其相对于在包括多个三角形平面的区域上出现的测量特征值z的变化具有更大的重点。此外，在NDT实施中通过公开的系统和方法所获得的益处包括识别变形而与检查条件变量即照明、检查装置和材料的相对方向、检查装置和材料的距离等的变化无关的能力。作为进一步的结果，不仅从计算的角度，而且从操作的角度，变形分析都被简化并且更加有效，因为检查设备不一定需要用于监视检查条件的传感器(例如使用接近度传感器、角度传感器甚至特定的光源)。

本系统和方法的说明性实施例和布置提供了用于分析多维表面图像数据以检测成像结构形变等的系统和计算机实现的方法、计算机系统和计算机程序产品。图中的流程图和框图示出根据各种实施例和布置的系统、方法和计算机程序产品的可能实施例的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、片段或代码的部分，所述代码包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图解中的每个框以及框图和/或流程图图解中的框的组合可由基于专用硬件的系统实施，所述系统执行指定功能或动作或专用硬件和计算机指令的组合。

应理解，本文所公开的任何结构和功能细节不应被解释为限制所述系统和方法，而是提供为用于教授所属领域的技术人员实施方法的一种或多种方式的代表性实施例和/或布置。

上文所描述的主题仅以说明方式提供，不应被理解为具有限制性。本文所用的术语仅出于描述特定实施例的目的，并且并不意图限制本发明。如本文所使用的，单数形式“一”、“一”和“所述”意在也包括复数形式，除非上下文另有清晰地指示。应进一步理解的是，当在本说明书中使用时，术语“包括(comprises和/或comprising)”指定所陈述的特征、整数、步骤、操作、要素和/或组件的存在，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、要素、组件和/或其组。

而且，本文使用的措辞和术语是出于说明的目的并且不应该被认为具有限制性。本文中“包括”、“包含”或“具有”、“含有”、“涉及”和其变化形式的使用意指涵盖在其后所列出的项和其等效物以及附加项。

尽管上面已经使用几个具体实例和实施例描述了本发明，但是对于本领域的普通技术人员来说，将存在显而易见的修改和变化。这样，所描述的实施例在所有方面都应被认为是说明性的，而不是限制性的。因此，本发明的范围由所附权利要求书而不是前面的描述指示。在权利要求的等同物的含义和范围内的所有改变均应包含在其范围之内。

权利要求书(按照条约第19条的修改)

1.一种计算机实现的方法，所述方法用于从利用光学检查装置捕获的结构的表面的多维图像数据中检测结构的变形，所述方法包括：

在处理器处提供所述多维图像数据，所述图像数据包括使用所述光学检查装置测量的多个数据点，每个数据点包括：

位置数据，其在至少两个维度上标识在所述表面上捕获了相应数据点的相应位置；和

特征值数据，其至少包括使用所述检查装置测量的相应数据点的相应特征值z；

用处理器将表面划分模型应用于所述图像数据，包括以下步骤：

将所述图像数据表示的所述表面划分为多个平行四边形形状的平面，以及

将每个所述平行四边形形状的平面分别细分为两个三角形平面；

用所述处理器计算每个所述三角形平面的近似特征值Z，基于在相应的三角形平面内的一个或多个数据点的测量的特征值计算相应的三角形平面的近似特征值；

利用所述处理器基于所述特征值为多个数据点中的每一个计算调整后的特征值V，其中基于针对相应数据点的测量的特征值z和针对相应数据点在其内的三角形平面的计算的近似特征值Z，计算针对相应数据点的调整后的特征值；

使用所述处理器基于每个数据点的调整后的特征值V，生成所述表面的处理后的多维图像，其中所述处理后的多维图像的数据集与提供的图像数据中的数据集不同；和

利用使用图形显示器的所述处理器输出所述表面的处理后的多维图像，其中所述处理后的多维图像以图形表示描绘了在细分的图像数据的相应三角形平面内检测到的表面的变形。

2.根据权利要求1所述的方法，其中计算用于包括在处理后的多维图像中的调整后的特征值V的步骤还包括：对于给定的三角形平面及其各个数据点中的每个，将计算的近似特征值Z从每个所述相应数据点的测量的特征值z进行基线减去。

3.根据权利要求1所述的方法，其中根据三角平面等式并且基于与各个三角平面的各个顶点相对应的测量数据点，计算各个三角平面的近似特征值Z。

4.根据权利要求1所述的方法，其中基于调整后的特征值V生成的处理后的多维图像以图形表示方式描绘了在给定三角形平面内发生的测量到的特征值z的变化，其相对于在包括多个三角形平面的区域上出现的测量特征值z的变化具有更大的重点。

5.根据权利要求1所述的方法，其进一步包含：

使用所述处理器生成表面划分模型，该表面划分模型指定多个平行四边形形状的平面的数量作为由图像数据表示的表面的尺寸和与要从图像数据中检测到的变形相对应的特征的尺寸的函数。

6.根据权利要求1所述的方法，其中提供步骤包括：

使用所述检查装置，使用所述光学检查装置测量所述多个数据点；和

生成所述多维图像数据。

7.根据权利要求6所述的方法，其中所述特征值数据是使用所述检查装置捕获的衍射辐射的色调的量度。

8.根据权利要求1所述的方法，其中所述平行四边形平面的形状为矩形。

9.根据权利要求1所述的方法，其中所述三角形平面是直角三角形平面。

10.根据权利要求1所述的方法，其中每个平行四边形平面还沿着在其两个顶点之间延伸的对角线划分，使得所述对角线限定两个相应的三角形平面的共享边缘。

11.根据权利要求1所述的方法，其中针对各个三角形平面计算的近似特征值Z被表示为值、向量和等式中的一个或多个，并且从相应三角形平面内的一个或多个数据点的测量的特征值z计算。

12.根据权利要求1所述的方法，其中从位于相应三角形平面的三个顶点处的数据点的测量的特征值z计算相应三角形平面的近似特征值Z。

13.一种用于从由光学检查装置捕获的结构的表面的多维图像数据检测所述结构的变形的系统，所述系统包括：

计算机可读存储介质；

通信接口；

显示器；

一个或多个处理器，其被配置为访问所述存储介质并与所述通信接口和所述显示器进行操作性通信；和

软件模块，其存储在所述存储介质上并且可由所述处理器执行，其中所述软件模块包括：

通信模块，其当由所述处理器执行时将所述处理器配置为使用所述通信接口接收包括使用所述光学检查装置测量的多个数据点的所述多维图像数据，所述数据点包括：位置数据，其在至少两个维度上标识在所述表面上捕获了相应数据点的相应位置；以及特征值数据，其至少包括使用所述检查装置测量的相应数据点的相应特征值z；

表面划分模块，其在由所述处理器执行时配置所述处理器以根据表面划分模型将由图像数据表示的表面划分为多个平行四边形形状的平面，并且分别细分每个平行四边形形状的平面为两个三角形平面；

特征检测模块，其当由所述处理器执行时将所述处理器配置为为每个三角形平面计算相应的近似特征值Z，其中基于相应三角形平面内的一个或多个数据点的测量的特征值z计算相应三角形平面的近似特征值Z，以及

其中所述特征检测模块还配置所述处理器以为多个数据点中的每一个计算调整后的特征值V，其中基于针对相应数据点的测量的特征值z和针对相应数据点在其内的三角形平面的计算的近似特征值Z，计算针对相应数据点的调整后的特征值V；和

图像生成模块，其当由所述处理器执行时将所述处理器配置为基于每个数据点的所述调整后的特征值V生成所述表面的已处理多维图像，其中所述已处理多维三维图像的数据集不同于接收到的图像数据中的数据集，并且进一步配置所述处理器以使用所述显示器输出所述表面的所述已处理多维图像，其中所述已处理多维图像以图形表示描绘了在所述表面的相应三角形平面内的检测到的表面变形。

14.根据权利要求13所述的系统，其中根据三角平面等式并且基于与各个三角平面的各个顶点相对应的测量数据点，计算各个三角平面的近似特征值Z。

15.根据权利要求13所述的系统，其中包括在所述已处理多维图像中的调整后的特征值V是通过对于给定的三角形平面将计算的近似特征值Z从所述给定的三角形平面中的每个相应数据点的测量的特征值z进行基线减去计算的。

16.根据权利要求13所述的系统，其进一步包括：

光学检查装置，其被配置为测量多个数据点并生成所述多维图像数据。

17.根据权利要求13所述的系统，其中所述表面划分模块还配置所述处理器以生成表面划分模型，所述表面划分模型指定多个平行四边形形状的平面的数量作为由图像数据表示的表面的尺寸和与要从图像数据中检测到的变形相对应的特征的尺寸的函数。

Claims (17)

1.一种计算机实现的方法，所述方法用于从利用光学检查装置捕获的结构的表面的多维图像数据中检测结构的变形，所述方法包括：

在处理器处提供所述多维图像数据，所述图像数据包括使用所述光学检查装置测量的多个数据点，每个数据点包括：

位置数据，其在至少两个维度上标识在所述表面上捕获了相应数据点的相应位置；和

特征值数据，其至少包括使用所述检查装置测量的相应数据点的相应特征值z；

用处理器将表面划分模型应用于所述图像数据，包括以下步骤：

将所述图像数据表示的所述表面划分为多个平行四边形形状的平面，以及

将每个所述平行四边形形状的平面分别细分为两个三角形平面；

用所述处理器计算每个所述三角形平面的近似特征值V，基于在相应的三角形平面内的一个或多个数据点的测量的特征值计算相应的三角形平面的近似特征值；

利用所述处理器基于所述特征值为多个数据点中的每一个计算调整后的特征值Z，其中基于针对相应数据点的测量的特征值z和针对相应数据点在其内的三角形平面的计算的近似特征值V，计算针对相应数据点的调整后的特征值；

使用所述处理器基于每个数据点的调整后的特征值Z，生成所述表面的处理后的多维图像，其中所述处理后的多维图像的数据集与提供的图像数据中的数据集不同；和

利用使用图形显示器的所述处理器输出所述表面的处理后的多维图像，其中所述处理后的多维图像以图形表示描绘了在细分的图像数据的相应三角形平面内检测到的表面的变形。

2.根据权利要求1所述的方法，其中计算用于包括在处理后的多维图像中的调整后的特征值Z的步骤还包括：对于给定的三角形平面及其各个数据点中的每个，将计算的近似特征值V从每个所述相应数据点的测量的特征值z进行基线减去。

3.根据权利要求1所述的方法，其中根据三角平面等式并且基于与各个三角平面的各个顶点相对应的测量数据点，计算各个三角平面的近似特征值V。

4.根据权利要求1所述的方法，其中基于调整后的特征值Z生成的处理后的多维图像以图形表示方式描绘了在给定三角形平面内发生的测量到的特征值z的变化，其相对于在包括多个三角形平面的区域上出现的测量特征值z的变化具有更大的重点。

5.根据权利要求1所述的方法，其进一步包含：

使用所述处理器生成表面划分模型，该表面划分模型指定多个平行四边形形状的平面的数量作为由图像数据表示的表面的尺寸和与要从图像数据中检测到的变形相对应的特征的尺寸的函数。

6.根据权利要求1所述的方法，其中提供步骤包括：

使用所述检查装置，使用所述光学检查装置测量所述多个数据点；和

生成所述多维图像数据。

7.根据权利要求6所述的方法，其中所述特征值数据是使用所述检查装置捕获的衍射辐射的色调的量度。

8.根据权利要求1所述的方法，其中所述平行四边形平面的形状为矩形。

9.根据权利要求1所述的方法，其中所述三角形平面是直角三角形平面。

10.根据权利要求1所述的方法，其中每个平行四边形平面还沿着在其两个顶点之间延伸的对角线划分，使得所述对角线限定两个相应的三角形平面的共享边缘。

11.根据权利要求1所述的特征值Z，其中针对各个三角形平面计算的近似特征值V被表示为值、向量和等式中的一个或多个，并且从相应三角形平面内的一个或多个数据点的测量的特征值z计算。

12.根据权利要求12所述的方法，其中从位于相应三角形平面的三个顶点处的数据点的测量的特征值z计算相应三角形平面的近似特征值Z。

13.一种用于从由光学检查装置捕获的结构的表面的多维图像数据检测所述结构的变形的系统，所述系统包括：

计算机可读存储介质；

通信接口；

显示器；

一个或多个处理器，其被配置为访问所述存储介质并与所述通信接口和所述显示器进行操作性通信；和

软件模块，其存储在所述存储介质上并且可由所述处理器执行，其中所述软件模块包括：

通信模块，其当由所述处理器执行时将所述处理器配置为使用所述通信接口接收包括使用所述光学检查装置测量的多个数据点的所述多维图像数据，所述数据点包括：位置数据，其在至少两个维度上标识在所述表面上捕获了相应数据点的相应位置；以及特征值数据，其至少包括使用所述检查装置测量的相应数据点的相应特征值z；

表面划分模块，其在由所述处理器执行时配置所述处理器以根据表面划分模型将由图像数据表示的表面划分为多个平行四边形形状的平面，并且分别细分每个平行四边形形状的平面为两个三角形平面；

特征检测模块，其当由所述处理器执行时将所述处理器配置为为每个三角形平面计算相应的近似特征值V，其中基于相应三角形平面内的一个或多个数据点的测量的特征值v计算相应三角形平面的近似特征值V，以及

其中所述特征检测模块还配置所述处理器以为多个数据点中的每一个计算调整后的特征值Z，其中基于针对相应数据点的测量的特征值z和针对相应数据点在其内的三角形平面的计算的近似特征值V，计算针对相应数据点的调整后的特征值Z；和

图像生成模块，其当由所述处理器执行时将所述处理器配置为基于每个数据点的所述调整后的特征值Z生成所述表面的已处理多维图像，其中所述已处理多维三维图像的数据集不同于接收到的图像数据中的数据集，并且进一步配置所述处理器以使用所述显示器输出所述表面的所述已处理多维图像，其中所述已处理多维图像以图形表示描绘了在所述表面的相应三角形平面内的检测到的表面变形。

14.根据权利要求13所述的系统，其中根据三角平面等式并且基于与各个三角平面的各个顶点相对应的测量数据点，计算各个三角平面的近似特征值V。

15.根据权利要求13所述的系统，其中包括在所述已处理多维图像中的调整后的特征值Z是通过对于给定的三角形平面将计算的近似特征值V从所述给定的三角形平面中的每个相应数据点的测量的特征值z进行基线减去计算的。

16.根据权利要求13所述的系统，其进一步包括：

光学检查装置，其被配置为测量多个数据点并生成所述多维图像数据。

17.根据权利要求13所述的系统，其中所述表面划分模块还配置所述处理器以生成表面划分模型，所述表面划分模型指定多个平行四边形形状的平面的数量作为由图像数据表示的表面的尺寸和与要从图像数据中检测到的变形相对应的特征的尺寸的函数。

Images