CN110326026A - 用于多边缘检测的方法和装置 - Google Patents
用于多边缘检测的方法和装置 Download PDFInfo
- Publication number
- CN110326026A CN110326026A CN201880013666.7A CN201880013666A CN110326026A CN 110326026 A CN110326026 A CN 110326026A CN 201880013666 A CN201880013666 A CN 201880013666A CN 110326026 A CN110326026 A CN 110326026A
- Authority
- CN
- China
- Prior art keywords
- measurement point
- parameter
- rasterizing
- material interface
- edge detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
Abstract
本发明涉及一种计算机实现的方法,其用于通过对物体的至少一次测量来确定物体的材料界面,借助测量产生物体的具有多个像素的栅格化表示,各像素具有至少一条图像信息,其表示测量点位置处物体的测量变量的值。该方法包括:确定物体的栅格化表示的参数设置,参数设置将至少一个参数分配给该表示的测量点的子集的每个测量点;以及将至少一个参数相关的边缘检测算子应用于栅格化表示的测量点,边缘检测算子被设计成确定栅格化表示中至少一个材料界面的位置。在根据测量点的图像信息确定材料界面的位置时,边缘检测算子至少考虑与栅格化表示中的测量点相邻的测量点的子集的图像信息。边缘检测算子中的至少一个是多边缘检测算子,其在被应用于测量点时被设计成确定物体中的至少两个直接相邻的材料界面的位置。当且仅当测量的至少一个参数表示多个材料界面在测量点的周围彼此直接相邻地布置时,将多边缘检测算子应用于测量点。
Description
本发明涉及根据权利要求1的用于确定物体的材料界面的计算机实现的方法,以及根据权利要求10的相应装置,和根据权利要求11的计算机程序产品。
通过成像方法确定物体中材料界面的位置是现有技术中普遍存在的问题。材料界面(在诸如工件的物体中)精确地描述了物体中不同材料彼此相邻的界面。除了物体内的界面(例如,从塑料到金属的过渡)之外,材料界面还可以表示将物体与其周围环境或环境空气界定开的面。因此,确定界面尤其也可以用于确定被检查物体的尺寸。其中界面的精确确定越来越重要的技术领域是例如工件的计算机断层摄影检查,其用于制造中的质量保证等。
与所使用的成像方法无关,现有技术中经常存在的问题是,不能精确地区分紧密靠在一起的材料界面,或者在最坏的情况下,根本不能区分。这样的紧密地靠在一起的界面例如存在于主体的涂层中,其中涂层例如仅为几微米厚。此外,在印刷电路板上的薄结构或诸如铜导体的连接件通常也不能使用现有技术中已知的方法成像或仅能不精确地成像。难以检测的材料界面的另一个例子是工件中的裂缝和孔隙。裂缝或孔隙实际上同样是一系列紧密相邻的材料界面,在该界面处,从被检查的工件的材料到空气发生过渡,反之亦然。由于这种裂缝或孔隙会对所检查的工件的功能性产生极大的负面影响,因此现有技术迫切需要一种合适的方法,利用这种方法,这种“多边缘”,即紧密连续的材料界面,也可以在检查工件时被检测到。类似地,对检测涂层及其厚度的技术有很高的要求,因为连续的、未损坏且足够厚的涂层对于工件的所需功能通常是绝对必要的。
本发明的主要特征在权利要求1以及权利要求10和11中详细说明。实施方式形成权利要求2至9的主题。
在第一方面,本发明涉及一种计算机实现的方法,该方法用于通过对物体的至少一次测量来确定物体的材料界面,其中通过所述测量生成物体的栅格化表示。栅格化表示具有多个测量点,其中测量点具有至少一条图像信息。该图像信息表示测量点位置处物体的测量变量的值。然后,根据本发明的方法包括首先确定物体的栅格化表示的参数设定,其中参数设定将至少一个参数分配给所述表示的测量点的子集的每个测量点。然后,将至少一个参数相关的边缘检测算子应用于栅格化表示的测量点。边缘检测算子被设计成确定栅格化表示中的至少一个材料界面的位置。
在根据测量点的图像信息确定材料界面的位置时,边缘检测算子至少考虑与栅格化表示中的测量点相邻的测量点的子集的图像信息。此外,边缘检测算子中的至少一个是多边缘检测算子,当应用于测量点时,该多边缘检测算子被设计成确定物体中至少两个直接相邻的材料界面的位置。当且仅当测量点的至少一个参数指示多个材料界面在测量点的周围环境中彼此直接相邻地布置时,多边缘检测算子应用于测量点。
可以使用任何所需的成像方法来执行测量。尤其是,这里可以涉及计算机断层摄影、磁共振断层摄影、正电子发射断层摄影和3D超声波扫描。
根据本发明的方法具有以下优点:边缘检测算子的目标应用也可以分辨直接相邻的材料界面,使得甚至非常薄的结构(例如裂缝和涂层)在被检查物体中也能被检测到。实验表明,与用于确定单独的孤立材料界面的算法相比,用于一系列直接相邻材料界面的针对性搜索的算法需要增加计算复杂度。然而,根据本发明,通过仅在应用由测量点的对应参数指示的情况下基于测量点的参数设定应用多边缘检测算子,将这种增加的计算量减少到可管理的水平。因此,用于检测多个边缘的计算工作量减少到最小。然而,如果测量点的参数设定不指示应该应用多边缘检测算子,则该方法提供被设计成仅检测单个材料界面的边缘检测算子应用于测量点。
作为测量结果产生的被检查物体的栅格化表示可以是二维和三维的。在三维表示的情况下,测量点是体积像素或体素,而二维表示中的图像点是简单像素。体素的图像信息表示物体的测量变量的平均值,其是使用所使用的系统的点扩散函数(PSF)对所考虑的体素的周围环境进行卷积而产生的。还可以将物体的三维表示分解为三维表示的一系列二维截面图像。
“测量变量的值”通常是数值,其对被检查物体的材料的特定属性进行量化,使得可以将相应的材料与栅格化表示中的其它材料区分开。测量值变量的值不应与测量点的参数混淆,测量点的参数由于栅格化表示的参数设定而分配给测量点。尽管测量变量的值描述了被检查物体的材料或材料属性,但参数设定的参数充当可在确定材料界面时使用的附加信息。例如,如果用于测量的成像方法是计算机断层摄影,则测量变量的值可以描述例如X射线辐射在穿过相应材料时经历的衰减程度。因此,考虑的测量变量是辐照材料的辐射密度。然而,如果成像方法是磁共振断层摄影,则测量变量的值可以是材料的共振频率或弛豫时间。
用于栅格化表示的栅格原则上可以具有任何期望的形式。在最简单的情况下,栅格具有正交轴,所述正交轴在所有三个维度中以规则的间隔被分成段。所有三个维度中由一个段描述的体积然后恰好定义一个体素。但是,使用的栅格不限于这种均匀且正交栅格。相反,栅格的轴也可以遵循其它布置,从而导致体素的不同形状,例如非立方体形状。例如,栅格也可以是六角形。栅格化表示中的所有体素或像素也不必具有相同的大小。相反,例如,还可以将具有相同图像信息的多个测量点组合成单个公共体素或像素。
根据本发明,如上所述的“参数”还可以表示任何期望的复数变量以及仅仅数量或值。例如,测量点的单个参数可以表示在测量点的周围是否存在相邻材料界面的直接序列。在这种情况下,参数可以被定义为二元变量。该参数还可以提供关于测量点附近有多少材料界面的信息。最后,参数还可以包含与在材料界面处彼此相遇的材料有关的信息。例如,甚至可以通过参数对测量点的图像信息的预期项进行编码。与确定材料界面相关的任何其它复杂信息也可以包含在下面的术语“参数”下。
如上所述,现有技术中已知的用于检测材料界面的方法通常不能将连续密集的材料界面序列与单个材料界面直接区分开或者在材料界面彼此紧邻布置的紧密序列中确切地确定各个材料界面的相应位置。
这通常可归因于在被检查物体的生成图像中的模糊效果。因此,表述“直接相邻的材料界面”意味着所有那些不再能被仅用于检测简单的材料界面的边缘检测算子解析为单个材料界面的材料界面序列。根据所使用的成像方法和测量情况,“直接相邻”的设计可以表示不同的长度。如果用测量装置的非常小的焦点高度放大拍摄物体,则“直接相邻”的表述可以指两个界面之间几微米的距离,而在较低放大率下的一系列“直接相邻材料界面”也可以存在于材料界面之间几毫米的距离处。
在数字图像处理领域中,用于分析和处理图像数据的算子在许多不同的变型中是已知的。Sobel算子是经常用于数字图像处理以检测边缘的算子的一个突出示例。Sobel算子本质上是具有定义条目的秩(rank)n的张量。张量的秩取决于被扫描图像的维数。将这样的算子应用于图像或图像点是通过图像的图像数据与算子的张量的离散卷积来进行的。
然而,在本申请的上下文中,术语“算子”并不仅仅意味着仅仅是张量。相反,在本发明的上下文中的各个算子可以是卷积张量、算术运算、曲线拟合或类似的任何期望的复杂组合,其以特定顺序连续执行并且各自对算子的先前运算的结果进行进一步处理。在本申请的上下文中的算子不一定必须包含上述Sobel算子的含义内的卷积张量。相反,算子也可以完全管理而执行成像数据与卷积张量的卷积。算子定义中唯一相关的事情是算子对成像数据的应用实现了期望的结果,特别是材料界面的检测。
表达“应用参数相关的算子”的含义可以根据应用情况和算子的类型而不同。例如,如上所述,参数可以指示是否必须检测一系列直接相邻的材料边界层。在这种情况下,参数相关包括根据参数的值应用不同的算子。然而,参数相关也可以表示为当应用算子时执行的一个或更多个操作取决于参数。参数可以在许多不同变体中影响算子的性能。例如,可以通过参数对在进行算术运算时应该考虑的偏移进行编码。此外,还可以通过参数指定在算子的应用中应该考虑的一组特定测量点。参数还可以对对算子的应用有影响的附加信息进行编码。例如,参数可以包含成像系统的脉冲响应,也称为点扩散函数(PSF),因此可以在算子的应用中考虑这一点。
根据本发明,材料界面的位置不是由栅格或栅格点的排列布置定义的。相反,在方法的过程中确定的材料界面的位置也可以位于栅格点之间。因此,根据本发明的方法还使得材料界面的子像素或子体素精确确定成为可能,其中界面可以以1/100体素和更精确的精度确定,这取决于测量数据的质量。
根据一个实施方式,测量点的图像信息包括至少一个灰度值,该灰度值指示在测量点的位置处物体的测量变量的值。在这种情况下,多边缘检测算子被设计成通过将多边缘的灰度值的理论模型拟合到测量点的灰度值和/或根据测量点的周围的灰度值得出的值来确定从测量点开始的多边缘的各个材料界面的位置。在这种情况下,“多边缘”意味着一系列直接相邻的材料界面。表述“在测量点的位置”精确地描述了被检查物体的点或空间区域,其对应于栅格化表示中所考虑的像素或体素。为了检测多边缘,所考虑的测量点必须位于边缘附近,该边缘可能是多边缘。“边缘附近”是指所有其灰度值由于所使用的系统的脉冲响应而受到对要检测的边缘进行成像测量点的灰度值的影响的图像点的集合。
可以通过考虑多个影响变量来确定多边缘的灰度值的理论分布。例如,以这种方式可以考虑用于在理论模型的创建中捕获测量点的成像系统的PSF的影响。成像系统的PSF通常导致测量值的“模糊”,使得被检查物体的实际锐边(因为它们实际上处于材料界面)在图像中看起来像被冲蚀的逐渐过渡。如果已知的话,在确定理论轮廓时也可以考虑在物体的测量期间导致物体的非理想成像的其它因素。此外,灰度值的理论分布可以根据预期的材料边界层数来确定。根据一个实施方式,例如,测量点的参数不仅指示在测量点的紧邻环境中是否存在多个边缘,而且还指示多边缘包含多少单个材料边界层。因此,当应用多边缘检测算子时,恰好可以使用假设正确数量的单个材料边界层确定的灰度值的预期理论轮廓来确定材料边界层的位置。
通过将多边缘的灰度值的理论轮廓调整为当前灰度值,可以有效地确定各个材料边界层的位置。可以使用任何期望的曲线拟合方法来将理论曲线调整为测量值。例如,这里可以使用最小二乘法。通过选择用于曲线调整的每次形成的迭代,可以考虑与所引起的计算负荷相关的边缘确定的准确性。
根据另一实施方式,测量点子集的参数设定将至少两个参数分配给子集的每个测量点。对于子集的测量点,针对各分配的参数,将参数相关的边缘检测算子应用于测量点。例如,在创建参数设定时,有可能知道潜在的多边缘在哪出现,但不知道该多边缘中包含多少单个材料边界层。在这种情况下,参数设定可以在要检测的多边缘中定义不同数量的单个材料界面,从而将相应的多边缘检测算子应用于测量点。例如,可以通过合适的参数设定来定义潜在多边缘的定义谱。
除了表示关于测量点周围是否存在多边缘的信息项之外,参数设定的参数还可以包含可用于检测材料边界层的其它信息。例如,根据另一实施方式,测量点的至少一个参数定义栅格化表示内的分析方向。然后,当应用于测量点时,边缘检测算子被设计成沿由测量点的参数定义的分析方向确定至少一个材料界面的位置。“分析方向”可以表示物体的所选表示的栅格内的方向。分析方向可以例如由在栅格跨越的坐标系中定义的矢量指定。
由参数定义的分析方向可以例如根据对被检查物体的基本几何形状的了解得出。实验表明,分析方向的固定定义使得所述边缘检测的精度优于现有技术中例如根据灰度值的梯度确定分析方向的已知方法。此外,在定义分析方向期间,可以考虑被检查物体的特定几何形状或特征,如果以其它不同方式(例如通过确定灰色值)确定分析方向,则无法将其考虑在内。
根据另一实施方式,上述分析方向的定义可以与将至少两个参数分配给测量点的至少一个子集的概念组合。例如,根据一个实施方式,针对测量点的每个子集,分析反向是通过测量点的至少两个参数来定义的,其中,针对每个分析方向,将至少一个边缘检测算子应用于测量点,该边缘检测算子沿所考虑的分析方向确定至少一个材料界面的位置。指定从测量点开始寻找材料界面的多个分析方向具有以下优点:还可以可靠地检测到使用现有技术中已知的方法无法精确地检测到的复杂的几何形状,例如直角。确切地说。例如,如果分析方向是根据灰度值的梯度确定的,如现有技术中已知的那样,则不可能可靠且精确地检测拐角和角度。而是,如果使用根据梯度确定的分析方向,则可能在拐角区域中看到界面的“模糊”或“圆化”,因此其材料界面在拐角区域中看起来相当圆而不是尖锐的。然而,如果将这种拐角的分析划分为每边缘方向进行一次分析,则可以避免在角度和拐角区域中的上述不清晰的边缘检测效果。
根据一个实施方式,根据本发明在确定材料界面时使用的参数设定是根据被检查物体的模型确定的。例如,可以直接根据模型得出,在哪些提供设有涂层,在物体生产过程中根据经验在材料中哪里可能产生裂缝,或者在物体中哪里存在特定几何形状,如在确定材料界面期间必须单独考虑的拐角和角度。这样确定的参数模型然后可以传至来自物体的测量的数据,以便可以通过合适的边缘检测算子进行材料界面的后续确定,而边缘检测算子反过来又取决于参数的变化。这种模型可以通过进一步的测量过程(例如通过光学测量)得出。例如,可以首先借助激光扫描待检查物体的表面,从而可以创建表面模型。
另选地,根据一个实施方式,被检查物体的模型是CAD模型。使用CAD模型具有以下优点:被检查的物体的模型已经完全以具有计划尺寸的数字形式存在,使得可以非常小的努力来将其传至来自对物体的测量的测量数据。
根据另一实施方式,除了使用CAD模型之外,参数设定由至少一个用户输入生成。例如,监视物体检查的用户检查在测量期间创建的被检查物体的栅格化表示,并且通过眼睛或者基于经验值通过合适的输入装置标记多边缘的区域。此外,用户还可以借助于合适的界面在随后的边缘检测期间在所显示的栅格化表示中定义分析方向。
此外,至少与多边缘检测算子的应用有关的参数设定也可以直接根据从对物体的测量获得的栅格化表示得出。为此,根据另一实施方式,确定参数设定包括首先将单边缘检测算子应用于栅格化表示的测量点,其中单边缘检测算子被设计成确定栅格化表示中单个材料界面的位置。然后确定先前确定的材料界面的位置的不确定性度量。如果由此确定的材料界面的不确定性度量超过定义的阈值,则参数设定的确定还包括将参数分配给材料界面周围的测量点,其中该参数在每种情况下指示多个材料界面在测量点的周围彼此直接相邻地布置,因此应该使用多边缘检测算子。
例如,可以通过确定所确定的材料界面上的灰度值的梯度来确定针对所确定的材料界面的位置的不确定性的度量。如果材料界面实际上是孤立的单独材料界面,则可以预期材料界面上的梯度基本上由所使用的系统的脉冲响应和用于确定梯度的算子确定。假设高斯脉冲响应和高斯平滑以确定梯度,可以预期材料界面上的梯度具有高斯分布。然而,如果所确定的梯度明显偏离预期的高斯形状,则所确定的材料界面可能不是孤立边缘而是至少两个或更多个直接相邻边缘的序列。这里使用的阈值可以例如通过参数设定的重复测量或确定以及参数设定与被检查物体的实际特征的比较来确定。以这种方式,即使最初不存在与被检查物体的几何形状有关的信息,也可以确定被检查物体的合适参数设定,然后将其用于可靠的边缘检测。
为了确定不确定性的度量,还可以直接检查被检查的材料界面的区域中的灰度值与单个边缘的匹配程度。当通过将单个边缘的模型拟合到材料界面的区域中的灰度值来确定边缘位置时,可以使用结果例如通过χ2检验来检查单边缘的模型与可用的灰度值的匹配程度。从χ2的特定阈值,可以理解,材料界面是单边缘的基本假设不正确。因此,可以为相应的图像点分配指示可能存在多边缘的参数。
所描述的参数设定确定可以实现为迭代过程。首先,借助于用于检测孤立材料界面的算子在整个栅格化表示上确定材料界面。然后如上所述进行检查,以确定如此确定的材料界面是否可能不是孤立的界面,而是必须被视为多边缘。在确定所确定的材料界面可能是多边缘的情况下,针对相应的测量点设置指示应用用于检测双边缘(即两个直接连续的材料界面)的边缘检测算子的参数。
然后,对于已经设置了这样的参数的所有区域再次确定材料界面,并且在第二遍中,将用于双边缘的边缘检测算子应用于由相应参数指示的区域的测量点。然后对所确定的双边缘进行另一次检查,确定它们是否可能不是两个材料界面的序列,而是更多数量的材料界面。对于这种情况的所有区域,在相关的测量点处再次设置相应的参数,以便在随后的边缘检测过程中应用被设计为检测三个直接相邻的材料界面的序列的边缘检测算子。
通过迭代地增加所寻找的材料界面的数量,因此可以根据任何顺序的多个边缘(即利用任何数量的连续材料界面)连续地进行栅格化表示。
在另一方面,本发明涉及一种用于执行对物体的测量并且通过对物体进行至少一次测量来确定物体的材料界面的装置,其中通过测量生成物体的栅格化表示,并且其中栅格化表示具有多个测量点。测量点具有至少一项图像信息,其指示在测量点的位置处物体的材料特定参数。该装置被设计成确定从测量获得的物体的栅格化表示的参数设定,其中参数设定将至少一个参数分配给该表示的每个测量点。该装置还被设计成将至少一个参数相关的边缘检测算子应用于栅格化表示的测量点,其中边缘检测算子被设计成根据测量点的图像信息确定栅格化表示中的至少一个材料界面的位置。在根据测量点的图像信息确定材料界面的位置时,边缘检测算子至少考虑与栅格化表示中的测量点相邻的测量点的子集的图像信息。边缘检测算子中的至少一个是多边缘检测算子,当应用于测量点时,该多边缘检测算子被设计成确定物体中至少两个直接相邻的材料界面的位置。当且仅当测量点的至少一个参数指示多个材料界面在测量点的周围彼此直接相邻布置时,将多边缘检测算子应用于测量点。
在另一方面,本发明涉及一种具有指令的计算机程序产品,所述指令可由计算机执行,并且当在计算机上执行时,致使计算机执行如上所述的方法。
本发明的其它特征、细节和优点从权利要求的措辞和使用附图的示例性实施方式的以下描述中清楚。在附图中,
图1示出了单一材料界面和多边缘的示意图,
图2示出了具有不同分析方向的拐角的示意图,
图3示出了用于执行根据本发明的方法的流程图。
类似或相同的特征在下面用相同的附图标记表示。
图1a)示意性地示出了材料界面100的理想化但不是技术上可实现的图像,其表示物体中具有第一材料的第一区域102与具有第二材料的第二区域104之间的过渡。在右侧示出了过渡的二维表示。理论上可以通过例如借助于计算机断层扫描仪检查物体来获得这种表示。在这种情况下,用X射线照射物体,其中X射线在穿过被检查物体之后暴露位于物体后面的检测器。由于物体中存在的材料的不同辐射密度,穿过物体的X射线被衰减到不同的程度,因此所考虑的物体的辐射介质的相应密度和X射线吸收可以从被检测器吸收的X射线强度推导出。在计算机断层摄影中,从不同方向进行X射线曝光,然后根据X射线曝光的总和重建物体的三维图像。图1a)中所示的表示是可以根据三维图像得出的二维截面图。然而,本发明不限于这种二维成像,还可以用于三维成像。
图1a)中所示的材料界面100可以是例如从空气到金属的过渡。由于空气的X射线吸收较低,因此区域102看起来比区域104暗。
图1a)的左侧还示出了沿箭头106的辐射密度的图。箭头106垂直于材料界面100取向。沿箭头106的位置绘制在水平轴上,而在各个位置的相应的辐射密度绘制在垂直轴上。区域102与104之间的过渡在此示出为尖锐界面,其可以通过阶梯函数在数学上描述。
如上所述,图1a)仅示出了材料界面100的理想化图像。由于各种情况,这种图像在技术上不能实现。例如,根据电信号处理理论,已知信号只能以有限的带宽进行处理。因此,在数学上对应于无限数量的周期信号的叠加的锐边不能在信号和图像处理中实现。实际上,成像系统的点扩散函数(PSF)总是影响物体的图像。在数学上,带限成像系统的效果对应于要利用系统的PSF成像的信号的卷积。成像系统的PSF通常具有高斯钟形曲线的近似形式。
图1b)示出了相同材料过渡100的真实表示。同样,在右侧示出了从上方看的材料过渡100的二维视图,而在左侧示出了沿箭头106的辐射密度的曲线。如图1a)所示的锐边与成像系统的高斯PSF的卷积因此导致模糊边缘,其中不再能够清楚地看到材料界面100的精确位置。然而,在现有技术中,尽管界面模糊,但存在从这种边缘轮廓确定边缘位置的不同方法。一个突出的示例是Canny算法,它使用灰度值曲线的梯度和二阶导数来确定边缘位置。确定边缘位置的另一种方法是确定区域106和108中的最大和最小灰度值之间的差值,并且随后假设边缘必须位于灰度值等于该差值的一半的点处。
然而,只要存在一系列紧密相邻的材料界面而不是孤立的界面,这些方法就存在问题。在图1c)中以理想化的非模糊表示示例性地示出了这种情况。同样,例如在第一区域102中存在空气,并且在第二区域104中存在例如金属。例如,图1c)中所示的图像例如可以在区域104中的金属在其表面上具有涂层时产生,该涂层特定的X射线吸收不同于金属的吸收。然后涂层作为附加区域108可见,其具有与空气和金属不同的灰度级。区域108非常薄。涂层可以是例如厚度为几微米的层。
由于系统的PSF,上述边缘轮廓的“模糊”现在意味着单个材料界面的模糊轮廓很难与紧密相邻的材料界面的序列区分开。实际上,图1c)中所示的边缘轮廓的卷积结果看起来非常类似于图1b)中所示的边缘轮廓。因此,最初不可能使用现有技术中已知的方法将单个边缘与紧密相邻的边缘序列(即“多边缘”)区分开。
然而,根据本发明,如果在检查灰度值轮廓时已经知道它不是孤立界面而是多边缘,则可以根据多边缘的模糊轮廓确定各个材料界面的位置。根据对存在多边缘的了解,可以得出在与系统的PSF进行卷积之后这样的多边缘可能看起来如何。如果然后将如此获得的模型与找到的灰度值的轮廓和/或与根据灰度值得出的值的轮廓进行比较,则可以确定多边缘的各个材料界面的位置。根据本发明,通过分配给图像点的参数来指示,当检查材料界面的区域中的灰度值轮廓时,是否应该假设孤立的界面,或者是否存在多边缘并且因此使用相应的模型作为基础。
根据本发明的方法不限于两个材料界面的直接序列。相反,也可以指定任意数量的紧密相邻的界面,从而在灰度值的分析中,例如,假设一系列五个相邻的材料界面。例如,在涂漆表面的情况下,可能产生这样的序列,其中底漆涂层、着色漆和透明漆彼此叠置,每个涂层的厚度仅为几微米。
图2a)示出了拐角的示意图,即,两个材料界面202和204以直角相交的几何形状。如果通过诸如计算机断层摄影的成像方法对这种几何形状成像,则例如获得图2a)中右侧所示的图像。同样,图2a)中所示的材料界面202和204各自可以例如是从空气到金属的过渡。
导致固有锐边的“模糊”的上述机构在拐角210的区域中(即,材料界面202和204彼此相遇的点)导致固有尖锐拐角210的圆化,如图2a)中右侧所示出的。诸如上述Canny算法的算法,其使用灰度值轮廓的梯度来确定模糊材料界面的位置,如果拐角是模糊的,则当在顶点210的区域中确定材料界面的位置时必然产生错误。举例来说,在图2b)中由箭头212示出了沿材料界面的局部梯度。在材料界面202和204具有直线轮廓并且材料界面202和204的灰度值不受顶点210区域中的过渡影响的区域中,梯度实际上垂直于材料界面202和204。因此,如果应用了Canny算子,在此可以预期确定材料界面位置的良好结果。
然而,该方法在顶点210的区域中不再起作用。如在图2b)中可以容易地看出的,在顶点210的区域中,梯度仅从其在第一材料界面202的区域中的取向逐渐改变方向到在第二材料界面204的区域中的取向。然而,如果拐角已被完美再现,则顶点210处的梯度应立即从其第一取向“翻转”到第二取向。但是,由于拐角模糊,情况并非如此。因此,Canny算子只会检测到圆角而不是尖角。因此,使用Canny算子不能检测顶点210的精确位置以及材料界面202和204到顶点的精确路线。
在图2c)中示出了根据本发明的用于这种情况的示例性解决方案。根据本发明,在确定材料界面202和204时,应该预先确定应该沿其来寻找材料界面的方向。因此,对于第一材料界面202,定义第一分析方向214(左),并且对于第二材料界面204,定义第二分析方向216(右)。这样,分析方向被保持在材料界面202和204的整个宽度上。这尤其导致在顶点210的区域中从各个测量点沿多个方向寻找材料界面的事实。因此,根据本发明,将多个参数分配给这些测量点,每一个参数定义一个分析方向。然而,为了清楚起见,这没有在图2c)中明确示出。通过分析方向的固定指定,特别是在顶点210的区域中,可以精确确定材料界面202和204的位置。
尽管在图2中仅示出了二维情况,但是本发明也可以类似地用于物体的三维成像。在这种情况下,还可以为各个测量点分配两个以上的参数来定义分析方向。
图3示出了根据本发明的方法的实施方式的流程图。例如,该方法可以利用包括至少一个计算机断层摄影装置和连接到计算机断层摄影装置的数据处理装置的装置来实现。数据处理装置不一定是连续的物理实体的形式,而是也可以是分布式的,例如在云计算的意义上。
在图3中所示的方法300的第一方法步骤302中,对待分析的物体执行测量。该物体可以是例如从生产线中提取并且要进行质量保证检查的部件。如已经陈述的那样,测量优选地是计算机断层摄影测量。然而,该方法原则上也可以应用于其它成像方法的测量结果,例如用于例如磁共振断层摄影或3D超声波。
测量首先生成原始数据,例如,在计算机断层摄影的情况下,该原始数据对应于从多个方向分析的物体的多个X射线图像。根据如此获得的原始数据,在步骤304中生成被检查物体的三维图像,该表示被栅格化。例如,为了重建物体,可以将经过滤的反向投影应用于先前确定的原始数据。然后可以执行重建物体的栅格化,例如,通过重建的物体与三维格子叠加,格子的每个体积元素被分配体积元素(体素)的区域中物体的对应局部灰度值。通常,例如在计算机断层摄影中,格子由所使用的传感器装置的各个传感器的布置来定义。但是,也可以定义与此不同的格子。
在完成被检查物体的重建和栅格化之后,然后在步骤306中确定栅格化物体的参数设定。为此,可以提供用户界面,例如,用户通过该用户界面标记重建的被检查物体中存在多边缘的区域。此外,还可以通过参数设定来指定从体素开始寻求材料界面的方向。
除了用户输入之外,还可以通过对材料界面的重建物体的第一次扫描来确定参数设定。为此目的,例如,在假设整个物体仅具有直的、简单的材料界面的情况下,可以首先对整个物体进行采样,从而确定多边缘位置。然后可以检查所得到的边缘位置,以确定边缘位置处存在的灰度值曲线与孤立的直线材料界面的理论预测的灰度值曲线的拟合程度。如果确定(例如使用卡方检验(chi-square test))原始灰度值曲线与预期的灰度值曲线不够匹配,则将参数分配给被分析材料界面附近的体素,表明应该在这里执行搜索多边缘或弯曲边缘。
在完成重建物体的参数设定之后,在步骤308中将参数相关边缘检测算子应用于重建物体。边缘检测算子根据体素的灰度值确定材料界面的位置。相邻体素的灰度值被应用于每个体素或至少应用于体素的子集。应用的边缘检测算子的类型由分配给体素的参数确定。例如,如果被检查的体素的参数指示在体素的周围存在由三个单独的材料界面组成的多边缘,则搜索这样的多边缘的对应边缘检测算子被应用于体素。很可能是将多个参数分配给体素的情况。例如,体素的参数设定可以指示多个材料界面的序列存在于特定方向上。然后多边缘算子被设计成创建对应于参数设定值的灰度值轮廓的理论模型,并将该模型与周围体素的灰度值进行比较。然后可以根据实际灰度值与理论模型的比较来确定材料界面的确切位置。
本发明不限于上述任何一个实施方式,而是可以以各种方式进行修改。
由权利要求、说明书和附图产生的所有特定特征和优点(包括结构细节、空间布置和方法步骤)对于本发明本身或以最多样化的组合都是必不可少的。
参考标号列表
100材料界面
102第一区域
104第二区域
106方向
108第三区域
202材料界面
204材料界面
206区域
208区域
210顶点
212箭头
214第一个分析方向
216第二个分析方向
Claims (11)
1.一种用于通过对物体进行至少一次测量来确定所述物体的材料界面的计算机实现的方法,
其中,通过所述测量生成所述物体的栅格化表示,
其中,所述栅格化表示具有多个测量点,
其中,测量点具有至少一项图像信息,该图像信息表示所述测量点的位置处所述物体的测量变量的值,
其中,所述方法具有以下步骤:
·确定所述物体的所述栅格化表示的参数设定,其中,所述参数设定将至少一个参数分配给所述表示的所述测量点的子集的每个测量点,
·将至少一个参数相关的边缘检测算子应用于所述栅格化表示的所述测量点,其中,边缘检测算子被设计成确定所述栅格化表示中至少一个材料界面的位置,
其中,在根据测量点的所述图像信息确定材料界面的位置时,所述边缘检测算子至少考虑与所述栅格化表示中的所述测量点相邻的测量点的子集的图像信息,
其中,所述边缘检测算子中的至少一个是多边缘检测算子,当应用于测量点时,所述多边缘检测算子被设计成确定所述物体中至少两个直接相邻的材料界面的位置,并且
其中,当且仅当所述测量点的至少一个参数表示多个材料界面在所述测量点周围彼此直接相邻地布置时,将所述多边缘检测算子应用于该测量点。
2.根据权利要求1所述的方法,其特征在于,测量点的所述图像信息包括至少一个灰度值,该灰度值表示在所述测量点的位置处所述物体的测量变量的值,并且其中,所述多边缘检测算子被设计成从测量点开始,通过将多边缘的灰度值的理论模型拟合到所述测量点周围的测量点的灰度值的曲线来确定多边缘的各个材料界面的位置。
3.根据权利要求1或2所述的方法,其特征在于,针对所述测量点的子集的所述参数设定将至少两个参数分配给所述子集的每个测量点,其中,对于所述子集的所述测量点,针对各被分配的参数,将参数相关的边缘检测算子应用于所述测量点。
4.根据前述权利要求中任一项所述的方法,其特征在于,测量点的至少一个参数定义所述栅格化表示内的分析方向,其中,当应用于测量点时,所述边缘检测算子被设计成沿由所述测量点的所述参数定义的所述分析方向确定至少一个材料界面的位置。
5.根据权利要求4所述的方法,其特征在于,针对所述测量点的每个子集,通过所述子集的测量点的至少两个参数定义分析方向,其中,针对每个分析方向,将至少一个边缘检测算子应用于所述测量点,该边缘检测算子沿所考虑的分析方向确定至少一个材料界面的位置。
6.根据前述权利要求中任一项所述的方法,其特征在于,所述参数设定是根据被检查的物体的模型确定的。
7.根据权利要求6所述的方法,其特征在于,所述模型是CAD模型。
8.根据前述权利要求中任一项所述的方法,其特征在于,所述参数设定是通过至少一个用户输入生成的。
9.根据前述权利要求中任一项所述的方法,其特征在于,确定所述参数设定包括以下步骤:
·将至少一个单边缘检测算子应用于所述栅格化表示的所述测量点,其中,所述单边缘检测算子被设计成确定所述栅格化表示中单个材料界面的位置,
·确定针对所确定的材料界面的位置的不确定性度量,
·如果针对材料界面确定的所述不确定性度量超过定义的阈值,则将参数分配给所述材料界面周围的测量点,其中,所述参数表示多个材料界面在所述测量点的周围彼此直接相邻地布置。
10.一种用于对物体进行测量并通过对物体进行至少一次测量来确定所述物体的材料界面的装置,
其中,通过所述测量生成所述物体的栅格化表示,
其中,所述栅格化表示具有多个测量点,
其中,测量点具有至少一项图像信息,该图像信息表示在所述测量点的位置处所述物体的测量变量的值,
其中,所述装置被设计成:
·确定根据所述测量获得的所述物体的所述栅格化表示的参数设定,其中,所述参数设定将至少一个参数分配给所述表示的所述测量点的子集的每个测量点,
·将至少一个参数相关的边缘检测算子应用于所述栅格化表示的所述测量点,其中,边缘检测算子被设计成根据测量点的所述图像信息确定所述栅格化表示中至少一个材料界面的位置,
其中,在根据测量点的所述图像信息确定材料界面的位置时,所述边缘检测算子至少考虑与所述栅格化表示中的所述测量点相邻的测量点的子集的图像信息,
其中,所述边缘检测算子中的至少一个是多边缘检测算子,当应用于测量点时,所述多边缘检测算子被设计成确定所述物体中至少两个直接相邻的材料界面的位置,并且
其中,当且仅当所述测量点的至少一个参数表示多个材料界面在所述测量点周围彼此直接相邻地布置时,将所述多边缘检测算子应用于该测量点。
11.一种计算机程序产品,该计算机程序产品具有可由计算机执行的指令,并且当在计算机上执行时,致使所述计算机执行根据权利要求1至9中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017103951.1 | 2017-02-24 | ||
DE102017103951.1A DE102017103951A1 (de) | 2017-02-24 | 2017-02-24 | Verfahren und Vorrichtung zur Mehrfachkantenerkennung |
PCT/EP2018/050973 WO2018153575A1 (de) | 2017-02-24 | 2018-01-16 | Verfahren und vorrichtung zur mehrfachkantenerkennung |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110326026A true CN110326026A (zh) | 2019-10-11 |
CN110326026B CN110326026B (zh) | 2023-08-15 |
Family
ID=61005816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880013666.7A Active CN110326026B (zh) | 2017-02-24 | 2018-01-16 | 用于多边缘检测的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11127132B2 (zh) |
EP (1) | EP3586308A1 (zh) |
JP (1) | JP6956195B2 (zh) |
CN (1) | CN110326026B (zh) |
DE (1) | DE102017103951A1 (zh) |
WO (1) | WO2018153575A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019103429A1 (de) * | 2019-02-12 | 2020-08-13 | Volume Graphics Gmbh | Computerimplementiertes Verfahren zur Bestimmung von Oberflächen in Messdaten |
CN109886949B (zh) * | 2019-02-22 | 2021-05-11 | 南昌航空大学 | 一种基于机器视觉的直齿圆柱齿轮多参数评定方法 |
CN117971236B (zh) * | 2024-03-31 | 2024-06-18 | 浪潮电子信息产业股份有限公司 | 基于词法和语法分析的算子解析方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0930499A1 (en) * | 1998-01-16 | 1999-07-21 | NEC Corporation | Automatic visual inspection apparatus, automatic visual inspection method, and recording medium having recorded an automatic visual inspection program |
US20060262989A1 (en) * | 2003-08-24 | 2006-11-23 | Koninklijke Philips Electronics N.V. | Image enhacement |
CN103808259A (zh) * | 2012-11-05 | 2014-05-21 | 株式会社三丰 | 边缘测量视频工具参数设置用户界面 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7522163B2 (en) * | 2004-08-28 | 2009-04-21 | David Holmes | Method and apparatus for determining offsets of a part from a digital image |
DE102005023376A1 (de) | 2005-05-17 | 2006-11-23 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren und Vorrichtung zum Bestimmen von Materialgrenzen eines Prüfobjektes |
JP5997989B2 (ja) | 2012-09-13 | 2016-09-28 | 株式会社キーエンス | 画像測定装置、その制御方法及び画像測定装置用のプログラム |
DE102014100419A1 (de) | 2014-01-15 | 2015-07-16 | Volume Graphics Gmbh | Vorrichtung und Verfahren zur Untersuchung von Bauteilen mit Faserverbundgelegen oder Faserverbundgeweben |
DE102014115851A1 (de) | 2014-10-30 | 2016-05-04 | Physikalisch - Technische Bundesanstalt | Verfahren und Vorrichtung zur Berechnung, Darstellung und Weiterverarbeitung von lokalen Gütemaßen aus einem Volumenbilddatensatz |
-
2017
- 2017-02-24 DE DE102017103951.1A patent/DE102017103951A1/de active Pending
-
2018
- 2018-01-16 JP JP2019546277A patent/JP6956195B2/ja active Active
- 2018-01-16 US US16/488,929 patent/US11127132B2/en active Active
- 2018-01-16 CN CN201880013666.7A patent/CN110326026B/zh active Active
- 2018-01-16 EP EP18700745.5A patent/EP3586308A1/de active Pending
- 2018-01-16 WO PCT/EP2018/050973 patent/WO2018153575A1/de unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0930499A1 (en) * | 1998-01-16 | 1999-07-21 | NEC Corporation | Automatic visual inspection apparatus, automatic visual inspection method, and recording medium having recorded an automatic visual inspection program |
US20060262989A1 (en) * | 2003-08-24 | 2006-11-23 | Koninklijke Philips Electronics N.V. | Image enhacement |
CN103808259A (zh) * | 2012-11-05 | 2014-05-21 | 株式会社三丰 | 边缘测量视频工具参数设置用户界面 |
Also Published As
Publication number | Publication date |
---|---|
WO2018153575A1 (de) | 2018-08-30 |
DE102017103951A1 (de) | 2018-08-30 |
US20200065958A1 (en) | 2020-02-27 |
JP2020508529A (ja) | 2020-03-19 |
JP6956195B2 (ja) | 2021-11-02 |
EP3586308A1 (de) | 2020-01-01 |
US11127132B2 (en) | 2021-09-21 |
CN110326026B (zh) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106716487B (zh) | 确定从体数据提取的表面数据的局部质量的方法和系统 | |
US7990379B2 (en) | System and method for coronary segmentation and visualization | |
US11927586B2 (en) | Item inspection by radiation imaging using an iterative projection-matching approach | |
KR102021945B1 (ko) | 볼륨 이미지 레코드로부터의 국부적 품질 측정들의 결정 | |
US9536318B2 (en) | Image processing device and method for detecting line structures in an image data set | |
Van Dael et al. | Multisensor X-ray inspection of internal defects in horticultural products | |
CN110326026A (zh) | 用于多边缘检测的方法和装置 | |
Xiao et al. | Development of a CNN edge detection model of noised X-ray images for enhanced performance of non-destructive testing | |
Heinzl et al. | Processing, analysis and visualization of CT data | |
CN110268441A (zh) | 获得物体的多个部件的3d模型数据的方法 | |
Presenti et al. | Dynamic few-view X-ray imaging for inspection of CAD-based objects | |
Yang et al. | An automated surface determination approach for computed tomography | |
US9857163B2 (en) | Parametric control of object scanning | |
Müller et al. | Data fusion of surface data sets of X-ray computed tomography measurements using locally determined surface quality values | |
CN110326025A (zh) | 用于检测拐角的方法和装置 | |
Berger et al. | Automated ice-bottom tracking of 2D and 3D ice radar imagery using Viterbi and TRW-S | |
Jeon et al. | Shape prior metal artefact reduction algorithm for industrial 3D cone beam CT | |
Xue et al. | A method for improving measurement accuracy of cylinders in dimensional CT metrology | |
Malarvel et al. | An Improved Kernel Density Estimation with adaptive bandwidth selection for Edge detection | |
Pirillo | Study on segmentation techniques for geometric measurements in industrial computed tomography | |
Kim et al. | Confidence-controlled local isosurfacing | |
Liu | Improve industrial cone-beam computed tomography by integrating prior information | |
Ota et al. | High-accuracy Surface Extraction Using the High-order differentiation of X-ray CT Values | |
Zheng et al. | Cone-Beam computed tomography image pretreatment and segmentation | |
CN118070434B (zh) | 一种汽车零部件的工艺信息模型构建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |