CN109255844A - 用于使用视频检查设备测量特征的尺寸的图形叠加层 - Google Patents

用于使用视频检查设备测量特征的尺寸的图形叠加层 Download PDF

Info

Publication number
CN109255844A
CN109255844A CN201810787037.1A CN201810787037A CN109255844A CN 109255844 A CN109255844 A CN 109255844A CN 201810787037 A CN201810787037 A CN 201810787037A CN 109255844 A CN109255844 A CN 109255844A
Authority
CN
China
Prior art keywords
point
measurement
cursor
edge
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810787037.1A
Other languages
English (en)
Other versions
CN109255844B (zh
Inventor
C.A.本达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/648,010 external-priority patent/US10019812B2/en
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN109255844A publication Critical patent/CN109255844A/zh
Application granted granted Critical
Publication of CN109255844B publication Critical patent/CN109255844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种用于提供图形叠加层的方法和设备,所述图形叠加层用于使用视频检查设备测量特征的尺寸。一个或多个测量光标被放置在对象的图像的像素上。一个或多个平面被确定为平行于或垂直于参考表面或参考线并且穿过与测量光标相关联的表面点。半透明图形叠加层被放置在具有相关联的表面点的像素上,所述相关联的表面点具有小于距平面的预定距离的三维表面坐标,以帮助用户放置测量光标。

Description

用于使用视频检查设备测量特征的尺寸的图形叠加层
相关申请的交叉引用
本申请是2016年2月8日提交的名称为“METHOD AND DEVICE FOR MEASURINGFEATURES ON OR NEAR AN OBJECT”的美国专利申请序列 号15/018,628的部分继续申请并要求其优先权,该申请的全部内容 通过引用并入本文,并且要求2015年9月25日提交的名称为“METHOD AND SYSTEM FOR MEASURING FEATURES ON OR NEAR AN OBJECT”的美 国临时专利申请第62/232,866号的权益,该申请的全部内容通过引 用并入本文,并且是2015年3月17日提交的名称为“METHOD AND DEVICE FOR DISPLAYING A TWO-DIMENSIONAL IMAGEOF A VIEWED OBJECT SIMULTANEOUSLY WITH AN IMAGE DEPICTING THE THREE-DIMENSIONAL GEOMETRY OF THE VIEWED OBJECT”的美国专利申请序列号14/660,464 的部分继续申请并且要求其优先权,该申请的全部内容通过引用并入 本文,并且是2013年12月17日提交的名称为“METHOD AND DEVICE FOR AUTOMATICALLY IDENTIFYING THE DEEPESTPOINT ON THE SURFACE OF AN ANOMALY”的美国专利申请序列号14/108,976和2011年3月4日提交的名称为“METHOD AND DEVICE FOR DISPLAYING A THREE-DIMENSIONAL VIEW OFTHE SURFACE OF A VIEWED OBJECT”的 美国专利申请序列号13/040,678,现在为美国专利第9,013,469号, 的部分继续申请并且要求这两份申请的优先权,这两份申请的全部内 容通过引用并入本文。
技术领域
本文所公开的主题涉及一种用于使用视频检查设备测量特征的 尺寸的图形叠加层。
背景技术
本文所公开的主题涉及一种用于使用视频检查设备测量特征的 尺寸的图形叠加层。
视频检查设备(或光学设备),例如视频内窥镜(video endoscopes) 或管道镜(borescopes),可用于检查对象表面,以识别和分析对象上 可能由于例如损坏、磨损、腐蚀或不正确安装而导致的异常(例如凹 坑或凹痕)。视频检查设备可用于捕获和显示表现出异常的被观察对 象的表面的二维图像,以确定表面上的异常的尺寸。该表面的二维图 像可用于生成提供表面上的多个点的三维坐标(例如,(x,y,z))的 表面的三维数据。
然而,在一些情况下,用户可能难以将光标精确地放置在二维图 像上的期望位置以进行测量。例如,在深度测量中,可能难以仅通过 观察二维图像或者甚至三维点云视图而在视觉上确定凹痕或凹坑中 的最深点,并将光标放置在该最深点处。类似地,在例如横跨狭槽或 焊缝进行长度测量时,在所述点之间形成的线与每个壁垂直(例如, 不是对角关系)的情况下,可能难以在视觉上确定狭槽或焊缝的每一 侧上的点,并将光标放置在该点处,以提供狭槽或焊缝的精确宽度。 同样,用户可能难以将光标精确地放置在圆形涡轮叶片边缘的边缘 上。
发明内容
公开了一种用于使用视频检查设备测量特征的尺寸的图形叠加 层。在一些公开的实施例的实践中可以实现的优点是,可以对对象特 征进行精确测量。
在一个实施例中,公开了一种用于测量特征的方法。该方法包括 以下步骤:在监视器上显示被观察对象的图像;使用中央处理器单元 确定被观察对象的表面上的多个点的三维坐标;使用定点设备将一个 或多个测量光标放置在图像上;使用中央处理器单元确定与至少一个 测量光标的位置相对应的测量点;使用中央处理器单元确定边缘平 面,其中边缘平面穿过测量点;使用中央处理器单元确定被观察对象 的表面上的多个点和边缘平面之间的距离;使用中央处理器单元将被 观察对象的表面上的多个点和边缘平面之间的距离与预定距离阈值 进行比较;以及在与被观察对象的表面上的多个点相关联的图像中的 像素上显示边缘平面图形叠加层(edge plane graphical overlay),其 中所述多个点和边缘平面的距离低于预定距离阈值。
在另一个实施例中,该方法包括以下步骤:在监视器上显示被观 察对象的图像;使用中央处理器单元确定被观察对象的表面上的多个 点的三维坐标(three-dimensionalcoordinates);使用定点设备将第一 测量光标和第二测量光标放置在图像上;使用中央处理器单元确定与 第一测量光标的位置相对应的第一测量点;使用中央处理器单元确定 与第二测量光标的位置相对应的第二测量点;使用中央处理器单元确 定第一测量点和第二测量点之间的三维线(three-dimensional line); 使用中央处理器单元确定第一边缘平面(a first edge plane),其中第 一边缘平面垂直于三维线并穿过第一测量点;使用中央处理器单元确 定被观察对象的表面上的多个点和第一边缘平面之间的距离;使用中 央处理器单元将被观察对象的表面上的多个点和第一边缘平面之间 的距离与预定距离阈值进行比较;以及在与被观察对象表面上的多个 点相关联的图像中的像素上显示第一边缘平面图形叠加层(a first edge plane graphical overlay),其中所述多个点和第一边缘平面的距离低于 预定距离阈值。
在又一个实施例中,该方法包括以下步骤:在监视器上显示被观 察对象的图像;使用中央处理器单元确定被观察对象的表面上的多个 点的三维坐标;使用定点设备将第一测量光标、第二测量光标和第三 测量光标放置在图像上;使用中央处理器单元确定与第一测量光标的 位置相对应的第一测量点;使用中央处理器单元确定与第二测量光标 的位置相对应的第二测量点;使用中央处理器单元确定与第三测量光 标的位置相对应的第三测量点;使用中央处理器单元确定第一测量点 和第二测量点之间的三维参考线(three-dimensional reference line); 使用中央处理器单元确定第三测量点和三维参考线之间的三维长度 线(three-dimensional length line);使用中央处理器单元确定第一边 缘平面,其中第一边缘平面垂直于三维长度线并穿过第一测量点和第 二测量点;使用中央处理器单元确定被观察对象的表面上的多个点和 第一边缘平面之间的距离;使用中央处理器单元将被观察对象的表面 上的多个点和第一边缘平面之间的距离与预定距离阈值进行比较;以 及在与被观察对象的表面上的多个点相关联的图像中的像素上显示 第一边缘平面图形叠加层,其中所述多个点和第一边缘平面的距离低 于预定距离阈值。
在又一个实施例中,该方法包括以下步骤:在监视器上显示被观 察对象的图像;使用中央处理器单元确定被观察对象的表面上的多个 点的三维坐标;使用定点设备从被观察对象的表面上的多个点中选择 一个或多个参考表面点;使用中央处理器单元确定参考表面(reference surface),其中参考表面基于参考表面点中的一个或多个来确定;使用定点设备将测量光标放置在图像上;使用中央处理器单元确定与测 量光标的位置相对应的测量点;使用中央处理器单元确定深度平面 (depth plane),其中深度平面平行于参考表面并穿过测量点;使用 中央处理器单元确定被观察对象的表面上的多个点和深度平面之间 的距离;使用中央处理器单元将被观察对象的表面上的多个点和深度 平面之间的距离与预定距离阈值进行比较;以及在与被观察对象的表 面上的多个点相关联的图像中的像素上显示深度平面图形叠加层(a depth plane graphical overlay),其中所述多个点和深度平面的距离低 于预定距离阈值。
上述实施例仅是示例性的。其它实施例也处于所公开主题的范围 内。
附图说明
为了能够理解本发明的特征,可以参考某些实施例对本发明进行 详细描述,其中一些实施例在附图中示出。然而,应当注意,附图仅 示出了本发明的某些实施例,因此不应被认为是对其范围的限制,因 为所公开的主题的范围也涵盖其它实施例。附图不必按比例绘制,重 点一般放在说明本发明某些实施例的特征上。在附图中,在各个视图 中,相同的数字用于表示相同的部件。
图1是示例性视频检查设备的框图;
图2是在示例性实施例中由视频检查设备获得的具有异常的被观 察对象的对象表面的示例性图像;
图3是在示例性实施例中用于自动识别图2的图像中所示的被观 察对象上的异常的表面上的最深点的示例性方法的流程图;
图4示出了由视频检查设备确定的示例性参考表面;
图5示出了由视频检查设备确定的示例性感兴趣区域;
图6示出了由视频检查设备确定的另一个示例性感兴趣区域;
图7是在示例性实施例中在图1的图像中示出的被观察对象的对 象表面的示例性轮廓的图形表示;
图8是在示例性实施例中由视频检查设备获得的具有异常的被观 察对象的表面的另一个图像;
图9是在示例性实施例中用于显示用于检查图8的图像中所示的 被观察对象的表面的三维数据的方法的流程图;
图10是点云视图中的多个表面点的子集的显示;
图11是在另一个示例性实施例中用于同时显示被观察对象的二 维图像和描绘被观察对象的三维几何形状的图像的示例性方法的流 程图;
图12是被观察对象的二维图像和立体图像的显示;
图13是带有测量光标的被观察对象的二维图像和带有测量标识 符的深度轮廓图像形式的被观察对象的三维几何形状的渲染图像的 显示;
图14是带有测量光标的被观察对象的二维图像和带有测量标识 符的点云视图形式的被观察对象的三维几何形状的渲染图像的显示;
图15A是在另一个示例性实施例中由视频检查设备获得的具有缺 失拐角的涡轮叶片的另一个示例性图像;
图15B是在另一个示例性实施例中如图15A所示的具有缺失拐角 的涡轮叶片的三维点云视图的显示;
图15C是在另一个示例性实施例中由视频检查设备获得的具有缺 失拐角的涡轮叶片的另一个示例性图像;
图16示出了图像像素、传感器像素、参考表面坐标和对象表面 坐标之间的关系;
图17是在另一个示例性实施例中由视频检查设备获得的具有缺 失拐角的涡轮叶片的另一个示例性图像;
图18示出了测量平面和参考轮廓的并排二维/三维视图;
图19A和19B示出了用于用图形叠加层(或掩模)标记图像以可视 化限定的参考表面,例如测量平面,的技术;
图20示出了具有视场线的对象的点云视图,以提供视频检查设 备的探针尖端的取向的视觉指示;
图21示出了在示例性实施例中与对象的三维点云视图并排的二 维图像;
图22A示出了在示例性实施例中与对象的点云视图并排的另一个 二维图像;
图22B示出了视频检查设备的边缘视角与参考表面之间的几何关 系;
图23A是显示具有凹坑或凹痕的被观察对象的二维图像和凹坑或 凹痕的三维点云视图的并排图像,示出了深度平面图形叠加层(或掩 模),其中测量光标位于远离最深点处;
图23B是图23A所示具有凹坑或凹痕的被观察对象的二维图像的 放大图,示出了深度平面图形叠加层;
图24A是显示具有凹坑或凹痕的被观察对象的二维图像和凹坑或 凹痕的三维点云视图的并排图像,示出了深度平面图形叠加层,其中 测量光标位于比图23A中更靠近最深点的位置;
图24B是图24A所示具有凹坑或凹痕的被观察对象的二维图像的 放大图,示出了深度平面图形叠加层;
图25是显示具有凹坑或凹痕的被观察对象的二维图像和凹坑或 凹痕的三维点云视图的并排图像,示出了深度平面图形叠加层,其中 测量光标位于最深点处。
图26是显示具有凹坑或凹痕的被观察对象的二维图像和凹坑或 凹痕的三维点云视图的并排图像,示出了深度平面图形叠加层,其中 测量光标位于远离最深点处;
图27是显示具有凹坑或凹痕的被观察对象的二维图像和凹坑或 凹痕的三维点云视图的并排图像,示出了深度平面图形叠加层,其中 测量光标位于最深点处。
图28是显示涡轮叶片的尖端和护罩之间的区域的二维图像和该 区域的三维点云视图的并排图像,示出了深度平面图形叠加层;
图29A是显示狭槽的二维图像和狭槽的三维点云视图的并排图 像,示出了测量光标彼此对角交叉放置的边缘平面图形叠加层;
图29B是显示狭槽的二维图像和狭槽的三维点云视图的并排图 像,示出了测量光标彼此直接交叉放置的边缘平面图形叠加层;
图30A是显示涡轮叶片的边缘的二维图像和涡轮叶片的边缘的三 维点云视图的并排图像,示出了测量光标不位于涡轮叶片的边缘上的 边缘平面图形叠加层;和
图30B是显示涡轮叶片的边缘的二维图像和涡轮叶片的边缘的三 维点云视图的并排图像,示出了测量光标位于涡轮叶片的边缘上的边 缘平面图形叠加层;和
图31示出了在示例性实施例中用于测量特征的方法的示例性流 程图。
具体实施方式
所公开的主题的实施例涉及用于使用视频检查设备测量对象上 或附近的特征的尺寸的图形叠加层。例如,检查者使用视频检查设备 来识别和测量对象上的异常(例如涡轮叶片中的裂纹)的尺寸,将测量 光标放置在对象的图像的像素上,以测量异常的尺寸,从而确定是否 需要维护来修复异常。为了便于精确测量,可以在与测量光标的位置 相关联的对象的图像的像素上放置半透明图形叠加层 (semi-transparent graphic overlay)。半透明图形叠加层在对对象上的 异常进行测量时向用户提供关于测量光标是否放置在正确的位置的 视觉指示,以对异常进行精确测量。例如,如果测量光标没有被放置 在正确的位置,则半透明图形叠加层将向用户清楚地指示光标必须被 重新定位以获得对异常的尺寸的精确测量。其它实施例在所公开的主 题的范围内。
图1是示例性视频检查设备100的框图。应当理解,图1所示视 频检查设备100是示例性的,并且本发明的范围不限于任何特定的视 频检查设备100或视频检查设备100内的部件的任何特定配置。
视频检查设备100可包括细长探针102,该探针102包括插入管 (insertion tube)110和设置在插入管110远端的头部组件(head assembly)120。插入管110可以是柔性管状部段,头部组件120和探 针电子器件140之间的所有互连器都穿过该柔性管状部段。头部组件 120可包括探针光学器件(probe optics)122,用于将来自被观察对象 202的光引导和聚焦到成像器124上。探针光学器件122可包括例如 单透镜或具有多个部件的透镜。成像器124可以是用于获得被观察对 象202的图像的固态CCD或CMOS图像传感器。
可拆卸的尖端或适配器130可以放置在头部组件120的远端上。 可拆卸的尖端130可包括尖端观察光学器件(tip viewing optics)132(例 如透镜、窗口或孔),其与探针光学器件122结合工作,以将来自被 观察对象202的光引导和聚焦到成像器124上。可拆卸的尖端130还 可包括照明LED(未示出)如果视频检查设备100的光源从尖端130发 出或者用于将光从探针102传递到被观察对象202的光传递元件(未 示出)。通过包括波导(waveguide)(例如棱镜)以将相机视图和光输 出转向侧面,尖端130还可以提供侧面观察的能力。尖端130还可以 提供立体光学器件或结构化光投影元件,用于确定被观察表面的三维 数据。可以包括在尖端130中的元件也可以包括在探针102本身中。
成像器124可包括以多行和多列形成的多个像素,并且可以生成 模拟电压形式的图像信号,该模拟电压表示入射到成像器124的每个 像素上的光。图像信号可以通过成像器混合器(imager hybrid)126 传播到成像器线束112,成像器混合器126提供用于信号缓冲和调节 的电子器件,成像器线束112提供用于成像器混合器126和成像器接 口电子器件(imager interface electronics)142之间的控制和视频信号 的线。成像器接口电子器件142可包括电源、用于产生成像器时钟信 号的定时发生器、用于数字化成像器视频输出信号的模拟前端以及用 于将数字化的成像器视频数据处理成更有用的视频格式的数字信号处理器。
成像器接口电子器件142是探针电子器件140的一部分,探针电 子器件(probeelectronics)140提供用于操作视频检查设备10的功能 集合。探针电子器件140还可包括校准存储器(calibration memory) 144,其存储探针102和/或尖端130的校准数据。在探针电子器件140 中也可以包括微控制器146,用于与成像器接口电子器件142通信以 确定和设置增益和曝光设置,存储和读取来自校准存储器144的校准 数据,控制传递到被观察对象202的光,并且与视频检查设备100的 中央处理器单元(CPU)150通信。
除了与微控制器146通信之外,成像器接口电子器件142还可以 与一个或多个视频处理器160通信。视频处理器160可以从成像器接 口电子器件142接收视频信号,并将信号输出到各种监视器170、172, 包括一体式显示器170或外部监视器172。一体式显示器170可以是 内置在视频检查设备100中的LCD屏幕,用于向检查者显示各种图像 或数据(例如,被观察对象202的图像、菜单、光标、测量结果)。外 部监视器172可以是连接到视频检查设备100的视频监视器或计算机 型监视器,用于显示各种图像或数据。
视频处理器160可以向CPU 150提供/从CPU 150接收命令、状 态信息、流式视频、静止视频图像和图形叠加层,并且可以由FPGA、DSP或其它处理元件构成,所述处理元件提供诸如图像捕获、图像增 强、图形叠加层合并、失真校正、帧平均、缩放、数字变焦、叠加、合并、翻转、运动检测以及视频格式转换和压缩的功能。
CPU 150可以用于通过经由操纵杆(joystick)180、按钮182、小 键盘184和/或麦克风186接收输入来管理用户接口,此外还提供许 多其他功能,包括图像、视频和音频存储和调用功能、系统控制以及 测量处理。操纵杆180可以由用户操纵以执行诸如菜单选择、光标移 动、滑块调整和探头102的铰接控制的操作,并且可以包括按钮功能。 按钮182和/或小键盘184也可以用于菜单选择和向CPU 150提供用 户命令(例如,冻结或保存静止图像)。麦克风186可以由检查者用来 提供语音指令以冻结或保存静止图像。
视频处理器160还可以与视频存储器162通信,视频存储器162 由视频处理器160使用以进行帧缓冲和处理期间数据的临时保持。CPU 150还可以与CPU程序存储器152通信,该存储器用于存储由CPU 150 执行的程序。此外,CPU 150可以与易失性存储器154(例如RAM)和非 易失性存储器156(例如闪存设备、硬盘驱动器、DVD或EPROM存储设 备)通信。非易失性存储器156是用于流式视频和静止图像的主存储 装置。
CPU 150还可以与计算机I/O接口158通信,计算机I/O接口158 提供到外围设备和网络,例如USB、火线、以太网、音频I/O和无线 收发器的各种接口。该计算机I/O接口158可以用于保存、调用、发 送和/或接收静止图像、流式视频或音频。例如,USB“拇指驱动器” 或压缩闪存卡可以插入到计算机I/O接口158中。此外,视频检查设 备100可以被配置成将图像数据或流式视频数据的帧发送到外部计算 机或服务器。视频检查设备100可以包含TCP/IP通信协议套件,并 且可以包含在包括多个本地和远程计算机的广域网中,每个计算机也包含TCP/IP通信协议套件。通过包含TCP/IP协议套件,视频检查设 备100包含了包括TCP和UDP的若干传输层协议以及包括HTTP和FTP 的若干不同的层协议。
应当理解,尽管某些部件在图1中被示为单个部件(例如,CPU 150),但是可以使用多个单独的部件来执行CPU 150的功能。
图2是在本发明的示例性实施例中由视频检查设备100获得的具 有异常204的被观察对象202的对象表面210的示例性图像200。在 该示例中,异常204被示出为凹痕(dent),其中在异常204中,材 料已经由于损坏或磨损而从被观察对象202的对象表面210被移除。 应当理解,在该示例性实施例中示出的异常204仅是示例,并且本发 明的方法适用于其他类型的不规则部分(例如,裂纹、腐蚀坑、涂层 损失、表面沉积等)。一旦获得图像200,并且识别出异常204,图像 200就可以用于确定异常204的尺寸(例如,高度或深度、长度、宽度、 面积、体积、点到线、剖面切片(profile slice)等)。在一个实施例中, 所使用的图像200可以是包括异常204的被观察对象202的对象表面 210的二维图像200。
图3是在本发明的示例性实施例中用于自动识别在图2的图像 200中所示的被观察对象202上的异常204的对象表面210上的最深 点的示例性方法300的流程图。应当理解,图3的流程图中描述的步 骤可以以不同于流程图中所示的顺序执行,并且某些实施例并不需要 所有的步骤。
在示例性方法300(图3)的步骤310中,如图2所示,用户可以 使用视频检查设备100(例如成像器124)来获得具有异常204的被观 察对象202的对象表面210的至少一个图像200,并将其显示在视频 监视器(例如,一体式显示器170或外部监视器172)上。在一个实施 例中,图像200可以在视频检查设备的测量模式下显示。
在示例性方法300(图3)的步骤320中,视频检查设备100(例如, CPU 150)可以确定被观察对象202的对象表面210上的多个表面点的 三维坐标(例如,(x,y,z)),包括异常204的表面点的三维坐标。 在一个实施例中,视频检查设备可以从图像200生成三维数据,以便 确定三维坐标。可以使用几种不同的现有技术来提供对象表面210的 图像200(图2)中的表面点的三维坐标(例如,立体、扫描系统、立体 三角测量、诸如相移分析、相移莫尔条纹、激光点投影的结构化光方 法等)。
大多数这样的技术包括使用校准数据,该校准数据主要包括光学 特性数据,该光学特性数据用于减少本来会由光学失真引起的三维坐 标中的误差。利用一些技术,可以使用在非常近的时间内捕获的一个 或多个图像来确定三维坐标,所述图像可以包括投影图案等。应当理 解,对使用图像200确定的三维坐标的引用也可以包括使用在非常近 的时间内捕获的对象表面210的一个或多个图像200确定的三维坐 标,并且在所描述的操作期间显示给用户的图像200可以实际上用于 或不用于确定三维坐标。
在示例性方法300(图3)的步骤330中,并且如图4所示,视频 检查设备100(例如,CPU 150)可以确定参考表面250。在一些实施例 中,参考表面250可以是平坦的,而在其它实施例中,参考表面250 可以是弯曲的。类似地,在一个实施例中,参考表面250可以是平面的形式,而在其它实施例中,参考表面250可以是不同形状(例如圆 柱、球体等)的形式。例如,用户可以使用视频检查设备100的操纵 杆180(或其它定点设备(例如,鼠标、触摸屏等)来选择靠近异常204 的被观察对象202的对象表面210上的一个或多个参考表面点以确定参考表面。
在一个实施例中,并且如图4所示,在靠近异常204的被观察对 象202的对象表面210上总共选择三个参考表面点221、222、223来 进行异常204的深度测量,其中在靠近异常204的对象表面210上选 择三个参考表面点221、222、223。在一个实施例中,可以通过将参考表面光标231、232、233(或其它定点设备)放置在图像200的与对 象表面210上的多个参考表面点221、222、223相对应的像素241、 242、243上来选择被观察对象202的对象表面210上的多个参考表面 点221、222、223。在示例性深度测量中,视频检查设备100(例如, CPU150)可以确定多个参考表面点221、222、223中的每一个的三维 坐标。
在靠近异常204的对象表面210上选择的三个参考表面点221、 222、223中的一个或多个附近的三个或更多个表面点的三维坐标可以 用于确定参考表面250(例如,平面)。在一个实施例中,视频检查设 备100(例如,CPU 150)可以执行三个参考表面点221、222、223的三 维坐标的曲线拟合,以确定具有以下形式的参考表面250(例如,平面) 的方程:
k0RS+k1RS1·xiRS+k2RS·yiRS1=ziRS (1)
其中,(xiRS,yiRS,ziRS)是定义的参考表面250上的任何三维点的 坐标,并且k0RS、k1RS和k2RS是通过三维坐标的曲线拟合获得的系数。
应当注意,使用多个参考表面点(即,至少与k系数的数量一样 多的点)来执行曲线拟合。曲线拟合找到对所用点给出最佳拟合的k 系数(例如最小二乘法)。k系数然后定义逼近所使用的三维点的平面 或其它参考表面250。然而,如果曲线拟合中使用的点多于k系数的 数量,那么当在平面方程(1)中插入所用点的x和y坐标时,由于噪 声以及与实际可能存在的平面的任何偏差,z结果通常不会与点的z 坐标精确匹配。因此,xiRS1和yiRS1可以是任意值,得到的ziRS告诉你在 xiRS、yiRS处定义的平面的z。因此,这些方程中所示的坐标可以用于精 确地在定义的表面上的任意点,而不一定是在拟合中用来确定k系数 的点。
在其它实施例中,仅选择一个或两个参考表面点,由于需要三个 点来确定k0RS、k1RS和k2RS,因此不可能使用仅基于这些参考表面点的三 维坐标的曲线拟合。在这种情况下,视频检查设备100(例如,CPU 150) 可以识别与对象表面210上靠近(多个)参考表面点的多个点相对应的 图像的每个像素附近的多个像素,并且确定(多个)邻近点的三维坐标,使得曲线拟合能够确定参考表面250。
虽然示例性参考表面250已经被描述为基于由参考表面光标231、 232、233选择的参考表面点221、222、223确定,但是在其它实施例 中,通过使用定点设备来放置靠近异常204的参考表面形状260(例如 圆形、正方形、矩形、三角形等)并使用形状260的参考表面点261、 262、263、264来确定参考表面250,以形成参考表面250。应当理解, 形状260的参考表面点261、262、263、264可以是由定点设备选择 的点,或者是该形状的周边上或附近的其它点,这些点的尺寸可以设 计成包围异常204。
在示例性方法300(图3)的步骤340中,并且如图5所示,视频 检查设备100(例如,CPU 150)基于参考表面250的参考表面点来确定 靠近异常204的感兴趣区域(the regionof interest)270。感兴趣区域 270包括异常204的多个表面点。在一个实施例中,感兴趣区域270 通过基于参考表面点221、222、223中的两个或更多个形成感兴趣区 域形状271(例如圆形)而形成。在另一个实施例中,感兴趣区域270 可以通过形成垂直于参考表面260的圆柱体并使其穿过或靠近参考表 面点221、222、223中的两个或更多个来确定。再次参考图4,感兴 趣区域可以形成在参考表面形状260和参考表面点261、262、263、 264内。
尽管图5中的示例性感兴趣区域形状271是通过穿过参考表面点 221、222、223形成的,但是在另一个实施例中,可以通过仅靠近参 考表面点中的一些穿过而形成较小直径的参考表面形状。例如,如图 6所示,通过使感兴趣区域形状281(例如,圆形)靠近两个参考表面 点221、222穿过而形成感兴趣区域280,其中圆形281的直径小于两 个参考表面点221、222之间的距离。应当理解,感兴趣区域形状271、 281和感兴趣区域270、280可以显示或可以不显示在图像200上。
在确定感兴趣区域270、280之后,在示例性方法300(图3)的步 骤350中,视频检查设备100(例如,CPU 150)确定感兴趣区域中的多 个表面点中的每一个到参考表面250的距离(即,深度)。在一个实施 例中,视频检查设备100(例如,CPU 150)确定在参考表面250和感兴 趣区域270、280中的多个表面点中的每一个之间延伸的线的距离, 其中所述线与参考表面250垂直相交。
在示例性方法300(图3)的步骤360中,视频检查设备通过确定 离参考表面250最远的表面点(例如,选择具有延伸至参考表面250 的最长线的表面点)来确定感兴趣区域270、280中的最深表面点224 的位置。应当理解,如本文所使用的,“最深点”或“最深表面点” 可以是相对于参考表面250凹陷的最远点或从参考表面250突出的最 远点(即最高点)。视频检查设备100可以通过在最深表面点224上显 示例如光标234(图5)或其他图形标识符282(图6)来识别图像上的感 兴趣区域270、280中的最深表面点224。此外,如图5和6所示,视 频检查设备100可以在图像200上显示感兴趣区域270、280中的最 深表面点224的深度290(用英寸或毫米)(即,从最深表面点224延伸 到参考表面250的垂直线的长度)。通过在感兴趣区域270、280中的 最深表面点224处自动显示光标234或其他图形标识符282(图6), 视频检查设备100减少了执行深度测量所需的时间,并提高了深度测 量的精度,因为用户不需要人工识别异常204中的最深表面点224。
一旦光标234已经显示在感兴趣区域270、280中的最深表面点 224处,用户可以选择该点来进行深度测量并保存深度测量值。用户 还可以在感兴趣区域270、280内移动光标234,以确定感兴趣区域 270、280中的其它表面点的深度。在一个实施例中,视频检查设备100(例如,CPU 150)可以监视光标234的移动并检测光标234何时停 止移动。当光标234停止移动预定量的时间(例如1秒)时,视频检查 设备100(例如,CPU 150)可以确定光标234附近的最深表面点(例如, 以光标234为中心的预定圆),并自动将光标234移动到该位置。
图7是图1的图像200中所示的被观察对象202的对象表面210 的示例性轮廓370的图形表示。在该示例性轮廓370中,示出了在两 个参考表面点221、222和它们相应的参考表面光标231、232之间延 伸的参考表面250。感兴趣区域中的最深表面点224的位置和深度290 也在该图形表示中示出。在另一个实施例中,点云视图也可以用于示 出最深表面点224。
图8是在本发明的示例性实施例中由视频检查设备100获得的具 有异常504的被观察对象502的对象表面510的另一个图像500。同 样,在该示例中,异常504被示出为凹痕,其中在异常504中,材料 已经由于损坏或磨损而从被观察对象502的对象表面510被移除。应 当理解,在该示例性实施例中示出的异常504仅是示例,并且本发明 的方法适用于其他类型的不规则部分(例如,裂纹、腐蚀坑、涂层损 失、表面沉积等)。一旦获得图像500,并且识别出异常504,图像500 就可以用于确定异常504的尺寸(例如,高度或深度、长度、宽度、面积、体积、点到线、剖面切片等)。在一个实施例中,所使用的图 像500可以是包括异常504的被观察对象502的对象表面510的二维 图像500。
图9是在本发明的示例性实施例中的方法600的流程图,该方法 用于显示用于检查在图8的图像500中示出的被观察对象502的对象 表面510的三维数据。应当理解,图9的流程图中描述的步骤可以以 不同于流程图中所示的顺序执行,并且某些实施例并不需要所有的步 骤。
在步骤610中,并且如图8所示,操作者可以使用视频检查设备 100获得具有异常504的被观察对象502的对象表面510的图像500, 并将其显示在视频监视器(例如,一体式显示器170或外部监视器172) 上。在一个实施例中,图像500可以在视频检查设备的测量模式下显 示。
在步骤620中,视频检查设备100的CPU 150可以确定在包括异 常504的被观察对象502的对象表面510上的多个表面点的第一坐标 系中的三维坐标(xiS1,yiS1,ziS1)。在一个实施例中,视频检查设备可 以从图像500生成三维数据,以便确定三维坐标。如上所述,可以使 用几种不同的现有技术来提供对象表面510的图像500上的点的三维 坐标(例如,立体、扫描系统、诸如相移、相移莫尔条纹、激光点投 影的结构化光方法等)。
在步骤630中,并且如图8所示,操作者可以使用视频检查设备 100的操纵杆180(或其它定点设备(例如,鼠标、触摸屏))来选择靠 近异常504的被观察对象502的对象表面510上的多个测量点,以进 行特定类型的测量。所选测量点的数量取决于要进行的测量的类型。 某些测量可能需要选择两个测量点(例如,长度、轮廓),而其它测量 可能需要选择三个或更多个测量点(例如,点到线、面积、多段)。在 一个实施例中,并且如图8所示,在靠近异常504的被观察对象502 的对象表面510上总共选择四个测量点521、522、523、524,以进行 异常504的深度测量,其中在靠近异常504的对象表面510上选择三 个测量点521、522、523,并且第四测量点524被选择在异常504的 最深点处。在一个实施例中,可以通过将光标531、532、533、534(或 其它定点设备)放置在图像500的与对象表面510上的多个测量点 521、522、523、524相对应的像素541、542、543、544上来选择被 观察对象502的对象表面510上的多个测量点521、522、523、524。 在示例性深度测量中,视频检查设备100可以确定多个参考表面点 521、522、523、524中的每一个的第一坐标系中的三维坐标。应当理 解,本发明的方法不限于深度测量或涉及四个选定测量点的测量,而 是适用于涉及不同数量点的各种类型的测量,包括上面讨论的那些。
在步骤640中,并且如图8所示,视频检查设备100的CPU 150 可以确定参考表面550。在图8所示的异常504的示例性深度测量中, 在靠近异常504的对象表面510上选择的三个测量点521、522、523 中的一个或多个附近的三个或更多个表面点的三维坐标可以用于确 定参考表面550(例如,平面)。在一个实施例中,视频检查设备100 可以在三个测量点521、522、523的第一坐标系中的三维坐标(xiM1,yiM1, ziM1)执行曲线拟合,以确定具有以下形式的参考表面550(例如,平面) 的方程:
k0RS1+k1RS1·xiRS1+k2RS1·yiRS1=ziRS1 (2)
其中,(xiRS1,yiRS1,ziRS1)是在定义的参考表面550上的第一坐标 系中的任何三维点的坐标,并且k0RS1、k1RS1和k2RS1是通过对第一坐标系 中的三维坐标的曲线拟合获得的系数。
应当注意,使用多个测量点(即,至少与k系数的数量一样多的 点)来执行曲线拟合。曲线拟合找到对所用点给出最佳拟合的k系数 (例如最小二乘法(least squaresapproach))。k系数然后定义逼近所使 用的三维点的平面或其它参考表面550。然而,如果曲线拟合中使用 的点多于k系数的数量,那么当在平面方程(2)中插入所用点的x和y 坐标时,由于噪声以及与实际可能存在的平面的任何偏差,z结果通 常不会与点的z坐标精确匹配。因此,xiRS1和yiRS1可以是任意值,得 到的ziRS1告诉你在xiRS1、yiRS1处定义的平面的z。因此,这些方程中所 示的坐标可以用于精确地在定义的表面上的任意点,而不一定是在拟合中用来确定k系数的点。
在另一个实施例中,只有两个测量点被选择用于特定测量(例如, 长度、轮廓),由于需要三个点来确定k0RS1、k1RS1和k2RS1,因此不可能 使用仅基于这两个测量点的三维坐标的曲线拟合。在这种情况下,视 频检查设备100可以识别与对象表面510上靠近每个测量点的多个点 相对应的图像的每个像素附近的多个像素,并且确定这些点的三维坐 标,使得曲线拟合能够确定参考表面550。
在一个实施例中,并且如图8所示,视频检查设备100可以确定 在异常504和测量点521、522、523、524周围的参考表面550上形 成框562(例如矩形)的多个框点560在第一坐标系中的三维坐标(xiF1, yiF1,ziF1),这些框点560可以稍后用于显示参考表面550的位置。
一旦确定了参考表面550,在图8所示的示例性实施例中,视频 检查设备100可以通过确定选择在异常504的最深点处的第四测量点 524与参考表面550之间的距离来进行异常504的测量(例如深度)。 该深度测量的精度由在被观察对象502的对象表面510上选择多个测 量点521、522、523、524的精度决定。在如前所述的许多情况下, 图像500中的异常504的轮廓难以从二维图像评估,并且可能太小或 者不足以可靠地定位多个测量点521、522、523、524。因此,在许多 情况下,操作者将需要异常504的区域中的进一步细节来评估这些测 量点521、522、523、524的位置的精度。因此,尽管一些视频检查 设备100可以提供完整图像500的点云视图,但是该视图可能不提供 如前所述的异常504的所需细节水平。为了提供比整个图像500的三 维数据的点云视图所提供的更有意义的测量点521、522、523、524 周围的区域中的对象表面510的视图,本发明的方法创建在感兴趣区 域中的三维数据的子集。
在步骤650中,视频检查设备100的CPU 150可以建立不同于第 一坐标系的第二坐标系。在一个实施例中,第二坐标系可以基于参考 表面550和多个测量点521、522、523和524。视频检查设备100可 以将第二坐标系的原点(x02,y02,z02)=(0,0,0)指定为位于与对象表面510上的多个测量点521、522、523、524中的两个或更多个 相对应的参考表面550上的点的三维坐标的平均位置525附近(例如, 通过将测量点521、522、523和524投影到参考表面550上并确定参 考表面550上的平均位置525)。在一些情况下,与测量点521、522、 523相对应的参考表面550上的点的三维坐标可以相同。然而,在一 些情况下,由于对象表面510中的噪声和/或小变化,测量点521、522、 523不精确地落在参考表面550上,因此具有不同的坐标。
当确定参考表面550上与对象表面510上的测量点521、522、523、 524相对应的点时,应用线方向的概念是方便的,该概念传达x、y和 z平面中的线的相对斜率,并且可以用于建立垂直或平行线。对于通 过两个三维坐标(x1,y1,z1)和(x2,y2,z2)的给定线,线方向(dx,dy, dz)可以定义为:
dx=x2-x1 (3)
dy=y2-y1 (4)
dz=z2-z1 (5)
给定线上的点(x1,y1,z1)和线的方向(dx,dy,dz),线可以由下式 定义:
因此,给定x、y或z坐标中的任何一个,可以计算剩余的两个。 平行线具有相同或线性缩放的线方向。具有方向(dx1,dy1,dz1)和 (dx2,dy2,dz2)的两条线在以下条件下是垂直的:
dx1·dx2+dy1·dy2+dz1·dz2=0 (7)
使用方程(2)定义的垂直于参考平面的所有线的方向由下式给 出:
dxRSN=-k1RS (8)
dyRSN=-k2RS (9)
dzRSN=1 (10)
基于方程(6)和(8)至(10),垂直于参考表面550并穿过表面点(xS, yS,zS)的线可以定义为:
在一个实施例中,通过定义具有方程(8)-(10)中给出的方向并穿 过(xiS1,yiS1,ziS1)的垂直于参考表面550的线,并且确定该线与参考 表面的交点的坐标,可以确定与对象表面510上的点(xiS1,yiS1,ziS1) 相对应的参考表面550上的点的坐标(xiRS1,yiRS1,ziRS1)(例如,与测量 点521、522、523、524相对应的参考表面550上的点在第一坐标系 中的三维坐标)。因此,根据方程(2)和(11):
xiRS1=k1RS1·(ziS1-ziRS1)+xiS1 (13)
yiRS1=k2RS·(ziS1-ziRS1)+yiS1 (14)
在一个实施例中,这些步骤(方程(3)至(14))可用于确定参考表 面550上对应于测量点521、522、523、524的点的三维坐标。然后, 可以确定参考表面550上的测量点的这些投影点的平均位置525(xM1avg, yM1avg,zM1avg)。然后,第二坐标系的原点(x02,y02,z02)=(0,0,0) 可以被指定并定位在平均位置525(xM1avg,yM1avg,zM1avg)附近。
将第二坐标系的原点定位在异常504的区域中的平均位置525附 近,其中z值是从每个表面点到参考表面550的垂直距离,允许点云 视图围绕异常504的区域的中心旋转,并允许任何深度图色标指示表 面点距参考表面550的高度或深度。
为了利用该第二坐标系,在步骤660中,视频检查设备100的CPU 150将为各种点(例如,多个表面点、多个测量点521、522、523、524、 包括帧点560的参考表面550上的点等)确定的第一坐标系中的三维 坐标(xi1,yi1,zi1)变换为第二坐标系中的三维坐标(xi2,yi2,zi2)。
在一个实施例中,坐标变换矩阵([T])可用于根据下式变换坐标: ([xi1 yi1 zi1]-[xM1avg yM1avg zM1avg])*[T]=[xi2 yi2 zi2] (15)
其中[T]是变换矩阵。
在非矩阵形式中,第二坐标系中的三维坐标可以通过以下方式确 定:
xi2=(xi1-xM1avg)*T00+(yi1-yM1avg)*T10+(zi1-zM1avg)*T20 (16)
yi2=(xi1-xM1avg)*T01+(yi1-yM1avg)*T11+(zi1-zM1avg)*T21 (17)
zi2=(xi1-xM1avg)*T02+(yi1-yM1avg)*T12+(zi1-zM1avg)*T22 (18)
其中,变换矩阵值是在第一坐标系中新的x、y和z轴的线方向 值。
在步骤670中,视频检查设备100的CPU 150确定在被观察对象 502的对象表面510上的感兴趣区域内的多个表面点的子集。在一个 实施例中,感兴趣区域可以是围绕多个选择的测量点521、522、523、 524的被观察对象502的对象表面510上的有限区域,以最小化要在 点云视图中使用的三维数据量。应当理解,确定子集的步骤660可以 在变换步骤660之前或之后进行。例如,如果在步骤670中的子集的 确定发生在变换步骤660之后,则视频检查设备100可以在确定哪些 点在感兴趣区域中之前变换包括感兴趣区域之外的点在内的所有表 面点的坐标。或者,如果在步骤670中的子集的确定发生在变换步骤 660之前,则视频检查设备100可能只需要变换感兴趣区域内的那些 表面点的坐标。
在一个实施例中,感兴趣区域可以通过确定与测量点521、522、 523、524相对应的参考表面550上的每个点与参考表面550上的这些 点的平均位置525之间的最大距离(dMAX)(如果在变换之后完成,则为 第二坐标系的原点(x02,y02,z02)=(0,0,0),或者如果在变换之 前完成,则为第一坐标系中的(xM1avg,yM1avg,zM1avg))来定义。在一个实 施例中,感兴趣区域可包括在参考表面550上具有对应点(即,当投 影到参考表面上时)的所有表面点,所述对应点在参考表面550上的 测量点521、522、523、524的平均位置525的某个阈值距离(dROI)内(例 如,小于最大距离(dROI=dMAX)或小于比最大距离略大(例如,大百分 之二十)的距离(dROI=1.2*dMAX))。例如,如果第二坐标系中的平均 位置525在(x02,y02,z02)=(0,0,0)处,则从该位置到参考表面 550上对应于表面点(xiRS2,yiRS2,ziRS2)的点的距离(d)由下式给出:
类似地,如果第一坐标系中的平均位置525在(xM1avg,yM1avg,zM1avg) 处,则从该位置到参考表面550上对应于表面点(xiRS1,yiRS1,ziRS1)的 点的距离(d)由下式给出:
如果表面点具有小于感兴趣区域阈值距离(dROI)的距离值(diRS1或 diRS2),并且因此在感兴趣区域中,则视频检查设备100可以将该表面 点的三维坐标和与该表面点的深度相对应的像素颜色写入点云视图 文件。在该示例性实施例中,感兴趣区域为圆柱体的形式,其包括落 在圆柱体半径内的表面点。应当理解,可以使用用于确定感兴趣区域 的其它形状和方法。
感兴趣区域还可以基于由视频检查设备100在第一坐标系中确定 的被观察对象502的对象表面510上的异常504的深度来定义。例如, 如果异常504的深度被测量为0.005英寸(0.127mm),则感兴趣区域 可以被定义为仅包括距参考表面550的距离(或z(zdimensions)尺 寸)在基于测量点521、522、523、524中的一个或多个到参考表面550 的距离的某个范围(±0.015英寸(0.381mm))内的那些点。如果表面点 具有在感兴趣区域内的深度值,则视频检查设备100可以将该表面点 的三维坐标和与该表面点的深度相对应的像素颜色写入点云视图文 件。如果表面点具有在感兴趣区域之外的深度值,则视频检查设备100 可以不将该表面点包括在点云视图文件中。
在步骤680中,并且如图10所示,视频检查设备100的监视器 170、172可以在第二坐标系的三维坐标中显示多个表面点的子集的渲 染三维视图(例如,点云视图)700,该第二坐标系的原点725在视图 的中心。在一个实施例(未示出)中,点云视图700的显示可包括颜色 图,以指示第二坐标系中的每个表面点与参考表面750之间的距离(例 如,某深度处的第一点以对应于该深度的红色阴影示出,不同深度处 的第二点以对应于该深度的绿色阴影示出)。所显示的点云视图700 还可包括多个测量点721、722、723、724的位置。为了帮助操作者 查看点云视图700,视频检查设备100还可以沿着在第二坐标系的三 维坐标中的多个测量点721、722、723中的两个或更多个之间的直线 确定三维线点771、772、773,并且在点云视图700中显示这些线点 771、772、773。点云视图700还可包括从意欲位于异常504的最深 点处的测量点724到参考表面750的深度线774。在一个实施例中, 视频检查设备100可以确定深度线774是否超过公差规格或其它阈 值,并提供这种事件的视觉或听觉指示或警报。
所显示的点云视图700还可包括在第二坐标系中的参考表面750 上形成框762的多个框点760,以指示参考表面750的位置。在另一 个实施例中,所显示的点云视图700还可包括指示距参考表面750的 垂直距离的标度。
如图10所示,通过将点云视图700中的数据限制到感兴趣区域 中的那些点,并且允许视图围绕感兴趣区域的中心(例如,在原点)中 的点725旋转,操作者可以更容易地分析异常504,并且确定测量点 721、722、723、724的深度测量和放置是否准确。在一个实施例中, 如果需要校正,操作者可以改变点云视图700中的测量点721、722、 723、724中的一个或多个的位置。或者,如果需要校正,操作者可以 返回到图8的二维图像500并重新选择测量点521、522、523、524 中的一个或多个,并且重复该过程。
在另一个实施例中,视频检查设备100的监视器170、172可以 在第一坐标系的三维坐标中显示多个表面点的子集的渲染三维视图 700,而无需进行坐标变换。在该实施例中,基于原始坐标的点云视 图700还可包括上述各种特征以辅助操作者,包括显示颜色图、多个 测量点的位置、三维线点、深度线、帧或标度。
图11是在另一个示例性实施例中用于同时显示被观察对象的二 维图像和描绘被观察对象的三维几何形状的图像的示例性方法800的 流程图。应当理解,图11的流程图中描述的步骤可以以不同于流程 图中所示的顺序执行,并且某些实施例并不需要所有的步骤。
在示例性方法(图8)的步骤810中,并且如图12所示,视频检查 设备100(例如,图1的成像器124)获得具有异常912的被观察对象 910的对象表面911的至少一个二维图像903,并将其显示在显示器 900(例如,一体式显示器170、外部监视器172或用户接口的触摸屏) 的第一侧901上。在一个实施例中,二维图像903以视频检查设备100 的测量模式显示。
在示例性方法800(图11)的步骤820中,并且如图12所示,视 频检查设备100(例如,图1的CPU 150)确定被观察对象910的对象 表面911上的多个表面点913、914的三维坐标(例如,(x,y,z))。 在一个实施例中,视频检查设备从二维图像903生成三维数据,以便确定三维坐标。图12是显示器900的第一侧901上的被观察对象910 的二维第一立体图像903以及显示器900的第二侧902上的被观察对 象910的对应的二维第二立体图像904。在一个实施例中,通过在对 应的二维第二立体图像904上找到匹配的表面点915、916,然后基于二维第一立体图像903(或像素区域(例如,4×4区域))上的多个表面 点913、914与对应的二维第二立体图像904上的匹配的表面点915、 916之间的像素距离差异的三维坐标,视频检查设备100(例如,CPU 150)采用立体技术来确定二维第一立体图像903上的多个表面点913、 914的三维坐标(例如,(x,y,z))。应当理解,并且如图12-14所示, 这里结合立体图像903、904对于二维图像的参考可包括第一(左)立 体图像903和第二(右)立体图像904两者或其中之一。
可以使用几种不同的现有技术来提供对象表面911的二维图像 903(图12)中的表面点913、914的三维坐标(例如,立体、扫描系统、 立体三角测量、诸如相移分析、相移莫尔条纹、激光点投影的结构化 光方法等)。大多数这样的技术包括使用校准数据,该校准数据主要 包括光学特性数据,该光学特性数据用于减少本来会由光学失真引起 的三维坐标中的误差。利用一些技术,可以使用在非常近的时间内捕 获的一个或多个二维图像来确定三维坐标,所述图像可以包括投影图 案等。应当理解,对使用二维图像903确定的三维坐标的参考也可以 包括使用在非常近的时间内捕获的对象表面911的一个或多个二维图 像确定的三维坐标,并且在所述操作期间显示给操作者的二维图像 903可以实际上用于或不用于确定三维坐标。
在示例性方法800(图11)的步骤830中,并且如图13和14所示, 具有测量光标931、932的被观察对象910的二维图像903的至少一 部分显示在显示器900的第一侧901上,并且被观察对象910的对象 表面911的至少一部分的三维几何形状的渲染图像905显示在显示器 900的第二侧902上。与图12相比,渲染图像905代替显示器900中 的第二(右)立体图像904。在一个实施例中,视频检查设备100(例如, CPU 150)开始(并且在一个实施例中,完成)在放置和显示测量光标 931、932之前确定被观察对象910的对象表面911上的多个表面点 913、914的三维坐标(例如,(x,y,z))的过程。尽管图13和14中 所示的示例性实施例示出了显示在显示器900的第二侧902上的被观 察对象910的对象表面911的三维几何形状的单个渲染图像905,但 是应当理解,可以在具有或不具有二维图像903的情况下同时示出多于一个渲染图像905。
在图13所示的示例性实施例中,渲染图像905是深度轮廓图像 906,其示出了包括异常912的被观察对象910的对象表面911的三 维几何形状。在图14所示的另一个示例性实施例中,渲染图像905 是点云视图907,其示出了包括异常912的被观察对象910的对象表面911的三维几何形状。在图14所示的示例性点云视图907中,基 于测量光标931、932的位置,仅在感兴趣区域中显示被观察对象910 的对象表面911上的表面点913、914的三维坐标的子集。在另一个 实施例中,点云视图907显示被观察对象910的对象表面911上的表 面点913、914的所有计算的三维坐标。在一个实施例中,例如,当 显示器是用户接口触摸屏时,用户可以使用触摸屏旋转点云视图907。
在一个实施例中,如图14所示,点云视图907可以被着色以指 示被观察对象910的对象表面911的表面点与参考表面960(例如,使 用靠近多个测量光标931、932中的一个或多个的三维坐标确定的参 考平面)之间的距离。例如,某一深度处的第一点以对应于该深度的 红色阴影示出,不同深度处的第二点以对应于该深度的绿色阴影示 出。提供颜色深度标度908以显示在点云视图907上示出的颜色与它 们距参考表面960的相应距离之间的关系。在一个实施例中,点云视 图907可以被表面化以使点云视图907中相邻点之间的过渡在图形上 平滑。
一旦确定了被观察对象910的对象表面911上的多个表面点913、 914的三维坐标,用户就可以对二维图像903进行测量。
在一个实施例中,视频检查设备100将二维图像903和渲染图像 905的分割视图保存为图像。视频检查设备100还可以将如图11所示 的第一(左)立体图像903和第二(右)立体图像904的原始完整立体图 像(例如,仅灰度级)和校准数据保存为元数据,以允许从保存的文件 重新计算三维数据和重新测量。或者,视频检查设备100可以将计算 出的三维坐标和/或视差数据(disparity data)保存为元数据,这减少 了调用时的处理时间,但是导致更大的文件大小。
在示例性方法800(图11)的步骤840中,并且如图13和14所示, 测量光标931、932被放置(使用定点设备)并显示在二维图像903上, 以允许视频检查设备100(例如CPU 150)确定异常912的尺寸(例如, 高度或深度、长度、宽度、面积、体积、点到线、剖面切片等)。在二维图像不是立体图像的另一个实施例中,测量光标931、932(如图 13和14所示)也可以放置在二维图像903上,以允许视频检查设备 100(例如,CPU 150)确定异常912的尺寸(例如,高度或深度、长度、 宽度、面积、体积、点到线、轮廓切片等)。在又一个实施例中,代 替放置在二维图像903上,测量光标可以放置(使用定点设备)在显示 器900的第二侧902上的被观察对象910的对象表面911的至少一部 分的三维几何形状的渲染图像905上。
在示例性显示器900中,第一测量光标931放置在被观察对象910 的对象表面911上的第一测量点921上,第二测量光标932放置在被 观察对象910的对象表面911上的第二测量点922上。由于被观察对 象910的对象表面911上的测量点921、922的三维坐标是已知的, 所以对象表面911的几何测量(例如深度或长度测量)可以由用户执 行,并且视频检查设备100(例如CPU 150)可以确定测量尺寸950,如 图13和14所示。在图13和14所示的示例中,在二维图像903上显 示测量线933。
被观察对象910的对象表面911的三维几何形状的渲染图像905 被显示在显示器900的第二侧902上,以便帮助将测量光标931、932 放置在二维图像903上以进行几何测量。在涉及立体或非立体二维图 像的传统系统中,这些测量光标931、932(如图13和14所示)仅基于 由二维图像903提供的视图放置,这可能不允许测量光标931、932 的精确放置和精确测量。
在示例性方法800(图11)的步骤850中,并且如图13和14所示, 与放置在二维图像903上的测量光标931、932相对应的测量标识符941、942被显示在被观察对象912的对象表面911的三维几何形状的 渲染图像905上。例如,第一测量标识符941在渲染图像905上显示在与第一测量光标931相同的被观察对象912的对象表面911的三维 坐标处,而第二测量标识符942在渲染图像905上显示在与第二测量 光标932相同的被观察对象912的对象表面911的三维坐标处。在图 14所示的示例性点云视图907中,显示与二维图像901中的测量线933(例如,深度测量线)相对应的测量线标识符943。与被观察对象 912的对象表面911的二维图像903同时显示的被观察对象910的对 象表面911的三维几何形状的渲染图像905允许用户更精确地放置测 量光标931、932以提供更精确的几何测量。在又一个实施例中,在 将测量光标放置(使用定点设备)在渲染图像905上的情况下,在二维 图像903上显示与测量光标相对应的测量标识符。
在一个实施例中,随着用户改变二维图像903中的测量光标931、 932的位置,视频检查设备100(例如,CPU 150)自动更新与测量光标 931、932相对应的测量标识符941、942的位置,并且被观察对象912 的对象表面911的三维几何形状的渲染图像905(例如,图14中的点 云视图907的感兴趣区域或深度颜色)也改变,以允许用户虚拟地实 时可视化新的测量。在另一个实施例中,在将测量光标931、932放 置在二维图像903中之后,可以在渲染图像905中重新定位测量标识 符941、942。
在又一个实施例中,当测量光标被放置(使用定点设备)在渲染图 像905上并且与测量光标相对应的测量标识符被显示在二维图像903 上时,随着用户改变渲染图像905中测量光标的位置,视频检查设备 100(例如,CPU 150)自动更新与测量光标相对应的测量标识符的位置, 并且二维图像也改变以允许用户虚拟地实时可视化新的测量。在另一 个实施例中,在将测量光标放置在渲染图像905上之后,可以在二维 图像903中重新定位测量标识符。
在示例性方法800(图11)的步骤860中,并且如图13和14所示, 视频检查设备100(例如,CPU 150)基于测量光标931、932的位置来 确定用户针对特定几何测量(例如,深度或长度测量)寻求的测量尺寸 (measurement dimension)950,并且在显示器900上显示该测量尺寸 950。在另一个实施例中,测量尺寸可以在显示器900上显示在渲染 图像905上。
如图12-14所示,软键909可以设置在显示器900上,以向用户 提供获取图像和进行测量的各种功能(例如,视图、撤消、添加测量、 下一测量、选项、删除、注释、拍摄图像、重置、缩放、完整图像/ 测量图像、深度图开/关等)。在一个实施例中,当用户激活二维图像903或渲染图像905时,所显示的特定软键909可以基于活动图像而 改变。
图15A是在另一个示例性实施例中由视频检查设备100获得的具 有缺失拐角(由多边形1050示出)的涡轮叶片1010和护罩1015的另 一个示例性图像1001。在一个实施例中,所使用的图像1001可以是 被观察对象(涡轮叶片1010)的表面1013的二维图像1001。在另一示 例中,二维图像可以是立体图像。如图15A所示,用户可以使用视频 检查设备100(例如成像器124)来获得涡轮叶片1010的表面1013的 至少一个图像1001,并将其显示在视频监视器(例如,一体式显示器 170或外部监视器172)上。在一个实施例中,图像1001可以在视频 检查设备100的测量模式下显示。
视频检查设备100(例如,CPU 150)可以确定被观察对象1010的 对象表面1013上的多个表面点的三维坐标(例如,(x,y,z))。在一 个实施例中,视频检查设备可以从图像1001生成三维数据,以便确 定三维坐标。观察对象1010的对象表面1013上的表面点的三维坐标 可以与显示的二维图像1001的像素相关联。可以使用几种不同的现 有技术来提供对象表面1013的图像1001(图15A)中的表面点的三维 坐标(例如,立体、扫描系统、立体三角测量、诸如相移分析、相移 莫尔条纹、激光点投影的结构化光方法等)。在一个实施例中,视频 检查设备100使用不具有结构化光图案的漫射检查光源来捕获二维图 像1001,并且使用利用投影到对象上的结构化光图案捕获的一个或多 个图像来计算三维表面坐标。在这种情况下,可以在漫射检查光源被 禁用的情况下投影结构化光图案。
同样,大多数这样的技术包括使用校准数据,该校准数据主要包 括光学特性数据,该光学特性数据用于减少本来会由光学失真引起的 三维坐标中的误差。利用一些技术,可以使用在非常近的时间内捕获 的一个或多个图像来确定三维坐标,所述图像可以包括投影图案等。 在一个实施例中,视频检查设备100(例如,CPU 150)可以使用校准数 据来计算对象表面点坐标。在一个示例中,校准数据可以是所使用的 视频检查设备100所特有的,并且可以包括确定实际尺寸和距离所需 的传感器和光学器件信息。在另一示例中,校准数据可以包括射线方 程(ray equations),以将传感器的每个像素与被观察对象上的特定点 相关联。
应当理解,对使用图像1001确定的三维坐标的引用也可以包括 使用在非常近的时间内捕获的对象表面1013的一个或多个图像1001 确定的三维坐标,并且在所描述的操作期间显示给用户的图像1001 可以实际上用于或不用于确定三维坐标。在一个实施例中,视频检查 设备100(例如,CPU 150)可以将多个捕获的图像一起平均化,以便生 成与单个图像相比具有增强的细节或降低的噪声的合成图像。
如图15A所示,视频检查设备100(例如,CPU 150)可以确定三维 参考表面1020(例如,由横跨图像延伸的虚线示出的测量平面)。在一 些实施例中,参考表面1020可以是平坦的,而在其它实施例中,参 考表面1020可以是弯曲的。类似地,在一个实施例中,参考表面1020 可以是平面的形式,而在其它实施例中,参考表面1020可以是不同 形状(例如圆柱、球体等)的形式。例如,用户可以使用视频检查设备 100的操纵杆180(或其它定点设备(例如,鼠标、触摸屏))来选择被 观察对象1010(涡轮叶片)的对象表面1013的图像1001上的一个或多 个参考表面点1021、1022、1023。
在一个实施例中,如图15A所示,在被观察对象1010的对象表 面1013的图像1001上总共选择三个参考表面点1021、1022、1023。 在一个实施例中,可以通过将参考表面光标1031、1032、1033(或其 它定点设备)放置在图像1001的与对象表面1013上的多个参考表面点1021、1022、1023相对应的参考表面像素1041、1042、1043上来 选择被观察对象1010的对象表面1013上的多个参考表面点1021、 1022、1023。视频检查设备100(例如,CPU 150)可以确定多个参考表 面点1021、1022、1023中的每一个的三维坐标。
如图15A所示,视频检查设备100的CPU 150可以确定参考表面 1020。在图15A所示的示例性面积测量中,三个参考表面点1021、1022、 1023或靠近三个参考表面点1021、1022、1023中的一个或多个的三 个或更多个表面点的三维坐标可用于确定参考表面1020(例如,平 面)。如上所述,在一个实施例中,视频检查设备100可以执行三个 参考表面点1021、1022、1023的三维坐标的曲线拟合,以确定参考 表面1020(例如,在所有方向上无限延伸的平面)的方程。在一个实施 例中,视频检查设备100(例如,CPU 150)可以执行与参考表面光标 1031、1032、1033附近的像素相关联的表面点的三维坐标的曲线拟合, 以确定参考表面1020(例如,平面)的方程,如以上方程(1)中所述。 在另一个实施例中,曲线拟合可以仅使用与参考表面1020的参考表 面光标1031、1032、1033中的仅一个附近的像素相关联的表面点的 三维坐标。在另一个实施例中,视频检查设备100(例如,CPU 150) 可以使用单个选定的参考表面点的三维坐标来将参考表面建立为在 z=10mm处的平面(z轴沿着管道镜视图的中心光轴)。在另一示例中, 单个光标可以用于定义参考表面,例如通过建立与观察光学系统的表 面或主轴正交或平行并且穿过与光标位置相关联的三维表面坐标的 平面。在又一示例中,四个或更多个选定的坐标可以建立诸如球形、 圆柱形或其它表面形状的各种弯曲的参考表面,作为参考表面。在另 外的示例中,可以使用许多光标来拟合弯曲表面,例如球体、圆柱体 等。在另一个实施例中,可以使用一个或多个光标来选择像素区域, 即圆形光标内的区域,并且可以通过将平面或其它表面拟合到与选定 的一个或多个区域相关联的三维表面坐标来确定参考表面。
如图15A所示,涡轮叶片1010具有缺失拐角(由多边形1050示 出)。本公开提供了用于测量对象上或对象附近的特征的方法和设备, 包括可能具有缺失或与该对象间隔开的部分的特征。例如,可以检查 涡轮叶片1010以确定叶片1010的尖端或角部是否已经断裂。在这种 情况下,要测量的相关特征,例如,缺失拐角的尺寸,不在涡轮叶片 1010本身的表面1013上,而是延伸到涡轮叶片1010的表面1013之 外的空间中。因此,仅使用涡轮叶片1010的表面1013上的点的三维 坐标的测量将不提供期望的信息(缺失区域、缺失边缘的长度等)。如 将解释的,一旦建立了参考表面1020,通过在图像1001上定位测量 光标1034、1035、1036、1037,用户就可以执行几何尺寸的测量,例 如长度、点到线、面积或多长度测量,即使在不在被观察对象1010 的表面上的区域中,所述测量光标1034、1035、1036、1037不具有 与其相关联的涡轮叶片1010的表面1013上的表面点。
在一个实施例中,如图15A所示,总共四个测量光标1034、1035、 1036、1037被定位在图像1001的测量光标像素1044、1045、1046、 1047上。如将解释的,通过校准,与图像1001的每个二维测量光标 像素1044、1045、1046、1047相关联的三维轨迹是已知的,并且用 于计算来自图像1001的每个测量光标像素1044、1045、1046、1047 的轨迹线被定位并与三维空间中的参考表面1020相交的位置(例如, 其可以是将使用内插的分数像素位置),以确定参考表面1020上与那 些测量光标像素1044、1045、1046、1047相关联的投影参考表面点1024、1025、1026、1027。如图15A所示,一旦参考表面1020上的 投影参考表面点1024、1025、1026、1027已知,用户就可以基于参 考表面1020上的投影参考表面点1024、1025、1026、1027的三维坐 标执行诸如长度、点到线、面积或多长度测量的测量。例如,如图15A 所示,用户可以执行形成多边形1050的面积测量,多边形1050具有 第一边1051(提供叶片的第一边缘1011的缺失部分的长度)、第二边 1052(提供叶片的第二边缘1012的缺失部分的长度)和第三边1053。
图15B是在另一个示例性实施例中如图15A所示的具有缺失拐角 (由多边形1050示出)的涡轮叶片1010和护罩1015的三维点云视图 1002的显示。示出涡轮叶片1010的三维表面点、参考表面1020和投 影参考表面点1024、1025、1026、1027的三维点云视图1002允许用 户更好地可视化测量,以确保正确地执行测量。如图15B所示,点云 视图1002可以包括被观察对象1010上的计算三维表面坐标,其可以 示出为单独的点、网格或连续表面。与测量光标1034、1035、1036、 1037相关联的三维坐标可以显示为点、球体等,并且可以包括描绘特 征(缺失拐角)的轮廓的互连线(具有边1051、1052、1053、1054的多 边形1050)。参考表面1020及其位置也可以由附加特征表示,例如矩 形或正方形。因此,三维点云视图1002允许用户在三维空间中可视 化测量,以确保正确地执行测量。仅使用二维图像1001可能很难进 行这样的评估。在一个实施例中,三维点云视图1002与二维图像1001 同时显示,并且当测量光标在二维图像1001中重新定位时,三维点 云视图1002自动更新。在另一个实施例中,用户可以选择单独查看 二维图像1001或三维点云视图1002。
图15C是在另一个示例性实施例中由视频检查设备100获得的具 有缺失拐角的涡轮叶片1010的另一个示例性图像1003。在一些情况 下,使用投影参考表面点的三维坐标(对于离开被观察对象的点)和被 观察对象上的表面点的三维坐标两者来执行测量可能是有用的。参照 图15C,可以使用参考表面1020来执行面积测量(多边形170)。在所 示实施例中,可以选择四个测量光标1071、1072、1073、1074,其中 两个测量光标1071、1072位于被观察对象1010的表面1013上,两 个测量光标1073、1074位于被观察对象1010的表面1013之外。位 于被观察对象1010的表面1013上的两个测量光标1071、1072位于 与被观察对象1010的表面1013上的表面点的三维坐标和参考表面 1020上的投影参考表面点的三维坐标相关联的像素上。位于被观察对 象1010的表面1013之外的两个测量光标1073、1074位于与参考表 面1020上的投影参考表面点的三维坐标相关联、但不与被观察对象 1010的表面1013上的表面点的三维坐标相关联的像素上。测量可以 利用与两个测量光标1071、1072相关联的位于被观察对象1010的表 面1013上的表面点的三维坐标以及与两个测量光标1073、1074相关 联的位于被观察对象1010的表面1013之外的参考表面1020上的投 影参考表面点的三维坐标。或者,测量可以利用与所有四个测量光标 1071、1072、1073、1074相关联的参考表面1020上的投影参考表面 点的三维坐标。在另一个实施例中,视频检查设备100允许用户选择 是使用被观察对象1010的表面1013上的表面点的三维坐标还是使用 位于被观察对象1010的表面1013上的两个测量光标1071、1072在 参考表面1020上的投影参考表面点的三维坐标。在一个示例中,当 测量涡轮叶片1010和护罩1015之间的间隙时,可以在护罩1015上 建立平面(在具有相关联的三维坐标的像素上使用3个光标),可以在 叶片1010上建立测量表面,使用另一个光标设置叶片1010的边缘上 的投影点,并且计算从平面到该点的垂直距离。
图16示出了根据本文所述方面的图像像素、传感器像素、参考 表面坐标和对象表面坐标之间的关系。例如,如下所述,显示器1101 上的像素可以与传感器1102上的像素相关,传感器1102上的像素可 以通过射线方程与对象1100的表面上的点C相关。在所示实施例中, 用户可以通过选择对象1100的表面上的至少一个点A来建立参考表 面1130。例如,参考表面1130可以是在点A处与对象1100相交的平 面。
在一个示例中,用户可能希望使用参考表面1130来执行对象1100 的特征的测量。在这种情况下,用户可以通过将光标定位在显示器 1101上示出的二维图像上来选择显示器1101上的特征的第一像素, 即像素PD。在这种情况下,显示器1101上的像素PD可以使用例如下 面描述的显示图像像素到捕获图像像素的变换方程映射到传感器 1102上的像素PS。此外,传感器1102上的像素PS可以映射到参考表 面1130上投影的三维参考表面坐标B。在所示示例中,传感器1102 上的像素PS还可以与对象1100上的三维表面坐标C相关联,该三维 表面坐标C是使用捕获的图像计算的特征本身的三维坐标。因此,像 素Ps可以具有相关联的三维表面坐标和投影的三维参考表面坐标,这 两者中的任何一个都可以用于计算测量结果。在一个示例中,三维表 面坐标C受到三维数据噪声的影响,因此不能准确地表示对象1100 的表面。在这种情况下,使用投影三维参考表面坐标B计算的测量结 果可能比使用坐标C计算的测量结果更精确。在另一示例中,坐标C 可以精确地表示对象1100的表面,并且用户可以选择使用坐标C而 不是坐标B来计算测量结果。
在某些实施方式中,测量系统可以包括具有特定捕获分辨率的传 感器,例如640×480电荷耦合器件(charge-coupled device,CCD)。 此外,测量系统可以具有用户接口,该用户接口具有不同显示分辨率, 例如1024×768像素。在这种情况下,当用户选择用户接口屏幕上的 光标位置时,所选择的屏幕像素可以被映射到传感器像素。参照针孔 照相机模型,例如,如果显示分辨率为1024×768,捕获分辨率为 640×480,则捕获列(col)和行可以如下计算:
捕获列=显示列*640/1024=显示列*0.625
捕获行=显示行*480/768=显示行*0.625
例如,{col,row}={15.33,100.67}的显示光标等同于捕获光 标{col,row}={9.581,62.919}。在这种情况下,可以在捕获像素(9,62)、(10,62)、(9,63)、(10,63)之间使用双线性插值,以便对等 效像素的射线方程进行插值。
在一个示例中,射线方程是:
xr,c(z)=ar,c*z and yr,c(z)=br,c*z,其中ar,c和br,c是像素 相关的。
在这种情况下,插值系数可以计算为:
kc1=col-(int)col=9.581-9=0.581
kc0=1-kc1=0.419
kr1=row-(int)row=62.919-62=0.919
kr0=1-kr1=0.081
a9.581,62.919=kc0*kr0*a9,62+kc1*kr0*a10,62+kc0*kr1*a9,63+ kc1*kr1*a10,63
b9.581,62.919=kc0*kr0*b9,62+kc1*kr0*b10,62+kc0*kr1*b9,63+ kc1*kr1*b10,63
类似的双线性插值方法可以用于确定与显示或捕获的图像像素 坐标相关联的x、y、z表面坐标。
在一个特定示例中,射线方程可以用于在二维图像像素和参考表 面坐标之间进行映射,如下所示。
平面的方程可以表达为:
z=z0+c*x+d*y
射线的方程可以表达为:
x=a*z;y=b*z
在这种情况下,交叉点可以求解如下:
zi=z0+c*a*zi+d*b*zi
zi*(1-c*a-d*b)=z0
zi=z0/(1-c*a-d*b)
例如,可以将zi代入射线方程,得到xi、yi。因此,对于给定 的二维显示或捕获的图像像素坐标,可以计算相关联的投影三维参考 表面坐标xi、yi、zi。对于给定的测量,计算与一个或多个测量光标 二维图像像素坐标相关联的一个或多个投影三维参考表面坐标。然 后,一个或多个投影的三维参考表面坐标被用于计算被观察对象的特 征的几何尺寸。
鉴于上述原因,本发明的实施例允许使用视频检查系统测量对象 的表面上或附近的特征的尺寸。技术效果是允许在没有三维数据或三 维数据精度低的情况下精确测量对象特征。
如图15A和15C所示,由视频检查设备100执行的具有缺失拐角 的涡轮叶片1010的常见测量是缺失拐角的面积、叶片1010的第一边 缘1011的缺失部分1051的长度以及叶片1010的第二边缘1012的缺 失部分1052的长度。然而,为了在参考平面1020上进行测量,用户 必须在视觉上精确地确定将测量光标1037放置在缺失部分的尖端或 拐角曾经所在的位置,这可能难以推断(extrapolate)。此外,如果用 户想要找到缺失拐角的面积和两个长度1051、1052,则用户需要放置 光标以建立参考表面,然后执行面积测量和两个点到线测量,需要放 置多个光标。此外,点到线测量提供了假定为直角拐角的缺失边缘部 分的长度1051、1052,而拐角通常不是这样。
图17是在另一个示例性实施例中由视频检查设备100获得的具 有缺失拐角的涡轮叶片1010的另一个示例性图像1004。如将解释的, 视频检查设备100能够检测何时执行缺失拐角面积测量,并且简化测 量以自动获得缺失拐角的面积和缺失边缘部分的长度1051、1052。如 上文解释的,在一个实施例中,如图15A和17所示,通过将参考表 面光标1031、1032、1033(或其它定点设备)放置在与对象表面1013 上的多个参考表面点1021、1022、1023相对应的图像1001的参考表 面像素1041、1042、1043上,在被观察对象1010的对象表面1013 的图像1004上总共选择了三个参考表面点1021、1022、1023。视频 检查设备100的CPU 150然后可以如上所述确定参考表面1020。然后, 用户可以选择执行面积测量的选项。
在一个实施例中,如图15A和17所示,总共四个测量光标1034、 1035、1036、1037被定位在图像1001的测量光标像素1044、1045、 1046、1047上。视频检查设备100然后可以确定与参考表面1020上 的那些测量光标像素1044、1045、1046、1047相关联的投影参考表 面点1024、1025、1026、1027。
在一个实施例中,当视频检查设备100(例如,CPU 150)确定参考 表面1020(例如,测量平面)并且确定用户正在执行如图15A和17所 示的面积测量时,视频检查设备100然后可以确定用户是否正在执行 缺失拐角测量。例如,在一个实施例中,视频检查设备100(例如,CPU 150)可以确定每个测量光标1034、1035、1036、1037与所有三个参 考表面光标1031、1032、1033之间的总距离,以识别与参考表面光 标1031、1032、1033具有最大距离的测量光标1037。视频检查设备 100(例如,CPU 150)然后可以确定去往区域多边形1050中的测量光 标1037的两条线1051、1052之间的角度(α)。如果角度(α)在45 度和135度之间的范围内,则视频检查设备100(例如,CPU 150)确定 用户正在进行缺失拐角测量,并且自动确定叶片边缘1011、1012的 缺失边缘部分的面积、角度(α)和长度1051(A)、1052(B)并显示在例如文本框1083中。此外,为了帮助用户将测量光标1037定位在缺 失部分的尖端或拐角曾经所在位置处,视频检查设备100(例如,CPU 150)确定并显示从测量光标1037沿着涡轮叶片第一边缘1011延伸的 第一边缘线延伸1081和从测量光标1037沿着涡轮叶片第二边缘1012 延伸的第二边缘线延伸1082,以向用户提供视觉帮助,以将这些边缘 线延伸1081、1082与涡轮叶片边缘1011、1012对齐,从而正确地定 位测量光标1037。如图17所示,第一边缘线延伸1081和第二边缘线 延伸1082是三维空间中的直线,在二维图像1004中表现为曲线。
鉴于上述原因,本发明的实施例允许使用视频检查系统测量涡轮 叶片的缺失拐角的尺寸。技术效果是允许使用最小数量的光标放置来 精确测量缺失拐角的面积和长度,从而加快测量。
由于本文所述参考表面用于在使用与被观察对象有关的各种测 量(例如,深度、深度轮廓或面积深度轮廓测量)进行检查时测量关键 尺寸,所以参考表面与物理对象表面正确对准并准确表示物理对象表 面是重要的。被选作参考表面点的三维表面坐标中的噪声会导致参考 表面相对于实际表面倾斜,从而导致后续测量的较差精度。如将讨论 的并且如图19A和19B所示,诸如半透明图形叠加层1240、1280的 视觉指示可以被放置在二维图像中具有相关联的表面点的像素上,该 相关联的表面点具有小于距三维参考表面的预定距离的三维表面坐 标,以帮助用户评估参考表面和对象表面之间的匹配。例如,靠近参 考表面的对象的像素可以用诸如绿色的对比色突出显示(覆盖),以提 供图形叠加层。在另一示例中,视频检查设备100在三维点云视图上 显示哪些表面点具有小于距三维参考表面的预定距离的三维坐标的 指示,这也可以帮助用户评估参考表面和对象表面之间的匹配。靠近 参考表面的对象的表面点可以由笛卡尔距离定义,或者可以是 (Cartesian distance)简化的度量,例如z值距离,以便于计算。图 19A和19B示出了用于用图形叠加层来标记图像以可视化限定的参考 表面(例如测量平面)的技术。
图19A描绘了与对象表面1210不良对准的参考表面1220。如在 包括异常1204的被观察对象1202的表面1210的图像1201中所示, 基于参考表面光标1231、1232、1233在图像1201上的放置来建立参 考表面1220。半透明图形叠加层1240覆盖在二维图像1201中具有相 关联的表面点的像素上,该相关联的表面点具有小于距三维参考表面 1220的预定距离的三维表面坐标。如图19A所示,只有参考表面1220 的一小部分被图形叠加层1240覆盖,这表明参考表面1220相对于对 象表面1210倾斜或者没有很好地对准。因此,利用该参考表面1220 对异常1204进行的测量可能不准确。图形叠加层1240的存在将提示 用户修改参考光标位置,以找到被图形叠加层1240更好覆盖的更好 匹配的参考表面1220。
图19B描绘了对准良好的参考表面1260,其中参考表面1260几 乎完全被图形叠加层1280覆盖。如包括异常1244的被观察对象1242 的表面1250的图像1241所示,基于参考表面光标1271、1272、1273 在图像1241上的放置来建立参考表面1260。半透明图形叠加层1280 覆盖在二维图像1241中具有相关联的表面点的像素上,该相关联的 表面点具有小于距三维参考表面1260的预定距离的三维表面坐标。 如图19B所示,整个参考表面1260都被图形叠加层1280覆盖,这表 明参考表面1260与对象表面1250正确对准。因此,利用该参考表面 1260对异常1244进行的测量可能是精确的。图形叠加层1280的存在 将通知用户光标位置不需要修改。
在一个示例中,随着光标被用户移动,图形叠加层可以实时更新。 在其它示例中,例如,对于诸如深度轮廓(depth profile)和面积深度 轮廓(area depth profile)测量的测量类型,图形叠加层可以在光标移 动时临时显示,并且可以在光标移动停止后几秒钟被移除。对于深度 测量,每当参考表面光标处于活动状态时,图形叠加层可以被显示, 如果第四个光标或结果处于活动状态,图形叠加层就可以被隐藏。在 另一示例中,每当参考表面处于活动状态时,图形叠加层可以始终被 显示。
为了确定是否在二维图像中的像素上放置图形叠加层,视频检查 设备100(例如,CPU 150)确定该像素是否与具有小于距三维参考表面 的预定距离(或在该距离内)的三维坐标的表面点相关联。在一些实施 例中,表面点和参考表面之间的距离可以被确定为垂直距离,而在其 它实施例中,该距离可以是非垂直距离。
在一个实施例中,如果像素的相关联表面点距参考表面的距离在 该表面点的z值的+/-1%之内,则该像素可以包括在图形叠加层中。 在一个实施例中,视频检查设备100(例如,CPU 150)可以执行坐标变 换,使得参考表面上所有点的变换后的z值为z=0。因此对于给定的 表面点,视频检查设备100(例如,CPU 150)可以将表面点的实际(未 变换的)z值与变换后的z值进行比较。如果变换后的z值的绝对值(提 供与参考表面的垂直距离)小于实际z值的1%,则可以将与该表面点 相关联的像素包括在图形叠加层中。
在不需要坐标变换的另一个实施例中,对于每个像素,视频检查 设备100(例如,CPU 150)可以确定在参考表面上的垂直投影,并且确 定在垂直方向上从表面点到参考表面的距离。如果该垂直距离小于实 际z值的1%,则可以将与该表面点相关联的像素包括在图形叠加层中。 例如,如果距离为0.08mm,表面点的z值为10.0mm,则可以将与该 表面点相关联的像素包括在图形叠加层中。
在不需要垂直距离的另一个实施例中,对于每个像素,视频检查 设备100(例如,CPU 150)可以确定表面点的实际z坐标和从该表面点 投影的参考表面上的对应投影点的z坐标,其中这种投影不一定在垂 直方向上。如果参考表面上的z值和对应表面点的z值之间的差小于 任一z值的1%,则可以将与该表面点相关联的像素包括在图形叠加层 中。
鉴于上述原因,本发明的实施例允许确定参考表面是否与物理对 象表面正确地对准并准确地表示该物理对象表面。技术效果是提供涉 及参考表面的更精确的测量。
在一些情况下,当观察二维图像或者甚至点云视图时,用户可能 难以理解视觉检查设备的探针尖端是相对于被检查对象定向的。例 如,用户可能难以理解如何调整观察视角。图20示出了显示从视场 原点1330(0,0,0)延伸的视场线1331、1332、1333、1334的对象1310 的完整图像点云视图1300,以提供视频检查设备100的探针的尖端相 对于对象1310的取向的视觉指示。如图20所示,参考表面1320及 其位置也可以由附加特征表示,例如矩形或正方形。在一个实施例中, 用户可以根据需要打开或关闭视场线1331、1332、1333、1334。
在如本文所述的涉及参考表面的一些应用中,可能希望在参考表 面上进行测量,所述测量涉及可以包括至少一个不位于参考表面上的 表面点的特征,所述表面点甚至可能距参考表面有显著的距离。当参 考表面是参考平面时,这种测量可以被描述为对面外表面点的面内测 量(in-plane measurement to an out of plane surface point)。
图21示出了与具有上表面1411和下表面1412的对象1410的点 云视图1402并排的二维图像1401。如图21所示,基于参考表面光标 1431、1432、1433在图像1401上的放置来建立参考表面1420。如上 文所解释的,通过校准,与参考表面光标1431、1432、1433中的每 一个相关联的每个像素的相关联的三维轨迹是已知的,并用于计算轨 迹线在三维空间中与参考表面1420相交的位置,以确定参考表面1420 上的投影参考表面点1424、1425、1426。在一个实施例中,用户可能 想要测量参考表面1420上从上表面1411和下表面1412之间的第一 边缘1413到不在参考表面1420上的下表面1412上的感兴趣点1450 的距离。该测量可以使用例如具有在第一测量光标1434(参考表面点 1424)和第二测量光标1435(第二参考点1425)之间的第一测量线 1441(参考线)和在第一测量线1441(参考线)和第三测量光标1436(参 考表面点1426)之间的第二测量线1442的点到线测量来执行,所述第 三测量光标1436定位在参考表面上与下表面1412上的感兴趣点的位 置相对应的点处。
从图21的图像1401和点云视图1402中可以看出,基于对象1410 的视角和几何形状,第三测量光标1436(和对应的参考表面点1426) 相对于感兴趣点1450在视觉上偏移(即,不直接在感兴趣点1450上 方或视觉上对齐),使得在参考表面1420上找到与下表面1412上的 感兴趣点1450相对应的第三测量光标1436(和对应的参考表面点 1426)的正确位置可能是具有挑战性的。为了帮助用户,视频检查设 备100(例如CPU 150)可以在点云视图1402上提供引导线(例如引导 线1460),以帮助用户放置第三测量光标1436。
在一个实施例中,当执行涉及参考表面1420(例如,测量平面) 的测量时,视频检查设备100(例如,CPU 150)识别对象表面(例如, 下表面1412)上靠近(例如,在0.1mm内)与参考表面1420垂直并穿过 从测量光标1436投影的投影参考表面点1426的点。如果找到这样的 表面点,则视频检查设备100(例如,CPU 150)在点云视图1402中提 供从与测量光标1436(或对应的参考表面点1426)相对应的参考表面 1420上的三维坐标沿垂直方向延伸的引导线1460。在一个实施例中, 球体放置在表面点(例如,如图21的点云视图1402中所示的感兴趣 点1450)上。该引导线1460帮助用户将第三测量光标1436定位在二 维图像1401中与感兴趣点1450相对应的位置处的参考表面1420上, 以提供精确的测量。因此,用户可以在二维图像1401中移动第三测 量光标1436,直到与该光标1436相关联的引导线1460在感兴趣点 1450处接触下表面1412。在一个实施例中,引导线1460可以可选地 隐藏或显示。
在使用视频检查设备100的一些检查中,用户需要将测量光标放 置在对象的边缘。例如,图22A示出了在示例性实施例中与对象(涡 轮叶片1510)的点云视图1502并排的另一个二维图像1501。如图22A 所示,涡轮叶片1510的边缘1512具有凹痕1513,凹痕1513可能是 例如由穿过涡轮发动机的石头或其它异物引起的。在一个实施例中, 在用户可能想要测量凹痕1513的尺寸的情况下,用户可以将第一测 量光标1541和第二测量光标1542定位在涡轮叶片1510的边缘1512 上,并将第三测量光标1543定位在凹痕1513的边缘上。三个测量光 标1541、1542、1543可以用于使用在第一测量光标1541和第二测量 光标1542之间的第一测量线1541(参考线)以及在第一测量线 1541(参考线)和第三测量光标1543之间的第二测量线1542来执行凹 痕1513的深度的点到线测量。第二测量线1542的长度提供凹痕1513 的深度。
在许多情况下,涡轮叶片1510的边缘1512上的点的三维坐标要 么不可用要么不是高度精确。因此,与上述缺失拐角测量一样,凹痕 1513的点到线测量可以在参考表面(例如测量平面)上进行。基于参考 表面光标1531、1532、1533在三维坐标可用且高度精确的图像1501 上的放置,在涡轮叶片1510的表面1511上建立参考表面1520。一旦 建立了参考表面1520,就可以使用与测量光标1541、1542、1543相 关联的参考表面1520上的投影参考表面点1521、1522、1523的三维 坐标,在参考表面1520上执行凹痕1513的点到线测量,如图22A和 22B所示。
该测量的精度取决于用户将第一测量光标1541和第二测量光标 1542放置在涡轮叶片1510的实际边缘1512上的精度。例如,测量依 赖于用户将第一测量光标1541和第二测量光标1542放置在涡轮叶片 1510的实际边缘1512上的精度,使得与测量光标1541、1542相关联 的参考表面1520上的投影参考表面点1521、1522准确地反映涡轮叶 片1510的实际边缘1512的几何位置。在许多情况下,涡轮叶片1510 的边缘1512是被倒圆的(radiused)或弯曲的,使得涡轮叶片1510 的实际边缘1512弯曲远离涡轮叶片1510的表面1511,并且不在参考 表面1520上,如图22A所示。
图22B示出了视频检查设备100的边缘视角(θ)与参考表面1520 之间的几何关系。如图22A和22B所示,根据从视场(由视场线1561、 1562、1563、1564示出)的原点1560(坐标(0,0,0))引出的边缘视角 线1570(或下面描述的边缘视图平面1572)和参考表面1520或涡轮叶 片1510的表面1511之间的边缘视角(θ),当试图将第一测量光标 1541放置在涡轮叶片1510的边缘1512上时,用户可能不知不觉地不 能看到涡轮叶片1510的实际边缘1512。例如,如图22B所示,基于 边缘视角(θ),用户将打算放置在涡轮叶片1510的实际边缘1512上的第一测量光标1541错误地放置在涡轮叶片1510上的不是边缘1512 的点上。如图22B所示,由于光标放置不准确,与测量光标1541、1543 相关联的参考表面1520上的投影参考表面点1521、1523之间的距离 (B)(即,凹痕1513的测量深度)将小于基于如果第一测量光标1541 放置在实际边缘1512上将会产生的正确投影参考表面点1571而测量 的凹痕1513的实际深度(A)。如果边缘视角线1570(或下文描述的边 缘视图平面1572)与参考表面1520或涡轮叶片1510的表面1511之间 的边缘视角(θ)更接近90度(或者如果边缘视角线1570(或下文描述 的边缘视图平面1572)与垂直于参考表面1520或涡轮叶片1510的表 面1511的平面1580之间的边缘视角(φ)更接近0度),则可以避免 该误差。
在一个实施例中,如图22A和22B所示,视频检查设备100可以 采用警告系统,其中当在测量光标被放置在边缘上的位置处存在不期 望的(例如,远离垂直的)观察视角时,向用户给出视觉或听觉警告。 在涉及点到线测量或涉及对象1510的边缘1512的其它测量(面积、 长度、深度等)的一个实施例中,该测量涉及沿着对象1510的边缘1512 放置的两个或更多个测量光标1541、1542以形成第一测量线1551(参 考线),视频检查设备100(例如,CPU150)使用边缘检测来确定测量 光标1541、1542中的任一个是否位于边缘(例如,涡轮叶片1510的 边缘1512)附近。如果一个或多个测量光标1541、1542沿着边缘1512 放置,则视频检查设备100(例如,CPU 150)可以基于视场的原点 1560(0,0,0)的三维坐标以及与沿着涡轮叶片1510的边缘1511放置 的测量光标1541、1542相关联的三维坐标来确定边缘观察平面1572。 在一个实施例中,如图22B所示,视频检查设备100(例如,CPU 150) 然后确定边缘视图平面1572和参考表面1520之间的边缘视角(θ), 对于光标放置在边缘上的最佳边缘视角,该角度理想地为90度(垂 直)。在另一个实施例中,视频检查设备100(例如,CPU 150)确定在 边缘视图平面1572和垂直于参考表面1520并且包括与沿着涡轮叶片 1510的边缘1511放置的测量光标1541、1542相关联的三维坐标的平 面1580之间的边缘视角(φ),对于光标放置在边缘上的最佳边缘视 角,该角度理想地为0度(平行)。如果计算出的边缘视角(θ或φ) 在可接受的角度范围之外或超过(或低于)阈值(例如,如果θ小于60 度,或者如果φ大于30度),则视频检查设备100可以向用户显示 警告消息1503(例如,“为了提高精度,在边缘附近的光标处用更垂 直的视图捕捉”)。显示测量结果和边缘视角的文本框1504的边界可 以用警告颜色(橙色)照亮并闪烁以警告用户。此外,位于边缘视图平 面1570上并且垂直于第一测量线1541(参考线)的边缘视角线1570也 可以在点云视图1502上以警告颜色(例如橙色)示出。如图22A所示, 点云视图1502包括视场线1561、1562、1563、1564和参考平面1520 的表示,以帮助用户重新定位视频检查设备的探针的尖端,从而改善 边缘视角,以便更精确地放置光标。
在图22A和22B所示的示例性点到线测量中,除了放置在涡轮叶 片1510的边缘1512上的第一测量光标1541和第二测量光标1542之 外,还沿着凹痕1513的边缘放置第三测量光标1543。类似地,在图 15A和15C中,测量中涉及并且偏离前两个测量光标的第三或第四光 标也可以放置在对象的另一边缘上。在一个实施例中,除了基于形成 第一测量线1551(参考线)的前两个测量光标1541、1542确定边缘观 察平面1572之外,视频检查设备100(例如,CPU 150)还可以确定第 三测量光标1543是否靠近边缘以及该边缘是否平行于或垂直于第一 测量线1551(参考线)。视频检查设备100(例如,CPU 150)可以基于
视频检查设备100(例如,CPU 150)然后确定边缘视角和点视角之 间的所选视角,其中所选视角然后用于确定是否需要提供警告。例如, 如果(i)测量光标1541、1542、1543均不靠近边缘或者(ii)第一测量 光标1541或第二测量光标1542中的至少一个靠近边缘并且第三测量 光标1543靠近边缘,则选择的视角是边缘视角和点视角中的较大者。 如果第一测量光标1541或第二测量光标1542中的至少一个靠近边 缘,但是第三测量光标1543不靠近边缘,则所选视角是边缘视角。 如果第一测量光标1541或第二测量光标1542都不靠近边缘,但是第 三测量光标1543靠近边缘,则选择的视角是点视角。如果所选视角 (θ或φ)在可接受的角度范围之外或超过(或低于)阈值,则视频检 查设备100可以向用户显示警告消息1503(例如,“为了提高精度, 在边缘附近的光标处用更垂直的视图捕捉”)。显示测量结果和边缘 视角的文本框1504的边界可以用警告颜色(橙色)照亮并闪烁以警告 用户。
鉴于上述原因,本发明的实施例在视角可能产生不准确的光标放 置时警告用户。技术效果是提供涉及光标放置的更精确的测量。
在一些情况下,用户可能希望在可能具有边缘轮廓弯曲的叶片的 涡轮上或附近执行测量。例如,如果沿边缘发生损坏,用户可能需要 测量损坏从边缘延伸多远。此外,用户还可以使用磨削工具从损坏周 围的边缘移除材料。在这种情况下,用户可能需要测量损坏和从原始 弯曲边缘开始的磨削深度两者,以确保获得不会具有可能导致失效的 应力集中的轮廓。不考虑叶片边缘曲率的点到线测量不能提供期望的 信息。
使用本文所提出的技术实现的优点可以包括参考轮廓的使用,超 越点到线测量,以及能够考虑诸如涡轮的叶片边缘的对象的曲率。在 一个实施例中,使用沿着未受损叶片边缘的点来定义三维参考轮廓, 然后当在受损或修复的叶片的图像上测量时调用该三维参考轮廓。这 允许从弯曲的原始表面进行测量。在这种情况下,在定义和调用参考 轮廓时,参考表面用于将参考轮廓定向到三维空间中的叶片表面。
当外形被调用以用于已经损坏或融合(研磨)的叶片上时,参考轮 廓可以定位成与三维空间中叶片的剩余未改变边缘对准。有几种方法 可以做到这一点。一个示例是使用与参考表面光标相关联的三维坐标 在其中定义了参考轮廓的原始图像和其中调用参考轮廓的第二图像 中建立替代坐标系,然后使用该替代坐标系在三维空间中定义并重构 所述轮廓。因此,将参考表面光标放置在两个图像中叶片上的相同位 置处,将使调用的参考轮廓在三维空间中相对于叶片定位在与其在其 中被定义的第一图像中相同的位置和取向,而不管观察位置或角度的 变化。
或者,所调用的参考轮廓可以直接定位在三维视图中。还可以通 过识别二维像素来在二维图像中示出调用的参考轮廓的位置,所述二 维像素具有在三维空间中调用的参考轮廓的最大距离内通过的像素 射线。在另一个实施例中,定义参考轮廓的三维坐标可以使用叶片的 CAD模型或物理示例来确定,然后可以将其导入并定位成与叶片对准。 在另一个实施例中,系统可以存储多个参考轮廓,并且用户可以调用 一个或多个供使用。在另一个实施例中,系统可以使用调用的参考轮 廓来计算几何尺寸。例如,可以计算所调用的参考轮廓与用户指定的 三维表面坐标或投影的三维参考表面坐标之间的最短距离。
图18示出了测量平面(3个连接的光标)和由其它7个光标定义的 参考轮廓的并排二维/三维视图。参考轮廓使用三维三次样条拟合, 以更好地跟随弯曲边缘轮廓,并且只需少量光标,如点云所示。在这 种情况下,参考轮廓是使用三维表面坐标来定义的,尽管它也可以使 用投影三维测量表面坐标来定义。光标位置处的三维表面坐标可以被 保存以表示参考轮廓。
视频检查设备可用于执行各种测量以确定特定表面点或表面之 间的深度或高度,包括叶片尖端至护罩间隙的测量、凹坑或凹痕的深 度、管道内径、焊缝高度、定子静叶岩石(a stator vane rock)、间隙宽 度等。例如,图23A-25示出了所使用的各种二维和三维(点云)视图, 其可以测量凹坑或凹痕的深度。进行这种深度测量的挑战之一可能是 将测量光标精确地放置在一点上,例如凹坑或凹痕的最深点。如将解 释的,并且如图23A-25所示,诸如半透明深度平面图形叠加层1650(例 如浅蓝色)的视觉指示可以被放置在与具有小于距深度平面1(depth plane)652的预定距离的三维表面坐标的表面点相关联的像素上,该 深度平面1652平行于参考表面(例如平面)1620,并且穿过与测量光 标1634的位置相对应的测量点1624,以帮助用户将测量光标1634放 置在最深点处。
图23A是显示具有凹坑或凹痕1605的被观察对象1604的二维图 像1602和凹坑或凹痕1605的三维点云视图1603的并排图像1601, 示出了深度平面图形叠加层1650(例如,浅蓝色),其中测量光标1634 位于远离最深点的位置。图23B是图23A所示具有凹坑或凹痕1605 的被观察对象1604的二维图像1602的放大图,示出了深度平面图形 叠加层1650。
在一个实施例中,如图23A所示,总共三个参考表面光标1631、 1632、1633(或其它定点设备)被放置在二维图像1602或点云视图1603 上以形成参考表面1620。如结合图19A和19B所解释的,参考表面叠 加层1640(例如,绿色)可以被放置在二维图像1602或点云视图1603 中具有相关联的表面点的像素上,所述相关联的表面点具有与三维参 考表面1620相距小于预定距离的三维表面坐标,以帮助用户评估参 考表面1620和对象表面1604之间的匹配。
在图23A和23B所示的深度测量中,测量光标1634应该放置在 凹坑或凹痕1605的最深点处,以精确地测量异常的深度1670。为了 帮助用户准确放置测量光标1634,视频检查设备100(例如CPU 150) 可以确定平行于参考表面(例如平面)1620并穿过与测量光标1634的 位置相对应的测量表面点1624的深度平面1652。视频检查设备100 然后可以将半透明深度平面图形叠加层1650(例如,浅蓝色)放置在二 维图像1602和点云视图1603中与具有小于距深度平面1652的预定 距离的三维表面坐标的表面点相关联的像素上,以帮助用户将测量光 标1634放置在最深点处。
为了确定是否将深度平面图形叠加层1650放置在二维图像中的 像素上,视频检查设备100(例如,CPU 150)可以确定该像素是否与具 有小于距深度平面1652的预定距离(或在该距离内)的三维坐标的表 面点相关联。在一些实施例中,表面点和深度平面1652之间的距离 可以被确定为垂直距离,而在其它实施例中,该距离可以是非垂直距 离。在一个实施例中,靠近深度平面1652的对象的表面点可以由固 定的垂直距离(例如,±0.1mm)、可变的垂直距离、或简化的度量(例 如z值距离)来限定,以便于计算。在一个实施例中,深度平面图形 叠加层1650包括与深度平面1652的垂直距离小于表面点1624的z 值的0.2%的任何表面点。在另一个实施例中,深度平面图形叠加层 1650包括与深度平面1652的垂直距离小于测量深度1670的1%的任 何表面点。
在一个实施例中,视频检查设备100(例如,CPU 150)可以执行坐 标变换,使得深度平面1652上所有点的变换后的z值为z=0。因此对 于给定的表面点,视频检查设备100(例如,CPU 150)可以将表面点的 实际(未变换的)z值与变换后的z值进行比较。如果变换后的z值的 绝对值(提供与参考表面的垂直距离)小于实际z值的0.2%,则可以将 与该表面点相关联的像素包括在图形叠加层中。
在不需要坐标变换的另一个实施例中,对于每个像素,视频检查 设备100(例如,CPU 150)可以确定在深度平面1652上的垂直投影, 并且确定在垂直方向上从表面点到深度平面1652的距离。如果该垂 直距离小于实际z值的0.2%,则可以将与该表面点相关联的像素包括 在图形叠加层中。
在不需要垂直距离的另一个实施例中,对于每个像素,视频检查 设备100(例如,CPU 150)可以确定表面点的实际z坐标和从该表面点 投影的深度平面1652上的对应投影点的z坐标,其中这种投影不一 定在垂直方向上。如果深度平面1652上的z值和对应表面点的z值 之间的差小于任一z值的0.2%,则可以将与该表面点相关联的像素包 括在图形叠加层中。
如图23A-25所示,如果所得深度测量结果为负,表明测量点1624 在参考表面1620下方,则深度颜色梯度叠加层1660可以用于用指示 最深点(离参考平面1620最远)的第一颜色1662(例如红色)突出显示 比测量光标1634和相关联的测量点1624更深的区域和指示最浅点 (离深度平面1652最近)的第二颜色1661(例如深蓝色)突出显示比测 量光标1634和相关联的测量点1624更深的区域。在一个实施例中, 深度平面图形叠加层1650的颜色应当与附近深度处的梯度颜色相区 别(例如,浅蓝色叠加层与用于最浅点的梯度中的深蓝色叠加层相区 别)。在一个实施例中,深度颜色梯度叠加层1660突出显示深度平面 1652下方直至异常的最深点的表面点。彩色叠加层可以变化,并且可 以由用户或通过其它手段预编程和/或选择。
视频检查设备100(例如,CPU 150)可以执行泛洪操作(flooding operation),以寻找要包括在深度颜色梯度叠加层1660的标度中的表 面点,所述表面点连接到测量点1624并且比例如在参考表面1620和 深度平面1652之间的一半处的平面深,以避免在深度平面图形叠加 层1650中包括不期望的或不相关的表面点。这样,未连接的负区域 不是深度颜色梯度叠加层1660的标度的一部分,以使深度颜色梯度 叠加层1660标度到可能的感兴趣区域,而不是过度包括其它表面上 的远点等。在一个实施例中,泛洪操作从与测量表面光标1634和/或 测量点1624相关联的像素开始,并确定哪些像素连接到该像素。如 果这些像素与比参考表面1620和深度平面1652之间的中间平面更深 的表面点相关联,则它们被包括为泛洪操作中的连接点。因此,连接 到这些像素的像素被类似地评估。当泛洪操作完成时,可以基于由泛 洪操作识别的(多个)最深点来标度深度颜色梯度叠加层1660。
在一个示例中,深度平面图形叠加层1650可以在测量光标1634 被用户移动时实时更新。在其它示例中,例如,对于诸如深度轮廓和 面积深度轮廓测量的测量类型,深度平面图形叠加层1650可以在测 量光标1634处于活动状态时示出,并且可以在测量结果处于活动状 态时关闭。在一个实施例中,当最后一个测量光标1634被放置并且 测量结果被显示并且变为活动时,深度平面图形叠加层1650被短暂 地显示,然后被隐藏,直到光标被激活。测量期间深度平面图形叠加 层1650和深度颜色梯度叠加层1660的实时显示可以允许用户将测量 光标1634更准确地放置在期望的表面点(例如,凹坑或凹痕1605的 最深点)上。
例如,如图23A和23B所示,当测量光标1634定位远离凹坑或 凹痕1605的最深点处时,深度平面图形叠加层1650和深度颜色梯度 叠加层1660显示存在比测量点1624更深的若干表面点,这表明测量 光标1634应当朝向最深点(例如,在深度颜色梯度叠加层1660中以 第一颜色1662(例如,红色)示出)移动。这也显示在图23A的点云视 图1603上,其中测量光标1634和相关联的测量点1624的深度1670 位于远离凹坑或凹痕1605的最深点1662处。
图23A和23B中的深度颜色梯度叠加层1660的相对大的面积例 如向用户指示存在比与测量光标1634相关联的测量点1624更深的若 干表面点。如图24A和24B所示,当测量光标1634朝深度颜色梯度 叠加层1660上的更深点(以第一颜色1662(例如红色)示出)移动时, 深度颜色梯度叠加层1660的面积减小,这表明测量光标1634越来越 接近最深点。特别地,图24A和24B的深度颜色梯度叠加层1660显 示深度颜色梯度叠加层1660中存在较少的表面点,这向用户指示有 较少的表面点比测量点1624更深。在深度平面图形叠加层1650和深 度颜色梯度叠加层1660的引导下,在图25中,用户已经将测量光标 1634移动到凹坑或凹痕1605的最深点,使得测量光标1634(和相关 联的测量点1624)被精确地放置在凹坑或凹痕1605的最深点处,如缺 乏任何可见深度颜色梯度叠加层1660所证明的。与测量光标1634相 关联的测量点1624距参考表面1620的深度1670在图25中的点云视 图1603中示出。
图26和27提供了在用于测量凹坑或凹痕1705的深度的二维视 图1702和三维(点云)视图1703上使用深度平面图形叠加层1750和 深度颜色梯度叠加层1760的另一个图示。如图26所示,当测量光标 1734位于远离凹坑或凹痕1705的最深点处时,深度平面图形叠加层 1750和深度颜色梯度叠加层1760(从浅色点1761过渡到最深点1762) 显示存在比测量点1724更深的若干表面点,这表明测量光标1734应 当朝向最深点(例如,在深度颜色梯度叠加层1760中以第一颜色 1762(例如,红色)示出)移动。这也显示在图26的点云视图1703上, 其中测量光标1734和相关联的测量点1724的深度1770位于远离凹 坑或凹痕1705的最深点1762处。
图26中的深度颜色梯度叠加层1760的相对大的面积指示存在比 与测量光标1734相关联的测量点1724更深的若干表面点。在深度平 面图形叠加层1750和深度颜色梯度叠加层1760的引导下,在图27 中,测量光标1734已经被例如用户移动到凹坑或凹痕1705的最深点, 使得测量光标1734(和相关联的测量点1724)被精确地放置在凹坑或 凹痕1705的最深点处,如缺乏任何可见深度颜色梯度叠加层1760所 证明的。与测量光标1734相关联的测量点1724距参考表面1720的 深度1770在图27中的点云视图1703中示出。如图26和27所示,被检查的凹坑或凹痕1705具有相对平坦的底部,使得最大深度处的 深度平面图形叠加层1750示出在最大深度处或最大深度附近存在若 干表面点。
图28是显示涡轮叶片1805的尖端和护罩1806之间的区域的二 维图像1802及其三维点云视图1803的并排图像1801,示出了深度平 面图形叠加层。该深度测量(或高度测量)可以在涡轮检查中提供尖端 到护罩的距离或间隙1870。如在图23A-25的示例中,基于图29中所 示的三个参考表面光标确定参考表面1820。在图29所示的尖端到护 罩的测量中,测量光标1834应该放置在涡轮叶片1805的边缘或尖端 上,以精确地测量深度(尖端到叶片间隙1870)。在图29所示的示例 中,测量光标1834被放置在涡轮叶片1805上,并且深度平面图形叠 加层1850(例如浅蓝色)可以被放置在与具有小于距深度平面1852的 预定距离的三维表面坐标的表面点相关联的像素上,该深度平面1852 平行于参考表面(例如平面)1820并且穿过与测量光标1834的位置相 对应的测量点1824,以帮助用户将测量光标1834放置在涡轮叶片 1805的边缘或尖端上。由于图29中的深度平面图形叠加层1850看起 来与涡轮叶片1805的边缘或尖端对准,用户可以确信测量光标1834 位于代表涡轮叶片1805的大部分的尖端间隙(tip clearance)1870的 点上。在该实施例中,由于深度测量值(尖端间隙1870)是正的,所以 没有颜色梯度。
视频检查设备可用于执行各种测量以确定表面点或表面之间的 长度,包括焊缝或狭槽的宽度的测量。例如,图29A-29B示出了用于 测量狭槽的宽度的各种二维和三维(点云)视图。在一些情况下,在横 跨狭槽进行长度测量时可能存在挑战,其中在所述点之间形成的线与 每个壁垂直(例如,不是对角关系)的情况下,可能难以在视觉上确定 狭槽的每一侧上的点,并将光标放置在该点处,以提供狭槽的精确宽 度。如将解释的和如图29A-29B所示,诸如第一半透明边缘平面图形 叠加层1950(例如浅蓝色)和第二半透明边缘平面图形叠加层1960的 视觉指示可以放置在与分别具有小于距第一边缘平面(a first edgeplane)1952和第二边缘平面1962的预定距离的三维表面坐标的表面 点相关联的像素上,第一边缘平面1952和第二边缘平面1962垂直于 与测量光标1931、1932的位置相对应的测量点1921、1922之间的三 维线1970,以帮助用户或其它放置装置将测量光标1931、1932放置 在狭槽1904的壁1905、1906上。
图29A是显示具有第一壁1905和第二壁1906的狭槽1904的二 维图像1902以及狭槽1904的三维点云视图1903的并排图像1901, 示出了第一半透明边缘平面图形叠加层(semi-transparent edge plane graphic overlay)1950(例如浅蓝色)和第二半透明边缘平面图形叠加层 1960,其中测量光标1931、1932彼此对角地放置在第一壁1905和第 二壁1906上。
在一个实施例中,如图29A所示,第一测量光标1931在二维图 像1902或点云视图1903上放置在狭槽1904的第一壁1905上的第一 测量点1921上。类似地,第二测量光标1932在二维图像1902或点 云视图1903上放置在狭槽1904的第二壁1906上的第二测量点1922上。在图29A所示的长度测量中,测量光标1931、1932可以彼此相 对放置,以精确地测量狭槽1904的宽度。在某些情况下,测量光标 1931应该彼此正对地放置。为了帮助用户准确地放置测量光标1931、 1932,视频检查设备100(例如,CPU 150)可以确定测量点1921、1922之间的三维线1970。视频检查设备100(例如,CPU 150)然后可以确 定第一边缘平面1952,第一边缘平面1952垂直(正交)于三维线1970 并且穿过与第一测量光标1931的位置相对应的第一测量点1921。视 频检查设备100然后可以将第一半透明边缘平面图形叠加层1950(例 如,浅蓝色)放置在二维图像1902和点云视图1903中与具有小于距 第一边缘平面1952的预定距离的三维表面坐标的表面点相关联的像 素上,以帮助用户将第一测量光标1931放置在狭槽1904的第一壁 1905上。视频检查设备100(例如,CPU 150)还可以确定第二边缘平 面1962,第二边缘平面1962垂直(正交)于三维线1970(和/或平行于 第一边缘平面1952)并穿过与第二测量光标1932的位置相对应的第二 测量点1922。视频检查设备100然后可以将第二半透明边缘平面图形 叠加层1960(例如,浅蓝色)放置在二维图像1902和点云视图1903中 与具有小于距第二边缘平面1962的预定距离的三维表面坐标的表面 点相关联的像素上,以帮助用户将第二测量光标1932放置在狭槽1904 的第二壁1906上,并且与第一测量光标1931相对,例如正对。
为了确定是否将边缘平面图形叠加层1950、1960放置在二维图 像中的像素上,视频检查设备100(例如,CPU 150)可以确定该像素是 否与具有小于距边缘平面1952、1962的预定距离(或在该距离内)的 三维坐标的表面点相关联。在一些实施例中,表面点与边缘平面1952、 1962之间的距离可以被确定为垂直距离,而在其它实施例中,该距离 可以是非垂直距离。在一个实施例中,边缘平面图形叠加层1950、1960 包括与边缘平面1952、1962的垂直距离小于测量点1921、1922的x 值的0.2%的任何表面点。在另一个实施例中,边缘平面图形叠加层 1950、1960包括与边缘平面1952、1962的垂直距离小于测量长度1970 的1%的任何表面点。
在一个示例中,当用户移动测量光标1931、1932时,边缘平面 图形叠加层1950、1960可以实时更新。在其它示例中,边缘平面图 形叠加层1950、1960可以在测量光标1931、1932处于活动状态时示 出,并且可以在测量结果处于活动状态时关闭。在一个实施例中,当 第二测量光标1932被放置并且测量结果被显示并变为活动时,边缘 平面图形叠加层1950、1960被短暂地显示,然后被隐藏,直到光标 被激活。在测量期间边缘平面图形叠加层1950、1960的实时显示可 以允许用户更精确地将测量光标1931、1932放置在期望的表面点上 (例如,狭槽1904的每一侧上的点,其中在测量点1921、1922之间 形成的三维线1970与每个壁1905、1906垂直(例如,不是对角关系), 并且可以提供狭槽1904的精确宽度)。
例如,如图29A所示,当测量光标1931、1932(和测量点1921、 1922)之间的三维线1970与狭槽1904的壁1905、1906不垂直(例如, 是对角关系)时,边缘平面图形叠加层1950、1960和边缘平面1952、 1962不与壁1905、1906对准,这向用户指示测量光标1931、1932中的一个或两个可能需要重新定位。否则,与狭槽1904的壁1905、1906 成对角关系的三维线1970的测量长度可能提供狭槽1904的宽度的不 准确测量(即,太宽)。
如图29B所示,当移动第二测量光标1932使得光标1931、1932(和 测量点1921、1922)之间的三维线1970垂直于狭槽1904的壁1905、 1906(例如,不是对角关系)时,边缘平面图形叠加层1950、1960和 边缘平面1952、1962与壁1905、1906对准,这表明狭槽1904的测量宽度是精确的。
视频检查设备可用于执行各种测量以确定从点到线的距离,包括 涡轮叶片边缘损坏的测量和间隙、凹槽或焊缝的宽度/长度的测量。 例如,图30A-30B示出了用于测量涡轮叶片边缘损坏的各种二维和三 维(点云)视图。在一些情况下,在对涡轮叶片的边缘进行点到线测量 时遇到的挑战是,可能难以在视觉上确定涡轮叶片的实际边缘上的点 并在该点处放置光标,以提供损坏部分的精确测量。如将解释的和如 图30A-30B所示,诸如第一半透明边缘平面图形叠加层2050(例如浅 蓝色)和第二半透明边缘平面图形叠加层2060的视觉指示可以分别放 置在与具有小于距第一边缘平面2052和第二边缘平面2062的预定距离的三维表面坐标的表面点相关联的像素上。边缘平面2052、2062 可以垂直于在第三测量光标2036与第一测量光标2034和第二测量光 标2035之间的三维参考线2071之间的三维长度线2070,并穿过与测 量光标2034、2035、2036的位置相对应的投影参考表面点2024、2025、 2026,以帮助用户将测量光标2034、2035放置在涡轮叶片2004的边 缘2005上以及缺失部分2006的边缘上。
图30A是并排图像2001,其显示具有缺失部分2006的涡轮叶片 2004的边缘2005的二维图像2002和涡轮叶片2004的边缘2005的三 维点云视图2003,示出了测量光标2034、2035不位于涡轮叶片2004 的边缘2005上的边缘平面图形叠加层2050、2060。
在一个实施例中,如图30A所示,视频检查设备100(例如,CPU 150) 可以确定由参考表面光标2031、2032、2033形成的三维参考表面 2020(例如,测量平面),如上文结合图15A和17所述。如图30A所 示,例如,然后可以将总共三个测量光标2034、2035、2036定位在图像2001的测量光标像素2044、2045、2046上,以执行点到线测量。 与图像2001的每个二维测量光标像素2044、2045、2046相关联的三 维轨迹是已知的,并且可以用于计算来自图像2001的每个测量光标 像素2044、2045、2046的轨迹线被定位并与三维空间中的参考表面2020相交的位置(例如,其可以是将使用内插的分数像素位置),以确 定与参考表面2020上的那些测量光标像素2044、2045、2046相关联 的投影参考表面点2024、2025、2026。
为了进行点到线测量,视频检查设备100(例如,CPU 150)可以确 定对应于测量光标2034、2035的投影参考表面点2024、2025之间的 参考线2071。视频检查设备100(例如,CPU 150)然后可以确定对应 于第三测量光标2036的投影表面点2026与参考线2071之间的三维 长度线2070。视频检查设备100(例如,CPU 150)可以确定第一边缘 平面(a firstedge plane)2052,第一边缘平面2052垂直(正交)于三维长 度线2070并且穿过与测量光标2034、2035相对应的第一投影参考表 面点2024和第二投影参考表面点2025。视频检查设备100然后可以 将第一半透明边缘平面图形叠加层(a first semi-transparent edgeplane graphic overlay)2050(例如,浅蓝色)放置在二维图像2002和点云视图 2003中与具有小于距第一边缘平面2052的预定距离的三维表面坐标 的表面点相关联的像素上,以帮助用户放置测量光标2034、2035,使 得对应的投影参考表面点2024、2025对应于涡轮叶片2004的实际边 缘2005。视频检查设备100(例如,CPU 150)还可以确定第二边缘平 面2062,第二边缘平面2062垂直(正交)于三维长度线2070(和/或平 行于第一边缘平面2052)并且穿过与要放置在缺失部分2006的边缘处 的第三测量光标2036的位置相对应的第三投影参考表面点2026。视 频检查设备100然后可以将第二半透明边缘平面图形叠加层2060(例 如,浅蓝色)放置在二维图像2002和点云视图2003中与具有小于距 第二边缘平面2062的预定距离的三维表面坐标的表面点相关联的像 素上。
为了确定是否将边缘平面图形叠加层2050、2060放置在二维图 像中的像素上,视频检查设备100(例如,CPU 150)确定该像素是否与 具有小于距边缘平面2052、2062的预定距离(或在该距离内)的三维 坐标的表面点相关联。在一些实施例中,表面点与边缘平面2052、2062 之间的距离可以被确定为垂直距离,而在其它实施例中,该距离可以 是非垂直距离。在一个实施例中,边缘平面图形叠加层2050、2060 包括与边缘平面2052、2062的垂直距离小于表面点2021、2022的x 值的0.2%的任何表面点。在另一个实施例中,边缘平面图形叠加层 2050、2060包括与边缘平面2052、2062的垂直距离小于三维长度线 2070的1%的任何表面点。
在一个示例中,当测量光标2034、2035、2036例如由用户移动 时,边缘平面图形叠加层2050、2060可以实时更新。在其它示例中, 边缘平面图形叠加层2050、2060可以在测量光标2034、2035、2036 处于活动状态时示出,并且可以在测量结果处于活动状态时关闭。在一个实施例中,当第三测量光标2036被放置并且测量结果被显示并 变为活动时,边缘平面图形叠加层2050、2060被短暂地显示,然后 被隐藏,直到光标被激活。在测量期间边缘平面图形叠加层2050、2060 的实时显示允许用户更精确地将测量光标2034、2035放置在涡轮叶片2004的实际边缘2005上和缺失部分2006的边缘上。
例如,如图29A所示,当测量光标2034、2035没有被放置在涡 轮叶片2004的实际边缘2005上时,第一边缘平面图形叠加层2050 和第一边缘平面2052没有与涡轮叶片2004的边缘2005对准,这表 明测量光标2034、2035中的一个或两个应当被重新定位。否则,三 维长度线2070的测量长度将提供缺失部分2006的长度的不准确测 量。
如图30B所示,当测量光标2034、2035放置在涡轮叶片2004的 实际边缘2005上时,第一边缘平面图形叠加层2050和第一边缘平面 2052与涡轮叶片2004的实际边缘2005对准,这向用户指示缺失部分 2006的测量长度是准确的。
图31示出了在示例性实施例中用于测量特征的方法2100的示例 性流程图。在步骤2101中,可以在监视器上显示被观察对象的图像。 在步骤2102中,中央处理器单元可以确定被观察对象的表面上的多 个点的三维坐标。在步骤2103中,可以使用定点设备将一个或多个 测量光标放置在图像上。在步骤2104中,中央处理器可以确定与至 少一个测量光标的位置相对应的测量点。在步骤2105中,中央处理 器单元可以确定边缘平面,其中边缘平面穿过测量点。在步骤2106 中,中央处理器单元可以确定被观察对象的表面上的多个点与边缘平 面之间的距离。在步骤2107中,中央处理器单元可以将被观察对象 的表面上的多个点与边缘平面之间的距离与预定距离阈值进行比较。 在步骤2108中,在图像中的像素上显示边缘平面图形叠加层,所述 像素与被观察对象的表面上的多个点相关联,所述表面上的多个点与 边缘平面的距离低于预定距离阈值。
鉴于上述原因,本发明的实施例允许在进行测量时确定测量光标 是否被精确定位。技术效果是提供例如对象上的异常的更精确的测 量。例如,如果异常的尺寸超过公差规格或其它阈值,检查者可以采 取预防措施(即,使机器或设备停止使用),直到进行修理。
如本领域技术人员将理解的,本发明的各方面可以体现为系统、 方法或计算机程序产品。因此,本发明的各方面可以采取完全硬件实 施例、完全软件实施例(包括固件、常驻软件、微代码等)、或结合软 件和硬件方面的实施例的形式,所述方面在本文中可统称为“服 务”、“回路”、“电路”、“模块”和/或“系统”。此外,本发 明的各方面可以采取具体化在其上具体化有计算机可读程序代码的 一个或多个计算机可读介质中的计算机程序产品的形式。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介 质可以是计算机可读信号介质或计算机可读存储介质。例如,计算机 可读存储介质可以是但不限于电子、磁、光学、电磁、红外或半导体 系统、装置或设备,或上述的任何适当组合。计算机可读存储介质的 更具体示例(非穷举列表)将包括以下:具有一条或多条线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、 可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存 储器(CD-ROM)、光存储设备、磁存储设备或上述的任何适当组合。在 本文档的上下文中,计算机可读存储介质可以是可包含或存储由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用 的程序的任何有形介质。
具体化在计算机可读介质上的程序代码和/或可执行指令可以使 用任何适当的介质传输,包括但不限于无线、有线、光纤电缆、RF等、 或上述的任何适当组合。
用于执行本发明各方面的操作的计算机程序代码可以用一种或 多种编程语言的任何组合来编写,编程语言包括面向对象的编程语 言,例如Java、Smalltalk、C++等,以及常规的程序化编程语言,例 如“C”编程语言或类似的编程语言。程序代码可以完全在用户的计 算机(设备)上执行,部分作为独立软件包在用户的计算机上执行,部 分在用户的计算机上执行并且部分在远程计算机上执行,或者完全在 远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过 包括局域网(LAN)或广域网(WAN)在内的任何类型的网络连接到用户 的计算机,或者可以连接到外部计算机(例如,通过使用因特网服务 提供商的因特网)。
本文结合根据本发明的实施例的方法、装置(系统)和计算机程序 产品的流程图图示和/或框图来描述本发明的各方面。应当理解,流 程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组 合可以由计算机程序指令实现。这些计算机程序指令可以提供至通用 计算机、专用计算机或其它可编程数据处理装置的处理器以产生机 器,使得经由计算机或其它可编程数据处理装置的处理器执行的指令 创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作 的手段。
这些计算机程序指令还可以存储在计算机可读介质中,该计算机 可读介质可以引导计算机、其它可编程数据处理装置或其它设备以特 定方式工作,使得存储在计算机可读介质中的指令产生包括实现流程 图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
计算机程序指令还可以被加载到计算机、其它可编程数据处理装 置或其它设备上,以使得在计算机、其它可编程装置或其它设备上执 行一系列操作步骤,以产生计算机实现的过程,使得在计算机或其它 可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多 个框中指定的功能/动作的过程。
就权利要求书在引用多个元件时叙述词组“中的至少一个”来 说,其意指所列出元件中的至少一个或多个,但不限于每一元件中的 至少一个。举例来说,“元件A、元件B和元件C中的至少一个”意 指仅元件A或仅元件B或仅元件C或其任何组合。“元件A、元件B 和元件C中的至少一个”并不意图限于元件A中的至少一个、元件B 中的至少一个和元件C中的至少一个。
本书面描述使用示例来公开本发明,包括最佳模式,并且还使所 属领域的技术人员能够实践本发明,包括制造和使用任何装置或系统 以及执行任何所并入的方法。本发明的可获专利的范围由权利要求书 界定,且可以包括所属领域的技术人员所想到的其它示例。如果此类 其它示例具有与权利要求书的字面语言相同的结构元件,或者如果它 们包括与权利要求书的字面语言无实质差别的等效结构元件,那么此 类其它示例希望在权利要求书的范围内。

Claims (10)

1.一种用于测量特征的方法,所述方法包括以下步骤:
在监视器上显示被观察对象的图像;
使用中央处理器单元确定所述被观察对象的表面上的多个点的三维坐标;
使用定点设备在所述图像上放置一个或多个测量光标;
使用所述中央处理器单元确定与至少一个测量光标的位置相对应的测量点;
使用所述中央处理器单元确定边缘平面,其中所述边缘平面穿过所述测量点;
使用中央处理器单元确定所述被观察对象的表面上的所述多个点与所述边缘平面之间的距离;
使用所述中央处理器单元将所述被观察对象的表面上的所述多个点与所述边缘平面之间的所述距离与预定距离阈值进行比较;和
在所述图像中的像素上显示边缘平面图形叠加层,所述像素与所述被观察对象的表面上的所述多个点相关联,所述表面上的所述多个点与所述边缘平面的距离低于所述预定距离阈值。
2.一种用于测量特征的方法,所述方法包括以下步骤:
在监视器上显示被观察对象的图像;
使用中央处理器单元确定所述被观察对象的表面上的多个点的三维坐标;
使用定点设备将第一测量光标和第二测量光标放置在所述图像上;
使用所述中央处理器单元确定与所述第一测量光标的位置相对应的第一测量点;
使用所述中央处理器单元确定与所述第二测量光标的位置相对应的第二测量点;
使用所述中央处理器单元确定所述第一测量点和所述第二测量点之间的三维线;
使用所述中央处理器单元确定第一边缘平面,其中所述第一边缘平面垂直于所述三维线并穿过所述第一测量点;
使用中央处理器单元确定所述被观察对象的表面上的所述多个点与所述第一边缘平面之间的距离;
使用所述中央处理器单元将所述被观察对象的表面上的所述多个点与所述第一边缘平面之间的距离与预定距离阈值进行比较;和
在所述图像中的像素上显示第一边缘平面图形叠加层,所述图像中的像素与所述被观察对象的表面上的所述多个点相关联,所述被观察对象的表面上的所述多个点与所述第一边缘平面的距离低于所述预定距离阈值。
3.根据权利要求2所述的方法,还包括以下步骤:
使用所述中央处理器单元确定第二边缘平面,其中所述第二边缘平面垂直于所述三维线并穿过所述第二测量点;
使用中央处理器单元确定所述被观察对象的表面上的所述多个点与所述第二边缘平面之间的距离;
使用所述中央处理器单元将所述被观察对象的表面上的所述多个点与所述第二边缘平面之间的距离与预定距离阈值进行比较;和
在所述图像中的像素上显示第二边缘平面图形叠加层,所述图像中的像素与所述被观察对象的表面上的所述多个点相关联,所述被观察对象的表面上的所述多个点与所述第二边缘平面的距离低于所述预定距离阈值。
4.一种用于测量特征的方法,所述方法包括以下步骤:
在监视器上显示被观察对象的图像;
使用中央处理器单元确定所述被观察对象的表面上的多个点的三维坐标;
使用定点设备将第一测量光标、第二测量光标和第三测量光标放置在所述图像上;
使用所述中央处理器单元确定与所述第一测量光标的位置相对应的第一测量点;
使用所述中央处理器单元确定与所述第二测量光标的位置相对应的第二测量点;
使用所述中央处理器单元确定与所述第三测量光标的位置相对应的第三测量点;
使用所述中央处理器单元确定所述第一测量点和所述第二测量点之间的三维参考线;
使用所述中央处理器单元确定所述第三测量点和所述三维参考线之间的三维长度线;
使用所述中央处理器单元确定第一边缘平面,其中所述第一边缘平面垂直于所述三维长度线并穿过所述第一测量点和所述第二测量点;
使用中央处理器单元确定所述被观察对象的表面上的所述多个点与所述第一边缘平面之间的距离;
使用所述中央处理器单元将所述被观察对象的表面上的所述多个点与所述第一边缘平面之间的距离与预定距离阈值进行比较;和
在所述图像中的像素上显示第一边缘平面图形叠加层,所述像素与所述被观察对象的表面上的所述多个点相关联,所述被观察对象的表面上的所述多个点与所述第一边缘平面的距离低于所述预定距离阈值。
5.根据权利要求4所述的方法,还包括以下步骤:
使用所述中央处理器单元确定第二边缘平面,其中所述第二边缘平面垂直于所述三维长度线并穿过所述第三测量点;
使用中央处理器单元确定所述被观察对象的表面上的所述多个点与所述第二边缘平面之间的距离;
使用所述中央处理器单元将所述被观察对象的表面上的所述多个点与所述第二边缘平面之间的距离与预定距离阈值进行比较;和
在所述图像中的像素上显示第二边缘平面图形叠加层,所述图像中的像素与所述被观察对象的表面上的所述多个点相关联,所述被观察对象的表面上的所述多个点与所述第二边缘平面的距离低于所述预定距离阈值。
6.根据权利要求4所述的方法,还包括以下步骤:
使用定点设备从所述被观察对象的所述表面上的所述多个点中选择一个或多个参考表面点;和
使用所述中央处理器单元确定参考表面,其中所述参考表面基于所述一个或多个参考表面点确定;
其中,所述第一测量点是所述参考表面上与所述第一测量光标的位置相对应的点。
7.根据权利要求4所述的方法,其中,所述被观察对象的表面上的所述多个点与所述第一边缘平面之间的距离是垂直距离。
8.一种用于测量特征的方法,所述方法包括以下步骤:
在监视器上显示被观察对象的图像;
使用中央处理器单元确定所述被观察对象的表面上的多个点的三维坐标;
使用定点设备从所述被观察对象的所述表面上的所述多个点中选择一个或多个参考表面点;
使用所述中央处理器单元确定参考表面,其中所述参考表面基于所述一个或多个参考表面点确定;
使用所述定点设备将测量光标放置在所述图像上;
使用所述中央处理器单元确定与所述测量光标的位置相对应的测量点;
使用所述中央处理器单元确定深度平面,其中所述深度平面平行于所述参考表面并穿过所述测量点;
使用所述中央处理器单元确定所述被观察对象的表面上的所述多个点与所述深度平面之间的距离;
使用所述中央处理器单元将所述被观察对象的表面上的所述多个点与所述深度平面之间的距离与预定距离阈值进行比较;和
在所述图像中的像素上显示深度平面图形叠加层,所述图像中的像素与所述被观察对象的表面上的所述多个点相关联,所述被观察对象的表面上的所述多个点与所述深度平面的距离低于所述预定距离阈值。
9.根据权利要求8所述的方法,还包括在所述图像中与所述被观察对象的表面上比所述深度平面深的所述多个点相关联的像素上显示深度颜色梯度叠加层的步骤,其中所述表面上的点的像素的颜色基于所述被观察对象的所述表面上的所述点与所述深度平面之间的距离。
10.根据权利要求8所述的方法,还包括以下步骤:
使用中央处理器单元确定所述被观察对象的表面上的所述多个点与所述参考表面之间的距离;
使用所述中央处理器单元将所述被观察对象的表面上的所述多个点与所述参考表面之间的距离与预定参考表面距离阈值进行比较;和
在所述图像中的像素上显示参考表面图形叠加层,所述图像中的像素与所述被观察对象的表面上的所述多个点相关联,所述被观察对象的表面上的所述多个点与所述参考表面的距离低于所述预定参考表面距离阈值。
CN201810787037.1A 2017-07-12 2018-07-12 用于使用视频检查设备测量特征的尺寸的方法 Active CN109255844B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/648,010 US10019812B2 (en) 2011-03-04 2017-07-12 Graphic overlay for measuring dimensions of features using a video inspection device
US15/648010 2017-07-12

Publications (2)

Publication Number Publication Date
CN109255844A true CN109255844A (zh) 2019-01-22
CN109255844B CN109255844B (zh) 2023-08-22

Family

ID=62904329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810787037.1A Active CN109255844B (zh) 2017-07-12 2018-07-12 用于使用视频检查设备测量特征的尺寸的方法

Country Status (5)

Country Link
EP (1) EP3428571B1 (zh)
JP (2) JP7204359B2 (zh)
CN (1) CN109255844B (zh)
CA (1) CA3009798A1 (zh)
RU (1) RU2762619C2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521127A (zh) * 2019-02-01 2020-08-11 奥林巴斯株式会社 测量方法、测量装置以及记录介质
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN113503817A (zh) * 2021-09-13 2021-10-15 广东三姆森科技股份有限公司 一种产品的内部尺寸测量方法及测量装置
CN113587812A (zh) * 2021-07-28 2021-11-02 海信视像科技股份有限公司 显示设备、测量方法及装置
CN113744409A (zh) * 2021-09-09 2021-12-03 上海柏楚电子科技股份有限公司 工件定位方法、装置、系统、设备与介质
CN113865488A (zh) * 2021-09-24 2021-12-31 北京京东方技术开发有限公司 一种距离测量方法、电子设备及计算机可读存储介质
CN114383521A (zh) * 2020-10-02 2022-04-22 贝克休斯油田作业有限责任公司 自动涡轮叶片与护罩间隙测量

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE543979C2 (en) * 2019-09-20 2021-10-12 Metso Outotec Finland Oy Mining Equipment Inspection System, Mining Equipment Inspection Method, and Mining Equipment Inspection Device
US20230080011A1 (en) * 2020-03-10 2023-03-16 Nec Corporation Display device, display method, and non-transitory computer-readable medium having program stored therein
CN111415337B (zh) * 2020-03-13 2024-04-19 中冶长天国际工程有限责任公司 一种烧结机的台车箅条倾斜角检测方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067173A (zh) * 2008-05-28 2011-05-18 苹果公司 限定图像边界
US20110210961A1 (en) * 2010-02-26 2011-09-01 Clark Alexander Bendall Method of determining the profile of a surface of an object
CN102402797A (zh) * 2010-09-08 2012-04-04 纳夫特克北美有限责任公司 生成多层地理图像以及多层地理图像的使用
US20120223937A1 (en) * 2011-03-04 2012-09-06 General Electric Company Method and device for displaying a three-dimensional view of the surface of a viewed object
CN102840838A (zh) * 2011-04-06 2012-12-26 通用电气公司 用于显示观察的物体表面的三维数据质量的指示的方法和装置
CN103299343A (zh) * 2010-10-15 2013-09-11 Iee国际电子工程股份公司 距离图像像素匹配方法
CN103308000A (zh) * 2013-06-19 2013-09-18 武汉理工大学 基于双目视觉的曲线物体测量方法
US20130287288A1 (en) * 2012-04-25 2013-10-31 General Electric Company Method and device for determining the offset distance between two surfaces
CN103814306A (zh) * 2011-06-24 2014-05-21 索弗特凯耐提克软件公司 深度测量质量增强
CN104713529A (zh) * 2013-12-17 2015-06-17 通用电气公司 用于自动标识异常表面上的最深点的方法和装置
US20160171705A1 (en) * 2013-12-17 2016-06-16 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
CN106530273A (zh) * 2016-10-10 2017-03-22 华南理工大学 高精度fpc直线线路检测与缺陷定位方法
US9648225B1 (en) * 2016-05-10 2017-05-09 Howard Preston Method, apparatus, system and software for focusing a camera
CN106856003A (zh) * 2016-12-31 2017-06-16 南京理工大学 轴类工件侧表面缺陷检测图像的展开校正方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3932180B2 (ja) * 2002-07-03 2007-06-20 松下電器産業株式会社 ティーチング方法、電子基板検査方法、および電子基板検査装置
US7804295B2 (en) * 2005-04-28 2010-09-28 Randel Brandstrom Apparatus and method for detection of defects using flux leakage techniques
JP5530225B2 (ja) * 2010-03-09 2014-06-25 オリンパス株式会社 内視鏡装置およびプログラム
US8928316B2 (en) * 2010-11-16 2015-01-06 Jentek Sensors, Inc. Method and apparatus for non-destructive evaluation of materials
US9984474B2 (en) * 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
US10157495B2 (en) * 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US8960012B2 (en) * 2012-10-30 2015-02-24 Jentek Sensors, Inc. Method and apparatus for detection and characterization of mechanical damage
US10551928B2 (en) * 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
CN108027233B (zh) * 2015-09-25 2020-04-03 通用电气公司 用于测量物体上或附近的特征的方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067173A (zh) * 2008-05-28 2011-05-18 苹果公司 限定图像边界
US20110210961A1 (en) * 2010-02-26 2011-09-01 Clark Alexander Bendall Method of determining the profile of a surface of an object
CN102402797A (zh) * 2010-09-08 2012-04-04 纳夫特克北美有限责任公司 生成多层地理图像以及多层地理图像的使用
CN103299343A (zh) * 2010-10-15 2013-09-11 Iee国际电子工程股份公司 距离图像像素匹配方法
US20120223937A1 (en) * 2011-03-04 2012-09-06 General Electric Company Method and device for displaying a three-dimensional view of the surface of a viewed object
CN102840838A (zh) * 2011-04-06 2012-12-26 通用电气公司 用于显示观察的物体表面的三维数据质量的指示的方法和装置
CN103814306A (zh) * 2011-06-24 2014-05-21 索弗特凯耐提克软件公司 深度测量质量增强
US20130287288A1 (en) * 2012-04-25 2013-10-31 General Electric Company Method and device for determining the offset distance between two surfaces
CN103308000A (zh) * 2013-06-19 2013-09-18 武汉理工大学 基于双目视觉的曲线物体测量方法
CN104713529A (zh) * 2013-12-17 2015-06-17 通用电气公司 用于自动标识异常表面上的最深点的方法和装置
US20160171705A1 (en) * 2013-12-17 2016-06-16 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
US9648225B1 (en) * 2016-05-10 2017-05-09 Howard Preston Method, apparatus, system and software for focusing a camera
CN106530273A (zh) * 2016-10-10 2017-03-22 华南理工大学 高精度fpc直线线路检测与缺陷定位方法
CN106856003A (zh) * 2016-12-31 2017-06-16 南京理工大学 轴类工件侧表面缺陷检测图像的展开校正方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111521127A (zh) * 2019-02-01 2020-08-11 奥林巴斯株式会社 测量方法、测量装置以及记录介质
CN111521127B (zh) * 2019-02-01 2023-04-07 仪景通株式会社 测量方法、测量装置以及记录介质
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN114383521A (zh) * 2020-10-02 2022-04-22 贝克休斯油田作业有限责任公司 自动涡轮叶片与护罩间隙测量
CN114383521B (zh) * 2020-10-02 2024-03-08 贝克休斯油田作业有限责任公司 自动涡轮叶片与护罩间隙测量
CN113587812A (zh) * 2021-07-28 2021-11-02 海信视像科技股份有限公司 显示设备、测量方法及装置
CN113587812B (zh) * 2021-07-28 2023-10-27 海信视像科技股份有限公司 显示设备、测量方法及装置
CN113744409B (zh) * 2021-09-09 2023-08-15 上海柏楚电子科技股份有限公司 工件定位方法、装置、系统、设备与介质
CN113744409A (zh) * 2021-09-09 2021-12-03 上海柏楚电子科技股份有限公司 工件定位方法、装置、系统、设备与介质
CN113503817B (zh) * 2021-09-13 2021-12-03 广东三姆森科技股份有限公司 一种产品的内部尺寸测量方法及测量装置
CN113503817A (zh) * 2021-09-13 2021-10-15 广东三姆森科技股份有限公司 一种产品的内部尺寸测量方法及测量装置
CN113865488A (zh) * 2021-09-24 2021-12-31 北京京东方技术开发有限公司 一种距离测量方法、电子设备及计算机可读存储介质
CN113865488B (zh) * 2021-09-24 2023-10-27 北京京东方技术开发有限公司 一种距离测量方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109255844B (zh) 2023-08-22
RU2762619C2 (ru) 2021-12-21
JP7373037B2 (ja) 2023-11-01
EP3428571A1 (en) 2019-01-16
EP3428571B1 (en) 2022-03-09
CA3009798A1 (en) 2019-01-12
JP2019053721A (ja) 2019-04-04
RU2018125707A3 (zh) 2021-11-22
JP7204359B2 (ja) 2023-01-16
JP2022172199A (ja) 2022-11-15
RU2018125707A (ru) 2020-01-13

Similar Documents

Publication Publication Date Title
CN109255844A (zh) 用于使用视频检查设备测量特征的尺寸的图形叠加层
US10679374B2 (en) Graphic overlay for measuring dimensions of features using a video inspection device
US10319103B2 (en) Method and device for measuring features on or near an object
US11514643B2 (en) Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US10586341B2 (en) Method and device for measuring features on or near an object
EP2495524B1 (en) Method and device for displaying a three-dimensional view of the surface of a viewed object
CN108027233B (zh) 用于测量物体上或附近的特征的方法及装置
JP6895382B2 (ja) 観視対象の3次元形状を描画する画像と同時に観視対象の2次元画像を表示するための方法および機器
JP6126501B2 (ja) カメラ設置シミュレータ及びそのコンピュータプログラム
Epskamp On the influence of stereographic 3D on user dependent direct projected augmented reality in the OR
Bethmann et al. Generation of synthetic image sequences for the verification of matching and tracking algorithms for deformation analysis
Hannus et al. Images in 3D digitizing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40003498

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant