CN107408307A - 用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置 - Google Patents

用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置 Download PDF

Info

Publication number
CN107408307A
CN107408307A CN201680016203.7A CN201680016203A CN107408307A CN 107408307 A CN107408307 A CN 107408307A CN 201680016203 A CN201680016203 A CN 201680016203A CN 107408307 A CN107408307 A CN 107408307A
Authority
CN
China
Prior art keywords
image
dimensional
subject surface
measurement
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680016203.7A
Other languages
English (en)
Inventor
C.A.本达尔
M.M.鲍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/660,464 external-priority patent/US10157495B2/en
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN107408307A publication Critical patent/CN107408307A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了一种用于使用视频检查装置同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置。视频检查装置显示被观察对象的对象表面的二维图像，并且确定多个表面点的三维坐标。被观察对象的三维几何的至少一个渲染图像与二维图像同时显示。当测量光标在二维图像上放置并且移动时，被观察对象的三维几何的渲染图像自动更新。

Description

用于同时显示被观察对象的二维图像以及描绘被观察对象的 三维几何的图像的方法和装置
相关申请的交叉引用
本申请是2011年3月4日提交的并且题为"METHOD AND DEVICE FOR DISPLAYING ATHREE-DIMENSIONAL VIEW OF THE SURFACE OF A VIEWED OBJECT"的美国专利申请序列号13/040678的部分继续并且要求其优先权，其整体通过引用结合在本文中。本申请也是2013年12月17日提交的并且题为“METHOD AND DEVICE FOR AUTOMATICALLY IDENTIFYING THEDEEPEST POINT ON THE SURFACE OF AN ANOMALY”的美国专利申请序列号14/108976的部分继续，并且要求其优先权，其整体通过引用结合在本文中。
背景技术
本文公开的主题涉及一种用于使用视频检查装置同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置。
诸如视频内窥镜或管道镜的视频检查装置能够用来检查对象的表面以识别和分析可能从例如损坏、磨损、腐蚀或不正确安装而引起的对象上的异常（例如，凹坑或凹痕）。在许多实例中，对象的表面是难以接近的，并且在不使用视频检查装置的情况下不能被观察。例如，能够使用视频检查装置来检查功率生成单元或飞行器上的涡轮引擎的叶片的表面，以识别可能在表面上形成的任何异常来确定是否要求任何修理或进一步的维护。为了进行那个评估，获得表面和异常的高度精确的尺寸测量，以验证异常不超过那个对象的操作限制或所要求规格或落在其外通常是必要的。
能够使用视频检查装置来获得并显示示出异常的被观察对象的表面的二维图像，以确定表面上的异常的尺寸。表面的此二维图像能够用来生成表面的三维数据，其提供表面上（包含邻近异常）的多个点的三维坐标（例如，（x，y，z）。在一些视频检查装置中，用户能够在测量模式下操作视频检查装置，以进入测量屏幕（在其中用户将光标放置在二维图像上）来确定异常的几何尺寸。在许多实例中，被观察特征的外形（contour）难以从二维图像中评估，使靠近异常的光标的高精度放置困难，因为用户难以将在三维空间中执行的测量可视化。此过程可能并不总是引起期望的几何尺寸或异常的测量被正确地确定并且能够是耗时的。
上面的讨论仅被提供用于一般背景信息，并且不意图用作帮助确定所要求保护的主题的范围。
发明内容
公开了一种用于使用视频检查装置同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置。视频检查装置显示被观察对象的对象表面的二维图像，并且确定多个表面点的三维坐标。被观察对象的三维几何的至少一个渲染图像与二维图像同时显示。当测量光标被放置在二维图像上并在其上移动时，被观察对象的三维几何的渲染图像被自动更新。
在用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置的一些公开实施例的实践中可以实现的优点在于：改进了测量的精度，由于用户被提供有异常的附加和更好的观察（perspective）；并且减少了执行异常测量的时间。
在一个实施例中，公开了一种用于检查被观察对象的对象表面的方法。该方法包含以下步骤：在显示器上显示对象表面的二维图像；使用中央处理器单元确定对象表面上的多个点的三维坐标；使用中央处理器单元确定对象表面的至少一部分的三维几何的渲染图像；在显示器上同时显示二维图像和渲染图像；使用定点装置将多个测量光标放置在二维图像上，并且在显示器上显示二维图像上的多个测量光标；在渲染图像上显示与二维图像上的测量光标对应的多个测量标识符，并且使用中央处理器单元基于二维图像上的多个测量光标的位置来确定对象表面的测量尺寸。
在另一实施例中，该方法包含以下步骤：使用定点装置将多个测量光标放置在渲染图像上，并且在显示器上显示渲染图像上的多个测量光标，在二维图像上显示与渲染图像上的测量光标对应的多个测量标识符，并且使用中央处理器单元基于渲染图像上的多个测量光标的位置来确定对象表面的测量尺寸。
在又一个实施例中，该方法包含以下步骤：在显示器上显示对象表面的二维立体图像；使用立体技术、使用中央处理器单元确定对象表面上的多个点的三维坐标；使用中央处理器单元确定对象表面的至少一部分的三维几何的渲染图像，以及在显示器上同时显示二维立体图像和渲染图像。
在还有另一个实施例中，公开了一种用于检查被观察对象的对象表面的装置。该装置包含细长探针，其包括插入管；定位在插入管的远端的成像器，其用于获得对象表面的二维立体图像;中央处理器单元，用于确定对象表面上的多个点的三维坐标并且确定对象表面的至少一部分的三维几何的渲染图像；以及显示器，用于同时显示二维立体图像和渲染图像。
本发明的简要描述仅意图提供根据一个或多个说明性实施例的本文公开的主题的简要概述，并且不用作解释权利要求或定义或限制本发明的范围（其仅由所附权利要求定义）的指南。提供此简要描述来以简化的形式引入概念（下文将在详细描述中进一步描述）的说明性选择。此简要描述不意图识别所要求保护的主题的关键特征或基本特征，也不意图用作帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景中注释的任何或所有缺点的实现。
附图说明
为了以其能够理解本发明的特征的方式，可以通过参考某些实施例来进行本发明的详细描述，其中一些在附图中被图示。然而，要注意，附图仅图示本发明的某些实施例，并且因此不被视为限制本发明的范围，因为本发明的范围涵盖其它同等有效实施例。附图不一定按比例绘制，通常重点放在图示本发明某些实施例的特征。在附图中，相似的数字用来在整个各种视图中指示相似的部分。因此，为了进一步理解本发明，能够对以下详细描述进行参考，结合附图进行阅读，其中：
图1是示范视频检查装置的框图;
图2是在示范实施例中由具有异常的被观察对象的对象表面的视频检查装置获得的示范图像;
图3是在示范实施例中用于自动识别图2的图像中所示的被观察对象上的异常的表面上的最深点的示范方法的流程图;
图4图示由视频检查装置确定的示范参考表面;
图5图示由视频检查装置确定的示范的感兴趣区域;
图6图示由视频检查装置确定的另一示范的感兴趣区域;
图7是在示范实施例中图1的图像中所示的被观察对象的对象表面的示范分布（profile）的图形表示。;
图8是在示范实施例中由具有异常的被观察对象的表面的视频检查装置获得的另一图像;
图9是在示范实施例中用于显示用于检查图8的图像中所示的被观察对象的表面的三维数据的方法的流程图；
图10是点云视图中的多个表面点的子集的显示;
图11是在另一示范实施例中用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的示范方法的流程图;
图12是被观察对象的二维图像和立体图像的显示;
图13是具有测量光标的被观察对象的二维图像和以具有测量标识符的深度分布图像形式的被观察对象的三维几何的渲染图像的显示;以及
图14是具有测量光标的被观察对象的二维图像以及以具有测量标识符的点云视图形式的被观察对象的三维几何的渲染图像的显示。
具体实施方式
图1是示范视频检查装置100的框图。将理解，图1中所示的视频检查装置100是示范的，并且本发明的范围不限于任何特定的视频检查装置100或视频检查装置100内的组件的任何特定配置。
视频检查装置100能够包含细长探针102，其包括插入管110和设置在插入管110的远端的头部组合件120。插入管110能够是柔性管状部分，头部组合件120和探针电子装置140之间的所有互联通过该柔性管状部分。头部组合件120能够包含用于将来自被观察对象202的光引导并聚焦在成像器124上的探针光学装置122。探针光学装置122能够包括例如单透镜（lens singlet）或具有多个组件的透镜。成像器124能够是用于获得被观察对象202的图像的固态CCD或CMOS图像传感器。
可拆卸尖端或适配器130能够放置在头部组合件120的远端上。可拆卸尖端130能够包含尖端观察光学装置132（例如，透镜、窗口或孔），其与探针光学装置122结合工作以将来自被观察对象202的光引导和聚焦到成像器124上。如果用于视频检查装置100的光源从尖端130或用于将光从探针102传递到被观察对象202的光通过元件（未示出）发出，则可拆卸尖端130还能够包括照明LED（未示出）。尖端130还能够通过包含波导（例如棱镜）来提供侧面观察的能力，以将相机视图和光输出转到侧面。尖端130还可以提供供在确定被观察表面的三维数据中使用的立体光学装置或结构化光投射元件。能够包含在尖端130中的元件也能够包含在探针102本身中。
成像器124能够包含以多个行和列形成的多个像素，并且能够生成以表示入射到成像器124的每个像素上的光的模拟电压的形式的图像信号。图像信号能够传播通过成像器混合器126，其向成像器线束（harness）112提供用于信号缓冲和调节的电子装置，该成像器线束112为成像器混合器126和成像器接口电子装置142之间的控制和视频信号提供导线。成像器接口电子装置142能够包含功率供应、用于生成成像器时钟信号的定时生成器、用于数字化成像器视频输出信号的模拟前端，以及用于将数字化成像器视频数据处理成更有用的视频格式的数字信号处理器。
成像器接口电子装置142是探针电子装置140的一部分，其提供用于操作视频检查装置10的功能的集合。探针电子装置140还能够包含校准存储器144，其存储用于探针102和/或尖端130的校准数据。微控制器146还能够被包含在探针电子装置140中以用于与成像器接口电子装置142通信，以确定和设置增益和曝光设定、存储和读取来自校准存储器144的校准数据、控制传送到观察对象202的光并与视频检查装置100的中央处理器单元（CPU）150通信。
除了与微控制器146通信之外，成像器接口电子装置142还能够与一个或多个视频处理器160进行通信。视频处理器160能够从成像器接口电子装置142接收视频信号并将信号输出到各种监视器170 、172，包含集成显示器170或外部监测器172。集成显示器170能够是构建在视频检查装置100中的用于显示各种图像或数据（例如，被观察对象202的图像、菜单、光标、测量结果）给检查员的LCD屏幕。外部监测器172能够是连接到视频检查装置100的用于显示各种图像或数据的视频监测器或计算机型监测器。
视频处理器160能够向CPU 150提供命令、状态信息、流传输视频、静态视频图像和图形叠加或从其接收命令、状态信息、流视频、静态视频图像和图形叠加，并且可以包括FPGA、DSP或其它处理元件，其提供诸如图像捕获、图像增强、图形叠加合并、失真校正、帧平均、缩放、数字变焦、叠加、合并、翻转、动作检测和视频格式转换和压缩的功能。
除了提供托管其它功能（包含图像、视频和音频存储和再调用功能、系统控制和测量处理）之外，CPU 150还能够用来通过经由操纵杆180、按钮182、小键盘184和/或麦克风186接收输入来管理用户界面。操纵杆180能够由用户操纵以执行诸如菜单选择、光标移动、滑块调整和探针102的清晰度(articulation)控制的操作，并且可以包含推钮功能。按钮182和/或小键盘184也能够用于菜单选择，并向CPU 150提供用户命令（例如，冻结或保存静止图像）。提供检查员能够使用麦克风186来提供语音指令来冻结或保存静止图像。
视频处理器160还能够与视频存储器162进行通信，其由视频处理器160使用来在处理期间用于数据的暂时保持和帧缓冲。 CPU 150还能够与CPU程序存储器152（其用于存储由CPU 150执行的程序）进行通信。此外，CPU 150能够与易失性存储器154（例如，RAM）和非易失性存储器156（例如，闪存装置、硬盘驱动器、DVD或EPROM存储装置）通信。非易失性存储器156是用于流传输视频和静止图像的主要存储装置。
CPU 150还能够与计算机I / O接口158通信，计算机I / O接口158向诸如USB、火线、以太网、音频I / O和无线收发器的外围装置和网络提供各种接口。此计算机I / O接口158能够用来保存、再调用、传送和/或接收静止图像、流传输视频或音频。例如，能够将USB“拇指驱动器”或压缩闪速存储器卡插入到计算机I / O接口158中。此外，视频检查装置100能够配置成将图像数据帧或流传输视频数据发送到外部计算机或服务器。视频检查装置100能够结合TCP / IP通信协议套，并且能够结合在包含多个本地和远程计算机的广域网（每个计算机还结合TCP / IP通信协议套）中。通过结合TCP / IP协议套，视频检查装置100结合若干传输层协议（包含TCP和UDP）以及若干不同的层协议（包含HTTP和FTP）。
将理解，虽然在图1中已经将某些组件示出为单个组件（例如，CPU 150），能够使用多个单独组件来执行CPU 150的功能。
图2是在本发明的示范实施例中由具有异常204的被观察对象202的对象表面210的视频检查装置100获得的示范图像200。在此示例中，异常204被示出为凹痕，其中材料已经通过损坏或磨损从异常204中的被观察对象202的对象表面210移除。将理解，在此示范实施例中示出的异常204仅仅是示例，并且发明的方法适用于其它类型的不规则（例如，裂纹、腐蚀点蚀、涂层损失、表面沉积等）。一旦获得图像200并且识别异常204，则图像200能够用来确定异常204的尺寸（例如，高度或深度、长度、宽度、面积、体积、点到线、分布切片（slice）等等）。在一个实施例中，使用的图像200能够是被观察对象202（包含异常204）的对象表面210的二维图像200。
图3是在本发明的示范实施例中用于自动识别图2的图像200中所示的被观察对象202上的异常204的对象表面210上的最深点的示范方法300的流程图。将理解，图3的流程图中描述的步骤能够以与流程图中所示的顺序不同的顺序执行，以及对于某些实施例不要求所有步骤。
在示范方法300（图3）的步骤310处，并且如图2中所示的，用户能够使用视频检查装置100（例如，成像器124）来获得具有异常204的被观察对象202的对象表面210的至少一个图像200，并将其显示在视频监视器（例如，集成显示器170或外部监视器172）上。在一个实施例中，图像200能够以视频检查装置的测量模式显示。
在示范方法300（图3）的步骤320处，视频检查装置100（例如，CPU 150）能够确定被观察对象202的对象表面210上的多个表面点（包含异常204的表面点）的三维坐标（例如，（x，y，z））。在一个实施例中，视频检查装置能够从图像200生成三维数据，以便确定三维坐标。能够使用若干不同的现有技术（例如，立体、扫描系统、立体三角测量、结构化光方法，例如相移分析、相移莫尔、激光点投影等）来提供对象表面210的图像200（图2）中的表面点的三维坐标。
大多数此类技术包括使用校准数据（除了其它之外其包含用来减少将会以其它方式由光学失真引起的三维坐标中的误差的光学特征数据。通过一些技术，可以使用可以包含投影图案等在紧挨时间（close time proximity）捕获的一个或多个图像来确定三维坐标。要理解，对使用图像200确定的三维坐标的参考也可以包括使用在紧挨时间捕获的对象表面210的一个或多个图像200确定的三维坐标，以及在所描述的操作期间向用户显示的图像200可以或可以不实际地用于三维坐标的确定。
在示范方法300（图3）的步骤330处，并且如图4中所示的，视频检查装置100（例如，CPU 150）能够确定参考表面250。在一些实施例中，参考表面250能够是平坦的，而在其它实施例中，参考表面250能够是曲线的。类似地，在一个实施例中，参考表面250能够是处于平面形式，而在其它实施例中，参考表面250能够是处于不同形状（例如圆柱、球等）的形式。例如，用户能够使用视频检查装置100的操纵杆180（或其它定点装置（例如，鼠标、触摸屏））来选择靠近异常204的被观察对象202的对象表面210上的一个或多个参考表面点以确定参考表面。
在一个实施例中并且如图4中所示的，在靠近异常204的被观察对象202的对象表面210上选择总共三个参考表面点221、222、223来进行异常204的深度测量，其中在靠近异常204的对象表面210上选择三个参考表面点221、222、223。在一个实施例中，能够通过放置参考表面光标231、232、233（或其它定点装置）在对应于对象表面210上的多个参考表面点221、222、223的图像200的像素241、242、243上来选择被观察对象202的对象表面210上的多个参考表面点221、222、223。在示范深度测量中，视频检查装置100（例如，CPU 150）能够确定多个参考表面点221、222、223中的每个的三维坐标。
靠近三个参考表面点221、222、223（在靠近异常204的对象表面210上选择）中的一个或多个的三个或更多个表面点的三维坐标能够用来确定参考表面250 （例如，平面）。在一个实施例中，视频检查装置100（例如，CPU 150）能够执行三个参考表面点221、222、223的三维坐标的曲线拟合，以确定具有以下形式的参考表面250（例如，平面）的等式：
其中（xiRS, yiRS, ziRS）是定义的参考表面250上的任何三维点的坐标，并且k0RS, k1RS,和 k2RS是通过三维坐标的曲线拟合获得的系数。
应当注意，使用多个参考表面点（即，至少与k系数的数量一样多的点）来执行曲线拟合。曲线拟合找到给出与所使用点最佳拟合的k系数（例如，最小二乘法）。K系数然后定义近似所使用的三维点的平面或其它参考表面250。然而，如果曲线拟合中使用的点多于k系数的数量，则在你将所使用的点的x和y坐标插入到平面等式（1）中时，z结果将由于噪声以及与可能实际存在的平面的任何偏差而通常不会准确匹配点的z坐标。因此，xiRS1和 yiRS1能够是任何任意值，并且所得到的ziRS告诉你在xiRS, yiRS的定义的平面的z。因此，这些等式中所示的坐标能够针对准确在定义的表面上的任意点，而不一定针对拟合中用于确定k系数的点。
在其它实施例中，仅存在选择额一个或两个参考表面点，禁止仅基于那些参考表面点的三维坐标使用曲线拟合，因为需要三个点来确定k0RS, k1RS, 和 k2RS 。在那种情况下，视频检查装置100（例如，CPU 150）能够识别靠近对应于对象表面210（靠近一个或多个参考表面点）上的多个点的图像的每个像素的多个像素，并且确定一个或多个靠近点的三维坐标，使曲线拟合能够确定参考表面250。
尽管已经将示范参考表面250描述为基于由参考表面光标231、232、233选择的参考表面点221、222、223而确定，但在其它实施例中，参考表面250能够通过使用定点装置将参考表面形状260（例如，圆形、正方形、矩形、三角形等）靠近异常204放置并使用形状260的参考表面点261、262、263、264来确定参考表面250来形成。将理解，形状260的参考表面点261、262、263、264能够是由定点装置选择的点，或者能够是能够被定大小以包围异常204的形状的周边上或靠近其的其它点。
在示范方法300（图3）的步骤340处，并且如图5中所示的，视频检查装置100（例如，CPU 150）基于参考表面250的参考表面点确定靠近异常204的感兴趣区域270。感兴趣区域270包含异常204的多个表面点。在一个实施例中，感兴趣区域270通过基于两个或更多个参考表面点221、222、233形成感兴趣区域形状271（例如，圆形）而形成。在另一实施例中，感兴趣区域270能够通过形成垂直于参考表面260的圆柱并将其通过或靠近两个或更多个参考表面点221、222、233来确定感兴趣区域270。再次参考图4，能够在参考表面形状260和参考表面点261、262、263、264内形成感兴趣区域。
尽管图5中的示范感兴趣区域形状271通过穿过参考表面点221、222、223形成，在另一实施例中，较小直径参考表面形状能够通过仅靠近参考表面点通过而形成。例如，如图6中所示的，感兴趣区域280借助于通过靠近两个参考表面点221、222的感兴趣区域形状281（例如，圆）而形成，其中圆281的直径小于两个参考表面点221、222之间的距离。将理解，感兴趣区域形状271、281和感兴趣区域270、280可以或可以不显示在图像200上。
在确定感兴趣区域270、280之后，在示范方法300（图3）的步骤350处，视频检查装置100（例如，CPU 150）确定从感兴趣区域中的多个表面点中的每个到参考表面250的距离（即，深度）。在一个实施例中，视频检查装置100（例如，CPU 150）确定在参考表面250和感兴趣区域270、280中的多个表面点的每个之间延伸的线的距离，其中线垂直地与参考表面250相交。
在示范方法300（图3）的步骤360处，视频检查装置通过确定离参考表面250最远的表面点（例如，选择具有延伸到参考表面250的最长线的表面点）来确定感兴趣区域270、280中最深表面点224的位置。将理解，如本文所使用的，“最深点”或“最深表面点”能够是相对于参考表面250凹陷的最远点或从该参考表面250突出的最远点（即，最高点）。视频检查装置100能够通过显示例如光标234（图5）或其它图形标识符282（图6）在最深的表面点224上来识别图像上的感兴趣区域270、280中的最深表面点224。此外并且如图5和图6中所示的，视频检查装置100能够在图像200上显示感兴趣区域270、280中的最深表面点224的深度290（以英寸或毫米为单位）（即，从最深的表面点224延伸到参考表面250的垂直线的长度）。通过在感兴趣区域270、280中的最深表面点224自动显示光标234或其它图形标识符282（图6），视频检查装置100减少执行深度测量要求的时间并改进深度测量的精度，因为用户不需要手动识别异常204中最深的表面点224。
一旦光标234已被显示在感兴趣区域270、280中的最深表面点224，则用户能够选择那个点以进行并保存深度测量。用户还能够在感兴趣区域270、280内移动光标234以确定感兴趣区域270、280中的其它表面点的深度。在一个实施例中，视频检查装置100（例如，CPU150）能够监测光标234的移动并检测光标234何时停止移动。当光标234停止移动预定时间量（例如1秒）时，视频检查装置100（例如，CPU 150）能够确定靠近光标234的最深的表面点（例如，以光标234为中心的预定的圆），并自动将光标234移动到那个位置。
图7是图1的图像200中示出的被观察对象202的对象表面210示范分布370的图形表示。在此示范分布370中，参考表面被示出在两个参考表面点221、222和它们相应参考表面光标231、232之间延伸。感兴趣区域中的最深表面点224的位置和深度290也在图形表示中示出。在另一实施例中，点云视图也能够被用来示出最深表面点224。
图8是在本发明的示范实施例中由具有异常504的被观察对象502的对象表面510的视频检查装置100获得的另一图像500。再一次，在此示例中，异常504被示出为凹痕，其中材料已经通过损坏或磨损从异常504中的被观察对象502的对象表面510移除。将理解，在此示范实施例中示出的异常504仅仅是示例，以及发明的方法适用于其它类型的不规则（例如，裂纹、腐蚀点蚀、涂层损失、表面沉积等）。一旦获得图像500并且识别异常504，图像500能够用来确定异常504的尺寸（例如，高度或深度、长度、宽度、面积、体积、点到线、分布切片，等等）。在一个实施例中，使用的图像500能够是被观察对象502（包含异常504）的对象表面510的二维图像500。
图9是在本发明的示范实施例中用于显示用于检查图8的图像500中所示的被观察对象502的对象表面510的三维数据的方法600的流程图。将理解，图9的流程图中描述的步骤能够以与流程图中所示的顺序不同的顺序执行，并且对于某些实施例不要求所有的步骤。
在步骤610处，并且如图8中所示的，操作者能够使用视频检查装置100获得具有异常504的被观察对象502的对象表面510的图像500，并将其显示在视频监测器（例如，集成显示器170或外部监测器172）上。在一个实施例中，能够以视频检查装置的测量模式显示图像500。
在步骤620处，视频检查装置100的CPU 150能够确定包含异常504的被观察对象502的对象表面510上的多个表面点的第一坐标系中的三维坐标（xiS1, yiS1, ziS1）。在一个实施例中，视频检查装置能够从图像500生成三维数据，以便确定三维坐标。如上所讨论的，能够使用若干不同的现有技术（例如，立体、扫描系统、结构化光方法，例如相移、相移莫尔、激光点投影等）来提供对象表面510的图像500上的点的三维坐标。
在步骤630处，并且如图8中所示的，操作者能够使用视频检查装置100的操纵杆180（或其它定点装置（例如，鼠标、触摸屏））来选择靠近异常504的被观察对象502的对象表面510上的多个测量点以进行特定类型的测量。所选择的测量点的数量取决于要进行的类型测量。某些测量能够要求选择两个测量点（例如，长度、分布），而其它测量能够要求选择三个或更多个测量点（例如，点到线、面积、多段）。在一个实施例中并且如图8中所示的，在靠近异常504的被观察对象502的对象表面510上选择总共四个测量点521、522、523、524，以对异常504进行深度测量，其中三个测量点521、522、523在靠近异常504的对象表面510上选择以及第四测量点524被选择处于异常504的最深点。在一个实施例中，被观察对象502的对象表面510上的多个测量点521、522、523、524能够通过将光标531、532、533、534（或其它定点装置）放置在对应于对象表面510上的多个测量点521、522、523、524的图像500的像素541、542、543、544上来选择。在示范深度测量中，视频检查装置100能够确定多个测量点521、522、523、544中的每个的第一坐标系中的三维坐标。将理解，发明的方法不限于涉及四个选择的测量点的深度测量或测量，但是相反适用于涉及不同数量的点的各种类型的测量（包括上面讨论的那些）。
在步骤640处，并且如图8中所示的，视频检查装置100的CPU 150能够确定参考表面550。在图8中所示的异常504的示范深度测量中，靠近在靠近异常504的对象表面510上选择的三个测量点521、522、523中的一个或多个的三个或更多个表面点的三维坐标能够用来确定参考表面550（例如，平面）。在一个实施例中，视频检查装置100能够在三个测量点521、522、523(xiM1, yiM1, ziM1）的第一坐标系中执行三维坐标的曲线拟合，以确定对于参考表面550（例如，对于平面）的等式 ，其具有以下形式：
其中（xiRS1, yiRS1, ziRS1）是在所定义的参考表面550上的第一坐标系中的任何三维点的坐标，并且k0RS1, k1RS1, 和 k2RS1是通过在第一坐标系中的三维坐标的曲线拟合而获得的系数。
应当注意，使用多个测量点（即，至少与k系数的数量一样多）来执行曲线拟合。曲线拟合找到给出与所使用点最佳拟合的k系数（例如，最小二乘法）。k系数然后定义靠近所使用的三维点的平面或其它参考表面550。然而，如果曲线拟合中使用的点数多于k系数的数量，则在你将所使用的点的x和y坐标插入到平面等式（2）中时，z结果通常由于噪声和与可能实际存在的平面的任何偏差而不准确匹配点的z坐标。因此，xiRS1 和 yiRS1能够是任何任意值，并且所得到的ziRS1告诉你在xiRS1、 yiRS1的定义的平面的z。因此，这些等式中所示的坐标能够针对准确地在定义的表面上的任意点，而不一定针对拟合中用来确定k系数的点。
在另一实施例中，仅存在对于特定测量（例如，长度、分布）选择的两个测量点，禁止仅基于那两个测量点的三维坐标而使用曲线拟合，因为需要三个点来确定k0RS1, k1RS1,和 k2RS1。在那个情况下，视频检查装置100那个识别靠近与对象表面510（靠近每个测量点）上的多个点对应的图像的每个像素的多个像素，并且确定那些点的三维坐标，使曲线拟合能够确定参考表面550。
在一个实施例中并且如图8中所示的，视频检查装置100能够确定在异常504周围的参考表面550上形成图框（frame）562（例如，矩形）的多个图框点560（xiF1, yiF1, ziF1）和测量点521、522、523、524（其能够稍后用来显示参考表面550的位置）的第一坐标系中的三维坐标。
一旦确定参考表面550，在图8中所示的示范实施例中，视频检查装置100能够通过确定被选择在异常504的最深点的第四测量点524与参考表面550之间的距离来进行异常504的测量（例如深度）。此深度测量的精确度由在被观察对象502的对象表面510上选择多个测量点521、522、523、524中的精度来确定。在如前所讨论的许多实例中，图像500中的异常504的外形难以从二维图像中评估，并且可能太小或以其它方式不足以可靠地定位多个测量点521、522、523、524。因此，在许多情况下，操作者将想要在异常504的区中的进一步的细节以评价这些测量点521、522、523、524的位置的精度。因此，虽然一些视频检查装置100能够提供完全图像500的点云视图，但是那个视图可能不提供如前所讨论的异常504的所要求级别的细节。为了提供比由整个图像500的三维数据的点云视图提供的视图更有意义的测量点521、522、523、524周围的区中的对象表面510的视图，发明的方法创建感兴趣区域中的三维数据的子集。
在步骤650处，视频检查装置100的CPU 150能够建立与第一坐标系不同的第二坐标系。在一个实施例中，第二坐标系能够基于参考表面550和多个测量点521、522、523和524。视频检查装置100能够将第二坐标系的原点（xO2, yO2, zO2）=（0,0,0）指配成靠近对应于对象表面510上的多个测量点521、522、523、524中的两个或更多个的参考表面550上的点的三维坐标的平均位置525而定位（例如，通过将测量点521、522、523和524投影到参考表面550上并确定参考表面550上的平均位置525）。在一些情况下，对应于测量点521、522、523的参考表面550上的点的三维坐标能够是相同的。然而，在一些情况下，由于噪音和/或对象表面510中的小的变化，测量点521、522、523不会准确地落在参考表面550上，并且因此具有不同的坐标。
当在参考表面550上确定与对象表面510上的测量点521,
、522、523、524对应的点时，方便的是应用线方向的概念，其传达x 、y和z平面中的线的相对斜率，并且能够用来建立垂直或平行线。对于通过两个三维坐标（x1，y1，z1）和（x2，y2，z2）的给定线，线方向（dx，dy，dz）可以定义为：
给定线上的点（x1，y1，z1）和线的方向（dx，dy，dz），能够通过以下定义线：
因此，给定x、y或z坐标中的任何一个，能够计算剩余的两个。平行线具有相同或线性缩放的线方向。如果下式成立则具有方向(dx1, dy1, dz1) 和 (dx2, dy2, dz2)的两条线是垂直的：
垂直于使用等式（2）定义的参考平面的所有线的方向由以下给出：
基于等式（6）和（8）至（10），垂直于参考表面550并通过表面点（xS, yS, zS）的线能够被定义为：
在一个实施例中，对应于对象表面510上的点（xiS1, yiS1, ziS1）的参考表面550上的点(xiRS1, yiRS1, ziRS1)的坐标（例如，对应于测量点521、522、523、524的参考表面550上点的第一坐标系中的三维坐标）能够通过定义与参考表面550垂直的线并且确定那个线与参考表面550的交点的坐标来确定，该线具有等式（8）-（10）中给出的方向并通过(xiS1, yiS1,ziS1)。因此，根据等式（2）和（11）：
在一个实施例中，能够使用这些步骤（等式（3）至（14））来确定对应于测量点521、522、523、544的参考表面550上的点的三维坐标。然后能够确定参考表面550上的测量点的这些投影点的平均位置525（xM1avg, yM1avg, zM1avg）。然后能够将第二坐标系的原点(xO2, yO2,zO2) = (0 , 0, 0)指配并靠近平均位置525（xM1avg, yM1avg, zM1avg）而定位。
在异常504的区中定位靠近平均位置525的第二坐标系的原点（其中z值是从每个表面点到参考表面550的垂直距离）允许点云视图旋转在异常504的区的中心周围，并且准许任何深度图颜色标度来指示来自参考表面550的表面点的高度或深度。
为了利用此第二坐标系，在步骤660处，视频检查装置100的CPU 150将对于各种点（例如，多个表面点，多个测量点521、522、523、524，包含图框点560的参考表面550上的点等）确定的第一坐标系中的三维坐标(xi1, y i1, z i1)变换到第二坐标系中的三维坐标（xi2, y i2, z i2）。
在一个实施例中，坐标变换矩阵（[T]）能够用来根据以下来变换坐标：
其中[T]是变换矩阵。
在非矩阵形式中，第二坐标系中的三维坐标能够由以下确定：
其中变换矩阵值是第一坐标系中新x、y和z轴的线方向值。
在步骤670处，视频检查装置100的CPU 150确定在被观察对象502的对象表面510上的感兴趣区域内的多个表面点的子集。在一个实施例中，感兴趣区域能够是围绕多个选择的测量点521、522、523、524的被观察对象502的对象表面510上的受限区，以最小化点云视图中要使用的三维数据的量。将理解，确定子集的步骤660能够在变换步骤660之前或之后进行。例如，如果在步骤670子集的确定发生在变换步骤660之后，则视频检查装置100可以在确定那些点中的哪些在感兴趣区域中之前，将所有表面点（包含在感兴趣区域之外的点）的坐标进行变换。备选地，如果在步骤670处子集的确定在变换步骤660之前进行，则视频检查装置100可能只需要变换在感兴趣区域内的那些表面点的坐标。
在一个实施例中，能够通过确定对应于测量点521、522、523、524的参考表面550上的每个点与参考表面550上的那些点的平均位置525（如果在变换之后完成，则第二坐标系的原点(xO2, yO2, zO2) = (0 , 0, 0)或如果在变换之前完成第一坐标系中的(xM1avg,yM1avg, zM1avg)）之间的最大距离（dMAX）来定义感兴趣区域。在一个实施例中，感兴趣区域能够包含具有在参考表面550上的对应点的所有表面点（即，当投影到参考表面上时），所述对应点处于在参考表面550上的测量点521、522、523、524的平均位置525的某个阈值距离（dROI）内（例如，小于最大距离（dROI = dMAX）或小于比最大距离（dROI = 1.2 * dMAX）略大（例如大20％）的距离））。例如，如果第二坐标系中的平均位置525在(xO2, yO2, zO2) = (0 , 0,0)，则从那个位置到对应于表面点(xiRS2, yiRS2, ziRS2)的参考表面550上的点的距离（d）由下式给出：
类似地，如果第一坐标系中的平均位置525在（xM1avg, yM1avg, zM1avg），则从那个位置到对应于表面点（xiRS1, yiRS1, ziRS1）的参考表面550上的点的距离（d）由下式给出：
如果表面点具有小于感兴趣区域阈值距离（dROI）的距离值（diRS1或diRS2），并且因此在感兴趣区域中，视频检查装置100能够写入能够表面点的三维坐标和对应于能够表面点深度的像素颜色到点云视图文件。在此示范实施例中，感兴趣区域处于包含落在圆柱半径内的表面点的圆柱的形式。将理解，能够使用用于确定感兴趣区域的其它形状和方法。
感兴趣区域还能够基于由视频检查装置100在第一坐标系中确定的被观察对象502的对象表面510上的异常504的深度来定义。例如，如果异常504的深度被测量为0.005英寸（0.127mm），则感兴趣区域能够基于一个或多个测量点521、522、523、524到参考表面550的距离被定义为仅包含具有在某个范围（±0.015英寸（0.381mm））内离参考表面550（或z维度）的距离的那些点。如果表面点在感兴趣区域内具有深度值，则视频检查装置100能够将那个表面点的三维坐标和与那个表面点的深度对应的像素颜色写入点云视图文件。如果表面点在感兴趣区域之外具有深度值，则视频检查装置100可以不将那个表面点包含在点云视图文件中。
在步骤680处，并且如图10中所示的，视频检查装置100的监测器170、172能够在第二坐标系的三维坐标中显示多个表面点的子集的渲染三维视图（例如，点云视图）700，具有在视图的中央的原点725。在一个实施例（未示出）中，点云视图700的显示能够包含颜色图，以指示第二坐标系中的参考表面750和每个表面点之间的距离（例如，在某个深度的第一点以对应于那个深度的红色阴影示出，在不同深度的第二点以对应于那个深度的绿色阴影示出）。显示的点云视图700还能够包含多个测量点721、722、723、724的位置。为了帮助操作者观察点云视图700，视频检查装置100还能够确定沿第二坐标系的三维坐标中的多个测量点721、722、723中的两个或更多个之间的直线的三维线点771、772、773并在点云视图700中显示那些线点771、772、773。点云视图700还能够包含从意图定位在异常504的最深点的测量点724到参考表面750的深度线774。在一个实施例中，视频检查装置100能够确定深度线774是否超过公差规格或其它阈值，并提供此种发生的视觉或听觉指示或警报。
所显示的点云视图700还能够包含在第二坐标系中在参考表面750上形成图框762的多个图框点760，以指示参考表面750的位置。在另一实施例中，显示的点云视图700还能够包含指示离参考表面750垂直距离的标度。
如图10中所示的，通过将点云视图700中的数据限制为感兴趣区域中的那些点，并允许视图围绕感兴趣区域的中心中的点275（例如，在原点）旋转，操作者能够更容易地分析异常504并且确定测量点721、722、723、724的放置和深度测量是否精确。在一个实施例中，如果要求校正，操作者能够改变点云视图700中的一个或多个测量点721、722、723、724的位置。备选地，如果要求校正，则操作者能够返回到图8的二维图像500并重新选择一个或多个测量点521、522、523、524并重复所述过程。
在另一实施例中，视频检查装置100的监测器170、172能够在第一坐标系的三维坐标中显示多个表面点的子集的渲染三维视图700，而从不进行坐标变换。在此实施例中，基于原始坐标的点云视图700还能够包含上面描述的用于帮助操作者的各种特征，包含显示彩色图、多个测量点的位置、三维线点、深度线、图框或标度。
图11是在另一示范实施例中用于与描绘被观察对象的三维几何的图像同时显示被观察对象的二维图像的示范方法800的流程图。将理解，图11的流程图中描述的步骤能够以与流程图中所示的顺序不同的顺序执行，并且对于某些实施例不要求所有的步骤。
在示范方法（图8）的步骤810处，并且如图12中所示的，视频检查装置100（例如，图1的成像器124）获得具有异常912的被观察对象910的对象表面911的至少一个二维图像903，并将其显示在显示器900（例如，集成显示器170、外部监测器172或用户界面的触摸屏）的第一侧901上。在一个实施例中，二维图像903以视频检查装置100的测量模式显示。
在示范方法800（图11）的步骤820处，并且如图12中所示的，视频检查装置100（例如，图1的CPU 150）确定被观察对象910的对象表面911上的多个表面点913、914的三维坐标（例如，（x，y，z））。在一个实施例中，视频检查装置从二维图像903生成三维数据，以便确定三维坐标。图12是显示器900的第一侧90​​1上的被观察对象910的二维第一立体图像903和显示器900的第二侧902上的被观察对象910的对应的二维第二立体图像904的显示器900。在一个实施例中，视频检查装置100（例如，CPU 150）采用立体技术来确定在二维第一立体图像903上的多个表面点913、914的三维坐标（例如，（x，y，z））（通过在对应的二维第二立体图像904上找到匹配的表面点915、916，并且然后基于二维第一立体图像903（或像素的区（例如，4×4区））上的多个表面点913、914和对应的二维第二立体图像904上的匹配表面点915、916之间的像素距离差异来计算三维坐标）。将理解并且如图12-14中所示的，本文中关于立体图像903、904对二维图像的参考能够包含第一（左）立体图像903和第二（右）立体图像904的两者或任一个。
那个使用若干不同的现有技术（例如，立体、扫描系统、立体三角测量、结构化光方法， 例如相移分析、相移莫尔、激光点投影等）来提供对象表面911的二维图像903（图12）中的表面点913、914的三维坐标。大多数此类技术包括使用校准数据，除了其它之外其包含用来减少将会以其它方式由光学失真引起的三维坐标中的误差的光学特征数据。通过一些技术，可以使用可以包含投影图案等在紧挨时间捕获的一个或多个二维图像来确定三维坐标。要理解，对使用二维图像903确定的对三维坐标的参考也可以包括使用在紧挨时间捕获的对象表面911的一个或多个二维图像确定的三维坐标，以及在所描述的操作期间向操作者显示的二维图像903可以或可以不实际上用于三维坐标的确定。
在示范方法800（图11）的步骤830处，并且如图13和14所示的，具有测量光标931、932的被观察对象910的二维图像903的至少一部分被显示在显示器900的第一侧901上，并且被观察对象910的对象表面911的至少一部分的三维几何的渲染图像905被显示在显示器900的第二侧902上。与图12相比较，渲染图像905替换显示器900中的第二（右）立体图像904。在一个实施例中，视频检查装置100（例如，CPU 150）在放置和显示测量光标931、932之前开始（并且在一个实施例中完成）确定被观察对象910的对象表面911上的多个表面点913、914的三维坐标（例如（x，y，z））的过程。尽管图13和图14中示出的示范实施例示出显示在显示器900的第二侧902上的被观察对象910的对象表面911的三维几何的单个渲染图像905，将理解，能够同时与或不与二维图像903一起示出多于一个渲染图像905。
在图13中所示的示范实施例中，渲染图像905是示出包含异常912的被观察对象910的对象表面911的三维几何的深度分布图像906。在图14中所示的另一示范实施例中，渲染图像905是示出包含异常912的被观察对象910的对象表面911的三维几何的点云视图907。在图14中所示的示范点云视图907中，仅在被观察对象910的对象表面911上的表面点913、914的三维坐标的子集基于测量光标931、932的位置显示在感兴趣区域中。在另一实施例中，点云视图907显示被观察对象910的对象表面911上的表面点913、914的所有计算的三维坐标。在一个实施例中，例如，当显示器是用户界面触摸屏时，用户能够使用触摸屏旋转点云视图907。
在一个实施例中，并且如图14中所示的，点云视图907可以被着色以指示被观察对象910的对象表面911的表面点与参考表面960（例如，使用靠近多个测量光标931、932中的一个或多个的三维坐标确定的参考平面）之间的距离。例如，在某个深度的第一点以对应于那个深度的红色阴影示出，在不同深度的第二点以对应于那个深度的绿色阴影示出。提供颜色深度标度908以示出在点云视图907上示出的颜色与距参考表面960的它们的相应距离之间的关系。在一个实施例中，可以对点云视图907进行表面处理（surfaced）以在图形上平滑在点云视图907中相邻点之间的转变。
一旦已经针对被观察对象910的对象表面911上的多个表面点913、914确定了三维坐标，则用户能够对二维图像903进行测量。
在一个实施例中，视频检查装置100将二维图像903和渲染图像905的分割视图作为图像保存。视频检查装置100还能够作为元数据、如图11中所示的第一（左）立体图像903和第二（右）立体图像904的原始完全的立体图像（例如，仅灰度）以及校准数据来保存以允许根据保存的文件重新计算三维数据和重新测量。备选地，视频检查装置100能够将所计算的三维坐标和/或差异数据保存为元数据，这减少了在再调用时的处理时间，但是导致较大的文件大小。
在示范方法800（图11）的步骤840处，并且如图13和14所示的，测量光标931、932被放置（使用定点装置）并显示在二维图像903上，以允许视频检查装置100（例如，CPU 150）确定异常912的尺寸（例如 ，高度或深度、长度、宽度、面积、体积，点到线、分布切片等）。在其中二维图像不是立体图像的另一实施例中，也能够将测量光标931、932（如图13和14中所示的）放置在二维图像903上，以允许视频检查装置100（例如，CPU 150）确定异常912的尺寸（例如，高度或深度、长度、宽度、面积、体积、点到线、分布切片等）。在又一实施例中，能够将测量光标放置（使用定点装置）在显示器900的第二侧902上的被观察对象910的对象表面911的至少一部分的三维几何的渲染图像905上，而不是放置在三维图像903上。
在示范显示器900中，将第一测量光标931放置在被观察对象910的对象表面911上的第一测量点921上，并且将第二测量光标932放置在被观察对象910的对象表面911上的第二测量点922上。由于被观察对象910的对象表面911上的测量点921、922的三维坐标是已知的，对象表面911的几何测量（例如，深度或长度测量）能够由用户执行并且视频检查装置100（例如，CPU 150）能够确定如图13和14中所示的测量尺寸950。在图13和图14中所示的示例中，在二维图像903上显示测量线933。
被观察对象910的对象表面911的三维几何的渲染图像905被显示在显示器900的第二侧902上，以便帮助将测量光标931、932放置在二维图像903上以进行几何测量。在涉及立体或非立体二维图像的常规系统中，这些测量光标931、932（如图13和14中所示的）仅基于由二维图像903提供的视图放置，这可以不允许精确放置测量光标931、932以及精确测量。
在示范方法800（图11）的步骤850处，并且如在图13和14中所示的，对应于放置在二维图像903上的测量光标931、932的测量标识符941、942被显示在被观察对象912的对象表面911的三维几何的渲染图像905上。例如，第一测量标识符941被示出在与第一测量光标931相同的被观察对象912的对象表面911的三维坐标的渲染图像905上，并且第二测量标识符942被示出在与第二测量光标932相同的被观察对象912的对象表面911的三维坐标的渲染图像905上。在图14中所示的示范点云视图907中，显示与二维图像901中的测量线933（例如，深度测量线）对应的测量线标识符943。与被观察对象912的对象表面911的二维图像903同时显示的被观察对象910的对象表面911的三维几何的此渲染图像905允许用户更精确地放置测量光标931 、932以提供更精确的几何测量。在又一实施例中，其中在被渲染图像905上放置（使用定点装置）测量光标，在二维图像903上显示与测量光标对应的测量标识符。
在一个实施例中，当用户改变二维图像903中的测量光标931、932的位置时，视频检查装置100（例如，CPU 150）自动更新对应于测量光标931、932的测量标识符941、942的位置， 并且被观察对象912的对象表面911的三维几何的渲染图像905（例如，图14中的点云视图907的深度颜色或感兴趣区域）也改变以允许用户实时虚拟地可视化新的测量。在另一实施例中，在将测量光标931、932放置在二维图像903中之后，测量标识符941、942能够被重新定位在渲染图像905中。
在又一实施例中，其中测量光标被放置（使用定点装置）在渲染图像905上，并且与测量光标对应的测量标识符显示在二维图像903上，在用户改变渲染图像905中的测量光标的位置时，视频检查装置100（例如，CPU 150）自动更新与测量光标对应的测量标识符的位置，并且二维图像也改变以允许用户实时虚拟地可视化新的测量。在另一实施例中，在将测量光标放置在渲染图像905上之后，测量标识符能够以在二维图像903中重新定位。
在示范方法800（图11）的步骤860处，并且如图13和14中所示的，视频检查装置100（例如，CPU 150）基于测量光标931、932的位置确定由用户对特定几何测量（例如，深度或长度测量）所寻求的测量尺寸950并在显示器900上显示那个测量尺寸950。在另一实施例中，测量尺寸那个显示在显示器900上在渲染图像905上。
如图12-14中所示的，软键909能够提供在显示器900上，以向用户在获得图像并进行测量（例如，视图、撤消、添加测量、下一个测量、选项、删除、注释、拍摄图像、复位、变焦、完全图像/测量图像、深度图开/关等）中提供各种功能。在一个实施例中，当用户激活二维图像903或渲染图像905时，显示的特定软键909能够基于活动图像而改变。
鉴于前述，本发明的实施例自动确定表面上的异常上的点的深度或高度。技术效果是要减少执行测量所要求的时间并改进测量的精确度。
如由本领域技术人员将意识到的，本发明的方面可以体现为系统、方法或计算机程序产品。因此，本发明的方面可以采取完全硬件实施例、完全软件实施例（包含固件、驻留软件、微代码等）或组合可以本文中一般全部被称作“服务”、“电路”、“电路系统”、“模块”和/或“系统”的软件和硬件方面的实施例的形式 。此外，本发明的方面可以采取体现在一个或多个计算机可读媒介（具有体现在其上的计算机可读程序代码）中的计算机程序产品的形式。
可以利用一个或多个计算机可读媒介的任何组合。计算机可读媒介可以是计算机可读信号媒介或计算机可读存储媒介。计算机可读存储媒介可以是例如但不限于电子、磁、光学、电磁、红外或半导体系统、设备或装置，或前述的任何合适的组合。计算机可读存储媒介的更具体的示例（非详尽列表）将会包含以下：具有一条或多条导线的电连接、便携式计算机软盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪速存储器）、光纤、便携式光盘只读存储器（CD-ROM）、光存储装置、磁存储装置或前述的任何适当组合。在本文档的上下文中，计算机可读存储媒介可以是能够包含或存储供由指令运行系统、设备或装置使用或与指令运行系统、设备或装置结合使用的程序的任何有形媒介。
体现在计算机可读媒介上的程序代码和/或可运行指令可以使用任何适当的媒介传送，包含但不限于无线、有线、光纤电缆、RF等，或前述的任何合适的组合。
用于实施本发明的方面的计算机程序代码可以以一种或多种编程语言的任何组合来编写，包含诸如Java、Smalltalk、C ++等的面向对象的编程语言和常规的程序性编程语言（例如“C”编程语言或类似的编程语言）。程序代码可以作为独立的软件包完全在用户的计算机（装置）上运行、部分地在用户的计算机上运行、部分地在用户的计算机上且部分地在远程计算机上运行或者完全在远程计算机或服务器上运行。在后一种情形中，远程计算机可以通过任何类型的网络连接到用户的计算机，包含局域网（LAN）或广域网（WAN），或者可以对外部计算机进行连接（例如，通过使用互联网服务提供商的互联网）。
本文参考根据本发明的实施例的方法、设备（系统）和计算机程序产品的流程图说明和/或框图来描述本发明的方面。将理解，流程图说明和/或框图的每个块以及流程图说明和/或框图中的块的组合能够由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以产生机器，使得经由其它可编程数据处理设备或计算机的处理器运行的指令创建用于实现流程图和/或一个或多个框图块中指定的功能/动作的手段。
这些计算机程序指令还可以存储在计算机可读媒介中，计算机可读媒介可指引计算机、其它可编程数据处理设备或其它装置以特定方式起作用，使得存储在计算机可读媒介中的指令产生包含执行流程图和/或一个或多个框图块中指定的功能/动作的指令的制品。
计算机程序指令还可以被加载到计算机、其它可编程数据处理设备或其它装置上，以使得在计算机、其它可编程设备或其它装置上执行的一系列操作步骤产生计算机实现的过程，使得在计算机或其它可编程设备上运行的指令提供用于实现流程图和/或一个或多个框图块中指定的功能/动作的过程。
本书面描述使用示例（包含最佳模式）来公开本发明，并且还使得本领域任何技术人员能够实践本发明，包含制造和使用任何装置或系统并执行任何结合的方法。本发明的可取得的专利范围由权利要求定义，并且可以包含本领域技术人员想到的其它示例。如果此类其它示例具有与权利要求的文字语言没有不同的结构元素，或者如果它们包含与权利要求的文字语言无实质不同的等同的结构元素，则此类其它示例意图在权利要求的范围内。

Claims (20)

1.一种用于检查被观察对象的对象表面的方法，所述方法包括以下步骤：
在显示器上显示所述对象表面的二维图像;
使用中央处理器单元确定所述对象表面上的多个点的三维坐标;
使用所述中央处理器单元确定所述对象表面的至少一部分的三维几何的渲染图像;
在所述显示器上同时显示所述二维图像和所述渲染图像;
使用定点装置将多个测量光标放置在所述二维图像上，并在所述显示器上显示所述二维图像上的所述多个测量光标;
在所述渲染图像上显示与所述二维图像上的所述测量光标对应的多个测量标识符;以及
使用所述中央处理器单元基于所述二维图像上的所述多个测量光标的位置来确定所述对象表面的测量尺寸。
2.根据权利要求1所述的方法，其中所述二维图像是第一或第二立体图像中的一个。
3.根据权利要求1所述的方法，其中所述渲染图像是深度分布图像。
4.根据权利要求1所述的方法，其中所述渲染图像是点云视图。
5.根据权利要求1所述的方法，其中所述测量尺寸是与使用靠近所述多个测量光标中的一个或多个的三维坐标确定的参考表面相关的所述对象表面上的特征的深度。
6.根据权利要求5所述的方法，其中所述测量尺寸是与使用靠近所述多个测量光标中的一个或多个的三维坐标确定的参考表面相关的所述对象表面上的特征的深度。
7.根据权利要求6所述的方法，其中所述点云视图被着色以指示所述参考表面与所述对象表面的所述表面点之间的距离。
8.根据权利要求2所述的方法，其中使用中央处理器单元确定所述对象表面上的多个点的所述三维坐标的步骤在将多个测量光标放置在所述二维图像上的步骤之前开始。
9.根据权利要求8所述的方法，其中，在将多个测量光标放置在所述二维图像上的步骤之前，完成使用中央处理器单元确定所述对象表面上的多个点的所述三维坐标的步骤。
10.根据权利要求4所述的方法，其中所述点云视图包括所述对象表面上的表面点的所述三维坐标的子集。
11.一种用于检查被观察对象的对象表面的方法，所述方法包括以下步骤：
在显示器上显示所述对象表面的二维图像;
使用中央处理器单元确定所述对象表面上的多个点的三维坐标;
使用所述中央处理器单元确定所述对象表面的至少一部分的三维几何的渲染图像;
在所述显示器上同时显示所述二维图像和所述渲染图像;
使用定点装置将多个测量光标放置在所述渲染的图像上，并在所述显示器上显示所述渲染图像上的所述多个测量光标;
在所述二维图像上显示与所述渲染图像上的所述测量光标对应的多个测量标识符;以及
使用所述中央处理器单元基于所述渲染图像上的所述多个测量光标的位置来确定所述对象表面的测量尺寸。
12.一种用于检查被观察对象的对象表面的方法，所述方法包括以下步骤：
在显示器上显示所述对象表面的二维立体图像;
使用立体技术、使用中央处理器单元确定所述对象表面上的多个点的三维坐标;
使用所述中央处理器单元确定所述对象表面的至少一部分的三维几何的渲染图像;以及
在所述显示器上同时显示所述二维立体图像和所述渲染图像。
13.根据权利要求12所述的方法，其中所述二维立体图像是第一或第二立体图像中的一个。
14.根据权利要求12所述的方法，还包括以下步骤：
使用定点装置将多个测量光标放置在所述二维立体图像上，并在所述显示器上显示所述二维立体图像上的所述多个测量光标;
在所述渲染图像上显示与所述二维立体图像上的所述测量光标对应的多个测量标识符;以及
使用所述中央处理器单元基于所述二维立体图像上的所述多个测量光标的位置来确定所述对象表面的测量尺寸。
15.根据权利要求12所述的方法，还包括以下步骤：
使用定点装置将多个测量光标放置在所述渲染的图像上，并在所述显示器上显示所述渲染图像上的所述多个测量光标;
在所述二维图像上显示与所述被渲染图像上的所述测量光标对应的多个测量标识符;以及
使用所述中央处理器单元基于所述渲染图像上的所述多个测量光标的位置来确定所述对象表面的测量尺寸。
16.根据权利要求12所述的方法，其中所述渲染图像是深度分布图像。
17.根据权利要求12所述的方法，其中所述渲染图像是点云视图。
18.根据权利要求12所述的方法，其中使用中央处理器单元确定所述对象表面上的多个点的所述三维坐标的步骤在将多个测量光标放置在所述二维立体图像上的步骤之前开始。
19.根据权利要求18所述的方法，其中，在将多个测量光标放置在所述二维立体图像上的步骤之前完成使用中央处理器单元确定所述对象表面上的多个点的所述三维坐标的步骤。
20.一种用于检查被观察对象的对象表面的装置，所述装置包括：
细长探针，包括插入管;
定位在所述插入管的远端的成像器，用于获得所述对象表面的二维立体图像;
中央处理器单元，用于确定所述对象表面上的多个点的三维坐标以及确定所述对象表面的至少一部分的三维几何的渲染图像;以及
显示器，用于同时显示所述二维立体图像和所述渲染图像。
CN201680016203.7A 2015-03-17 2016-03-14 用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置 Pending CN107408307A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/660,464 US10157495B2 (en) 2011-03-04 2015-03-17 Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US14/660464 2015-03-17
PCT/US2016/022312 WO2016149189A1 (en) 2015-03-17 2016-03-14 Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object

Publications (1)

Publication Number Publication Date
CN107408307A true CN107408307A (zh) 2017-11-28

Family

ID=55661575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016203.7A Pending CN107408307A (zh) 2015-03-17 2016-03-14 用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置

Country Status (4)

Country Link
EP (1) EP3271896A1 (zh)
JP (1) JP6895382B2 (zh)
CN (1) CN107408307A (zh)
WO (1) WO2016149189A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976183A (zh) * 2017-12-18 2018-05-01 北京师范大学珠海分校 一种空间数据测量方法及装置
CN110348034A (zh) * 2018-04-02 2019-10-18 波音公司 分析复合层压件的表面质量的方法
CN112037236A (zh) * 2020-08-28 2020-12-04 深圳开立生物医疗科技股份有限公司 一种超声三维图像测量方法、系统、设备及计算机介质
CN114383521A (zh) * 2020-10-02 2022-04-22 贝克休斯油田作业有限责任公司 自动涡轮叶片与护罩间隙测量

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020126208A (ja) * 2019-02-06 2020-08-20 オリンパス株式会社 ３次元画像表示方法、３次元画像表示装置、およびプログラム
JP7423654B2 (ja) * 2020-03-09 2024-01-29 株式会社エビデント 計測方法、計測装置、および記録媒体
JP7474636B2 (ja) * 2020-05-22 2024-04-25 株式会社キーエンス 画像検査システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110210961A1 (en) * 2010-02-26 2011-09-01 Clark Alexander Bendall Method of determining the profile of a surface of an object
US20120069012A1 (en) * 2009-05-28 2012-03-22 Aldo Facchin Point cloud assisted photogrammetric rendering method and apparatus
CN102735192A (zh) * 2011-03-04 2012-10-17 通用电气公司 用于显示被观察物体的表面的三维视图的方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163640A (ja) * 2000-11-29 2002-06-07 Asahi Optical Co Ltd 概観図作成装置
JP4489777B2 (ja) * 2003-06-10 2010-06-23 ケーエルエー−テンコール コーポレイション マルチチャネルデータのグラフィック表現を用いて基板の表面において生じる欠陥を分類するための方法及びシステム
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069012A1 (en) * 2009-05-28 2012-03-22 Aldo Facchin Point cloud assisted photogrammetric rendering method and apparatus
US20110210961A1 (en) * 2010-02-26 2011-09-01 Clark Alexander Bendall Method of determining the profile of a surface of an object
CN102735192A (zh) * 2011-03-04 2012-10-17 通用电气公司 用于显示被观察物体的表面的三维视图的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976183A (zh) * 2017-12-18 2018-05-01 北京师范大学珠海分校 一种空间数据测量方法及装置
CN110348034A (zh) * 2018-04-02 2019-10-18 波音公司 分析复合层压件的表面质量的方法
CN112037236A (zh) * 2020-08-28 2020-12-04 深圳开立生物医疗科技股份有限公司 一种超声三维图像测量方法、系统、设备及计算机介质
CN114383521A (zh) * 2020-10-02 2022-04-22 贝克休斯油田作业有限责任公司 自动涡轮叶片与护罩间隙测量
CN114383521B (zh) * 2020-10-02 2024-03-08 贝克休斯油田作业有限责任公司 自动涡轮叶片与护罩间隙测量

Also Published As

Publication number Publication date
JP2018521370A (ja) 2018-08-02
WO2016149189A1 (en) 2016-09-22
EP3271896A1 (en) 2018-01-24
JP6895382B2 (ja) 2021-06-30

Similar Documents

Publication Publication Date Title
US11514643B2 (en) Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
CN107408307A (zh) 用于同时显示被观察对象的二维图像以及描绘被观察对象的三维几何的图像的方法和装置
US10319103B2 (en) Method and device for measuring features on or near an object
US10679374B2 (en) Graphic overlay for measuring dimensions of features using a video inspection device
EP2495524B1 (en) Method and device for displaying a three-dimensional view of the surface of a viewed object
US11308343B2 (en) Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US10586341B2 (en) Method and device for measuring features on or near an object
US9875574B2 (en) Method and device for automatically identifying the deepest point on the surface of an anomaly
CN109255844A (zh) 用于使用视频检查设备测量特征的尺寸的图形叠加层
US9842430B2 (en) Method and device for automatically identifying a point of interest on a viewed object
US20150170412A1 (en) Method and device for automatically identifying a point of interest on the surface of an anomaly
JP6446251B2 (ja) 異常の表面上の関心点を自動的に識別するための方法およびデバイス
Hołowko et al. Application of multi-resolution 3D techniques in crime scene documentation with bloodstain pattern analysis
JP2017010327A (ja) 情報処理装置、情報処理方法及びプログラム
EP3353490B1 (en) Method and device for measuring features on or near an object
Thomas et al. Effects of Personalized Avatar Texture Fidelity on Identity Recognition in Virtual Reality.
Epskamp On the influence of stereographic 3D on user dependent direct projected augmented reality in the OR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171128

RJ01 Rejection of invention patent application after publication