CN105759662A - 用于自动识别异常的表面上的感兴趣点的方法和装置 - Google Patents

用于自动识别异常的表面上的感兴趣点的方法和装置 Download PDF

Info

Publication number
CN105759662A
CN105759662A CN201410779866.7A CN201410779866A CN105759662A CN 105759662 A CN105759662 A CN 105759662A CN 201410779866 A CN201410779866 A CN 201410779866A CN 105759662 A CN105759662 A CN 105759662A
Authority
CN
China
Prior art keywords
reference line
interest
point
image
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410779866.7A
Other languages
English (en)
Inventor
C.A.本达尔
M.R.斯坦卡托
M.M.鲍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/512,835 external-priority patent/US9600928B2/en
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN105759662A publication Critical patent/CN105759662A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明题为用于自动识别异常的表面上的感兴趣点的方法和装置，公开了用于使用视频检验装置自动识别被观察对象的异常的表面上的感兴趣点(例如最深或最高点)的方法和装置。视频检验装置得到和显示被观察对象的表面的图像。确定参考表面连同包括异常的表面的多个点的感兴趣区域。视频检验装置确定感兴趣区域中的异常的表面的多个点的每个的深度或高度。异常的表面上的点(例如具有最大深度或高度)识别为感兴趣点。然后确定对象表面的感兴趣点的剖面。

Description

用于自动识别异常的表面上的感兴趣点的方法和装置
相关申请的交叉引用
本申请是美国专利申请序号14/108976(2013年12月17日提交，标题为“METHODANDDEVICEFORAUTOMATICALLYIDENTIFYINGTHEDEEPESTPOINTONTHESURFACEOFANANOMALY”)的部分延续，通过引用将其完整地结合到本文中。
技术领域
本文所公开的主题涉及用于使用视频检验装置自动识别被观察对象的异常的表面上的感兴趣点(例如最深或最高点)的方法和装置。
背景技术
视频检验装置、例如视频内窥镜或管道镜能够用来检验对象表面，以识别和分析对象上可能产生于例如损坏、磨损、腐蚀或不正确安装的异常(例如凹坑或凹痕)。在许多情况下，对象的表面是不可接近的，并且无法在没有使用视频检验装置的情况下被观察。例如，视频检验装置能够用来检验飞机或发电单元上的涡轮发动机的叶片表面，以识别可能在表面已经形成的任何异常，以便确定是否要求任何修理或进一步维护。为了进行那种评估，常常需要得到表面和异常的极准确尺寸测量，以便检查异常没有超过或超出那个对象的操作极限或者预计规范。
视频检验装置能够用来得到和显示呈现异常的被观察对象的表面的二维图像，以确定表面的异步的尺寸。表面的这个二维图像能够用来生成表面的三维数据，其提供表面上的多个点、包括靠近异常的点的三维坐标(例如(x,y,z))。在一些视频检验装置中，用户能够在测量模式操作视频检验装置，以进入测量屏幕，其中用户将光标放置于二维图像上，以确定异常的几何尺寸。在许多情况下，被观察特征的轮廓难以从二维图像来评估，从而使靠近异常极准确放置光标是困难的。例如，当设法测量异常的深度时，可能难以从二维图像来确定异常的表面上的最深点并且将光标放置于其上。
在一些视频检验装置中，通过每次一个围绕异常放置三个光标以建立参考平面，并且然后将第四光标放置于不在该平面上的某个点以确定参考表面与该表面的第四点之间的垂直距离，来确定异常的深度。这个深度测量最经常地用来设法测量异常的表面的最深点。在各光标使用操纵杆来定位之后，用户按压按钮以指示他们完成了那个光标并且准备好进行下一个，此后新光标最初任意地定位在屏幕的中心。相应地，对于深度测量的第四光标，用户必须将光标从屏幕的中心移动到异常的位置，并且然后必须来回移动光标，以手动查找异常的表面的最深点。这个过程能够是费时的，并且可能不一定始终使最深点被识别。
以上论述只是为了一般背景信息来提供，而不是意在用作帮助确定要求保护主题的范围。
发明内容
公开了用于使用视频检验装置自动识别被观察对象的异常的表面上的感兴趣点(例如最深或最高点)的方法和装置。视频检验装置得到和显示被观察对象的表面的图像。确定参考表面连同包括异常的表面的多个点的感兴趣区域。视频检验装置确定感兴趣区域中的异常的表面的多个点的每个的深度或高度。异常的表面上的点(例如具有最大深度或高度)识别为感兴趣点。然后确定对象表面的感兴趣点的剖面。
在用于自动识别异常的表面上的感兴趣点的方法和装置的一些所公开实施例的实践中可实现的优点在于，执行测量的时间减少，并且测量的精度得到改进，因为用户不需要手动识别感兴趣点。另外，呈现感兴趣点的所产生的视图(剖面、点云等)提供感兴趣点的更准确图示。
在一个实施例中，公开一种自动识别被观察对象的对象表面的异常的表面上的感兴趣的方法。该方法包括下列步骤：在监视器上显示对象表面的图像；使用中央处理器单元来确定对象表面上的多个点的三维坐标；使用指示装置来选择图像的第一像素上的第一参考线端点；使用指示装置来选择图像的第二像素上的第二参考线端点；使用中央处理器单元来确定在第一参考线端点与第二参考线端点之间延伸的第一参考线上的多个点的三维坐标；使用指示装置来选择图像的第三像素上的第三参考线端点；使用指示装置来选择图像的第四像素上的第四参考线端点；使用中央处理器单元来确定在第三参考线端点与第四参考线端点之间延伸的第二参考线上的多个点的三维坐标；使用中央处理器单元、基于第一参考线上的多个点的至少两个和第二参考线上的多个点的至少一个的三维坐标来确定参考表面；使用中央处理器单元来确定包括异常的表面上的多个点的参考表面的感兴趣区域；使用中央处理器单元来确定参考表面与感兴趣区域中的异常的表面上的多个点之间的距离；使用中央处理器单元来确定感兴趣区域中的异常的表面上具有离参考表面的最大距离的感兴趣点的三维坐标；使用中央处理器单元来确定第一参考线与第二参考线之间包括异常的表面上的感兴趣点的对象表面上的剖面表面轮廓线的多个点的三维坐标；以及使用中央处理器单元，通过确定从参考表面到对象表面上的剖面表面轮廓线的多个点的距离，来确定对象表面的剖面。
在另一个实施例中，公开一种用于自动识别被观察对象的对象表面的异常的表面上的感兴趣的装置。该装置包括：监视器，用于显示对象表面的图像；指示装置，用于选择图像的第一像素上的第一参考线端点，选择图像的第二像素上的第二参考线端点，选择图像的第三像素上的第三参考线端点，并且选择图像的第四像素上的第四参考线端点；以及中央处理器单元，用于确定对象表面上的多个点的三维坐标，确定在第一参考线端点与第二参考线端点之间延伸的第一参考线上的多个点的三维坐标，确定在第三参考线端点与第四参考线端点之间延伸的第二参考线上的多个点的三维坐标，基于第一参考线上的多个点的至少两个和第二参考线上的多个点的至少一个的三维坐标来确定参考表面，确定包括异常的表面上的多个点的参考表面的感兴趣区域，确定参考表面与感兴趣区域中的异常的表面上的多个点之间的距离，确定感兴趣区域中的异常的表面上具有离参考表面的最大距离的感兴趣点的三维坐标，确定第一参考线与第二参考线之间包括异常的表面上的感兴趣点的对象表面上的剖面表面轮廓线的多个点的三维坐标，并且通过确定从参考表面到对象表面上的剖面表面轮廓线的多个点的距离来确定对象表面的剖面。
本发明的这个概述仅意在按照一个或多个说明性实施例来提供本文所公开主题的简述，而不是用作解释权利要求书或者限定或限制仅由所附权利要求书来限定的本发明的范围的指南。提供本概述以便以简化形式介绍概念的说明性选择，下面在详细描述中进一步描述。本概述不是要确定要求保护主题的关键特征或基本特征，也不是要用于帮助确定要求保护主题的范围。要求保护主题并不局限于解决背景中所述的任何或全部缺点的实现。
技术方案1：一种自动识别被观察对象（202）的对象表面（210）上的异常（204）的表面上的感兴趣点（502）的方法（700），所述方法（700）包括下列步骤：
在监视器（170/172）上显示所述对象表面（210）的图像（500）；
使用中央处理器单元（150）来确定所述对象表面（210）上的多个点的三维坐标；
使用指示装置（180）来选择所述图像（500）的第一像素（561）上的第一参考线端点（511）；
使用所述指示装置（180）来选择所述图像（500）的第二像素（562）上的第二参考线端点（512）；
使用所述中央处理器单元（150）来确定在所述第一参考线端点（511）与所述第二参考线端点（512）之间延伸的第一参考线（510）上的多个点的三维坐标；
使用所述指示装置（180）来选择所述图像（500）的第三像素（563）上的第三参考线端点（521）；
使用所述指示装置（180）来选择所述图像（500）的第四像素（564）上的第四参考线端点（522）；
使用所述中央处理器单元（150）来确定在所述第三参考线端点（521）与所述第四参考线端点（522）之间延伸的第二参考线（520）上的多个点的三维坐标；
使用所述中央处理器单元（150）、基于所述第一参考线（510）上的所述多个点的至少两个以及所述第二参考线（520）上的所述多个点的至少一个的三维坐标来确定参考表面（550）；
使用所述中央处理器单元（150）来确定包括所述异常（204）的表面上的多个点的所述参考表面（550）的感兴趣区域（570）；
使用所述中央处理器单元（150）来确定所述参考表面（550）与所述感兴趣区域（570）中的所述异常（204）的表面上的所述多个点之间的距离；
使用中央处理器单元（150）来确定所述感兴趣区域（570）中的所述异常（204）的表面上具有离所述参考表面（550）最大距离的所述感兴趣点（502）的三维坐标；
使用所述中央处理器单元（150）来确定所述第一参考线（510）与所述第二参考线（520）之间包括所述异常（204）的表面上的所述感兴趣点（502）的所述对象表面（210）上的剖面表面轮廓线（594）的多个点的三维坐标；以及
通过确定从所述参考表面（550）到所述对象表面（210）上的所述剖面表面轮廓线（594）的所述多个点的距离，使用所述中央处理器单元（150）来确定所述对象表面（210）的剖面（600）。
技术方案2：如技术方案1所述的方法（700），其中，确定所述第一参考线上的所述多个点的三维坐标的步骤包括：
确定与所述对象表面（210）相交并且经过所述第一参考线端点（511）和所述第二参考线端点（512）的第一参考线平面（581）；以及
确定所述对象表面（210）上靠近所述第一参考线平面（581）的第一表面轮廓线（591）的多个点的三维坐标。
技术方案3：如技术方案1所述的方法（700），其中，所述第一参考线（510）为直线。
技术方案4：如技术方案1所述的方法（700），其中，所述参考表面（550）是参考平面。
技术方案5：如技术方案1所述的方法（700），其中，确定所述参考表面的感兴趣区域（570）的步骤包括确定所述参考表面（550）上具有基于所述第一参考线（510）上的所述多个点的所述至少两个以及所述第二参考线（520）上的所述多个点的所述至少一个的顶点的多边形（571），其中所述感兴趣区域（570）包括所述异常（204）的表面上位于与所述参考表面（550）垂直并且与所述多边形（571）中的所述参考表面（550）相交的线条上的多个点。
技术方案6：如技术方案1所述的方法（700），其中，确定所述参考表面（550）的感兴趣区域（570）的步骤包括确定与所述参考表面（550）相交并且经过所述第一参考线（510）上的所述多个点的所述至少两个之间的所述第一参考线（510）的感兴趣区域平面（580），其中所述感兴趣区域（570）包括所述异常（204）的表面上位于所述感兴趣区域平面（580）的预定距离之内的多个点。
技术方案7：如技术方案1所述的方法（700），还包括在所述监视器（170/172）上显示包括在所述剖面表面轮廓线（594）的所述被观察对象（202）的截面的所述对象表面（210）的所述剖面（600）的图形表示的步骤。
技术方案8：如技术方案1所述的方法（700），还包括在所述监视器（170/172）上显示所述参考表面（550）与所述异常（204）的表面上的所述感兴趣点（502）之间的距离的步骤。
技术方案9：如技术方案1所述的方法（700），还包括在所述监视器（170/172）上显示包括所述剖面表面轮廓线（594）的三维表示的点云图像的步骤。
技术方案10：如技术方案1所述的方法（700），其中，所述图像（500）是二维图像。
技术方案11：如技术方案1所述的方法（700），其中，确定所述第一参考线（510）上的所述多个点的三维坐标的步骤包括对所述对象表面（210）上对应于靠近所述第一像素（561）和所述第二像素（562）之间的直线的所述图像（500）的像素的点的三维坐标执行回归。
技术方案12：如技术方案1所述的方法（700），其中，确定所述第一参考线（510）上的所述多个点的三维坐标的步骤包括对所述对象表面（210）上对应于靠近所述第一像素（561）和所述第二像素（562）之间的直线的所述图像（500）的像素的点的三维坐标执行低通滤波。
技术方案13：如技术方案1所述的方法（700），其中，所述对象表面（210）上的所述剖面表面轮廓线（594）包括所述第一参考线（510）之上或附近的第一点（518）以及所述第二参考线（520）之上或附近的第二点（528）。
技术方案14：如技术方案6所述的方法（700），其中，感兴趣区域平面（580）与垂直于所述参考表面（550）的所述参考表面（550）相交。
技术方案15：一种用于自动识别被观察对象（202）的对象表面（210）上的异常（204）的表面上的感兴趣点（502）的装置，所述装置包括：
监视器（170/172），用于显示所述对象表面（210）的图像（500）；
指示装置（180），用于
选择所述图像（500）的第一像素（561）上的第一参考线端点（511），
选择所述图像（500）的第二像素（562）上的第二参考线端点（512），
选择所述图像（500）的第三像素（563）上的第三参考线端点（521），以及
选择所述图像（500）的第四像素（564）上的第四参考线端点（522）；以及
中央处理器单元（150），用于
确定所述对象表面（210）上的多个点的三维坐标，
确定在所述第一参考线端点（511）与所述第二参考线端点（512）之间延伸的第一参考线（510）上的多个点的三维坐标,
确定在所述第三参考线端点（521）与所述第四参考线端点（522）之间延伸的第二参考线（520）上的多个点的三维坐标,
基于所述第一参考线（510）上的所述多个点的至少两个以及所述第二参考线（520）上的所述多个点的至少一个的三维坐标来确定参考表面（550），
确定包括所述异常（204）的表面上的多个点的所述参考表面（550）的感兴趣区域（570），
确定所述参考表面（550）与所述感兴趣区域（570）中的所述异常（204）的表面上的所述多个点之间的距离，
确定所述感兴趣区域（570）中的所述异常（204）的表面上具有离所述参考表面（550）最大距离的所述感兴趣点（502）的三维坐标，
确定所述第一参考线（510）与所述第二参考线（520）之间包括所述异常（204）的表面上的所述感兴趣点（502）的所述对象表面（210）上的剖面表面轮廓线（594）的多个点的三维坐标，以及
通过确定从所述参考表面（550）到所述对象表面（210）上的所述剖面表面轮廓线（594）的所述多个点的距离，来确定所述对象表面（210）的剖面（600）。
附图说明
为了能够理解本发明的特征的方式，本发明的详细描述可通过参照某些实施例进行，其中一部分在附图中示出。但是，要注意，附图仅示出本发明的某些实施例，因此不是要被认为对其范围的限制，因为本发明的范围包含其他同样有效的实施例。附图不一定按照比例绘制，重点一般在于示出本发明的某些实施例的特征。附图中，相似的标号用于在各个视图中通篇表示相似的部分。因此，为了进一步了解本发明，能够结合附图来参照以下详细描述，附图包括：
图1是示范视频检验装置的框图；
图2是在本发明的一示范实施例中、由视频检验装置所得到的具有异常的被观察对象的对象表面的示范图像；
图3是在本发明的一示范实施例中用于自动识别图2的图像中呈现的被观察对象的异常的表面上的最深点的示范方法的流程图；
图4示出由视频检验装置所确定的示范参考表面；
图5示出由视频检验装置所确定的示范感兴趣区域示范；
图6示出由视频检验装置所确定的另一个示范感兴趣区域示范；
图7是在本发明的一示范实施例中、图1的图像中呈现的被观察对象的对象表面的示范剖面的图形表示；
图8是在本发明的另一个示范实施例中、由视频检验装置所得到的具有异常的被观察对象的对象表面的另一个示范图像；
图9示出第一参考线与第二参考线之间包括异常的表面上的感兴趣点的对象表面上的示范剖面表面轮廓线的确定；
图10是在本发明的一示范实施例中、图8的图像中呈现的被观察对象的对象表面的另一个示范剖面的图形表示；以及
图11是在本发明的一示范实施例中用于自动识别图8的图像中呈现的被观察对象的对象表面的异常的表面上的感兴趣点的另一种示范方法的流程图。
具体实施方式
图1是示范视频检验装置100的框图。将会理解，图1所示的视频检验装置100是示范性的，并且本发明的范围并不局限于任何特定视频检验装置100或者视频检验装置100中的组件的任何特定配置。
视频检验装置100能够包括延长探头102，其包括插入管110以及设置在插入管110的远端的头部组合件120。插入管110能够是柔性管状截面，头部组合件120与探头电子器件140之间的所有互连均经过其中。头部组合件120能够包括探头光学器件122，以用于把来自被观察对象202的光线引导和聚焦到成像器124上。探头光学器件122能够包括例如单片透镜或者具有多个组件的透镜。成像器124能够是固态CCD或CMOS图像传感器，其用于得到被观察对象202的图像。
可拆卸尖端或适配器130能放置于头部组合件120的远端。可拆卸尖端130能够包括尖端观察光学器件132(例如透镜、窗口或孔径)，其与探头光学器件122结合工作，以便把来自被观察对象202的光线引导和聚焦到成像器124上。如果视频检验装置100的光源从尖端130或者用于将光线从探头102传递到被观察对象202的通光元件(未示出)发出，则可拆卸尖端130还能够包括照明LED(未示出)。尖端还能够通过包括波导(例如棱镜)以将照相装置取景和光输出转向侧面，来提供侧面观察能力。尖端130还可提供立体光学器件或结构化光投影元件，供确定被观察表面的三维数据中使用。能够包含在尖端130中的元件还能够包含在探头102本身中。
成像器124能够包括在多个行和列中形成的多个像素，并且能够生成采取表示入射到成像器124的各像素上的光线的模拟电压形式的图像信号。图像信号能够经过成像器混合器件126来传播，成像器混合器件126向成像器线束112提供用于信号缓冲和调节的电子器件，成像器线束112提供用于成像器混合器件126与成像器接口电子器件142之间的控制和视频信号的导线。成像器接口电子器件142能够包括：电源；定时发生器，用于生成成像器时钟信号；模拟前端，用于将成像器视频输出信号数字化；以及数字信号处理器，用于将数字化成像器视频数据处理成更有用的视频格式。
成像器接口电子器件142是提供用于操作视频检验装置10的功能集合的探头电子器件140的部分。探头电子器件140还能够包括校准存储器144，其存储探头102和/或尖端130的校准数据。微控制器146还能够包含在探头电子器件140中，用于与成像器接口电子器件142进行通信以确定和设置增益及曝光设定、对校准存储器144存储和读取校准数据、控制传递给被观察对象202的光线以及与视频检验装置100的中央处理器单元(CPU)150进行通信。
除了与微控制器146进行通信之外，成像器接口电子器件142还能够与一个或多个视频处理器160进行通信。视频处理器160能够从成像器接口电子器件142接收视频信号，并且将信号输出到各种监视器170、172，包括集成显示器170或外部监视器172。整体显示器170能够是内建于视频检验装置100、用于向检验员显示各种图像或数据(例如被观察对象202的图像、菜单、光标、测量结果)的LCD屏幕。外部监视器172能够是连接到视频检验装置100、用于显示各种图像或数据的视频监视器或计算机类型监视器。
视频处理器160能够向/从CPU150提供/接收命令、状态信息、流播视频、静止视频图像和图形覆盖，并且可由FPGA、DSP或其他处理元件组成，其提供诸如图像捕获、图像增强、图形覆盖合并、失真校正、帧平均、缩放、数字变焦、覆盖、合并、翻转、运动检测以及视频格式转换和压缩之类的功能。
除了提供包括图像、视频和音频存储及再调用功能、系统控制和测量处理的大量其他功能之外，CPU150还能够用来通过经由操纵杆180、按钮182、小键盘184和/或麦克风186接收输入来管理用户界面。操纵杆180能够由用户操纵以执行诸如探头102的菜单选择、光标移动、滑块调整和的清晰度控制之类的操作，并且可包括按钮功能。按钮182和/或小键盘184还能够用于菜单选择并且将用户命令提供给CPU150(例如定格或保存静止图像)。麦克风186能够由检验员用来提供定格或保存静止图像的语音指令。
视频处理器160还能够与视频存储器162进行通信，视频存储器162由视频处理器160用于在处理期间对数据的帧缓冲和暂时保存。CPU150还能够与用于存储CPU150所运行的程序的CPU程序存储器152进行通信。另外，CPU150能够与易失性存储器154(例如RAM)和非易失性存储器156(例如闪速存储器装置、硬盘驱动器、DVD或者EPROM存储器装置)进行通信。非易失性存储器156是用于流播视频和静止图像的主存储装置。
CPU150还能够与计算机I/O接口158进行通信，计算机I/O接口158提供到诸如USB、Firewire、以太网、音频I/O和无线收发器之类的外围装置和网络的各种接口。这个计算机I/O接口158能够用来保存、再调用、传送和/或接收静止图像、流播视频或音频。例如，USB“thumb驱动器”或CompactFlash存储卡能够插入计算机I/O接口158中。另外，视频检验装置100能够配置成向外部计算机或服务器发送图像数据或流播视频数据帧。视频检验装置100能够结合TCP/IP通信协议组，并且能够结合到包括多个本地和远程计算机的广域网中，其中各计算机也结合TCP/IP通信协议组。通过结合TCP/IP协议组，视频检验装置100结合包括TCP和UDP的若干传输层协议以及包括HTTP和FTP的若干不同层协议。
将会理解，虽然某些组件在图1中示为单个组件(例如CPU150)，但是多个独立组件能够用来执行该组件的功能。
图2是在本发明的一示范实施例中、由视频检验装置100所得到的具有异常204的被观察对象202的对象表面210的示范图像200。在这个示例中，异常204示为凹痕，其中通过损坏或磨损从被观察对象202的对象表面210的异常204中去除了材料。将会理解，这个示范实施例中所示的异常204只是一个示例，并且发明方法适用于其他类型的不规则(例如裂纹、腐蚀点、涂层损耗、表面沉积等)。一旦得到图像200并且识别异常204，图像200能够用来确定异常204的尺寸(例如高度或深度、长度、宽度、面积、体积、点到线、剖面层面等)。在一个实施例中，所使用的图像200能够是包括异常204的被观察对象202的对象表面210的二维图像200。
图3是在本发明的一示范实施例中用于自动识别图2的图像200中呈现的被观察对象202的异常204的对象表面210上的最深点的示范方法300的流程图。将会理解，图3的流程图中所述的步骤能够按照与流程图所示的不同顺序来执行，并且对某些实施例并非要求所有步骤。
在示范方法300的步骤310(图3)并且如图2所示，用户能够使用视频检验装置100(例如成像器124)来得到具有异常204的被观察对象202的对象表面210的至少一个图像200，并且将它显示于视频监视器(例如整体显示器170或外部监视器172)。
在示范方法300的步骤320(图3)，视频检验装置100(例如CPU150)能够确定包括异常204的表面点的被观察对象202的对象表面210上的多个表面点的三维坐标(例如(x,y,z))。在一个实施例中，视频检验装置能够从图像200来生成三维数据，以便确定三维坐标。若干不同的现有技术能够用来提供对象表面210的图像200(图2)中的表面点的三维坐标(例如，立体、扫描系统、立体三角测量、结构化光方法、如相移分析、相移云纹、激光点投影等)。
大多数这类技术包括使用校准数据，其还包括光学特性数据(其用来降低原本由光学失真引起的三维坐标的误差)等等。对于一些技术，可使用时间相近所捕获的、可包括投影图案等的一个或多个图像来确定三维坐标。要理解，提到使用图像200所确定的三维坐标还可包括使用时间相近所捕获的对象表面210的图像200的一个或多个所确定的三维坐标，并且在所述操作期间向用户显示的图像200实际上可以或者可以不用于三维坐标的确定。
在示范方法300的步骤330(图3)并且如图4所示，视频检验装置100(例如CPU150)能够确定参考表面250。在一些实施例中，参考表面250能够是平坦的，而在其他实施例中，参考表面250能够是弯曲的。类似地，在一个实施例中，参考表面250能够采取平面形式，而在其他实施例中，参考表面250能够采取不同形状(例如柱面、球面等)。例如，用户能够使用视频检验装置100的操纵杆180(或者其他指示装置(例如鼠标、触摸屏))来选择被观察对象202的对象表面210上靠近异常204的一个或多个参考表面点。
在一个实施例中并且如图4所示，在被观察对象202的对象表面210上靠近异常204处选择总共三个参考表面点221、222、223，以进行异常204的深度测量，其中一个参考表面点221、222、223在对象表面210上靠近异常204处选择。在一个实施例中，能够通过将参考表面光标231、232、233(或者其他指示装置)放置于与对象表面210上的多个参考表面点221、222、223对应的图像200的像素241、242、243，来选择被观察对象202的对象表面210上的多个参考表面点221、222、223。在示范深度测量中，视频检验装置100(例如CPU150)能够确定多个参考表面点221、222、223的每个的三维坐标。
与对象表面210上靠近异常204处所选择的三个参考表面点221、222、223的一个或多个靠近的三个或更多表面点的三维坐标能够用来确定参考表面250(例如平面)。在一个实施例中，视频检验装置100(例如CPU150)能够执行三个参考表面点221、222、223的三维坐标的曲线拟合，以确定参考表面250(例如平面)的具有下列形式的等式：
　　　　　　　　　　(1)
其中，(xiRS,yiRS,ziRS)是所定义参考表面250上的任何三维点的坐标，以及k0RS、k1RS和k2RS是通过三维坐标的曲线拟合所得到的系数。
应当注意，多个参考表面点(即，至少与k个系数的数量同样多的点)用来执行曲线拟合。曲线拟合查找给出对所使用点的最佳拟合的k个系数(例如最小平方方式)。k个系数然后定义近似所使用的三维点的平面或另一参考表面250。但是，如果在曲线拟合中使用比k个系数的数量要多的点，则在将所使用的点的x和y坐标插入平面等式(1)时，由于实际上可存在的噪声以及与平面的任何偏差，z个结果一般将不会完全匹配点的z坐标。因此，xiRS1和yiRS1能够是任何任意值，并且所产生的ziRS告知在xiRS、yiRS的所定义平面的z。相应地，这些等式所示的坐标能够用于正好在所定义表面上的任意点，而不一定是在拟合中用来确定k个系数的点。
在其他实施例中，仅存在所选择的一个或两个参考表面点，从而阻止使用仅基于那些参考表面点的三维坐标的曲线拟合，因为需要三个点来确定k0RS、k1RS和k2RS。在那种情况下，视频检验装置100(例如CPU150)能够识别靠近与对象表面210上与(一个或多个)参考表面点靠近多个点对应的图像的像素的每个的多个像素，并且确定(一个或多个)靠近点的三维坐标，从而使曲线拟合能够确定参考表面250。
虽然示范参考表面250描述为基于通过参考表面光标231、232、233所选择的参考表面点221、222、223来确定，但是在其他实施例中，能够通过使用指示装置放置靠近异常204的参考表面形状260(例如圆、正方形、矩形、三角形等)并且使用形状260的参考表面点261、262、263、264以确定参考表面250，来形成参考表面250。将会理解，形状260的参考表面点261、262、263、264能够是由指示装置所选择的点，或者是能够确定大小成包围异常204的形状的周长之上或附近的其他点。
在示范方法300的步骤340(图3)，并且如图5所示，视频检验装置100(例如CPU150)基于参考表面250的参考表面点来确定靠近异常204的感兴趣区域270。感兴趣区域270包括异常204的多个表面点。在一个实施例中，通过基于参考表面点221、222、223的两个或更多以形成感兴趣区域形状271(例如圆)，来形成感兴趣区域270。在另一个实施例中，能够通过形成与参考表面260垂直的柱面，并且使其经过或靠近参考表面点221、222、223的两个或更多，来确定感兴趣区域270。再次参照图4，感兴趣区域可在参考表面形状260和参考表面点261、262、263、264中形成。
虽然图5的示范感兴趣区域形状271通过经过参考表面点221、222、223来形成，但是在另一个实施例中，较小直径的参考表面形状能够通过仅经过参考表面点附近来形成。例如，如图6所示，通过使感兴趣区域形状281(例如圆)经过参考表面点221、222的两个附近，来形成感兴趣区域280，其中圆281的直径小于两个参考表面点221、222之间的距离。将会理解，感兴趣区域形状271、281和感兴趣区域270、280可以或者可以不在图像200上显示。
在确定感兴趣区域270、280之后，在示范方法300的步骤350(图3)，视频检验装置100(例如CPU150)确定从感兴趣区域中的多个表面点的每个到参考表面250的距离(即，深度)。在一个实施例中，视频检验装置100(例如CPU150)确定在参考表面250与感兴趣区域270、280中的多个表面点的每个之间延伸的线条的距离，其中线条与参考表面250垂直相交。
在示范方法300的步骤360(图3)，视频检验装置通过确定离参考表面250最远的表面点(例如选择具有延伸到参考表面250的最长线条的表面点)，来确定感兴趣区域270、280中的最深表面点224的位置。将会理解，如本文所使用的“最深点”或“最深表面点”能够是相对于参考表面250凹陷的最远点或者从参考表面250突出的最远点(即，最高点)。视频检验装置100能够通过显示例如最深表面点224上的光标234(图5)或者另一图形标识符282(图6)，来识别图像上的感兴趣区域270、280中的最深表面点224。另外，并且如图5和图6所示，视频检验装置100能够显示图像200上的感兴趣区域270、280中的最深表面点224的深度290(单位为英寸或毫米)(即，从最深表面点224延伸到参考表面250的垂直线条的长度)。通过在感兴趣区域270、280中的最深表面点224自动显示光标234或者另一图形标识符282(图6)，视频检验装置100减少执行深度测量所需的时间，并且改进深度测量的精度，因为用户无需手动识别异常204中的最深表面点224。
一旦在感兴趣区域270、280中的最深表面点224显示光标234，用户能够选择那个点，以进行和保存深度测量。用户也能够在感兴趣区域270、280中移动光标234，以确定感兴趣区域270、280中的其他表面点的深度。在一个实施例中，视频检验装置100(例如CPU150)能够监测光标234的移动，并且检测光标234停止移动的时间。当光标234停止移动预定时间量(例如1秒)，则视频检验装置100(例如CPU150)能够确定靠近光标234的最深表面点(例如以光标234为中心的预定圆)，并且将光标234自动移动到那个位置。
图7是图1的图像200中呈现的被观察对象202的对象表面210的示范剖面400的图形表示。在这个示范剖面400中，参考表面250示为在两个参考表面点221、222与其相应参考表面光标231、232之间延伸。感兴趣区域中的最深表面点224的位置和深度290也在图形表示中示出。在另一个实施例中，点云图也能够用来呈现最深表面点224。
图8是在本发明的另一个示范实施例中、由视频检验装置100所得到的具有异常204的被观察对象202的对象表面210的另一个示范图像500。在这个示例中，异常204再次示为凹痕，其中通过损坏或磨损从被观察对象202的对象表面210的异常204中去除了材料。将会理解，这个示范实施例中所示的异常204只是一个示例，并且发明方法适用于其他类型的不规则(例如裂纹、腐蚀点、涂层损耗、表面沉积等)。一旦得到图像500并且识别异常204，图像500能够用来确定异常204的尺寸(例如高度或深度、长度、宽度、面积、体积、点到线、剖面层面等)。在一个实施例中，所使用的图像500能够是包括异常204的被观察对象202的对象表面210的二维图像500。在另一个实施例中，图像500能够是包括异常204的被观察对象202的对象表面210的点云或另一三维表示。
图11是在本发明的一示范实施例中用于自动识别图8的图像500中呈现的被观察对象202的对象表面210的异常204的表面上的感兴趣点502的另一种示范方法700的流程图。将会理解，图11的流程图中所述的步骤能够按照与流程图所示的不同顺序来执行，并且对某些实施例并非要求所有步骤。
在示范方法700的步骤710(图11)并且如图8所示，用户能够使用视频检验装置100(例如成像器124)来得到具有异常204的被观察对象202的对象表面210的至少一个图像500，并且将它显示于视频监视器(例如整体显示器170或外部监视器172)。在一个实施例中，图像500能够在视频检验装置100的测量模式来显示。
在示范方法700的步骤720(图11)，视频检验装置100(例如CPU150)确定包括异常204的表面点501、502、503的被观察对象202的对象表面210上的多个表面点的三维坐标(例如(x,y,z))。在一个实施例中，视频检验装置能够从图像500来生成三维数据，以便确定三维坐标。若干不同的现有技术能够用来提供对象表面210的图像500(图8)中的表面点的三维坐标(例如，立体、扫描系统、立体三角测量、结构化光方法、如相移分析、相移云纹、激光点投影等)。
大多数这类技术再次包括使用校准数据，其还包括光学特性数据(其用来降低原本由光学失真引起的三维坐标的误差)等等。对于一些技术，可使用时间相近所捕获的、可包括投影图案等的一个或多个图像来确定三维坐标。要理解，提到使用图像500所确定的三维坐标还可包括使用时间相近所捕获的对象表面210的图像500的一个或多个所确定的三维坐标，并且在所述操作期间向用户显示的图像500实际上可以或者可以不用于三维坐标的确定。
在示范方法700的步骤730(图11)并且如图8所示，用户通过使用指示装置(例如操纵杆、鼠标、触摸屏)将光标放置于图像500以选择图像500的第一像素561上的第一参考线端点511，并且通过选择图像500的第二像素562上的第二参考线端点512，来建立第一参考线510。第一参考线端点511和第二参考线端点512能够选择成在异常204的第一侧附近和之上。在示范方法700的步骤732(图11)，视频检验装置100(例如CPU150)能够确定在第一参考线端点511与第二参考线端点512之间延伸的第一参考线510上的多个点的三维坐标。
类似地，在示范方法700的步骤734(图11)并且如图8所示，用户通过使用指示装置将光标旋转于图像500以选择图像500的第三像素563上的第三参考线端点521，并且通过选择图像500的第四像素564上的第四参考线端点522，来建立第二参考线520。第三参考线端点521和第四参考线端点522能够选择成在异常204的第二侧附近和之上。在示范方法700的步骤736(图11)，视频检验装置100(例如CPU150)能够确定在第三参考线端点521与第四参考线端点522之间延伸的第二参考线520上的多个点的三维坐标。如在图8中能够看到，第一参考线510和第二参考线520能够定位成横跨或包围异常204。
在一个实施例中，视频检验装置100(例如CPU150)能够对第一参考线端点511与第二参考线端点512之间的像素的三维坐标来采用最小平方回归(以降低噪声的影响)，以确定第一参考线510的下列等式
　　　　　　　　　　　　(2)
　　　　　　　　　　　　(3)
　　　　　　　　　　　　(4)
其中d1是沿第一参考线510的分数，范围从例如0.0至1.0。例如，如图8所示，第一参考线510分解为十段(d1=0.0、0.10、0.20、...0.90、1.00)。对第一参考线510确定一组常数(k)项。对第二参考线520执行相同过程，其中具有相同段数(即，d2=0.0、0.10、0.20、...0.90、1.00)。虽然在示范实施例中，第一参考线510和第二参考线520示为具有相同段数的相同长度，但是在其他实施例中，参考线510、520能够具有不同长度和/或具有不同段数。
在图8所示的实施例中，第一参考线510和第二参考线520为直线。在一个实施例中，视频检验装置100(例如CPU150)对于对象表面210上与对应于靠近第一像素561与第二像素562之间的直线的图像500的像素的点的三维坐标来执行回归。在另一个实施例中，视频检验装置100(例如CPU150)对于对象表面210上与对应于靠近第一像素561与第二像素562之间的直线的图像500的像素的点的三维坐标来执行低通滤波。
在另一个实施例(例如其中对象表面210更为复杂或者是弯曲的)中，对于确定第一参考线510上的多个点的三维坐标的步骤，视频检验装置100(例如CPU150)确定与对象表面210相交(例如垂直)并且经过第一参考线端点511和第二参考线端点512的第一参考线平面581。视频检验装置100然后确定对象表面210上靠近第一参考线平面581(例如，在第一参考线平面581上或者在其预定距离之内)的第一表面轮廓线591的多个点的三维坐标。类似地，对于确定第二参考线520上的多个点的三维坐标的步骤，视频检验装置100(例如CPU150)确定与对象表面210相交(例如垂直)并且经过第三参考线端点521和第四参考线端点522的第二参考线平面582。视频检验装置100然后确定对象表面210上靠近第二参考线平面582(例如，在第二参考线平面582上或者在其预定距离之内)的第二表面轮廓线592的多个点的三维坐标。在这个实施例中，在参考线能够是弯曲的情况下，对等式以及沿参考线的d值来确定一组不同的常数(k)。
在示范方法700的步骤740(图11)并且如图8所示，视频检验装置100(例如CPU150)使用第一参考线510上的多个点(例如514、515、516)的至少两个以及第二参考线520上的多个点的至少一个的三维坐标来确定参考表面550。为了清楚起见，图8仅示出沿第一参考线510和第二参考线520的一组点的单个参考表面550的确定。但是，在示范方法中，将对沿第一参考线510和第二参考线520的不同的点编组来创建多个参考表面。例如，虽然所示参考表面550能够基于靠近d1=d2=0.50的点来确定，但是其他参考表面能够基于靠近d1=d2=0.00、0.10、0.20、0.30、0.40、0.60、0.70、0.80、0.90、1.00的点来确定。
在一些实施例中，参考表面550能够是平坦的(例如平面)，而在其他实施例中，参考表面550能够是弯曲的或者采取不同形状(例如柱面、球面等)的形式。在第一参考线510和/或第二参考线520是弯曲的一实施例中，沿第一参考线510和/或第二参考线520的每个的参考表面550能够包括参考表面，其中至少两个不是平行的。
回到图8，示范参考表面550对应于第一参考线510和第二参考线520上的位置(其中d1=d2=0.50)，第一参考线510上的一组两个点514、516(d1=0.50±0.05)和第二参考线520上的一组两个点524、526(d2=0.50±0.05)的三维坐标用来确定作为参考平面的参考表面550。在一个实施例中，视频检验装置100(例如CPU150)能够执行四个点514、516、524、526的至少三个的三维坐标的拟合，以确定参考表面550的具有下列形式的等式
　　　　　　　　　　　　(5)
其中，(x,y,z)是所定义参考表面550上的任何三维点的坐标，以及a0、a1和a2是通过三维坐标的拟合所得到的系数。虽然在示范实施例中，参考表面550基于来自参考线510、520的两个对应段(即，d1=d2)的点来确定，但是在其他实施例中，参考表面550可基于不对应的两个段(即，d1≠d2)来确定。
在示范方法700的步骤750(图11)并且如图8所示，视频检验装置100(例如CPU150)确定包括异常204的表面上的多个点501、502、503的各参考表面550的感兴趣区域570。在一个实施例中，通过确定参考表面550上具有基于第一参考线510上的多个点514、516的至少两个以及第二参考线520上的多个点524、526的至少一个的顶点的多边形571，来创建感兴趣区域570。感兴趣区域570包括异常204的表面上的多个点501、502、503，其位于与参考表面550垂直的线条上并且与多边形571中的参考表面550相交。
在另一个实施例中，通过确定与参考表面550相交(例如垂直)并且经过第一参考线510上的多个点514、516的至少两个之间的第一参考线510的感兴趣区域平面580，来创建感兴趣区域570。感兴趣区域570包括异常204的表面上的多个点501、502、503，其位于感兴趣区域平面580的预定距离之内。
在示范方法700的步骤760(图11)并且如图8所示，视频检验装置100(例如CPU150)确定参考表面550与感兴趣区域570的每个中的异常204的表面上的多个点501、502、503之间的距离。在示范方法700的步骤770(图11)并且如图8所示，视频检验装置100(例如CPU150)确定感兴趣区域570中的异常204的表面上具有离参考表面最大距离的感兴趣点502(例如凹陷的最深点或者突出的最高点)的三维坐标。一旦识别了感兴趣点502，视频检验装置100(例如CPU150)设法查找经过感兴趣点502的剖面(或者剖面层面)。
在示范方法700的步骤780(图11)并且如图9所示，视频检验装置100(例如CPU150)确定第一参考线510与第二参考线520之间的对象表面210上包括异常204的表面上的感兴趣点502的剖面表面轮廓线594，如图9所示。在一个实施例中，剖面表面轮廓线594包括第一参考线510之上或附近的第一点518、第二参考线520之上或附近的第二点528以及异常204的表面上的感兴趣点502，如图9所示。在一个实施例中，为了确定经过感兴趣点502(最深或最高点)的剖面表面轮廓线594，视频检验装置100(例如CPU150)能够执行感兴趣点502所在的第一参考线510和第二参考线520的特定段中的迭代过程。例如并且如图9所示，由于感兴趣点502存在于对应于d1=d2=0.50的段中，所以视频检验装置100能够确定与参考表面550相交(例如垂直)并且经过参考线510、520上的对应点(例如，其中d1=d2)的多个参考表面平面583、584。虽然在示范实施例中，多个参考表面平面583、584基于来自参考线510、520的两个对应段(即，d1=d2)的点来确定，但是在其他实施例中，参考表面平面583、584可基于不对应的两个段(即，d1≠d2)来确定。
例如，视频检验装置100(例如CPU150)能够对于d1=d2=0.50来确定感兴趣点502与感兴趣区域平面580之间的距离。如在图9中能够看到，感兴趣点502位于离开感兴趣区域平面580的距离574，使得在感兴趣区域平面580所截取的剖面(或者剖面层面)没有包括感兴趣点502。
随后，视频检验装置100(例如CPU150)能够对于d1=d2=0.52来确定与原始参考表面550或者新参考表面(使用参考线510、520上靠近d1=d2=0.52的点所创建)相交(例如垂直)并且经过第一参考线510上的参考线点517和第二参考线520上的对应参考线点527的参考表面平面583。视频检验装置100然后能够对于d1=d2=0.52来确定感兴趣点502与参考表面平面583之间的距离。如在图9中能够看到，感兴趣点502位于离开参考表面平面583的距离575，使得在参考表面平面583所截取的剖面(或者剖面层面)没有包括感兴趣点502。
继续进行迭代，视频检验装置100(例如CPU150)能够对于d1=d2=0.53来确定与参考表面550或者新参考表面(使用参考线510、520上靠近d1=d2=0.53的点所创建)相交(例如垂直)并且经过第一参考线510之上或附近的参考线点518和第二参考线520之上或附近的对应参考线点528的参考表面平面584。视频检验装置100然后能够对于d1=d2=0.53来确定感兴趣点502与参考表面平面584之间的距离。如在图9中能够看到，感兴趣点502位于考表面平面584上，使得在参考表面平面584所截取的剖面(或者剖面层面)包括感兴趣点502。视频检验装置100然后能够确定对象表面210上靠近参考表面平面584(例如，在参考表面平面584上或者在其预定距离之内)的剖面表面轮廓线594的多个点的三维坐标。剖面表面轮廓线594包括第一参考线510之上或附近的点518、第二参考线520之上或附近的点528以及异常204的表面上的感兴趣点502，如图9所示。
在示范方法700的步骤790(图11)，视频检验装置100(例如CPU150)通过确定从参考表面550到对象表面210上的剖面表面轮廓线594的多个点的距离，来确定包括感兴趣点502的对象表面210的剖面。图10是图8的图像500中呈现的被观察对象202的对象表面210的剖面的图形表示的图像600。示出在剖面表面轮廓线594的被观察对象210的截面的剖面的图形表示能够在视频监视器(例如整体显示器170或外部监视器172)上显示。剖面包括第一参考线510之上或附近的点518、第二参考线520之上或附近的点528以及异常204的表面上的感兴趣点502。剖面的图形表示还显示参考表面550与表面上的感兴趣点502之间的距离602。在另一个实施例中，包括例如参考表面550和剖面表面轮廓线594(包括第一参考线510之上或附近的点518、第二参考线520之上或附近的点528以及异常204的表面上的感兴趣点502)的三维表示的点云图像能够在视频监视器(例如整体显示器170或外部监视器172)上显示。
鉴于以上所述，本发明的实施例自动确定表面的异常上的点的深度或高度。技术效果是减少执行测量所需的时间，并且改进测量的精度，因为用户无需手动识别感兴趣点(最深或最高点)。
如本领域的技术人员将会理解，本发明的方面可作为系统、方法或计算机程序产品来实施。相应地，本发明的方面可采取全硬件实施例、全软件实施例(包括固件、常驻软件、微码等)或者结合软件和硬件方面的实施例的形式，其在本文可一般称作“服务”、“电路”、“模块”和/或“系统”。此外，本发明的方面可采取一个或多个计算机可读介质上包含的计算机程序产品的形式，其上包含计算机可读程序代码。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。例如，计算机可读存储介质非限制性地可以是电子、磁、光、电磁、红外线或半导体系统、设备或装置或者以上所述的任何适当组合。计算机可读存储介质的更具体示例(非详尽列表)包括下列各项：具有一条或多条导线的电连接，便携计算机磁盘，硬盘，随机存取存储器(RAM)，只读存储器(ROM)，可擦可编程只读存储器(EPROM或闪速存储器)，光纤，便携致密光盘只读存储器(CD-ROM)，光存储装置，磁存储装置或者以上所述的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储供指令执行系统、设备或装置使用或者与其结合使用的程序的任何有形介质。
计算机可读介质上包含的程序代码和/或可执行指令可使用任何适当介质来传送，包括但不限于无线、有线、光纤电缆、RF等或者以上所述的任何适当组合。
用于执行本发明的方面的操作的计算机程序代码可通过一个或多个编程语言的任何组合来编写，包括诸如Java、Smaltalk、C++等的面向对象编程语言以及诸如“C”编程语言或类似编程语言之类的常规过程编程语言。程序代码可完全在用户计算机上运行、部分在用户计算机(装置)上作为独立软件包运行，部分在用户计算机而部分在远程计算机上或者完全在远程计算机或服务器上运行。在后一种情况下，远程计算机可通过包括局域网(LAN)或广域网(WAN)的任何类型的网络来连接到用户计算机，或者可进行到外部计算机的连接(例如通过使用因特网服务提供商的因特网)。
本文中参照按照本发明的实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的方面。将会理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合能够通过计算机程序指令来实现。可将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器运行的指令创建用于实现在流程图和/或框图的一个或多个框中规定的功能/动作的部件。
这些计算机程序指令还可存储在计算机可读介质中，它们能够指导计算机、其他可编程数据处理设备或其他装置以特定方式起作用，使得计算机可读介质中存储的指令产生一种制造产品，其中包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令。
计算机程序指令还可加载到计算机、其他可编程数据处理设备或其他装置中，以便使一系列操作步骤在计算机、其他可编程设备或其他装置上运行，从而产生计算机实现过程，使得在计算机或其他可编程设备上运行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
本书面描述使用示例来公开本发明，其中包括最佳模式，以及还使本领域的技术人员能够实施本发明，包括制作和使用任何装置或系统并且执行任何结合的方法。本发明的专利范围由权利要求书来定义，并且可包括本领域的技术人员想到的其他示例。如果这类其他示例具有与权利要求的文字语言完全相同的结构单元，或者如果它们包括具有与权利要求的文字语言的非实质差异的等效结构单元，则预计它们落入权利要求的范围之内。

Claims (10)

1.一种自动识别被观察对象（202）的对象表面（210）上的异常（204）的表面上的感兴趣点（502）的方法（700），所述方法（700）包括下列步骤：
在监视器（170/172）上显示所述对象表面（210）的图像（500）；
使用中央处理器单元（150）来确定所述对象表面（210）上的多个点的三维坐标；
使用指示装置（180）来选择所述图像（500）的第一像素（561）上的第一参考线端点（511）；
使用所述指示装置（180）来选择所述图像（500）的第二像素（562）上的第二参考线端点（512）；
使用所述中央处理器单元（150）来确定在所述第一参考线端点（511）与所述第二参考线端点（512）之间延伸的第一参考线（510）上的多个点的三维坐标；
使用所述指示装置（180）来选择所述图像（500）的第三像素（563）上的第三参考线端点（521）；
使用所述指示装置（180）来选择所述图像（500）的第四像素（564）上的第四参考线端点（522）；
使用所述中央处理器单元（150）来确定在所述第三参考线端点（521）与所述第四参考线端点（522）之间延伸的第二参考线（520）上的多个点的三维坐标；
使用所述中央处理器单元（150）、基于所述第一参考线（510）上的所述多个点的至少两个以及所述第二参考线（520）上的所述多个点的至少一个的三维坐标来确定参考表面（550）；
使用所述中央处理器单元（150）来确定包括所述异常（204）的表面上的多个点的所述参考表面（550）的感兴趣区域（570）；
使用所述中央处理器单元（150）来确定所述参考表面（550）与所述感兴趣区域（570）中的所述异常（204）的表面上的所述多个点之间的距离；
使用中央处理器单元（150）来确定所述感兴趣区域（570）中的所述异常（204）的表面上具有离所述参考表面（550）最大距离的所述感兴趣点（502）的三维坐标；
使用所述中央处理器单元（150）来确定所述第一参考线（510）与所述第二参考线（520）之间包括所述异常（204）的表面上的所述感兴趣点（502）的所述对象表面（210）上的剖面表面轮廓线（594）的多个点的三维坐标；以及
通过确定从所述参考表面（550）到所述对象表面（210）上的所述剖面表面轮廓线（594）的所述多个点的距离，使用所述中央处理器单元（150）来确定所述对象表面（210）的剖面（600）。
2.如权利要求1所述的方法（700），其中，确定所述第一参考线上的所述多个点的三维坐标的步骤包括：
确定与所述对象表面（210）相交并且经过所述第一参考线端点（511）和所述第二参考线端点（512）的第一参考线平面（581）；以及
确定所述对象表面（210）上靠近所述第一参考线平面（581）的第一表面轮廓线（591）的多个点的三维坐标。
3.如权利要求1所述的方法（700），其中，所述第一参考线（510）为直线。
4.如权利要求1所述的方法（700），其中，所述参考表面（550）是参考平面。
5.如权利要求1所述的方法（700），其中，确定所述参考表面的感兴趣区域（570）的步骤包括确定所述参考表面（550）上具有基于所述第一参考线（510）上的所述多个点的所述至少两个以及所述第二参考线（520）上的所述多个点的所述至少一个的顶点的多边形（571），其中所述感兴趣区域（570）包括所述异常（204）的表面上位于与所述参考表面（550）垂直并且与所述多边形（571）中的所述参考表面（550）相交的线条上的多个点。
6.如权利要求1所述的方法（700），其中，确定所述参考表面（550）的感兴趣区域（570）的步骤包括确定与所述参考表面（550）相交并且经过所述第一参考线（510）上的所述多个点的所述至少两个之间的所述第一参考线（510）的感兴趣区域平面（580），其中所述感兴趣区域（570）包括所述异常（204）的表面上位于所述感兴趣区域平面（580）的预定距离之内的多个点。
7.如权利要求1所述的方法（700），还包括在所述监视器（170/172）上显示包括在所述剖面表面轮廓线（594）的所述被观察对象（202）的截面的所述对象表面（210）的所述剖面（600）的图形表示的步骤。
8.如权利要求1所述的方法（700），还包括在所述监视器（170/172）上显示所述参考表面（550）与所述异常（204）的表面上的所述感兴趣点（502）之间的距离的步骤。
9.如权利要求1所述的方法（700），还包括在所述监视器（170/172）上显示包括所述剖面表面轮廓线（594）的三维表示的点云图像的步骤。
10.如权利要求1所述的方法（700），其中，所述图像（500）是二维图像。
CN201410779866.7A 2014-10-13 2014-12-17 用于自动识别异常的表面上的感兴趣点的方法和装置 Pending CN105759662A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/512,835 US9600928B2 (en) 2013-12-17 2014-10-13 Method and device for automatically identifying a point of interest on the surface of an anomaly
US14/512835 2014-10-13

Publications (1)

Publication Number Publication Date
CN105759662A true CN105759662A (zh) 2016-07-13

Family

ID=55643973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410779866.7A Pending CN105759662A (zh) 2014-10-13 2014-12-17 用于自动识别异常的表面上的感兴趣点的方法和装置

Country Status (3)

Country Link
JP (1) JP6446251B2 (zh)
CN (1) CN105759662A (zh)
DE (1) DE102014118424A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908453A (zh) * 2017-03-24 2017-06-30 中国科学技术大学 一种印刷线路板的检测方法及检测装置
CN108253886A (zh) * 2016-12-28 2018-07-06 株式会社基恩士 三维测量装置
CN108663006A (zh) * 2018-08-01 2018-10-16 昆山市建设工程质量检测中心 一种检测全灌浆套筒钢筋接头中连接钢筋插入深度的方法
CN109141274A (zh) * 2018-08-01 2019-01-04 昆山市建设工程质量检测中心 一种检测半灌浆套筒钢筋接头中连接钢筋插入深度的方法
CN109632825A (zh) * 2019-01-18 2019-04-16 创新奇智(重庆)科技有限公司 一种钢卷表面异常突起的自动检测方法
CN109682324A (zh) * 2017-10-18 2019-04-26 株式会社基恩士 形状测量装置
CN113624150A (zh) * 2020-05-06 2021-11-09 中国石油化工股份有限公司 管道凹陷弯曲应变获取方法及装置
CN116485893A (zh) * 2023-04-23 2023-07-25 创新奇智(上海)科技有限公司 一种测量物品放置位置的方法、系统、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7098271B2 (ja) * 2016-02-08 2022-07-11 ゼネラル・エレクトリック・カンパニイ 視認物体上の関心点を自動的に識別する方法
JP6804417B2 (ja) 2017-09-26 2020-12-23 オリンパス株式会社 計測装置、計測システム、計測装置の作動方法、およびプログラム
WO2019244345A1 (ja) 2018-06-22 2019-12-26 オリンパス株式会社 ランドマーク推定方法、及び、内視鏡装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4399068B2 (ja) * 1999-11-18 2010-01-13 本田技研工業株式会社 筒形状加工物の評価方法および評価装置
WO2007043899A1 (en) * 2005-10-14 2007-04-19 Applied Research Associates Nz Limited A method of monitoring a surface feature and apparatus therefor
WO2010006405A1 (en) * 2008-07-18 2010-01-21 Vorum Research Corporation Method, apparatus, signals and media for producing a computer representation of a three-dimensional surface of an appliance for a living body
IT1395344B1 (it) * 2009-05-28 2012-09-14 Geosoft S R L Metodo di restituzione fotogrammetrica assistita da nuvola di punti e relativo apparato.
US8760447B2 (en) * 2010-02-26 2014-06-24 Ge Inspection Technologies, Lp Method of determining the profile of a surface of an object
JP5530225B2 (ja) * 2010-03-09 2014-06-25 オリンパス株式会社 内視鏡装置およびプログラム
US9013469B2 (en) * 2011-03-04 2015-04-21 General Electric Company Method and device for displaying a three-dimensional view of the surface of a viewed object
US20130287288A1 (en) * 2012-04-25 2013-10-31 General Electric Company Method and device for determining the offset distance between two surfaces

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108253886A (zh) * 2016-12-28 2018-07-06 株式会社基恩士 三维测量装置
CN108253886B (zh) * 2016-12-28 2021-07-02 株式会社基恩士 三维测量装置
CN106908453A (zh) * 2017-03-24 2017-06-30 中国科学技术大学 一种印刷线路板的检测方法及检测装置
CN109682324A (zh) * 2017-10-18 2019-04-26 株式会社基恩士 形状测量装置
CN108663006A (zh) * 2018-08-01 2018-10-16 昆山市建设工程质量检测中心 一种检测全灌浆套筒钢筋接头中连接钢筋插入深度的方法
CN109141274A (zh) * 2018-08-01 2019-01-04 昆山市建设工程质量检测中心 一种检测半灌浆套筒钢筋接头中连接钢筋插入深度的方法
CN109632825A (zh) * 2019-01-18 2019-04-16 创新奇智(重庆)科技有限公司 一种钢卷表面异常突起的自动检测方法
CN113624150A (zh) * 2020-05-06 2021-11-09 中国石油化工股份有限公司 管道凹陷弯曲应变获取方法及装置
CN116485893A (zh) * 2023-04-23 2023-07-25 创新奇智(上海)科技有限公司 一种测量物品放置位置的方法、系统、设备及介质
CN116485893B (zh) * 2023-04-23 2024-02-23 创新奇智(上海)科技有限公司 一种测量物品放置位置的方法、系统、设备及介质

Also Published As

Publication number Publication date
JP6446251B2 (ja) 2018-12-26
DE102014118424A1 (de) 2016-04-14
JP2016080674A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
CN105759662A (zh) 用于自动识别异常的表面上的感兴趣点的方法和装置
US11514643B2 (en) Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
CN104713529A (zh) 用于自动标识异常表面上的最深点的方法和装置
US9600928B2 (en) Method and device for automatically identifying a point of interest on the surface of an anomaly
US11308343B2 (en) Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US9013469B2 (en) Method and device for displaying a three-dimensional view of the surface of a viewed object
US9842430B2 (en) Method and device for automatically identifying a point of interest on a viewed object
US8411083B2 (en) Method and device for displaying an indication of the quality of the three-dimensional data for a surface of a viewed object
JP6865046B2 (ja) 視認物体の深度測定において関心点を自動的に識別する方法および装置
US20130287288A1 (en) Method and device for determining the offset distance between two surfaces
JP6895382B2 (ja) 観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器
CN109255844A (zh) 用于使用视频检查设备测量特征的尺寸的图形叠加层
CN108027233B (zh) 用于测量物体上或附近的特征的方法及装置
JP7098271B2 (ja) 視認物体上の関心点を自動的に識別する方法
JP2021140524A (ja) 検査端末装置、検査装置、検査システム、及び、検査プログラム
JP6653539B2 (ja) 画像測定装置、その制御プログラム及び測定装置
JP6670918B2 (ja) 生成装置、生成方法及び生成プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160713