CN105100682B - 具有导航功能的管道镜 - Google Patents

具有导航功能的管道镜 Download PDF

Info

Publication number
CN105100682B
CN105100682B CN201410180922.5A CN201410180922A CN105100682B CN 105100682 B CN105100682 B CN 105100682B CN 201410180922 A CN201410180922 A CN 201410180922A CN 105100682 B CN105100682 B CN 105100682B
Authority
CN
China
Prior art keywords
image
pose
initial
adjustment
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410180922.5A
Other languages
English (en)
Other versions
CN105100682A (zh
Inventor
顾嘉俊
杨勇
韩杰
翟梓融
凯文·G·哈丁
宋桂菊
贾明
谢广平
希尔·N·利姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Priority to CN201410180922.5A priority Critical patent/CN105100682B/zh
Priority to US14/687,747 priority patent/US20150319410A1/en
Priority to JP2015088860A priority patent/JP2016027372A/ja
Priority to EP15165769.9A priority patent/EP2940508A1/en
Publication of CN105100682A publication Critical patent/CN105100682A/zh
Application granted granted Critical
Publication of CN105100682B publication Critical patent/CN105100682B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00052—Display arrangement positioned at proximal end of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01D—NON-POSITIVE DISPLACEMENT MACHINES OR ENGINES, e.g. STEAM TURBINES
    • F01D21/00—Shutting-down of machines or engines, e.g. in emergency; Regulating, controlling, or safety means not otherwise provided for
    • F01D21/003—Arrangements for testing or measuring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00—Control
    • F05D2270/80—Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05D2270/804—Optical devices
    • F05D2270/8041—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种管道镜，具体为具有导航功能的管道镜，其包括设有探测头及传感器的探测管和至少一个传感器、第一图像处理器、模型存储单元、位姿计算器、第二图像处理器、导航图像计算器和显示器。传感器用于接收探测管的信号并生成对应的感应信号。第一图像处理器用于根据探测头捕获的第一图像信号计算得到第一图像。模型存储单元用于存储被检测机械装置的预设模型。位姿计算器用于根据感应信号计算得到探测头的初始位姿。第二图像处理器用于调整初始位姿至导航位姿，以满足第一图像和第二图像之间的偏差落入允许范围。导航图像计算器用于根据导航位姿和预设模型计算得到导航图像。显示器用于显示导航图像。本发明还揭示一种用于导航管道镜的探测头的方法。

Description

具有导航功能的管道镜
技术领域
本发明涉及一种管道镜(Borescope)，特别涉及一种精确定位管道镜的探测头在被检测机械装置中的位置的管道镜及其导航方法。
背景技术
管道镜(工业内窥镜)广泛应用于机械装置例如航空发动机、工业汽轮机、内燃机或汽车发动机的检测。考虑到安全和维护需求，需要定期检查机械装置的内部元件是否发生故障。
柔性管道镜常用于检测机械装置复杂的内表面结构。在一些情况下，管道镜的柔性探测管的一端设置探测头，该探测头可包括微型摄像机和光源以便于在被检测机械装置的黑暗空间内捕获到清晰的动态或静态图像。作为远距离监控，捕获动态或静态图像的能力对于后续操作具有重要意义。手持操作装置上的显示器可用于显示捕获的图像。手持操作装置上的操作杆可用于控制或驱动该探测头的运动以对该机械装置的内部元件进行全面的检测。
然而，为了覆盖机械装置设备的所有感兴趣区域(region of interest，ROI)，通常需要花费几天的时间。对探测头在机械装置中的不精确位置导航是造成时间浪费的主要原因。由于导航误差，操作人员不能根据导航信息控制探测头到达感兴趣区域或不能控制微型摄像机面向期望的方向。因此，导航图像为操作人员调整探测头的位置和方向提供非常重要的信息。在一些情况下，期望该探测头在机械装置中的位姿(位置和方位角)足够精确以观测故障或缺陷的扩张以及为操作人员的后续操作提供一个精确的参考信息。
所以，需要提供一种新的具有精确导航功能的管道镜来解决上述问题。
发明内容
现在归纳本发明的一个或多个方面以便于本发明的基本理解，其中该归纳并不是本发明的扩展性纵览，且并非旨在标识本发明的某些要素，也并非旨在划出其范围。相反，该归纳的主要目的是在下文呈现更详细的描述之前用简化形式呈现本发明的一些概念。
本发明的一个方面在于提供一种管道镜，该管道镜包括：
设有探测头及传感器的探测管，该传感器用于接收该探测管的信号并生成对应的感应信号；
第一图像处理器，用于根据该探测头捕获的第一图像信号计算得到第一图像；
模型存储单元，用于存储被检测机械装置的预设模型；
位姿计算器，用于根据该感应信号计算得到该探测头的初始位姿；
第二图像处理器，用于调整该初始位姿至导航位姿，以满足该第一图像和根据该导航位姿计算得到的第二图像之间的偏差落入允许范围；
导航图像计算器，用于根据该导航位姿和该预设模型计算得到导航图像；及
用于显示该导航图像的显示器。
本发明的另一方面在于提供一种用于导航管道镜的探测头的方法，该管道镜上设有传感器，该方法包括如下步骤：
接收由该探测头捕获的第一图像信号并接收该传感器生成的感应信号；
根据该感应信号计算得到该探测头的初始位姿；
根据该第一图像信号计算得到第一图像并根据该初始位姿和预设模型计算得到初始的第二图像；
计算该第一图像和该初始的第二图像之间的初始偏差；
调整该初始位姿至导航位姿，以满足该第一图像和根据该导航位姿计算得到的第二图像之间的偏差落入允许范围；
根据该导航位姿和该预设模型计算得到导航图像；及
显示该导航图像。
相较于现有技术，本发明具有导航功能的管道镜的处理器将基于探测管上设置的传感器得到的感应信号进行处理以得到探测头的初始位姿，该处理器对初始位姿进行不断调整以得到最终精确的导航位姿。根据导航位姿和检测装置的模型计算得到最终的导航图像以显示在管道镜的显示器上。从而使操作人员可更精确的找到对应的故障位置并更精确的进行下一步操作，大大提高了效率。
附图说明
通过结合附图对于本发明的实施方式进行描述，可以更好地理解本发明，在附图中：
图1为一种用于检测机械装置的管道镜的一个实施方式的工作状态示意图；
图2为如图1所示的管道镜的探测管横截面的一个实施方式的示意图；
图3为图2所示的形状感应线缆中的一根感应线的一个实施方式的示意图；
图4为对如图1所示的管道镜进行导航监控的一个实施方式的示意框图；
图5为对如图1所示的内部元件的图像进行调节的一个实施方式的不同状态示意图；
图6为对如图1所示管道镜的探测头进行导航的方法的一种实施方式的流程图；
图7为如图6所示的初始位姿的调整步骤的一种实施方式的流程图；
图8为如图6所示的初始位姿的调整步骤的另一种实施方式的流程图。
具体实施方式
以下将描述本发明的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是，在任意一种实施方式的实际实施过程中，正如在任意一个工程项目或者设计项目的过程中，为了实现开发者的具体目标，为了满足系统相关的或者商业相关的限制，常常会做出各种各样的具体决策，而这也会从一种实施方式到另一种实施方式之间发生改变。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本公开揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本公开的内容不充分。
除非另作定义，权利要求书和说明书中使用的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书及权利要求书中使用的“第一”、“第二”及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“一个”或者“一”等类似词语并不表示数量限制，而是表示存在至少一个。
请参考图1，为一种用于检测机械装置70的管道镜20的一个实施方式的工作状态示意图。该管道镜20包括柔性的探测管24和手持操作装置22。在一些实施方式中，该机械装置70的合适位置设置多个开口(如开口71)。当检测该机械装置70的内部元件时，该探测管24从该开口71伸入该机械装置70的内部检测空间72。作为一个例子，该检测空间72包括多个通道，如图1所示的通道‘A’，‘B’，‘C’，‘D’，‘E’，‘F’。
在一些非限定的实施方式中，该探测管24的一端设置探测头242。该探测头242可包括微型摄像机(未示出)以用于捕获该机械装置70的内部元件的动态或静态图像。在一些实施方式中，该探测头242可包括光源(未示出)以使其在该机械装置70的黑暗的空间内捕获到清晰的动态或静态图像。
该手持操作装置22包括操控区222(例如操作杆)以控制或驱动该探测头242的运动。该手持操作装置22进一步包括显示器220，该显示器220可包括第一显示部分224以用于显示由该微型摄像机捕获得到的该内部元件501对应的动态或静态图像313。该显示器220还包括第二显示部分226以用于显示该探测头242在该被检测的机械装置70中的位置导航图像3251或3252。在一些实施方式中，该探测管24的结构3253和/或该探测头242的导航位姿(例如导航位置T和导航方位角R)显示在该导航图像3251上。在一些实施方式中，表明该探测头242在该机械装置70中的位置点3254和该导航位姿(T，R)的信息都显示在该导航图像3252上。该导航图像3251或3252可包括二维图像或三维图像。该导航位置T和该导航方位角R可包括三维向量，例如，在三维空间坐标系(x’，y’，z’)中，T＝[Tx’，Ty’，Tz’]，R＝[Rx’，Ry’，Rz’]。如图1所示的该手持操作装置22仅作为一个示例，可实施本发明所描述功能的任何种类的装置均可用作该手持操作装置。
通常，操作人员期望得到该探测头242在该机械装置70中的精确导航位姿，该精确的导航位姿可用于预测发生故障的位置及为操作人员的后续操作提供一个参考信息。
请参考图2，为如图1所示的管道镜20的探测管24横截面的一个实施方式的示意图。为了实现探测区域或探测点的成像功能，该探测管24内部设有若干线缆，例如，包括两个灯光线缆241，用于提供光源；一个摄像头线缆243，用于传输摄像头拍摄的图像；四个操作线缆245，用于操作探测头242；及一个电源线缆247，用于提供电源。上述线缆均为现有技术，这里不再详细说明。为了实现本发明导航功能，该探测管24内部还设有一个形状感应线缆246。本实施方式中，该形状感应线缆246位于该探测管24的内壁附近，其他实施方式中，该形状感应线缆246还可设于该探测管24的中心以获得该探测管24的形状反馈信号。
作为一种示例，该形状感应线缆246包括一根十字形的柔性支撑杆2462、及分别设置于该支撑杆2462四个角处的四根感应线2463。在一些非限定的实施方式中，该支撑杆2462可由玻璃纤维或碳素纤维制成。在其他实施方式中，该支撑杆2462可包括其他形状，该感应线2463的数量也可根据实际需求进行调整。
请参考图3，为图2所示的形状感应线缆246中的一根感应线2463的一个实施方式的示意图。该感应线2463上设置传感器2465和若干感应点2464。在一些非限定的实施方式中，该感应线2463可包括光纤(optical fiber)，该至少一个感应点2464可包括光纤布拉格光栅(Fiber Bragg Grating)。该感应点2464的数量可根据探测所需的精度要求来设置。在一些实施方式中，该传感器2465设置在该感应线2463的一端以用于接收在每个感应点2464反馈的光信号并产生相应的感应信号，该探测管24的形状可根据该感应信号并基于合适的算法计算得到。
在一些实施方式中，在每个感应点2464上设置应变片式、压电材料式或其他形式的传感器。在每个感应点2464处的传感器用于接收对应感应点2464处的应力变化信号并产生相应的感应信号，该探测管24的形状可根据该感应信号并基于合适的算法计算得到。
在其他实施方式中，该传感器2465包括安装在该探测头242上的加速计和陀螺仪。因此，通过采用合适的导航算法如惯性算法，该探测头242的位姿可根据该加速器和陀螺仪的感应信号计算得到。
请参考图4，为对如图1所示的管道镜20进行导航监控的一个实施方式的示意框图。如上所述，该手持操作装置22用于通过该操控区222对该探测头242进行控制并通过显示器220显示捕获的动态或静态图像313和计算得到的该探测头242的导航图像325。在一些实施方式中，该手持操作装置22可包括嵌入式处理器300，该处理器300与该操控区222、该显示器220、该探测头242和该传感器2465进行通讯。在一些实施方式中，该处理器300可设置在外部处理设备(如计算机)中以减小该手持操作装置22的体积和重量。
为实现动态或静态图像显示功能，该处理器300包括探测头控制器302和第一图像处理器304。该探测头控制器302用于从该操控区222接收控制信号并在探测过程中控制探测头242，例如调整探测角、前进方向或调整光线亮度等。
当如图1所示捕获到该内部元件501的图像后，如图2所示的该摄像头线缆243用于将相应的第一图像信号311传递给该第一图像处理器304。该第一图像处理器304用于接收该第一图像信号311并计算得到相应的动态或静态图像313，该动态或静态图像313可选择性地显示在该显示器220的第一显示部分224。
该第一图像处理器304还包括第一图像计算器305以用于基于该第一图像信号311计算得到第一图像F1(x，y)312。这里，F1(x，y)是二维平面坐标系(x，y)下的函数。请参照图5，如图5的(a)部分所示，该第一图像F1(x，y)可包括该内部元件501的多个特征点(例如1，2，3，…n)。在一些实施方式中，该多个特征点可包括通过合适的算法如梯度算子(GradientOperator)计算得到的多个用于描述该内部元件501的边界点。在一些实施方式中，该多个特征点可包括用于构建该内部元件501的图像的点、线或其他几何信息。
请再次参考图4，为了实现本发明导航功能，该处理器300还包括模型存储单元306、位姿计算器307、第二图像处理器314和导航图像计算器310。
该模型存储单元306用于存储一个预设模型318，该预设模型318包括被检测机械装置70的机械模型。也即，该预设模型318的构造与该机械装置70的构造相同。该模型存储单元306可根据被检测的不同的机械装置70存储多个对应的预设模型318。在一些实施方式中，该预设模型318可为二维模型或三维模型。
该位姿计算器307用于从该至少一个传感器2465接收该感应信号316并计算得到该探测头242的初始位姿317。该初始位姿317包括该探测头242在该检测装置70中对应的初始位置T1和初始方位角R1。通常，随着该探测管24伸入该机械装置70的长度的增加，计算得到的该探测头242的该初始位姿(T1，R1)317的误差可能会增加。因此，为了更精确的跟踪该探测头242，该初始位姿(T1，R1)317需要并被调整至合适的水平。
该第二图像处理器314用于将该初始位姿(T1，R1)317调整至期望的更精确的导航位姿(Tnav，Rnav)324，通常上述调整是通过多次计算进行逐步调整的，直到调整后满足该第一图像F1(x，y)312和根据该导航位姿(Tnav，Rnav)324计算得到的第二图像F2Tnav，Rnav(x，y)322之间的偏差落入允许范围为止。在一些实施方式中，在该三维空间坐标系(x’，y’，z’)中的该第二图像F2Tnav，Rnav(x’，y’，z’)可直接根据该导航位姿(Tnav＝[Tx’，Ty’，Tz’]，Rnav＝[Rx’，Ry’，Rz’])和该三维预设模型318计算得到。通过坐标系变换，三维空间坐标系中的该第二图像F2Tnav，Rnav(x’，y’，z’)可转化为二维平面坐标系中的该第二图像F2Tnav，Rnav(x，y)322。
在更具体的实施方式中，该第二图像处理器314包括第二图像计算器308和图像分析单元309。请参考图4和图5，该第二图像计算器308用于根据该初始位姿(T1，R1)317和该预设模型318计算得到初始的第二图像F2T1，R1(x，y)3221。如果需要后续进一步调整，该第二图像计算器308还用于根据对应的调整位姿323(如(T2，R2)，(T3，R3)和(T4，R4))计算得到调整的第二图像322如F2T2，R2(x，y)3222，F2T3，R3(x，y)3223和F2T4，R4(x，y)3224。如图5所示，与该第一图像F1(x，y)312相类似，该第二图像322(如该初始的第二图像F2T1，R1(x，y)3221)包括多个该内部元件501的对应的特征点(如1’，2’，3’，…n’)。
在一些实施方式中，该图像分析单元309用于计算该第一图像F1(x，y)312和该初始的第二图像F2T1，R1(x，y)3221之间的初始偏差E(T1，R1)。该图像分析单元309还用于计算用该第一图像F1(x，y)312和该调整的第二图像322如F2T2，R2(x，y)3222，F2T3，R3(x，y)3223和F2T4，R4(x，y)3224之间的调整偏差E(Tk+1，Rk+1)(k≥1)。该图像分析单元309进一步用于计算该初始偏差E(T1，R1)和该调整偏差E(Tk+1，Rk+1)之间的变量ΔEk。该图像分析单元309进一步用于判断该变量ΔEk是否落入预设允许范围，若未落入，则逐步将该初始位姿(T1，R1)调整为该调整位姿(Tk+1，Rk+1)323直到该变量ΔEk落入该允许范围为止。一但该变量ΔEk落入该允许范围，对应的调整位姿(Tk+1，Rk+1)323输出作为该导航位姿(Tnav，Rnav)324。例如基于如上所述的调整过程，如图5的(d)部分所示的(T4，R4)输出作为该导航位姿(Tnav，Rnav)324。
在其他实施方式中，该图像分析单元309用于判断该第一图像312和该初始的第二图像3221之间的初始偏差E(T1，R1)或该第一图像312和该调整的第二图像3222，3223，3224之间的调整偏差E(Tk+1，Rk+1)是否落入预设允许范围。如果该偏差E(T1，R1)，E(Tk+1，Rk+1)在该允许范围之外，该图像分析单元309用于逐步将该初始位姿(T1，R1)317调整为该调整位姿(Tk+1，Rk+1)323直到该偏差E(T1，R1)，E(Tk+1，Rk+1)落入该允许范围为止。一但该偏差E(T1，R1)，E(Tk+1，Rk+1)落入该允许范围，该初始位姿(T1，R1)317或该对应的调整位姿(Tk+1，Rk+1)323输出作为该导航位姿(Tnav，Rnav)324。例如基于如上所述的调整过程，如图5的(d)部分所示的(T4，R4)输出作为该导航位姿(Tnav，Rnav)324。
该导航图像计算器310用于接收该导航位姿324和该预设模型318并基于该导航位姿324和该预设模型318计算得到导航图像325。如上所述的该导航图像325为二维或三维图像。然后，该导航图像325在该显示器220的第二显示部分226上进行显示。该导航图像325和用于预测潜在故障的发生位置并为后续的探测管24的操作提供参考信息。
请参考图5，为初始的第二图像3221的调整过程的一种实施方式示意图。与如图4所示的管道镜的控制框图相结合，接下来将对该调整过程进行详细描述。
在一些实施方式中，该第二图像处理器314至少实施一个调整过程。该第一图像F1(x，y)312和该第二图像F2Tk，Rk(x，y)322之间的偏差E(Tk，Rk)可根据如下所示计算式计算得到：
其中该偏差E(Tk，Rk)为该第一图像F1(x，y)在特征点1，2，3，…n和该第二图像F2Tk，Rk(x，y)在对应的特征点1’，2’，3’，…n’之间的累积误差。在其他实施方式中，该偏差E(Tk，Rk)是可用于描述该第一图像F1(x，y)312和该第二图像F2Tk，Rk(x，y)322之间误差的函数。
作为一个示例，计算得到的该第一图像F1(x，y)312和该初始的第二图像F2T1，R1(x，y)3221如图5的(a)部分所示。当k＝1时，根据公式(1)可计算初始误差E(T1，R1)。
该图像分析单元309用于对该初始位姿(T1，R1)317进行调节以生成调节位姿(T2，R2)323。如图5的(b)部分所示，根据该调节位姿(T2，R2)323，该初始的第二图像F2T1，R1(x，y)3221被重新计算以得到调整的第二图像F2T2，R2(x，y)3222。当k＝2时，根据公式(1)可计算调节误差E(T2，R2)，进而可计算得到偏差变量ΔE1＝E(T2，R2)-E(T1，T1)。作为一个示例，ΔE1未落入该预设允许范围(如[-0.005，0])，该调整位姿(T2，R2)被判断为不够精确。
接下来，该图像分析单元309用于对该初始位姿(T1，R1)317进行调节以生成调节位姿(T3，R3)323。如图5的(c)部分所示，根据该调节位姿(T3，R3)323，该初始的第二图像F2T1，R1(x，y)3221(或该调整的第二图像F2T2，R2(x，y)3222)被重新计算以得到调整的第二图像F2T3，R3(x，y)3223。当k＝3时，根据公式(1)可计算调节误差E(T3，R3)，进而可计算得到偏差变量ΔE2＝E(T3，R3)-E(T1，T1)。作为一个示例，ΔE2未落入该预设允许范围(如[-0.005，0])，该调整位姿(T3，R3)被判断为不够精确。
接下来，该图像分析单元309用于对该初始位姿(T1，R1)317进行调节以生成调节位姿(T4，R4)323。如图5的(d)部分所示，根据该调节位姿(T4，R4)323，该初始的第二图像F2T1，R1(x，y)3221(或该调整的第二图像F2T3，R3(x，y)3223)被重新计算以得到调整的第二图像F2T4，R4(x，y)3224。当k＝4时，根据公式(1)可计算调节误差E(T4，R4)，进而可计算得到偏差变量ΔE3＝E(T4，R4)-E(T1，T1)。作为一个示例，ΔE3落入该预设允许范围(如[-0.005，0])，该调整位姿(T4，R4)被判断为足够精确。最终，该图像分析单元309输出该调整位姿(T4，R4)323作为该导航位姿(Tnav，Rnav)324。
在一些述实施方式中，该调整位姿(Tk+1，Rk+1)323通过将该初始位置T1与预设补偿位置ΔTk进行求和或将该初始方位角R1与预设补偿方位角ΔRk进行求和得到，计算式如下所示：
Tk+1＝T1+ΔTk(k≥1) (2)，
Rk+1＝R1+ΔRk(k≥1) (3)。
在一些实施方式中，该补偿位置ΔTk和该补偿方位角ΔRk中至少一个的步长(空间向量长度)为固定值，该补偿位置ΔTk和该补偿方位角ΔRk中至少一个的向量方向可变。例如：ΔT1＝[0.005，-0.0005，0.0005]，ΔR1＝[0.5°，-0.5°，0.5°]；ΔT2＝[0.005，-0.0005，-0.0005]，ΔR2＝[0.5°，-0.5°，-0.5°]。在一些实施方式中，该补偿位置ΔTk和该补偿方位角ΔRk为变化值。在一些实施方式中，该补偿位置ΔTk和该补偿方位角ΔRk通过收敛算法如隆伯格算法计算得到，该收敛算法可用于加快该偏差收敛到0的速度。
在一些实施方式中，期望该调整偏差E(Tk+1，Rk+1)总比该初始偏差E(T1，R1)小。如果该调整偏差E(Tk+1，Rk+1)大于该E(T1，R1)，意味着调整的方向不对。在这种情况向下，应该改变调整方向。例如，ΔTk＝(0.0005，0.0005，0.0005)，ΔTk+1＝(-00005，0.0005，0.0005)。如果该调整偏差E(Tk+1，Rk+1)小于该E(T1，R1)，意味着调整方向正确，应该保持调整方向或改变调整步长。例如，ΔTk＝(-0.0005，0.0005，0.0005)，ΔTk+1＝(-0.0001，0.0001，0.0001)。
请参照图6，为对如图1所示管道镜20的探测头242进行导航的方法的一种实施方式的流程图。在该处理器300中执行该方法600，该方法600包括如下步骤：
步骤601，在检测过程中，接收由该探测头242捕获的第一图像信号311并接收传感器2465生成的感应信号316。
为实现该动态或静态图像显示功能，该方法600进一步包括步骤621和623。步骤621，根据该第一图像信号311计算得到对应的动态或静止图像313。步骤623，显示该动态或静止图像313。
为了实现本发明导航功能，该方法600包括步骤603～613。
步骤603，根据该感应信号316计算得到该探测头242的初始位姿(T1，R1)317。
步骤605，根据该第一图像信号311计算得到第一图像312并根据该初始位姿(T1，R1)317和预设模型318计算得到初始的第二图像322。
步骤607，计算该第一图像F1(x，y)312和该初始的第二图像F2T1，R1(x，y)3221之间的初始偏差E(T1，R1)。
步骤609，调整该初始位姿(T1，R1)317至导航位姿(Tnav，Rnav)324，以满足该第一图像F1(x，y)312和根据该导航位姿(Tnav，Rnav)324计算得到的第二图像F2Tnav，Rnav(x，y)322之间的偏差落入允许范围；
步骤611，根据该导航位姿(Tnav，Rnav)324和该预设模型318以计算得到导航图像325。
步骤613，将该导航图像325显示在该显示器220上。
请参考图7，为如图6所示的初始位姿的调整步骤的一种实施方式的流程图。更具体的，步骤609可包括如下子步骤。
步骤6091，将该初始位姿(T1，R1)317调整为调整位姿(Tk+1，Rk+1)(k≥1)323。
步骤6092，计算该第一图像F1(x，y)312和基于该调整位姿(Tk+1，Rk+1)323和该预设模型318计算得到的调整的第二图像F2Tnav，Rnav(x，y)322之间的调整偏差E(Tk+1，Rk+1)。
步骤6093，计算该初始偏差E(T1，R1)和该调整偏差E(Tk+1，Rk+1)之间的变量ΔEk。
步骤6094，判断该变量ΔEk是否落入该允许范围[El，Eh]，如果落入该允许范围则进行步骤6095，否则返回步骤6091。
步骤6095，输出该调整位姿(Tk+1，Rk+1)323作为该导航位姿(Tnav，Rnav)324。
请参考图8，为如图6所示的初始位姿的调整步骤的另一种实施方式的流程图。更具体的，步骤609可包括如下子步骤。
步骤6096，判断该第一图像和该第二图像之间的初始偏差E(T1，R1)或调整偏差E(Tk+1，Rk+1)(k≥1)是否落入该允许范围[El，Eh]，如果落入该允许范围则进行步骤6099，否则进行步骤6097；
步骤6097，将该初始位姿(T1，R1)317调整为调整位姿(Tk+1，Rk+1)(k≥1)323。
步骤6098，计算该第一图像F1(x，y)312和基于该调整位姿(Tnav，Rnav)324和该预设模型318计算得到的调整的第二图像F2Tk+1，Rk+1(x，y)322之间的调整偏差E(Tk+1，Rk+1)。
步骤6099，输出该调整位姿(Tk+1，Rk+1)作为该导航位姿(Tnav，Rnav)324。
由于对该初始位姿(T1，R1)17逐步进行调节，对应的第二图像322也相应的逐步调整。该第一图像312和该第二图像322之间的偏差逐步减小。通过上述方法600可获得精确的导航图像。通过观测该探测管24或该探测头242在该被检测的机械装置70中的导航图像325，操作人员可精确的辨识感兴趣的检测通道或检测点。
虽然结合特定的实施方式对本发明进行了说明，但本领域的技术人员可以理解，对本发明可以作出许多修改和变型。因此，要认识到，权利要求书的意图在于覆盖在本发明真正构思和范围内的所有这些修改和变型。

Claims (14)

1.一种管道镜，其特征在于：该管道镜包括：
设有探测头及传感器的探测管，该传感器用于接收该探测管的信号并生成对应的感应信号；
第一图像处理器，用于根据该探测头捕获的第一图像信号计算得到第一图像；
模型存储单元，用于存储被检测机械装置的预设模型；
位姿计算器，用于根据该感应信号计算得到该探测头的初始位姿；
第二图像处理器，用于根据该预设模型通过计算调整该初始位姿至相比初始位姿更精确的导航位姿，以满足该第一图像和根据该导航位姿计算得到的第二图像之间的偏差落入允许范围；
导航图像计算器，用于根据该导航位姿和该预设模型计算得到导航图像；及
用于显示该导航图像的显示器。
2.如权利要求1所述的管道镜，其中该第二图像处理器包括第二图像计算器和图像分析单元，其中：
该第二图像计算器用于：
根据该初始位姿和该预设模型计算得到初始的第二图像；及
根据该预设模型和调整位姿计算得到调整的第二图像；及
该图像分析单元用于：
计算该第一图像和该初始的第二图像之间的初始偏差；
计算该第一图像和该调整的第二图像之间的调整偏差；
计算该初始偏差和该调整偏差之间的变量；
逐步将该初始位姿调整为该调整位姿直到该变量落入该允许范围；及
输出对应的调整位姿作为该导航位姿。
3.如权利要求1所述的管道镜，其中该第二图像处理器包括第二图像计算器和图像分析单元，其中：
该第二图像计算器用于：
根据该初始位姿和该预设模型计算得到初始的第二图像；及
根据该预设模型和调整偏差计算得到调整的第二图像；及
该图像分析单元用于：
判断该第一图像和该初始的第二图像之间的偏差或该第一图像和该调整的第二图像之间的偏差是否落入该允许范围并在未落入时逐步将该初始位姿调整为该调整位姿直到该偏差落入该允许范围；及
输出对应的调整位姿作为该导航位姿。
4.如权利要求1所述的管道镜，其中该初始位姿包括该探测头的初始位置和初始方位角。
5.一种用于导航管道镜的探测头的方法，该管道镜上设有传感器，其特征在于：该方法包括如下步骤：
接收由该探测头捕获的第一图像信号并接收该传感器生成的感应信号；
根据该感应信号计算得到该探测头的初始位姿；
根据该第一图像信号计算得到第一图像并根据该初始位姿和预设模型计算得到初始的第二图像；
计算该第一图像和该初始的第二图像之间的初始偏差；
调整该初始位姿至相比初始位姿更精确的导航位姿，以满足该第一图像和根据该导航位姿计算得到的第二图像之间的偏差落入允许范围；
根据该导航位姿和该预设模型计算得到导航图像；及
显示该导航图像。
6.如权利要求5所述的方法，其中该方法还包括：
根据该第一图像信号计算对应的动态或静止图像；及
显示该动态或静止图像。
7.如权利要求5所述的方法，其中该调整步骤包括：
a)将该初始位姿调整为调整位姿；
b)计算该第一图像和基于该调整位姿和该预设模型计算得到的调整的第二图像之间的调整偏差；
c)计算该初始偏差和该调整偏差之间的变量；
d)判断该变量是否落入该允许范围，如果落入该允许范围则进行步骤e)，
否则返回步骤a)；及
e)输出该调整位姿作为该导航位姿。
8.如权利要求5所述的方法，其中该调整步骤包括：
a)判断该第一图像和该第二图像之间的初始偏差或调整偏差是否落入该允许范围，如果落入该允许范围则进行步骤d)，否则进行步骤b)；
b)将该初始位姿调整为调整位姿；
c)计算该第一图像和基于该调整位姿和该预设模型计算得到的调整的第二图像之间的调整偏差；及
d)输出该调整位姿作为该导航位姿。
9.如权利要求5所述的方法，其中该初始位姿包括该探测头的初始位置和初始方位角。
10.如权利要求7所述的方法，其中该调整位姿通过将该初始位置与补偿位置进行求和或将该初始方位角与补偿方位角进行求和计算得到。
11.如权利要求10所述的方法，其中该补偿位置和该补偿方位角中至少一个的步长为固定值。
12.如权利要求10所述的方法，其中该补偿位置和该补偿方位角为变化值。
13.如权利要求12所述的方法，其中该补偿位置和该补偿方位角通过收敛算法计算得到，该收敛算法用于加快该偏差收敛到0的速度。
14.如权利要求13所述的方法，其中该收敛算法包括隆伯格算法。
CN201410180922.5A 2014-04-30 2014-04-30 具有导航功能的管道镜 Expired - Fee Related CN105100682B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410180922.5A CN105100682B (zh) 2014-04-30 2014-04-30 具有导航功能的管道镜
US14/687,747 US20150319410A1 (en) 2014-04-30 2015-04-15 Borescope and navigation method thereof
JP2015088860A JP2016027372A (ja) 2014-04-30 2015-04-24 ボアスコープおよびそのナビゲーション方法
EP15165769.9A EP2940508A1 (en) 2014-04-30 2015-04-29 Borescope and navigation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410180922.5A CN105100682B (zh) 2014-04-30 2014-04-30 具有导航功能的管道镜

Publications (2)

Publication Number Publication Date
CN105100682A CN105100682A (zh) 2015-11-25
CN105100682B true CN105100682B (zh) 2018-12-25

Family

ID=53016536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410180922.5A Expired - Fee Related CN105100682B (zh) 2014-04-30 2014-04-30 具有导航功能的管道镜

Country Status (4)

Country Link
US (1) US20150319410A1 (zh)
EP (1) EP2940508A1 (zh)
JP (1) JP2016027372A (zh)
CN (1) CN105100682B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107795854B (zh) * 2017-09-18 2019-02-19 深圳大学 一种管道检测方法、装置以及存储介质
US10488349B2 (en) 2017-11-14 2019-11-26 General Electric Company Automated borescope insertion system
US10489896B2 (en) 2017-11-14 2019-11-26 General Electric Company High dynamic range video capture using variable lighting
US10775315B2 (en) 2018-03-07 2020-09-15 General Electric Company Probe insertion system
US10679066B2 (en) 2018-03-22 2020-06-09 General Electric Company Best image grab from video with digital grid assistance for aviation engine borescope inspection
AU2019402930A1 (en) * 2018-12-20 2021-06-03 Boston Scientific Scimed, Inc. Endoscope system with a shaft including a sensor
US20220142712A1 (en) * 2019-02-28 2022-05-12 Koninklijke Philips N.V. Training data collection for machine learning models
US11933690B2 (en) 2021-10-08 2024-03-19 Pratt & Whitney Canada Corp. Inspecting an interior of a gas turbine engine apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4464640B2 (ja) * 2003-09-01 2010-05-19 オリンパス株式会社 工業用内視鏡装置
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
EP1917901B1 (en) * 2005-08-25 2019-04-17 Olympus Corporation Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system
US20100149183A1 (en) * 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
US20090208143A1 (en) * 2008-02-19 2009-08-20 University Of Washington Efficient automated urothelial imaging using an endoscope with tip bending
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US20120130171A1 (en) * 2010-11-18 2012-05-24 C2Cure Inc. Endoscope guidance based on image matching
US8827934B2 (en) * 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
DE102011122759A1 (de) * 2011-11-02 2013-05-02 Rolls-Royce Deutschland Ltd & Co Kg Verfahren zur Inspektion einer Gasturbine
WO2013173234A1 (en) * 2012-05-14 2013-11-21 Intuitive Surgical Operations Systems and methods for registration of a medical device using rapid pose search

Also Published As

Publication number Publication date
JP2016027372A (ja) 2016-02-18
CN105100682A (zh) 2015-11-25
US20150319410A1 (en) 2015-11-05
EP2940508A1 (en) 2015-11-04

Similar Documents

Publication Publication Date Title
CN105100682B (zh) 具有导航功能的管道镜
CN105698765B (zh) 双imu单目视觉组合测量非惯性系下目标物位姿方法
KR102627352B1 (ko) 증강 현실 디바이스를 교정하기 위한 방법
US10137574B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
JP6235218B2 (ja) 構造変形を識別するための方法および装置
US7987707B2 (en) Wind tunnel with a model arranged therein, particularly a model of an aircraft, for acquiring and evaluating a plurality of measuring data, as well as method
JP5743499B2 (ja) 画像生成装置、画像生成方法、およびプログラム
CN107255922A (zh) 一种基于自适应双层滑模的遥操作系统快速力估计方法
CN112446104B (zh) 真实设备与其数字孪生之间的偏差的识别
JP2011186928A (ja) 情報処理装置および情報処理装置の制御方法
CN106599480A (zh) 一种空间相机在轨微振动仿真模型的修正方法
JP2018146363A (ja) ３次元位置計測システム及び方法
CN117405163B (zh) 一种拉绳编码器主动式误差补偿方法及系统
CN109940604B (zh) 基于点云数据的工件三维定位系统及方法
Bösemann Industrial photogrammetry-accepted metrology tool or exotic niche
CN112000026B (zh) 一种基于信息物理融合的火星车gnc系统物理模型构建方法
CN110501972A (zh) 热位移校正装置
Igritskaia et al. Diagnostics of the launch system structures by analyzing the video footage of their motion
CN116433755B (zh) 基于可变形三维模型和光流表示学习的结构稠密位移识别方法及系统
WO2017218718A1 (en) Method and system for articulation of a visual inspection device
Miermeister et al. Differential kinematics for calibration, system investigation, and force based forward kinematics of cable-driven parallel robots
CN110146123B (zh) 一种基于多信息融合的明渠输水监控方法
KR20210048220A (ko) 무인비행체를 이용한 송전선로 금구류 위치 추정 장치 및 방법
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법
CN112525482B (zh) 一种高温风洞环境下变形和温度测量装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181225

Termination date: 20200430