JP2013238860A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2013238860A
JP2013238860A JP2013123278A JP2013123278A JP2013238860A JP 2013238860 A JP2013238860 A JP 2013238860A JP 2013123278 A JP2013123278 A JP 2013123278A JP 2013123278 A JP2013123278 A JP 2013123278A JP 2013238860 A JP2013238860 A JP 2013238860A
Authority
JP
Japan
Prior art keywords
measurement
defect
point
points
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013123278A
Other languages
English (en)
Other versions
JP5574555B2 (ja
Inventor
Fumio Hori
史生 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013123278A priority Critical patent/JP5574555B2/ja
Publication of JP2013238860A publication Critical patent/JP2013238860A/ja
Application granted granted Critical
Publication of JP5574555B2 publication Critical patent/JP5574555B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/922Computer assisted medical diagnostics including image analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/923Computer assisted medical diagnostics by comparison of patient data to other data

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

【課題】操作の煩わしさを低減し操作性を向上することができる計測用内視鏡装置を提供する。
【解決手段】基準点指定部18bは、計測対象物上の2つの基準点を指定する。輪郭近似線算出手段18cは、基準点それぞれに対して、基準点に基づいて計測対象物の輪郭を近似する輪郭近似線(基準線)を算出する。欠損種類判別手段18eは、基準点毎に算出された輪郭近似線2本を用いて、それぞれの輪郭近似線がなす角度を算出し、その角度に応じて欠損の種類を判別する。
【選択図】図2

Description

本発明は、電子内視鏡を用いて撮像した画像に基づいて計測対象物の計測処理を行う計測用内視鏡装置に関する。
主に航空機に使われるガスタービンでは、異物等の侵入により、タービンブレードあるいはコンプレッサブレードのエッジに欠損が生じることがある。このブレードの欠損サイズはブレードの交換を判断する条件のひとつであり、その検査は極めて重要なものである。このような状況に対して、従来の計測用内視鏡においては、タービンブレードあるいはコンプレッサブレードの欠損のエッジを仮想曲線および仮想点で近似し、それらを元に欠損サイズを計測していた(例えば特許文献1参照)。
特開2005−204724号公報
しかし、従来の方法では、欠損のエッジをパラメトリック曲線で近似していたため、1つの仮想曲線を算出するために少なくとも3点の基準点を指定する必要があり、また、算出された仮想曲線を手動で調整してエッジの形状変更を行う必要があったため、操作が煩雑になるという問題があった。また、角の頂点を含む計測対象物の角に形成された欠損に対しては、角の欠損のエッジを、1つの仮想曲線とその曲線上の仮想点とで近似していたため、少なくとも4点の基準点を指定する必要があり、ここでも操作が煩雑になるという問題があった。
本発明は、上述した課題に鑑みてなされたものであって、操作の煩わしさを低減し操作性を向上することができる計測用内視鏡装置を提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、計測対象物を撮像し撮像信号を生成する電子内視鏡と、前記撮像信号に基づいて映像信号を生成する画像処理手段と、前記映像信号に基づいて前記計測対象物の計測処理を行う計測処理手段とを備えた計測用内視鏡装置において、前記計測処理手段は、前記計測対象物上の2つの基準点を指定する基準点指定手段と、 前記基準点それぞれに対して、前記基準点に基づいて前記計測対象物の輪郭を近似する輪郭近似線を算出する輪郭近似線算出手段と、前記2つの基準点に対応した2本の前記輪郭近似線が形成する角度に応じて前記欠損の種類を判別する欠損種類判別手段と、を備えることを特徴としている。
また、本発明の計測用内視鏡装置は、前記輪郭近似線算出手段が、1つの前記基準点の周辺にある前記計測対象物の輪郭線上の少なくとも2つの特徴点を算出し、前記少なくとも2つの特徴点に基づいて前記輪郭近似線を算出することを特徴としている。
また、本発明の計測用内視鏡装置は、前記輪郭近似線算出手段が、前記電子内視鏡の先端に設置された撮像光学系の歪みを補正した前記輪郭近似線を算出することを特徴としている。
本発明によれば、2つの基準点を指定すれば欠損の種類の判別が可能となるので、操作の煩わしさを低減し操作性を向上することができるという効果が得られる。
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の一実施形態による計測用内視鏡装置の構成を示している。図1に示すように、本実施形態による計測用内視鏡装置は、内視鏡2と、コントロールユニット3と、リモートコントローラ4と、液晶モニタ5と、フェイスマウントディスプレイ(FMD)6と、FMDアダプタ6aと、光学アダプタ7a,7b,7cと、内視鏡ユニット8と、カメラコントロールユニット9と、制御ユニット10とから構成されている。
計測対象物を撮像し撮像信号を生成する内視鏡2(電子内視鏡)は細長の挿入部20を備えている。挿入部20は、先端側から順に、硬質な先端部21と、例えば上下左右に湾曲可能な湾曲部22と、柔軟性を有する可撓管部23とを連設して構成されている。挿入部20の基端部は内視鏡ユニット8に接続されている。先端部21は、観察視野を2つ有するステレオ用の光学アダプタ7a,7bあるいは観察視野が1つだけの通常観察光学アダプタ7c等、各種の光学アダプタが例えば螺合によって着脱自在な構成になっている。
コントロールユニット3は、内視鏡ユニット8、画像処理手段であるカメラコントロールユニット(以下、CCUと記載する。)9、および制御装置である制御ユニット10を内部に備えている。内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置と、挿入部20を構成する湾曲部22を湾曲させる湾曲装置とを備えている。CCU9は、挿入部20の先端部21に内蔵されている固体撮像素子2aから出力された撮像信号を入力し、これをNTSC信号等の映像信号に変換して制御ユニット10に供給する。
制御ユニット10は、音声信号処理回路11と、映像信号処理回路12と、ROM13と、RAM14と、PCカードインターフェース(以下、PCカードI/Fと記載する。)15と、USBインターフェース(以下、USB I/Fと記載する。)16と、RS−232Cインターフェース(以下、RS−232C I/Fと記載する。)17と、計測処理部18とから構成されている。
マイク34によって集音された音声信号や、メモリカード等の記録媒体を再生して得られる音声信号、あるいは計測処理部18によって生成された音声信号が音声信号処理回路11に供給される。映像信号処理回路12は、CCU9から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するために、CCU9からの映像信号を、計測処理部18の制御により生成される操作メニュー等のための表示信号と合成する処理を行う。また、映像信号処理回路12は、液晶モニタ5の画面上に映像を表示するために合成後の映像信号に所定の処理を施して液晶モニタ5に供給する。
PCカードI/F15は、PCMCIAメモリカード32やフラッシュメモリカード33等のメモリカード(記録媒体)を自由に着脱できるようになっている。メモリカードを装着することにより、計測処理部18の制御に従って、このメモリカードに記憶されている制御処理情報や画像情報等を取り込んだり、制御処理情報や画像情報等をメモリカードに記録したりすることができる。
USB I/F16は、コントロールユニット3とパーソナルコンピュータ31とを電気的に接続するためのインターフェースである。このUSB I/F16を介してコントロールユニット3とパーソナルコンピュータ31とを電気的に接続することにより、パーソナルコンピュータ31側で内視鏡画像の表示の指示や計測時における画像処理等の各種の制御指示を行うことが可能となる。また、コントロールユニット3とパーソナルコンピュータ31との間で各種の処理情報やデータを入出力することが可能となる。
RS−232C I/F17には、CCU9および内視鏡ユニット8が接続されると共に、これらCCU9や内視鏡ユニット8等の制御および動作指示を行うリモートコントローラ4が接続されている。ユーザがリモートコントローラ4を操作すると、その操作内容に基づいて、CCU9および内視鏡ユニット8を動作制御する際に必要な通信が行われる。
図2は計測処理部18の構成を示している。図2に示すように計測処理部18は、制御部18aと、基準点指定部18bと、基準曲線算出部18cと、欠損構成点算出部18dと、欠損種類判別部18eと、欠損サイズ算出部18fと、記憶部18gとから構成されている。
制御部18a(制御手段)は計測処理部18内の各部を制御する。また、制御部18aは、液晶モニタ5またはフェイスマウントディスプレイ6(表示手段)に計測結果や操作メニュー等を表示させるための表示信号を生成して映像信号処理回路12へ出力する機能も有している。
基準点指定部18b(基準点指定手段)は、リモートコントローラ4あるいはPC31から入力される信号に基づいて、計測対象物上の基準点(基準点の詳細は後述する)を指定する。ユーザが、液晶モニタ5あるいはフェイスマウントディスプレイ6に表示された計測対象物の画像を見ながら所望の基準点を2点入力すると、それらの座標が基準点指定部18bによって算出される。
基準曲線算出部18c(輪郭近似線算出手段)は、基準点指定部18bによって指定された基準点に基づいて、計測対象物の輪郭を近似する輪郭近似線に相当する基準曲線(基準曲線の詳細は後述する)を算出する。欠損構成点算出部18d(欠損構成点算出手段)は、基準点および基準曲線に基づいて、計測対象物に形成された欠損の輪郭(エッジ)を構成する欠損構成点(欠損構成点の詳細は後述する)を算出する。
欠損種類判別部18e(欠損種類判別手段)は、基準点指定部18bによって指定された2つの基準点に対応した2本の基準曲線がなす角度を算出し、その角度に応じて欠損の種類を判別する。欠損サイズ算出部18f(欠損計測手段)は、欠損構成点に基づいて欠損のサイズを計測する。記憶部18gは、計測処理部18内で処理される各種情報を記憶する。記憶部18gに格納された情報は、適宜制御部18aによって読み出されて各部へ出力される。
次に、本実施形態で使用する用語の内容を説明する。まず、図3を参照し、基準点、基準曲線、および基準点エリアを説明する。基準点301,302は、表示される計測画面上においてユーザが実際に指定する点であり、図3のように欠損300の両側に位置し、かつ欠損の存在しないエッジ上の点である。
基準曲線311,312は、計測対象物の輪郭(エッジ)を近似する曲線であり、2つの基準点301,302に基づいて算出される。本実施形態では特に、内視鏡2の先端(先端部21内)に設置された撮像光学系、および内視鏡2の先端に別途装着される撮像光学系(光学アダプタ7a,7b,7c)の歪みを補正した歪補正曲線として基準曲線が算出される。
基準点エリア321,322は、基準曲線311,312を求める際に基準点周囲のエッジを抽出するための画像範囲である。基準点エリア321,322のサイズは、歪補正曲線の算出に適した値に設定するのが良い。
次に、図4〜図5を参照し、欠損の種類、欠損始点・終点・頂点、および欠損構成点を説明する。本実施形態で計測対象となる欠損には、辺の欠損と角の欠損の2種類がある。辺の欠損は図4の欠損400のように計測対象のエッジの辺上に形成された欠損であり、角の欠損は図5の欠損500のように計測対象のエッジの角に形成された欠損である。
欠損始点401,501は、表示される計測画面上において、後述する欠損計算で欠損を構成する点として最初に認識される点である。欠損終点402,502は、欠損を構成する点として最後に認識される点である。欠損頂点503は、角の欠損500において、2つの基準曲線521,522の交点として認識される点である。欠損構成点410,510は、計測対象物に形成された欠損のエッジを構成する点であり、欠損始点・欠損終点・欠損頂点を含む。
次に、図6〜図7を参照し、欠損サイズを説明する。欠損サイズとは、検出された欠損の大きさを表すパラメータである。本実施形態で計算される欠損サイズは、辺の欠損では欠損の幅、深さ、面積であり、角の欠損では欠損の幅、辺の長さ、面積である。より具体的には、欠損の幅は欠損始点−欠損終点間の空間距離である。欠損の深さは、所定の欠損構成点から、欠損始点と欠損終点を結んだ直線までの空間距離である。欠損の辺は欠損頂点−欠損始点間の空間距離および欠損頂点−欠損終点間の空間距離である。欠損の面積は、全ての欠損構成点で囲まれた領域の空間面積である。
図6は辺の欠損サイズを示しており、欠損の幅600は、後述する欠損計算で欠損始点611と欠損終点612の空間距離として算出される。欠損の深さ601は所定の欠損構成点613から、欠損始点611と欠損終点612を結んだ直線までの空間距離として算出される。欠損の面積は、図示していない欠損構成点を含む全ての欠損構成点で囲まれた領域620の空間面積として算出される。
図7は角の欠損サイズを示しており、欠損の幅700は、後述する欠損計算で欠損始点711と欠損終点712の空間距離として算出される。欠損の辺701は欠損頂点713と欠損始点711の空間距離として算出され、欠損の辺702は欠損頂点713と欠損終点712の空間距離として算出される。欠損の面積は、図示していない欠損構成点を含む全ての欠損構成点で囲まれた領域720の空間面積として算出される。
次に、図8を参照し、計測点および計測点エリアを説明する。計測点801は、表示される計測画面上における計測対象物のエッジ上の点であり、後述する欠損計算で第1の基準点802から第2の基準点803に向かう方向(方向T8)に順次サーチ(探索)される。さらに、サーチされた計測点の一部は、欠損構成点として認識される。
計測点エリア804は、計測点801をサーチする際に、計測点周囲のエッジを抽出するための画像範囲である。計測点エリア804のサイズは、エッジ抽出を行うのに適した値に設定するのが良い。
次に、図9〜図10を参照し、特徴点を説明する。特徴点901,902および特徴点1001,1002は、基準点903を含む基準点エリア910および計測点1003を含む計測点エリア1010内で抽出されるエッジ上の特徴的な点である。基準点エリア910内で抽出された特徴点901,902は、後述する欠損計算で基準曲線を算出するために用いられる。また、計測点エリア1010等で抽出された特徴点の一部は、欠損計算で計測点として選択される。
次に、本実施形態における欠損計測の手順を説明する。以下、図11〜図12を参照し、欠損計測の手順と計測画面を説明する。図11は欠損計測の手順を示し、図12は計測画面を示している。以後の説明に用いる図12等の計測画面では、操作メニュー等が説明に不要な場合、その図示を省略することがある。図12において、計測画面1200,1210,1220は、辺の欠損を計測対象としたときの計測画面であり、計測画面1230,1240,1250は、角の欠損を計測対象としたときの計測画面である。
本実施形態では、ステレオ計測による欠損計測が行われる。ステレオ計測においては、ステレオ光学アダプタを内視鏡2の先端部21に装着した状態で計測対象物を撮像するため、計測画面では計測対象物の画像が左右1対で表示される。
欠損計測では、まず、液晶モニタ5またはフェイスマウントディスプレイ6に表示された計測画面上において、リモートコントローラ4あるいはPC31の操作により、ユーザが基準点を2つ指定すると、指定された基準点の情報が計測処理部18に入力される(ステップSA)。このとき、ユーザは、欠損の両側に位置する点であって欠損の存在しないエッジ上の点を基準点として選択することが望ましい。図12において、左画像内の基準点1201,1202と基準点1231,1232が指定されている。
続いて、指定された基準点の座標に基づいて、計測処理部18が欠損計算を行う(ステップSB)。欠損計算では、欠損構成点の座標や欠損サイズの算出、欠損の種類の判別が行われる。計測画面1210,1240は計算中の計測画面である。欠損計算の詳細については後述する。
欠損計算が終了すると、計測処理部18の指示により、検出された欠損領域が計測画面上に表示される(ステップSC)と共に、欠損の種類および欠損サイズが表示される(ステップSD〜SE)。図12に示すように、欠損領域は計測画面1220の左画面1221上および計測画面1250上の左画面1251上に表示される。より具体的には、算出された欠損構成点が線で結ばれて表示される。さらに、欠損構成点の中で、欠損始点・終点・頂点が、それぞれ○・*・□のカーソルで表示される。
また、検出された欠損の種類は計測画面1220,1250の右画面1222,1252上の結果ウィンドウ1223,1253の上部にイメージで表示される。さらに、検出された欠損のサイズが計測画面1220,1250の右画面1222,1252上の結果ウィンドウ1223,1253の下部に文字で表示される。
次に、図13を参照し、図11のステップSB2における欠損計算の手順を説明する。ユーザによって指定された左画面内の2つの基準点の位置情報が計測処理部18に入力されると、基準点指定部18bは2つの基準点の画像座標(液晶モニタ5またはフェイスマウントディスプレイ6に表示される画像上の2次元座標)を算出する(ステップSB1)。続いて、基準曲線算出部18cは、2つの基準点の画像座標に基づいて、2つの基準曲線を算出する(ステップSB2)。
続いて、欠損種類判別部18eは、2本の基準曲線がなす角度を算出し、その角度に応じて欠損の種類を判別する(ステップSB3)。続いて、欠損構成点算出部18dは、2つの基準点の画像座標に基づいて(角の欠損の場合には基準曲線も用いて)欠損構成点の画像座標を算出する(ステップSB4)。
続いて、欠損構成点算出部18dは、算出した左画面内の各欠損構成点に対応した右画面内のマッチング点の画像座標を算出し(ステップSB5)、算出された欠損構成点およびそのマッチング点の画像座標に基づいて各欠損構成点の空間座標(現実の空間上の3次元座標)を算出する(ステップSB6)。
空間座標の計算方法は、特開2004−49638号公報に記載されているものと同様である。最後に、欠損サイズ算出部18fは、算出された欠損構成点の空間座標に基づいて、欠損の種類に応じた欠損サイズを算出する(ステップSB7)。
次に、図14を参照し、図12のステップSB2における基準曲線の算出処理の手順を説明する。基準点指定部18bによって算出された2つの基準点の画像座標が入力される(ステップSB21)と、基準曲線算出部18cは、入力された基準点の画像座標に基づいて、各基準点について特徴点を2つずつ算出する(ステップSB22)。
続いて、基準曲線算出部18cは、2つの特徴点に基づいて、撮像光学系の歪みを補正した歪補正曲線を算出する(ステップSB23)。基準点が2つであるので、2本の歪補正曲線が算出される。最後に、基準曲線算出部18cは、この歪補正曲線の情報(曲線を構成する点の画像座標または曲線の式)を基準曲線の情報として制御部18aへ出力する(ステップSB24)。
以下、図15を参照し、上記のステップSB22における特徴点の算出処理の手順を説明する。特徴点の算出処理は基準曲線の算出時だけでなく欠損構成点の算出時にも行われる。欠損構成点の算出処理については後述するが、ここでは特徴点の算出処理をまとめて説明する。
また、図16〜図17は特徴点の算出処理の手順を模式的に示しており、適宜図16〜図17も参照する。図16は基準点周囲の特徴点を算出する場合の手順を示し、図17は計測点周囲の特徴点を算出する場合の手順を示している。
基準点の画像座標もしくは計測点の画像座標が入力される(ステップSF1)と、入力された基準点の画像座標もしくは計測点の画像座標に基づいて、基準点エリア内もしくは計測点エリア内のエリア画像が抽出される(ステップSF2)。これによって、基準点1600を含む基準点エリア内のエリア画像1601、もしくは計測点1700を含む計測点エリア内のエリア画像1701が抽出される。
続いて、抽出されたエリア画像がグレースケール化され(ステップSF3)、グレースケール化された画像に対してエッジ抽出が行われる(ステップSF4)。続いて、抽出されたエッジの近似直線が算出され(ステップSF5)、算出されたエッジ近似直線とエリア境界線との2つの交点が算出される(ステップSF6)。これによって、エッジ近似直線1602もしくはエッジ近似直線1702が算出され、エッジ近似直線1602とエリア境界線との交点1603,1604もしくはエッジ近似直線1702とエリア境界線との交点1703,1704が算出される。
最後に、算出された各交点と抽出されたエッジとの最近傍点が算出され(ステップSF7)、算出された2つの最近傍点が特徴点として制御部18aへ出力される(ステップSF8)。これによって、交点1603,1604に対応した最近傍点1605,1606、もしくは交点1703,1704に対応した最近傍点1705,1706が特徴点として出力される。
ステップSF4のエッジ抽出後にエッジ近似直線の算出を行うため、エッジ抽出には、抽出後の画像にできるだけノイズが発生しない処理を用いるのが良い。例えばSobel・Prewitt・Gradientフィルタ等の1次微分フィルタやLaplacianフィルタ等の2次微分フィルタを用いると良い。
また、膨張・収縮・差分処理およびノイズ低減フィルタ等を組み合わせた処理を用いてエッジ抽出を行っても良い。このとき、グレースケール画像を2値化する必要があるが、2値化閾値には固定値を用いても良いし、P−タイル法、モード法、判別分析法など、グレースケール画像の輝度に基づいて閾値を変更する方法を用いても良い。
また、ステップSF5のエッジ近似直線の算出では、ステップSF4で抽出されたエッジの情報に基づいて、例えば最小2乗法を用いて近似直線を算出する。なお、上記では、エッジの形状に対して直線近似を行っているが、2次以上の関数を使って曲線近似を行っても良い。エッジの形状が直線よりも曲線に近い場合には、曲線近似を行った方がより精度の良い特徴点算出が可能となる。
次に、図14のステップSB23における歪補正曲線の算出処理の手順を説明する。本実施形態による計測用内視鏡装置1に適用される内視鏡2では、各内視鏡2特有の撮像光学系の光学データが測定される。測定された光学データは例えばメモリカード33に記録される。この光学データを用いることにより、計測画像を、撮像光学系の歪みを補正した歪補正画像に変換することができる。
以下、図18を参照し、歪補正曲線の算出方法を説明する。原画像1800は計測対象物の画像であり、点P1,P2は、図14のステップSB22で算出された2つの特徴点である。光学データを用いて原画像1800を変換すると歪補正画像1801となる。点P1’,P2’はそれぞれ点P1,P2の変換後の点である。
この点P1’,P2’を歪補正画像1801上で結んだ直線を直線Lとし、光学データを用いて直線L上の各画素点を逆変換すると、直線Lは原画像1802上において曲線L’に変換される。この曲線L’の情報が、点P1,P2を通る歪曲線の情報として制御部18aへ出力される。光学データの内容およびその作成方法、歪補正方法に関しては、特開2004−49638号公報に記載された内容と同じである。
次に、図19を参照し、図13のステップSB3における欠損種類の判別処理の手順を説明する。2本の基準曲線の情報が制御部18aから入力される(ステップSB31)と、欠損種類判別部18eは2本の基準曲線がなす角度を算出する(ステップSB32)。続いて、欠損種類判別部18eは、2本の基準曲線のなす角度が所定の範囲であるか否かを判定する(ステップSB33)。
2本の基準曲線のなす角度が所定の範囲であった場合(例えば角度が180°に近い値の場合)、欠損種類判別部18eは、欠損が辺の欠損であると判断し、欠損の判別結果を制御部18aへ出力する。制御部18aは欠損の判別結果を記憶部18gに格納する(ステップSB34)。また、2本の基準曲線のなす角度が所定の範囲でなかった場合(例えば角度が90°に近い値の場合)、欠損種類判別部18eは、欠損が角の欠損であると判断し、欠損の判別結果を制御部18aへ出力する。制御部18aは欠損の判別結果を記憶部18gに格納する(ステップSB35)。
次に、図13のステップSB4における欠損構成点の算出処理の手順を説明する。欠損構成点の算出処理は、欠損頂点算出処理、欠損始点算出処理、2種類の計測点算出処理、および欠損終点算出処理で構成される。まず、図20を参照し、欠損頂点算出処理の手順を説明する。
制御部18aから欠損の判別結果が入力される(ステップSB411a)と、欠損構成点算出部18dは、判別結果に基づいて欠損の種類を判別する(ステップSB411b)。欠損の種類が角の欠損であった場合、制御部18aから2本の基準曲線の情報が入力される(ステップSB411c)。
欠損構成点算出部18dは、入力された情報に基づいて2本の基準曲線の交点を算出し(ステップSB411d)、算出した交点の画像座標を制御部18aへ出力する。制御部18aは2本の基準曲線の交点の画像座標を欠損構成点(欠損頂点)の画像座標として記憶部18gに格納する(ステップSB411e)。続いて、図21に示す第1の計測点算出処理へ処理が移行する。また、欠損の種類が辺の欠損であった場合、ステップSB411bに続いて、図21に示す第1の計測点算出処理へ処理が移行する。
次に、図21を参照し、第1の計測点算出処理の手順を説明する。また、図22は第1の計測点算出処理の手順を模式的に示しており、適宜図22も参照する。ユーザによって指定された2つの基準点のうち、最初に指定された第1の基準点の画像座標が制御部18aから入力される(ステップSB412a)と、欠損構成点算出部18dは図15に示した特徴点の算出処理を実行し、2つの特徴点を算出する(ステップSB412b)。これによって、第1の基準点2200に対応した2つの特徴点2201,2202が算出される。
続いて、第2の基準点の画像座標が制御部18aから入力される(ステップSB412c)。欠損構成点算出部18dは2つの特徴点と第2の基準点の2次元距離を算出し、2つの特徴点のうち第2の基準点に近い方を次の計測点とする(ステップSB412d)。第2の基準点のある方向が図22の方向T22である場合、特徴点2201,2202のうち特徴点2202が次の計測点2203となる。
続いて、欠損構成点算出部18dは、算出した計測点の画像座標を制御部18aへ出力する。制御部18aは計測点の画像座標を記憶部18gに格納する(ステップSB412e)。続いて、図23に示す欠損始点算出処理へ処理が移行する。
次に、図23を参照し、欠損始点算出処理の手順を説明する。また、図24は欠損始点算出処理の手順を模式的に示しており、適宜図24も参照する。まず、前回求めた計測点の画像座標が制御部18aから入力され(ステップSB413a)、2本の基準曲線のうち第1の基準点から算出された第1の基準曲線の情報が制御部18aから入力される(ステップSB413b)。
続いて、欠損構成点算出部18dは第1の基準曲線と計測点の2次元距離を算出し(ステップSB413c)、算出した2次元距離が所定値以上であるか否かを判定する(ステップSB413d)。算出した2次元距離が所定値以上であった場合、欠損構成点算出部18dは、計測対象物のエッジを近似する直線であるエッジ近似直線を算出する(ステップSB413e)。例えば図24に示すように、第1の基準点2401から算出された第1の基準曲線2410と計測点2402の2次元距離D24が所定値以上であった場合、エッジ近似直線2411が算出される。
続いて、欠損構成点算出部18dは第1の基準曲線とエッジ近似直線の交点を算出する(ステップSB413f)。これによって、第1の基準曲線2410とエッジ近似直線2411の交点2403が算出される。
続いて、欠損構成点算出部18dは、算出した交点の画像座標を制御部18aへ出力する。制御部18aは交点の画像座標を欠損構成点(欠損始点)の画像座標として記憶部18gに格納する(ステップSB413g)。続いて、図25に示す第2の計測点算出処理へ処理が移行する。また、ステップSB413cで算出した2次元距離が所定値未満であった場合、ステップSB413dに続いて、図25に示す第2の計測点算出処理へ処理が移行する。
次に、図25を参照し、第2の計測点算出処理の手順を説明する。また、図26は第2の計測点算出処理の手順を模式的に示しており、適宜図26も参照する。前回求めた計測点の画像座標が制御部18aから入力される(ステップSB414a)と、欠損構成点算出部18dは図15に示した特徴点の算出処理を実行し、2つの特徴点を算出する(ステップSB414b)。これによって、計測点2600に対応した2つの特徴点2601,2602が算出される。
続いて、欠損構成点算出部18dは、前回求めた計測点と2つの特徴点のそれぞれとの2次元距離を算出し、2つの特徴点のうち、前回求めた計測点から遠い方を次の計測点とする(ステップSB414c)。前回求めた計測点のある方向が図26の方向T26である場合、特徴点2601,2602のうち特徴点2602が次の計測点2603となる。
続いて、欠損構成点算出部18dは、欠損始点の画像座標が既に記憶部18gに格納されているか否かを判定する(ステップSB414d)。欠損始点の画像座標が既に記憶部18gに格納されている場合、欠損構成点算出部18dは、算出した計測点の画像座標を制御部18aへ出力する。制御部18aは計測点の画像座標を欠損構成点の画像座標として記憶部18gに格納する(ステップSB414e)。続いて、図27に示す欠損終点算出処理へ処理が移行する。また、欠損始点の画像座標が記憶部18gにまだ格納されていない場合、図23に示す欠損始点算出処理へ処理が再度移行する。
次に、図27を参照し、欠損終点算出処理の手順を説明する。また、図28は欠損終点算出処理の手順を模式的に示しており、適宜図28も参照する。まず、前回求めた計測点の画像座標が制御部18aから入力され(ステップSB415a)、2本の基準曲線のうち第2の基準点から算出された第2の基準曲線の情報が制御部18aから入力される(ステップSB415b)。
続いて、欠損構成点算出部18dは第2の基準曲線と計測点の2次元距離を算出し(ステップSB415c)、算出した2次元距離が所定値以下であるか否かを判定する(ステップSB415d)。算出した2次元距離が所定値以下であった場合、欠損構成点算出部18dは、計測対象物のエッジを近似する直線であるエッジ近似直線を算出する(ステップSB415e)。例えば図28に示すように、第2の基準点2800から算出された第2の基準曲線2810と計測点2801の2次元距離D28が所定値以下であった場合、エッジ近似直線2811が算出される。
続いて、欠損構成点算出部18dは第2の基準曲線とエッジ近似直線の交点を算出する(ステップSB415f)。これによって、第2の基準曲線2810とエッジ近似直線2811の交点2803が算出される。
続いて、欠損構成点算出部18dは、算出した交点の画像座標を制御部18aへ出力する。制御部18aは交点の画像座標を欠損構成点(欠損終点)の画像座標として記憶部18gに格納する(ステップSB415g)。この処理によって、上述した欠損構成点の算出処理の全体が終了する。また、ステップSB415cで算出した2次元距離が所定値を超えた場合、ステップSB415dに続いて、図25に示した第2の計測点算出処理へ処理が再度移行する。
次に、図29を参照し、図23のステップSB413eおよび図27のステップSB415eにおけるエッジ近似直線の算出処理の手順を説明する。計測点の画像座標が入力される(ステップSG1)と、欠損構成点算出部18dは、入力された計測点の画像座標に基づいて、計測点エリア内のエリア画像を抽出する(ステップSG2)。
続いて、欠損構成点算出部18dは、抽出したエリア画像をグレースケール化し(ステップSG3)、グレースケール化した画像に対してエッジ抽出を行う(ステップSG4)。続いて、欠損構成点算出部18dは、抽出したエッジの近似直線を算出し(ステップSG5)、算出したエッジ近似直線の情報を制御部18aへ出力する(ステップSG6)。上記のステップSG1〜SG5の処理は図15のステップSF1〜SF5の処理と同様である。
次に、図13のステップSB5におけるマッチング点の算出方法を説明する。欠損構成点算出部18dは、上述した欠損計算で算出した欠損構成点に基づいてパターンマッチング処理を実行し、左右2画像の対応点であるマッチング点を算出する。このパターンマッチング処理の方法は特開2004−49638号公報に記載されたものと同じである。
しかし、欠損の種類が角の欠損であった場合、欠損頂点は計測対象物の背景に位置しており、画像上ではエッジ等の特徴的なパターンが存在しないので、パターンマッチング処理がうまく機能せず、マッチング点を算出できないことがある。そこで、本実施形態では、欠損の種類が角の欠損であった場合、欠損頂点のマッチング点の算出は以下のようにして行われる。
図30(a)に示すように、まず、左画像3000の基準点3001,3002に対応した右画像3020のマッチング点3021,3022が算出される。続いて、基準点3001,3002のそれぞれを通る基準曲線3010,3011と、マッチング点3021,3022のそれぞれを通る基準曲線3030,3031とが算出される。
続いて、図30(b)に示すように、左画像3000の基準曲線3010,3011の交点3003が欠損頂点として算出される。また、右画像3020の基準曲線3030,3031の交点3023が算出され、欠損頂点のマッチング点とみなされる。
次に、図31を参照し、図13のステップSB7における欠損サイズの算出処理の手順を説明する。欠損構成点の空間座標(3次元座標)および欠損の判別結果が制御部18aから入力される(ステップSB71)と、欠損サイズ算出部18fは欠損の幅(欠損始点−欠損終点間の空間距離)を算出する(ステップSB72)。
続いて、欠損サイズ算出部18fは、欠損の判別結果に基づいて欠損の種類を判定する(ステップSB73)。欠損の種類が辺の欠損であった場合、欠損サイズ算出部18fは欠損の深さ(所定の欠損構成点から、欠損始点と欠損終点を結んだ直線までの空間距離)を算出する(ステップSB74)。さらに、欠損サイズ算出部18fは欠損の面積(全ての欠損構成点で囲まれた領域の空間面積)を算出する(ステップSB75)。
続いて、欠損サイズ算出部18fは、算出した欠損サイズを制御部18aへ出力する。制御部18aは欠損サイズを記憶部18gに格納する(ステップSB76)。また、欠損の種類が角の欠損であった場合には、欠損サイズ算出部18fは欠損の辺(欠損頂点−欠損始点間の空間距離および欠損頂点−欠損終点間の空間距離)を算出する(ステップSB77)。これに続いて、処理はステップSB75に移行する。
次に、本実施形態における計測結果の表示方法を説明する。図32は欠損計測開始前の計測画面を示している。計測情報として、左画面3200には計測対象物の左画像が表示され、右画面3210には計測対象物の右画像が表示される。また、左画面3200および右画面3210を除く計測画面上の領域には他の計測情報として、光学アダプタ名称情報3220、時間情報3221、メッセージ情報3222、アイコン3223a,3223b,3223c,3223d,3223e、およびズームウィンドウ3224が表示される。
光学アダプタ名称情報3220と時間情報3221は共に計測条件を示す情報である。光学アダプタ名称情報3220は、現在使用している光学アダプタの名称を示す文字情報である。時間情報3221は現在の日付と時刻を示す文字情報である。メッセージ情報3222は、ユーザへの操作指示を示す文字情報と、計測条件の1つである基準点の座標を示す文字情報とを含んでいる。
アイコン3223a〜3223eは、ユーザが計測モードの切替や計測結果のクリア等の操作指示を入力するための操作メニューを構成している。ユーザがリモートコントローラ4あるいはPC31を操作し、図示せぬカーソルをアイコン3223a〜3223eのいずれかの上に移動させてクリック等の操作を行うと、その操作に応じた信号が計測処理部18に入力される。制御部18aは、その信号に基づいてユーザからの操作指示を認識し、計測処理を制御する。また、ズームウィンドウ3224には計測対象物の拡大画像が表示される。
図33は、欠損計測結果を表示したときの計測画面を示している。計測結果を表示するための結果ウィンドウ3300が、図32に示した計測対象物の撮像画像や各種情報の上に重ねて表示されるため、右画面の撮像画像や文字情報等が結果ウィンドウ3300の背後に隠れてしまっている。この状態(第1の表示状態)は、計測結果の表示に必要なスペースを確保して計測結果の視認性を良くするのに適している。
ユーザがリモートコントローラ4あるいはPC31を操作し、図示せぬカーソルを結果ウィンドウ3300の上に移動させてクリック等の操作を行うと、制御部18aの制御により、計測画面が、図34に示す計測画面に切り替わる。図34では結果ウィンドウ3400が透過状態となって計測結果が非表示となることによって、図33の結果ウィンドウ3300で隠れていた右画面の撮像画像や文字情報等が視覚可能となっている。結果ウィンドウ3400は枠だけが表示されている状態である。
この状態(第2の表示状態)は、撮像画像等の計測情報の表示に必要なスペースを確保して計測情報の視認性を良くするのに適している。これによって、例えば左右の画面内の欠損構成点のマッチング状態等を確認することができる。図34の状態で、ユーザがリモートコントローラ4あるいはPC31を操作し、クリック等の操作を行うと、制御部18aの制御により、計測画面が、図33に示す計測画面に再度切り替わる。
図33に示した表示状態で計測画面の切替がユーザによって指示された場合に、計測画面を図35に示す計測画面に切り替えても良い。図35に示す結果ウィンドウ3500は、結果ウィンドウを最小化し、かつ表示位置を、他の情報の表示の邪魔にならない位置に移動させたものである。図35に示した表示状態も、撮像画像等の計測情報の表示に必要なスペースを確保して計測情報の視認性を良くするのに適している。他の情報の表示の邪魔にならないのであれば、結果ウィンドウの大きさと表示位置の両方を変更しなくてもよく、一方だけを変更するようにしてもよい。
上述したように、本実施形態によれば、2つの基準点を指定すれば欠損サイズの計測が可能となるので、従来のように3点あるいは4点以上の基準点を指定する場合と比較して、操作の煩わしさを低減し操作性を向上することができる。また、電子内視鏡の先端に設置される撮像光学系の歪みを補正した歪補正曲線を基準曲線として算出することによって、欠損サイズの計測精度を向上することができる。
また、2つの基準点に対応した2本の基準曲線が形成する角度に応じて欠損の種類を判別することによって、欠損の種類に応じた自動計測を行うことが可能となるので、操作の煩わしさを低減し操作性を向上することができる。特に、欠損のサイズを示すパラメータとして、欠損の種類に応じたパラメータを自動的に選択して算出することによって、ユーザが欠損の種類を特に意識しなくても最適な自動計測を行うことが可能となるので、操作の煩わしさを低減し操作性を向上することができる。
また、従来の計測用内視鏡装置では、角の頂点を含む計測対象物の角に形成された角の欠損のエッジを、1つの仮想曲線とその曲線上の仮想点とで近似しており、角の欠損の頂点に相当する上記の仮想点の選択が手動で行われていたため、欠損サイズの計測精度を低下させるおそれがあるという問題があった。これに対して、本実施形態のように、2つの基準点に対応した2本の基準曲線の交点を欠損構成点の1つ(欠損頂点)として算出することによって、欠損サイズの計測精度を向上することができる。
また、欠損のサイズを示すパラメータとして、少なくとも2種類のパラメータを算出することによって、欠損のサイズを詳細に知ることができる。
また、1つの基準点について計測対象物のエッジ上の少なくとも2つの特徴点を算出し、それらの特徴点に基づいて基準曲線を算出することによって、基準曲線の算出精度を向上し、ひいては欠損サイズの計測精度を向上することができる。
また、本実施形態によれば、以下の効果を得ることもできる。従来の計測用内視鏡では、計測を行う現場での装置の移動を容易とするため、表示装置の大きさに制限があり、表示装置の画面の大きさも限られていた。このため、従来の計測用内視鏡装置では、計測対象物の撮像画像と計測結果の表示に十分な表示スペースを確保できずに視認性が悪くなる可能性があった。
これに対して、本実施形態のように、計測対象物の撮像画像を含む計測情報の少なくとも一部の上に計測結果が重なって表示された第1の表示状態と、第1の表示状態において計測結果が重なっていた計測情報を視覚可能とした第2の表示状態との間で表示状態を切り替えることによって、計測情報と計測結果のそれぞれに対して必要な表示スペースを確保することが可能となる。これによって、計測情報と計測結果の視認性を向上することができる。また、表示装置の画面には、計測対象物の撮像画像の他にも、計測条件を示す文字情報、ユーザへの操作指示を示す文字情報、操作内容の入力に使用される操作メニュー等も表示されるが、これらの表示スペースも確保して視認性を向上することができる。
(第1の変形例)
次に、本実施形態の変形例を説明する。まず、第1の変形例を説明する。上記の説明では、2つの特徴点から1本の基準曲線が算出されるが、3つの特徴点から1本の基準曲線を算出する方法を以下で説明する。
図36に示すように、まず、原画像3600において、基準点3601および基準点エリア3602の位置に基づいて、2つの特徴点P1,P2が算出される。さらに、基準点3601と計測対象物のエッジとの最近傍点が第3の特徴点P3として算出される。なお、図面の表現上の都合により、原画像3600では特徴点P3の図示を省略している。
光学データを用いて原画像3600を変換すると、歪補正画像3610となる。点P1’,P2’,P3’はそれぞれ点P1,P2,P3の変換後の点である。この点P1’,P2’,P3’に基づいて例えば最小2乗法を用いて算出した直線を近似直線Lとし、光学データを用いて近似直線L上の各画素点を逆変換すると、近似直線Lは原画像3620上において曲線L’に変換される。この曲線L’が、点P1,P2,P3を通る歪補正曲線である。
以上のように、3つの特徴点を用いて基準曲線を算出することにより、基準曲線の算出精度を向上することができる。また、上記では特徴点を3つとしたが、4つ以上の特徴点を算出して、その特徴点に基づいて上記と同様の方法で基準曲線の算出を行っても良い。さらに、上記では歪補正後の特徴点に基づいて直線近似を行っているが、2次以上の関数を使って曲線近似を行っても良い。歪補正後のエッジの形状が直線よりも曲線に近い場合には、曲線近似を行った方が特徴点算出の精度が向上する。
(第2の変形例)
次に、第2の変形例を説明する。図30を参照して前述した説明では、欠損頂点の空間座標(3次元座標)を算出する際に、2つの基準点のマッチング点を右画像上で求め、そのマッチング点に基づいて右画像上の2本の基準曲線を算出し、それらの交点を欠損頂点のマッチング点とみなし、そのマッチング点の画像座標から欠損頂点の空間座標を算出していた。以下では、2つの基準点から算出した特徴点に基づいて2本の3次元直線を算出し、その2本の3次元直線の交点を欠損頂点の空間座標として算出する方法を説明する。
図37に示す角の欠損において、まず、ユーザが指定した2つの基準点に基づいて特徴点を算出する。特徴点P1,P2は基準点3700から算出した特徴点であり、点P3,P4は基準点3701から算出した特徴点である。続いて、点P1〜P4のマッチング点P1’〜P4’を求め、これらの特徴点P1〜P4および特徴点P1’〜P4’の空間座標を算出する。ここで、特徴点P1,P2の空間座標をそれぞれ(Plx,Ply),(Clx,Cly)とし、特徴点P3,P4の空間座標をそれぞれ(Prx,Pry),(Crx,Cry)とすると、特徴点P1,P2を通る3次元直線Lの式、および特徴点P3,P4を通る3次元直線Rの式はそれぞれ以下の(1)式および(2)式のようになる。

続いて、2本の3次元直線L,Rの交点を算出する。実際には3次元直線L,Rが交わるということはほとんどないので、本変形例では、2直線が再接近する位置を2直線の交点とみなす。2直線が最接近する位置を探すことは、2直線の法線が一致する位置を探すことと同じである。すなわち、図38に示すように、直線L上の最接近点Qlと、直線R上の最接近点Qrとを結ぶ直線Nは、直線L,Rそれぞれに対して直交する。このため、直線L,Rの方向ベクトルと直線Nの方向ベクトルとの内積は0となる。これらは、それぞれ以下の(3)式および(4)式で表される。

また、最接近点Ql,Qrがそれぞれ直線L,R上にあることから、(1)式および(2)式と定数s,tを用いて以下の(5)式および(6)式が成り立つ。

続いて、上記の(1)式〜(6)式を用いて、最接近点Ql,Qrの空間座標を求める。まず、定数tmp1,tmp2,tmp3,tmp4,tmp5,tmp6を以下の(7)式および(8)式のように定義する。

定数tmp1〜tmp6を用いて(3)式および(4)式を書き換えると以下の(3a)式および(4a)式となる。

また、定数tmp1〜tmp6を用いて(5)式および(6)式を書き換えると以下の(5a)式および(6a)式となる。

続いて、(5a)式および(6a)式を用いて(3a)式および(4a)式を書き換えると以下の(3b)式および(4b)式となる。

さらに、(3b)式および(4b)式を展開すると以下の(3c)式および(4c)式となる。

また、定数al,bl,cl,ar,br,crを以下の(9)式〜(14)式のように定義する。

(9)式〜(14)式を用いて(3c)式および(4c)式を整理すると以下の(3d)式および(4d)式となる。

(3d)式および(4d)式から以下の(15)式および(16)式が成り立つ。

一方、(5)式〜(8)式を用いると最接近点Ql,Qrの座標は以下の(17)式および(18)式で表される。(7)式〜(8)式、(9)式〜(14)式、(15)式〜(16)式を(17)式および(18)式に代入することにより、最接近点Ql,Qrの座標が求まる。

最後に、最接近点Ql,Qrの中点を直線L,Rの交点とみなすことにより、欠損頂点の空間座標は以下の(19)式で表される。上記と同様にして、特徴点P1’〜P4’の空間座標から右画像における欠損頂点の空間座標を求めることができる。
(第3の変形例)
次に、第3の変形例を説明する。上記の説明では、欠損の両側に位置する点であって欠損の存在しないエッジ上の点が基準点として選択されることを想定しているが、欠損が撮像画像の端の方に撮像されている場合には、欠損の存在しないエッジ上の点を基準点として選択することが困難なこともある。以下では、欠損の端点を基準点として欠損計測を行う方法を説明する。
図39に示すように、ユーザは欠損の2つの端点を基準点3900,3901として指定する。基準点3900は、欠損の周辺における計測対象物のエッジ3910と欠損のエッジ3911が交差する位置にある点である。また、基準点3901は、欠損の周辺における計測対象物のエッジ3912と欠損のエッジ3913が交差する位置にある点である。
欠損計算では、基準曲線を算出するのに用いる特徴点は、基準点3900から方向T39aに向かって、および基準点3901から方向T39bに向かってサーチされる。また、欠損構成点を算出するのに用いる計測点は、基準点3900から方向T39cに向かって、および基準点3901から方向T39dに向かってサーチされる。基準点3900,3901と、特徴点または計測点となる点との位置関係から方向T39a,T39b,T39c,T39dを識別することが可能である。
特徴点の算出処理は、必要な数の特徴点が算出された時点で終了となる。また、計測点の算出処理に関しては、基準点3900と基準点3901のそれぞれから計測点のサーチを開始し、基準点3900側からサーチした計測点と、基準点3901側からサーチした計測点との2次元距離が所定値以下となった場合に計測点の算出処理が終了する。
以上のように、欠損の端点を基準点として指定することを可能とすることによって、欠損の全体が撮像されてさえいれば、撮像画像内の欠損の位置によらず、欠損計測を行うことができる。また、基準点の指定のために撮像位置を変更して再度撮像を行う必要がなくなるので、操作の煩わしさを低減し操作性を向上することができる。
(第4の変形例)
次に、第4の変形例を説明する。上記の説明では、タービンブレードあるいはコンプレッサブレードのエッジに生じた欠損を主な計測対象としていたが、第4の変形例では、ブレード表面に生じたバーニング(焼け)や塗装のはがれ、パイプ内部に生じたサビ等の欠陥を主な計測対象とする。
例えば、図40(a)に示すように、コンプレッサブレード4000のエッジに欠損4010が形成され、表面にバーニング4020が形成されている。図40(b)は欠損4010を拡大した図であり、図40(c)はバーニング4020を拡大した図である。欠損4010では端点4011,4012を結ぶ直線4013を基準にして片側のみにエッジがあるのに対して、バーニング4020ではバーニング周囲の輪郭線(エッジ)上の任意の2つの点4021,4022を結ぶ直線4023を基準にして両側にエッジがある。
以下、図41を参照しながら、計測対象物上の任意の2点を結ぶ直線の両側にエッジを有する計測対象物に対して欠損計測を行う方法を説明する。図41(a)に示すバーニング4100に対して、まずユーザがエッジ上の任意の2つの基準点4110,4111を指定する。続いて、第1の実施形態で説明したように、指定された2つの基準点の間に位置するエッジ上の点が順次サーチされ、欠損構成点(計測点)として抽出される。このとき、図41(b)に示すように、基準点4110から基準点4111に向かって、矢印4120,4121が示す2方向に欠損構成点がサーチされる。また、第4の変形例では基準曲線の算出処理は行われず、基準点4110,4111がそれぞれそのまま欠損始点、欠損終点になる。
サーチされた欠損構成点と基準点4111との2次元距離が所定値以下になった場合に、欠損構成点のサーチが終了する。図41(c)は、欠損構成点のサーチが終了した状態を示している。続いて、抽出された欠損構成点のマッチング点の算出および各点の空間座標の算出が行われ、算出された各点の空間座標に基づいてバーニング4100のサイズが算出される。算出されるバーニング4100のサイズは、図41(d)に示すように、バーニング4100の幅4130,4131と周囲長4132と面積である。
幅4130は基準点4110,4111間の空間距離であり、幅4131は、基準点4110,4111を結ぶ直線から左右方向に最も距離のある欠損構成点4112,4113間の空間距離である。周囲長4132は隣接する2つの欠損構成点間の空間距離の合計である。面積は、全ての欠損構成点で囲まれた領域の空間面積である。バーニング4100のサイズが算出されると、図41(e)が示すように、計測結果を示す結果ウィンドウ4140が計測画面に表示される。以上のように、バーニングに対しても欠損計測を行うことができる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
本発明の一実施形態による計測用内視鏡装置の構成を示すブロック図である。 本発明の一実施形態による計測用内視鏡装置が備える計測処理部の構成を示すブロック図である。 本発明の一実施形態における基準点、基準曲線、基準点エリアを示す参考図である。 本発明の一実施形態における辺の欠損の欠損始点・終点、欠損構成点を示す参考図である。 本発明の一実施形態における角の欠損の欠損始点・終点・頂点、欠損構成点を示す参考図である。 本発明の一実施形態における辺の欠損の幅、深さ、面積を示す参考図である。 本発明の一実施形態における角の欠損の幅、辺の長さ、面積を示す参考図である。 本発明の一実施形態における計測点および計測点エリアを示す参考図である。 本発明の一実施形態における特徴点を示す参考図である。 本発明の一実施形態における特徴点を示す参考図である。 本発明の一実施形態における欠損計測の手順を示すフローチャートである。 本発明の一実施形態における欠損計測時に表示される計測画面を示す参考図である。 本発明の一実施形態における欠損計算の手順を示すフローチャートである。 本発明の一実施形態における基準曲線算出処理の手順を示すフローチャートである。 本発明の一実施形態における特徴点算出処理の手順を示すフローチャートである。 本発明の一実施形態における特徴点算出処理の手順を示す参考図である。 本発明の一実施形態における特徴点算出処理の手順を示す参考図である。 本発明の一実施形態における歪補正曲線の算出方法を示す参考図である。 本発明の一実施形態における欠損種類判別処理の手順を示すフローチャートである。 本発明の一実施形態における欠損頂点算出処理の手順を示すフローチャートである。 本発明の一実施形態における第1の計測点算出処理の手順を示すフローチャートである。 本発明の一実施形態における第1の計測点算出処理の手順を示す参考図である。 本発明の一実施形態における欠損始点算出処理の手順を示すフローチャートである。 本発明の一実施形態における欠損始点算出処理の手順を示す参考図である。 本発明の一実施形態における第2の計測点算出処理の手順を示すフローチャートである。 本発明の一実施形態における第2の計測点算出処理の手順を示す参考図である。 本発明の一実施形態における欠損終点算出処理の手順を示すフローチャートである。 本発明の一実施形態における欠損終点算出処理の手順を示す参考図である。 本発明の一実施形態におけるエッジ近似直線算出処理の手順を示すフローチャートである。 本発明の一実施形態におけるマッチング点の算出方法を示す参考図である。 本発明の一実施形態における欠損サイズ算出処理の手順を示すフローチャートである。 本発明の一実施形態における計測画面(欠損計測開始前)を示す参考図である。 本発明の一実施形態における計測画面(欠損計測結果の表示時)を示す参考図である。 本発明の一実施形態における計測画面(欠損計測結果の表示時)を示す参考図である。 本発明の一実施形態における計測画面(欠損計測結果の表示時)を示す参考図である。 本発明の一実施形態における歪補正曲線の他の算出方法を示す参考図である。 本発明の一実施形態における欠損頂点の他の算出方法を示す参考図である。 本発明の一実施形態における欠損頂点の他の算出方法を示す参考図である。 本発明の一実施形態における基準点の他の指定方法を示す参考図である。 本発明の一実施形態における計測対象物を示す参考図である。 本発明の一実施形態における欠損計測の手順を示す参考図である。
1・・・計測用内視鏡装置、18・・・計測処理部、18a・・・制御部、18b・・・基準点指定部、18c・・・基準曲線算出部、18d・・・欠損構成点算出部、18e・・・欠損種類判別部、18f・・・欠損サイズ算出部、18g・・・記憶部

Claims (3)

  1. 計測対象物を撮像し撮像信号を生成する電子内視鏡と、前記撮像信号に基づいて映像信号を生成する画像処理手段と、前記映像信号に基づいて前記計測対象物の計測処理を行う計測処理手段とを備えた計測用内視鏡装置において、
    前記計測処理手段は、
    前記計測対象物上の2つの基準点を指定する基準点指定手段と、
    前記基準点それぞれに対して、前記基準点に基づいて前記計測対象物の輪郭を近似する輪郭近似線を算出する輪郭近似線算出手段と、
    前記2つの基準点に対応した2本の前記輪郭近似線が形成する角度に応じて前記欠損の種類を判別する欠損種類判別手段と、
    を備えることを特徴とする計測用内視鏡装置。
  2. 前記輪郭近似線算出手段は、1つの前記基準点の周辺にある前記計測対象物の輪郭線上の少なくとも2つの特徴点を算出し、前記少なくとも2つの特徴点に基づいて前記輪郭近似線を算出することを特徴とする請求項1に記載の計測用内視鏡装置。
  3. 前記輪郭近似線算出手段は、前記電子内視鏡の先端に設置された撮像光学系の歪みを補正した前記輪郭近似線を算出することを特徴とする請求項1に記載の計測用内視鏡装置。

JP2013123278A 2007-01-31 2013-06-12 内視鏡装置 Expired - Fee Related JP5574555B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013123278A JP5574555B2 (ja) 2007-01-31 2013-06-12 内視鏡装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007020906 2007-01-31
JP2007020906 2007-01-31
JP2013123278A JP5574555B2 (ja) 2007-01-31 2013-06-12 内視鏡装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007175158A Division JP5295526B2 (ja) 2007-01-31 2007-07-03 計測用内視鏡装置

Publications (2)

Publication Number Publication Date
JP2013238860A true JP2013238860A (ja) 2013-11-28
JP5574555B2 JP5574555B2 (ja) 2014-08-20

Family

ID=39783761

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007175158A Expired - Fee Related JP5295526B2 (ja) 2007-01-31 2007-07-03 計測用内視鏡装置
JP2013123278A Expired - Fee Related JP5574555B2 (ja) 2007-01-31 2013-06-12 内視鏡装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007175158A Expired - Fee Related JP5295526B2 (ja) 2007-01-31 2007-07-03 計測用内視鏡装置

Country Status (2)

Country Link
US (1) US8194948B2 (ja)
JP (2) JP5295526B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7817817B2 (en) * 2004-09-10 2010-10-19 University Of Maryland Method for concealing data in curves of an image
US8200042B2 (en) 2007-01-31 2012-06-12 Olympus Corporation Endoscope apparatus and program
JP5437087B2 (ja) * 2010-01-15 2014-03-12 オリンパス株式会社 内視鏡装置およびプログラム
JP2011158549A (ja) * 2010-01-29 2011-08-18 Olympus Corp 内視鏡装置およびプログラム
JP5530225B2 (ja) 2010-03-09 2014-06-25 オリンパス株式会社 内視鏡装置およびプログラム
US8903144B2 (en) * 2010-12-01 2014-12-02 Olympus Corporation Endoscope apparatus and method of measuring object
JP6150532B2 (ja) 2013-01-22 2017-06-21 オリンパス株式会社 計測装置およびプログラム
JP6095429B2 (ja) * 2013-03-21 2017-03-15 オリンパス株式会社 計測装置およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04186108A (ja) * 1990-11-20 1992-07-02 Daikin Ind Ltd 形状検査方法およびその装置
JPH10248806A (ja) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd 計測内視鏡装置
JPH11132743A (ja) * 1997-10-31 1999-05-21 Meidensha Corp 画像信号処理による欠陥検査装置
JP2000209430A (ja) * 1999-01-18 2000-07-28 Canon Inc 輪郭抽出装置及び方法並びに記憶媒体
JP2002336188A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 計測用内視鏡装置
JP2004049638A (ja) * 2002-07-22 2004-02-19 Olympus Corp 内視鏡装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US67131A (en) * 1867-07-23 Gilpin mooee
US92278A (en) * 1869-07-06 Improvement in medicine-spoon and bottle-stopper combined
US292055A (en) * 1884-01-15 biker
US247171A (en) * 1881-09-20 Feedbeick w
US5140265A (en) * 1989-12-20 1992-08-18 Olympus Optical Co., Ltd Eddy current flaw detecting endoscope apparatus which produces signals which control other devices
JPH04198741A (ja) 1990-11-28 1992-07-20 Hitachi Ltd 形状欠陥検出装置
JPH07281105A (ja) * 1994-02-21 1995-10-27 Olympus Optical Co Ltd 内視鏡装置
JPH09281055A (ja) 1996-04-09 1997-10-31 Hitachi Metals Ltd 欠け検査方法
US6215914B1 (en) 1997-06-24 2001-04-10 Sharp Kabushiki Kaisha Picture processing apparatus
JPH11351827A (ja) 1998-06-10 1999-12-24 Fuji Mach Mfg Co Ltd 画像処理装置
US7430065B2 (en) * 2001-08-27 2008-09-30 Ricoh Company, Ltd Method and system for correcting distortions in image data scanned from bound originals
CN1282942C (zh) 2002-07-26 2006-11-01 松下电工株式会社 用于外表检测的图像处理方法
AU2003290752A1 (en) * 2002-11-12 2004-06-03 Fei Company Defect analyzer
JP3589424B1 (ja) 2003-12-22 2004-11-17 株式会社メガトレード 基板検査装置
JP4790223B2 (ja) * 2004-01-20 2011-10-12 オリンパス株式会社 計測用内視鏡装置
BRPI0513788A (pt) * 2004-07-26 2008-05-13 Electric Power Res Inst dispositivo de medição
WO2007062178A2 (en) 2005-11-21 2007-05-31 The Regents Of The University Of California Method for computing patient radiation dose in computed tomoraphy
US8200042B2 (en) 2007-01-31 2012-06-12 Olympus Corporation Endoscope apparatus and program
JP2008185895A (ja) * 2007-01-31 2008-08-14 Olympus Corp 計測用内視鏡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04186108A (ja) * 1990-11-20 1992-07-02 Daikin Ind Ltd 形状検査方法およびその装置
JPH10248806A (ja) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd 計測内視鏡装置
JPH11132743A (ja) * 1997-10-31 1999-05-21 Meidensha Corp 画像信号処理による欠陥検査装置
JP2000209430A (ja) * 1999-01-18 2000-07-28 Canon Inc 輪郭抽出装置及び方法並びに記憶媒体
JP2002336188A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 計測用内視鏡装置
JP2004049638A (ja) * 2002-07-22 2004-02-19 Olympus Corp 内視鏡装置

Also Published As

Publication number Publication date
US8194948B2 (en) 2012-06-05
JP5574555B2 (ja) 2014-08-20
US20080240491A1 (en) 2008-10-02
JP2008206956A (ja) 2008-09-11
JP5295526B2 (ja) 2013-09-18

Similar Documents

Publication Publication Date Title
JP5574555B2 (ja) 内視鏡装置
US8200042B2 (en) Endoscope apparatus and program
JP6150532B2 (ja) 計測装置およびプログラム
EP2554103B1 (en) Endoscope observation supporting system and programme
JP5791976B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20100201795A1 (en) Endoscope apparatus
JP5530225B2 (ja) 内視鏡装置およびプログラム
JP5073564B2 (ja) 計測用内視鏡装置およびプログラム
JP2011158549A (ja) 内視鏡装置およびプログラム
US8558879B2 (en) Endoscope apparatus and measuring method
JPWO2016199273A1 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP2010264232A (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP5073384B2 (ja) 計測用内視鏡装置
JP4790223B2 (ja) 計測用内視鏡装置
JP2008185895A (ja) 計測用内視鏡装置
JP5354494B2 (ja) 3次元画像生成装置、3次元画像生成方法、及びプログラム
JP2006061274A (ja) プログラム、及び内視鏡システム
JP5624336B2 (ja) 医用画像処理装置、及び医用画像処理プログラム
JP6095429B2 (ja) 計測装置およびプログラム
JP4674093B2 (ja) 内視鏡装置及びプログラム
JP5127302B2 (ja) 計測用内視鏡装置およびプログラム
JP5186314B2 (ja) 内視鏡装置およびプログラム
JP2009282379A (ja) 内視鏡装置およびプログラム
US8903144B2 (en) Endoscope apparatus and method of measuring object
JP5602449B2 (ja) 内視鏡装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140630

R151 Written notification of patent or utility model registration

Ref document number: 5574555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371