JP2005077831A

JP2005077831A - 工業用内視鏡装置及びこれを用いた検査方法

Info

Publication number: JP2005077831A
Application number: JP2003308944A
Authority: JP
Inventors: Mitsuo Obata; 光男小畑; Akito Saito; 明人斉藤
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-09-01
Filing date: 2003-09-01
Publication date: 2005-03-24
Anticipated expiration: 2023-09-01
Also published as: JP4464640B2

Abstract

【課題】目的部位に容易に達することができ、なおかつ、観察結果を客観的記録として残すことができる工業用内視鏡装置の提供を課題とする。
【解決手段】被検査物内に挿入される内視鏡プローブと、この内視鏡プローブからのＬＩＶＥ画像を表示するＬＣＤ８と、これら内視鏡プローブ及びＬＣＤ８を制御する制御部ＣＵとを備えた工業用内視鏡装置において、制御部ＣＵが、被検査物内の形状寸法を示すＶＥ画像を読み込み、このＶＥ画像及び内視鏡画像間の比較により、被観察物内における内視鏡プローブの位置及び姿勢を求める構成を採用した。
【選択図】図３

Description

本発明は、工業用内視鏡装置と、この工業用内視鏡装置を用いた検査方法とに関するものである。

工業用内視鏡装置は、例えば航空機エンジンのブレード検査や電力配管の内部検査など、様々な用途に用いられている。
この種の工業用内視鏡装置は、下記特許文献１に示されているように、検査対象内部に挿入される細長くて可撓性を有する内視鏡プローブと、この内視鏡プローブに内蔵されたライトガイドに照明光を供給する光源装置と、内視鏡プローブの先端に内蔵された撮像素子であるＣＣＤ（電荷結合素子）からの電気信号に基づいて画像信号を生成する制御装置と、前記画像信号を表示するテレビモニタなどを備えて概略構成されている。

例えば、この工業用内視鏡装置を用いて航空機エンジン内の検査を行う場合には、まず電源を投入して前記内視鏡プローブの先端から照明光を出射させるとともに、前記ＣＣＤで撮像される画像を前記テレビモニタに表示させる状態にする。その後、内視鏡プローブを装置本体から引き出しながら航空機エンジン内に挿入していく。検査を行う作業者は、テレビモニタに表示されるリアルタイム映像を観察しながら内視鏡プローブを所定の観察ポイントへと誘導するように挿入していくことで内部検査を行う。
特開平８−２０１７０６号公報

ところで、従来の工業用内視鏡装置を用いて航空機エンジンや配管等の内部検査を行う場合、上述のように、内視鏡プローブを操作する作業者がリアルタイム映像を見ながら自らの判断で各検査部位に内視鏡プローブを移動させ、その観察を行っていた。
この場合、観察すべき部位を間違いなく観察したかどうかは観察者次第であり、客観的に確認する手だてがなかった。また、熟練していない観察者が操作した場合には、検査対象内における自らの位置（内視鏡プローブの先端位置）を見失うなどしてなかなか目標とする検査部位に達することができない場合もあった。したがって、場合によっては検査すべき個所を見逃して不完全な検査結果を招いてしまう虞があった。

本発明は、上記事情に鑑みてなされたものであって、目的部位に容易に達することができ、なおかつ、観察結果を客観的記録として残すことができる手段の提供を目的とする。

本発明は、上記課題を解決するために以下の手段を採用した。
すなわち、請求項１に記載の工業用内視鏡装置は、被観察物内に挿入される内視鏡プローブと、該内視鏡プローブで撮像した映像を表示する表示部とを備えた工業用内視鏡装置において、前記映像を、前記被観察物内の形状寸法を示す形状データと比較することにより、前記被観察物内における前記内視鏡プローブの位置及び姿勢の少なくとも一方を求める制御部を備えたことを特徴とする。
上記請求項１に記載の工業用内視鏡装置によれば、その制御部が、被観察物内観察時の映像と形状データとを重ね合わせて比較することにより、両者の相対関係を一致させることができる。これにより、その映像を取得した際の内視鏡プローブの位置及び姿勢の少なくとも一方がどのようなものであるかを、形状データ上における内視鏡プローブの位置及び姿勢の少なくとも一方として求めることができる。しかも、形状データは予め形状寸法が判明しているものであるため、被観察物内における内視鏡プローブの位置及び姿勢の少なくとも一方を正確かつ容易に求めることができる。
また、映像に基づく現在観察位置の判別を、観察者が行うのではなく、工業用内視鏡装置の制御部側で行うものであるため、観察位置の確認を客観的に確認することができる。

請求項２に記載の工業用内視鏡装置は、請求項１に記載の工業用内視鏡装置において、前記制御部が、前記形状データ上に設定された挿入予定経路を前記表示部に表示させることを特徴とする。
上記請求項２に記載の工業用内視鏡装置によれば、表示部上に表示される挿入予定経路に沿って各観察箇所の観察を行うことで、全ての観察箇所を見逃すことなく順番に観察することができる。

請求項３に記載の工業用内視鏡装置は、請求項２に記載の工業用内視鏡装置において、前記制御部が、前記挿入予定経路上に設定されたチェックポイントを前記表示部に表示させることを特徴とする。
上記請求項３に記載の工業用内視鏡装置によれば、チェックポイントを通ったか否かを表示部上で確認しながら観察を行うことで、挿入予定経路上における全ての観察箇所を漏らさず観察したかをより確実に確認することができる。

請求項４に記載の工業用内視鏡装置は、請求項２または請求項３に記載の工業用内視鏡装置において、前記制御部が、求められた前記内視鏡プローブの位置及び姿勢の少なくとも一方と前記挿入予定経路との比較に基づき、該内視鏡プローブの移動すべき方向を求めて示すことを特徴とする。
上記請求項４に記載の工業用内視鏡装置によれば、これを操作する観察者が制御部から発せられる指示（ナビゲーションガイド情報）に従って内視鏡プローブを操作して移動させることにより、挿入予定経路から外れることなく内視鏡プローブを移動させることができる。

請求項５に記載の工業用内視鏡装置は、請求項１〜請求項４の何れか１項に記載の工業用内視鏡装置において、前記制御部が、前記被観察物内における前記内視鏡プローブの位置及び姿勢の少なくとも一方と、これら位置及び姿勢に対応する前記映像とを関連づけた観察記録を記録することを特徴とする。
上記請求項５に記載の工業用内視鏡装置によれば、観察結果を、観察記録という客観的な証拠記録として保存することができる。

請求項６に記載の工業用内視鏡装置は、請求項５に記載の工業用内視鏡装置において、前記形状データが、過去観察時の前記観察記録に記録された前記内視鏡プローブの位置及び姿勢の少なくとも一方と前記映像とに基づいて構成された計算機モデルであることを特徴とする。
上記請求項６に記載の工業用内視鏡装置によれば、請求項１に記載の作用を確実に得ることができる。

請求項７に記載の工業用内視鏡装置は、請求項１〜請求項５の何れか１項に記載の工業用内視鏡装置において、前記形状データが、前記被観察物の設計情報に基づいて構成された計算機モデルであることを特徴とする。
上記請求項７に記載の工業用内視鏡装置によれば、請求項１に記載の作用を確実に得ることができる。

請求項８に記載の工業用内視鏡装置を用いた検査方法は、被観察物内の映像を内視鏡プローブで撮像する工程と、前記被観察物内の形状寸法を示す形状データを読み込む工程と、前記映像及び前記形状データ間の比較により、前記被観察物内における前記内視鏡プローブの位置及び姿勢の少なくとも一方を求める工程とを有することを特徴とする。
上記請求項８に記載の工業用内視鏡装置を用いた検査方法によれば、被観察物内観察時の映像と形状データとを重ね合わせて比較することにより、両者の相対関係を一致させることができる。これにより、その映像を取得した際の内視鏡プローブの位置及び姿勢の少なくとも一方がどのようなものであるかを、形状データ上における内視鏡プローブの位置及び姿勢の少なくとも一方として求めることができる。しかも、形状データは予め形状寸法が判明しているものであるため、被観察物内における内視鏡プローブの位置及び姿勢の少なくとも一方を正確かつ容易に求めることができる。
また、映像に基づく現在観察位置の判別を、観察者が行うのではないので、観察位置の確認を客観的に確認することができる。

本発明の請求項１に記載の工業用内視鏡装置は、その制御部が、映像を被観察物内の形状データと比較することにより、被観察物内における内視鏡プローブの位置及び姿勢の少なくとも一方を求める構成を採用した。この構成によれば、被観察物内における内視鏡プローブ自らの位置及び姿勢を見失うことなくかつ客観的に把握することができる。したがって、観察を行う目的部位に容易に達することができ、なおかつ、観察結果を客観的記録として残すことが可能となる。

また、請求項２に記載の工業用内視鏡装置は、前記制御部が、形状データ上に設定された挿入予定経路を前記表示部に表示させる構成を採用した。この構成によれば、表示部上に表示される挿入予定経路に沿って各観察箇所の観察を行うことで、熟練していない観察者であっても、熟練した観察者が行うように全ての観察箇所を見逃すことなく順番に観察することが可能となる。

また、請求項３に記載の工業用内視鏡装置は、前記制御部が、挿入予定経路上に設定されたチェックポイントを表示部に表示させる構成を採用した。この構成によれば、チェックポイントを通ったか否かを表示部上で確認しながら観察を行うことで、挿入予定経路上における全ての観察箇所を逃さず観察したかをより確実に確認することが可能となる。また、全ての観察箇所のうちのどこまで観察できたかを確認しながら観察を行うことも可能となる。

また、請求項４に記載の工業用内視鏡装置は、前記制御部が、求められた内視鏡プローブの位置及び姿勢の少なくとも一方と挿入予定経路との比較に基づき、この内視鏡プローブの移動すべき方向を求めて示す構成を採用した。この構成によれば、制御部からの指示に従って内視鏡プローブを移動させていくことで、熟練者が操作した場合のように、挿入予定経路から外れることなく内視鏡プローブを移動させることが可能となる。

また、請求項５に記載の工業用内視鏡装置は、前記制御部が、被観察物内における内視鏡プローブの位置及び姿勢の少なくとも一方と、これらに対応する映像とを関連づけた観察記録を記録する構成を採用した。この構成によれば、観察結果を、観察記録という客観的な記録として保存することが可能となる。

また、請求項６に記載の工業用内視鏡装置は、前記形状データが、過去観察時の前記観察記録に記録された位置と姿勢と映像とに基づいて構成された計算機モデルである構成を採用した。この構成によれば、請求項１に記載の効果を確実に得ることが可能となる。

また、請求項７に記載の工業用内視鏡装置は、前記形状データが、被観察物の設計情報に基づいて構成された計算機モデルである構成を採用した。この構成によれば、請求項１に記載の効果を確実に得ることが可能となる。

本発明の請求項８に記載の工業用内視鏡装置を用いた検査方法は、映像を被観察物内の形状データと比較することにより、被観察物内における内視鏡プローブの位置及び姿勢の少なくとも一方を求める方法を採用した。この方法によれば、被観察物内における内視鏡プローブ自らの位置及び姿勢を見失うことなくかつ客観的に把握することができる。したがって、観察を行う目的部位に容易に達することができ、なおかつ、観察結果を客観的記録として残すことが可能となる。

本発明の工業用内視鏡装置の一実施形態についての説明を、図面を参照しながら以下に行うが、本発明がこれらのみに限定解釈されるものでないことは勿論である。なお、図１は、本実施形態の工業用内視鏡装置の一実施形態を示す図であって、全体構成を示す斜視図である。また、図２は、同工業用内視鏡装置の制御部を中心とする内部構造を説明するためのブロック図である。また、図３は、同工業用内視鏡装置の同制御部の動作を説明するためのブロック図である。また、図４は、同工業用内視鏡装置の同制御部の制御動作を説明する図であって、被検査物内の検査を行う際の検査計画を立てるまでを示すフローチャート図である。また、図５は、同工業用内視鏡装置を用いた検査の流れを示すフローチャート図である。また、図６は、同工業用内視鏡装置の表示部である液晶モニタの画面を示す図である。また、図７（ａ）及び（ｂ）は、同液晶モニタ上の要部を示す図であって、図６の表示領域Ａ１を示す図である。また、図８は、同液晶モニタ上の同要部を示す図であって、図６の表示領域Ａ１を切り替えた図である。また、図９は、同液晶モニタの表示画面を示す図である。また、図１０は、同工業用内視鏡装置のリモートコントローラを示す側面図である。また、図１１は、同工業用内視鏡装置の制御部によるマッチング動作を説明するための図であって、（ａ）が特徴抽出工程を説明する図であり、（ｂ）が特徴比較を行っている状態を説明するための図である。また、図１２は、同工業用内視鏡装置の同液晶モニタの画面を示す図であって、表示内容を切り替えた状態を示す図である。また、図１３は、同工業用内視鏡装置の同制御部に保存される記録内容の一覧を説明する図である。また、図１４は、同工業用内視鏡装置の同液晶モニタの画面を示す図であって、表示内容を切り替えた状態を示す図である。

まず、図１を参照して本実施形態の工業用内視鏡装置１のシステム構成を説明する。
図１に示すように、この工業用内視鏡装置１は、光学アダプタ２と、この光学アダプタ２が着脱自在に接続される内視鏡プローブ３を有する内視鏡４と、内視鏡４が収納されるコントロールユニット（本体）６と、各種動作制御を実行させるための操作を行うリモートコントローラ７と、内視鏡画像や操作制御内容（例えば処理メニュー）、さらにはナビゲーション情報等が表示される表示装置である液晶モニタ（以下、ＬＣＤと称する）８と、通常の内視鏡画像、あるいはその内視鏡画像をステレオ画像として立体視可能なフェイスマウントディスプレイ（以下、ＦＭＤと称する）９と、このＦＭＤ９に画像データを供給するＦＭＤアダプタ９ａとを備えて概略構成されている。

前記内視鏡プローブ３は、その先端部３ａにＣＣＤ（光学撮像素子。図示せず。）を内蔵した細長いケーブルであり、コントロールユニット６から引き出して被検査物（被観察物）内に挿入することが可能となっている。そして、この内視鏡プローブ３の先端部３ａには、立体視観察用であるステレオ測定用の光学アダプタ２の他に、通常観察用の比較計測用光学アダプタ１０も着脱自在に接続できるようになっている。
なお、同図の符号１１は、後述のＣＣＵ１７を経由せずに映像を映像信号処理回路に入力するための外部映像入力端子を示している。また、符号１２は、外部から電力を取り入れるためのコンセントケーブルを示している。

続いて、図２を参照しながら工業用内視鏡装置１の内部構造の詳細説明を以下に行う。
同図に示すように、内視鏡プローブ３の基端部は、コントロールユニット６内の内視鏡ユニット１５に接続されている。この内視鏡ユニット１５の内部には、撮影時に必要な照明光を内視鏡プローブ３に内蔵されたライトガイドに供給する光源１６や、内視鏡プローブ３に内蔵された湾曲部（図示せず）を電気的に湾曲動作させる電動湾曲装置（図示せず）などが内蔵されている。さらに、コントロールユニット６内には、内視鏡プローブ３の挿入長（すなわち、コントロールユニット６からの内視鏡プローブ３の引き出し長さ）を検出する内視鏡挿入長センサ（ロータリーエンコーダ）ＲＥが内蔵されている。

内視鏡プローブ３の先端部３ａ内には、前記ＣＣＤが内蔵されており、このＣＣＤから出力される撮像信号が、画像処理部であるカメラコントロールユニット（以下、ＣＣＵと称する）１７に入力されるようになっている。このＣＣＵ１７は、入力された撮像信号を例えばＮＴＳＣ信号等の映像信号に変換して、コントロールユニット６内の制御部ＣＵに供給するように構成されている。

コントロールユニット６内に搭載される前記制御部ＣＵは、ＣＰＵ１８、ＲＯＭ１９、ＲＡＭ２０、ＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと称する。）２１ａ、ＵＳＢインターフェイス（以下、ＵＳＢＩ／Ｆと記載する。）２１ｂ、ＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２ＣＩ／Ｆと記載する。）２１ｃ、音声信号処理回路２２、映像信号処理回路２３、そして記録部Ｒを備えて構成されている。

前記ＣＰＵ１８は、主要プログラムに基づいて各種機能を実行／動作させる制御と、計測処理とを行うマイクロプロセッサーである。そして、このＣＰＵ１８は、ＲＯＭ１９に格納されているプログラムを実行し、目的に応じた処理を行うことでシステム全体の動作制御を行うようになっている。
前記ＲＳ−２３２ＣＩ／Ｆ２１ｃは、リモートコントローラ７による操作に基づいてコントロールユニット６全体を動作制御するのに必要な通信を行うためのインターフェイスであり、ＣＣＵ１７、内視鏡ユニット１５、内視鏡挿入長センサＲＥ、そしてリモートコントローラ７のそれぞれに接続されている。また、バスを介してＣＰＵ１８に接続されている。これにより、リモートコントローラ７で、ＣＣＵ１７及び内視鏡ユニット１５への動作指示及び制御を行うことが可能となっている。

前記ＵＳＢＩ／Ｆ２１ｂは、コントロールユニット６とパーソナルコンピュータ２５との間を電気的に接続するためのインターフェイスである。このＵＳＢＩ／Ｆ２１ｂを介してコントロールユニット６とパーソナルコンピュータ２５を接続した場合に、パーソナルコンピュータ２５側からも、リモートコントローラ７から動作指示した場合と同様に、内視鏡画像の表示指示や計測時における画像処理などの各種の制御指示をコントロールユニット６に対して行うことが可能となる。さらには、コントロールユニット６及びパーソナルコンピュータ２５間での各種処理に必要な制御情報やデータ等の入出力も可能としている。

前記ＰＣカードＩ／Ｆ２１ａには、ＰＣＭＣＩＡメモリーカード２６のみならず、ＰＣＭＣＩＡカードアダプタを介してコンパクトフラッシュ（登録商標）メモリーカード２７等の外部記憶媒体が着脱自在に装着されるようになっている。そして、この外部記憶媒体を装着した場合には、ＣＰＵ１８の制御により、これら外部記憶媒体に記憶された制御処理情報や検査記録等のデータを、ＰＣカードＩ／Ｆ２１ａを介してコントロールユニット６内に取り込んだり、または、ＰＣカードＩ／Ｆ２１ａを介して制御処理情報や検査記録等のデータを前記外部記憶媒体に供給して記録させることができるようになっている。

前記映像信号処理回路２３は、ＣＣＵ１７から供給された内視鏡画像とグラフィック表示された操作メニューとを合成した合成画像を表示する機能を有しており、ＣＣＵ１７からの映像信号と、ＣＰＵ１８により生成された操作メニューの表示信号とを合成処理し、さらに、ＬＣＤ８の画面上に表示するのに必要な処理を施してからＬＣＤ８に供給する。これにより、ＬＣＤ８には、内視鏡画像と操作メニューとの合成画像が表示される。なお、映像信号処理回路２３は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示させるための処理を行うことも可能となっている。
前記ＬＣＤ８は、内視鏡プローブ３からの内視鏡画像（映像）や操作制御内容（例えば処理メニュー）等の表示を行う表示部であるタッチパネル式の液晶モニタである。

前記コントロールユニット６には、ＣＣＵ１７を経由せずに映像信号処理回路２３に映像を入力する前記外部映像入力端子１１が別に設けられている。この外部映像入力端子１１に映像信号が入力された場合、映像信号処理回路２３は、ＣＣＵ１７からの内視鏡画像に優先して前記映像信号に基づく合成画像を出力する。

前記音声信号処理回路２２には、マイク２８により集音されて前記外部記憶媒体に記録される音声信号や、前記外部記憶媒体の再生により得られる音声信号や、ＣＰＵ１８により生成された音声信号が供給されるようになっている。そして、この音声信号処理回路２２は、供給された音声信号を再生するために必要な処理（増幅処理等）を施した後、スピーカ２２ａに出力する。これにより、スピーカ２２ａから音声信号が再生される。
前記リモートコントローラ７には、湾曲操作用のジョイスティック、メニュー選択用のジョイスティック、フリーズスイッチ、画像記録スイッチ等が設けられており、各種のリモコン操作を行えるようになっている。これについて図１０を参照して説明すると、観察者の判断により、図１０に示すリモートコントローラ７のフリーズスイッチ７ａを押下することでＬＩＶＥ画像を停止させ、画像記録スイッチ７ｂを押下することで、停止させたＬＩＶＥ画像を制御部ＣＵの記録部Ｒに記録することができるようになっている。ちなみに、この図１０における符号７ｃは、内視鏡プローブ３の先端を湾曲動作させるためのジョイスティックであり、また符号７ｄは、ＬＣＤ８上のポインタを動かすためのジョイスティックである。

ところで、前述したように、コントロールユニット６内には、装置全体の制御動作を司る制御部ＣＵや、この制御部ＣＵから発せられた音声ガイドを発するスピーカ２２ａなどが収容されており、本実施形態の工業用内視鏡装置１は、これらが有する機能により、観察者の検査作業をアシストするとともに、再現性のある検査結果の記録を行える点が特に特徴的となっている。
すなわち、制御部ＣＵは、被検査物内の形状寸法を示す形状データを読み込み、この形状データ及びリアルタイム映像間の比較により、被検査物内における内視鏡プローブ３のヘッド（先端部３ａ）の位置及び姿勢を求めることが可能となっている。

さらに、制御部ＣＵは、このようにして求めた内視鏡プローブ３の位置及び姿勢を、ＬＣＤ８に表示すると同時に、スピーカ２２ａから音声ガイドとして発することにより、観察者に、どのように内視鏡プローブ３を操作すればスムーズに検査が行えるかを常に指示することも可能としている。
また、制御部ＣＵは、前記記録部Ｒを備えており、求めた内視鏡プローブ３の位置及び姿勢と、これら位置及び姿勢に対応する前記リアルタイム映像とを関連づけた検査記録を記録することも可能としている。記録部Ｒに記録したデータは、図示しないコピーメニューを実行することにより、ＰＣカードＩ／Ｆ２１ａを介してＰＣＭＣＩＡメモリーカード２６などの外部記憶媒体に記録することができる。これにより、工業用内視鏡装置１で行った検査内容をＰＣ（パーソナルコンピュータ）などで確認、又は保存することができる。

以下、この制御部ＣＵの詳細について説明する。
この制御部ＣＵでは、図３の紙面左下の符号ａ，ｂに示すように、被検査物内の内部形状を示す計算機モデル（３Ｄモデル）を構築し、この計算機モデルに基づいて挿入予定経路（ルート）を設定するようになっている。すなわち、制御部ＣＵでは、これから検査を行う被検査物内の各検査箇所をどのような挿入予定経路を通って検査するかを予め決める検査計画を立てることができるようになっている。この詳細について、図４のフローチャートを参照しながら説明する。

まず、検査計画設定を開始すると、ステップＳ１において、被検査物情報及び検査履歴情報の読み込みが実行される。この被検査物情報としては、例えば、被検査物の設計情報（ＣＡＤデータ）が好適に用いられる。また、検査履歴情報としては、被検査物内の、過去に行った検査箇所の位置や、同位置で撮像された映像などの検査記録が読み込まれる。なお、設計情報の読み込みに際しては、この制御部ＣＵ内の記録部Ｒに保存しておいたものを使用しても良いし、または、通信回線を介して接続された他の計算機から読み込むものとしても良い。
続くステップＳ２では、被検査物情報として読み込まれた被検査物の設計情報に基づいて計算機モデル（３Ｄモデル、形状データ）が生成される。この計算機モデルの生成により、制御部ＣＵは、被検査物の詳細かつ高精度な内部形状の把握を行う。

ステップＳ３では、生成された計算機モデルに基づくチャート図を、図６に示す表示画面の表示領域Ａ１に表示させる。このチャート図は、例えば、被検査物の三面図（平面図、正面図、側面図）及び斜視図であり、これらの全てを一括表示したり、または、これらのうちの一図または複数図を選択して表示させることが可能となっている。
なお、これら図のうちのどれを表示領域Ａ１に表示させるかは、図７（ａ），（ｂ）に示す表示切り替え操作部ａ２内のどのボタンを押すかによって選択することが可能となっている。すなわち、表示切り替え操作部ａ２の「平」のボタンを押した場合には平面図が表示され、また、表示切り替え操作部ａ２の「正」のボタンを押した場合には正面図が表示され、また、表示切り替え操作部ａ２の「側」のボタンを押した場合には側面図が表示され、また、表示切り替え操作部ａ２の「斜」のボタンを押した場合には斜視図が表示される。各ボタンのうちのどれが選択されたかは、太枠表示されることによって確認することができる。

この表示領域Ａ１に表示されるチャート図は、後述の検査実施時において、被検査物内における自らの位置（内視鏡プローブ３の先端位置）を知るための地図の役目を有しており、その位置を指し示すマークが図中にリアルタイムで表示されるものとなっている。
図７（ａ），（ｂ）に示すように、表示領域Ａ１には、チャート図を拡大表示または縮小表示させるための表示倍率操作部ａ１が備えられている。そして、ここに表示される拡大／縮小倍率を上下させる（具体的には、表示倍率操作部ａ１の左にある虫眼鏡印を押すことによって縮小表示させたり、あるいは、表示倍率操作部ａ１の右にある虫眼鏡印を押すことによって拡大表示させる。）ことで、図７（ａ）に示すようにチャート図を縮小表示させて被検査物の全体像を把握したり、あるいは、図７（ｂ）に示すように任意箇所（例えば、図７（ａ）のチャート図内のＵ部）を拡大表示させて被検査物内における内視鏡プローブ３の位置を正確に把握することが可能となっている。

このチャート図を用いて、被検査物内における自らの位置（内視鏡プローブ３の先端位置）を把握する具体的方法について説明すると、まず図７（ａ）において、被検査物全体における内視鏡プローブ３の位置を、同図の太矢印を確認することで把握する。なお、同図における符号ＡＰは、被検査物内に内視鏡プローブ３を挿入する際の挿入口（アクセスポイント）を示している。

続いて、被検査物内における内視鏡プローブ３の先端位置を詳細に把握すべく、表示倍率操作部ａ１を操作して図７（ａ）のＵ部を拡大表示させて図７（ｂ）の表示内容にする。すると、内視鏡プローブ３の挿入経路が拡大表示されるとともに、この挿入経路上に後述のＩＤ番号が重ねて表示される。これらＩＤ番号は、内視鏡プローブ３の挿入順路を示しており、例えば同図の場合では、(1)−＞(2)−＞(3)−＞(4)−＞(5)−＞(6)の順番に沿って内視鏡プローブ３を挿入していけば良いことを示している。さらに、同図における太線矢印が、内視鏡プローブ３の先端位置及びその向きを示している。したがって、この太線矢印がＩＤ番号(3)とＩＤ番号(4)との間の位置に有ることから、同位置に内視鏡プローブ３の先端位置が存在することが把握できる。

再び図４に戻り、前記ステップ３に続くステップＳ４以降の説明を行う。このステップＳ４では、内視鏡挿入条件情報の入力が実行される。
まず、サブルーチンＳＵＢのステップＳ５では、内視鏡装置情報の入力または読み込みが実行される。すなわち、観察者の操作により、前記内視鏡プローブ３に装着される光学アダプタの種類、内視鏡プローブ３の径及び長さ、測定モード（通常測定モード、ステレオ測定モード等）などの入力、またはこれらの読み込みが行われる。
続くステップＳ６では、観察者の操作により、前記チャート図上における内視鏡プローブ３の挿入開始位置の入力が行われる。すなわち、図７（ａ）で図示したアクセスポイントＡＰを前記チャート図上に指定する。この指定は、前記チャート図上に図示しないポインタを重ね合わせて指定することで行われる。なお、挿入口（アクセスポイントＡＰ）が小さくて指定しづらい場合には、必要に応じて前記表示倍率操作部ａ１を操作して、前記チャート図を拡大表示させてから行うのが好ましい。

さらに続くステップＳ７では、前記チャート図上における検査部位と、これら検査部位に達する際に通るべき通過点との入力が行われる。この入力操作は、図７（ｂ）に示した表示内容を、図８に示す「設定モード」に変更してから行われる。この「設定モード」では、画面下部に、これから設定するポイントが検査対象である「検査部位」であるのか、または、これら「検査部位」に到達するための道標となる「通過点」であるのかを選択する選択メニューｍ１と、同ポイントを他のポイントと識別したり、または、最終到達点であることを示すためのＩＤ番号を入力するＩＤ入力部ｍ２と、各入力内容を決定するためのＯＫボタンｍ３と、各入力内容をキャンセルするＣＡＮＣＥＬボタンｍ４とが表示される。

例えば、図８のＩＤ番号(3)に示す位置に検査部位を設定する場合には、同図に示すポインタを動かしてジョイスティックを押下して位置を決定する。続いて、選択メニューｍ１上に前記ポインタを重ね合わせて押下すると、「検査部位」及び「通過点」の両表示がプルダウンメニュー表示されるので、これらのうちの「検査部位」を選択して押下する。さらに続いて、前記ポインタを今度はＩＤ入力部ｍ２上に重ね合わせ、▲印または▼印を押下することで、ＩＤ番号を入力する。なお、このＩＤ番号の入力操作は、観察者ではなく、前記制御部ＣＵ側が自動的に昇順に設定するようにしても良い。
以上の入力操作が正しく済んだらＯＫボタンｍ３を押下し、入力し直す場合にはＣＡＮＣＥＬボタンｍ４を押下する。ＯＫボタンｍ３が押下された場合、前記制御部ＣＵは、指定されたＩＤ番号が重複していないかをチェックし、重複していた場合には、再度入力を促すエラー表示を画面上に表示させる。重複せずに正しく入力された場合には、前記記録部Ｒに保存される。なお、ＩＤ入力部ｍ２で「Ｅ」を選択した場合には、このポイントが最終到達点として設定保存される。

最終到達点が入力されると、図８の画面が図９の画面に自動的に切り替わり、サブルーチンＳＵＢにおける内視鏡挿入条件情報の入力が完了したか否かを問い合わせるステップＳ８が行われる。正しく完了している場合には、「Ｙｅｓ」ボタンを押下することで、サブルーチンＳＵＢからメインルーチンの制御フローに戻る。一方、そうでない場合には、「Ｎｏ」ボタンを押下することで、再びステップＳ７に制御フローが戻される。
なお、上記各ステップＳ５〜Ｓ８の入力操作は、各入力項目が毎回同じである場合の入力操作の手間を省くべく、制御部ＣＵ内の記録部、または、前記ＰＣＭＣＩＡメモリーカード２６や前記コンパクトフラッシュ（登録商標）メモリーカード２７等の外部記憶媒体に各入力項目を記録しておき、この記録内容を読み込ませることで、観察者の入力作業を省くものとしても良い。

メインルーチンのステップＳ９では、ステップＳ２で生成された計算機モデルと、ステップＳ４で入力された内視鏡挿入条件情報とに基づいて挿入予定経路情報の生成が行われる。すなわち、ステップＳ６で指定された挿入開始位置（アクセスポイントＡＰ）から内視鏡プローブ３を挿入し、ステップＳ７で指定された各通過点を通って各検査部位に達するまでの最適な挿入予定経路が、制御部ＣＵにより求められる。この挿入予定経路の設定は、全ての検査部位及び通過点を通ること、最短経路を通ること、内視鏡プローブ３の外径が通るのに狭すぎるような挿入箇所を避けること、などを判断基準として求められる。
そして、求められた挿入予定経路は、ステップＳ１０において、前記チャート図上に重ねて表示される。これにより、地図であるチャート図上に、出発点である挿入開始位置（アクセスポイントＡＰ）から、各通過点を通って各検査部位に達するまでの経路が確定される。

続くステップＳ１１では、マーカー情報（ＶＥ情報）の生成が実行される（図３の符号ｃ１も参照。）。すなわち、ステップＳ７で入力された各検査部位及び各通過点の、チャート図上における位置情報と、同位置に内視鏡プローブ３を配置して所定方向を向いたときの視線角度（姿勢情報）とが確定される。なお、ここで言う「ＶＥ」は「Virtual Endscope」の略であり、チャート図上に想定された仮想の内視鏡プローブを指し示すものとする。

このようにして選び出されたマーカー情報（ＶＥ情報）に基づき、ステップＳ１２ではマーカーデータ（ＶＥ画像）の生成が行われる（図３の符号ｃ２も参照。）。すなわち、ステップＳ１１で確定された位置情報及び視線角度に仮想の内視鏡プローブ３を配置し、そのときに見える内視鏡画像を、前記計算機モデルに基づいて生成する。
ところで、内視鏡プローブ３に装着する光学アダプタとして、プリズムを内蔵し、側面から入射した光を反射させて前記ＣＣＤ上に結像するタイプの側視アダプタを用いる場合には、前記ＣＣＤ上には左右反転した画像（鏡像）が結像される。この画像とカレントＶＥ画像との間でマッチングを取ろうとしても、正常にマッチングすることができない。そこで、前述のステップＳ５において内視鏡装置情報を入力する際に、使用する光学アダプタが側視アダプタであるか否かを前記制御部ＣＵ側に取り込んでおき、本ステップＳ１２における上記マーカーデータ（ＶＥ画像）の生成において、生成された各ＶＥ画像を最終的に左右反転させておくことが好ましい。もちろん、側視アダプタを用いない場合には、この画像反転動作は不要である。
同様に、使用する光学アダプタ毎に歪曲収差の特性も異なるので、前記ステップＳ５において予め読み込まれた歪曲収差のデータも、マーカーデータ（ＶＥ画像）の生成に反映される。すなわち、前記仮想の内視鏡プローブから見た内視鏡画像を生成する際に、前記歪曲収差に基づいて画像を歪ませることで、同等の歪曲収差をマーカーデータ（ＶＥ画像）に与える。

このようにして生成された内視鏡画像（ＶＥ画像）は、挿入予定経路上に設定された各通過点及び各検査部位の位置における仮想の内視鏡画像（３Ｄコンピュータグラフィック画像）であり、ステップＳ１３においてランドマークの表示が実行される。ここで言うランドマークとは、挿入予定経路上を進みながら検査を行う際に現在位置の確認を行うのに適した、被検査物内の特徴ポイントのことを指し示すものである。そして、これらランドマークは、図６に示すように、各検査部位及び各通過点のＶＥ画像をサムネール表示（縮小配列表示）したものが表示領域Ａ２に表示される。なお、同図では、明確に説明するために、図７（ｂ）に示したＩＤ番号（(1)，(2)，(3)，・・・）に対応する番号を記している。
同時に、図４のステップＳ１４において、各ＶＥ画像のうち、検査実施時に最初に通る点のものが制御部ＣＵ側で選び出され、この選び出されたＶＥ画像が、図６の表示領域Ａ３にカレントＶＥ画像として表示される。

そして、図４のステップＳ１５では、制御部ＣＵ内において仮想の内視鏡プローブを挿入した場合の挿入シミュレーションが実行される。この時、ＶＥ画像の再生が挿入開始点から最終到達点に至るまで順次行われ、内視鏡プローブ３を無理なく最後まで挿入できるかが計算機モデル上で確認される。

その結果、ステップＳ１６において、被検査物内の突起物に内視鏡プローブ３が引っかかって挿入不可となったり、極度に狭い箇所を通ったり、または極度に内視鏡プローブ３を曲げないと通れないような箇所を通るなど、設定した挿入予定経路が不適切であると確認された場合には、ステップＳ４に戻って（必要に応じて、ステップＳ５の内視鏡装置情報の入力又は読み込み及びステップＳ６の挿入開始位置入力にて入力された内容を修正した上で）再度、挿入予定経路の設定が実施される。
逆に、設定した挿入予定経路で問題ないとステップＳ１６で判断された場合には、ステップＳ１７に進み、設定した挿入予定経路の保存が行われる。この時、併せて前記計算機モデル、チャート図、挿入開始位置、各検査部位、各通過点、前記ＶＥ画像、各ランドマークなど、後の検査実施に用いる情報も、制御部ＣＵの記録部Ｒに保存される。

以上説明の各工程を実行することにより、これから検査を行うための検査計画が立てられ、制御部ＣＵの記録部Ｒに保存される。続いて、本実施形態の工業用内視鏡装置１を用いて、前記検査計画に基づいて実際に被検査物内の検査を行う方法の詳細について、以下に説明を行う。
本実施形態の工業用内視鏡装置１を用いた検査方法では、被検査物内のリアルタイム映像（映像）を内視鏡プローブ３で撮像する工程と、被観察物内の形状寸法を示す前記形状データを読み込む工程と、映像及び前記形状データ間の比較により、被検査物内における内視鏡プローブ３の先端位置及び姿勢の両方を求める工程とを有するものとなっている。なお、後述においても述べるが、映像及び前記形状データ間の比較により、被検査物内における内視鏡プローブ３の先端位置及び姿勢の両方を求める工程は、リアルタイムに行うことに限らず、検査後に行うものとしても良い。

まず、工業用内視鏡装置１を被検査物の挿入開始位置（アクセスポイントＡＰ）近傍に配置して起動させる。この時の工業用内視鏡装置１では、前記光源１６が起動して内視鏡プローブ３内のライトガイドに照明光を供給し、また、内視鏡プローブ３先端の前記ＣＣＤからのリアルタイム映像を制御部ＣＵ側に送信（図３の符号ｄ参照。）し、図６の表示領域Ａ４に示すＬＩＶＥ画像としてＬＣＤ８に表示させる。さらに、工業用内視鏡装置１側に備えられている挿入長センサＲＥで検知される、内視鏡プローブ３の挿入長が、制御部ＣＵ側に送信される状態になる（図３の符号ｘも参照。）。
一方、制御部ＣＵ側では、前記保存情報を読み込み、図４に示した情報（チャート図、チャート図上に設定された挿入予定経路、挿入予定経路上に設定されたチェックポイントである各ランドマーク画像など）を、ＬＣＤ８上に表示可能な状態になる。このようにして、検査準備が整う。

その後、制御部ＣＵ内では、図５のステップＳ２１に示すようにランドマークオフセットの初期化が実行される。すなわち、検査計画時に求められた各ランドマーク画像のうち、内視鏡プローブ３が最初に通るものが選定される。そして、ステップＳ２２において、選定されたランドマーク画像の表示が太枠付き表示（図６参照）される。これにより、全ランドマーク画像のうちのどれが現在選定されているかを観察者が一目で判るようにする。
続くステップＳ２３では、選定されたランドマーク画像が図６に示すカレントＶＥ画像として拡大表示される。なお、ここで言う「カレント」とは、「現在選択されている」という意味を示す。

この状態で、観察者は、前記挿入開始点より内視鏡プローブ３を被検査物内に挿入していく。この時の内視鏡プローブ３の先端位置及び姿勢は、図７（ｂ）で示したように、前記チャート図上の太矢印マークとして表示される。また、この時に撮像されるリアルタイム映像は、図６の表示領域Ａ４にＬＩＶＥ画像として表示される。また、同図６の表示領域Ａ５に示す「テキスト支援情報」の箇所には、これから向かうランドマーク（次のランドマーク）までの距離、方向や、最終到達目標（最終のランドマーク）までの距離、方向、残ランドマーク数などの文字情報が表示される。観察者は、ＬＣＤ８上のこれら文字情報及び各画像情報を見て前記リモートコントローラ７を操作しながら、内視鏡プローブ３の挿入を進めていく。
なお、以下の説明においては、制御部ＣＵ内の処理動作を中心に説明を行うが、観察者は、内視鏡プローブ３の挿入を、ＬＣＤ８を介して制御部ＣＵから送られてくる指示に従って進めながらＬＩＶＥ画像を観察することで被検査物の内部検査を適宜実施する。

続いて、内視鏡プローブ３の先端位置がカレントＶＥ画像の位置（目標として選定されたランドマーク位置）に到達したと「判断」すると、図３に示す符号ｅ，ｆ（符号ｋについては後述で説明する。）及び図５に示すステップＳ２４において、特徴抽出の作業が開始される。なお、上記「判断」を制御部ＣＵに行わせる方法としては、以下に説明する２通りがある。
第１の判断方法は、観察者が、見ているＬＩＶＥ画像の映像がカレントＶＥ画像に似たような場所に近づいてきたと自ら判断した場合に、リモートコントローラ７を操作して制御部ＣＵに知らせる方法である。

第２の判断方法は、ＬＩＶＥ画像とカレントＶＥ画像とのマッチング動作を常時行っている場合（すなわち、上記第１の判断方法の場合のように、挿入予定経路上の所定ポイントにおいてのみマッチング動作を行うのではなく、挿入予定経路を進んでいく際に刻々と変わる「道」の映像に対してマッチング動作を連続して行う場合。）である。この場合には、観察者が判断するのではなく、マッチング動作を連続して行う制御部ＣＵが、ＬＩＶＥ画像にマッチングさせたカレントＶＥ画像が、「目標とするランドマーク位置」のものである場合に、「目標とするランドマーク位置に到達した」と自動的に判断する。この第２の判断方法を適用した場合には、後述のステップＳ３０は不要となるが、これについては、後述で説明する。

以上のようにして「目標とするランドマーク位置に到達した」と制御部ＣＵが判断した後の特徴抽出では、図６に示すＬＩＶＥ画像上の特徴点（稜線形状、突起形状、孔形状、文字情報など。画像上の輝度分布によりこれら形状を判別することで特徴点を抽出する。）と、カレントＶＥ画像上の特徴点（ワイヤーフレームとして表示される稜線形状、突起形状、孔形状、文字情報など。）とがそれぞれ抽出される。

これについて、図１１（ａ）を用いて具体的に説明する。まず、ＬＩＶＥ画像上から、輝度が極端に変わる線をつなげていくことで、図１１（ａ）の左図に示すように、ＬＩＶＥ画像上に映し出された部品の特徴をなす外形状が、ワイヤーフレームに変換して表示される。一方、カレントＶＥ画像上における同部品は、既にワイヤーフレーム（同図右側）で表されているので、このワイヤーフレームを、部品外形を示す特徴点としてそのまま用いることができる。
なお、本実施形態では、カレントＶＥ画像を設計データに基づいて作成しているが、これに限らず、過去検査時に撮影した実映像に基づいて作成することも可能である。その場合には、図１１（ａ）でカレントＶＥ画像から特徴点を抽出した手順と同様の手順により、特徴点の抽出を行うことで対応できる。すなわち、過去検査時の実映像上から、輝度が極端に変わる線をつなげていくことで、過去検査時の実映像上に映し出された部品の特徴をなす外形状が、ワイヤーフレームに変換して表示される。

そして、このようにして求められた両画像の特徴点が、図３の符号ｇ及び図５のステップＳ２５に示す工程において比較される。すなわち、ステップＳ２５では、図１１（ｂ）に示すように、ＬＩＶＥ画像のワイヤーフレームとカレントＶＥ画像のワイヤーフレームとを互いに重ね合わることで特徴比較が行われる。

そして、両画像の特徴点が一致（マッチング）するかどうかが図５のステップＳ２６において判定され、一致した場合（Ｙｅｓの場合）にはステップＳ２９へと進み、一方、一致しなかった場合（Ｎｏの場合）にはステップＳ２７へと進む。
ステップＳ２７に進んだ場合には、両画像の相対的な位置関係がずれている場合が想定されるとして、内視鏡プローブ３の先端の位置姿勢推定が実行される（図３の符号ｉ，ｊも参照。）。すなわち、制御部ＣＵは、カレントＶＥ画像の表示内容がＬＩＶＥ画像と一致するように仮想内視鏡プローブの位置及び姿勢を変更した場合の位置移動量及び姿勢移動量を算出し、これらを、検査計画時にこのカレントＶＥ画像を作成したと同時に記録した仮想内視鏡プローブの位置及び姿勢に加えることで、現在の内視鏡プローブ３の先端の位置及び姿勢を推定して求める。

前記ステップＳ２７に続くステップＳ２８では、ＬＩＶＥ画像に対してカレントＶＥ画像の位置及び姿勢（画像の上下向きを含む）を一致させるべく、カレントＶＥ画像側の加工表示を行う（図３の符号ｋも参照。）。すなわち、制御部ＣＵは、ステップＳ２７において求められた現在の内視鏡プローブ３の位置及び姿勢を参照し、これと一致するようにカレントＶＥ画像の位置及び姿勢を変更する。この変更に伴い、カレントＶＥ画像の表示内容が回転、上下移動、左右移動、拡大、縮小するなどして、ＬＩＶＥ画像の表示内容と一致する。

このようにして表示内容が一致した後のカレントＶＥ画像上には、さらに内視鏡プローブ３を挿入するための挿入方向を指し示す矢印等の操作指示が表示される（図３の符号ｍ，ｎも参照。）。すなわち、制御部ＣＵは、求めた内視鏡プローブ３の位置及び姿勢と挿入予定経路との比較に基づき、この内視鏡プローブ３の移動すべき方向を求めて図３のｎに示すようにカレントＶＥ画像上に矢印を表示する。この時、必要に応じて前記スピーカ２２ａからも、音声による操作指示（「上に進んでください」、「右に進んでください」等）を行う。
そして、ステップＳ２８において表示内容が一致した後の制御流れは、再びステップＳ２４へと戻され、再び特徴抽出の工程が実行される。このようにして、ＬＩＶＥ画像の特徴とカレントＶＥ画像の特徴とが一致してステップＳ２９に向かうまで、ステップＳ２４〜ステップ２８の工程が繰り返される。

このようにして、現時点において見えている場所の特定がなされ、検査部位に到達した時点で、制御部ＣＵは、ＬＣＤ８上の表示画面を図６の表示内容から図１２の表示内容に自動的に切り替え、「検査モード」に移る。
図１２に示すように、画面中央下部に示す表示領域Ａ６には、検査項目のリストが一覧表示される。この検査項目のリストは、このランドマーク位置の検査箇所において検査すべき項目の見出しを一覧表示したものである。これら検査項目のリストのうちの何れかを観察者が選択すると、左側の表示領域Ａ７に、検査項目の詳細が表示される。さらに、図１２の中央上部の「参考画像」の表示Ａ８を観察者が押すと、過去に撮影した同箇所の画像（過去画像）が記録部Ｒから読み出され、左側の表示領域Ａ９に表示される。なお、表示Ａ８を省略し、表示Ａ６を押して表示領域Ａ７に検査項目の詳細を表示させた時点で、自動的に表示領域Ａ９に過去画像を表示させるように構成しても良い。

観察者は、表示領域Ａ７，Ａ９に表示される情報を参考にして検査を行う。この検査においてキズ計測を行う場合には、図１２の中央上部の表示Ａ１０を押下して「キズ計測モード」にすることで測定を実施する。
この検査部位における全ての検査が終了した場合には、観察者が図１２の中央上部の「確認済」の表示Ａ１１を押す。すると、表示領域Ａ６内に「済」のマークＡ６１が表示されると同時に、検査が済んだことが制御部ＣＵの記録部Ｒに証拠記録として保存される（図３の符号ｌも参照。）。このようにして制御部ＣＵに検査記録を残すことにより、検査漏れをなくすことができる上に、後の解析に利用することが可能となる。なお、この記録動作は本例のように各ランドマーク通過後に逐一行っても良いし、もしくは、後述のステップＳ３３に説明するように、最終ランドマークを通過後に一括して保存するものとしても良い。

制御部ＣＵの記録部Ｒに保存される全記録項目の例を、図１３に示す。
同図に示すように、記録部Ｒには、各ランドマークＩＤと、カレントＶＥ画像の元となる被検査物全体の３Ｄモデルである検査部位モデルと、図４のステップＳ６において入力した内視鏡装置情報と、内視鏡プローブ３をどのような経路で挿入していったか（どの位置をどのような姿勢で通過させたか）を示す挿入軌跡情報と、前記検査対象物（エンジン、パイプなど）を識別するためのユニークなＩＤである被検体ＩＤとが記録される。前記挿入軌跡情報の記録が、図５のステップＳ２９に示す挿入軌跡情報更新である。挿入軌跡情報は、ランドマークＩＤと関連づけて記録されている。すなわち、ランドマーク地点各々での、位置・姿勢が関連づけて記録されている。

図１３に示すように、各ランドマークＩＤの記録においては、このランドマークが「通過点」であるのか「検査部位」であるのかを示す識別情報も併せて保存される。そして、「通過点」の識別情報が付与されたランドマークには、この通過点をなすランドマーク位置に対応するＶＥ画像が併せて保存される。一方、「検査部位」の識別情報が付与されたランドマークには、同ランドマーク位置に対応するＶＥ画像に加えて、検査項目毎に取得した過去の画像（実画像）が併せて保存される。
以上のようにして全ての検査項目の実施が済んだ後は、ＬＣＤ８の表示画面を、図１２の表示内容（「検査モード」）から図６の表示内容に自動的に切り替える。

上記ステップＳ２９に続くステップＳ３０においては、図１４に示すように、液晶ディスプレイ８上に、ランドマークオフセットの更新を行うか否かを観察者に問い合わせる表示が示される。そして、観察者が、もうしばらく現在の観察部位に止まって観察を継続して行いたいなどの理由により、図１４の「Ｎｏ」ボタンを押下すると、制御流れが図５のステップＳ２４に戻される。そして、次のランドマーク位置に向かわずに観察を継続して行うことが可能となる。逆に、観察者が次のランドマーク位置に向かうことを決め、図１４の「Ｙｅｓ」ボタンを押下すると、図５のステップＳ３１に進む。

ステップＳ３１では、現在のランドマーク位置が最終のランドマーク位置であるかが制御部ＣＵによって判定される。そして、最終のランドマーク位置に達していない（Ｎｏ）と判断された場合には、ステップＳ３２へと進み、ランドマークオフセットの更新が実行される。すなわち、検査計画において求められた各ランドマーク画像のうち、次に内視鏡プローブ３が向かうもの（次に大きいＩＤ番号を有するＶＥ画像）が新たな目標として選定される。
一方、ステップＳ３１において最終のランドマーク位置に達している（Ｙｅｓ）と判断された場合には、ステップＳ３３へと進み、全てのＬＩＶＥ画像や、これらＬＩＶＥ画像に対応して求められた内視鏡プローブ３の先端の位置及び姿勢など、図１３で説明した事項が最終的な検査記録（観察記録）として制御部ＣＵ内の記録部Ｒに自動的に保存される。
以上により、検査実施時における前記制御部の制御動作が完了する。

以上説明のように、本実施形態の工業用内視鏡装置１によれば、その制御部ＣＵが、被検査物内を検査している際のＬＩＶＥ画像とカレントＶＥ画像とを比較することにより、両者の相対関係を一致させることができる。これにより、現在観察を行っているＬＩＶＥ画像を得るための内視鏡プローブ３の位置及び姿勢がどのようなものであるかを、計算機モデル上における内視鏡プローブ３の位置及び姿勢として求めることができる。しかも、計算機モデルは設計データに基づいているものであるため、被検査物内における内視鏡プローブ３の位置及び姿勢を正確かつ容易に求めることができる。
また、ＬＩＶＥ画像に基づく現在観察位置の判別を観察者が行うのではなく、制御部ＣＵ側で行うものであるため、検査すべき箇所を客観的に確認することができ、これにより、検査箇所を見逃す虞を低減させることができるようになる。
したがって、被検査物内における内視鏡プローブ３自らの位置及び姿勢を見失うことなく、かつ客観的に把握することができる。これにより、検査部位に容易に達することができ、なおかつ、検査結果を客観的記録として残すことが可能となる。

また、本実施形態の工業用内視鏡装置１は、制御部ＣＵが、前記チャート図上に設定される挿入予定経路をＬＣＤ８上に表示させる構成を採用した。
この構成によればＬＣＤ８上に表示される挿入予定経路に沿って各検査箇所の検査を行うことで、全ての検査箇所を見逃すことなく順番に検査できるようになる。したがって、熟練していない観察者であっても、熟練した観察者が行うように全ての検査箇所を見逃すことなく順番に観察することが可能となる。

また、本実施形態の工業用内視鏡装置１は、制御部ＣＵが、挿入予定経路上に設定されたランドマーク画像をＬＣＤ８に表示させる構成を採用した。
この構成によれば、各ランドマーク位置を通ったか否かをＬＣＤ８上で確認しながら検査を行うことで、挿入予定経路上における全ての検査箇所を逃さず検査したかをより確実に確認することが可能となる。また、全ての検査箇所のうちのどこまで検査できたかを確認しながら検査を行うことも可能となっている。

また、本実施形態の工業用内視鏡装置１は、制御部ＣＵが、求められた内視鏡プローブ３の位置及び姿勢と挿入予定経路との比較に基づき、この内視鏡プローブ３の移動すべき方向を求めて、観察者に指示する構成を採用した。
この構成によれば、制御部ＣＵから発せられる指示（ナビゲーションガイド情報）に従って内視鏡プローブ３を操作しながら移動させることにより、挿入予定経路から外れることなく内視鏡プローブ３を移動させることができる。したがって、制御部ＣＵからの指示に従って内視鏡プローブ３を移動させていくことで、あたかも熟練者が操作した場合のように、挿入予定経路から外れることなく内視鏡プローブ３を移動させることが可能となる。

また、本実施形態の工業用内視鏡装置１は、制御部ＣＵが、被検査物内における内視鏡プローブ３の位置及び姿勢と、これら位置及び姿勢に対応するＬＩＶＥ画像とを関連づけた検査記録を自動的に記録する構成を採用した。この構成によれば、検査結果を、検査記録という客観的な記録として保存することができる。これにより、観察すべき部位を間違いなく観察したかどうかを第三者が客観的に確認することが可能となる。

なお、本実施形態においては、検査計画時のステップＳ３において作成されるチャート図（形状データ）が、被観察物の設計情報に基づいて構成された計算機モデルである場合を例に説明したが、これに限らず、以前検査した時の前記検査記録に記録された内視鏡プローブ３の位置及び姿勢と実映像とに基づいて計算機モデルを構成し、これをチャート図として採用しても良い。
すなわち、以前検査した際の実映像から特徴抽出を行ってコンピュータグラフィック化し、このコンピュータグラフィック画像と今回検査時の実映像とをマッチングさせることにより、現時点における内視鏡プローブ３の先端の位置及び姿勢を求めるようにしても良い。この場合、被検査物の設計データが不要となるので、より広い用途に柔軟に対応することが可能となる。

また、本実施形態では、挿入予定経路上の各ランドマーク位置においてのみ（各チェックポイントにおいてのみ）、ＬＩＶＥ画像とカレントＶＥ画像とのマッチングを行って内視鏡プローブ３の位置及び姿勢を求めるものとしたが、これに限らず、前述したように、常時マッチングを取るようにする構成も採用可能である。
すなわち、図４に示した検査計画時においては、挿入開始点から最終到達点に至るまでの全経路のＶＥ画像（仮想内視鏡の視線から見たコンピュータグラフィック画像）を作成しておき、図５に示した検査実施時においては、前記全経路のＶＥ画像とＬＩＶＥ画像（リアルタイム映像）との間で常に特徴点のマッチングを取得し、これにより、内視鏡プローブ３の先端の位置及び姿勢を常時連続して求める。すなわち、図５のステップＳ３０では何もせずに通過し、ステップＳ３１におけるチェックのみを行う。
この場合、常時連続して求められる内視鏡プローブ３の位置及び姿勢に基づき、挿入予定経路に正しく沿って進むことができるように、前記操作指示（カレントＶＥ画像上の矢印による指示や音声指示など。）も併せて発することにより、より高精度かつスムーズに観察者が内視鏡プローブ３を操作することが可能となる。したがって、より高い再現性を得ることが可能となる。

また、ＶＥ画像の生成に際しては、前記内視鏡挿入長センサＲＥと、内視鏡プローブ３の先端に設けた角度センサ（図示せず）とを用いて、内視鏡挿入中における内視鏡プローブ３の先端の位置及び姿勢を推定し、この位置及び姿勢で得られる予定の画像をコンピュータグラフィックとして生成するものとしても良い。

また、本実施形態では、ＬＣＤ８上にＬＩＶＥ画像とカレントＶＥ画像を独立表示するものとしたが、これに限らず、カレントＶＥ画像がワイヤーフレームである場合、これをＬＩＶＥ画像に重畳して表示するものとしても良い。この場合、カレントＶＥ画像側の表示領域を省略してＬＩＶＥ画像側の表示領域を広く取る事が可能となる。一方、カレントＶＥ画像がテクスチャを有する三次元画像である場合には、これを重畳してしまうとＬＩＶＥ画像が見にくくなるので、本実施形態のように個別に分けて表示するのが好ましい。

また、本実施形態では、被検査物内を検査する際に得られるリアルタイムの映像を、「その場で」形状データと比較することにより、内視鏡プローブ３の先端の位置及び姿勢を求めるものとしたが、これに限らず、検査後（観察後）に両者のマッチングを行うものとしても良い。すなわち、被検査物内の映像を撮像して検査を終え、その後、撮像した映像を前記形状データと比較する（マッチングする）ことで、内視鏡プローブ３の位置及び姿勢を検査後に求めるものとしても良い。
また、本実施形態では、内視鏡画像と形状データを比較し、内視鏡プローブの位置及び姿勢の少なくとも一方を求めることをコントロールユニット内に設けた制御部ＣＵで行うようにしたが、制御部ＣＵをＰＣ２５内に設けて行うものとしても良い。

本発明の工業用内視鏡装置の一実施形態を示す図であって、全体構成を示す斜視図である。同工業用内視鏡装置の制御部を中心とする内部構造を説明するためのブロック図である。同工業用内視鏡装置の同制御部の動作を説明するためのブロック図である。同工業用内視鏡装置の同制御部の制御動作を説明する図であって、被検査物内の検査を行う際の検査計画を立てるまでを示すフローチャート図である。同工業用内視鏡装置を用いた検査の流れを示すフローチャート図である。同工業用内視鏡装置の表示部である液晶モニタの画面を示す図である。（ａ）及び（ｂ）ともに、同液晶モニタ上の要部を示す図であって、図６の表示領域Ａ１の拡大図である。同液晶モニタ上の同要部を示す図であって、図６の表示領域Ａ１を切り替えた図である。同液晶モニタの表示画面を示す図である。同工業用内視鏡装置のリモートコントローラを示す側面図である。同工業用内視鏡装置の制御部によるマッチング動作を説明するための図であって、（ａ）が特徴抽出工程を説明する図であり、（ｂ）が特徴比較を行っている状態を説明するための図である。同工業用内視鏡装置の同液晶モニタの画面を示す図であって、表示内容を切り替えた状態を示す図である。同工業用内視鏡装置の同制御部に保存される記録内容の一覧を説明する図である。同工業用内視鏡装置の同液晶モニタの画面を示す図であって、表示内容を切り替えた状態を示す図である。

符号の説明

１・・・工業用内視鏡装置
３・・・内視鏡プローブ
８・・・ＬＣＤ（表示部）
ＣＵ・・・制御部

Claims

被観察物内に挿入される内視鏡プローブと、該内視鏡プローブで撮像した映像を表示する表示部とを備えた工業用内視鏡装置において、
前記映像を、前記被観察物内の形状寸法を示す形状データと比較することにより、前記被観察物内における前記内視鏡プローブの位置及び姿勢の少なくとも一方を求める制御部を備えたことを特徴とする工業用内視鏡装置。
請求項１に記載の工業用内視鏡装置において、
前記制御部が、前記形状データ上に設定された挿入予定経路を前記表示部に表示させることを特徴とする工業用内視鏡装置。
請求項２に記載の工業用内視鏡装置において、
前記制御部が、前記挿入予定経路上に設定されたチェックポイントを前記表示部に表示させることを特徴とする工業用内視鏡装置。
請求項２または請求項３に記載の工業用内視鏡装置において、
前記制御部が、求められた前記内視鏡プローブの位置及び姿勢の少なくとも一方と前記挿入予定経路との比較に基づき、該内視鏡プローブの移動すべき方向を求めて示すことを特徴とする工業用内視鏡装置。
請求項１〜請求項４の何れか１項に記載の工業用内視鏡装置において、
前記制御部が、前記被観察物内における前記内視鏡プローブの位置及び姿勢の少なくとも一方と、これら位置及び姿勢に対応する前記映像とを関連づけた観察記録を記録することを特徴とする工業用内視鏡装置。
請求項５に記載の工業用内視鏡装置において、
前記形状データが、過去観察時の前記観察記録に記録された前記内視鏡プローブの位置及び姿勢の少なくとも一方と前記映像とに基づいて構成された計算機モデルであることを特徴とする工業用内視鏡装置。
請求項１〜請求項５の何れか１項に記載の工業用内視鏡装置において、
前記形状データが、前記被観察物の設計情報に基づいて構成された計算機モデルであることを特徴とする工業用内視鏡装置。
被観察物内の映像を内視鏡プローブで撮像する工程と、前記被観察物内の形状寸法を示す形状データを読み込む工程と、前記映像及び前記形状データ間の比較により、前記被観察物内における前記内視鏡プローブの位置及び姿勢の少なくとも一方を求める工程とを有することを特徴とする工業用内視鏡装置を用いた検査方法。