JP2005338551A

JP2005338551A - 工業用内視鏡装置

Info

Publication number: JP2005338551A
Application number: JP2004158918A
Authority: JP
Inventors: Hidekazu Kobayashi; 英一小林
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-05-28
Filing date: 2004-05-28
Publication date: 2005-12-08

Abstract

【課題】内視鏡プローブの先端部の位置を客観的に判断しつつ、被観察物内の目的部位に内視鏡プローブ先端を容易にかつ確実に誘導することのできる工業用内視鏡装置を提供する。
【解決手段】内視鏡プローブ３の先端部３ａの変位量を検出するセンサＳＥと、そのセンサＳＥの検出値を基に内視鏡プローブ３の先端部３ａの位置または姿勢の少なくとも一方を求める制御部ＣＵと、を設ける。内視鏡プローブ３の先端部３ａが被観察物に挿入されると、内視鏡プローブ３の撮像手段で撮像した映像がＬＣＤ８に表示され、そのときの内視鏡プローブ３の先端部３ａの位置や姿勢がセンサＳＥの検出値に基づいて判断される。
【選択図】図２

Description

この発明は、人の入り込みにくい機械内部や管腔内等を観察する工業用内視鏡装置に関するものである。

工業用内視鏡装置は、例えば航空機エンジンのブレード検査や電力配管の内部検査等、様々な用途に用いられている。

この種の工業用内視鏡装置は、下記特許文献１に示されているように、検査対象内部に挿入される細長くて可撓性を有する内視鏡プローブと、この内視鏡プローブに内蔵されたライトガイドに照明光を供給する光源装置と、内視鏡プローブの先端に内蔵された撮像手段であるＣＣＤ（電荷結合素子）からの電気信号に基づいて画像信号を生成する制御装置と、前記画像信号を表示する表示部であるテレビモニタ等を備えて概略構成されている。

例えば、この工業用内視鏡装置を用いて航空機エンジン内の検査を行う場合には、まず電源を投入して前記内視鏡プローブの先端から照明光を出射させるとともに、前記ＣＣＤで撮像される画像を前記テレビモニタに表示させる状態にする。その後、内視鏡プローブを装置本体から引き出しながら航空機エンジン内に挿入していく。検査を行う作業者は、テレビモニタに表示されるリアルタイム映像を観察しながら内視鏡プローブを所定の観察ポイントへと誘導するように挿入していくことで内部検査を行う。
特開平８−２０１７０６号公報

ところで、従来の工業用内視鏡装置を用いて航空機エンジンや配管等の内部検査を行う場合、上述のように、内視鏡プローブを操作する作業者がリアルタイム映像を見ながら自らの判断で各検査部位に内視鏡プローブを移動させ、その観察を行っていた。

この場合、観察すべき部位を間違いなく観察したかどうかは観察者の判断次第であり、客観的に確認する手だてがなかった。また、熟練していない観察者が操作した場合には、検査対象内における自らの位置（内視鏡プローブの先端位置）を見失う等してなかなか目標とする検査部位に達することができない場合もあった。したがって、場合によっては検査すべき個所を見逃して不完全な検査結果を招いてしまう虞があった。

そこでこの発明は、内視鏡プローブの先端部の位置を客観的に判断しつつ、被観察物内の目的部位に内視鏡プローブ先端を容易にかつ確実に誘導することのできる工業用内視鏡装置を提供しようとするものである。

上記目的を達成するために、この発明は、撮像手段を有し被観察物内に挿入される内視鏡プローブと、該内視鏡プローブの撮像手段で撮像した映像を表示する表示部とを備えた工業用内視鏡装置において、前記内視鏡プローブの先端部の変位量を検出するセンサと、そのセンサの検出値を基に内視鏡プローブの先端部の位置または姿勢の少なくとも一方を求める制御部と、を設けるようにした。

この発明の場合、センサによる検出値を基に観察時点における内視鏡プローブの先端部の位置または姿勢の少なくとも一方を求めることができるため、内視鏡プローブの先端部の現在の位置や姿勢を確認しつつ同プローブを被観察物内の目的部位に的確に誘導することが可能となる。

前記センサは、内視鏡プローブの先端部に設けられ、被検出対象となるマーカーと、被観察物の内部または外部に固定設置されて前記マーカーの変位量を検出する検出器本体と、を備えた構成としても良い。この場合、例えば、コイルや超音波発信器、ＬＥＤ等をマーカーとし、そのマーカーの変位量を固定設置された検出器本体側から検出するため、内視鏡プローブの先端部側の構造を簡素化して、その先端部の小型、軽量化を図ることができる。また、センサのコストを低減できるという利点もある。

また、前記センサは、内視鏡プローブの先端部に設けられ、センサ自体の変位量を出力するジャイロセンサや地磁気センサ等によって構成するようにしても良い。この場合、内視鏡プローブの先端部に設けたセンサ単独で変位量を出力することができるため、観察を開始するための段取りが容易になるという利点がある。

さらに、前記センサは、前記撮像手段と、その撮像手段によって撮像した画像の移動量から内視鏡プローブの先端部の変位量を取得する画像変位量検出手段と、を備えた構成としても良い。この場合、撮像手段によって撮影した画像を基に内視鏡プローブの先端部の変位量を取得するため、内視鏡プローブの先端部に新たな機器を付加する必要がなく、プローブ先端部の小型、軽量化を図ることができるという利点がある。

この発明は、被観察物内における内視鏡プローブの先端部の位置及び姿勢をセンサによる検出値に基づいて常に客観的に把握することができるため、被観察物内の目的部位に内視鏡プローブ先端を容易にかつ確実に誘導することができる。

しかも、この発明は、被観察物の設計時データや過去データに照らして内視鏡プローブの先端部の位置や姿勢を判断するのでなく、観察時点での位置や姿勢を直接検出するものであるため、被観察物の内部状況が変化した場合にあっても内視鏡プローブの先端部の位置や姿勢を正確に判断することができる。

また、この発明は、内視鏡プローブの先端部の位置や姿勢の判断を観察者が行うのではなく、工業用内視鏡装置の制御部側で行うものであるため、観察位置の姿勢の確認を客観的に確認することができる。

次に、この発明の一実施形態を図面に基づいて説明する。
まず、図１を参照してこの実施形態の工業用内視鏡装置１のシステム構成を説明する。
図１に示すように、この工業用内視鏡装置１は、光学アダプタ２と、この光学アダプタ２が着脱自在に接続される内視鏡プローブ３を有する内視鏡本体４と、内視鏡本体４が収納されるコントロールユニット（本体）６と、各種動作制御を実行させるための操作を行うリモートコントローラ７と、内視鏡画像や操作制御内容（例えば処理メニュー）、さらにはナビゲーション情報等が表示される表示部である液晶モニタ（以下、ＬＣＤと称する）８と、通常の内視鏡画像、あるいはその内視鏡画像をステレオ画像として立体視可能なフェイスマウントディスプレイ（以下、ＦＭＤと称する）９と、このＦＭＤ９に画像データを供給するＦＭＤアダプタ９ａとを備えて概略構成されている。

前記内視鏡プローブ３は、その先端部３ａに撮像手段である図示しないＣＣＤ（電荷結合素子）を内蔵した細長いケーブルであり、コントロールユニット６から引き出して被観察物（被観察物）内に挿入することが可能となっている。そして、この内視鏡プローブ３の先端部３ａには、立体視観察用であるステレオ測定用の光学アダプタ２の他に、通常観察用の比較計測用光学アダプタ１０も着脱自在に接続できるようになっている。

なお、同図の符号１１は、後述のＣＣＵ１７を経由せずに映像を映像信号処理回路に入力するための外部映像入力端子を示している。また、符号１２は、外部から電力を取り入れるためのコンセントケーブルを示している。

続いて、図２を参照しながら工業用内視鏡装置１の内部構造の詳細説明を以下に行う。
同図に示すように、内視鏡プローブ３の基端部は、コントロールユニット６内の内視鏡ユニット１５に接続されている。この内視鏡ユニット１５の内部には、撮影時に必要な照明光を内視鏡プローブ３に内蔵されたライトガイドに供給する光源１６や、内視鏡プローブ３に内蔵された湾曲部（図示せず）を電気的に湾曲動作させる電動湾曲装置（図示せず）等が内蔵されている。また、内視鏡プローブ３の先端部３ａにはこの発明におけるセンサＳＥの構成部品が取り付けられている。

このセンサＳＥは、内視鏡プローブ３の先端部３ａの変位量を検出するものであり、この実施形態では、内視鏡プローブ３の先端部３ａ側にマーカー（例えば、コイル、超音波発信器、ＬＥＤ）が取り付けられ、被観察物の内部または外部にマーカーの変位量を検出する検出器本体（マーカーの方式応じて、磁気方式、超音波方式、光学方式等を採用。）が固定設置されている。なお、このセンサＳＥは、ジャイロセンサ、地磁気センサ等単体で情報（例えば、位置または姿勢）を検出できる性質のものも採用可能であり、その場合には、センサＳＥの単体が内視鏡プローブ３の先端部３ａに取り付けられる。また、センサＳＥは、位置と姿勢、速度と角速度、加速度と角加速度等を変位量情報として検出する。尚，この実施形態では、センサＳＥは、位置と姿勢、速度と角速度のように位置関係情報と姿勢（角度）関係情報を対にして求めるようにしているが、被観察物の検査条件等によっては位置関係情報と姿勢関係情報の一方のみを検出するものであっても良い。

内視鏡プローブ３の先端部３ａ内には、前記ＣＣＤが内蔵されており、このＣＣＤから出力される撮像信号が、画像処理部であるカメラコントロールユニット（以下、ＣＣＵと称する）１７に入力されるようになっている。このＣＣＵ１７は、入力された撮像信号を例えばＮＴＳＣ信号等の映像信号に変換して、コントロールユニット６内の制御部ＣＵに供給するように構成されている。

コントロールユニット６内に搭載される前記制御部ＣＵは、ＣＰＵ１８、ＲＯＭ１９、ＲＡＭ２０、ＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと称する。）２１ａ、ＵＳＢインターフェイス（以下、ＵＳＢＩ／Ｆと記載する。）２１ｂ、ＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２ＣＩ／Ｆと記載する。）２１ｃ、音声信号処理回路２２、映像信号処理回路２３、そして記録部Ｒを備えて構成されている。

前記ＣＰＵ１８は、主要プログラムに基づいて各種機能を実行／動作させる制御と、計測処理とを行うマイクロプロセッサーである。そして、このＣＰＵ１８は、ＲＯＭ１９に格納されているプログラムを実行し、目的に応じた処理を行うことでシステム全体の動作制御を行うようになっている。

前記ＲＳ−２３２ＣＩ／Ｆ２１ｃは、リモートコントローラ７による操作に基づいてコントロールユニット６全体を動作制御するのに必要な通信を行うためのインターフェイスであり、ＣＣＵ１７、内視鏡ユニット１５、内視鏡先端部３ａの変位を検出するセンサＳＥ、そしてリモートコントローラ７のそれぞれに接続されている。また、バスを介してＣＰＵ１８に接続されている。これにより、リモートコントローラ７で、ＣＣＵ１７及び内視鏡ユニット１５への動作指示及び制御を行うことが可能となっている。

前記ＵＳＢＩ／Ｆ２１ｂは、コントロールユニット６とパーソナルコンピュータ２５との間を電気的に接続するためのインターフェイスである。このＵＳＢＩ／Ｆ２１ｂを介してコントロールユニット６とパーソナルコンピュータ２５を接続した場合に、パーソナルコンピュータ２５側からも、リモートコントローラ７から動作指示した場合と同様に、内視鏡画像の表示指示や計測時における画像処理等の各種の制御指示をコントロールユニット６に対して行うことが可能となる。さらには、コントロールユニット６及びパーソナルコンピュータ２５間での各種処理に必要な制御情報やデータ等の入出力も可能としている。

前記ＰＣカードＩ／Ｆ２１ａには、ＰＣＭＣＩＡメモリーカード２６のみならず、ＰＣＭＣＩＡカードアダプタを介してコンパクトフラッシュ（登録商標）メモリーカード２７等の外部記憶媒体が着脱自在に装着されるようになっている。そして、この外部記憶媒体を装着した場合には、ＣＰＵ１８の制御により、これら外部記憶媒体に記憶された制御処理情報や検査記録等のデータを、ＰＣカードＩ／Ｆ２１ａを介してコントロールユニット６内に取り込んだり、または、ＰＣカードＩ／Ｆ２１ａを介して制御処理情報や検査記録等のデータを前記外部記憶媒体に供給して記録させることができるようになっている。

前記映像信号処理回路２３は、ＣＣＵ１７から供給された内視鏡画像とグラフィック表示された操作メニューとを合成した合成画像を表示する機能を有しており、ＣＣＵ１７からの映像信号と、ＣＰＵ１８により生成された操作メニューの表示信号とを合成処理し、さらに、ＬＣＤ８の画面上に表示するのに必要な処理を施してからＬＣＤ８に供給する。これにより、ＬＣＤ８には、内視鏡画像と操作メニューとの合成画像が表示される。なお、映像信号処理回路２３は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示させるための処理を行うことも可能となっている。

前記ＬＣＤ８は、内視鏡プローブ３からの内視鏡画像（映像）や操作制御内容（例えば処理メニュー）等の表示を行う表示部であるタッチパネル式の液晶モニタである。

前記コントロールユニット６には、ＣＣＵ１７を経由せずに映像信号処理回路２３に映像を入力する前記外部映像入力端子１１が別に設けられている。この外部映像入力端子１１に映像信号が入力された場合、映像信号処理回路２３は、ＣＣＵ１７からの内視鏡画像に優先して前記映像信号に基づく合成画像を出力する。

前記音声信号処理回路２２には、マイク２８により集音されて前記外部記憶媒体に記録される音声信号や、前記外部記憶媒体の再生により得られる音声信号や、ＣＰＵ１８により生成された音声信号が供給されるようになっている。そして、この音声信号処理回路２２は、供給された音声信号を再生するために必要な処理（増幅処理等）を施した後、スピーカ２２ａに出力する。これにより、スピーカ２２ａから音声信号が再生される。

前記リモートコントローラ７には、湾曲操作用のジョイスティック、メニュー選択用のジョイスティック、フリーズスイッチ、画像記録スイッチ等が設けられており、各種のリモコン操作を行えるようになっている。これについて図１１を参照して説明すると、観察者の判断により、図１１に示すリモートコントローラ７のフリーズスイッチ７ａを押下することでＬＩＶＥ画像を停止させ、画像記録スイッチ７ｂを押下することで、停止させたＬＩＶＥ画像を制御部ＣＵの記録部Ｒに記録することができるようになっている。ちなみに、この図１１における符号７ｃは、内視鏡プローブ３の先端を湾曲動作させるためのジョイスティックであり、また符号７ｄは、ＬＣＤ８上のポインタを動かすためのジョイスティックである。

ところで、前述したように、コントロールユニット６内には、装置全体の制御動作を司る制御部ＣＵや、この制御部ＣＵから発せられた音声ガイドを発するスピーカ２２ａ等が収容されており、この実施形態の工業用内視鏡装置１は、これらが有する機能により、観察者の検査作業をアシストするとともに、再現性のある検査結果の記録を行うことができる。

すなわち、制御部ＣＵは、センサＳＥが検出した情報を読み込み、内視鏡プローブ３のヘッド（先端部３ａ）の位置及び姿勢を求めることが可能となっている。

さらに、制御部ＣＵは、このようにして求めた内視鏡プローブ３のヘッドの位置及び姿勢を、ＬＣＤ８に表示すると同時に、スピーカ２２ａから音声ガイドとして発することにより、観察者に、どのように内視鏡プローブ３を操作すればスムーズに検査が行えるかを常に指示することも可能としている。

また、制御部ＣＵは、前記記録部Ｒを備えており、求めた内視鏡プローブ３の位置及び姿勢と、これら位置及び姿勢に対応する前記リアルタイム映像とを関連づけた検査記録を記録することも可能としている。記録部Ｒに記録したデータは、図示しないコピーメニューを実行することにより、ＰＣカードＩ／Ｆ２１ａを介してＰＣＭＣＩＡメモリーカード２６等の外部記憶媒体に記録することができる。これにより、工業用内視鏡装置１で行った検査内容をＰＣ（パーソナルコンピュータ）等で確認、又は保存することができる。

以下、この制御部ＣＵの詳細について説明する。
この制御部ＣＵでは、図３の紙面左下の符号ａ，ｂに示すように、被観察物内の内部形状を示す計算機モデル（３Ｄモデル）を構築し、この計算機モデルに基づいて挿入予定経路（ルート）を設定するようになっている。すなわち、制御部ＣＵでは、これから検査を行う被観察物内の各検査箇所をどのような挿入予定経路を通って検査するかを予め決める検査計画を立てることができるようになっている。この詳細について、図５のフローチャートを参照しながら説明する。

まず、検査計画設定を開始すると、ステップＳ１において、被観察物情報及び検査履歴情報の読み込みが実行される。この被観察物情報としては、例えば、被観察物の設計情報（ＣＡＤデータ）が好適に用いられる。また、検査履歴情報としては、被観察物内の、過去に行った検査箇所の位置や、同位置で撮像された映像等の検査記録が読み込まれる。なお、設計情報の読み込みに際しては、この制御部ＣＵ内の記録部Ｒに保存しておいたものを使用しても良いし、または、通信回線を介して接続された他の計算機から読み込むものとしても良い。

続くステップＳ２では、被観察物情報として読み込まれた被観察物の設計情報に基づいて計算機モデル（３Ｄモデル、形状データ）が生成される。

ステップＳ３では、生成された計算機モデルに基づくチャート図を、図７に示す表示画面の表示領域Ａ１に表示させる。このチャート図は、例えば、被観察物の三面図（平面図、正面図、側面図）及び斜視図であり、これらの全てを一括表示したり、または、これらのうちの一図または複数図を選択して表示させることが可能となっている。

なお、これら図のうちのどれを表示領域Ａ１に表示させるかは、図８（ａ），（ｂ）に示す表示切り替え操作部ａ２内のどのボタンを押すかによって選択することが可能となっている。すなわち、表示切り替え操作部ａ２の「平」のボタンを押した場合には平面図が表示され、また、表示切り替え操作部ａ２の「正」のボタンを押した場合には正面図が表示され、また、表示切り替え操作部ａ２の「側」のボタンを押した場合には側面図が表示され、また、表示切り替え操作部ａ２の「斜」のボタンを押した場合には斜視図が表示される。各ボタンのうちのどれが選択されたかは、太枠表示されることによって確認することができる。

この表示領域Ａ１に表示されるチャート図は、後述の検査実施時において、被観察物内における自らの位置（内視鏡プローブ３の先端位置）を知るための地図の役目を有しており、その位置を指し示すマークが図中にリアルタイムで表示されるものとなっている。

図8（ａ），（ｂ）に示すように、表示領域Ａ１には、チャート図を拡大表示または縮小表示させるための表示倍率操作部ａ１が備えられている。そして、ここに表示される拡大／縮小倍率を上下させる（具体的には、表示倍率操作部ａ１の左にある虫眼鏡印を押すことによって縮小表示させたり、あるいは、表示倍率操作部ａ１の右にある虫眼鏡印を押すことによって拡大表示させる。）ことで、図８（ａ）に示すようにチャート図を縮小表示させて被観察物の全体像を把握したり、あるいは、図８（ｂ）に示すように任意箇所（例えば、図８（ａ）のチャート図内のＵ部）を拡大表示させて被観察物内における内視鏡プローブ３の位置を正確に把握することが可能となっている。

このチャート図を用いて、被観察物内における自らの位置（内視鏡プローブ３の先端位置）を把握する具体的方法について説明すると、まず図８（ａ）において、被観察物全体における内視鏡プローブ３の位置を、同図の太矢印を確認することで把握する。なお、同図における符号ＡＰは、被観察物内に内視鏡プローブ３を挿入する際の挿入口（アクセスポイント）を示している。

続いて、被観察物内における内視鏡プローブ３の先端位置を詳細に把握すべく、表示倍率操作部ａ１を操作して図８（ａ）のＵ部を拡大表示させて図８（ｂ）の表示内容にする。すると、内視鏡プローブ３の挿入経路が拡大表示されるとともに、この挿入経路上に後述のＩＤ番号が重ねて表示される。これらＩＤ番号は、内視鏡プローブ３の挿入順路を示しており、例えば同図の場合では、(1)→(2)→(3)→(4)→(5)→(6)の順番に沿って内視鏡プローブ３を挿入していけば良いことを示している。さらに、同図における太線矢印が、内視鏡プローブ３の先端位置及びその向きを示している。したがって、この太線矢印がＩＤ番号(3)とＩＤ番号(4)との間の位置に有ることから、同位置に内視鏡プローブ３の先端位置が存在することが把握できる。

再び図５に戻り、前記ステップ３に続くステップＳ４以降の説明を行う。このステップＳ４では、内視鏡挿入条件情報の入力が実行される。

まず、サブルーチンＳＵＢのステップＳ５では、内視鏡装置情報の入力または読み込みが実行される。すなわち、観察者の操作により、前記内視鏡プローブ３に装着される光学アダプタの種類、内視鏡プローブ３の径及び長さ、測定モード（通常測定モード、ステレオ測定モード等）等の入力、またはこれらの読み込みが行われる。

続くステップＳ６では、観察者の操作により、前記チャート図上における内視鏡プローブ３の挿入開始位置の入力が行われる。すなわち、図８（ａ）で図示したアクセスポイントＡＰを前記チャート図上に指定する。この指定は、前記チャート図上に図示しないポインタを重ね合わせて指定することで行われる。なお、挿入口（アクセスポイントＡＰ）が小さくて指定しづらい場合には、必要に応じて前記表示倍率操作部ａ１を操作して、前記チャート図を拡大表示させてから行うのが好ましい。

さらに続くステップＳ７では、前記チャート図上における検査部位と、これら検査部位に達する際に通るべき通過点との入力が行われる。この入力操作は、図８（ｂ）に示した表示内容を、図９に示す「設定モード」に変更してから行われる。この「設定モード」では、画面下部に、これから設定するポイントが検査対象である「検査部位」であるのか、または、これら「検査部位」に到達するための道標となる「通過点」であるのかを選択する選択メニューｍ１と、同ポイントを他のポイントと識別したり、または、最終到達点であることを示すためのＩＤ番号を入力するＩＤ入力部ｍ２と、各入力内容を決定するためのＯＫボタンｍ３と、各入力内容をキャンセルするＣＡＮＣＥＬボタンｍ４とが表示される。

例えば、図９のＩＤ番号(3)に示す位置に検査部位を設定する場合には、同図に示すポインタを動かしてジョイスティックを押下して位置を決定する。続いて、選択メニューｍ１上に前記ポインタを重ね合わせて押下すると、「検査部位」及び「通過点」の両表示がプルダウンメニュー表示されるので、これらのうちの「検査部位」を選択して押下する。さらに続いて、前記ポインタを今度はＩＤ入力部ｍ２上に重ね合わせ、▲印または▼印を押下することで、ＩＤ番号を入力する。なお、このＩＤ番号の入力操作は、観察者ではなく、前記制御部ＣＵ側が自動的に昇順に設定するようにしても良い。

以上の入力操作が正しく済んだらＯＫボタンｍ３を押下し、入力し直す場合にはＣＡＮＣＥＬボタンｍ４を押下する。ＯＫボタンｍ３が押下された場合、前記制御部ＣＵは、指定されたＩＤ番号が重複していないかをチェックし、重複していた場合には、再度入力を促すエラー表示を画面上に表示させる。重複せずに正しく入力された場合には、前記記録部Ｒに保存される。なお、ＩＤ入力部ｍ２で「Ｅ」を選択した場合には、このポイントが最終到達点として設定保存される。

最終到達点が入力されると、図９の画面が図１０の画面に自動的に切り替わり、サブルーチンＳＵＢにおける内視鏡挿入条件情報の入力が完了したか否かを問い合わせるステップＳ８が行われる。正しく完了している場合には、「Ｙｅｓ」ボタンを押下することで、サブルーチンＳＵＢからメインルーチンの制御フローに戻る。一方、そうでない場合には、「Ｎｏ」ボタンを押下することで、再びステップＳ７に制御フローが戻される。

なお、上記各ステップＳ５〜Ｓ８の入力操作は、各入力項目が毎回同じである場合の入力操作の手間を省くべく、制御部ＣＵ内の記録部、または、前記ＰＣＭＣＩＡメモリーカード２６や前記コンパクトフラッシュ（登録商標）メモリーカード２７等の外部記憶媒体に各入力項目を記録しておき、この記録内容を読み込ませることで、観察者の入力作業を省くものとしても良い。

メインルーチンのステップＳ９では、ステップＳ２で生成された計算機モデルと、ステップＳ４で入力された内視鏡挿入条件情報とに基づいて挿入予定経路情報の生成が行われる。すなわち、ステップＳ６で指定された挿入開始位置（アクセスポイントＡＰ）から内視鏡プローブ３を挿入し、ステップＳ７で指定された各通過点を通って各検査部位に達するまでの最適な挿入予定経路が、制御部ＣＵにより求められる。この挿入予定経路の設定は、全ての検査部位及び通過点を通ること、最短経路を通ること、内視鏡プローブ３の外径が通るのに狭すぎるような挿入箇所を避けること、等を判断基準として求められる。

そして、求められた挿入予定経路は、ステップＳ１０において、前記チャート図上に重ねて表示される。これにより、地図であるチャート図上に、出発点である挿入開始位置（アクセスポイントＡＰ）から、各通過点を通って各検査部位に達するまでの経路が確定される。

続くステップＳ１１では、マーカー情報（ＶＥ情報）の生成が実行される（図３の符号ｃ１も参照。）。すなわち、ステップＳ７で入力された各検査部位及び各通過点の、チャート図上における位置情報と、同位置に内視鏡プローブ３を配置して所定方向を向いたときの視線角度（姿勢情報）とが確定される。なお、ここで言う「ＶＥ」は「Virtual Endscope」の略であり、チャート図上に想定された仮想の内視鏡プローブを指し示すものとする。

このようにして選び出されたマーカー情報（ＶＥ情報）に基づき、ステップＳ１２ではマーカーデータ（ＶＥ画像）の生成が行われる（図３の符号ｃ２も参照。）。すなわち、ステップＳ１１で確定された位置情報及び視線角度に仮想の内視鏡プローブ３を配置し、そのときに見える内視鏡画像を、前記計算機モデルに基づいて生成する。

ところで、内視鏡プローブ３に装着する光学アダプタとして、プリズムを内蔵し、側面から入射した光を反射させて前記ＣＣＤ上に結像するタイプの側視アダプタを用いる場合には、前記ＣＣＤ上には左右反転した画像（鏡像）が結像される。この画像とカレントＶＥ画像との間でマッチングを取ろうとしても、正常にマッチングすることができない。そこで、前述のステップＳ５において内視鏡装置情報を入力する際に、使用する光学アダプタが側視アダプタであるか否かを前記制御部ＣＵ側に取り込んでおき、本ステップＳ１２における上記マーカーデータ（ＶＥ画像）の生成において、生成された各ＶＥ画像を最終的に左右反転させておくことが好ましい。もちろん、側視アダプタを用いない場合には、この画像反転動作は不要である。

同様に、使用する光学アダプタ毎に歪曲収差の特性も異なるので、前記ステップＳ５において予め読み込まれた歪曲収差のデータも、マーカーデータ（ＶＥ画像）の生成に反映される。すなわち、前記仮想の内視鏡プローブから見た内視鏡画像を生成する際に、前記歪曲収差に基づいて画像を歪ませることで、同等の歪曲収差をマーカーデータ（ＶＥ画像）に与える。

このようにして生成された内視鏡画像（ＶＥ画像）は、挿入予定経路上に設定された各通過点及び各検査部位の位置における仮想の内視鏡画像（３Ｄコンピュータグラフィック画像）であり、ステップＳ１３においてランドマークの表示が実行される。ここで言うランドマークとは、挿入予定経路上を進みながら検査を行う際に現在位置の確認を行うのに適した、被観察物内の特徴ポイントのことを指し示すものである。そして、これらランドマークは、図７に示すように、各検査部位及び各通過点のＶＥ画像をサムネール表示（縮小配列表示）したものが表示領域Ａ２に表示される。なお、同図では、明確に説明するために、図８（ｂ）に示したＩＤ番号（(1)，(2)，(3)，・・・）に対応する番号を記している。

同時に、図５のステップＳ１４において、各ＶＥ画像のうち、検査実施時に最初に通る点のものが制御部ＣＵ側で選び出され、この選び出されたＶＥ画像が、図７の表示領域Ａ３にカレントＶＥ画像として表示される。

そして、図５のステップＳ１５では、制御部ＣＵ内において仮想の内視鏡プローブを挿入した場合の挿入シミュレーションが実行される。この時、ＶＥ画像の再生が挿入開始点から最終到達点に至るまで順次行われ、内視鏡プローブ３を無理なく最後まで挿入できるかが計算機モデル上で確認される。

その結果、ステップＳ１６において、被観察物内の突起物に内視鏡プローブ３が引っかかって挿入不可となったり、極度に狭い箇所を通ったり、または極度に内視鏡プローブ３を曲げないと通れないような箇所を通る等、設定した挿入予定経路が不適切であると確認された場合には、ステップＳ４に戻って（必要に応じて、ステップＳ５の内視鏡装置情報の入力又は読み込み及びステップＳ６の挿入開始位置入力にて入力された内容を修正した上で）再度、挿入予定経路の設定が実施される。

逆に、設定した挿入予定経路で問題ないとステップＳ１６で判断された場合には、ステップＳ１７に進み、設定した挿入予定経路の保存が行われる。この時、併せて前記計算機モデル、チャート図、挿入開始位置、各検査部位、各通過点、前記ＶＥ画像、各ランドマーク等、後の検査実施に用いる情報も、制御部ＣＵの記録部Ｒに保存される。

以上説明の各工程を実行することにより、これから検査を行うための検査計画が立てられ、制御部ＣＵの記録部Ｒに保存される。続いて、本実施形態の工業用内視鏡装置１を用いて、前記検査計画に基づいて実際に被観察物内の検査を行う方法の詳細について、以下に説明を行う。

この実施形態の工業用内視鏡装置１を用いた検査方法では、センサＳＥによって内視鏡プローブ３の先端部３ａの変位情報を収集する工程と、被観察物内における内視鏡プローブ３の先端位置及び姿勢の両方を求める工程とを有するものとなっている。なお、後においても述べるが、被観察物内における内視鏡プローブ３の先端位置及び姿勢の両方を求める工程は、リアルタイムに行うことに限らず、検査後に行うものとしても良い。

まず、工業用内視鏡装置１を被観察物の挿入開始位置（アクセスポイントＡＰ）近傍に配置して起動させる。この時の工業用内視鏡装置１では、前記光源１６が起動して内視鏡プローブ３内のライトガイドに照明光を供給し、また、内視鏡プローブ３先端の前記ＣＣＤからのリアルタイム映像を制御部ＣＵ側に送信（図３の符号ｄ参照。）し、図７の表示領域Ａ４に示すＬＩＶＥ画像としてＬＣＤ８に表示させる。さらに、センサＳＥで検知される情報が制御部ＣＵ側に送信される状態になる（図３の符号ｉも参照。）

一方、制御部ＣＵ側では、前記保存情報を読み込み、図５に示した情報（チャート図、チャート図上に設定された挿入予定経路、挿入予定経路上に設定されたチェックポイントである各ランドマーク画像等）を、ＬＣＤ８上に表示可能な状態になる。このようにして、検査準備が整う。

その後、制御部ＣＵ内では、図６のステップＳ２１に示すようにランドマークオフセットの初期化が実行される。すなわち、検査計画時に求められた各ランドマーク画像のうち、内視鏡プローブ３が最初に通るものが選定される。そして、ステップＳ２２において、選定されたランドマーク画像の表示が太枠付き表示（図７参照）される。これにより、全ランドマーク画像のうちのどれが現在選定されているかを観察者が一目で判るようにする。

続くステップＳ２３では、選定されたランドマーク画像が図７に示すカレントＶＥ画像として拡大表示される。なお、ここで言う「カレント」とは、「現在選択されている」という意味を示す。

この状態で、観察者は、前記挿入開始点より内視鏡プローブ３を被観察物内に挿入していく。この時の内視鏡プローブ３の先端位置及び姿勢は、図８（ｂ）で示したように、前記チャート図上の太矢印マークとして表示される。また、この時に撮像されるリアルタイム映像は、図７の表示領域Ａ４にＬＩＶＥ画像として表示される。また、同図７の表示領域Ａ５に示す「テキスト支援情報」の箇所には、これから向かうランドマーク（次のランドマーク）までの距離、方向や、最終到達目標（最終のランドマーク）までの距離、方向、残ランドマーク数等の文字情報が表示される。観察者は、ＬＣＤ８上のこれら文字情報及び各画像情報を見て前記リモートコントローラ７を操作しながら、内視鏡プローブ３の挿入を進めていく。

なお、以下の説明においては、制御部ＣＵ内の処理動作を中心に説明を行うが、観察者は、内視鏡プローブ３の挿入を、ＬＣＤ８を介して制御部ＣＵから送られてくる指示に従って進めながらＬＩＶＥ画像を観察することで被観察物の内部検査を適宜実施する。

ステップＳ２４では、図３中のｉでセンサ信号を収集し、センサ信号が位置姿勢を直接表さない場合に、図３中のｊで位置姿勢計算を行う。具体的には、センサ信号が速度又は角速度であるときは時間で積分する。また、加速度又は角加速度であるときは、時間で２回積分する。センサ信号又は計算結果は、図３中のｋの位置姿勢データとなる。

ステップＳ２５では、ステップＳ２４で得られた位置姿勢データと、カレントＶＥ画像の位置姿勢データとを比較する。比較し、一致した場合（Ｙｅｓの場合）には、ステップＳ２７へと進み、一方、一致しなかった場合（Ｎｏの場合）にはステップＳ２６へと進む。

前記ステップＳ２５に続くステップＳ２６では、ＬＩＶＥ画像に対してカレントＶＥ画像の位置及び姿勢（画像の上下向きを含む）を一致させるべく、カレントＶＥ画像側の加工表示を行う（図３の符号ｅも参照。）。すなわち、制御部ＣＵは、ステップＳ２４において求められた現在の内視鏡プローブ３の位置及び姿勢を参照し、これと一致するようにカレントＶＥ画像の位置及び姿勢を変更する。この変更に伴い、カレントＶＥ画像の表示内容が回転、上下移動、左右移動、拡大、縮小する等して、ＬＩＶＥ画像の表示内容と一致する。

このようにして表示内容が一致した後のカレントＶＥ画像上には、さらに内視鏡プローブ３を挿入するための挿入方向を指し示す矢印等の操作指示が表示される（図３の符号ｆ，ｇも参照。）。すなわち、制御部ＣＵは、求めた内視鏡プローブ３の位置及び姿勢と挿入予定経路との比較に基づき、この内視鏡プローブ３の移動すべき方向を求めて図３のｇに示すようにカレントＶＥ画像上に矢印を表示する。この時、必要に応じて前記スピーカ２２ａからも、音声による操作指示（「上に進んでください」、「右に進んでください」等）を行う。

そして、ステップＳ２６において表示内容が一致した後の制御流れは、再びステップＳ２４へと戻され、再び特徴抽出の工程が実行される。このようにして、表示内容が一致してステップＳ２７に向かうまで、ステップＳ２４〜ステップ２６の工程が繰り返される。

このようにして、現時点において見えている場所の特定がなされ、検査部位に到達した時点で、制御部ＣＵは、ＬＣＤ８上の表示画面を図７の表示内容から図１２の表示内容に自動的に切り替え、「検査モード」に移る。

図１２に示すように、画面中央下部に示す表示領域Ａ６には、検査項目のリストが一覧表示される。この検査項目のリストは、このランドマーク位置の検査箇所において検査すべき項目の見出しを一覧表示したものである。これら検査項目のリストのうちの何れかを観察者が選択すると、左側の表示領域Ａ７に、検査項目の詳細が表示される。さらに、図１２の中央上部の「参考画像」の表示Ａ８を観察者が押すと、過去に撮影した同箇所の画像（過去画像）が記録部Ｒから読み出され、左側の表示領域Ａ９に表示される。なお、表示Ａ８を省略し、表示Ａ６を押して表示領域Ａ７に検査項目の詳細を表示させた時点で、自動的に表示領域Ａ９に過去画像を表示させるように構成しても良い。

観察者は、表示領域Ａ７，Ａ９に表示される情報を参考にして検査を行う。この検査においてキズ計測を行う場合には、図１２の中央上部の表示Ａ１０を押下して「キズ計測モード」にすることで測定を実施する。

この検査部位における全ての検査が終了した場合には、観察者が図１２の中央上部の「確認済」の表示Ａ１１を押す。すると、表示領域Ａ６内に「済」のマークＡ６１が表示されると同時に、検査が済んだことが制御部ＣＵの記録部Ｒに証拠記録として保存される（図３の符号ｈも参照。）。このようにして制御部ＣＵに検査記録を残すことにより、検査漏れをなくすことができる上に、後の解析に利用することが可能となる。なお、この記録動作は本例のように各ランドマーク通過後に逐一行っても良いし、もしくは、後述のステップＳ３１に説明するように、最終ランドマークを通過後に一括して保存するものとしても良い。

制御部ＣＵの記録部Ｒに保存される全記録項目の例を、図１３に示す。
同図に示すように、記録部Ｒには、各ランドマークＩＤと、カレントＶＥ画像の元となる被観察物全体の３Ｄモデルである検査部位モデルと、図５のステップＳ６において入力した内視鏡装置情報と、内視鏡プローブ３をどのような経路で挿入していったか（どの位置をどのような姿勢で通過させたか）を示す挿入軌跡情報と、前記被観察物（エンジン、パイプ等）を識別するためのユニークなＩＤである被検体ＩＤとが記録される。前記挿入軌跡情報の記録が、図６のステップＳ２７に示す挿入軌跡情報更新である。挿入軌跡情報は、ランドマークＩＤと関連づけて記録されている。すなわち、ランドマーク地点各々での、位置・姿勢が関連づけて記録されている。

図１３に示すように、各ランドマークＩＤの記録においては、このランドマークが「通過点」であるのか「検査部位」であるのかを示す識別情報も併せて保存される。そして、「通過点」の識別情報が付与されたランドマークには、この通過点をなすランドマーク位置に対応するＶＥ画像が併せて保存される。一方、「検査部位」の識別情報が付与されたランドマークには、同ランドマーク位置に対応するＶＥ画像に加えて、検査項目毎に取得した過去の画像（実画像）が併せて保存される。

以上のようにして全ての検査項目の実施が済んだ後は、ＬＣＤ８の表示画面を、図１２の表示内容（「検査モード」）から図７の表示内容に自動的に切り替える。

上記ステップＳ２７に続くステップＳ２８においては、図１４に示すように、液晶ディスプレイ８上に、ランドマークオフセットの更新を行うか否かを観察者に問い合わせる表示が示される。そして、観察者が、もうしばらく現在の観察部位に止まって観察を継続して行いたい等の理由により、図１４の「Ｎｏ」ボタンを押下すると、制御流れが図６のステップＳ２４に戻される。そして、次のランドマーク位置に向かわずに観察を継続して行うことが可能となる。逆に、観察者が次のランドマーク位置に向かうことを決め、図１４の「Ｙｅｓ」ボタンを押下すると、図６のステップＳ２９に進む。

ステップＳ２９では、現在のランドマーク位置が最終のランドマーク位置であるかが制御部ＣＵによって判定される。そして、最終のランドマーク位置に達していない（Ｎｏ）と判断された場合には、ステップＳ３０へと進み、ランドマークオフセットの更新が実行される。すなわち、検査計画において求められた各ランドマーク画像のうち、次に内視鏡プローブ３が向かうもの（次に大きいＩＤ番号を有するＶＥ画像）が新たな目標として選定される。

一方、ステップＳ２９において最終のランドマーク位置に達している（Ｙｅｓ）と判断された場合には、ステップＳ３１へと進み、全てのＬＩＶＥ画像や、これらＬＩＶＥ画像に対応して求められた内視鏡プローブ３の先端の位置及び姿勢等、図１３で説明した事項が最終的な検査記録（観察記録）として制御部ＣＵ内の記録部Ｒに自動的に保存される。
以上により、検査実施時における前記制御部の制御動作が完了する。

以上説明のように、この実施形態の工業用内視鏡装置１によれば、センサＳＥからセンサ信号を収集し、必要があれば、位置姿勢計算を行い、最終的に内視鏡プローブ３の先端部３ａの位置及び姿勢を求めることができる。その結果、被観察物内における内視鏡プローブ３の先端部３ａの位置及び姿勢を正確かつ容易に求めることができる。

また、ＬＩＶＥ画像に基づく現在観察位置の判別を観察者が行うのではなく、制御部ＣＵ側で行うものであるため、検査すべき箇所を客観的に確認することができ、これにより、検査箇所を見逃す虞を低減させることができるようになる。

したがって、被観察物内における内視鏡プローブ３自らの位置及び姿勢を見失うことなく、かつ客観的に把握することができる。これにより、検査部位に容易に達することができ、なおかつ、検査結果を客観的記録として残すことが可能となる。

また、この実施形態の工業用内視鏡装置１は、制御部ＣＵが、前記チャート図上に設定される挿入予定経路をＬＣＤ８上に表示させる構成を採用した。
この構成によればＬＣＤ８上に表示される挿入予定経路に沿って各検査箇所の検査を行うことで、全ての検査箇所を見逃すことなく順番に検査できるようになる。したがって、熟練していない観察者であっても、熟練した観察者が行うように全ての検査箇所を見逃すことなく順番に観察することが可能となる。

また、この実施形態の工業用内視鏡装置１は、制御部ＣＵが、挿入予定経路上に設定されたランドマーク画像をＬＣＤ８に表示させる構成を採用した。
この構成によれば、各ランドマーク位置を通ったか否かをＬＣＤ８上で確認しながら検査を行うことで、挿入予定経路上における全ての検査箇所を逃さず検査したかをより確実に確認することが可能となる。また、全ての検査箇所のうちのどこまで検査できたかを確認しながら検査を行うことも可能となっている。

また、この実施形態の工業用内視鏡装置１は、制御部ＣＵが、求められた内視鏡プローブ３の位置及び姿勢と挿入予定経路との比較に基づき、この内視鏡プローブ３の移動すべき方向を求めて、観察者に指示する構成を採用した。
この構成によれば、制御部ＣＵから発せられる指示（ナビゲーションガイド情報）に従って内視鏡プローブ３を操作しながら移動させることにより、挿入予定経路から外れることなく内視鏡プローブ３を移動させることができる。したがって、制御部ＣＵからの指示に従って内視鏡プローブ３を移動させていくことで、あたかも熟練者が操作した場合のように、挿入予定経路から外れることなく内視鏡プローブ３を移動させることが可能となる。

また、この実施形態の工業用内視鏡装置１は、制御部ＣＵが、被観察物内における内視鏡プローブ３の位置及び姿勢と、これら位置及び姿勢に対応するＬＩＶＥ画像とを関連づけた検査記録を自動的に記録する構成を採用した。
この構成によれば、検査結果を、検査記録という客観的な記録として保存することができる。これにより、観察すべき部位を間違いなく観察したかどうかを第三者が客観的に確認することが可能となる。

なお、この実施形態においては、検査計画時のステップＳ３において作成されるチャート図（形状データ）が、被観察物の設計情報に基づいて構成された計算機モデルである場合を例に説明したが、これに限らず、以前検査した時の前記検査記録に記録された内視鏡プローブ３の位置及び姿勢と実映像とに基づいて計算機モデルを構成し、これをチャート図として採用しても良い。

また、この実施形態では、挿入予定経路上の各ランドマーク位置においてのみ（各チェックポイントにおいてのみ）、内視鏡プローブ３の位置及び姿勢を求めるものとしたが、これに限らず、常時位置及び姿勢を求めるようにする構成も採用可能である。

すなわち、図５に示した検査計画時においては、挿入開始点から最終到達点に至るまでの全経路のＶＥ画像（仮想内視鏡の視線から見たコンピュータグラフィック画像）を作成しておき、図６に示した検査実施時においては、内視鏡プローブ３の先端の位置及び姿勢を常時センサＳＥによって連続して求める。すなわち、図６のステップＳ２８では何もせずに通過し、ステップＳ２９におけるチェックのみを行う。

この場合、常時連続して求められる内視鏡プローブ３の位置及び姿勢に基づき、挿入予定経路に正しく沿って進むことができるように、前記操作指示（カレントＶＥ画像上の矢印による指示や音声指示等。）も併せて発することにより、より高精度かつスムーズに観察者が内視鏡プローブ３を操作することが可能となる。したがって、より高い再現性を得ることが可能となる。

また、この実施形態では、ＬＣＤ８上にＬＩＶＥ画像とカレントＶＥ画像を独立表示するものとしたが、これに限らず、カレントＶＥ画像がワイヤーフレームである場合、これをＬＩＶＥ画像に重畳して表示するものとしても良い。この場合、カレントＶＥ画像側の表示領域を省略してＬＩＶＥ画像側の表示領域を広く取る事が可能となる。一方、カレントＶＥ画像がテクスチャを有する三次元画像である場合には、これを重畳してしまうとＬＩＶＥ画像が見にくくなるので、本実施形態のように個別に分けて表示するのが好ましい。

また、内視鏡プローブ３の位置及び姿勢を求める方法として、オプティカルフローを用いても良い。つまり、内視鏡動画像を基にして内視鏡画像の時系列画像を処理すると、ある時間の内視鏡画像上の座標系で見た移動速度及び移動角速度を求めることができる。この処理は、図４のＣＵ内のオプティカルフロー処理ｌで行われる。この処理を繰り返し行い、求められた移動速度及び移動角速度を積分していくことで、本処理を開始した位置及び姿勢からの移動位置及び移動姿勢を得ることができる。この処理は、図４のＣＵ内の位置姿勢計算ｍで行われる。

本発明の工業用内視鏡装置の一実施形態を示す図であって、全体構成を示す斜視図である。同工業用内視鏡装置の制御部を中心とする内部構造を説明するためのブロック図である。同工業用内視鏡装置の同制御部の動作を説明するためのブロック図である。同工業用内視鏡装置の同制御部の動作を説明するためのブロック図である。同工業用内視鏡装置の同制御部の制御動作を説明する図であって、被観察物内の検査を行う際の検査計画を立てるまでを示すフローチャート図である。同工業用内視鏡装置を用いた検査の流れを示すフローチャート図である。同工業用内視鏡装置の表示部である液晶モニタの画面を示す図である。（ａ）及び（ｂ）ともに、同液晶モニタ上の要部を示す図であって、図７の表示領域Ａ１の拡大図である。同液晶モニタ上の同要部を示す図であって、図７の表示領域Ａ１を切り替えた図である。同液晶モニタの表示画面を示す図である。同工業用内視鏡装置のリモートコントローラを示す側面図である。同工業用内視鏡装置の同液晶モニタの画面を示す図であって、表示内容を切り替えた状態を示す図である。同工業用内視鏡装置の同制御部に保存される記録内容の一覧を説明する図である。同工業用内視鏡装置の同液晶モニタの画面を示す図であって、表示内容を切り替えた状態を示す図である。

符号の説明

３内視鏡プローブ
３ａ先端部
８ＬＣＤ（表示部）
ＣＵ制御部
ＳＥセンサ

Claims

撮像手段を有し被観察物内に挿入される内視鏡プローブと、該内視鏡プローブの撮像手段で撮像した映像を表示する表示部とを備えた工業用内視鏡装置において、
前記内視鏡プローブの先端部の変位量を検出するセンサと、そのセンサの検出値を基に内視鏡プローブの先端部の位置または姿勢の少なくとも一方を求める制御部と、を設けたことを特徴とする工業用内視鏡装置。
前記センサは、内視鏡プローブの先端部に設けられ、被検出対象となるマーカーと、被観察物の内部または外部に固定設置されて前記マーカーの変位量を検出する検出器本体と、を備えて成ることを特徴とする請求項１に記載の工業用内視鏡装置。
前記センサは、内視鏡プローブの先端部に設けられ、センサ自体の変位量を出力することを特徴とする請求項１に記載の工業用内視鏡装置。
前記センサは、前記撮像手段と、その撮像手段によって撮像した画像の移動量から内視鏡プローブの先端部の変位量を取得する画像変位量検出手段と、を備えて成ることを特徴とする請求項１に記載の工業用内視鏡装置。