JP2010020232A - 内視鏡装置およびプログラム - Google Patents

Abstract

【課題】画像データが計測に適しているか否かをユーザが判断することができる内視鏡装置およびプログラムを提供する。
【解決手段】マッチング処理部１６は、画像処理部９によって処理された画像データ同士のマッチング度を算出する。グラフィック生成部１１および画像合成部１２は、マッチング処理部１６によって算出されたマッチング度を含む画像を表示するための表示信号を生成する。メイン制御部１４は、画像データの記録指示が検出された場合に、マッチング度を算出するようにマッチング処理部を制御する。
【選択図】図１

Description

本発明は、画像データを記録することが可能な内視鏡装置、およびその動作を制御するためのプログラムに関する。

近年、ボイラ、タービン、エンジン、化学プラント等の内部の傷や腐食等の観察および検査に工業用内視鏡が広く用いられている。最近の工業用内視鏡は、異なる視点から被写体を撮像するステレオ光学アダプタを内視鏡の先端に取り付けることが可能となっており、三角測量の原理で被写体の様々な空間特性を計測（ステレオ計測）することが可能である（例えば特許文献１および特許文献２参照）。ステレオ計測では、例えば左右一対の被写体像が取得され、一方の被写体像上で指定された点に対応する他方の被写体像上の点を画像処理により検出するマッチング処理が行われる。さらに、対応する左右の点の座標に基づいて、三角測量の原理により被写体の長さ、深さ、面積等が計算される。
特開２００４−３３４８７号公報 特開２００４−４９６３８号公報

上記のマッチング処理の結果はステレオ計測の精度に影響を与える。すなわち、左右一対の被写体像のマッチング度（類似度）が高い場合には、対応点の検出精度が上がるため、計測精度も上がるが、逆に、左右一対の被写体像のマッチング度（類似度）が低い場合には、対応点の検出精度が低下するため、計測精度も低下する。このため、左右一対の被写体像のマッチング度が低い画像はステレオ計測に適していない。

工業用内視鏡を用いた検査では、観察現場で記録した画像に対して、観察現場以外でステレオ計測による検査を行うことがある。しかし、観察現場で記録した検査用の画像において、ユーザが検査したい部分がステレオ計測に適していない場合、再度観察現場で検査用の画像を取得し直す必要があって不便だった。

また、ステレオ計測においては、ステレオ計測を行いたい被写体が確実に撮像されるよう挿入部の位置を調整し、観察映像である動画像を静止させた画像に対して計測点を指定することによってステレオ計測が実行される。計測点を指定した後において、ユーザが検査したい部分がステレオ計測に適していないと判明した場合、観察映像を表示・静止させ計測点を指定するプロセスが再度必要となり、実際にステレオ計測が実行されるまでに、煩雑なプロセスを何度も繰り返すことがあった。

本発明は、上述した課題に鑑みてなされたものであって、画像データが計測に適しているか否かをユーザが判断することができる内視鏡装置およびプログラムを提供することを目的とする。より詳細には、画像データの記録前または計測前にユーザが上記の判断を行うことができる内視鏡装置およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体像を光電変換し撮像信号を生成する撮像素子と、前記撮像信号に基づく複数の画像を有するステレオ画像を記録する画像記録部とを備えた内視鏡装置において、前記ステレオ画像に含まれる前記複数の画像同士の類似度を算出する類似度算出部と、前記類似度算出部によって算出された前記類似度を含む画像を表示するための表示信号を生成する表示信号生成部と、前記ステレオ画像の記録指示が検出された場合に、前記類似度を算出するように前記類似度算出部を制御する制御部とを備えたことを特徴とする内視鏡装置である。

また、本発明は、被写体像を光電変換し撮像信号を生成する撮像素子と、前記撮像信号に基づく複数の画像を有するステレオ画像を用いて前記被写体の計測処理を行う計測処理部とを備えた内視鏡装置において、前記ステレオ画像に含まれる前記複数の画像同士の類似度を算出する類似度算出部と、前記類似度算出部によって算出された前記類似度を含む画像を表示するための表示信号を生成する表示信号生成部と、前記ステレオ画像に基づく前記計測処理の指示が検出された場合に、前記類似度を算出するように前記類似度算出部を制御する制御部とを備えたことを特徴とする内視鏡装置である。

また、本発明の内視鏡装置において、前記類似度算出部は、前記ステレオ画像を構成する領域毎に前記類似度を算出し、前記表示信号生成部は、領域毎の前記類似度を２次元状に配列したマップを表示するための前記表示信号を生成することを特徴とする。

また、本発明の内視鏡装置において、前記表示信号生成部は、前記ステレオ画像に前記マップを重畳して表示するための前記表示信号を生成することを特徴とする。

また、本発明の内視鏡装置において、前記表示信号生成部は、前記ステレオ画像を構成する全領域のうち、予め設定された一部の領域についてのみ前記マップを表示するための前記表示信号を生成することを特徴とする。

また、本発明の内視鏡装置は、ユーザの指示に基づいて前記一部の領域を設定する領域設定部をさらに備えたことを特徴とする。

また、本発明は、被写体像を光電変換し撮像信号を生成する撮像素子と、前記撮像信号に基づく複数の画像を有するステレオ画像を記録する画像記録部とを備えた内視鏡装置を制御するコンピュータを、前記ステレオ画像に含まれる前記複数の画像同士の類似度を算出する類似度算出部と、前記類似度算出部によって算出された前記類似度を含む画像を表示するための表示信号を生成する表示信号生成部と、前記ステレオ画像の記録指示が検出された場合に、前記類似度の算出を開始するように前記類似度算出部を制御する制御部と、として機能させるためのプログラムである。

本発明によれば、画像データの記録指示が検出された場合に類似度が算出され、類似度を含む画像を表示するための表示信号が生成され、類似度の表示が可能となるため、画像データが計測に適しているか否かをユーザが判断することができるという効果が得られる。より詳細には、画像データの記録前または計測前にユーザが上記の判断を行うことができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。本実施形態では、ステレオ計測が可能な工業用内視鏡装置に本発明を適用した例を説明する。図１は、本発明の一実施形態による工業用内視鏡装置の構成を示している。図１に示すように工業用内視鏡装置は、細長の挿入部１と、筐体を構成する本体部２と、LCD等の外部表示装置３と、各種操作のための操作部４とを有している。

検査者は、挿入部１をパイプなどの被写体（検査対象物）に挿入し、外部表示装置３上に表示される画像を確認しながら、所望の検査部位にアクセスし、画像による検査・診断作業を行う。挿入部１の先端に位置する先端部５は、対物光学系６と、撮像素子７と、LED８とを有している。先端部５は、ステレオ計測用の光学アダプタを自在に着脱できるように構成されている。対物光学系６は、光学アダプタを介して入射する被写体からの光を２つの光路で集光し結像する。撮像素子７は入射光を光電変換し撮像信号に変換する。LED８は被写体を照明する。LED８によって照明された被写体の像は、対物光学系６によって撮像素子７上に結像され、撮像素子７によって撮像信号に光電変換される。ステレオ計測時には、被写体の画像に含まれる光学的歪みを補正して計測を行う必要があるため、光学アダプタ毎の光学特性を示す光学データが記録媒体１７に記録されている。

本体部２は、画像処理部９と、LED駆動部１０と、グラフィック生成部１１と、画像合成部１２と、記録媒体読み書き部１３と、メイン制御部１４と、計測処理部１５と、マッチング処理部１６とを有している。撮像素子７から出力された撮像信号は映像信号（画像データ）に変換され、画像処理部９に入力される。画像処理部９は、被写体である検査対象物を観察可能な画像を生成するために、ガンマ補正処理、エッジ強調処理、デジタルズーム処理等の処理を映像信号に施す。

LED駆動部１０は先端部５のLED８を駆動し、観察時に必要な照明光を供給する。グラフィック生成部１１は、メニュー表示等のグラフィックユーザインターフェース（以下GUIと記載）用のグラフィック画像信号を生成する。画像合成部１２は、画像処理部９によって処理された映像信号と、グラフィック生成部１１によって生成されたグラフィック画像信号とを合成し、撮像素子７で撮像された被写体の画像やGUI画像（メニュー等）を表示するための表示信号を生成する。表示信号は外部表示装置３へ出力され、外部表示装置３によって被写体の画像やGUI画像が表示される。

また、この画像合成部１２は、画像処理部９からの映像信号に基づく被写体の画像、あるいはグラフィック生成部１１からのグラフィック画像信号に基づくGUI画像を単独で表示するための処理を行うことも可能である。したがって、外部表示装置３の画面上には、被写体の画像、GUI画像、被写体の画像とGUI画像の合成画像等が表示される。

記録媒体読み書き部１３は、フラッシュメモリカード等の記録媒体１７を自在に着脱できるように構成されている。記録媒体１７が接続された場合、記録媒体読み書き部１３は、メイン制御部１４による制御に従って、記録媒体１７に記録されている画像データや制御処理データ、光学データ等の各種データを読み出し、工業用内視鏡装置に取り込むことが可能である。また、記録媒体読み書き部１３は、上記の各種データを記録媒体１７に書き込み、記録することが可能である。メイン制御部１４は、図示せぬ不揮発性メモリに格納されているプログラムを実行し、目的に応じた処理を行うように各部を制御して、工業用内視鏡装置全体の動作制御を行う。

本実施形態の工業用内視鏡装置では、先端部５に接続された光学アダプタによって、被写体からの光が左右の２つの光路で集光され、撮像素子７および画像処理部９によって、各々の光路に対応した２つの画像を有する画像データ（ステレオ画像）が生成される。すなわち、左右２つの視点からの撮像によって、各視点に対応した２つの画像を有する画像データが生成される。計測処理部１５は、この画像データに基づいてステレオ計測を行う。

前述したように、ステレオ計測では、２つの画像のうち、一方の画像上で指定された点に対応する他方の画像上の点を画像処理により検出するマッチング処理が行われる。マッチング処理部１６は、このマッチング処理を行う。マッチング処理の結果は、メイン制御部１４を介して計測処理部１５に通知される。また、本実施形態のマッチング処理部１６は、画像データが計測に適しているか否かを事前にユーザが判断することができるようにするため、ステレオ計測の開始前であってもマッチング処理を行うことが可能である。

次に、マッチング処理部１６の構成を説明する。図２に示すように、マッチング処理部１６は、制御部１６ａと、画像取得部１６ｂと、パターンエリア設定部１６ｃと、サンプリング点指定部１６ｄと、マッチング演算部１６ｅと、マップエリア設定部１６ｆと、記憶部１６ｇと、マッチングマップ生成部１６ｈとを有している。

制御部１６ａはマッチング処理部１６内の各部を制御する。また、制御部１６ａは、メイン制御部１４との間で各種データ・情報の入出力を制御する機能も有している。画像取得部１６ｂは、映像信号を構成する１フレーム単位の画像データを、メイン制御部１４を介して画像処理部９から取得する。パターンエリア設定部１６ｃは、画像データに基づく画像上におけるパターンマッチング用のエリア（パターンエリア）を設定する。サンプリング点指定部１６ｄは、パターンマッチングに用いるサンプリング点を指定する。ステレオ計測用のマッチング処理を行う場合、サンプリング点はユーザによって指定される。また、画像データの事前確認用のマッチング処理を行う場合、サンプリング点はパターンエリアの中央に設定される。

マッチング演算部１６ｅは、パターンエリア設定部１６ｃによって設定されたパターンエリア内においてマッチング処理を実行する。ステレオ計測用のマッチング処理では、サンプリング点指定部１６ｄによって指定されたサンプリング点およびその対応点（マッチング点）の２次元座標が算出される。また、画像データの事前確認用のマッチング処理では、左右の２つの画像にそれぞれ設定されるパターンエリア同士のマッチング度（ステレオ画像の類似度）が算出される。マップエリア設定部１６ｆは、算出したマッチング度を表示するエリア（マッチングマップエリア）を設定する。

本実施形態では、左画像上に複数のマッチングマップエリアが設定され、マッチングマップエリア毎のマッチング度を２次元状に配列したマッチングマップが外部表示装置３の画面に表示される。マッチングマップについては、図３および図４を参照しながら後述する。また、マッチングマップエリアは１または複数のパターンエリアで構成されている。

記憶部１６ｇは、マッチング処理部１６内で処理される各種データおよび情報を記憶する。記憶部１６ｇに格納された情報は、適宜制御部１６ａによって読み出されて各部へ出力される。マッチングマップ生成部１６ｈは、マッチング演算部１６ｅによるマッチング処理の結果、およびマップエリア設定部１６ｆによるマッチングマップエリアの設定結果に基づいてマッチングマップを生成する。

次に、本実施形態におけるマッチングマップを説明する。図３（ａ）は、マッチングマップを表示する前の外部表示装置３の画面を示している。外部表示装置３の画面には、２つの光路に対応した２つの画像に基づくフリーズ画像である左画像３００および右画像３１０が表示される。図３（ｂ）は、マッチングマップを表示しているときの外部表示装置３の画面を示している。画面の左側には、左画像３００に対してマッチングマップ３２０を重畳した合成画像が表示される。また、画面の右側には、マッチングマップ３２０に対する操作を行うためのメニュー３３０が表示される。

ユーザは、操作部４を操作しながらメニュー３３０上の各種アイコンを操作することによって、マッチングマップ３２０に対する各種操作を実行することが可能である。表示アイコン３３０ａと非表示アイコン３３０ｂは、マッチングマップ３２０の表示・非表示を選択するためのアイコンである。表示アイコン３３０ａが選択された場合、図３（ｂ）に示すようにマッチングマップ３２０が表示される。また、非表示アイコン３３０ｂが選択された場合、図４（ａ）に示すようにマッチングマップが非表示となり、左画像４００が表示される。

図３（ｂ）に示すマッチングマップ３２０では、５行４列からなるマッチングマップエリアが表示され、各マッチングマップエリアのマッチング度が所定のパターンで表示されている。マップ解説エリア３３０ｃは、マッチングマップ３２０の内容の解説を示している。マップ解説エリア３３０ｃに表示されたパターン画像３３０ｄは、マッチング度の値が所定値以上であることを示している。また、マップ解説エリア３３０ｃに表示されたパターン画像３３０ｅは、マッチング度の値が所定値未満であることを示している。図３（ｂ）に示すマッチングマップ３２０では、中央部でマッチング度が高く、周辺部でマッチング度が低いことが分かる。ユーザは、マッチングマップ３２０内のマッチング度の分布から、取得した画像データがステレオ計測に適しているか否かを判断することができる。

拡大アイコン３３０ｆと縮小アイコン３３０ｇは、マッチングマップエリアの詳細度を変更するためのアイコンである。拡大アイコン３３０ｆが選択された場合、マッチングマップエリアの詳細度が減少する。すなわち、マッチングマップエリア１つ当たりの面積が増加すると共にマッチングマップエリアの総数が減少する。また、縮小アイコン３３０ｇが選択された場合、マッチングマップエリアの詳細度が増加する。すなわち、マッチングマップエリア１つ当たりの面積が減少すると共にマッチングマップエリアの総数が増加する。図４（ｂ）は、図３（ｂ）の状態で縮小アイコン３３０ｇが選択されたときの外部表示装置３の画面を示している。図４（ｂ）に示すマッチングマップ４１０では、１０行８列からなるマッチングマップエリアが表示されている。

このようにマッチングマップエリアの詳細度を変更可能とすることによって、取得した画像データがステレオ計測に適しているか否かの判断を行う際のユーザの利便性を向上することができる。例えば、画像内のマッチング度の全体的な傾向に基づいて判断を行いたいときなどは、マッチングマップエリアの詳細度を減少させることで、ユーザは上記の判断を行うことができる。また、計測を行いたい箇所が決まっており、当該箇所の詳細な分布に基づいて判断を行いたいときなどは、マッチングマップエリアの詳細度を増加させることで、ユーザは上記の判断を行うことができる。

終了アイコン３３０ｈは、マッチングマップ３２０の表示を終了するためのアイコンである。終了アイコン３３０ｈが選択された場合、マッチングマップ３２０およびメニュー３３０が非表示となり、図３（ａ）に示す左画像３００および右画像３１０が表示される。

次に、画像データの事前確認用の処理を中心とした工業用内視鏡装置の動作を説明する。まず、画像データの記録指示が入力されたときに実行される画像記録前判定処理を説明する。ユーザが操作部４を操作し、画像データの記録指示を入力すると、メイン制御部１４は、操作部４から出力された信号に基づいて、記録指示が入力されたことを検出する。続いて、メイン制御部１４は、図５に示す画像記録前判定処理を実行する。

画像記録前判定処理において、まずメイン制御部１４はマッチング処理部１６にマッチング処理を実行させる（ステップＳ１）。マッチング処理の詳細については後述する。マッチング処理が終了すると、メイン制御部１４はマッチング処理部１６およびグラフィック生成部１１にマッチングマップ生成処理を実行させる（ステップＳ２）。マッチングマップ生成処理の詳細については後述する。

マッチングマップ生成処理が終了すると、マッチングマップを表示するためのグラフィック画像信号がグラフィック生成部１１から画像合成部１２へ出力される。画像合成部１２は、画像処理部９によって処理された映像信号と、グラフィック生成部１１によって生成されたグラフィック画像信号とを合成し、表示信号を生成する。表示信号は外部表示装置３へ出力され、外部表示装置３によって、被写体の画像にマッチングマップを重畳した合成画像が表示される（ステップＳ３）。

マッチングマップを含む画像が表示された後、メイン制御部１４は操作部４からの信号に基づいて、マッチングマップエリアを変更する操作があったか否かを判定する（ステップＳ４）。図３（ｂ）に示した拡大アイコン３３０ｆと縮小アイコン３３０ｇのいずれかの操作が検出された場合、処理はステップＳ２に戻る。また、拡大アイコン３３０ｆと縮小アイコン３３０ｇのいずれの操作も検出されなかった場合、メイン制御部１４は操作部４からの信号に基づいて、画像記録前判定処理を終了する操作があったか否かを判定する（ステップＳ５）。図３（ｂ）に示した終了アイコン３３０ｈの操作が検出された場合、画像記録前判定処理は終了する。また、終了アイコン３３０ｈの操作が検出されなかった場合、処理はステップＳ４に戻る。

画像記録前判定処理が終了すると、メイン制御部１４は、画像処理部９によって処理された画像データを記録媒体読み書き部１３へ出力し、記録媒体１７に画像データを記録させる。マッチング度が低い等の理由により、ユーザが画像データを記録したくない場合には、適宜、所定の操作により割り込みを発生させ、画像データの記録を中止することが可能である。

次に、図５のステップＳ１で実行されるマッチング処理を説明する。図６はマッチング処理の手順を示している。まず、パターンエリア設定部１６ｃは、予め設定された値ｋに対応したパターンエリアを設定する。この値ｋは初期設定値またはユーザが指定した値である。値ｋに対応したパターンエリアの大きさは、例えば以下のようになる。対応点の検出精度を上げたい場合には、値ｋを大きな値に設定し、パターンエリアを小さくすればよい。
ｋ＝１では、パターンエリアは３５×３５（ピクセル）。
ｋ＝２では、パターンエリアは２３×２３（ピクセル）。
ｋ＝３では、パターンエリアは１１×１１（ピクセル）。

パターンエリアの設定後、パターンエリア設定部１６ｃは、マッチング処理を実行するパターンエリア（Ｍ，Ｎ）を順に選択する（ステップＳ１２）。なお、パターンエリア（Ｍ，Ｎ）は縦位置がＭ、横位置がＮのパターンエリアを表す。選択されたパターンエリアの情報は、制御部１６ａを介してサンプリング点指定部１６ｄおよびマッチング演算部１６ｅへ出力される。

サンプリング点指定部１６ｄは、図７（ａ）に示す左画像上のパターンエリアＥ１内のサンプリング点Ｐ１をパターンエリアＥ１の中心に設定する。続いて、サンプリング点指定部１６ｄは、サンプリング点Ｐ１に対応する仮の対応点Ｐ１’を右画像上に指定し（ステップＳ１３）、対応点Ｐ１’を元に検索範囲Ｅ１’を設定する（ステップＳ１４）。パターンエリアＥ１および検索範囲Ｅ１’の情報は、制御部１６ａを介してマッチング演算部１６ｅへ出力される。

続いて、ステップＳ１５〜Ｓ１７の処理により、検索範囲でのパターンマッチングが実行される。図７（ａ）に示すように、右画像上の検索範囲Ｅ１’は左画像上のパターンエリアＥ１よりも広く設定される。マッチング演算部１６ｅは、図７（ｂ）に示すように、パターンエリアＥ１の画像と、検索範囲Ｅ１’のうちパターンエリアＥ１と同じサイズの画像との間で、画像の位置をずらしながら（検索範囲をずらしながら）各位置で正規化相互相関によるマッチング処理を行う（ステップＳ１６）。マッチング処理の結果は制御部１６ａへ出力される。

制御部１６ａは、最も正規化相互相関係数が大きくなる座標（Ｘ，Ｙ）を対応点とし、対応点の座標および正規化相互相関係数の最大値（−１〜１のいずれかの値）を関連付けてマッチング処理結果の情報として記憶部１６ｇに記憶させる（ステップＳ１８）。この正規化相互相関係数の最大値が、マッチングの信頼性の尺度であるマッチング度となる。

パターンマッチングに利用する正規化相互相関関数Ｍ（ｕ，ｖ）には、一般的に以下の式を用いる。すなわち、ｔ（ｘ，ｙ）をテンプレートとし、ｇ（ｘ，ｙ）を画像データとし、ｔ’をテンプレートの平均輝度とし、さらに、ｇ’を画像の平均輝度として、以下の（１）式が適用される。ここでΣΣ_Ｓは画素の和をとることを表す。
Ｍ（ｕ，ｖ）＝｛ΣΣ_Ｓ（ｇ（ｘ＋ｕ，ｙ＋ｖ）−ｇ’）（ｔ（ｘ，ｙ）−ｔ’）｝／｛ΣΣ_Ｓ（ｇ（ｘ＋ｕ，ｙ＋ｖ）−ｇ’）^２×ΣΣ_Ｓ（ｔ（ｘ，ｙ）−ｔ’）^２｝^１／２ ・・・（１）

上記のパターンマッチングが全てのパターンエリアで実行される（ステップＳ１２〜Ｓ１９）。これによって、各パターンエリアの正規化相互相関係数の最大値が算出され、記憶部１６ｇに格納される。

次に、図５のステップＳ２で実行されるマッチングマップ生成処理を説明する。図８はマッチングマップ生成処理の手順を示している。まず、マップエリア設定部１６ｆは、１つのマッチングマップエリアを構成するパターンエリアの数ｎを設定する（ステップＳ２１）。この値ｎは初期設定値またはユーザが指定した値である。ユーザは、図５のステップＳ４での操作により、この値ｎを指定することが可能である。具体的には、図３（ｂ）に示した拡大アイコン３３０ｆが操作された場合、値ｎは小さくなる。また、図３（ｂ）に示した縮小アイコン３３０ｇが操作された場合、値ｎは大きくなる。

値ｎに対応したパターンエリアは、例えば以下のようになる。
ｎ＝１６では、パターンエリアは縦４（エリア）×横４（エリア）。
ｎ＝４では、パターンエリアは縦２（エリア）×横２（エリア）。
ｎ＝１では、パターンエリアは縦１（エリア）×横１（エリア）。

マップエリア設定部１６ｆが設定したパターンエリア数の情報は、制御部１６ａを介してマッチングマップ生成部１６ｈへ出力される。マッチングマップ生成部１６ｈはマッチングマップエリア（Ｐ，Ｑ）を順に選択する（ステップＳ２２）。なお、マッチングマップエリア（Ｐ，Ｑ）は縦位置がＰ、横位置がＱのマッチングマップエリアを表す。

続いて、マッチングマップ生成部１６ｈは、制御部１６ａを介して、マッチング処理の結果である対応点の座標と正規化相互相関係数の最大値を記憶部１６ｇから読み出し（ステップＳ２３）、マッチングマップエリア（Ｐ，Ｑ）内の全てのパターンエリアの正規化相互相関係数の最大値の平均値を演算する（ステップＳ２４）。さらに、マッチングマップ生成部１６ｈは、この平均値と所定値ｍを比較する（ステップＳ２５）。比較結果は制御部１６ａへ出力される。制御部１６ａは比較結果およびマッチングマップエリアの位置を関連付けて記憶部１６ｇに記憶させる（ステップＳ２６）。値ｍは正規化相互相関係数の値として考えられる−１〜１の間で設定される。

上記の平均値の演算および所定値との比較が全てのマッチングマップエリアで行われる（ステップＳ２２〜Ｓ２７）。全てのマッチングマップエリアについて上記の処理が終了すると、制御部１６ａは比較結果およびマッチングマップエリアの位置を記憶部１６ｇから読み出してグラフィック生成部１１へ出力する。グラフィック生成部１１は、比較結果に応じたパターン画像を選択し、各マッチングマップエリアの位置に対して、比較結果に応じたパターン画像を表示するためのグラフィック画像信号を生成する（ステップＳ２８）。図４（ｂ）に示したように、本実施形態では正規化相互相関係数の最大値の平均値が所定値ｍ以上の場合に使用するパターン画像３３０ｄと、平均値が所定値ｍ未満の場合に使用するパターン画像３３０ｅとの２種類のパターン画像が用意されている。

次に、本実施形態の変形例を説明する。図３（ｂ）および図４（ｂ）では、左画像の全体にマッチングマップエリアを設定しているが、ユーザが指定した一部分のみにマッチングマップエリアを設定してもよい。図９（ａ）は、ユーザがマッチングマップエリアの設定領域を指定するときの外部表示装置３の画面を示している。ユーザは操作部４を操作し、左画像９００上でマッチングマップエリアの設定領域９１０を指定する。メイン制御部１４は、操作部４から出力される信号に基づいてマッチングマップエリアの設定領域９１０の位置および大きさを検出し、それらの情報をマッチング処理部１６へ出力する。

マッチング処理部１６において、マップエリア設定部１６ｆは、マッチングマップエリアの設定領域９１０の位置および大きさの情報に基づいて、マッチングマップエリアを設定する。図９（ｂ）は、マッチングマップを表示しているときの外部表示装置３の画面を示している。画面の左側には、左画像９００に対してマッチングマップ９２０を重畳した合成画像が表示される。マッチングマップ９２０の表示領域は、図９（ａ）においてユーザが設定したマッチングマップエリアの設定領域９１０と同一である。また、画面の右側には、マッチングマップ９２０に対する操作を行うためのメニュー９３０が表示される。図９に示す例では、ユーザがマッチングマップエリアの設定領域を指定した後にメニューが表示されているが、メニューが表示されているときにユーザがマッチングマップエリアの設定領域を指定することも可能である。

以下、他の変形例を説明する。マッチング処理（図６）の結果を画像データと共に保存しておき、計測を行う場合に再度マッチング処理を行わずに、保存しておいた結果を利用してもよい。例えば、計測時にユーザが被写体上で指定した位置に対応したパターンエリアをユーザの指定位置とみなして、このパターンエリアで検出された対応点の座標を計測に利用してもよい。また、従来のステレオ計測では、マッチング処理によって検出された左右の画像の対応点の一致度をユーザが確認できるように左右両方の画像を表示していたが、上記のパターンエリアに対応した正規化相互相関係数の最大値が所定値以上であった場合に、マッチングの信頼性が高く、対応点の一致度の確認が不要であると判断し、左右の画像のうち一方のみを表示してもよい。

また、本実施形態では２種類のパターン画像をマッチングマップの表示に用いているが、３種類以上のパターン画像をマッチングマップの表示に用いてもよい。具体的には、マッチングマップ生成処理（図８）において、正規化相互相関係数の最大値の平均値と２個以上の異なる所定値を順に比較し、その比較結果に応じて、３種類以上のパターン画像の中から１つのパターン画像を選択してもよい。

また、マッチング処理の終了後にマッチングマップの表示を行うかどうかをユーザが設定できるようにしてもよい。また、本実施形態では所定のパターンを２次元状に配列したマッチングマップを表示しているが、数字、記号、図形等を２次元状に配列したマッチングマップを表示してもよい。

尚、本実施形態では記録指示の入力に基づいて画像記録前判定処理を実行しているが、計測指示の入力に基づいて、図１５におけるステップＳ１〜ステップＳ５を計測前判定処理として実行してもよい。また、マッチングマップを表示させるマッチングマップモードを用意し、マッチングマップモードに遷移させる指示の入力に基づいて図１５におけるステップＳ１〜ステップＳ５を判定処理として実行してもよい。

上述したように、本実施形態によれば、画像データの記録指示が検出された場合にマッチング度が算出され、マッチングマップの表示が可能となるため、画像データが計測に適しているか否かをユーザが画像データの記録前に判断することができる。このため、観察現場で画像を記録した後、観察現場以外でステレオ計測による検査を行う場合等において、画像を取得し直すことが減り、検査効率を向上することができる。同様に、計測指示が検出された場合にマッチング度を算出しマッチングマップを表示することも可能となるため、画像データが計測に適しているか否かをユーザが計測前に判断することができる。

また、マッチングマップの表示によって、画像データがステレオ計測に適しているか否かの判断を行う際のユーザの利便性を向上することができる。例えば、ユーザは画像内のマッチング度の全体的な傾向や一部分の詳細等を知ることが可能となり、画像データがステレオ計測に適しているか否かの判断を様々な観点から行うことができる。さらに、画像データに基づく被写体の画像にマッチングマップを重畳して表示することによって、ユーザが被写体上の各位置とマッチング度との関係を把握しやすくなる。

また、画像データに基づく画像を構成する全領域のうち、予め設定された一部の領域についてのみマッチングマップを表示する（図９（ｂ））ことによって、画像データがステレオ計測に適しているか否かの判断を行う際のユーザの利便性を向上することができる。特に、計測箇所が予め決まっており、計測箇所以外のマッチング度が不要である場合に、計測箇所のみのマッチング度を表示することで、ユーザが上記の判断をより行い易くなる場合がある。例えば、工業用内視鏡装置を用いた検査では、検査対象物が表示装置の画面中心に表示されることが多い。ユーザが画面中心付近にマッチングマップエリアを設定し、マッチングマップを表示させることで、計測を行いたい箇所が、計測に耐えうる条件で撮像されているか否かをユーザが容易に判断することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による工業用内視鏡装置の構成を示すブロック図である。 本発明の一実施形態による工業用内視鏡装置が備えるマッチング処理部の構成を示すブロック図である。 本発明の一実施形態におけるマッチングマップを説明するための参考図である。 本発明の一実施形態におけるマッチングマップを説明するための参考図である。 本発明の一実施形態における画像記録前判定処理の手順を示すフローチャートである。 本発明の一実施形態におけるマッチング処理の手順を示すフローチャートである。 本発明の一実施形態におけるパターンマッチングを説明するための参考図である。 本発明の一実施形態におけるマッチングマップ生成処理の手順を示すフローチャートである。 本発明の一実施形態におけるマッチングマップの変形例を示す参考図である。

符号の説明

１・・・挿入部、２・・・本体部、３・・・外部表示装置、４・・・操作部、５・・・先端部、６・・・対物光学系、７・・・撮像素子、８・・・LED、９・・・画像処理部、１０・・・LED駆動部、１１・・・グラフィック生成部（表示信号生成部）、１２・・・画像合成部（表示信号生成部）、１３・・・記録媒体読み書き部（画像記録部）、１４・・・メイン制御部（制御部）、１５・・・計測処理部、１６・・・マッチング処理部（類似度算出部）、１６ａ・・・制御部、１６ｂ・・・画像取得部、１６ｃ・・・パターンエリア設定部、１６ｄ・・・サンプリング点指定部、１６ｅ・・・マッチング演算部、１６ｆ・・・マップエリア設定部（領域設定部）、１６ｇ・・・記憶部、１６ｈ・・・マッチングマップ生成部、１７・・・記録媒体

Claims (7)

1. 被写体像を光電変換し撮像信号を生成する撮像素子と、前記撮像信号に基づく複数の画像を有するステレオ画像を記録する画像記録部とを備えた内視鏡装置において、
   前記ステレオ画像に含まれる前記複数の画像同士の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度を含む画像を表示するための表示信号を生成する表示信号生成部と、
   前記ステレオ画像の記録指示が検出された場合に、前記類似度を算出するように前記類似度算出部を制御する制御部と、
   を備えたことを特徴とする内視鏡装置。
2. 被写体像を光電変換し撮像信号を生成する撮像素子と、前記撮像信号に基づく複数の画像を有するステレオ画像を用いて前記被写体の計測処理を行う計測処理部とを備えた内視鏡装置において、
   前記ステレオ画像に含まれる前記複数の画像同士の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度を含む画像を表示するための表示信号を生成する表示信号生成部と、
   前記ステレオ画像に基づく前記計測処理の指示が検出された場合に、前記類似度を算出するように前記類似度算出部を制御する制御部と、
   を備えたことを特徴とする内視鏡装置。
3. 前記類似度算出部は、前記ステレオ画像を構成する領域毎に前記類似度を算出し、
   前記表示信号生成部は、領域毎の前記類似度を２次元状に配列したマップを表示するための前記表示信号を生成する
   ことを特徴とする請求項１または請求項２に記載の内視鏡装置。
4. 前記表示信号生成部は、前記ステレオ画像に前記マップを重畳して表示するための前記表示信号を生成することを特徴とする請求項３に記載の内視鏡装置。
5. 前記表示信号生成部は、前記ステレオ画像を構成する全領域のうち、予め設定された一部の領域についてのみ前記マップを表示するための前記表示信号を生成することを特徴とする請求項３または請求項４に記載の内視鏡装置。
6. ユーザの指示に基づいて前記一部の領域を設定する領域設定部をさらに備えたことを特徴とする請求項５に記載の内視鏡装置。
7. 被写体像を光電変換し撮像信号を生成する撮像素子と、前記撮像信号に基づく複数の画像を有するステレオ画像を記録する画像記録部とを備えた内視鏡装置を制御するコンピュータを、
   前記ステレオ画像に含まれる前記複数の画像同士の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度を含む画像を表示するための表示信号を生成する表示信号生成部と、
   前記ステレオ画像の記録指示が検出された場合に、前記類似度の算出を開始するように前記類似度算出部を制御する制御部と、
   として機能させるためのプログラム。

Images