JP2014147572A - 内視鏡装置およびプログラム - Google Patents

Abstract

【課題】マッチングの誤対応を減らし、ユーザの手間を軽減することができる内視鏡装置およびプログラムを提供する。
【解決手段】対応点候補算出部１８２は、第１の被写体像上の計測点に対応する第２の被写体像上の対応点の候補を、複数のマッチング手法を用いて算出する。信頼度算出部１８３は、複数のマッチング手法のそれぞれに対応する対応点の候補に基づいてマッチングの信頼度を算出する。表示処理部１８４は、信頼度が所定値未満である場合に、計測点と、複数のマッチング手法のそれぞれに対応する対応点の候補とを画像に表示する処理を行う。対応点決定部１８５は、信頼度が所定値以上である場合に、複数のマッチング手法のそれぞれに対応する対応点の候補に基づいて対応点を決定し、信頼度が所定値未満である場合に、複数のマッチング手法のそれぞれに対応する対応点の候補のうち指定された対応点の候補を対応点に決定する。
【選択図】図３

Description

本発明は、計測機能を有する内視鏡装置に関する。また、本発明は、計測機能をコンピュータで実現するためのプログラムに関する。

近年、ボイラ、タービン、エンジン、化学プラント等の内部の傷や腐食等の観察および検査に工業用内視鏡が広く用いられている。最近の工業用内視鏡は、異なる視点から被写体を撮像するステレオ光学アダプタを内視鏡の先端に取り付けることが可能となっており、三角測量の原理で被写体の様々な空間特性を計測（ステレオ計測）することが可能である（例えば特許文献１参照）。ステレオ計測では、例えば左右一対の被写体像が取得され、一方の被写体像上で指定された点に対応する他方の被写体像上の点を画像処理により検出するマッチング処理が行われる。さらに、対応する左右の点の座標に基づいて、三角測量の原理により被写体の長さ、深さ、面積等が計算される。

上記のマッチング処理の結果はステレオ計測の精度に影響を与える。特に、対応する左右の点の位置が大きく異なるマッチングの誤対応が起きる場合には、計測結果は全く異なる結果となってしまうため、点の指定のやり直しや画像の取り直しが必要となってしまう。マッチングの誤対応を少なくするための技術として、例えば、複数のテンプレートを使用して最も信頼度の高い結果を使用する方法（特許文献２参照）や、低解像度画像で信頼度を評価して対応点算出のための高解像度画像のウインドウサイズを決める方法（特許文献３参照）などが知られている。また、マッチングの誤対応が起きていないか否かの確認をユーザに促す方法として、被写体像においてマッチングに関係する領域を強調して表示する方法なども知られている（特許文献４参照）。

特開２００４−３３４８７号公報 特開２００１−１０９８７９号公報 特開２００９−９２５５１号公報 特開２０１１−１７０２７６号公報

工業用内視鏡を用いた検査では、観察現場で記録した画像に対して、観察現場以外でステレオ計測による検査を行うことがある。しかし、観察現場で記録した検査用の画像でマッチングの誤対応が起きる場合、観察現場で検査用の画像を再度取得し直す必要があって不便だった。

どのようなマッチング手法を用いても、全ての画像に対し、マッチングの誤対応が起こらないわけではなく、また、それぞれの手法に得意な画像、不得意な画像というものが存在する。しかしながら、工業用内視鏡の被検体は多種多様であるため、多様な被検体に適したマッチング手法を提供することは困難であった。

特許文献２や特許文献３に記載の技術では、マッチングの誤対応を減らすことができるかもしれないが、工業用内視鏡のような多種多様な画像に対し最も良いマッチングアルゴリズムを選定するのは、困難である。また、特許文献４に記載の技術では、マッチングの誤対応が起きていることがわかっても、画像の取り直しを行う手間や、対応点をユーザが自ら手動で修正するなどの手間がかかってしまう。

本発明は、上述した課題に鑑みてなされたものであって、マッチングの誤対応を減らし、ユーザの手間を軽減することができる内視鏡装置およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、同一の被写体に対応する第１の被写体像および第２の被写体像を撮像して画像データを生成する撮像部と、前記画像データに基づく画像を表示する表示部と、前記第１の被写体像上で設定された計測点に対応する前記第２の被写体像上の点である対応点の候補を、複数のマッチング手法を用いて算出する対応点候補算出部と、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいてマッチングの信頼度を算出する信頼度算出部と、前記信頼度が所定値未満である場合に、前記計測点と、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補とを前記画像に表示する処理を行う表示処理部と、前記信頼度が所定値以上である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいて前記対応点を決定し、前記信頼度が所定値未満である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補のうち指定された前記対応点の候補を対応点に決定する対応点決定部と、前記計測点と、決定された前記対応点とに基づいて前記被写体の大きさを計測する計測処理部と、を有することを特徴とする内視鏡装置である。

また、本発明の内視鏡装置において、前記信頼度算出部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補同士の前記第２の被写体像上の距離に基づいて前記信頼度を算出することを特徴とする。

また、本発明の内視鏡装置において、前記信頼度算出部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補の位置と、前記複数のマッチング手法のそれぞれに対応する優先度係数とに基づいて前記信頼度を算出することを特徴とする。

また、本発明の内視鏡装置において、前記対応点決定部は、前記信頼度が所定値以上である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補の位置と、前記複数のマッチング手法のそれぞれに対応する優先度係数とに基づいて前記対応点を決定することを特徴とする。

また、本発明の内視鏡装置において、前記信頼度算出部は、過去に前記複数のマッチング手法のそれぞれに対応する前記対応点の候補を算出した結果に基づいて、前記複数のマッチング手法のそれぞれに対応する優先度係数を算出することを特徴とする。

また、本発明の内視鏡装置において、前記優先度係数は、前記対応点の候補を算出したときの条件毎に設けられていることを特徴とする。

また、本発明の内視鏡装置において、前記表示処理部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補のうち、重複する前記対応点の候補を同一の表示形態で前記画像に表示する処理を行うことを特徴とする。

また、本発明の内視鏡装置において、前記表示処理部は、重複する前記対応点の候補の数を、当該対応点の候補の近傍に表示する処理を行うことを特徴とする。

また、本発明の内視鏡装置において、前記表示処理部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補を、前記複数のマッチング手法のそれぞれに対応する優先度係数に応じた表示形態で前記画像に表示する処理を行うことを特徴とする。

また、本発明の内視鏡装置において、前記対応点候補算出部はさらに、前記複数のマッチング手法とは異なるマッチング手法を用いて前記対応点の候補を算出し、前記表示処理部は、前記信頼度が所定値未満であり、かつ、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補の表示が指示された場合に、前記計測点と、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補と、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補とを前記画像に表示する処理を行い、前記対応点決定部は、前記信頼度が所定値未満であり、かつ、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補の表示が指示された場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補と、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補とのうち指定された前記対応点の候補を対応点に決定することを特徴とする。

また、本発明の内視鏡装置において、前記表示処理部は、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補を前記画像に表示する際、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補のうち、前記複数のマッチング手法を用いて算出された前記対応点の候補と重複する、または前記複数のマッチング手法とは異なるマッチング手法を用いて算出された他の前記対応点の候補と重複する前記対応点の候補のみを表示することを特徴とする。

また、本発明の内視鏡装置において、前記表示処理部は、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補を前記画像に表示する際、既に表示された前記対応点の候補のうちのいずれかを非表示とすることにより、表示される前記対応点の候補の数を一定に保つことを特徴とする。

また、本発明は、同一の被写体に対応する第１の被写体像および第２の被写体像を撮像して生成された画像データに基づく画像の前記第１の被写体像上で設定された計測点に対応する前記第２の被写体像上の点である対応点の候補を、複数のマッチング手法を用いて算出するステップと、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいてマッチングの信頼度を算出するステップと、前記信頼度が所定値未満である場合に、前記計測点と、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補とを前記画像に表示する処理を行うステップと、前記信頼度が所定値以上である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいて前記対応点を決定し、前記信頼度が所定値未満である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補のうち指定された前記対応点の候補を対応点に決定するステップと、前記計測点と、決定された前記対応点とに基づいて前記被写体の大きさを計測するステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、複数のマッチング手法を用いることによって、マッチングの誤対応が起きないマッチング結果が得られやすくなり、画像の取り直しを行う必要が減る。また、マッチングの信頼度が所定値以上である場合には、自動で対応点が決定されるため、ユーザの手間が増えない。また、マッチングの信頼度が所定値未満である場合には、複数のマッチング手法のそれぞれに対応する対応点の候補のうち指定された対応点の候補が対応点に決定されるため、手動による対応点の修正に比べて、ユーザの手間が減る。したがって、マッチングの誤対応を減らし、ユーザの手間を軽減することができる。

本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の一実施形態による内視鏡装置が取得した画像を示す参考図である。 本発明の一実施形態による内視鏡装置が取得した画像を示す参考図である。 本発明の一実施形態による内視鏡装置が取得した画像を示す参考図である。 本発明の一実施形態による内視鏡装置が取得した画像を示す参考図である。 本発明の一実施形態による内視鏡装置が取得した画像を示す参考図である。 本発明の一実施形態による内視鏡装置が取得した画像を示す参考図である。 本発明の一実施形態による内視鏡装置が取得した画像を示す参考図である。 ステレオ計測による計測点の３次元座標の求め方を説明するための参考図である。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、内視鏡２と、この内視鏡２に接続された装置本体３とを備えている。内視鏡２は、細長な挿入部２０と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部６とを備えている。装置本体３は、内視鏡２で撮像された被写体の画像や操作制御内容（例えば処理メニュー）等を表示するモニタ４と、内部に制御ユニット１０（図２参照）を有する筐体５とを備えている。

挿入部２０は、硬質な先端部２１と、例えば上下左右に湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを先端側から順に連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタや観察視野が１つの通常観察光学アダプタ等、各種光学アダプタが着脱自在になっている。

図２に示すように筐体５内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられている。挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。ＣＣＵ９は、撮像素子２８を駆動する駆動装置（不図示）を備えて構成されている。

先端部２１には撮像素子２８が内蔵されている。撮像素子２８は、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、カードＩ／Ｆ１５（カードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、ＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）、およびＣＰＵ１８が設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行う操作部６が接続されている。ユーザが操作部６を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、制御ユニット１０とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介して制御ユニット１０とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示に基づく制御を行うことが可能になると共に、制御ユニット１０とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、カードＩ／Ｆ１５には、メモリカード３２を自由に着脱することができるようになっている。メモリカード３２をカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御に従って、このメモリカード３２に記憶されている制御処理情報や画像情報等のデータの制御ユニット１０への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード３２への記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された映像信号に基づく内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８により生成される、操作メニューに基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、モニタ４の画面上に表示するのに必要な処理等を行い、表示信号をモニタ４に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ４の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、内視鏡装置１全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

ＣＰＵ１８が実行するプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータに読み込ませ、実行させてもよい。例えば、パーソナルコンピュータ３１がプログラムを読み込んで実行し、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信して内視鏡装置１を制御し、内視鏡装置１から映像信号を取得して、取得した映像信号を用いて計測を行ってもよい。

ここで、「コンピュータ」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本実施形態では、左右の２つの観察視野を有するステレオ光学アダプタが先端部２１に装着された状態で画像が取得される。被写体からの光がステレオ光学アダプタに入射し、ステレオ光学アダプタによって、同一の被写体に対応する左右の２つの被写体像（第１の被写体像および第２の被写体像）が形成される。２つの被写体像は撮像素子２８に入射し、撮像素子２８によって撮像される。取得された画像は、２つの被写体像を含む画像となる。本実施形態では、取得された画像のうち、２つの被写体像に対応する領域の画像を左画像、右画像と定義する。

図３は、ＣＰＵ１８のうち、本実施形態の説明の中心となる部分の機能構成を示している。制御部１８０、計測点設定部１８１、対応点候補算出部１８２、信頼度算出部１８３、表示処理部１８４、対応点決定部１８５、および計測処理部１８６によってＣＰＵ１８の機能が構成されている。

制御部１８０は各部が行う処理を制御する。計測点設定部１８１は、ユーザが操作部６を操作して、画像データに基づく左画像上で指定した計測位置に計測点を設定する。対応点候補算出部１８２は、複数のマッチング手法を用いて、画像データに基づく右画像において、左画像上で設定された計測点に対応する対応点の候補（以下、対応点候補と記載）を算出する。信頼度算出部１８３は、複数のマッチング手法のそれぞれに対応する対応点候補に基づいてマッチングの信頼度を算出する。

表示処理部１８４は、対応点候補の位置をユーザに確認させるため、画像データに基づく画像に対して、計測点と、複数のマッチング手法のそれぞれに対応する対応点候補とのグラフィック（マーク）を重畳するための処理を行う。対応点決定部１８５は、算出された対応点候補に基づいて、計測処理に用いる対応点を決定する。計測処理部１８６は、計測点と、決定された対応点との画像上の２次元座標に基づいて空間上の３次元座標を算出し、複数の計測点に対応する３次元座標に基づいて、被写体の大きさを計測する。

次に、本実施形態におけるステレオ計測の原理を説明する。ステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元空間座標を求めることで、各種計測（ステレオ計測）が可能となる。以下、図１３を参照しながら、ステレオ計測による計測点の３次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、左側と右側の光学中心６３，６４を結ぶ線分の中点を原点Ｏとして右方向を正にｘ軸、下方向を正にｙ軸、光軸と平行に光学系から遠ざかる方向を正にｚ軸を定義した時の計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左右の画像面上での計測点６１，対応点６２の２次元座標を、左右それぞれの光学系の光軸と画像面との交点Ｏ_Ｌ、Ｏ_Ｒを原点として（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（Ｘ_Ｒ−Ｘ_Ｌ）とする。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２ ・・・（１）
Ｙ＝−ｔ×Ｙ_Ｒ ・・・（２）
Ｚ＝ｔ×Ｆ ・・・（３）

上記のように元画像上の画像面上での計測点６１、対応点６２の座標が決定されると、パラメータＤおよびＦを用いて計測点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心６３または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。物体距離は、先端部２１から被写体までの距離であって、例えば撮像素子２８または観察光学系から被写体までの距離である。上記のステレオ計測を行うためには、先端部２１とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、マッチング処理および光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

次に、本実施形態における計測処理の詳細を説明する。図４は、計測時の内視鏡装置１の動作の手順を示している。内視鏡２で取得された画像（静止画像）がモニタ４に表示された後、ユーザが操作部６を介して、画像データに基づく左画像上の計測位置を指定すると、計測点設定部１８１は、指定された計測位置の２次元座標を算出し、その位置に計測点を設定する（ステップＳ１）。続いて、マッチング処理（ステップＳ２）が行われ、画像データに基づく右画像上の対応点が決定される。マッチング処理の詳細については後述する。

マッチング処理が終了した後、計測処理部１８６は、計測点と対応点の画像上の２次元座標に基づいて空間上の３次元座標を算出する（ステップＳ３）。続いて、制御部１８０は、計測点の設定が終了したか否かを判定する（ステップＳ４）。ユーザによる計測位置の指定が継続する場合には、ステップＳ１で次の計測点が設定される。また、ユーザによる計測位置の指定が終了した場合には、計測処理部１８６は、ステップＳ３で算出した３次元座標に基づいて、２点間距離等を算出する３次元計測を行う（ステップＳ５）。続いて、表示処理部１８４は、画像データに基づく画像に対して、計測処理部１８６が算出した計測結果がグラフィック（文字）で重畳された画像をモニタ４に表示させる処理を行う（ステップＳ６）。これによって、モニタ４に計測結果が表示される。計測結果が表示されると、計測処理が終了する。

図５は、マッチング処理（ステップＳ２）の手順を示している。まず、マッチング処理の概要を説明する。マッチング処理では複数のマッチング手法により複数の対応点候補が算出される。複数の対応点候補の信頼性が高い場合には、ユーザの指示に無関係な所定の基準に従って自動で対応点が決定される。また、複数の対応点候補の信頼性が低い場合には、複数の対応点候補の中から対応点に適した対応点候補をユーザが選択し、選択された対応点候補が対応点に決定される。

以下、マッチング処理の詳細を説明する。制御部１８０は、対応点の算出に用いるマッチング手法に対応する変数ｉの値を０に設定する（ステップＳ２００）。続いて、対応点候補算出部１８２は、変数ｉの値に対応するマッチング手法を用いて、左画像上で設定された計測点に対応する右画像上の対応点候補の２次元座標を算出する（ステップＳ２０５）。

本実施形態では、一例として、３種類のマッチング手法を用いる。例えば、テンプレートマッチングを行うマッチング手法Ａ、濃淡のエッジ部分などの特徴点でマッチングを行うマッチング手法Ｂ、画像をフーリエ変換した位相成分の相関を計算する位相限定相関法（ＰＯＣ：Phase Only Correlation）を用いたマッチング手法Ｃを用いる。上記のマッチング手法の他に、テンプレートマッチングで使用する相関関数が異なる手法（例えば、ＮＣＣ（Normalized Cross-Correlation）、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）など）を用いてもよい。その他、テンプレートのサイズや形状が異なる手法を用いてもよい。さらに、テンプレートマッチングを行う画像の解像度が異なる手法や、画像処理（二値化、ノイズ除去、各種フィルタリング）が異なる手法を用いてもよいし、画像の輝度情報だけでなく色情報を使用する手法を用いてもよい。対応点候補の算出に用いるマッチング手法は予め設定されているが、ユーザがマッチング手法を変更できるようにしてもよい。

本実施形態では、それぞれのマッチング手法に対応する優先度係数が設けられている。例えば、マッチング手法Ａの優先度係数は1.0、マッチング手法Ｂの優先度係数は0.8、マッチング手法Ｃの優先度係数は0.6である。優先度係数は、マッチングの信頼度を算出する処理や、複数の対応点候補の中から対応点を決定する処理に対して各対応点候補が与える影響の大きさ（優先度）を示している。優先度係数が大きいほど優先度が高い。各マッチング手法の優先度係数は予め設定されているが、ユーザがその値を変更できるようにしてもよい。

対応点候補が算出された後、制御部１８０は、変数ｉの値が所定値と等しいか否かを判定することにより、全てのマッチング手法を用いて対応点候補を算出したか否かを判定する（ステップＳ２１０）。３種類のマッチング手法を用いる場合、所定値は２である。対応点候補の算出を行っていないマッチング手法がある場合、制御部１８０は変数ｉの値を１だけ増加させる（ステップＳ２１５）。続いて、ステップＳ２０５で対応点候補の算出が再度行われる。

全てのマッチング手法を用いて対応点候補を算出した場合、信頼度算出部１８３は、複数のマッチング手法のそれぞれに対応する対応点候補の２次元座標に基づいてマッチングの信頼度を算出する（ステップＳ２１５）。この信頼度は、それぞれのマッチング手法毎のマッチングの信頼性を示すのではなく、複数のマッチング手法を用いて行ったマッチング全体の信頼性を示している。

ステップＳ２１５では、以下のようにしてマッチングの信頼度が算出される。例えば、マッチングの信頼度は、それぞれの対応点候補間の画像上の距離に基づいて算出される。それぞれの対応点候補間の画像上の距離が近いほど、マッチングの信頼度は高くなりやすい。より具体的には、マッチングの信頼度は、算出された対応点候補のうち、視差量が中央値である対応点候補を中心とする所定距離Ｒ（例えば３ピクセル）内に入っている対応点候補の優先度係数の和として算出される。計測点の２次元座標を（Ｘ_Ｌ，Ｙ_Ｌ）、対応点候補の２次元座標を（Ｘ_Ｒ，Ｙ_Ｒ）とすると、視差量はＸ_Ｒ−Ｘ_Ｌである。所定距離Ｒの値は予め設定されているが、ユーザがその値を変更できるようにしてもよい。

マッチングの信頼度を優先度係数の和として算出することで、マッチングの信頼度に閾値を設けて判定を行う場合に、対応点候補の優先度に応じた判定を行うことができ、より正確に判定を行うことができる。例えば、マッチング手法Ａ，Ｂ，Ｃを用いて算出した対応点候補の優先度係数の和は2.4であり、マッチング手法Ａ，Ｂを用いて算出した対応点候補の優先度係数の和は1.8であり、マッチング手法Ａ，Ｃを用いて算出した対応点候補の優先度係数の和は1.6であり、マッチング手法Ｂ，Ｃを用いて算出した対応点候補の優先度係数の和は1.4である。閾値が1.5である場合には、マッチング手法Ａ，Ｂ，Ｃを用いた場合、マッチング手法Ａ，Ｂを用いた場合、およびマッチング手法Ａ，Ｃを用いた場合の優先度係数の和は閾値を超えるが、優先度係数が低いマッチング手法Ｂ，Ｃを用いた場合の優先度係数の和は閾値を超えないこととなる。

算出された対応点候補のうち、優先度係数が最も高い対応点候補を中心とする所定距離Ｒ内に入っている対応点候補の優先度係数の和をマッチングの信頼度としてもよい。上記のように、距離が近い対応点候補のみを使用してマッチングの信頼度を算出することによって、距離が遠い対応点候補、すなわち真の対応点ではない可能性が高い対応点候補の影響を排除することができる。

マッチングの信頼度の算出に優先度係数を使用しなくてもよい。例えば、視差量が中央値である対応点候補を中心とする所定距離Ｒ内に入っている対応点候補の数ｎと、対応点候補の算出に使用したマッチング手法の数Ｎとの比ｎ／Ｎをマッチングの信頼度としてもよい。

マッチングの信頼度が所定値以上であった場合、対応点決定部１８５は、複数の対応点候補に基づいて所定の基準で対応点を決定する（ステップＳ２２５）。ステップＳ２２５では、以下のようにして対応点が決定される。例えば、ステップＳ２１５でマッチングの信頼度を算出した際に求めた、視差量が中央値である対応点候補を中心とする所定距離Ｒ内に入っている全ての対応点候補の２次元座標が一致する場合には、その２次元座標の点が対応点に決定される。

また、視差量が中央値である対応点候補を中心とする所定距離Ｒ内に入っている全ての対応点候補の２次元座標が完全には一致しない場合には、それらの対応点候補の２次元座標を平均化した２次元座標の点が対応点に決定される。対応点候補の２次元座標を平均化することで、対応点の位置が１ピクセル以下の精度で求まり、より計測精度の高い結果が得られる。

視差量が中央値である対応点候補を中心とする所定距離Ｒ内に入っている全ての対応点候補の２次元座標に対して、優先度係数による重み付けを行い、重み付け後の２次元座標を平均化した２次元座標の点を対応点としてもよい。あるいは、それぞれのマッチング手法を用いてマッチングを行った結果の信頼性を示す値（例えば、テンプレートマッチングであれば相関係数）を優先度係数の代わりに用いて上記の重み付けを行ってもよい。

優先度係数が最も高いマッチング手法を用いて得られた対応点候補を対応点としてもよい。あるいは、それぞれのマッチング手法を用いてマッチングを行った結果の信頼性を示す値（例えば、テンプレートマッチングであれば相関係数）が最も高い対応点候補を対応点としてもよい。

マッチングの信頼度が所定値未満であった場合、表示処理部１８４は、計測点と複数の対応点候補を表示するためのグラフィック画像信号を生成し、映像信号処理回路１２に出力する。映像信号処理回路１２は、このグラフィック画像信号とＣＣＵ９からの映像信号を合成した表示信号をモニタ４に出力する。モニタ４は、表示信号に基づく画像を表示することにより、計測点と複数の対応点候補が重畳された画像を表示する（ステップＳ２３５）。

図６は、計測点と複数の対応点候補が重畳された画像の一例を示している。モニタ４の画面に表示された画像６００において、左画像６００Ｌには、ユーザが指定した計測点ＰＬが表示され、右画像６００Ｒには、マッチング手法Ａに対応した対応点候補ＰＲ１、マッチング手法Ｂに対応した対応点候補ＰＲ２、マッチング手法Ｃに対応した対応点候補ＰＲ３が表示されている。それぞれの対応点候補は、その対応点候補の算出に用いたマッチング手法毎に異なる表示形態で表示される。図６に示す例では、それぞれの対応点候補は、マッチング手法毎に異なる形状で表示されている。それぞれの対応点候補を、その対応点候補の算出に用いたマッチング手法毎に異なる色で表示してもよい。

また、それぞれの対応点候補を、その対応点候補の算出に用いたマッチング手法の優先度係数毎に異なる表示形態で表示してもよい。例えば、優先度係数が大きいほど対応点候補が大きく表示されるように、優先度係数に応じた大きさで対応点候補を表示してもよい。あるいは、優先度係数が大きい対応点候補だけを異なる色で表示する、優先度係数が大きい対応点候補だけを点滅させるなど強調して表示してもよい。

テンプレートマッチングを用いて対応点候補を算出した場合、相関係数に応じた表示形態でそれぞれの対応点候補を表示してもよい。あるいは、それぞれの対応点候補のエピポーララインからのズレ量に応じた表示形態でそれぞれの対応点候補を表示してもよい。

マッチング手法の特性に応じた表示形態でそれぞれの対応点候補を表示してもよい。例えばテンプレートマッチングでは、光学系の光軸に平行な方向に段差がある被写体に対するマッチングの信頼性が相対的に低く、周期性の低い模様を有する被写体に対するマッチングの信頼性が相対的に高いという特性がある。また、濃淡のエッジ部分などの特徴点によるマッチングでは、光学系の光軸に平行な方向に段差がある被写体に対するマッチングの信頼性が相対的に高く、明確な特徴のある模様を有していない被写体に対するマッチングの信頼性が相対的に低いという特性がある。例えば、ユーザの指示に応じて、テンプレートマッチングを用いて算出された対応点候補のみを強調して表示し、あるいは特徴点によるマッチングを用いて算出された対応点候補のみを強調して表示してもよい。

複数の対応点候補が表示された後、ユーザは、操作部６を介して、正しいと思う対応点候補を選択する。いずれかの対応点候補が選択されると、対応点決定部１８５は、選択された対応点候補を対応点に決定する（ステップＳ２４０）。上記のように各種の表示形態で対応点候補を表示することによって、ユーザは多角的な指標で対応点の確からしさを確認することができ、より正確に対応点候補を選択することができる。

ステップＳ２２５，Ｓ２４０で対応点が決定された後、表示処理部１８４は、決定された対応点を表示するためのグラフィック画像信号を生成し、映像信号処理回路１２に出力する。映像信号処理回路１２は、このグラフィック画像信号とＣＣＵ９からの映像信号を合成した表示信号をモニタ４に出力する。モニタ４は、表示信号に基づく画像を表示することにより、計測点と対応点が重畳された画像を表示する（ステップＳ２３０）。

図７は、計測点と対応点が重畳された画像の一例を示している。モニタ４の画面に表示された画像６００において、左画像６００Ｌには、ユーザが指定した計測点ＰＬが表示され、右画像６００Ｒには、決定された対応点ＰＲが表示される。対応点が表示されると、マッチング処理が終了する。

本実施形態では、複数のマッチング手法を用いることで、マッチングの誤対応が起きないマッチング結果が得られやすくなる。マッチング手法によってはマッチングの誤対応が発生しやすい画像が取得された場合でも、その画像に適したマッチング手法を用いてマッチングの誤対応が起きなければ、画像の取り直しを行わなくてよい。また、マッチングの信頼度が高い場合には、自動で対応点が決定されるため、ユーザの手間が増えない。また、マッチングの信頼度が低い場合には、複数のマッチング手法のそれぞれに対応する対応点候補のうちユーザが指定した対応点候補が対応点に決定されるため、手動による対応点の修正に比べて、ユーザの手間が減る。したがって、マッチングの誤対応を減らし、ユーザの手間を軽減することができる。

次に、本実施形態の変形例を説明する。

（第１の変形例）
第１の変形例は、ステップＳ２３５で複数の対応点候補を表示する方法に関する。第１の変形例では、３種類のマッチング手法を用いて３つの対応点候補を算出し、ステップＳ２３５で３つの対応点候補を表示した後の処理を説明する。図８は、ステップＳ２３５で表示される画像の一例を示している。計測点ＰＬと３つの対応点候補ＰＲ１，ＰＲ２，ＰＲ３が表示されている。いずれの対応点候補も、計測点ＰＬの位置に正確に対応する位置にない。ユーザは、操作部６を介して指示を入力することにより、対応点候補を増やすことができる。

新たな対応点候補を算出する指示が入力されると、対応点候補算出部１８２は、既に用いたマッチング手法とは異なるマッチング手法を用いて、新たな対応点候補を算出する。このとき、複数のマッチング手法を用いて複数の対応点候補を新たに算出してもよい。表示処理部１８４は、新たに算出された対応点候補を表示するためのグラフィック画像信号を生成し、映像信号処理回路１２に出力する。以降、前述した処理と同様にして、画像がモニタ４の画面に表示される。

図９は、新たに算出された対応点候補を含む画像の一例を示している。図８に示す画像と比べて、対応点候補ＰＲ４，ＰＲ５，ＰＲ６が追加されている。新たに算出された対応点候補ＰＲ４が、計測点ＰＬに対応する位置にあることが分かる。この場合、ユーザが対応点候補ＰＲ４を選択すると、対応点決定部１８５は、選択された対応点候補ＰＲ４を対応点に決定する。

以下のようにして新たな対応点候補を算出してもよい。テンプレートマッチングを行うマッチング手法では、相関係数が最も高い点が対応点候補となる。対応点候補算出部１８２は、ステップＳ２０５でテンプレートマッチングにより対応点候補を算出した場合、そのときに算出した相関係数が上位の１または複数の点を新たな対応点候補とする。

上記のように対応点候補を増やすことで、計測点の位置に正確に対応する位置にある対応点候補が算出される可能性が高くなり、画像の取り直しや手動による対応点の修正などのユーザの手間が発生しにくくなる。ステップＳ２３５で複数の対応点候補を表示した後、ユーザによって新たな対応点候補の算出が指示されたときに対応点候補を新たに算出してもよいし、ステップＳ２０５において、ステップＳ２３５で表示する対応点候補以外の対応点候補についても予め算出しておき、ステップＳ２３５で複数の対応点候補を表示した後、ユーザによって新たな対応点候補の表示が指示されたときに新たな対応点候補を表示してもよい。また、ユーザの指示に基づいて新たな対応点候補の算出と表示を繰り返し行えるようにしてもよい。

上記のように対応点候補を増やした結果、対応点候補の数が増えすぎると、ユーザが対応点候補の選択を行うのが面倒になる。このため、以下のようにしてもよい。

複数の対応点候補が重複する場合（複数の対応点候補の２次元座標が一致する、または画像上の距離が所定距離以下である場合）、それらの対応点候補の信頼性が高いことをユーザに知らせるため、重複する対応点候補を強調して表示してもよい。例えば、対応点候補算出部１８２は、ステップＳ２３５で表示された複数の対応点候補および新たな対応点候補を含む全ての対応点候補同士の距離を算出し、重複する対応点候補があるか否かを判定する。複数の対応点候補が重複する場合、表示処理部１８４は、重複する対応点候補を強調して表示するためのグラフィック画像信号を生成し、映像信号処理回路１２に出力する。以降、前述した処理と同様にして、画像がモニタ４の画面に表示される。

図１０は、新たに算出された対応点候補を含む画像の一例を示している。図８に示す画像と比べて、対応点候補ＰＲ４，ＰＲ５，ＰＲ６が追加されており、対応点候補ＰＲ４，ＰＲ５が重なり、他の対応点候補よりも大きく表示されている。重なった複数の対応点候補を強調して表示する方法は他の方法でもよく、異なる色で表示する、点滅させるなどの方法を用いてもよい。

上記のように、重複する対応点候補が強調されるので、ユーザは信頼性の高い対応点候補を識別しやすくなる。したがって、対応点候補の数が増えてもユーザが対応点候補を選択しやすくなる。

上記のように新たに算出された対応点候補のうち、ステップＳ２３５で表示された複数の対応点候補および新たに算出された他の対応点候補のいずれかと重複する対応点候補（２次元座標が一致する対応点候補、または画像上の距離が所定距離以下である対応点候補）だけを表示し、そうでない対応点候補を表示しないようにしてもよい。すなわち、ステップＳ２３５で表示された複数の対応点候補はそのまま表示され続けるが、新たに算出された対応点候補は、いずれかの対応点候補と重複する場合のみ表示される。

例えば、対応点候補算出部１８２は、新たに算出された対応点候補と、ステップＳ２３５で表示された複数の対応点候補および新たに算出された他の対応点候補との間の距離を算出し、新たに算出された対応点候補がいずれかの対応点候補と重複するか否かを判定する。新たに算出された対応点候補がいずれかの対応点候補と重複する場合、表示処理部１８４は、重複する対応点候補を表示するためのグラフィック画像信号を生成し、映像信号処理回路１２に出力する。以降、前述した処理と同様にして、画像がモニタ４の画面に表示される。

上記のように、新たに算出された対応点候補については、いずれかの対応点候補と重複する場合のみ表示することによって、対応点候補の数が増えてもユーザが対応点候補を選択しやすくなる。新たな対応点候補の算出と表示を繰り返し行う場合には、新たに算出された対応点候補を表示する際、新たに算出された対応点候補と、表示中の対応点候補および新たに算出された他の対応点候補との間の距離を算出し、新たに算出された対応点候補がいずれかの対応点候補と重複するか否かを判定すればよい。

表示する対応点候補の数に上限を設定し、一定数の対応点候補が表示されるようにしてもよい。例えば、対応点候補算出部１８２は、ステップＳ２３５で表示された複数の対応点候補と、新たに算出された対応点候補との数の合計が所定の数以上であるか否かを判定する。合計が所定の数未満であった場合、新たに算出された対応点候補を含む全ての対応点候補が表示される。また、合計が所定の数以上であった場合、表示処理部１８４は、ステップＳ２３５で表示された複数の対応点候補のうち、上記の合計と所定の数との差分に等しい数の対応点候補を非表示とし、新たに算出された対応点候補を表示するためのグラフィック画像信号を生成し、映像信号処理回路１２に出力する。以降、前述した処理と同様にして、画像がモニタ４の画面に表示される。表示する対応点候補の数の上限をユーザが設定できるようにしてもよい。

上記のように、表示される対応点候補の数を一定に保つことによって、対応点候補の数が増えても、画像の視認性の低下を防止することができ、ユーザが対応点候補を選択しやすくなる。新たな対応点候補の算出と表示を繰り返し行う場合には、新たに算出された対応点候補を表示する際、表示される対応点候補の数が一定となるように、表示中の対応点候補のうちのいずれか（例えば、最も古い対応点候補や、相関係数が最も小さい対応点候補、エピポーララインからのズレ量が大きい候補など）を非表示とすればよい。

（第２の変形例）
第２の変形例は、ステップＳ２３５で複数の対応点候補を表示する方法に関する。第２の変形例では、５種類のマッチング手法を用いて５つの対応点候補を算出し、ステップＳ２３５で５つの対応点候補を表示した後の処理を説明する。図１１は、ステップＳ２３５で表示される画像の一例を示している。計測点ＰＬと５つの対応点候補ＰＲ１，ＰＲ２，ＰＲ３，ＰＲ４，ＰＲ５が表示されている。３つの対応点候補ＰＲ１，ＰＲ２，ＰＲ４は同一の位置にある。図１１では３つの対応点候補が重複するため、画像の視認性が低下する。このため、複数の対応点候補が重複する場合（複数の対応点候補の２次元座標が一致する、または画像上の距離が所定距離以下である場合）、それらの対応点候補を同一の表示形態で表示してもよい。

例えば、対応点候補算出部１８２は、複数の対応点候補同士の画像上の距離を算出し、対応点候補が重複するか否かを判定する。重複する複数の対応点候補がある場合、表示処理部１８４は、重複する対応点候補を同一のグラフィック（マーク）で表示するためのグラフィック画像信号を生成し、映像信号処理回路１２に出力する。以降、前述した処理と同様にして、画像がモニタ４の画面に表示される。

図１２は、重複する対応点候補を含む画像の一例を示している。図１２では、重複する３つの対応点候補を示すマークＭ１と、図１１の対応点候補ＰＲ３を示すマークＭ２と、図１１の対応点候補ＰＲ５を示すマークＭ３とが表示されている。重複する３つの対応点候補は同一のマークＭ１として表示され、マークＭ１は、マークＭ２，Ｍ３を構成する線よりも太い線で表示され、強調されている。また、それぞれのマークの近傍には、そのマークに対応する対応点候補の数が表示されている。例えば、３つの対応点候補を示すマークＭ１の近傍には「３」が表示され、１つの対応点候補を示すマークＭ２，Ｍ３の近傍には「１」が表示されている。

上記のように、重複する対応点候補が同一のマークで表示されるので、画像の視認性の低下を低減することができる。また、対応点候補の数がマークの近傍に表示されるので、対応点候補が重複しているか否か、すなわちどの対応点候補の信頼性が高いのかをユーザに分かりやすく知らせることができる。

（第３の変形例）
第３の変形例はマッチング手法の優先度係数の算出方法に関する。過去の対応点候補の算出結果に基づいて優先度係数を算出してもよい。例えば、信頼度算出部１８３は、複数のマッチング手法を用いて対応点候補を算出した際、算出された対応点候補のうち、視差量が中央値である対応点候補を中心とする所定距離Ｒ（例えば３ピクセル）内に入っている対応点候補についてはマッチングが成功したとみなし、その他の対応点候補についてはマッチングが失敗したとみなす。信頼度算出部１８３は、複数のマッチング手法のそれぞれに対して、マッチングの成功・失敗の結果を保持しておき、複数の計測点に対する対応点候補の算出結果に基づいて、複数のマッチング手法のそれぞれの優先度係数を算出する。

例えば、１０点以上の計測点に対する対応点候補が算出されたら、信頼度算出部１８３はマッチング手法毎に優先度係数を算出する。優先度係数は、対応点候補を算出した回数に対する、マッチングが成功した回数の割合であるマッチングの成功率として算出される。

上記のように、過去の対応点候補の算出結果に基づいて優先度係数を算出することによって、過去のマッチング結果を信頼度の算出や対応点の決定に反映させ、マッチングの信頼性を向上させることができる。

上記の方法を用いて、マッチングの成功率に影響する条件毎に優先度係数を算出してもよい。マッチングの成功率に影響する条件は、計測対象や、画像データに基づく条件などである。計測対象は、特定の被写体であってもよいし、被写体中の特定の領域などであってもよい。画像データに基づく条件は、物体距離、テクスチャ値、輝度値などである。画像データに基づく条件は、画像にハレーションが含まれるか否かという条件であってもよい。信頼度算出部１８３は、複数のマッチング手法のそれぞれについて、上記の条件毎に優先度係数を算出して管理する。つまり、複数のマッチング手法のそれぞれについて、計測対象毎の優先度係数、物体距離毎の優先度係数、テクスチャ値毎の優先度係数、輝度値毎の優先度係数が算出される。

例えば、信頼度算出部１８３は、複数のマッチング手法を用いて対応点候補を算出した際、上記のようにして、マッチング手法毎にマッチングが成功したか失敗したかを判定する。信頼度算出部１８３は、マッチング手法毎に、そのときの計測対象の情報と関連付けてマッチングの成功・失敗の結果を保持する。あるいは、信頼度算出部１８３は、そのとき対応点候補の算出に用いた画像データに基づいて物体距離、テクスチャ値、輝度値のいずれかを算出し、マッチング手法毎に、算出した値（あるいは算出した値を含む所定の範囲）と関連付けてマッチングの成功・失敗の結果を保持する。物体距離を算出する場合、３次元座標の算出が必要となるので、図４のステップＳ３で行われる処理がステップＳ２のマッチング処理内で行われる。

信頼度算出部１８３は、それぞれのマッチング手法の優先度係数を算出する際、同一の計測対象について、あるいは同一の物体距離、テクスチャ値、輝度値について（あるいはそれらに関する同一の範囲について）のマッチングの成功・失敗の結果に基づいて、条件毎に優先度係数を算出する。例えば、ユーザは、特定の計測対象の計測を行う場合に、事前に同一の計測対象に対して繰り返し計測点を設定して対応点候補の算出を行い、複数のマッチング手法のそれぞれの優先度係数の算出を行う。

上記のように、条件毎に優先度係数を設けることで、マッチングの信頼性を向上させることができる。

上述したように、本実施形態によれば、複数のマッチング手法を用いて複数の対応点候補を算出し、マッチングの信頼度が低い場合には、ユーザが選択した対応点候補を対応点に決定し、マッチングの信頼度が高い場合には、複数の対応点候補から自動で選択した対応点候補を対応点に決定することによって、マッチングの誤対応を減らし、ユーザの手間を軽減することができる。

また、マッチング手法の優先度係数を用いて、マッチングの信頼度の算出あるいは対応点の決定を行うことによって、マッチングの信頼度あるいは対応点に対して、特定のマッチング手法によるマッチングの結果をより大きく反映させることができる。例えば、特定の計測対象を撮影した画像を用いる場合に、マッチングの信頼度あるいは対応点に対して、特定の計測対象に適したマッチングの結果をより大きく反映させることができる。

また、過去の対応点候補の算出結果に基づいて、マッチング手法の優先度係数を算出することによって、過去のマッチング結果をマッチングの信頼度の算出や対応点の決定に反映させ、マッチングの信頼性を向上させることができる。さらに、対応点候補を算出したときの計測対象、物体距離、テクスチャ値、輝度値などの条件毎に優先度係数を設けることによって、マッチングの信頼性を向上させることができる。

また、複数のマッチング手法を用いて算出した複数の対応点候補を表示する際、重複する対応点候補を同一の表示形態で表示することによって、画像の視認性の低下を低減することができる。さらに、重複する対応点候補の数を対応点候補の近傍に表示することによって、対応点候補が重複しているか否か、すなわちどの対応点候補の信頼性が高いのかをユーザに分かりやすく知らせることができる。

また、複数のマッチング手法を用いて算出した複数の対応点候補を表示する際、複数のマッチング手法のそれぞれに対応する優先度係数に応じた表示形態で対応点候補を表示することによって、ユーザに対して、特定のマッチング手法によるマッチングの結果をより明確に知らせることができる。例えば、特定の計測対象を撮影した画像を用いる場合に、特定の計測対象に適したマッチング手法を用いて算出された対応点候補をより大きく表示することによって、ユーザがより信頼性の高い対応点候補を選択しやすくなる。

また、複数のマッチング手法を用いて複数の対応点候補を算出した後、新たな対応点候補の算出がユーザから指示された場合に、複数のマッチング手法とは異なるマッチング手法を用いて、新たな対応点候補を算出することによって、画像の取り直しや手動による対応点の修正などのユーザの手間を軽減することができる。

また、新たに算出された対応点候補を表示する際、新たに算出された対応点候補のうち、他の対応点候補と重複する対応点候補のみを表示することによって、対応点候補の数が増えても、ユーザが対応点候補を選択しやすくなる。

また、新たに算出された対応点候補を表示する際、表示される対応点候補の数を一定に保つことによって、画像の視認性の低下を防止することができ、ユーザが対応点候補を選択しやすくなる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１ 内視鏡装置、２ 内視鏡、３ 装置本体、４ モニタ（表示部）、５ 筐体、６ 操作部、８ 内視鏡ユニット、９ ＣＣＵ、１０ 制御ユニット、１２ 映像信号処理回路、１３ ＲＯＭ、１４ ＲＡＭ、１８ ＣＰＵ、２８ 撮像素子（撮像部）、１８０ 制御部、１８１ 計測点設定部、１８２ 対応点候補算出部、１８３ 信頼度算出部、１８４ 表示処理部、１８５ 対応点決定部、１８６ 計測処理部

Claims (13)

1. 同一の被写体に対応する第１の被写体像および第２の被写体像を撮像して画像データを生成する撮像部と、
   前記画像データに基づく画像を表示する表示部と、
   前記第１の被写体像上で設定された計測点に対応する前記第２の被写体像上の点である対応点の候補を、複数のマッチング手法を用いて算出する対応点候補算出部と、
   前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいてマッチングの信頼度を算出する信頼度算出部と、
   前記信頼度が所定値未満である場合に、前記計測点と、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補とを前記画像に表示する処理を行う表示処理部と、
   前記信頼度が所定値以上である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいて前記対応点を決定し、前記信頼度が所定値未満である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補のうち指定された前記対応点の候補を対応点に決定する対応点決定部と、
   前記計測点と、決定された前記対応点とに基づいて前記被写体の大きさを計測する計測処理部と、
   を有することを特徴とする内視鏡装置。
2. 前記信頼度算出部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補同士の前記第２の被写体像上の距離に基づいて前記信頼度を算出することを特徴とする請求項１に記載の内視鏡装置。
3. 前記信頼度算出部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補の位置と、前記複数のマッチング手法のそれぞれに対応する優先度係数とに基づいて前記信頼度を算出することを特徴とする請求項１に記載の内視鏡装置。
4. 前記対応点決定部は、前記信頼度が所定値以上である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補の位置と、前記複数のマッチング手法のそれぞれに対応する優先度係数とに基づいて前記対応点を決定することを特徴とする請求項１に記載の内視鏡装置。
5. 前記信頼度算出部は、過去に前記複数のマッチング手法のそれぞれに対応する前記対応点の候補を算出した結果に基づいて、前記複数のマッチング手法のそれぞれに対応する優先度係数を算出することを特徴とする請求項３または請求項４に記載の内視鏡装置。
6. 前記優先度係数は、前記対応点の候補を算出したときの条件毎に設けられていることを特徴とする請求項３または請求項４に記載の内視鏡装置。
7. 前記表示処理部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補のうち、重複する前記対応点の候補を同一の表示形態で前記画像に表示する処理を行うことを特徴とする請求項１に記載の内視鏡装置。
8. 前記表示処理部は、重複する前記対応点の候補の数を、当該対応点の候補の近傍に表示する処理を行うことを特徴とする請求項７に記載の内視鏡装置。
9. 前記表示処理部は、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補を、前記複数のマッチング手法のそれぞれに対応する優先度係数に応じた表示形態で前記画像に表示する処理を行うことを特徴とする請求項１に記載の内視鏡装置。
10. 前記対応点候補算出部はさらに、前記複数のマッチング手法とは異なるマッチング手法を用いて前記対応点の候補を算出し、
    前記表示処理部は、前記信頼度が所定値未満であり、かつ、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補の表示が指示された場合に、前記計測点と、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補と、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補とを前記画像に表示する処理を行い、
    前記対応点決定部は、前記信頼度が所定値未満であり、かつ、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補の表示が指示された場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補と、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補とのうち指定された前記対応点の候補を対応点に決定する
    ことを特徴とする請求項１に記載の内視鏡装置。
11. 前記表示処理部は、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補を前記画像に表示する際、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補のうち、前記複数のマッチング手法を用いて算出された前記対応点の候補と重複する、または前記複数のマッチング手法とは異なるマッチング手法を用いて算出された他の前記対応点の候補と重複する前記対応点の候補のみを表示することを特徴とする請求項１０に記載の内視鏡装置。
12. 前記表示処理部は、前記複数のマッチング手法とは異なるマッチング手法を用いて算出された前記対応点の候補を前記画像に表示する際、既に表示された前記対応点の候補のうちのいずれかを非表示とすることにより、表示される前記対応点の候補の数を一定に保つことを特徴とする請求項１０に記載の内視鏡装置。
13. 同一の被写体に対応する第１の被写体像および第２の被写体像を撮像して生成された画像データに基づく画像の前記第１の被写体像上で設定された計測点に対応する前記第２の被写体像上の点である対応点の候補を、複数のマッチング手法を用いて算出するステップと、
    前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいてマッチングの信頼度を算出するステップと、
    前記信頼度が所定値未満である場合に、前記計測点と、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補とを前記画像に表示する処理を行うステップと、
    前記信頼度が所定値以上である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補に基づいて前記対応点を決定し、前記信頼度が所定値未満である場合に、前記複数のマッチング手法のそれぞれに対応する前記対応点の候補のうち指定された前記対応点の候補を対応点に決定するステップと、
    前記計測点と、決定された前記対応点とに基づいて前記被写体の大きさを計測するステップと、
    をコンピュータに実行させるためのプログラム。

Images