JP2011235176A - 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置 - Google Patents

Abstract

【課題】挿入検出処理結果に基づき操作者に挿入方向情報を提示する。
【解決手段】内視鏡画像を入力する第１のステップと、前記内視鏡画像に基づき内視鏡の挿入方向を検出する第２のステップと前記検出された挿入方向に関する情報を生成する第３のステップと備え、前記挿入方向を検出するための検出アルゴリズムを複数備えるとともに、前記内視鏡画像に応じて前記検出アルゴリズムを選択適用する。
【選択図】図３４

Description

本発明は内視鏡の挿入方向検出方法及び挿入方向検出装置に係り、特に医療分野における大腸及び工業分野におけるパイプ配管のように管腔構造を有する対象の観察及び検査に対する内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置に関する。

近年、体腔内に可僥性を有する細長の挿入部を挿入することにより、体腔内臓器を観察したり、必要に応じチャンネル内に挿通した処置具を用いて各種治療処置のできる医療用内視鏡が広く利用されている。また、工業分野においても建造物の配管等の内部腐食状態の観察等に工業用内視鏡が用いられている。

これらの各種検査における内視鏡の挿入においては、操作者である医師や技術者が内視鏡象を観察しながら、進行方向を判断している。

一方、例えば大腸検査における挿入手技は難易度が高く、非常に熟練を要するものとなっているが、その原因としては大腸の形状の複雑さ、管腔の狭さ、さらにはそれらの個人差があげられる。また、挿入は確実かつ慎重に行う必要があるため、経験の浅い医師には非常に負担がかかるものとなっている。

内視鏡の挿入は基本的に管腔の伸びる方向に向けて行われるが、常に内視鏡装置の視野内に管腔方向が存在しているとは限らず、大腸の屈曲する部位（シグモイド、肝湾曲、牌湾曲等）や腸壁・襞（ひだ、ｆｏｌｄ）に対する近接時等においては、操作者である医師の経験及び知識に基づき挿入方向を判断する必要がある。

このような条件下において、医師は多くの検査経験を積み、様々な判断要素を用いて挿入方向を決定して行く。

特許第２７１０３８４号 特許第２６８０１１１号

しかしながら、熟練していない医師にとってはどのような情報を用いてどのように判断するかという知識や経験が乏しく、管腔を再度視野にとらえるために内視鏡を引き戻す操作等が必要となり、検査時間の遅延や患者の苦痛等が発生する原因となっていた。

また、工業分野における配管検査においても、配管を構成するパイプの複雑な屈曲等の理由により、挿入における操作者への負担が大きくなっていた。

一方、挿入方向検出手法として、特許第２７１０３８４号及び特許第２６８０１１１号が開示されているが、これらは画像視野内に存在する管腔を検出することを主眼としたものであり、視野内から管腔が外れた場合等において挿入方向を検出するという効果は得られなかった。

本発明は、挿入検出処理結果に基づき操作者に挿入方向情報を提示することによりスムーズな内視鏡検査を実現することのできる内視鏡挿入方向検出方法または内視鏡挿入方向検出装置を提供することを目的とする。

本発明の一態様の内視鏡挿入方向検出方法は、内視鏡画像を入力する第１のステップと、前記内視鏡画像に基づき内視鏡の挿入方向を検出する第２のステップと前記検出された挿入方向に関する情報を生成する第３のステップと備え、前記挿入方向を検出するための検出アルゴリズムを複数備えるとともに、前記内視鏡画像に応じて前記検出アルゴリズムを選択適用する。

本発明の一態様の内視鏡挿入方向検出装置は、内視鏡画像を入力する内視鏡画像入力手段と、前記内視鏡画像から内視鏡の挿入方向を検出するための複数の検出アルゴリズムを備える挿入方向検出手段と、前記検出された挿入方向に基づく挿入補助情報を生成する挿入補助情報生成手段とを備えた内視鏡挿入方向検出装置であって、前記挿入方向検出手段が適用する検出アルゴリズムを前記内視鏡画像に基づき変更する検出アルゴリズム変更手段と、を備える。

本発明によれば、挿入検出処理結果に基づき操作者に挿入方向情報を提示することによりスムーズな内視鏡検査を実現することのできる内視鏡挿入方向検出方法または内視鏡挿入方向検出装置を提供することができる。

本発明の第１の実施の形態に係る内視鏡装置の全体構成を示す構成図 図１の内視鏡の挿入を説明するための説明図 図１の挿入方向検出装置の構成を示す構成図 図３の挿入方向検出装置の表示装置における挿入方向の表示を説明する図 図３の挿入方向検出装置における挿入方向判断対象となる内視鏡像の例を示す第１の説明図 図３の挿入方向検出装置における挿入方向判断対象となる内視鏡像の例を示す第２の説明図 図１の内視鏡の挿入状態を説明する図 図３の挿入方向検出装置における挿入方向検出処理を説明するためのフローチャート 図８の処理での管腔方向検出におけるサンプリング画素の設定を説明するための説明図 図８の処理での勾配ベクトル算出のための空間微分処理を説明する図 図８の処理での勾配ベクトルに基づく管腔方向検出を説明するための第１の説明図 図８の処理での勾配ベクトルに基づく管腔方向検出を説明するための第２の説明図 図８の処理でのサンプリング画素の他の設定を説明するための説明図 図８の処理における領域分割を用いた処理を説明する図 図８の処理における画像最外周を管腔方向と関連付けるための分割を説明するための説明図 図８の処理におけるベクトルの射影に関する説明図 本発明の第２の実施の形態に係る円弧形状を有するハレーションを説明する図 図１７のハレーションに対応した挿入方向検出処理を説明するためのフローチャート 図１８の処理での細線化処理を説明する図 図１８の処理でのサンプリングを説明する図 図１８の処理でのハレーションの形状に対する円弧近似を説明するための説明図 図１８の処理での近似のための円弧中心の探索範囲を説明するための説明図 図１８の処理での管腔方向の決定方法を説明するための説明図 図１８の処理での膨張処理を説明する図 図１８の処理でのハレーションが複数存在する場合の処理内容を説明するための説明図 本発明の第３の実施の形態に係る挿入方向検出処理を説明するためのフローチャート 図２６の処理での管腔方向の決定方法を説明するための説明図 図２６の処理での円弧形状判定を説明するための説明図 本発明の第４の実施の形態に係る挿入方向検出処理を説明するためのフローチャート 図２９の処理での管腔方向の決定方法を説明するための第１の説明図 図２９の処理での管腔方向の決定方法を説明するための第２の説明図 図２９の処理での管腔方向の決定方法を説明するための第３の説明図 図２９の処理での管腔方向の決定方法を説明するための第４の説明図 本発明の第５の実施の形態に係る挿入方向検出処理を説明するためのフローチャート 図３４の処理での移動ベクトルに基づく管腔方向検出が不適と判定される場合を説明するための説明図 図３４の処理での挿入方向検出が不適あるいは不能である場合の結果表示を説明するための説明図

以下、図を用いて本発明の実施形態について説明する。
なお、以下においては大腸への内視鏡の挿入に対する挿入方向の検出に関して説明するが、工業分野における配管等、管状の挿入対象に対して同様の処理を適用することが可能である。一般にパイプ等は体腔内臓器である大腸に比べ、剛性体であること、拍動等による対象の動きがないことから挿入方向の検出における条件は緩いため、良好な効果を得ることができる。

また、本発明における一連の実施の形態においては挿入方向の検出に基づく操作者への内視鏡挿入補助情報提示を主な目的としているが、内視鏡操作の自動化との組み合わせによる自動挿入への応用が当然可能である。この場合は検出した挿入方向に進行するように内視鏡自動操作を制御する。

第１の実施の形態：
図１ないし図１６は本発明の第１の実施の形態に係わり、図１は内視鏡装置の全体構成を示す構成図、図２は図１の内視鏡の挿入を説明するための説明図、図３は図１の挿入方向検出装置の構成を示す構成図、図４は図３の挿入方向検出装置の表示装置における挿入方向の表示を説明する図、図５は図３の挿入方向検出装置における挿入方向判断対象となる内視鏡像の例を示す第１の説明図、図６は図３の挿入方向検出装置における挿入方向判断対象となる内視鏡像の例を示す第２の説明図、図７は図１の内視鏡の挿入状態を説明する図、図８は図３の挿入方向検出装置における挿入方向検出処理を説明するためのフローチャート、図９は図８の処理での管腔方向検出におけるサンプリング画素の設定を説明するための説明図、図１０は図８の処理での勾配ベクトル算出のための空間微分処理を説明する図、図１１は図８の処理での勾配ベクトルに基づく管腔方向検出を説明するための第１の説明図、図１２は図８の処理での勾配ベクトルに基づく管腔方向検出を説明するためｓの第２の説明図、図１３は図８の処理でのサンプリング画素の他の設定を説明するための説明図、図１４は図８の処理における領域分割を用いた処理を説明する図、図１５は図８の処理における画像最外周を管腔方向と関連付けるための分割を説明するための説明図、図１６は図８の処理におけるベクトルの射影に関する説明図である。

本発明の第１の実施の形態においては、画像視野内から管腔が外れた場合等において明暗の勾配方向に基づき管腔方向を決定する挿入方向検出手法と、該手法による処理結果に基づき操作者に挿入方向情報を提示することによりスムーズな内視鏡検査を実現することが可能となる挿入方向検出装置について説明する。

はじめに、図１を用いて本実施の形態における内視鏡装置について説明する。図１において、本実施の形態の内視鏡装置は、内視鏡１と、制御装置６と、観察用モニタ９と、挿入方向を検出及び表示する挿入方向検出装置１２と、Ａ／Ｄ変換器１１を備えている。

内視鏡１は、操作部２と、可撓性を有する挿入部３とを備えるとともに、挿入部３の先端に図示しない固体撮像素子（ＣＣＤ）及び照射光を発するライトガイド端を備え、ライトガイド制御装置８とコネクタ５を介して接続される。

また、内視鏡１は、照射光を伝達するファイバと映像信号及び各種制御情報を送受信するためのユニバーサルコード４とを備えており、挿入部３を大腸１３に挿入することで体腔内の画像情報を得る。

また、制御装置６は、内視鏡１に対する照射光を発生するための光源部７と、内視鏡１から入力される映像信号に対する信号処理を行うための映像信号処理回路８とを備えている。

制御装置６により映像化された体腔内の画像情報は、アナログＲＧＢ信号として観察モニタ９に入力されるとともに、Ａ／Ｄ変換機１１を介してディジタル化され、挿入方向検出装置１２に入力される。

次に、図２を用いて内視鏡の挿入について、大腸検査を例に説明する。内視鏡１による大腸検査では、図２に示すように、内視鏡１の細長で可僥性を有する挿入部３を大腸１３に挿入することにより、体腔内の観察を行うようになっている。挿入においては、操作者である医師は操作部２に備えられた図示しないアングルノブ（挿入部３に内蔵されたワイヤ等を介し内視鏡先端を上下・左右に湾曲させるための操作部）による先端の湾曲操作、挿入部３の押し引き及び捻り等の手技を駆使し、肛門から最深部である回盲部（小腸と大腸の連結する部位）までの観察を行う。

次に、図３を用いて本実施の形態における挿入方向検出装置１２の構成について説明する。

図３に示すように、挿入方向検出装置１２は、Ａ／Ｄ変換器１１より入力されるＲＧＢ画像信号に対し挿入方向検出に関わる一連の処理を実行するためのコンピュータ２０と、挿入方向検出結果を表示するための表示装置２１とを備えている。

さらに、コンピュータ２０は挿入方向検出を行うためのメインプログラム２６を記憶した記憶装置２５と、メインプログラム２６を用いた挿入方向検出処理を実行するためのＣＰＵ（中央処理装置）２３及びメインメモリ２４と、Ａ／Ｄ変換器１１及び記憶装置２５及び表示装置２１とＣＰＵ２３との間での各入出力を制御するためのＩ／Ｏ制御回路２２とを備えている。

メインプログラム２６は、本実施の形態における挿入方向検出にともなう一連の処理を実行するプログラムであるとともに、Ｉ／Ｏ制御回路２２に対するＡ／Ｄ変換器１１からの画像信号の取得要求、表示装置２１への挿入方向検出処理結果表示要求等を行うようになっている。

なお、本実施の形態においては、内視鏡画像はＡ／Ｄ変換器１１によりＲＧＢ各プレーンが０から２５５の値をとる８ｂｉｔに量子化され、その画像サイズは水平及び垂直方向に対して各々ＩSX及びＩSYであるものとする。また、以降の説明においては、内視鏡画像を構成する画素の位置について画像左上端点を（０、０）、右下端点を （ＩSX-1、ＩSY-1）とした座標系に基づき表示する。

次に、挿入方向検出装置１２の表示装置２１における挿入方向検出結果表示例について説明する。

大腸のような管腔臓器に対しては、管腔の伸びている方向に向けて内視鏡を挿入する。このような場合、常に画像の視野内に管腔を捉えながら、確実かつ安全に挿入して行く必要がある。しかしながら、後述する様々な理由により視野内から管腔が外れることが多々あり、また、経験の浅い医師にはどの方向に管腔が存在するかを判断することが困難にである状況が頻繁に発生する。このような場合、視野内に管腔が入るよう一度内視鏡１を後退（引き抜く操作：以下、Ｐｕｌｌ Ｂａｃｋ操作と称する）させる必要があり、検査時間の遅延等の原因となっている。

本実施の形態における挿入方向検出装置１２は、内視鏡画像中に明確な管腔が存在しない場合において挿入方向を画像処理手法の適用により検出し、検査を行う医師に対して挿入方向情報を提示することで、スムーズな内視鏡検査を実現する。

具体的な挿入方向情報としては、図４に示すように、内視鏡画像上に４５°ごとの８方向のいずれかの矢印を重畳表示する。内視鏡検査を実施する医師は重畳された矢印の方向に内視鏡が進むように、アングル操作、押し引き、捻じり等の操作を行うことにより管腔を視野内に捉えることが可能となる。

なお、本実施の形態においては説明の便宜上、挿入方向を８方向のいずれかとするが、２２．５°ごとの１６方向等より細分化して表示することも可能であり、検査を実施する医師の熟練度や必要に応じて適宜設定することができる。

次に、本実施の形態における挿入方向検出手法について説明する。

大腸検査における挿入手技は難易度が高く、非常に熟練を要するものとなっているが、その原因としては大腸の形状の複雑さ、管腔の狭さ、さらにはそれらの個人差があげられる。また、挿入は確実かつ慎重に行う必要があるため、経験の浅い医師には非常に負担がかかるものとなっている。内視鏡の挿入は基本的に管腔の伸びる方向に向けて行われるが、常に内視鏡装置の視野内に管腔方向が存在しているとは限らず、大腸の屈曲する部位（シグモイド、肝湾曲、牌湾曲等）や腸壁・襞（ひだ、ｆｏｌｄ）に対する内視鏡の過接近等においては操作者である医師の経験及び知識に基づき挿入方向を判断する必要がある。このような条件下において、医師は多くの検査経験を積み、様々な判断要素を用いて挿入方向を決定して行く。

具体的には、例えば図５に示す内視鏡像においては、視野内に存在する明瞭な管腔から、直進方向に挿入を継続するものと判断できる。一方、図６に示す内視鏡像においては、視野内に管腔は存在しないため何らかの情報に基づき挿入方向、すなわち管腔の存在する方向を判断することとなる。

本実施の形態では、視野内に管腔が存在しない場合等において挿入方向を決定するための技術として、明暗勾配（Ｇｒａｄｉｅｎｔと呼ばれる）方向を用いた方向検出方法について説明する。

視野内に管腔が存在しない場合の挿入方向の判断要素の一つとして、画像中の明暗変化方向があげられる。例えば大腸１３と内視鏡の挿入部３の先端との位置関係が図７のような場合、内視鏡先端に近い位置から遠くなる位置にかけて大域的な明暗の変化が生ずる。挿入方向は内視鏡先端から遠い方向となることより、画像中の明部から暗部への変化方向の検知に基づき、挿入方向を検出することが可能となる。

図８に本実施の形態の挿入方向検出における一連の処理の流れを示す。ここではＡ／Ｄ変換器１１を経由して入力される内視鏡画像信号の各フレームに対して処理を適用する。

図８のステップＳ１において、入力される内視鏡画像のＲＧＢ画像の中で、Ｒ画像を取得する。本実施の形態においてはＲ画像を用いた処理について説明するが、Ｇ、Ｂ画像あるいは輝度画像（＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ）等を用いて同様の処理を適用することも可能である。

続くステップＳ２において、Ｒ画像上にＭ個（Ｍは１以上の整数）のサンプリング画素を設定する。サンプリング画素は画像全体をサンプルするように定める。サンプリング画素の設定例を図９に示す。

ステップＳ３においては、各サンプリング画素の明暗勾配方向を得るための勾配ベクトルの算出を行う。本実施の形態においては、勾配ベクトルの算出手法として空間微分処理を使用する。図１０は空間微分処理を用いた勾配ベクトル算出方法を説明するための説明図である。

まず、図１０に示すようにサンプリング画素Ｐを中心とする大きさＮ×Ｎ（図１０ではＮ＝５）の近傍画素を抽出し、その水平、垂直及び対角方向端に位置する画素をＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈとする。これらの画素の値より、水平及び水平方向の各空間微分値ＳX及びＳYを、以下のように求める。

［数１］
ＳX＝（Ｃ＋Ｅ＋Ｈ）−（Ａ＋Ｄ＋Ｆ） （１）
［数２］
ＳY＝（Ｆ＋Ｇ＋Ｈ）−（Ａ＋Ｂ＋Ｃ） （２）
なお、式（１）及び（２）においてはＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈは各画素の濃度値を表すものとする。

得られたＳX及びＳYを用いて、勾配ベクトルＶ（下線はＶがベクトルであることを表す）は
［数３］
Ｖ＝（ＳX、ＳY） （３）
と表される。

また、Ｖの大きさ｜Ｖ｜及び勾配方向Ｖθは以下のように算出することができる。

［数４］
［数５］
Ｖθ＝ｔａｎ−１（ＳY／ＳX） （５）
以上に説明した勾配ベクトルＶを、Ｍ個のサンプリング画素についてＶi（ｉ＝１、２、…、Ｍ）として算出する。

続いて、ステップＳ４において、管腔方向検出を行う。本実施の形態における管腔方向検出の処理内容について、図１１及び１２を用いて説明する。

図４を用いて説明した８方向に対応する画像外周上の点をＱk（ｋ＝１、２、…、８）とし、画像サイズＩSX×ＩSYに対する各々の座標を図１１のように定める。Ｑkの座標を（ｑx、ｑy）、サンプリング画素Ｐiの座標を（ｐx、ｐy）とすると、ＱkとＰiとを結ぶベクトルＱkは
［数６］
Ｑk＝（ｑx−ｐx、ｑy−ｐy） （６）
により得られる。

管腔は画像において明から暗に変化する方向に存在することから、サンプリング画素Ｐiの明暗勾配Ｖiの逆方向ベクトルＶ’θi（式（５）により算出される勾配方向は暗から明の方向を表すので反転させる）に最も近いＱkが管腔方向となる。

具体的には図１２に示すφikを各Ｑkについて式（７）より求める。ここでφikはＶ’θiとＱkのなす角である。

［数７］
φik＝ｃｏｓ−１｛（Ｑk・Ｖ’θi）／（｜Ｑk｜×｜Ｖ’θi｜）｝ （７）
ただし、「・」はベクトルの内積、「｜｜」はベクトルの大きさを示す。

φikは−１８０＜φik≦＋１８０の値をとり、点Ｑkの方向に管腔が存在する場合、すなわち勾配方向がＱkの方向に近い場合０に近づく（単位は”度”）。

したがって、管腔方向全サンプリング画素についてφikを算出し、以下の誤差評価値を最小とするｋを求めることにより、明暗勾配が明から暗に変化する最も確実な方向を得ることができる。

［数８］
ステップＳ５においては、得られた管腔方向に対応する方向を挿入方向として、図４に示した矢印情報を画像に重畳し、表示装置２１に表示の上、ステップＳ１に戻り次のフレームに対し一連の処理を繰り返す。

なお、本実施の形態においては図１０に示した近傍領域の大きさを決定するＮについてＮ＝５としたが、より大きな値（例えばＮ＝１７等）を用いて大域的な明暗勾配を検出することも可能である。さらに、各サンプル画素からの勾配ベクトル算出に先立ち、前処理として低減通過フィルタリング（いわゆるぼけマスク）を適用することにより、ノイズや血管等の粘膜構造による影響を除外し、挿入方向検出精度の向上を図ることができる。

また、誤差評価においては式（８）に示したなす角φikの大きさの総和を用いたが、φikに関する他の関数に置きかえることは当熱可能である。

また、図１０におけるサンプル画素Ｐ及び勾配ベクトル算出のための近傍画素Ａ〜Ｈに対し、ハレーションによる影響を除去し、誤検出の防止を図るための閏値処理を行うこともできる。具体的には、Ａ〜Ｈ及びＰを含む大きさＮ×Ｎの局所領域に含まれる各画素に対し、閏値ＴＨＬ（例えばＴＨＬ＝２５０とする）との比較を行い、いずれかの画素がＴＨＬを超えるようであればサンプル画素Ｐの位置を変更する、あるいは挿入方向検出に使用しないようにする。

なお、大きさ｜Ｖi｜＝０である場合には明暗勾配がないことを示すので、挿入方向検出には使用しないようにする。具体的には該当するＶiについて、式（７）に代えて、すべてのｋに対しφikをφi1＝φi2＝・・・＝φiK＝０とすればよい（大きさ｜Ｖi｜＝０のサンプリング画素は式（８）の結果に寄与しなくなる）。

また、ステップＳ４における管腔方向検出においては明暗変化の勾配ベクトルＶの方向（角度）Ｖθを用いたが、内視鏡画像においては明暗変化の大きさが大きい方向に管腔が存在する確率が高いことから、さらに大きさ｜Ｖ｜の利用を図ることができる。具体的には、Ｍ個のサンプリング画索について算出したＶi（１≦ｉ≦Ｍ）について、大きさの最大値ｍａｘ｜Ｖi｜を求める。次いで、すべてのＶiに対し
［数９］
αi＝｜Ｖi｜／ｍａｘ｜Ｖi｜ （９）
で表される正規化を行う。

式（９）におけるαiはｍａｘ｜Ｖi｜を与えるｉ番目の勾配ベクトルＶiについてαi＝１となり、その他（ただし、｜Ｖi｜≠０）では０＜αi≦１の値をとる。αiを重み係数として利用するため式（８）を
［数１０］
と置きかえる。

また、サンプリング画素については、図９に示すように画像全体に均等に設定する例について説明したが、例えば図１３に示すように、画像中央部付近を除き、管腔方向に向かう明暗変化情報をより多く含む画像周辺部のみに設定してもよい。

また、図１４に示すように、画像を領域分割し、各領域に対応する方向について以下の処理に基づき挿入方向を検出してもよい。図１４においては画像周辺部の分割領域にサンプリング画素を設定する。これらの分割領域は、図１１及び図１５の設定に基づき、１つの領域が１つの方向に対応している（画像中央部は除く）。

図１５において、Ｕ1ないしＵ8は水平及び垂直方向の長さの３等分割に基づき設定される画像最外周上の点であり、Ｕ1−Ｕ3、Ｕ1−Ｕ2、Ｕ2−Ｕ4、Ｕ3−Ｕ5、Ｕ4−Ｕ6、Ｕ5−Ｕ7、Ｕ7−Ｕ8及びＵ6−Ｕ8の組み合せにより決定される最外周上の区間が、それぞれ図１１におけるＱ1、Ｑ2、・・・、Ｑ7及びＱ8の示す各方向と対応する。

各領域において、対応する方向への明暗変化の大きさが最大の領域を検出し、対応する方向を挿入方向と決定する。具体的には領域ｋ（１≦ｋ≦Ｋ）内のＭk個のサンプリング画素について、方向ベクトルの各領域ｋに対応する点Ｑkに向かう方向への射影の大きさ（図１６に例を示す）の総和
［数１１］
を算出する。

すべての領域に対しξ（ｋ）を求め、最大のξ（ｋ）を与えるｋに対応する方向を挿入方向とする。

以上説明したように、本発明の第１の実施の形態における挿入方向検出手法と、該手法による処理結果に基づき操作者に挿入方向情報を提示する挿入方向検出装置によれば、内視鏡検査に熟練していない操作者に対する挿入補助情報の提供が可能となり、スムーズな内視鏡検査を実現することが可能となる。

第２の実施の形態：
図１７ないし図２５は本発明の第２の実施の形態に係わり、図１７は円弧形状を有するハレーションを説明する図、図１８は図１７のハレーションに対応した挿入方向検出処理を説明するためのフローチャート、図１９は図１８の処理での細線化処理を説明する図、図２０は図１８の処理でのサンプリングを説明する図、図２１は図１８の処理でのハレーションの形状に対する円弧近似を説明するための説明図、図２２は図１８の処理での近似のための円弧中心の探索範囲を説明するための説明図、図２３は図１８の処理での管腔方向の決定方法を説明するための説明図、図２４は図１８の処理での膨張処理を説明する図、図２５は図１８の処理でのハレーションが複数存在する場合の処理内容を説明するための説明図である。

第２の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本発明の第２の実施の形態においては、画像視野内から管腔が外れた場合等において、粘膜表面等の反射により発生するハレーションの形状特徴を用いて管腔方向を決定する挿入方向検出手法と、該手法による処理結果に基づき操作者に挿入方向情報を提示することによりスムーズな内視鏡検査を実現することが可能となる挿入方向検出装置について説明する。

内視鏡検査においては、内視鏡先端に正対した粘膜表面等の強い鏡面反射により、ＣＣＤからの出力信号が飽和あるいは周辺に比して明らかに大となる現象が発生し、一般にハレーションとして知られている。管腔形状を有する大腸等に対する内視鏡観察像においては、このようなハレーションが円弧の形状を形成する場合がある。

例えば、図７に示した挿入状態においては、図１７のような円弧状のハレーションが発生する。熟練した医師は、円弧の中心方向が管腔方向と一致することから、円弧状ハレーションを挿入の補助情報として利用しており、図１７の例においては画像視野の右方向に挿入を進める。

本実施の形態のおいては、画像処理手法の適用により、画像内に発生したハレーションが円弧形状を形成しているかどうかを判定し、形成している場合には円弧の中心方向を推定し、挿入方向情報とする。

本実施の形態における内視鏡装置及び挿入方向検出装置の構成は第１の実施の形態と同様であり、メインプログラム２６の内容が異なるものであるため、メインプログラム２６において実行する画像処理内容の詳細について説明する。

図１８は本実施の形態のメインプログラム２６における挿入方向検出処理を説明するためのフローチヤートである。ステップＳ１１において、第１の実施の形態の説明における図８に示したステップＳ１と同様に、入力される内視鏡画像のＲＧＢ画像の中で、Ｒ画像を取得する。同様の処理をＧ、Ｂ画像あるいは輝度画像等を用いて同様の処理を適用することも可能である。

続くステップＳ１２において、入力されたＲ画像の各面素に対する閾値を用いた２値化処理により、ハレーション画素を抽出する。具体的には、座標（ｘ、ｙ）（０≦ｘ＜ＩSX、０≦ｙ＜ＩSY）における画素の値ｒ（ｘ、ｙ）に基づき、２値画像Ｈを作成する。Ｈにおける各面素ｈ（ｘ、ｙ）の値は
［数１２］
ｈ（ｘ、ｙ）＝１ ｉｆ ｒ（ｘ、ｙ）≧ＴＨＬ
ｈ（ｘ、ｙ）＝０ ｉｆ ｒ（ｘ、ｙ）＜ＴＨＬ （１２）
により決定する。

ここで、閾値ＴＨＬはＴＨＬ＝２５５とするか、若干の余裕を見てＴＨＬ＝２４０等、適宜設定を変更する。これは、画素の値としては最大値の２５５に達していなくても視覚上ハレーションと認識される場合があることへの対応となる。

次に、ステップＳ１３においては、ハレーションは常に円弧形状を構成するとは限らないため、挿入方向検出に利用可能であるかどうかを判定する必要があることから、２値画像Ｈを用いたハレーションの円弧形状判定処理を行う。

本実施の形態においては、抽出したハレーションを近似するための円を、中心及び半径をパラメータとして変更することにより探索的に決定し、処理対象であるハレーションの形状と方程式により規定される円弧との誤差を評価する。

はじめに、ハレーション画像Ｈに対する前処理として公知の細線化処理（小分岐等が発生する場合はさらに縮退処理を加える）を適用する。図１９にハレーションに対する細線化処理結果例を示す（図１９においては黒色が画素値１に対応している）。

なお、縮退処理についても、例えば「コンピュータ画像処理入門P.75-P83、田村秀行監修、日本工業技術センター編、総研出版発行、星雲社発売」に開示されている。

続いて、細線化後のハレーションを構成するｈ（ｘ、ｙ）について、サンプリングを行う。サンプリングはハレーションの両端点及びその延長画素数において中点となる画素を決定後、ほぼ等間隔となるようにＮS個のｈ（ｘ、ｙ）を抽出する。以下、抽出後のＮｓ個のｈ（ｘ、ｙ）を新たにｈj（ｘj、ｙj）、１≦ｊ≦Ｎｓとして説明する。図２０にサンプリングの例を示す。このサンプリングは計算時間の短縮のためのものであり、ＣＰＵ２３の性能が十分であれば省略できる。

次に、細線化及びサンプリングにより抽出した画素ｈj（ｘj、ｙj）について、以下に示す一連の処理によりハレーションが円弧形状を形成しているかどうかを判定する。

はじめに、近似するための円の中心及び半径の探索範囲を設定する。図２１に示すように、ｈ1（ｘ1、ｙ1）、ｈNs/2（ｘNs/2、ｙNs/2）及びｈNs（ｘNs、ｙNs）により構成される三角形ＰＱＲを定め、Ｑから辺ＰＲに直交する半直線τを求める。次に、図２２に示すように、τ上でＰＳ1＝ＱＳ1、ＲＳ2＝ＱＳ2となる点Ｓ1及びＳ2を求める。Ｓ1及びＳ2の中点Ｓ（座標を（ｘs、ｙs）とする）を中心とし、半径ｒ＝s／２の円内（ここで、sはＳ1Ｓ2の長さ）を中心の探索範囲と定め、Ｋ個の中心候補点Ｃkを設定する（１≦Ｋ、１≦ｋ≦Ｋ）。中心候補点Ｃkを中心とする円の半径ｒkはＣkに基づき決定し、ｒk＝ＣkQと定める。 Ｃkの座標を（ｃxk、ｃyk）とすると、円Ｃkに対するＮｓ個のｈj（ｘj、ｙj）との誤差評価値は、
［数１３］
により得ることができる。

式（１３）に基づきＫ個のε（ｋ）を算出し、その最小値であるｍｉｎ（ε（ｋ））と、円弧形状と認識できるか否かを判定するための閾値ＴＨＥとを比較し、
［数１４］
ｍｉｎ（ε（ｋ））＜ＴＨＥ （１４）
であれば円弧形状であるものと判定する。

ステップＳ１４においては、式（１４）を満たした場合はステップＳ１５に進み、満たさない場合はステップＳ１１に戻り次のフレームに対する処理を実行するための分岐判定を行う。

ステップＳ１５においては、管腔方向を決定する。管腔方向はハレーション形状を近似する円弧の中心方向に存在することから、ｍｉｎ（ε（ｋ））を与える円Ｃkの中心Ｃkと図２１における点Ｑとを結ぶ半直線τkを図２３のように定め（直線の方程式は２点の座標により容易に求まるため詳細な説明は省略する）、画像最外周との交点Ｔを求める。画像最外周の４辺については、図１５に示したように水平・垂直方向の長さをそれぞれ３等分（ＩSX／３、ＩSY／３）し、図４に示した８方向に対応付け、交点Ｔがいずれに位置するかに基づき挿入方向を決定する。図２３においては交点Ｔは左下方向（図１１におけるＱ6の方向）となる。

ステップＳ１６においては第１の実施の形態におけるステップＳ５と同様にして、得られた入方向を示す矢印情報を画像に重畳し、表示装置２１に表示の上、ステップＳ１１に戻り次のフレームに対し一連の処理を繰り返す。

以上説明したように、本発明の第２の実施の形態における挿入方向検出手法と、該手法による処理結果に基づき操作者に挿入方向情報を提示する挿入方向検出装置によれば、内視鏡検査に熟練していない操作者に対する挿入補助情報の提供が可能となり、スムーズな内視鏡検査を実現することが可能となる。

また、ハレーションの形状が管腔方向の検出に適切であるか否かを判定するため、誤った挿入方向補助情報を表示することがない。

なお、ハレーションの２値化画像Ｈは図２４（ａ）に示すように、複雑な外周形状となる場合があり、細線化処理適用後に不要な分岐等を多く発生する原因となる。このような場合は公知の膨張処理を適用することで、図２４（ｂ）に示すように外周形状を滑らかにしてから細線化処理を適用する（膨張処理及び細線化処理については、例えば「コンピュータ画像処理入門P.75-P83、田村秀行監修、日本工業技術センター編、総研出版発行、星雲社発売」に開示されている）。

また、本実施の形態においては探索的に円弧の中心Ｃkを決定したが、Ｈｏｕｇｈ（ハフ）変換等の形状抽出手法の適用も可能である。

また、図２５（ａ）に示すように、画像に複数のハレーションが存在した場合は、図２５（ｂ）に示すように細線化後の各ハレーションの端点ｈk及びｈk+1の連結したものとして本実施の形態に示した一連の処理を適用すればよい。連結の可否の判定については、例えば端点ｈkの座標に基づき、ｈk+1がｈkを中心とする半径ｒhk（ｒhkは適宜定める。例えばｒhk＝２０とする）の円領域内に存在するかどうかにより判定することができる。

第３の実施の形態：
図２６ないし図２８は本発明の第３の実施の形態に係わり、図２６は挿入方向検出処理を説明するためのフローチャート、図２７は図２６の処理での管腔方向の決定方法を説明するための説明図、図２８は図２６の処理での円弧形状判定を説明するための説明図である。

第３の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本発明の第３の実施の形態においては、画像視野内から管腔が外れた場合等において、本発明の第２の実施の形態に示したハレーションの形状特徴を利用した挿入方向検出の他の手法及び該手法による処理結果に基づき操作者に挿入方向情報を提示することによりスムーズな内視鏡検査を実現することが可能となる挿入方向検出装置について説明する。

本実施の形態における内視鏡装置及び挿入方向検出装置の構成は第１の実施の形態と同様であり、メインプログラム２６の内容が異なるものであるため、メインプログラム２６において実行する画像処理内容の詳細について説明する。

図２６は本実施の形態のメインプログラム２６における挿入方向検出処理を説明するためのフローチャートである。ステップＳ２１において、第１の実施の形態の説明における図８に示したステップＳ１と同様に、入力される内視鏡画像のＲＧＢ画像の中で、Ｒ画像を取得する。同様の処理をＧ、Ｂ画像あるいは輝度画像等を用いて同様の処理を適用することも可能である。

ステップＳ２２においては第２の実施の形態において示したステップＳ１２と同様の処理の適用により、ハレーション画素を抽出し、２値画像Ｈを作成する。

続くステップＳ２３では、第２の実施の形態におけるステップＳ１３と同様に、図１９及び図２０を用いて説明した、ハレーション画像Ｈに対する細線化処理の適用によりｈ（ｘ、ｙ）の生成及びサンプリングを行う。サンプリングはハレーションの両端点及びほぼ等間隔となるようにＮs個のｈ（ｘ、ｙ）を抽出する。以下、抽出後のＮｓ個のｈ（ｘ、ｙ）を新たにｈj（ｘj、ｙj）、１≦ｊ≦Ｎsとして説明する。

本実施の形態においては、抽出されたｈj（ｘj、ｙj）からＮs−１通りの画素の組（ｈ1（ｘ1、ｙ1）、ｈ2（ｘ2、ｙ2））、（ｈ2（ｘ2、ｙ2）、ｈ3（ｘ3、ｙ3））、・・・・・、（ｈNs-2（ｘNs-2、ｙNs-2）、ｈNs-1（ｘNs-1、ｙNs-1））、（ｈNs-1（ｘNs-1、ｙNs-1）、ｈNs（ｘNs、ｙNs））の各々を結ぶ線分に対する垂直二等分線Ｌ（ｋ）を求める。ここで、１≦ｋ≦Ｎｓ−１である。

図２７にＬ（ｋ）及び管腔方向候補の算出例を示す。得られたＬ（ｋ）は、ｈj（ｘj、ｙj）が正しく円弧上に存在している場合には円弧の中心Ｃで交わる。したがって、Ｃの位置を図４に示した８方向と対応付けることにより、管腔方向候補を定めることができる。また、Ｌ（ｋ）が一点で交わらない場合においては、図２８に示すように複数の交点により構成される閉領域Ｒ内の画素の重心ＣＲを求め、中心Ｃに代用する。重心ＣＲの座標（Ｘc、Ｙc）は
［数１４］
となる。

ここで、Ｎrは領域Ｒ内の画素数、ｘri及びｙriはＲ内のｉ番目の画素の水平及び垂直方向における座標である。

続くステップＳ２４においては、得られた管腔方向候補が信頼できるものであるか、すなわちハレーションが円弧形状を形成しているものとしてよいか否かを判定する。具体的には図２８に示した閉領域Ｒの面積（画素数）Ｒaを閾値ＴＨＲと比較し、Ｒａ≦ＴＨＲならば円弧形状であり、信頼できるものと判定する。Ｒａ＞ＴＨＲであれば、円弧形状ではないため信頼できないものと判定する。

ステップＳ２５においてはステップＳ２４における判定結果により管腔方向候補が信頼できるものである場合はステップＳ２６に進み、そうでない場合はステップＳ２１に戻り次のフレームに対する処理を実行するための分岐判定を行う。

ステップＳ２６においては第１の実施の形態におけるステップＳ５と同様にして、得られた入方向を示す矢印情報を画像に重畳し、表示装置２１に表示の上、ステップＳ２１に戻り次のフレームに対し一連の処理を繰り返す。

以上説明したように、本発明の第３の実施の形態における挿入方向検出手法と、該手法による処理結果に基づき操作者に挿入方向情報を提示する挿入方向検出装置によれば、内視鏡検査に熟練していない操作者に対する挿入補助情報の提供が可能となり、スムーズな内視鏡検査を実現することが可能となる。また、ハレーションの形状が管腔方向の検出に適切であるか否かを判定するため、誤った挿入方向補助情報を表示することがない。

なお、以上の説明においてステップＳ２３での管腔方向候補の推定にＬ（ｋ）の交点座標に基づく処理を適用したが、図１５に示したように場合分けされた画像最外周とＬ（ｋ）との交点を求め、最も多くのＬ（ｋ）と交わる方向を管腔方向候補と定めることも可能である。

第４の実施の形態：
図２９ないし図３３は本発明の第４の実施の形態に係わり、図２９は挿入方向検出処理を説明するためのフローチャート、図３０は図２９の処理での管腔方向の決定方法を説明するための第１の説明図、図３１は図２９の処理での管腔方向の決定方法を説明するための第２の説明図、図３２は図２９の処理での管腔方向の決定方法を説明するための第３の説明図、図３３は図２９の処理での管腔方向の決定方法を説明するための第４の説明図である。

第４の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本発明の第４の実施の形態においては、画像視野内から管腔が外れた場合等において、視野内に管腔が存在していた状態からの視野の時系列的な移動状態に基づき管腔方向を決定する挿入方向検出手法と、該手法による処理結果に基づき操作者に挿入方向情報を提示することによりスムーズな内視鏡検査を実現することが可能となる挿入方向検出装置について説明する。

図２９は本実施の形態のメインプログラム２６における挿入方向検出処理を説明するためのフローチヤートである。ステップＳ３１において、第１の実施の形態の説明における図８に示したステップＳ１と同様に、入力される内視鏡画像のＲＧＢ画像の中で、Ｒ画像を取得する。同様の処理をＧ、Ｂ画像あるいは輝度画像等を用いて同様の処理を適用することも可能である。 ステップＳ３２においては、視野内に存在する管腔検出のため、閾値処理ＴＨＤを用いた２値化による暗部画素の抽出を行う。具体的には、座標（ｘ、ｙ）（０≦ｘ＜ＩSX、０≦ｙ＜ＩSY）における画素の値ｒ（ｘ、ｙ）に基づき、２値画像Ｄを作成する。Ｄにおける各画素ｄ（ｘ、ｙ）の値は
［数１５］
ｄ（ｘ、ｙ）＝１ ｉｆ ｒ（ｘ、ｙ）≦ＴＨＤ ｄ（ｘ、ｙ）＝０ ｉｆ ｒ（ｘ、ｙ）＞ＴＨＤ （１５）
により決定する。ここで、閾値ＴＨＤは例えばＴＨＤ＝２０と設定する。

続くステップＳ３３では、２値画像Ｄにおいて値１を有する画素、すなわち抽出した暗部画素の数Ｎdを算出する。

ステップＳ３４においては、視野内に管腔が存在していると判断するのに十分な暗部画素数が得られているか否かを判定するため、ステップＳ３３で求めたＮdと閾値ＴＨＣとの比較を行う。ＴＨＣは本実施の形態においては全画素数の１０％であるものとして
［数１６］
ＴＨＣ＝（ＩSX×ＩSY）／１０ （１６）
と定める。Ｎd≧ＴＨＣであればステップＳ３５へ、そうでなければステップＳ３７に進む。

ステップＳ３５においては、視野内に存在する管腔により抽出されたＮd個の暗部画素について、その重心Ｒを求める。図３０に重心Ｒの例を示す。図３０（ａ）に示す原画像（Ｒ画像）に対し、閏値処理による暗部画素抽出を行い図３０（ｂ）の斜線部の管腔領域を得、重心Ｒを求める。

ステップＳ３６においては、以前のフレームに対する重心Ｒとの位置変化に基づきＲの移動ベクトルの推定を行う。以下、図３１を用いて説明する。図３１において、Ｆ1、Ｆ2及びＦ3は時系列的に入力される画像のフレームを示す。フレームＦ1において得られた管腔暗部領域の重心位置をＲ1、その座標を（ｘr1、ｙr1）とする。同様にフレームＦ2において得られた重心位置をＲ2、その座標を（ｘr2、ｙr2）とすると、視野内における管腔の移動を追跡する移動ベクトルｖ1は
［数１７］
ｖ1＝（ｘr2−ｘr1、ｙr2−ｙr1） （１７）
より算出できる。

同様にして、フレームＦ2からＦ3に対する移動ベクトルｖ2を求める。以降、重心位置Ｒi及び移動ベクトルｖi（ｉは１以上の整数）を記憶することにより、図３２のように管腔の重心位置を追跡することができる。

画像視野内に管腔が存在しない場合においては、ステップＳ３４からステップＳ３７に進み、管腔方向の推定を行う。

フレームＦiにおいて管腔が存在しており、Ｆi+1において視野から外れた場合、直前の移動ベクトルｖiの方向に管腔が存在する。したがって、移動ベクトルｖiの方向に最も近い方向を挿入方向とすることで、管腔を視野内に入れることが可能となる。例えば、図３２におけるＦ5に示す状態にある場合には図１１におけるＱ8に対応する右下方向とする。ｒiに最も近い方向を決定するには、第１の実施の形態に示した式（７）に類するなす角の評価を行う。

ステップＳ３８においては、第１の実施の形態におけるステップＳ５と同様にして、得られた挿入方向を示す矢印情報を画像に重畳し、表示装置２１に表示の上、ステップＳ２１に戻り次のフレームに対し一連の処理を繰り返す。

以上説明したように、本発明の第４の実施の形態における挿入方向検出手法と、該手法による処理結果に基づき操作者に挿入方向情報を提示する挿入方向検出装置によれば、視野の時系列的な移動状態に基づいて、画像視野内から管腔が外れた場合等の管腔方向を検出し、操作者に挿入方向情報を提示することができるため、内視鏡検査に熟練していない操作者に対する挿入補助情報の提供が可能となり、スムーズな内視鏡検査を実現することが可能となる。

なお、ステップＳ３３における抽出画素数Ｎdのカウントにあたり、管腔領域以外の例えば画像辺縁郎等照明むらにより暗部として抽出された画素を除外するための前処理として、ラベリング及び収縮・膨張処理を適用し、微小な抽出画素領域を除去してもよい。

また、ラベリングについても、例えば「コンピュータ画像処理入門P.75-P83、田村秀行監修、日本工業技術センター編、総研出版発行、星雲社発売」に開示されている。

第５の実施の形態：
図３４ないし図３６は本発明の第５の実施の形態に係わり、図３４は挿入方向検出処理を説明するためのフローチャート、図３５は図３４の処理での移動ベクトルに基づく管腔方向検出が不適と判定される場合を説明するための説明図、図３６は図３４の処理での挿入方向検出が不適あるいは不能である場合の結果表示を説明するための説明図である。

第５の実施の形態は、第１の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本発明の第５の実施の形態においては、処理対象とする内視鏡画像に応じて最適な挿入方向検出手法を選択的に適用することにより精度向上を図ることができる挿入方向検出手法と挿入方向検出装置に関する。

本発明の第１ないし第４の実施の形態においては、画像視野内の明暗勾配、ハレーションの形状特徴及び視野移動追跡に基づく各種の管腔方向検出手法について説明した。一方、内視鏡画像において現れる観察シーンは多種多様であり、これらの検出手法を有効に利用するには各々の観察シーンに応じて適切に用いることが重要となる。

以下、図面を参照して本実施の形態における挿入方向検出手法及び挿入方向検出装置について説明する。

図３４は本実施の形態における挿入方向検出装置１２の動作を説明するためのフローチャートである。

ステップＳ４１において、第１の実施の形態の説明における図８に示したステップＳ１と同様に、入力される内視鏡画像のＲＧＢ画像の中で、Ｒ画像を取得する。同様の処理をＧ、Ｂ画像あるいは輝度画像等を用いて同様の処理を適用することも可能である。

ステップＳ４２においては、入力された内視鏡画像が視野内の管腔もしくは管腔方向の検出を行うことが可能であるか否かについての判定を行う。大腸内視鏡検査においては、粘膜への過近接状態により焦点が外れるとともに画像全体が赤一色となるシーンが発生する（内視鏡医の間では「赤玉」と呼ぱれている）。

このような画像においては挿入方向を表示することは不適切であり（第４の実施の形態において示した移動ベクトル追跡を用いた手法により検出可能であるが、確実な挿入状態の確保に対する配慮を優先するべきである）、視野内に管腔が入るよう一度内視鏡１を後退（Ｐｕｌｌ Ｂａｃｋ操作）させる必要がある。

赤玉の状態は非常に特異であり、Ｒ画像全体の平均値、標準偏差のとり得る範囲から判定することができる。また、Ｇ画像を併用し、画像全体のＲ／Ｇ等の色調の平均値、標準偏差から判定してもよい。

ステップＳ４２において検出不能状態であると判定された場合はステップＳ５３へ、そうでない場合はステップＳ４３に進む。

ステップＳ４３においては視野内に存在する管腔の検出を行う。ここでは第４の実施の形態において図２９のステップＳ３２及びＳ３３に示した一連の暗部画素抽出に基づく処理の適用により管腔検出を行う。

続くステップＳ４４においては、図２９のステップＳ３４と同様に検出結果に対する判定を行い、視野内に管腔が存在すると判定された場合にはステップＳ４５に進み、第４の実施の形態におけるステップＳ３５及びＳ３６と同様の処理により移動ベクトル算出を行いステップＳ４１に戻る。

一方、視野内に管腔が存在しないと判定された場合にはステップＳ４６に進む。 ステップＳ４６においては、第１の実施の形態における図８のステップＳ２、Ｓ３及びＳ４を用いて説明した一連の処理による明暗勾配に基づく管腔方向の検出を適用し、ステップＳ４７に進む。

ステップＳ４７においては、ステップＳ４６における明暗勾配に基づく管腔方向の検出が成功したかどうかを判定する。ここでは、式（８）に示した誤差評価式において最小値ｍｉｎ（ε（ｋ））及びその次に小となる値ｓｍｉｎ（ε（ｋ））（管腔方向候補として第２位）の比ｍｉｎ（ε（ｋ））／ｓｍｉｎ（ε（ｋ））を閾値ＴＨＧと比較する。ｍｉｎ（ε（ｋ））＞ｓｍｉｎ（ε（ｋ））であり、比ｍｉｎ（ε（ｋ））／ｓｍｉｎ（ε（ｋ））の値が小であるほど検出結果の信頼性が高いことに対応する。閾値ＴＨＧは０≦ＴＨＧ≦１であり、ここではＴＨＧ＝０．５であるものとする。ｍｉｎ（ε（ｋ））／ｓｍｉｎ（ε（ｋ））≦ＴＨＧであれば検出成功と判定し、ステップＳ５２へ、そうでなければステップＳ４８に進む。

ステップＳ４８においては、第２または第３の実施の形態において説明したハレーションの形状特徴に基づく管腔方向検出処理を適用する。具体的には図１８のステップＳ１２ないしＳ１５または図２６のステップＳ２２ないしＳ２５を用いて説明した一連の処理を適用し、ステップＳ４９に進む。

ステップＳ４９においては、ハレーションの形状特徴による検出が成功したか否かに基づく分岐を行う。ここでの判定はステップＳ１４またはＳ２５におけるハレーションが円弧を形成しているか否かに基づくものと同様である。成功と判定されていればステップＳ５２へ、そうでなければステップＳ５０に進む。

ステップＳ５０においては、第４の実施の形態において説明した移動ベクトルに基づく管腔方向検出処理を適用する。具体的には図２９のステップＳ３７と同様の処理の適用により、以前のフレームにおいて視野内に存在した管腔の移動方向に基づく検出を行い、ステップＳ５１に進む。

ステップＳ５１においてはステップＳ５０における管腔方向の検出が成功したか否かを判定する。例えば体位の変更や拍動による影響等により大腸の形状変化、調光による光量の変化による暗部の増加、あるいは急激なアングル操作等による連続するフレームのレート（通常１／３０秒）を超える視野変化等により移動ベクトルが誤検出される場合がある。このような場合、例えば図３５に示すように、移動ベクトルｖｉは視野中央部にあるにも関わらず、管腔は移動ベクトルからは推定できない方向の視野外に存在することとなる。そこで、図３５に示すように、画像中央部付近に検出除外領域を定め、移動ベクトルｖiがこの範囲内にあるときは検出を行わないものと判定する。

ステップＳ５１において、移動ベクトルによる管腔方向検出が成功と判定されていればステップＳ５２へ、そうでなければステップＳ５３に進む。

ステップＳ５２においては、明暗勾配方向、ハレーションの形状特徴または移動ベクトルに基づく検出のいずれかにより得られた管腔方向の検出結果に基づき、第１の実施の形態におけるステップＳ５と同様にして、得られた挿入方向を示す矢印情報を画像に重畳し、表示装置２１に表示の上、ステップＳ４１に戻り次のフレームに対し一連の処理を繰り返す。

ステップＳ５３においては、処理対象となる画像が管腔方向の検出が不能であることから移動ベクトルの追跡を中止するための初期化（それまでの移動ベクトル情報の破棄）を適用し、ステップＳ５３に進む。

ステップＳ５４においては、内視鏡１を一度後退させ管腔を視野内に確保する等の安全かつ確実な挿入手技を医師に促すため、表示装置２１に図３６に示す「Ｐｕｌｌ Ｂａｃｋ」等のメッセージを表示しステップＳ４１に戻り、一連の処理を繰り返す。

以上に説明したように、本発明の第５の実施の形態における挿入方向検出手法の適用及び該手法を用いた挿入方向検出装置によれば、処理対象とする内視鏡画像に応じて最適な挿入方向検出手法を選択的に適用することによりスムーズな内視鏡検査を実現することが可能となる。

１…内視鏡
２…操作部
３…挿入部
５…コネクタ
６…制御装置
８…ライトガイド制御装置
９…観察用モニタ
１１…Ａ／Ｄ変換器
１２…挿入方向検出装置
２０…コンピュータ
２１…表示装置
２２…Ｉ／Ｏ制御回路
２３…ＣＰＵ
２４…メインメモリ
２５…記憶装置
２６…メインプログラム

Claims (3)

1. 内視鏡画像を入力する第１のステップと、前記内視鏡画像に基づき内視鏡の挿入方向を検出する第２のステップと前記検出された挿入方向に関する情報を生成する第３のステップと備え、
   前記挿入方向を検出するための検出アルゴリズムを複数備えるとともに、前記内視鏡画像に応じて前記検出アルゴリズムを選択適用する
   ことを特徴とする内視鏡挿入方向検出方法。
2. 内視鏡画像を入力する内視鏡画像入力手段と、前記内視鏡画像から内視鏡の挿入方向を検出するための複数の検出アルゴリズムを備える挿入方向検出手段と、前記検出された挿入方向に基づく挿入補助情報を生成する挿入補助情報生成手段とを備えた内視鏡挿入方向検出装置であって、
   前記挿入方向検出手段が適用する検出アルゴリズムを前記内視鏡画像に基づき変更する検出アルゴリズム変更手段と、
   を備えたことを特徴とする内視鏡挿入方向検出装置。
3. 前記挿入補助情報を表示する表示手段を備えたことを特徴とする請求項２に記載の内視鏡挿入方向検出装置。