JP2004167010A

JP2004167010A - 内視鏡挿入方向検出装置

Info

Publication number: JP2004167010A
Application number: JP2002337001A
Authority: JP
Inventors: Jun Hasegawa; 潤長谷川; Tetsuo Nonami; 徹緒野波
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-11-20
Filing date: 2002-11-20
Publication date: 2004-06-17
Anticipated expiration: 2022-11-20
Also published as: AU2003284568A1; CN1713848A; CN100411576C; EP1566140A1; EP1566140B1; US20060015011A1; JP4077716B2; WO2004045397A1; EP1566140A4; US7559888B2

Abstract

【課題】簡素な構成で、確実に管腔方向を検出可能とする内視鏡挿入方向検出装置が求められている。
【解決手段】画像入力／出力制御回路２２から入力された内視鏡画像の領域毎に、所定の濃度値の画素を抽出する画素抽出手段と、この所定の濃度値の画素の分布の連続性に基づき内視鏡画像の領域の形状を求める領域形状推定手段と、この求められた形状から内視鏡の体腔内への挿入方向を決定する挿入方向決定手段とからなり、この挿入方向を内視鏡画像と共に表示させる内視鏡挿入方向検出装置。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、構造が複雑で屈曲している体腔内に内視鏡挿入部を挿入する際に、それら体腔内の形状に応じた挿入方向を検出する内視鏡挿入方向検出装置に関する。
【０００２】
【従来の技術】
従来、細長い可撓性を有する挿入部を体腔内に挿入して、体腔内を観察したり、あるいは、必要に応じて部位の採取や治療などを行う内視鏡装置が広く用いられている。
【０００３】
これら内視鏡装置は、挿入部を体腔内に挿入する際には、観察される内視鏡画像から体腔内の形状と挿入方向を判断して挿入操作するために、操作者の習熟度が求められる。
【０００４】
例えば、大腸の内視鏡検査において、大腸は形状が複雑で、管腔も狭く個人差があると共に、屈曲する部位（シグモド、肝湾曲、牌湾曲等）や腸壁及び襞（ひだ、ｆｏｌｄ）に接近すると挿入方向の判断が難しく、高度な挿入操作技術と習熟度が必要となる。
【０００５】
このように従来の内視鏡は、高度な操作技術と習熟度が要求されることから、内視鏡挿入方向である管腔方向を表示できる内視鏡挿入方向検出装置が提案されている。
【０００６】
例えば、内視鏡画像の特徴量の変化率の勾配を予め設定した基準値と比較し、その勾配の変化が所定以上あるところを不連続点として抽出した対象画像を生成し、この形成された対象画像を複数の領域に分割して、この分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出し、この抽出された線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行って最適な線セグメント候補を抽出し、更にこの最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとすることを繰り返して最多線セグメントを有する子ノードを順次選択し、その結果得られた小領域を線セグメントの開始セグメントとして連結し、この連結された線セグメントのパターン情報に基づいて奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定する内視鏡挿入方向検出方法が提案されている（例えば、特許文献１参照）。
【０００７】
また、内視鏡画像のＲ画像上にＭ個のサンプリング画素を設定して、その各々のサンプリング画素の明暗勾配方向を得るための勾配ベクトル算出と、この勾配ベクトルから管腔方向算出とにより、その算出された管腔方向を内視鏡画像に重畳表示させた矢印で示す内視鏡挿入方向検出方法が本願出願人が出願した特願２００１−２９２２３０号に提案されている。
【０００８】
【特許文献１】
特許番号第２６８０１１１号公報。
【０００９】
【発明が解決しようとする課題】
上記特許文献１に提案されている内視鏡挿入方向検出方法は、エッジを抽出した大腸内視鏡画像を複数の領域に分割し、修正ハフ変換により各領域の管腔方向を検出するのに有効なエッジを検出し、検出したエッジを連結することによりひだの形状を求めて管腔方向を推定する為、処理が複雑になりリアルタイムでの処理が難しくなる。
【００１０】
また、特願２００１−２９２２３０号の出願に提案されている内視鏡挿入方向検出方法は、大腸内視鏡画像のハレーションを抽出、細線化した形状をサンプリングし、そのサンプリングした２点から得られる線分の垂直２等分線を求め、得られた複数の垂直２等分線が集積する位置から管腔方向を推定する為、垂直２等分線が１点に集積しない場合が生じると管腔位置を求めることができない課題がある。
【００１１】
本発明は、上記事情に鑑みてなされたもので、簡素な構成で、確実に管腔方向を検出可能とする内視鏡挿入方向検出装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
本発明の内視鏡挿入方向検出装置は、体腔内に挿入された内視鏡より内視鏡画像を入力する画像入力手段と、前記画像入力手段により入力された前記内視鏡画像より所定の濃度値の画素を抽出する画素抽出手段と、前記画素抽出手段により抽出された前記所定の濃度値の画素の分布の連続性に基づき特定の領域の形状を求める領域形状推定手段と、前記領域形状推定手段により求められた形状から前記内視鏡の前記体腔内への挿入方向を決定する挿入方向決定手段と、を備えたことを特徴としている。
【００１３】
本発明の内視鏡挿入方向検出装置により、内視鏡画像から体腔の挿入方向を確実に高精度に検出でき、その検出された挿入方向を内視鏡画像と共に表示させることで、内視鏡検査経験に左右されることなく速やかな内視鏡操作が可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明に係る内視鏡挿入方向検出装置の第１の実施形態を図１乃至図１２を用いて説明する。
【００１５】
図１は本発明に係る内視鏡装置の全体構成を示すブロック図、図２は本発明に係る内視鏡装置の管腔内への挿入操作を説明する説明図、図３は本発明の第１の実施形態である内視鏡挿入方向検出装置の構成を示すブロック図、図４は本発明に係る内視鏡を管腔内の屈曲部へ挿入した状態を説明する説明図、図５は本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図、図６は本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図、図７は本発明の第１の実施形態の内視鏡挿入方向検出装置の動作を説明するフローチャート、図８は本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像を複数領域への分割例を説明する説明図、図９は本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像の周辺に設定する管腔の候補領域を説明する説明図、図１０は本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔方向の設定動作を説明する説明図、図１１は本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔の候補領域から挿入方向の決定動作を説明する説明図、図１２は本発明の第１の実施形態の内視鏡挿入方向検出装置で検出された内視鏡挿入方向を内視鏡画像と併設表示例を説明する説明図である。
【００１６】
最初に本発明に係る内視鏡装置の全体構成について図１を用いて説明する。内視鏡装置は、内視鏡１、制御装置６、観察モニタ９、アナログ／デジタル変換器（以下、Ａ／Ｄと称する）１１、及び内視鏡挿入方向検出装置（以下、挿入方向検出装置と称する）１２からなっている。
【００１７】
内視鏡１は、操作部２と、細長で可撓性の挿入部３とからなり、挿入部３の先端には、図示していないが固体撮像素子（以下、ＣＣＤと称する）と照明光を投射する照明用のライトガイドケーブル端が備えられ、このＣＣＤの駆動制御用と、ＣＣＤで撮像生成された撮像信号用の信号ケーブル、及び照明用のライトガイドケーブルとが挿入部３から操作部２に内装配置され、それら信号ケーブルとライトガイドケーブルを内蔵したユニバーサルコード４を介して、制御装置６へコネクタ５によって接続されている。
【００１８】
また、前記挿入部３の先端近傍には、図示していないが湾曲部が設けられ、上下左右に湾曲可能となっており、この湾曲部を湾曲操作するためのワイヤーが挿入部３から操作部２へと延在されており、そのワイヤーの基端は、前記操作部２に設けられている図示していない湾曲ノブに接続されている。
【００１９】
つまり、操作部２の湾曲ノブを操作することで、挿入部３の湾曲部が湾曲するようになっている。
【００２０】
前記制御装置６は、前記ＣＣＤを駆動制御する信号を生成出力すると共に、前記ＣＣＤで撮像生成した撮像信号から所定の映像信号処理を行い内視鏡画像信号であるＲＧＢ画像信号を生成する映像信号処理回路８と、前記ライトガイドケーブルに照明光を入射する光源７であるランプとそのランプ点灯制御回路などからなっている。
【００２１】
前記制御装置６の映像信号処理回路８で生成されたＲＧＢ画像信号は、観察モニタ９に出力され、内視鏡画像が表示されると共に、Ａ／Ｄ１１でアナログＲＧＢ画像信号からデジタルＲＧＢ画像信号に変換され、そのデジタルＲＧＢ画像信号から挿入方向検出装置１２で内視鏡１の挿入部３の挿入方向検出と、その検出した挿入方向を後述する表示装置に表示するようになっている。
【００２２】
このような構成の内視鏡装置により、体腔内挿入操作、例えば大腸の内視鏡挿入操作を図２を用いて説明する。
【００２３】
大腸１３の内視鏡検査は、内視鏡１の挿入部３の先端に設けられているＣＣＤで撮像生成し、映像信号処理回路８で映像信号処理生成されたＲＧＢ画像信号を基に、観察モニタ９に再生表示されている内視鏡画像を見ながら、前記操作部２の湾曲ノブを操作して、挿入部３の湾曲部を上下左右に湾曲させながら大腸１３に挿入させて、回盲部（小腸と大腸の連結する部位）まで観察挿入を行う。
【００２４】
前記映像信号処理回路８で生成されたＲＧＢ画像信号は、前記Ａ／Ｄ１１でアナログからデジタルのＲＧＢ画像信号に変換されて、前記挿入方向検出装置１２へと出力される。
【００２５】
この挿入方向検出装置１２は、図３に示すように、前記映像信号処理回路８で生成され、前記Ａ／Ｄ１１でデジタル変換されたデジタルＲＧＢ画像信号を基に挿入方向検出に関わる一連の処理を実行するコンピュータ２０と、このコンピュータ２０で処理されて生成された挿入方向の結果を表示するための表示装置２１とからなり、前記コンピュータ２０は、内視鏡挿入方向検出するための各種メインプログラム２６を記憶した記憶装置２５と、この記憶装置２５のメインプログラム２６を用いて挿入方向検出処理を実行するための中央処理装置（以下、ＣＰＵと称する）２３と、前記ＣＰＵ２３で処理実行された結果を記録するメインメモリ２４と、前記Ａ／Ｄ１１、表示装置２１、及び記憶装置２５との各種入出力制御するための入力／出力制御回路（以下、Ｉ／Ｏ制御回路と称する）２２とからなっている。
【００２６】
なお、前記記憶装置２５のメインプログラム２６は、本発明に係る内視鏡の挿入方向検出に伴う一連の処理を実行するプログラムであると共に、Ｉ／Ｏ制御回路２２に対するＡ／Ｄ１１からのＲＧＢ画像信号の取得要求、表示装置２１への挿入方向検出結果の表示要求などを行うようになっている。
【００２７】
また、前記Ａ／Ｄ１１でアナログＲＧＢ画像信号からデジタルＲＧＢ画像信号への変換は、ＲＧＢ各プレーンが０から２５５の値を取る８ｂｉｔに量子化され、その画像サイズは水平及び垂直方向に対して各ＩＳＸ及びＩＳＹであるものとする。また、以降の説明においては、内視鏡画像Ｉを構成する画素の位置について画像左上端点を（０、０）、右下端点を（ＩＳＸ−１、ＩＳＹ−１）とした座標系に基づいて表示する。
【００２８】
このような構成の内視鏡装置による内視鏡検査において、内視鏡１の挿入部３の先端に正対した大腸の粘膜表面等は、挿入部３の先端から投射される照明光を強く鏡面反射させるために、ＣＣＤに入射される照明光は周辺に比べて非常に明るく、ＣＣＤで撮像生成される撮像信号の鏡面反射部分は飽和したり、あるいは周辺部分に比して輝度が大きくなる一般的にハレーションと称される現象が生ずる。このハレーションは、管腔形状を有する大腸において、円弧状又は円弧状に並んで生じる。
【００２９】
つまり、内視鏡１の挿入部３を図４に示すように大腸１３に挿入して、大腸の屈曲部位に挿入到達した際に、挿入部３の先端の照明窓から投射された照明光は、大腸１３の屈曲部位の粘膜表面で鏡面反射して、ＣＣＤに入射されて、撮像信号が生成される。この時、ＣＣＤで撮像生成された撮像信号から制御装置６の映像信号処理回路８で映像信号処理して観察モニタ９に再生表示される内視鏡画像は、図５及び図６に示すように円弧状又は円弧状に並ぶハレーションが発生する。
【００３０】
この円弧状のハレーションは、円弧の中心方向に管腔が存在する可能性が高いことから熟練した操作者は、ハレーションの形状や分布を挿入操作の補助情報として利用して内視鏡の挿入方向を判断決定している。例えば、図５と図６に示すようなハレーションが生じると画面右下方向に管腔が存在すると判定して、挿入部３の先端を図中右下方向に湾曲させて挿入を進行させる。
【００３１】
このように、ＣＣＤで撮像生成した内視鏡画像から円弧状、あるいは円弧状に並んだハレーションを用いて、即ち、内視鏡画像の画素濃度からハレーションを検出し、ハレーションの形状から推定される管腔方向を内視鏡画像と共に表示させる挿入方向検出装置１２の動作について、図７を用いて説明する。
【００３２】
このＣＣＤで撮像した撮像信号からの挿入方向検出は、前記挿入方向検出装置１２のコンピュータ２０の記憶装置２５に事前記憶されているメインプログラム２６の挿入方向検出処理で実行される。
【００３３】
つまり、前記内視鏡１の挿入部３を大腸に挿入し、且つ、挿入部３の先端に設けたＣＣＤを駆動して映像信号処理回路８で生成されたＲＧＢ画像信号をＡ／Ｄ１１でデジタルＲＧＢ画像信号に変換して、挿入方向検出装置１２に出力供給されると、この挿入方向検出装置１２のコンピュータ２０のＣＰＵ２３は、Ｉ／Ｏ制御回路２２を駆動制御して、前記デジタルＲＧＢ画像信号を取り込むと共に、前記記憶装置２５に記憶されているメインプログラム２６を読み出して内視鏡挿入方向検出処理を行う。
【００３４】
また、前記Ａ／Ｄ１１で変換されＣＰＵ２３の処理駆動の基で、Ｉ／Ｏ制御回路２２から取り込んだデジタルＲＧＢ画像信号を基に表示装置２１に前記観察モニタ９と同様に内視鏡画像とその内視鏡画像のハレーションも同じように表示される。
【００３５】
この内視鏡挿入方向検出処理は、ステップＳ１でＣＰＵ２３は、前記メインプログラム２６の内視鏡挿入方向検出処理プログラムが読み出されて、その処理が開始される。ステップＳ２でＣＰＵ２３は、前記Ｉ／Ｏ制御回路２２を駆動制御して、前記Ａ／Ｄ１１からのデジタルＲＧＢ画像信号からＲ画像信号を取得する。
【００３６】
なお、この第１の実施形態では、ＲＧＢ画像信号からＲ画像信号を用いて内視鏡挿入方向検出の処理を説明するが、Ｒ画像信号以外にＧ画像信号、Ｂ画像信号あるいは輝度画像信号（０．３Ｒ＋０．６Ｇ＋０．１Ｂ）等を用いて処理を行うことも可能である。
【００３７】
次に、ステップＳ３でＣＰＵ２３は、前記ステップＳ２で取得したＲ画像信号を複数の領域に分割する。このステップＳ３の領域分割は、図８に点線で示すように、内視鏡画像Ｉを複数の領域Ａｉｊ（０≦ｉ＜ｌ，０≦ｊ＜ｍ）に分割する。
【００３８】
次に、ステップＳ４でＣＰＵ２３は、前記ステップＳ３で分割された各領域Ａｉｊ内のハレーションを検出する。この各領域Ａｉｊ内のハレーション検出は、具体的には、内視鏡画像Ｉの座標（ｘ，ｙ）（０≦ｘ＜Ｉｓｘ，０≦ｙ＜Ｉｓｙ）における画素の値ｒ（ｘ，ｙ）に基づき２値画像Ｈを作成する。２値画像Ｈにおける各面素ｈ（ｘ，ｙ）の値は次の数式１により求める。
【００３９】
【数１】

【数２】

ここで、閾値ＴＨＬは、ＴＨＬ＝２５５とする。画素の値として２５５に達しない場合においても視覚上ハレーションとして認識される場合がある為、閾値は適宜設定する。なお、１つの領域Ａｉｊ内に存在するハレーションの画素数が少ない場合、対応する２値画像Ｈの領域のみ数式１のｈ（ｘ，ｙ）＝１を数式２のｈ（ｘ，ｙ）＝０に変更する。これにより点のようなハレーションを除去し、管腔方向の検出に有効なハレーションのみ検出する。
【００４０】
つまり、各領域Ａｉｊ内の画素濃度を閾値ＴＨＬと比較してハレーションを検出する。
【００４１】
次にステップＳ５でＣＰＵ２３は、管腔候補位置の設定を行う。この管腔候補位置の設定は、図９に点線で示すよう、管腔の候補領域Ｂｉｊ（０≦ｉ＜Ｏ，０≦ｊ＜Ｐ）を内視鏡画像Ｉの周辺に設定する。
【００４２】
このステップＳ５の管腔候補位置の設定が終了すると、ステップＳ６でＣＰＵ２３は、図１０に示すように管腔の各候補領域Ｂｉｊの中心位置を中心とした半径の異なる２円ｒ１ｑ、ｒ２ｑを設定し、この２円によって囲まれる範囲に存在する内視鏡画像Ｉのハレーションを有する領域Ａｉｊの数をステップＳ７で求める。
【００４３】
このステップＳ７で求めた２円で囲まれた範囲のハレーションを有する領域Ａｉｊの数は、ステップＳ８で、最大の数であるか判定され、最大であると判定されると、ステップＳ９でハレーションを有する領域Ａｉｊの数と管腔の候補位置Ｂｉｊとを記憶する。
【００４４】
前記ステップＳ８で前記領域Ａｉｊの数は最大でないと判定されたり、あるいは、前記ステップＳ９のハレーションを有する領域Ａｉｊの数と管腔候補位置Ｂｉｊの記憶が終了すると、ＣＰＵ２３はステップＳ１０で、図１０に示すように、前記ステップＳ６で設定した２円の半径をｒ１ｑ＋１、ｒ２ｑ＋１に設定変更し、ステップＳ１１でその変更した２円で囲まれる範囲が内視鏡画像Ｉの領域Ａｉｊ外であるか否かを判別し、この変更された２円で囲まれた範囲が内視鏡画像Ｉの領域Ａｉｊ内であると判定されるとステップＳ７に戻り、再度ステップＳ７からＳ１１が繰り返され、変更された２円で囲まれた範囲が内視鏡画像Ｉの領域Ａｉｊ外であると判定されると、ステップＳ１２で、管腔の候補位置Ｂｉｊを変更する。
【００４５】
次に、ＣＰＵ２３はステップＳ１３で、前記ステップＳ１２で変更した管腔候補位置Ｂｉｊが設定した管腔の候補位置が領域外であるかを判別し、管腔候補位置領域内であると判定されるとステップＳ６に戻りステップＳ６からＳ１２が繰り返され、管腔候補位置領域外であると判定されると、ステップＳ１４で、図１１に示すように管腔の候補位置領域Ｂｉｊを、例えば８領域Ｄｉ（０≦ｉ＜８）に分割し、前記ステップＳ９で記憶された管腔の候補位置Ｂｉｊが含まれる領域Ｄｉを求める。
【００４６】
前記ステップＳ１２で設定された管腔の候補位置Ｂｉｊが図１１に示すＢｏｐとすると、このＢｏｐは領域Ｄ４に存在する。つまり、挿入部３の管腔内の挿入方向は、領域Ｄ４方向で、図中の右下となり、ステップＳ１５で表示装置２１に表示されている内視鏡画像に挿入方向表示を行う。
【００４７】
この挿入方向の表示は、図１２に示すように、表示装置２１に表示されている内視鏡画像Ｉの周辺部に挿入方向表示の矢印を表示させる方法や、図示していないが内視鏡画像Ｉに挿入方向を示す矢印を重畳表示させる方法が考えられる。
【００４８】
この第１の実施形態で、前記２円によって囲まれる領域を狭めることにより、より円弧に近いハレーションを検出することが可能になり、また、管腔の候補位置領域Ｂｉｊを細かく設定することにより管腔の位置を精度よく推定することができる。
【００４９】
以上説明したように、この第１の実施形態において、ハレーションが複数存在した場合でも、個々のハレーションの形状によらず安定して管腔の位置を推定することができる。また、特定領域内のハレーションの画素数から管腔の位置を検出するのに有効な領域か否かを判断する為、ノイズのような小さなハレーションを除去することが可能となり安定した管腔位置の推定が可能となった。
【００５０】
次に、本発明の第２の実施形態である内視鏡挿入方向検出装置を図１３と図１４を用いて説明する。なお、この第２の実施形態の内視鏡挿入方向検出装置の構成と、挿入方向である管腔位置の推定処理は、基本的に前記第１の実施形態と同じで、前記第１の実施形態との相違は、前記ステップＳ７における領域Ａｉｊの数を求める方法が異なる。
【００５１】
前記第１の実施形態では、ステップＳ７で２円（ｒ１ｑ，ｒ２ｑ）に囲まれる範囲に存在するハレーションを有する領域Ａｉｊの数を数えているが、この第２の実施形態では、前記２円で囲まれる範囲に存在するハレーションを有する領域Ａｉｊが管腔方向を求めるために有効なハレーション形状であるか判断し、その管腔方向を求めるために有効であると判断されたハレーションを有する領域Ａｉｊのみの数を数えるようにしたものである。
【００５２】
このハレーション形状の評価は、各領域Ａｉｊのハレーションの画素分布を調べる。具体的には、例えば、図１３に示すように、領域Ａ３１のハレーションに対して、閾値処理によって求められたハレーションの座標位置からハレーションの重心の位置Ｗ３１（Ｗｘ３１，Ｗｙ３１）を次の数式３と数式４の基で算出する。
【００５３】
【数３】

【数４】

ただし、ｓは領域Ａ３１に存在するハレーションの画素数、Ｘｋ，Ｙｋは領域Ａ３１に存在するハレーションのｘ，ｙ座標の値である。
【００５４】
また、領域Ａ３１で求められたハレーションの分布から回帰直線を次の数式５で算出する。
【００５５】
【数５】

ただし、ｘ，ｙ領域Ａｉｊ内のハレーションのｘ，ｙ座標値の平均値、Ｖｘはｘの分散、Ｙｘｙはｘ，ｙの共分散で、それぞれは数式６乃至数式９で求められる。
【００５６】
【数６】

【数７】

【数８】

【数９】

回帰直線に直交するベクトルＶｒは、分散Ｖｘと共分散Ｖｘｙより次の数式で表される。
【００５７】
【数１０】

また、図１４に示す管腔の候補領域の中心位置Ｃｏｐ（Ｃｘ０ｐ，Ｃｙｏｐ）から重心（Ｗｘ３１，Ｗｙ３１）へ向かうベクトルＶｃは、次の数式１１で求められる。
【００５８】
【数１１】

更に、ベクトルＶｒとベクトルＶｃとのなす角度θは、内積の式より次の数式１２から求められる。
【００５９】
【数１２】

図１４に示すように角度θが０に近づくほど、ハレーションの形状から得られる方向に管腔の候補領域が存在することになり、ハレーションの形状は管腔の位置を求めるのに有効な形状と考えることができる。適当な閾値θｔｈｌを設定し、閾値θｔｈｌよりも小さな角度θを有する領域Ａｉｊの総数を求める。
【００６０】
このようにして、ハレーションの形状から管腔の位置を求めるための有効な形状を有しているかを判別することができ、精度よく管腔の方向を推定できる。
【００６１】
次に本発明の第３の実施形態に係る内視鏡挿入方向検出装置を図１５乃至図２２を用いて説明する。
【００６２】
図１５は本発明の第３の実施形態に係る内視鏡挿入方向検出装置の撮像画像を説明する説明図、図１６は本発明の第３の実施形態に係るに内視鏡挿入方向検出装置の動作を説明するフローチャート、図１７は本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ検出を説明する説明図、図１８は本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ方向の分類を説明する説明図、図１９は本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から抽出されたエッジの分布を説明する説明図、図２０は本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域を説明する説明図、図２１は本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域の選定処理を説明する説明図、図２２は本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔挿入方向の設定を説明する説明図である。
【００６３】
なお、この第３の実施形態の内視鏡挿入方向検出装置の構成は、前述した第１の実施形態と同じであり、前記コンピュータ２０による管腔方向検出の処理が異なる。
【００６４】
この第３の実施形態は、大腸の腸壁には環状のひだ（ｆｏｌｔ）が存在し、このひだが内視鏡画像での見え方によって内視鏡の挿入方向を判断できる点に着目してなされている。
【００６５】
前述したように、図４に示す内視鏡１の挿入部３の管腔内への挿入状態において、内視鏡画像は図１５に示すように円弧状のひだが観察される。
【００６６】
この円弧状のひだは、前述した第１の実施形態の円弧状のハレーションと同様に円弧の中心方向に管腔が存在する可能性が高いことから、内視鏡挿入方向の判断情報として使用するものである。
【００６７】
この腸壁の環状のひだを撮像した内視鏡画像から管腔への挿入方向の検出動作について図１６を用いて説明する。
【００６８】
挿入方向検出装置１２のＣＰＵ２３は、ステップＳ２１で大腸内の管壁のひだによる挿入方向検出のプログラムが読み出し実行され、ステップＳ２２で前述の第１の実施形態と同様に入力される内視鏡画像のＲＧＢ画像信号のＲ画像信号を取得する。なお、前述の第１の実施形態と同様に、Ｇ画像信号、Ｂ画像信号、あるいは輝度画像信号等を用いて処理を行うことも可能である。
【００６９】
前記ステップＳ２２で取得したＲ画像信号から生成され、前記表示装置２１に表示されるＲ画像からステップＳ２３で、図８を用いて説明した前述の第１の実施形態と同様に内視鏡画像を複数の領域Ａｉｊ（０≦ｉ＜ｌ，０≦ｊ＜ｍ）に分割する。
【００７０】
次にステップＳ２４でその複数の分割された各領域Ａｉｊ内のひだのエッジの方向を示す勾配ベクトルと大きさを求める。具体的には、図１７に示すようエッジを検出する画素位置を中心に大きさ３×３の近傍の画素を抽出し、その水平と垂直および対角方向に位置する画素の値をそれぞれＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ．Ｈとする。これらの画素の値より水平及び垂直方向の微分値ｄｘ、ｄｙを次の数式１３と数式１４とから求める。
【００７１】
【数１３】

【数１４】

この水平と垂直方向の画素の微分値ｄｘ，ｄｙからエッジの方向を示す勾配ベクトルＶを次の数式１５で表すことができる。
【００７２】
【数１５】

この数式１５で算出された勾配ベクトルＶからエッジの大きさは数式１６で算出できる。
【００７３】
【数１６】

次に、領域Ａｉｊにはひだ以外に血管やノイズ等のエッジも含まれるため、次に述べる方法によりひだのエッジを抽出する。
【００７４】
ひだのエッジの大きさ｜Ｖ｜は、血管等のエッジに比べ大きくなる傾向があることから、適当な閾値｜Ｖ｜ｔｈｌを設定し、閾値よりも大きなエッジを抽出する。
【００７５】
また、図１８に示すような８方向のベクトルＶｉ（ｉ＝０，１，…，７）を設定し、閾値処理によって抽出されたエッジを８方向に分類する。抽出された勾配ベクトルＶと８方向のベクトルＶｉとのなす角度θｉを次の数式１７から算出し、角度θｉが最小となる１方向のベクトル（８方向のうちの１方向のベクトル）を求めることによって抽出されたエッジを８方向に分類する。
【００７６】
【数１７】

領域Ａｉｊ内の閾値処理されたエッジを８方向に分類し、最も多く分類されたエッジのみを抽出することにより、閾値処理で取り除くことができなかった血管等のエッジが削除される。
【００７７】
さらに、小領域内に存在するひだのエッジは、直線的に分布すると考えられる為、第２の実施形態と同様な方法で前述した方法によって抽出されたエッジの分布を調べる。
【００７８】
前述した方法によって血管等のエッジが取り除かれたエッジの座標位置を用いて重心位置と回帰直線、回帰直線に直交するベクトルを求める。
【００７９】
回帰直線の方向に分布するエッジの分散σ１と回帰直線に直交する方向に分布するエッジの分散σ２を算出し、分散の比率γ＝σ２／σ１が適当な閾値γｔｈｌよりも小さくなるかを判別することによりひだのエッジであるかを判別する。
【００８０】
次に、ＣＰＵ２３はステップＳ２５で、図２０に点線で示すように、管腔の候補領域Ｂｉｊ（０≦ｉ＜Ｏ，０≦ｊ＜Ｐ）を内視鏡画像の周辺に設定し、ステップＳ２６で図２１に示すように管腔の各候補領域Ｂｉｊの中心位置を中心とした半径の異なる２円ｒ１ｑ，ｒ２ｑを設定する。
【００８１】
このステップＳ２６の２円の設定が終了すると、ステップＳ２７で２円によって囲まれる範囲に存在するひだのエッジを有する領域Ａｉｊの数を求める。ただし、図２２に示すように領域Ａｉｊ内で求めた回帰直線に直交するベクトルと重心位置から管腔の候補領域の中心位置に向かうベクトルとのなす角度θを算出し、この角度θが適当な閾値θｔｈｌより小さい場合、有効なひだのエッジが存在する領域として判別し領域Ａｉｊの総数を求める。
【００８２】
次に、ＣＰＵ２３はステップＳ２８で、前記ステップＳ２７で数えた領域Ａｉｊの数が最大か判断され、最大と判断されると、ステップＳ２９で、領域Ａｉｊの数と管腔の候補位置Ｂｉｊを記憶する。
【００８３】
前記ステップＳ２８で、数えた領域Ａｉｊの数が最大でないと判断されたり、又は前記ステップＳ２９での領域Ａｉｊの数と管腔の候補位置Ｂｉｊの記憶が終了すると、ステップＳ３０で図２１に示すように２円の半径をｒ１ｑ＋１，ｒ２ｑ＋１に変更し、ステップＳ３１でこのステップＳ３０で変更した２円ｒ１ｑ＋１，ｒ２ｑ＋１が内視鏡画像の領域Ａｉｊ内に存在するか否かを判別し、内視鏡画像の領域Ａｉｊ内の場合はステップＳ２７に戻り再度ステップＳ２７からＳ３０が繰り返す処理がなされ、内視鏡画像の領域Ａｉｊ外の場合は、ステップＳ３２で管腔の候補位置の変更を行う。
【００８４】
次に、ステップＳ３３で、前記ステップＳ３２で変更した管腔の候補位置に対して、管腔候補領域Ｂｉｊ外であるか判別し、管腔候補領域Ｂｉｊ内であると前記ステップＳ２６に戻り、ステップＳ２６からＳ３２の処理が繰り返され、管腔候補領域Ｂｉｊ外であると判定されると、ステップＳ３４で、前述した第１の実施形態と同様に図１１に示す管腔の候補領域を、例えば、８領域Ｄｉ（０≦ｉ＜８）に分割し、前記ステップＳ３２で変更された管腔の候補領域の位置が含まれる領域Ｄｉを求める。この求めた領域Ｄｉから管腔の方向を、ステップＳ３５で図１２に示すように、内視鏡画像の周辺部に隣接して表示する。
【００８５】
この第３の実施形態の２円によって囲まれる領域を狭めることにより、より円弧に近いひだを検出することが可能になる。
【００８６】
また、管腔の候補領域を細かく設定することにより管腔の位置を精度よく推定することができる。
【００８７】
この第３の実施形態は、管腔の方向を検出するために有効な管壁のひだのエッジのみを検出し、このエッジから管腔の方向を容易、且つ正確に検出できる。
【００８８】
［付記］
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。
【００８９】
（付記１）
体腔内に挿入された内視鏡より内視鏡画像を入力する画像入力手段と、
前記画像入力手段により入力された前記内視鏡画像より所定の濃度値の画素を抽出する画素抽出手段と、
前記画素抽出手段により抽出された前記所定の濃度値の画素の分布の連続性に基づき特定の領域の形状を求める形状推定手段と、
前記領域形状推定手段により求められた形状から前記内視鏡の前記体腔内への挿入方向を決定する挿入方向決定手段と、
を備えたことを特徴とする内視鏡挿入方向検出装置。
【００９０】
（付記２）
体腔内に挿入された内視鏡で撮像生成された内視鏡画像を複数の領域に分割する内視鏡画像領域分割手段と、
この内視鏡画像領域分割手段で分割した複数の領域毎の画素から得られる値を閾値と比較して、閾値以上の画素分布を抽出する画素抽出手段と、
管腔位置候補領域を設定する管腔位置候補領域設定手段と、
この管腔位置候補領域設定手段で設定した管腔位置候補領域から前記内視鏡画像領域に対して、半径の異なる複数の円を設定し、この複数の円内に配置される前記画素抽出手段で抽出した閾値以上の画素分布から管腔方向を推定する管腔方向推定手段と、
この管腔方向推定手段で推定した管腔方向から前記管腔位置候補領域に内視鏡挿入方向を決定する挿入方向決定手段と、
この挿入方向設定手段で設定された内視鏡挿入方向を基に内視鏡画像と共に挿入方向を表示させる挿入方向表示手段と、
を備えたことを特徴とする内視鏡挿入方向検出システム。
【００９１】
（付記３）
前記画素抽出手段は、体腔内で鏡面反射されて生成されるハレーション部分、又は体腔内壁のひだのエッジ部分の画素であることを特徴とする付記１記載の内視鏡挿入方向検出装置、又は付記２記載の内視鏡挿入方向検出システム。
【００９２】
（付記４）
前記管腔方向推定手段は、前記画素抽出手段で抽出した画素分布の重心位置と、前記管腔位置候補領域設定手段で設定した管腔位置候補領域の中心位置とを結ぶベクトルと、前記画素分布の回帰直線と直交するベクトルとの角度差から挿入方向決定に有用な管腔方向を推定することを特徴とした付記２に記載の内視鏡挿入方向検出システム。
【００９３】
（付記５）
前記管腔方向推定手段は、前記画素抽出手段で抽出したひだのエッジの勾配ベクトル演算し、この勾配ベクトルが同じ方向のエッジ分布から管腔方向を推定することを特徴とした付記２に記載の内視鏡挿入方向検出システム。
【００９４】
（付記６）
前記管腔位置候補設定手段で設定した管腔位置候補領域から内視鏡画像領域に対して設けた半径の異なる複数の円の中心位置は、管腔位置候補領域の同一領域内であることを特徴した付記２に記載の内視鏡挿入方向検出システム。
【００９５】
（付記７）
前記管腔方向推定手段で半径の異なる複数の円の範囲に配置された閾値以上の画素分布から推定した管腔方向と、前記複数の円の中心位置の方向が一致していることを特徴とした付記２に記載の内視鏡挿入方向検出システム。
【００９６】
（付記８）
内視鏡画像を入力する画像入力手段と、
前記画像入力手段から入力された内視鏡画像において、高い濃度値を有する画素を抽出する画素抽出手段と、
前記画素抽出手段で抽出した画素に対して、特定領域内に存在する画素を選択する画素選択手段と、
前記画素選択手段で選択された画素と、前記特定領域の形状に基づき内視鏡の挿入方向を決定する挿入方向決定手段と、
前記挿入方向決定手段で決定された挿入方向を表示する表示手段と、
を備えたことを特徴とする内視鏡挿入方向検出方法。
【００９７】
（付記９）
大腸内視鏡画像を入力する画像入力手段と、
前記画像入力手段から入力された大腸内視鏡画像において、大腸のひだのエッジ部分の画素を抽出する画素抽出手段と、
前記画素抽出手段で抽出したエッジ部分の画素に対して、特定領域内に存在する画素を選択する画素選択手段と、
前記画素選択手段で選択されたエッジ部分の画素と、前記特定領域の形状に基づき内視鏡の挿入方向を決定する挿入方向決定手段と、
前記挿入方向決定手段で決定された挿入方向を表示する表示手段と、
を備えたことを特徴とする内視鏡挿入方向検出方法。
【００９８】
（付記１０）
前記画素選択手段の特定領域とは、複数の異なる円又は楕円によって囲まれる領域により設定されることを特徴とする付記８または付記９に記載の内視鏡挿入方向検出方法。
【００９９】
（付記１１）
前記複数の異なる円又は楕円の中心位置は、同一又は同一領域内に設定されることを特徴とする付記１０に記載の内視鏡挿入方向検出方法。
【０１００】
（付記１２）
前記挿入方向決定手段で決定する挿入方向は、前記複数の円又は楕円の同一の中心位置、又は同一の領域内の方向を挿入方向とすることを特徴とした付記１１に記載の内視鏡挿入方向検出方法。
【０１０１】
（付記１３）
前記挿入方向決定手段は、前記画素選択手段で選択された画素の分布形状から推定される管腔方向と、特定領域の形状から推定される管腔方向の同一性に応じて、内視鏡の挿入方向を決定することを特徴とした付記８又は付記９に記載の内視鏡挿入方向検出方法。
【０１０２】
（付記１４）
前記挿入方向決定手段は、前記画素選択手段で選択されたエッジ部分の画素うち、ほぼ同一方向を向くエッジ部分の分布形状と前記特定領域の形状に基づき内視鏡の挿入方向を決定することを特徴とした付記８又は付記９に記載の内視鏡挿入方向検出方法。
【０１０３】
（付記１５）
前記挿入方向決定手段は、前記画素選択手段で選択されたエッジ部分の画素のうち、ほぼ同一方向を向くエッジ部分の分布形状から推定される管腔の方向と、前記特定領域の形状から推定される管腔方向の同一性に基づき内視鏡の挿入方向を決定することを特徴とした付記８又は付記９に記載の内視鏡挿入方向検出方法。
【０１０４】
【発明の効果】
本発明の内視鏡挿入方向検出装置は、内視鏡画像から管腔位置及び内視鏡挿入方向が確実に検出でき、その挿入方向を内視鏡画像と共に表示装置に表示させることで、内視鏡挿入操作が可能となり、被検体に対して不快感を与えることなく内視鏡挿入操作が可能となる。
【図面の簡単な説明】
【図１】本発明に係る内視鏡装置の全体構成を示すブロック図。
【図２】本発明に係る内視鏡装置の管腔内への挿入操作を説明する説明図。
【図３】本発明の第１の実施形態である内視鏡挿入方向検出装置の構成を示すブロック図。
【図４】本発明に係る内視鏡を管腔内の屈曲部へ挿入した状態を説明する説明図。
【図５】本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図。
【図６】本発明に係る内視鏡装置で撮像した管腔内の撮像画像を説明する説明図。
【図７】本発明の第１の実施形態の内視鏡挿入方向検出装置の動作を説明するフローチャート。
【図８】本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像を複数領域への分割例を説明する説明図。
【図９】本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像の周辺に設定する管腔の候補領域を説明する説明図。
【図１０】本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔方向の設定動作を説明する説明図。
【図１１】本発明の第１の実施形態の内視鏡挿入方向検出装置による内視鏡画像から管腔の候補領域から挿入方向の決定動作を説明する説明図。
【図１２】本発明の第１の実施形態の内視鏡挿入方向検出装置で検出された内視鏡挿入方向を内視鏡画像と併設表示例を説明する説明図。
【図１３】本発明の第２の実施形態の内視鏡挿入方向検出装置による内視鏡画像からハレーション位置検出を説明する説明図。
【図１４】本発明の第２の実施形態の内視鏡挿入方向検出装置による内視鏡挿入方向検出を説明する説明図。
【図１５】本発明の第３の実施形態に係る内視鏡挿入方向検出装置の撮像画像を説明する説明図。
【図１６】本発明の第３の実施形態に係るに内視鏡挿入方向検出装置の動作を説明するフローチャート。
【図１７】本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ検出を説明する説明図。
【図１８】本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像からエッジ方向の分類を説明する説明図。
【図１９】本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から抽出されたエッジの分布を説明する説明図。
【図２０】本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域を説明する説明図。
【図２１】本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔候補領域の選定処理を説明する説明図。
【図２２】本発明の第３の実施形態に係る内視鏡挿入方向検出装置による内視鏡画像から管腔挿入方向の設定を説明する説明図。
【符号の説明】
１…内視鏡
２…操作部
３…挿入部
４…制御装置
８…映像信号処理回路
９…観察モニタ
１１…アナログ／デジタル変換器（Ａ／Ｄ）
１２…挿入方向検出装置
２０…コンピュータ
２１…表示装置
２２…入力／出力制御回路
２３…中央処理装置（ＣＰＵ）
２４…メインメモリ
２５…記憶装置
２６…メインプログラム

Claims

体腔内に挿入された内視鏡より内視鏡画像を入力する画像入力手段と、
前記画像入力手段により入力された前記内視鏡画像より所定の濃度値の画素を抽出する画素抽出手段と、
前記画素抽出手段により抽出された前記所定の濃度値の画素の分布の連続性に基づき特定の領域の形状を求める領域形状推定手段と、
前記領域形状推定手段により求められた形状から前記内視鏡の前記体腔内への挿入方向を決定する挿入方向決定手段と、
を備えたことを特徴とする内視鏡挿入方向検出装置。