JP2016163609A - 分岐構造判定装置、方法およびプログラム - Google Patents

Abstract

【課題】分岐構造判定装置、方法およびプログラムにおいて、実内視鏡画像に管状構造物の分岐構造が含まれるか否かを精度よく判定する。【解決手段】画像取得部２１が実内視鏡画像Ｔ０を取得し、第１の評価値取得部２２が内視鏡の挿入先の孔らしさを表す第１の評価値Ｅ１を、第２の評価値取得部２３が気管支の分岐における複数の気管支の境界らしさを表す第２の評価値Ｅ２をそれぞれ取得する。判定部２４が第１および第２の評価値Ｅ１，Ｅ２の双方を用いて、実内視鏡画像Ｔ０に分岐構造が含まれるか否かを判定する。分岐構造が含まれると判定されると、仮想内視鏡画像生成部２５が仮想内視鏡画像Ｋ０を生成し、表示制御部２６が、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０をディスプレイ１４に表示する。【選択図】図２

Description

本発明は、気管支等の分岐構造を有する管状構造物へ内視鏡を挿入して撮影を行うことにより取得された内視鏡画像を用いて、管状構造物の分岐位置における分岐構造を判定する分岐構造判定装置、方法およびプログラムに関するものである。

近年、患者の大腸や気管支等の管状構造物を内視鏡を用いて観察または処置を行う技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状構造物内部の色や質感が鮮明に表現された画像が得られる一方で、管状構造物の内部を２次元の画像に表すものである。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。とくに、気管支用の内視鏡は、径が細く視野が狭いため、内視鏡の先端を目的とする位置まで到達させることは困難である。

そこで、ＣＴ（Computed Tomography）装置あるいはＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。この仮想内視鏡画像は、内視鏡を管状構造物内の目標とする位置まで導くためのナビゲーション画像として用いられる。しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する管路を有する構造物の場合、内視鏡の先端を目標とする位置まで短時間で到達させるのは熟練した技術を要する。

このため、３次元画像から管状構造物の画像を抽出し、管状構造物の画像と内視鏡により撮影を行うことにより取得した実際の内視鏡画像である実内視鏡画像とのマッチングを行い、内視鏡の現在位置における仮想内視鏡画像を管状構造物の３次元画像から生成して表示する手法が提案されている（特許文献１参照）。

しかしながら、特許文献１に記載された手法は、実内視鏡画像と管状構造物の３次元画像の全体とのマッチングを行う必要があるため、処理に長時間を要する。一方、内視鏡を目標とする位置まで到達させるためには、管状構造物における分岐位置において、目標とする位置に繋がる管状構造物の部分に内視鏡を進めることが重要である。このため、実内視鏡画像において、分岐位置を認識する手法が提案されている（特許文献２，３参照）。特許文献２には、既知の形状記述子を用いて実内視鏡画像から分岐位置を表す画像特徴を検出し、検出した画像特徴に基づいて仮想内視鏡画像とマッチングを行って、分岐位置に対応する仮想内視鏡画像を取得する手法が記載されている。また、特許文献３には、実内視鏡画像から画像処理により分岐位置を検出し、検出した分岐位置を用いて仮想内視鏡の分岐位置の画像を生成する手法が提案されている。

特許文献２，３に記載された手法を使用し、実内視鏡画像において分岐位置を検出すれば、管状構造物の画像において分岐位置付近においてのみマッチングを行えばよいこととなるため、分岐位置に到達した内視鏡により取得された実内視鏡画像に対応する仮想内視鏡画像を迅速に生成することができる。

特開２０１３−１５０６５０号公報 特表２０１２−５０５６９５号公報 特表２０１２−５３１９３２号公報

特許文献２に記載された手法においては、分岐構造の形状を用いて分岐位置を検出するものである。しかしながら、分岐位置における分岐構造のどのような形状的特徴を用いるかについては、特許文献２には記載がない。また、特許文献３には画像処理により分岐位置を検出する構成が記載されているが、具体的にどのような画像処理により分岐位置を検出するかについては、特許文献３には記載がない。このように、特許文献２，３に記載された手法では、どのようにして分岐位置における分岐構造を検出するか不明であるため、精度よく分岐構造を検出できない可能性がある。

本発明は上記事情に鑑みなされたものであり、分岐構造判定装置、方法およびプログラムにおいて、実内視鏡画像に管状構造物の分岐構造が含まれるか否かを精度よく判定することを目的とする。

本発明による分岐構造判定装置は、被検体における分岐構造を有する管状構造物内に挿入された内視鏡を用いて撮影を行うことにより生成された、管状構造物の内壁を表す実内視鏡画像を取得する実内視鏡画像取得手段と、
管状構造物における内視鏡の挿入先の孔らしさを表す第１の評価値を実内視鏡画像から取得する第１の評価値取得手段と、
管状構造物の分岐における複数の管状構造物の境界らしさを表す第２の評価値を実内視鏡画像から取得する第２の評価値取得手段と、
第１および第２の評価値の双方を用いて、実内視鏡画像に分岐構造が含まれるか否かを判定する判定手段とを備えたことを特徴とするものである。

管状構造物に挿入された内視鏡により取得される実内視鏡画像においては、管状構造物の奥の方は、内視鏡の照明が届かないため暗く、内視鏡がこれから挿入される先の方は深い孔のように見える。「内視鏡の挿入先の孔らしさを表す第１の評価値」とは、実内視鏡画像において、どの程度深い孔に見えるかを表す評価値を意味する。一方、複数の管状構造物が繋がっている分岐位置においては、繋がっている管状構造物をその中心線に沿って切断すると、繋がっている管状構造物の境界部分の断面は尾根状にとがったものとなる。実内視鏡画像においてこの境界部分は、深い孔により挟まれた線状の構造を有するものとなっている。「複数の管状構造物の境界らしさを表す第２の評価値」とは、実内視鏡画像において、どの程度境界のように見えるかを表す評価値を意味する。

なお、本発明による分岐構造判定装置においては、判定手段は、第１の評価値に基づいて内視鏡の挿入先の孔の候補を取得し、第２の評価値に基づいて管状構造物の分岐における複数の管状構造物の境界の候補を取得し、孔の候補および境界の候補に基づいて、実内視鏡画像に前記分岐構造が含まれるか否かを判定するものとしてもよい。

また、本発明による分岐構造判定装置においては、判定手段は、孔の候補となった第１の評価値および境界の候補となった第２の評価値の加重平均を算出し、加重平均があらかじめ定められたしきい値以上である場合に、実内視鏡画像に分岐構造が含まれると判定するものとしてもよい。

また、本発明による分岐構造判定装置においては、第１の評価値取得手段は、内視鏡の挿入先の孔らしさを機械学習することにより取得された学習結果を用いて第１の評価値を算出するものとしてもよい。

また、本発明による分岐構造判定装置においては、第２の評価値取得手段は、複数の管状構造物の境界らしさを機械学習することにより取得された学習結果を用いて第２の評価値を算出するものとしてもよい。

また、本発明による分岐構造判定装置においては、実内視鏡画像を表示する実内視鏡画像表示手段をさらに備えるものとしてもよい。

また、本発明による分岐構造判定装置においては、分岐構造が含まれると判定された場合に、表示された実内視鏡画像における分岐構造を強調する強調手段をさらに備えるものとしてもよい。

この場合、強調手段は、分岐構造における内視鏡の挿入先の孔および複数の管状構造物の境界の少なくとも一方にマーカを付与して分岐構造を強調するものとしてもよい。

「マーカ」とは、内視鏡の挿入先の孔および複数の管状構造物の境界の少なくとも一方を強調するためのものであり、例えば、孔を囲む線および境界を示す線をマーカとして用いることができる。また、線に代えて孔および境界を示す記号および文字もマーカとして用いることができる。なお、マーカには色を付与したり、マーカの表示を点滅させたりしてもよい。

また、本発明による分岐構造判定装置においては、分岐構造が含まれると判定された場合に警告を行う警告手段をさらに備えるものとしてもよい。

また、本発明による分岐構造判定装置においては、被検体の管状構造物を含む３次元画像を取得する３次元画像取得手段と、
分岐構造が含まれると判定された場合、分岐構造が含まれると判定された実内視鏡画像を取得した内視鏡の先端の位置と対応する、３次元画像中の位置において、分岐構造を見た場合における管状構造物の内壁を表す仮想内視鏡画像を、３次元画像から生成する仮想内視鏡画像生成手段とをさらに備えるものとしてもよい。

この場合、仮想内視鏡画像を表示する仮想内視鏡画像表示手段をさらに備えるものとしてもよい。

またこの場合、仮想内視鏡画像生成手段は、３次元画像から管状構造物を抽出し、抽出された管状構造物における内視鏡の先端の位置を特定するものとしてもよい。また、本発明による分岐構造判定装置においては、抽出された管状構造物の画像を表示する管状構造物表示手段をさらに備えるものとしてもよい。

また、本発明による分岐構造判定装置においては、管状構造物表示手段は、表示された管状構造物において、特定された内視鏡の先端の位置をさらに表示するものとしてもよい。

本発明による分岐構造判定方法は、被検体における分岐構造を有する管状構造物内に挿入された内視鏡を用いて撮影を行うことにより生成された、管状構造物の内壁を表す実内視鏡画像を取得し、
管状構造物における内視鏡の挿入先の孔らしさを表す第１の評価値を実内視鏡画像から取得し、
管状構造物の分岐における複数の管状構造物の境界らしさを表す第２の評価値を実内視鏡画像から取得し、
第１および第２の評価値の双方を用いて、実内視鏡画像に分岐構造が含まれるか否かを判定することを特徴とするものである。

なお、本発明による分岐構造判定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、管状構造物における内視鏡の挿入先の孔らしさを表す第１の評価値が実内視鏡画像から取得され、管状構造物の分岐における複数の管状構造物の境界らしさを表す第２の評価値が実内視鏡画像から取得される。そして、第１および第２の評価値の双方を用いて、実内視鏡画像に分岐構造が含まれるか否かが判定される。ここで、第１および第２の評価値は分岐位置の特徴を顕著に表すものである。このため、本発明によれば、第１および第２の評価値を用いることにより、実内視鏡画像に分岐構造が含まれるか否かを精度よく判定することができる。

本発明の実施形態による分岐構造判定装置を適用した、診断支援システムの概要を示すハードウェア構成図 コンピュータに分岐構造判定プログラムをインストールすることにより実現される分岐構造判定装置の概略構成を示す図 気管支の分岐位置における実内視鏡画像を示す図 気管支の分岐位置における実内視鏡画像を示す図 気管支の分岐位置における断面図 マッチングを説明するための図 ディスプレイに表示された実内視鏡画像および仮想内視鏡画像を示す図 ディスプレイに表示された気管支画像、実内視鏡画像および仮想内視鏡画像を示す図 実内視鏡画像における分岐構造の強調および警告を説明するための図 実内視鏡画像における分岐構造の強調を説明するための図 本実施形態において行われる処理を示すフローチャート

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による分岐構造判定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置４、画像保管サーバ５および分岐構造判定装置６が、ネットワーク８を経由して通信可能な状態で接続されている。

内視鏡装置３は、被検体の管状構造物の内部を撮影する内視鏡スコープ３１、撮影により得られた信号に基づいて管状構造物の内部の画像を生成するプロセッサ装置３２、並びに内視鏡スコープ３１の先端の位置および向きを検出する位置検出装置３４等を備える。

内視鏡スコープ３１は、操作部３Ａに被検体の管状構造物内に挿入される挿入部が連続して取り付けられたものであり、プロセッサ装置３２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置３２に接続されている。操作部３Ａは、挿入部の先端３Ｂが所定の角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ３１の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ３１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置３２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ３１の挿入部の先端３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ３１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡先端３Ｂと称するものとする。

プロセッサ装置３２は、内視鏡スコープ３１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｔ０を生成する。なお、生成される画像は、例えば３０ｆｐｓ等の所定のフレームレートにより表される動画像である。内視鏡画像Ｔ０は、画像保管サーバ５あるいは分岐構造判定装置６に送信される。ここで、以降の説明において、内視鏡装置３により撮影した内視鏡画像Ｔ０を、後述する仮想内視鏡画像と区別するために実内視鏡画像Ｔ０と称するものとする。

位置検出装置３４は、被検体の体内における内視鏡先端３Ｂの位置および向きを検出する。具体的には、被検体の特定部位の位置を基準点とした３次元座標系の検出領域を有するエコー装置により、内視鏡先端３Ｂの特徴的な形状を検出することで、被検体の体内における内視鏡先端３Ｂの相対的な位置および向きを検出し、検出した内視鏡先端３Ｂの位置および向きの情報を位置情報として分岐構造判定装置６に出力する（例えば、特開２００６−６１２７４号公報参照）。検出した内視鏡先端３Ｂの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向にそれぞれ該当する。なお、以降の説明において、位置および向きの情報を単に位置情報と称するものとする。また、位置情報は、実内視鏡画像Ｔ０と同様のレートにより分岐構造判定装置６に出力される。

３次元画像撮影装置４は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、および超音波診断装置等である。この３次元画像撮影装置４により生成された３次元画像Ｖ０は画像保管サーバ５に送信され、保存される。本実施形態では、３次元画像撮影装置４は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成する。

画像保管サーバ５は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ５は、ネットワーク８を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された実内視鏡画像Ｔ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、実内視鏡画像Ｔ０は、内視鏡先端３Ｂの移動に応じて撮影される動画像データとなる。このため、実内視鏡画像Ｔ０は、画像保管サーバ５を経由することなく、分岐構造判定装置６に送信されることが好ましい。なお、画像データの格納形式やネットワーク８経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

分岐構造判定装置６は、１台のコンピュータに、本発明の分岐構造判定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。分岐構造判定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて分岐構造判定装置６の使用者である医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに分岐構造判定プログラムをインストールすることにより実現される分岐構造判定装置の概略構成を示す図である。図２に示すように、分岐構造判定装置６は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、分岐構造判定装置６には、ディスプレイ１４と、マウス等の入力部１５とが接続されている。

ストレージ１３には、ネットワーク８を経由して内視鏡装置３、３次元画像撮影装置４および画像保管サーバ５等から取得した実内視鏡画像Ｔ０、３次元画像Ｖ０および分岐構造判定装置６での処理によって生成された画像等が記憶されている。

また、メモリ１２には、分岐構造判定プログラムが記憶されている。分岐構造判定プログラムは、ＣＰＵ１１に実行させる処理として、プロセッサ装置３２が生成した実内視鏡画像Ｔ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データを取得する画像取得処理、管状構造物である気管支における内視鏡の挿入先の孔らしさを表す第１の評価値を実内視鏡画像Ｔ０から取得する第１の評価値取得処理、気管支の分岐における複数の気管支の境界らしさを表す第２の評価値を実内視鏡画像Ｔ０から取得する第２の評価値取得処理、第１および第２の評価値の双方を用いて、実内視鏡画像Ｔ０に分岐構造が含まれるか否かを判定する判定処理、分岐構造が含まれると判定された場合に３次元画像Ｖ０から仮想内視鏡画像を生成する仮想内視鏡画像生成処理、実内視鏡画像Ｔ０および仮想内視鏡画像を表示する表示制御処理、分岐構造が含まれると判定された場合に、ディスプレイ１４に表示された実内視鏡画像Ｔ０における分岐構造を強調する強調処理、並びに分岐構造が含まれると判定された場合に警告を行う警告処理を規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、第１の評価値取得部２２、第２の評価値取得部２３、判定部２４、仮想内視鏡画像生成部２５、表示制御部２６、強調部２７、および警告部２８として機能する。なお、分岐構造判定装置６は、画像取得処理、第１の評価値取得処理、第２の評価値取得処理、判定処理、仮想内視鏡画像生成処理、表示制御処理、強調処理、および警告処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。ここで、画像取得部２１が実内視鏡画像取得手段および３次元画像取得手段に対応し、ディスプレイ１４が実内視鏡画像表示手段、仮想内視鏡画像表示手段および管状構造物表示手段に対応する。

画像取得部２１は、内視鏡装置３により気管支内を所定の視点位置において撮影した実内視鏡画像Ｔ０および３次元画像Ｖ０を取得する。画像取得部２１は、実内視鏡画像Ｔ０および３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。実内視鏡画像Ｔ０は、気管支の内側の表面、すなわち気管支内壁を表す画像である。実内視鏡画像Ｔ０は表示制御部２６に出力されてディスプレイ１４に表示される。

第１の評価値取得部２２は、実内視鏡画像Ｔ０から内視鏡の挿入先の孔らしさを表す第１の評価値Ｅ１を取得する。具体的には、実内視鏡画像Ｔ０における孔らしさを表す特徴量を第１の評価値Ｅ１として取得する。このため、第１の評価値取得部２２は、気管支の分岐位置における孔の画像を教師画像として機械学習することにより生成した、学習結果である判別器を備えている。

図３は気管支の分岐位置における実内視鏡画像を示す図である。図３に示すように、分岐位置においては内視鏡の先端３Ｂから照射された光が届く範囲において、気管支の内壁が視認可能となり、内視鏡がこれから挿入される先の方は、光が届かないため、暗くて深い孔が見えている。第１の評価値Ｅ１を取得するための判別器の学習においては、図３に示すようにサンプル画像から切り出した孔の領域の画像を教師画像Ａ１として用いる。教師画像Ａ１は、孔の中心がその重心にあり、孔の長軸が水平となり、かつ孔の長軸の長さがあらかじめ定められた長さとなるように規格化された正方形の画像である。なお、学習のためには、孔以外の教師画像（Ａ２とする）も用意する。そして、孔の教師画像Ａ１を正の教師画像、孔以外の教師画像Ａ２を負の教師画像として、ブースティング等の機械学習アルゴリズムを用いて学習を行うことにより、第１の評価値Ｅ１用の判別器を取得する。この判別器は、入力された画像に対してスコアを出力する。スコアが大きいほど、入力された画像は分岐の孔が含まれる可能性が高いものとなる。なお、機械学習アルゴリズムとしては、例えば「Robust Real-Time Face Detection, International Journal of Computer Vision 57(2), 137-154, 2004.」に記載された手法を用いればよい。

第２の評価値取得部２３は、実内視鏡画像Ｔ０から分岐における気管支の境界らしさを表す第２の評価値Ｅ２を取得する。具体的には、実内視鏡画像Ｔ０における境界らしさを表す特徴量を第２の評価値Ｅ２として取得する。このため、第２の評価値取得部２３は、気管支の分岐位置における境界の画像を教師画像として機械学習することにより生成した、学習結果である判別器を備えている。

図４は図３と同様の気管支の分岐位置における実内視鏡画像を示す図である。図４に示すように、分岐位置においては内視鏡の先端３Ｂから照射された光が届く範囲において、気管支の内壁が視認可能となり、内視鏡がこれから挿入される先の方は、光が届かないため、暗くて深い孔が見えている。そして深い孔の間に、孔の境界が見えている。ここで孔の境界は図５の分岐位置の断面図に示すように、尾根状にとがったものとなっている。このため、孔の境界は２つの孔に挟まれた線状の構造をなしている。第２の評価値Ｅ２を取得するための判別器の学習においては、図４に示すようにサンプル画像から切り出した境界の領域の画像を教師画像Ａ３として用いる。教師画像Ａ３は、境界の線状の部分の中心がその重心にあり、境界の部分が水平となり、かつ境界の部分の長さがあらかじめ定められた長さとなるように規格化された正方形の画像である。なお、学習のためには、境界以外の教師画像（Ａ４とする）も用意する。そして、境界の教師画像Ａ３を正の教師画像、境界以外の教師画像Ａ４を負の教師画像として、ブースティング等の機械学習アルゴリズムを用いて学習を行うことにより、第２の評価値Ｅ２用の判別器を取得する。この判別器は、入力された画像に対してスコアを出力する。スコアが大きいほど、入力された画像は分岐の境界が含まれる可能性が高いものとなる。

第１の評価値取得部２２は、実内視鏡画像Ｔ０から正方形の領域を切り出し、切り出した領域を第１の評価値用の判別器に入力する。第１の評価値用の判別器は、切り出した領域についての孔らしさのスコアを出力する。なお、第１の評価値取得部２２は、実内視鏡画像Ｔ０における異なる位置、異なるサイズおよび異なる回転角度について領域を切り出し、切り出した領域を用いて上記の判別を繰り返すことにより、複数のスコアを出力する。なお、異なるサイズの領域としては例えば同一の位置において１０画素間隔で１０画素×１０画素〜１００画素×１００画素の１０通りのサイズの領域を切り出せばよい。また、異なる回転角度の領域としては、例えば同一の位置および同一のサイズにおいて、３０度間隔で１２通り回転角度の領域を切り出せばよい。

ここで、図３に示すように、切り出した領域が正の教師画像と一致する場合にはスコアは大きくなるが、図３の領域Ａ５に示すように正の教師画像と一致しない場合には、スコアは小さくなる。第１の評価値取得部２２は、判別器が出力したスコアを第１の評価値Ｅ１として取得する。

一方、第２の評価値取得部２３は、第１の評価値取得部２２と同様に、実内視鏡画像Ｔ０から正方形の領域を切り出し、切り出した領域を第２の評価値用の判別器に入力する。第２の評価値用の判別器は、切り出した領域についての境界らしさのスコアを出力する。なお、第２の評価値取得部２３は、実内視鏡画像Ｔ０における異なる位置、異なるサイズおよび異なる回転角度について領域を切り出し、切り出した領域を用いて上記の判別を繰り返すことにより、複数のスコアを出力する。

ここで、図４に示すように、切り出した領域が正の教師画像と一致する場合にはスコアは大きくなるが、図４の領域Ａ６に示すように正の教師画像と一致しない場合には、スコアは小さくなる。第２の評価値取得部２３は、判別器が出力したスコアを第２の評価値Ｅ２として取得する。

判定部２４は、第１の評価値Ｅ１および第２の評価値Ｅ２の双方を用いて、実内視鏡画像Ｔ０に気管支の分岐構造が含まれるか否かを判定する。まず判定部２４は、実内視鏡画像Ｔ０において、２以上の孔が存在し、その孔の間に境界が存在するか否かを判定する。このために、判定部２４は、しきい値Ｔｈ１以上となる第１の評価値Ｅ１を取得した位置を孔候補の位置として取得する。また、しきい値Ｔｈ２以上となる第２の評価値Ｅ２を取得した位置を境界候補の位置として取得する。そして、２以上の孔候補が取得され、かつその間の位置において境界候補が取得されたか否かを判定する。なお、境界候補が取得された位置の両側のそれぞれに孔候補が取得されたか否かを判定するようにしてもよい。そして、この判定が肯定された場合に、孔候補となった第１の評価値Ｅ１および境界候補となった第２の評価値Ｅ２の加重平均を算出し、加重平均があらかじめ定められたしきい値Ｔｈ３以上である場合に、実内視鏡画像Ｔ０に気管支の分岐構造が含まれると判定する。この場合、孔候補となった２つの第１の評価値Ｅ１の間に、境界候補となった第２の評価値Ｅ２が存在する場合に、加重平均の値が大きくなるように加重平均の重みを決定すればよい。これにより、分岐構造が含まれると判定され場合、孔候補となった第１の評価値Ｅ１が取得された位置を、分岐における孔の位置として検出することができる。また、境界候補となった第２の評価値Ｅ２が取得された位置を分岐における境界の位置として検出することができる。

なお、判定部２４が行う判定は加重平均を用いるものに限定されるものではなく、第１の評価値Ｅ１と第２の評価値Ｅ２との平均を用いるものであってもよく、第１の評価値Ｅ１と第２の評価値Ｅ２との加算値を用いるものであってもよい。また、第１の評価値Ｅ１と第２の評価値Ｅ２との乗算値を用いるものであってもよい。さらに、加重平均を求めることなく、２以上の孔候補が取得され、かつその間の位置において境界候補が取得されたか否かを判定することによってのみ、分岐構造が含まれるか否かを判定するようにしてもよい。また、境界候補が取得された位置の両側のそれぞれに、孔候補が取得されたか否かを判定することによってのみ、分岐構造が含まれるか否かを判定するようにしてもよい。

仮想内視鏡画像生成部２５は、実内視鏡画像Ｔ０に分岐構造が含まれると判定された場合、３次元画像Ｖ０から、実内視鏡画像Ｔ０の視点に対応する３次元画像Ｖ０中の視点から見た、気管支内壁を描写した仮想内視鏡画像Ｋ０を生成する。以下、仮想内視鏡画像Ｋ０の生成について説明する。

仮想内視鏡画像生成部２５は、まず３次元画像Ｖ０から気管支を抽出する。具体的には、仮想内視鏡画像生成部２５は、例えば特開２０１０−２２０７４２号公報等に記載された手法を用いて、入力された３次元画像Ｖ０に含まれる気管支領域のグラフ構造を、３次元の気管支画像として抽出する。以下、このグラフ構造の抽出方法の一例を説明する。

３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、各画素ごとに画素値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。仮想内視鏡画像生成部２５は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像ごとに検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。

まず、各解像度において、３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるか否かを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、仮想内視鏡画像生成部２５は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表す３次元のグラフ構造を気管支画像として得ることができる。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。

仮想内視鏡画像生成部２５は、気管支画像と実内視鏡画像Ｔ０とのマッチングを行う。マッチングは例えば上記特許文献１に記載された手法を用いる。ここで、マッチングとは、気管支画像によって表される気管支と、内視鏡先端３Ｂの気管支内における実際の位置との位置合わせを行う処理である。このために、仮想内視鏡画像生成部２５は、内視鏡先端３Ｂの気管支内における経路情報を取得する。具体的には、位置検出装置３４が検出した内視鏡先端３Ｂの位置を、スプライン曲線等により近似した線分を経路情報として取得する。そして、図６に示すように、内視鏡経路上に５ｍｍ〜１ｃｍ程度の十分に細かい範囲間隔でマッチング候補点Ｐｎ１，Ｐｎ２，Ｐｎ３，・・・を設定するとともに、気管支形状上に同様の範囲間隔でマッチング候補点Ｐｋ１，Ｐｋ２，Ｐｋ３・・・を設定する。本実施形態においては、仮想内視鏡画像生成部２５は実内視鏡画像Ｔ０に分岐構造が含まれると判定された場合に仮想内視鏡画像Ｋ０を生成するものである。このため、仮想内視鏡画像生成部２５は、気管支におけるマッチング候補点を気管支画像における分岐位置の付近にのみ設定する。また、内視鏡経路については、現在位置の手前におけるあらかじめ定められた範囲においてのみマッチング候補点を設定する。

そして、仮想内視鏡画像生成部２５は、内視鏡経路のマッチング候補点と、気管支形状のマッチング候補点とを内視鏡挿入位置Ｓｎ，Ｓｋから順番に対応づけることによってマッチングを行う。これにより、気管支画像上における現在の内視鏡先端３Ｂの位置を特定することができる。

さらに仮想内視鏡画像生成部２５は、特定した内視鏡先端３Ｂの位置を視点として、その視点から放射線状に伸ばした複数の視線上の３次元画像を所定の投影面に投影した中心投影による投影画像を取得する。この投影画像は、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像Ｋ０となる。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。また、仮想内視鏡画像Ｋ０の画角（視線の範囲）および視野の中心（投影方向の中心）は、使用者による入力等によってあらかじめ設定されているものとする。生成された仮想内視鏡画像Ｋ０は表示制御部２６に出力されてディスプレイ１４に表示される。

表示制御部２６は、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０をディスプレイ１４に表示する。図７はディスプレイ１４に表示された実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０を示す図である。図７に示すように、ディスプレイ１４には、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０が並んで表示される。なお、表示の仕方はこれに限定されるものではなく、実内視鏡画像Ｔ０の表示画面内に仮想内視鏡画像Ｋ０を表示するようにしてもよい。もしくは、実内視鏡画像Ｔ０に対して半透明処理を施した仮想内視鏡画像Ｋ０を重ねて表示することによってブレンディング表示するようにしてもよい。さらに、図８に示すように、気管支画像４０も併せて表示してもよい。この場合、気管支画像４０には内視鏡先端３Ｂの経路４１および現在の内視鏡先端３Ｂの位置４２を表示する。

強調部２７は、判定部２４により実内視鏡画像Ｔ０に気管支の分岐構造が含まれると判定された場合に、ディスプレイ１４に表示された実内視鏡画像Ｔ０における分岐構造を強調する。

また、警告部２８は、判定部２４により実内視鏡画像Ｔ０に気管支の分岐構造が含まれると判定された場合に、警告を行う。

図９は分岐構造が強調された実内視鏡画像Ｔ０を示す図である。図９に示すように、実内視鏡画像Ｔ０に含まれる分岐構造は、孔の周囲を囲む枠となるマーカ５０が付与されることにより強調されている。この場合、強調部２７は、実内視鏡画像Ｔ０において、第１の評価値Ｅ１が取得された位置の情報に基づいて、孔の位置を特定する。また、実内視鏡画像Ｔ０には、分岐構造であること表す「分岐」の文字が警告５１として表示されることにより、警告がなされている。

なお、図１０に示すように分岐構造の孔の周囲に点線のマーカ５２を付与し、かつ境界の部分に線状のマーカ５３を付与することにより分岐構造を強調してもよい。また、境界の部分にのみ線状のマーカ５３を付与するようにしてもよい。この場合、強調部２７は、実内視鏡画像Ｔ０において、第２の評価値Ｅ２が取得された位置の情報に基づいて、境界の位置を特定する。また、マーカに色を付与したり、マーカを点滅させたりしてもよい。また、警告は、実内視鏡画像Ｔ０への重畳表示のみならず、音声によって行ってもよく、ディスプレイ１４に表示された実内視鏡画像Ｔ０自体を点滅させることにより行ってもよい。

次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において行われる処理を示すフローチャートである。なお、３次元画像Ｖ０は画像取得部２１により取得されてストレージ１３に保存されているものとする。まず、画像取得部２１が実内視鏡画像Ｔ０を取得し（ステップＳＴ１）、第１の評価値取得部２２が内視鏡の挿入先の孔らしさを表す第１の評価値Ｅ１を、第２の評価値取得部２３が気管支の分岐における複数の気管支の境界らしさを表す第２の評価値Ｅ２をそれぞれ取得する（ステップＳＴ２）。そして、判定部２４が第１および第２の評価値Ｅ１，Ｅ２の双方を用いて、実内視鏡画像Ｔ０に分岐構造が含まれるか否かを判定する（ステップＳＴ３）。分岐構造が含まれず、ステップＳＴ３が否定されると、ステップＳＴ１に戻る。

分岐構造が含まれ、ステップＳＴ３が肯定されると、仮想内視鏡画像生成部２５が仮想内視鏡画像Ｋ０を生成する（ステップＳＴ４）。そして、表示制御部２６が、実内視鏡画像Ｔ０および仮想内視鏡画像Ｋ０をディスプレイ１４に表示する（ステップＳＴ５）。さらに、強調部２７が実内視鏡画像Ｔ０における分岐構造を強調し（ステップＳＴ６）、警告部２８が分岐構造である旨の警告を行い（ステップＳＴ７）、ステップＳＴ１に戻る。

このように、本実施形態においては、内視鏡の挿入先の孔らしさを表す第１の評価値Ｅ１および管状構造物の分岐における複数の管状構造物の境界らしさを表す第２の評価値Ｅ２を取得し、第１および第２の評価値Ｅ１，Ｅ２の双方を用いて、実内視鏡画像Ｔ０に分岐構造が含まれるか否かを判定するようにしたものである。ここで、第１および第２の評価値Ｅ１，Ｅ２は分岐位置の特徴を顕著に表すものである。このため、本実施形態によれば、第１および第２の評価値Ｅ１，Ｅ２を用いることにより、実内視鏡画像Ｔ０に分岐構造が含まれるか否かを精度よく判定することができる。

また、本実施形態においては、分岐構造が含まれると判定された実内視鏡画像Ｔ０を取得した内視鏡の位置と対応する、３次元画像Ｖ０中の位置において、分岐構造を見た場合における気管支の内壁を表す仮想内視鏡画像Ｋ０を３次元画像Ｖ０から生成している。これにより、３次元画像Ｖ０の全体を探索して仮想内視鏡画像Ｋ０を生成する場合と比較して、分岐構造の周辺の３次元画像Ｖ０のみを探索すればよいこととなるため、少ない演算量にて迅速に仮想内視鏡画像Ｋ０を生成することができる。

また、３次元画像Ｖ０から気管支画像を抽出し、抽出された気管支画像における内視鏡先端３Ｂの位置を特定することにより、気管支における現在の内視鏡先端３Ｂの位置を知ることができる。したがって、内視鏡の操作を容易に行うことができる。

抽出された管状構造物を表示し、表示された管状構造物において特定された内視鏡先端３Ｂの位置を特定することにより、より容易に管状構造物における現在の内視鏡先端３Ｂの位置を知ることができる。

また、実内視鏡画像Ｔ０を表示する際に、分岐構造を強調して表示することにより、分岐構造を認識しやすくなる。したがって、内視鏡の操作を行うことが容易となる。

また、分岐構造が含まれると判定された場合に警告を行うことにより、実内視鏡画像に分岐構造が含まれたことを使用者が容易に認識することができる。

なお、上記実施形態においては、実内視鏡画像Ｔ０を表示する際に、分岐構造を強調して表示しているが、分岐構造を強調することなく、実内視鏡画像Ｔ０を表示してもよい。

また、上記実施形態においては、分岐構造が含まれると判定された場合に警告を行っているが、警告を行わないようにしてもよい。

また、上記実施形態においては、３次元画像Ｖ０から気管支画像を抽出し、気管支画像を用いて仮想内視鏡画像Ｋ０を生成しているが、気管支画像を抽出することなく、３次元画像Ｖ０から仮想内視鏡画像Ｋ０を生成してもよい。

また、上記実施形態においては、本発明の分岐構造判定装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、血管のような分岐構造を有する管状構造物を内視鏡により観察する場合にも、本発明を適用できる。

以下、本発明の実施態様の作用効果について説明する。

分岐構造が含まれると判定された実内視鏡画像を取得した内視鏡の位置と対応する、３次元画像中の位置において、分岐構造を見た場合における管状構造物の内壁を表す仮想内視鏡画像を３次元画像から生成することにより、３次元画像の全体を探索して仮想内視鏡画像を生成する場合と比較して、分岐構造の周辺の３次元画像のみを探索すればよいため、少ない演算量にて迅速に仮想内視鏡画像を生成することができる。

３次元画像から管状構造物を抽出し、抽出された管状構造物における内視鏡の位置を特定することにより、管状構造物における現在の内視鏡の位置を知ることができるため、内視鏡の操作を容易に行うことができる。

抽出された管状構造物を表示し、表示された管状構造物において特定された内視鏡の位置を特定することにより、より容易に管状構造物における現在の内視鏡の位置を知ることができる。

３ 内視鏡装置
４ ３次元画像撮影装置
５ 画像保管サーバ
６ 分岐構造判定装置
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 画像取得部
２２ 第１の評価値取得部
２３ 第２の評価値取得部
２４ 判定部
２５ 仮想内視鏡画像生成部
２６ 表示制御部
２７ 強調部
２８ 警告部

Claims (16)

1. 被検体における分岐構造を有する管状構造物内に挿入された内視鏡を用いて撮影を行うことにより生成された、前記管状構造物の内壁を表す実内視鏡画像を取得する実内視鏡画像取得手段と、
   前記管状構造物における内視鏡の挿入先の孔らしさを表す第１の評価値を前記実内視鏡画像から取得する第１の評価値取得手段と、
   前記管状構造物の分岐における複数の管状構造物の境界らしさを表す第２の評価値を前記実内視鏡画像から取得する第２の評価値取得手段と、
   前記第１および第２の評価値の双方を用いて、前記実内視鏡画像に前記分岐構造が含まれるか否かを判定する判定手段とを備えたことを特徴とする分岐構造判定装置。
2. 前記判定手段は、前記第１の評価値に基づいて前記内視鏡の挿入先の孔の候補を取得し、前記第２の評価値に基づいて前記管状構造物の分岐における複数の管状構造物の境界の候補を取得し、該孔の候補および該境界の候補に基づいて、前記実内視鏡画像に前記分岐構造が含まれるか否かを判定する請求項１記載の分岐構造判定装置。
3. 前記判定手段は、前記孔の候補となった前記第１の評価値および前記境界の候補となった前記第２の評価値の加重平均を算出し、該加重平均があらかじめ定められたしきい値以上である場合に、前記実内視鏡画像に前記分岐構造が含まれると判定する請求項２記載の分岐構造判定装置。
4. 前記第１の評価値取得手段は、前記内視鏡の挿入先の孔らしさを機械学習することにより取得された学習結果を用いて前記第１の評価値を算出する請求項１から３のいずれか１項記載の分岐構造判定装置。
5. 前記第２の評価値取得手段は、前記複数の管状構造物の境界らしさを機械学習することにより取得された学習結果を用いて前記第２の評価値を算出する請求項１から４のいずれか１項記載の分岐構造判定装置。
6. 前記実内視鏡画像を表示する実内視鏡画像表示手段をさらに備えた請求項１から５のいずれか１項記載の分岐構造判定装置。
7. 前記分岐構造が含まれると判定された場合に、表示された前記実内視鏡画像における前記分岐構造を強調する強調手段をさらに備えた請求項６項記載の分岐構造判定装置。
8. 前記強調手段は、前記分岐構造における前記内視鏡の挿入先の孔および前記複数の管状構造物の境界の少なくとも一方にマーカを付与して前記分岐構造を強調する請求項７記載の分岐構造判定装置。
9. 前記分岐構造が含まれると判定された場合に警告を行う警告手段をさらに備えた請求項１から８のいずれか１項記載の分岐構造判定装置。
10. 前記被検体の前記管状構造物を含む３次元画像を取得する３次元画像取得手段と、
    前記分岐構造が含まれると判定された場合、該分岐構造が含まれると判定された実内視鏡画像を取得した前記内視鏡の先端の位置と対応する、前記３次元画像中の位置において、前記分岐構造を見た場合における前記管状構造物の内壁を表す仮想内視鏡画像を、前記３次元画像から生成する仮想内視鏡画像生成手段とをさらに備えた請求項１から９のいずれか１項記載の分岐構造判定装置。
11. 前記仮想内視鏡画像を表示する仮想内視鏡画像表示手段をさらに備えた請求項１０記載の分岐構造判定装置。
12. 前記仮想内視鏡画像生成手段は、前記３次元画像から前記管状構造物を抽出し、前記抽出された管状構造物における前記内視鏡の先端の位置を特定する請求項１０または１１記載の分岐構造判定装置。
13. 前記抽出された管状構造物の画像を表示する管状構造物表示手段をさらに備えた請求項１２記載の分岐構造判定装置。
14. 前記管状構造物表示手段は、前記表示された管状構造物において、前記特定された内視鏡の先端の位置をさらに表示する請求項１３記載の分岐構造判定装置。
15. 被検体における分岐構造を有する管状構造物内に挿入された内視鏡を用いて撮影を行うことにより生成された、前記管状構造物の内壁を表す実内視鏡画像を取得し、
    前記管状構造物における内視鏡の挿入先の孔らしさを表す第１の評価値を前記実内視鏡画像から取得し、
    前記管状構造物の分岐における複数の管状構造物の境界らしさを表す第２の評価値を前記実内視鏡画像から取得し、
    前記第１および第２の評価値の双方を用いて、前記実内視鏡画像に前記分岐構造が含まれるか否かを判定することを特徴とする分岐構造判定方法。
16. 被検体における分岐構造を有する管状構造物内に挿入された内視鏡を用いて撮影を行うことにより生成された、前記管状構造物の内壁を表す実内視鏡画像を取得する手順と、
    前記管状構造物における内視鏡の挿入先の孔らしさを表す第１の評価値を前記実内視鏡画像から取得する手順と、
    前記管状構造物の分岐における複数の管状構造物の境界らしさを表す第２の評価値を前記実内視鏡画像から取得する手順と、
    前記第１および第２の評価値の双方を用いて、前記実内視鏡画像に前記分岐構造が含まれるか否かを判定する手順とをコンピュータに実行させることを特徴とする分岐構造判定プログラム。