JP2019072243A

JP2019072243A - 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法

Info

Publication number: JP2019072243A
Application number: JP2017201027A
Authority: JP
Inventors: 辰男五十嵐; Tatsuo Igarashi; 琢郎石井; Takuro Ishii
Original assignee: Chiba University NUC
Current assignee: Chiba University NUC
Priority date: 2017-10-17
Filing date: 2017-10-17
Publication date: 2019-05-16
Anticipated expiration: 2037-10-17
Also published as: JP7126673B2

Abstract

【課題】管腔組織の分岐部の同定及び追跡を可能とする内視鏡画像処理方法および内視鏡システムを提供する。【解決手段】内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出ステップ１０１と、分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップ１０２、１０３を実行させるための内視鏡画像処理プログラム。【選択図】図１

Description

本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法に関する。

医療用内視鏡の操作を補助するために、例えば特許文献１及び特許文献２に記載された方法では、検査施工前に取得した３次元医用画像と内視鏡先端の位置情報を一致させることにより、複雑な形態をした管腔臓器内への容易で安全な内視鏡挿入を支援することが可能である。このような、術前、検査前の３次元画像データを用いた医師に対する医療機器操作のナビゲーションは、検査、手術を目的とした様々なアプリケーションとして提案されている。

特開２００５−１３１３１７号公報特開２００５−２１１５２５号公報

従来技術のような医療機器の体内への誘導技術においては、事前に患者の３次元解剖データが取得可能なことが前提となっている。一方で、医療資源、医療経済的視点から、３次元医用画像を多用することは、臨床的には親和性が高いとはいえない。

また、内視鏡位置情報と画像のみを用いて、臓器の３次元形態を推定する場合、分岐を有する臓器（例えば、気管、血管、腎盂等）の場合は、目標とする形状の予測が困難である。例えば、内視鏡画像内における分岐部の同定や、挿入されていく方向の管腔と分岐していく管腔の分離、追跡によって、対象臓器の形態的特徴をより多く取得することが必要である。

本発明は、上記課題を解決しようとするものであり、管腔組織等の分岐部の同定及び追跡を可能とする内視鏡画像処理方法および内視鏡システムを提供することを目的とするものである。

上記課題を解決するために、本発明の一つの観点によれば、内視鏡画像処理プログラムを、コンピュータに、内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップを実行させるための内視鏡画像処理プログラムとした。さらに、前記分岐部抽出ステップにおいて、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像の輝度に関する情報に基づき前記管腔臓器内の分岐部を抽出すると望ましい。また、前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出ステップにより抽出した分岐部の対応を求める追跡ステップを実行させると望ましい。

また、本発明の他の観点によれば、内視鏡システムを、管腔臓器内の画像を取得する内視鏡と、前記内視鏡により取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出部と、前記分岐部抽出部により抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与部とを備えるものとした。さらに、前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出部により抽出した分岐部の対応を求める追跡部を備えるものとした。

また、本発明の他の観点によれば、内視鏡画像処理方法を、内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップとを有するものとした。

本発明によれば、管腔組織の分岐部の同定及び追跡を可能とする内視鏡画像処理方法及び内視鏡システムを提供することができる。

本実施例の分岐部抽出、追跡のアルゴリズムを示す図である。模型内の内視鏡映像と分岐部抽出結果を示す図である。抽出された分岐部を示す図である。

以下、本発明の実施例を説明するが、本発明の実施形態は以下に説明する実施例に限定されるものではない。

本発明は、複数の分岐を持つ管腔構造物内を移動するカメラの映像より、分岐部の同定及び追跡を可能にする動画像処理アルゴリズムである。

本発明の実施例として、分岐を有する管腔臓器内に挿入された内視鏡映像システムと、システムから映像を受け取り必要な処理を施す映像処理装置と、処理結果を提示する可視化装置で構成される映像処理システムが挙げられる。

本発明のアルゴリズムを図１に提示する。本アルゴリズムは、単一の内視鏡画像から臓器の分岐部候補を抽出するステップ１０１と、内視鏡運動に伴う一連のシーケンス画像における分岐部の追跡のステップ１０２と、追跡結果を表示するステップ１０３で構成される。

分岐部抽出ステップ１０１では、内視鏡画像内の輝度、彩度、２次微分値などから、分岐部の可能性が高い領域を抽出し、ラベリング処理（分岐部として抽出された領域に、識別番号等の識別情報を付与する処理）を行う。この際、ラベル面積が小さいもの等を削除すると、ノイズ等の不要情報が除去されて望ましい。

抽出された各分岐部にはID及びステータスを付与し、それぞれの分岐を追跡することで、内視鏡の進行方向の枝（Master branch、マスターブランチ）と未観察領域となる分岐（Sub branch、サブブランチ）の分離、内視鏡がSub branchへ進入した場合の識別等が可能となる点が特徴である。

追跡ステップ１０２では、まずBranchesデータ（分岐部情報を格納する構造体（branch）配列）を初期化する。各branchにはstatus変数（master、sub、lost等）が付与されている。ラベリングで抽出されたblob（ブロッブ）群のうち、前の画像におけるMaster branchの重心に最も近いものをCurrent frameのMaster branchとする。前画像のsub branchを参照しながら、連続性のあるblobを検索する。「連続性」の判断は、blobの重心の距離で判断する。

追跡結果を表示するステップ１０３では、BranchesデータからSub branchのみを抽出する。さらに10フレーム以上連続して検出されたBranchに限定する。パノラマ画像生成用スキャンラインと、各blobの重なる部分を分岐部としてマーク（識別情報付与）する。

図２は、模型における内視鏡映像と分岐点抽出結果を示す図である。２０１は、master branch(main branch)であり、２０２は、sub branchである。

図３は、抽出された分岐部、分岐点を示す図である。図３の上の画像が元画像であり、図３の下の画像が、元画像から分岐部を抽出した結果である、緑色でマークした部分が抽出された分岐部である。３０１は、抽出した分岐部を見やすく加工して表示した画像である。

本実施例でいう分岐部を有する管腔臓器とは、例えば気管、血管、腎盂等が挙げられ、内視鏡操作の教育や診断・治療支援技術への応用が期待される。

本実施例によれば、多数の分岐部を有する管腔臓器を内視鏡を使用して診断又は手術を行う場合でも、既に観察した分岐部とまだ観察していない未観察の観察臓器を診断者が容易に認識することができ、診断。手術の効率化や誤診断の防止につながるという効果がある。

本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法として産業上利用可能である。

１０１分岐部候補を抽出するステップ
１０２分岐部の追跡のステップ
１０３追跡結果を表示するステップ
２０１マスターブランチ
２０２サブブランチ
３０１分岐部

Claims

コンピュータに、内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像に基づき前記管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップを実行させるための内視鏡画像処理プログラム。
前記分岐部抽出ステップにおいて、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像の輝度に関する情報に基づき前記管腔臓器内の分岐部を抽出することを特徴とする請求項１記載の内視鏡画像処理プログラム。
コンピュータに、前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出ステップにより抽出した分岐部の対応を求める追跡ステップを実行させることを特徴とする請求項１又は請求項２記載の内視鏡画像処理プログラム。
管腔臓器内の画像を取得する内視鏡と、前記内視鏡により取得した前記管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出部と、前記分岐部抽出部により抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与部とを備える内視鏡システム。
前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出部により抽出した分岐部の対応を求める追跡部を備えることを特徴とする請求項４記載の内視鏡システム。
内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像に基づき前記管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した前記管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップとを有する内視鏡画像処理方法。