JP2019072243A - 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法 - Google Patents

内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法 Download PDF

Info

Publication number
JP2019072243A
JP2019072243A JP2017201027A JP2017201027A JP2019072243A JP 2019072243 A JP2019072243 A JP 2019072243A JP 2017201027 A JP2017201027 A JP 2017201027A JP 2017201027 A JP2017201027 A JP 2017201027A JP 2019072243 A JP2019072243 A JP 2019072243A
Authority
JP
Japan
Prior art keywords
branch
image
endoscope
extracted
luminal organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017201027A
Other languages
English (en)
Other versions
JP7126673B2 (ja
Inventor
辰男 五十嵐
Tatsuo Igarashi
辰男 五十嵐
琢郎 石井
Takuro Ishii
琢郎 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chiba University NUC
Original Assignee
Chiba University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chiba University NUC filed Critical Chiba University NUC
Priority to JP2017201027A priority Critical patent/JP7126673B2/ja
Publication of JP2019072243A publication Critical patent/JP2019072243A/ja
Application granted granted Critical
Publication of JP7126673B2 publication Critical patent/JP7126673B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

【課題】管腔組織の分岐部の同定及び追跡を可能とする内視鏡画像処理方法および内視鏡システムを提供する。【解決手段】内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出ステップ101と、分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップ102、103を実行させるための内視鏡画像処理プログラム。【選択図】図1

Description

本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法に関する。
医療用内視鏡の操作を補助するために、例えば特許文献1及び特許文献2に記載された方法では、検査施工前に取得した3次元医用画像と内視鏡先端の位置情報を一致させることにより、複雑な形態をした管腔臓器内への容易で安全な内視鏡挿入を支援することが可能である。このような、術前、検査前の3次元画像データを用いた医師に対する医療機器操作のナビゲーションは、検査、手術を目的とした様々なアプリケーションとして提案されている。
特開2005−131317号公報 特開2005−211525号公報
従来技術のような医療機器の体内への誘導技術においては、事前に患者の3次元解剖データが取得可能なことが前提となっている。一方で、医療資源、医療経済的視点から、3次元医用画像を多用することは、臨床的には親和性が高いとはいえない。
また、内視鏡位置情報と画像のみを用いて、臓器の3次元形態を推定する場合、分岐を有する臓器(例えば、気管、血管、腎盂等)の場合は、目標とする形状の予測が困難である。例えば、内視鏡画像内における分岐部の同定や、挿入されていく方向の管腔と分岐していく管腔の分離、追跡によって、対象臓器の形態的特徴をより多く取得することが必要である。
本発明は、上記課題を解決しようとするものであり、管腔組織等の分岐部の同定及び追跡を可能とする内視鏡画像処理方法および内視鏡システムを提供することを目的とするものである。
上記課題を解決するために、本発明の一つの観点によれば、内視鏡画像処理プログラムを、コンピュータに、内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップを実行させるための内視鏡画像処理プログラムとした。さらに、前記分岐部抽出ステップにおいて、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像の輝度に関する情報に基づき前記管腔臓器内の分岐部を抽出すると望ましい。また、前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出ステップにより抽出した分岐部の対応を求める追跡ステップを実行させると望ましい。
また、本発明の他の観点によれば、内視鏡システムを、管腔臓器内の画像を取得する内視鏡と、前記内視鏡により取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出部と、前記分岐部抽出部により抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与部とを備えるものとした。さらに、前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出部により抽出した分岐部の対応を求める追跡部を備えるものとした。
また、本発明の他の観点によれば、内視鏡画像処理方法を、内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップとを有するものとした。
本発明によれば、管腔組織の分岐部の同定及び追跡を可能とする内視鏡画像処理方法及び内視鏡システムを提供することができる。
本実施例の分岐部抽出、追跡のアルゴリズムを示す図である。 模型内の内視鏡映像と分岐部抽出結果を示す図である。 抽出された分岐部を示す図である。
以下、本発明の実施例を説明するが、本発明の実施形態は以下に説明する実施例に限定されるものではない。
本発明は、複数の分岐を持つ管腔構造物内を移動するカメラの映像より、分岐部の同定及び追跡を可能にする動画像処理アルゴリズムである。
本発明の実施例として、分岐を有する管腔臓器内に挿入された内視鏡映像システムと、システムから映像を受け取り必要な処理を施す映像処理装置と、処理結果を提示する可視化装置で構成される映像処理システムが挙げられる。
本発明のアルゴリズムを図1に提示する。本アルゴリズムは、単一の内視鏡画像から臓器の分岐部候補を抽出するステップ101と、内視鏡運動に伴う一連のシーケンス画像における分岐部の追跡のステップ102と、追跡結果を表示するステップ103で構成される。
分岐部抽出ステップ101では、内視鏡画像内の輝度、彩度、2次微分値などから、分岐部の可能性が高い領域を抽出し、ラベリング処理(分岐部として抽出された領域に、識別番号等の識別情報を付与する処理)を行う。この際、ラベル面積が小さいもの等を削除すると、ノイズ等の不要情報が除去されて望ましい。
抽出された各分岐部にはID及びステータスを付与し、それぞれの分岐を追跡することで、内視鏡の進行方向の枝(Master branch、マスターブランチ)と未観察領域となる分岐(Sub branch、サブブランチ)の分離、内視鏡がSub branchへ進入した場合の識別等が可能となる点が特徴である。
追跡ステップ102では、まずBranchesデータ(分岐部情報を格納する構造体(branch)配列)を初期化する。各branchにはstatus変数(master、sub、lost等)が付与されている。ラベリングで抽出されたblob(ブロッブ)群のうち、前の画像におけるMaster branchの重心に最も近いものをCurrent frameのMaster branchとする。前画像のsub branchを参照しながら、連続性のあるblobを検索する。「連続性」の判断は、blobの重心の距離で判断する。
追跡結果を表示するステップ103では、BranchesデータからSub branchのみを抽出する。さらに10フレーム以上連続して検出されたBranchに限定する。パノラマ画像生成用スキャンラインと、各blobの重なる部分を分岐部としてマーク(識別情報付与)する。
図2は、模型における内視鏡映像と分岐点抽出結果を示す図である。201は、master branch(main branch)であり、202は、sub branchである。
図3は、抽出された分岐部、分岐点を示す図である。図3の上の画像が元画像であり、図3の下の画像が、元画像から分岐部を抽出した結果である、緑色でマークした部分が抽出された分岐部である。301は、抽出した分岐部を見やすく加工して表示した画像である。
本実施例でいう分岐部を有する管腔臓器とは、例えば気管、血管、腎盂等が挙げられ、内視鏡操作の教育や診断・治療支援技術への応用が期待される。
本実施例によれば、多数の分岐部を有する管腔臓器を内視鏡を使用して診断又は手術を行う場合でも、既に観察した分岐部とまだ観察していない未観察の観察臓器を診断者が容易に認識することができ、診断。手術の効率化や誤診断の防止につながるという効果がある。
本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法として産業上利用可能である。
101 分岐部候補を抽出するステップ
102 分岐部の追跡のステップ
103 追跡結果を表示するステップ
201 マスターブランチ
202 サブブランチ
301 分岐部

Claims (6)

  1. コンピュータに、内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像に基づき前記管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップを実行させるための内視鏡画像処理プログラム。
  2. 前記分岐部抽出ステップにおいて、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像の輝度に関する情報に基づき前記管腔臓器内の分岐部を抽出することを特徴とする請求項1記載の内視鏡画像処理プログラム。
  3. コンピュータに、前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出ステップにより抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出ステップにより抽出した分岐部の対応を求める追跡ステップを実行させることを特徴とする請求項1又は請求項2記載の内視鏡画像処理プログラム。
  4. 管腔臓器内の画像を取得する内視鏡と、前記内視鏡により取得した前記管腔臓器内の画像に基づき管腔臓器内の分岐部を抽出する分岐部抽出部と、前記分岐部抽出部により抽出した管腔臓器内の分岐部に識別情報を付与する識別情報付与部とを備える内視鏡システム。
  5. 前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報と後の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部の情報とを比較することにより、前記前の時間帯に取得した画像について前記分岐部抽出部により抽出した分岐部と前記後の時間帯に取得した画像についての前記分岐部抽出部により抽出した分岐部の対応を求める追跡部を備えることを特徴とする請求項4記載の内視鏡システム。
  6. 内視鏡により管腔臓器内の画像を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した前記管腔臓器内の画像に基づき前記管腔臓器内の分岐部を抽出する分岐部抽出ステップと、前記分岐部抽出ステップにより抽出した前記管腔臓器内の分岐部に識別情報を付与する識別情報付与ステップとを有する内視鏡画像処理方法。
JP2017201027A 2017-10-17 2017-10-17 内視鏡画像処理プログラム及び内視鏡システム Active JP7126673B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017201027A JP7126673B2 (ja) 2017-10-17 2017-10-17 内視鏡画像処理プログラム及び内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017201027A JP7126673B2 (ja) 2017-10-17 2017-10-17 内視鏡画像処理プログラム及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP2019072243A true JP2019072243A (ja) 2019-05-16
JP7126673B2 JP7126673B2 (ja) 2022-08-29

Family

ID=66544409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017201027A Active JP7126673B2 (ja) 2017-10-17 2017-10-17 内視鏡画像処理プログラム及び内視鏡システム

Country Status (1)

Country Link
JP (1) JP7126673B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6323636A (ja) * 1986-07-17 1988-01-30 株式会社東芝 内視鏡画像診断装置
JP2006042902A (ja) * 2004-07-30 2006-02-16 Olympus Corp 電子内視鏡装置及び内視鏡画像処理装置
JP2013000403A (ja) * 2011-06-17 2013-01-07 Olympus Corp 内視鏡装置および内視鏡装置の作動方法
WO2013035380A1 (ja) * 2011-09-08 2013-03-14 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2014156378A1 (ja) * 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2016163609A (ja) * 2015-03-06 2016-09-08 富士フイルム株式会社 分岐構造判定装置、方法およびプログラム
WO2016152042A1 (ja) * 2015-03-25 2016-09-29 富士フイルム株式会社 内視鏡検査支援装置、方法およびプログラム
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6323636A (ja) * 1986-07-17 1988-01-30 株式会社東芝 内視鏡画像診断装置
JP2006042902A (ja) * 2004-07-30 2006-02-16 Olympus Corp 電子内視鏡装置及び内視鏡画像処理装置
JP2013000403A (ja) * 2011-06-17 2013-01-07 Olympus Corp 内視鏡装置および内視鏡装置の作動方法
WO2013035380A1 (ja) * 2011-09-08 2013-03-14 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2014156378A1 (ja) * 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
JP2016163609A (ja) * 2015-03-06 2016-09-08 富士フイルム株式会社 分岐構造判定装置、方法およびプログラム
WO2016152042A1 (ja) * 2015-03-25 2016-09-29 富士フイルム株式会社 内視鏡検査支援装置、方法およびプログラム

Also Published As

Publication number Publication date
JP7126673B2 (ja) 2022-08-29

Similar Documents

Publication Publication Date Title
JP6348078B2 (ja) 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
CN111798451B (zh) 基于血管3d/2d匹配的3d导丝跟踪方法及装置
US8509877B2 (en) Endoscope insertion support system and endoscope insertion support method
JP2005524419A (ja) ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法
JP2013150650A (ja) 内視鏡画像診断支援装置および方法並びにプログラム
JP5785120B2 (ja) 医用画像診断支援装置および方法並びにプログラム
JPWO2007129493A1 (ja) 医療画像観察支援装置
JP4434705B2 (ja) 画像解析方法
JP5748636B2 (ja) 画像処理装置および方法並びにプログラム
JP2012165838A (ja) 内視鏡挿入支援装置
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
JP2014171908A (ja) 解剖学的ランドマーク及び臨床的オントロジー(ontology)を用いて血管樹形図等を作成する医用画像処理装置及び方法
CN112967284A (zh) 血管图像分段分析方法、装置、设备及存储介质
CN109740602A (zh) 肺动脉期血管提取方法及系统
JP2009045286A (ja) 医用画像処理装置、医用画像診断装置、及びプログラム
CN112043378A (zh) 对人进行导航支持以关于切除部分进行导航的方法和系统
CN107106110B (zh) 图像处理装置以及图像处理方法
US11304762B2 (en) Mapping image display control device, method, and program
CN114022548A (zh) 一种内窥镜碰撞检测方法、装置、设备及存储介质
JP2009195561A (ja) X線ct装置、画像処理装置および画像処理プログラム
WO2011065414A1 (ja) 画像処理方法、画像処理装置及びプログラム
JP7126673B2 (ja) 内視鏡画像処理プログラム及び内視鏡システム
Perchet et al. Advanced navigation tools for virtual bronchoscopy
JP2011135936A (ja) 画像処理装置、医用画像診断装置および画像処理プログラム
US20170018079A1 (en) Image processing device, method, and recording medium having stored therein program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220809

R150 Certificate of patent or registration of utility model

Ref document number: 7126673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150