JP2023103170A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2023103170A
JP2023103170A JP2022180755A JP2022180755A JP2023103170A JP 2023103170 A JP2023103170 A JP 2023103170A JP 2022180755 A JP2022180755 A JP 2022180755A JP 2022180755 A JP2022180755 A JP 2022180755A JP 2023103170 A JP2023103170 A JP 2023103170A
Authority
JP
Japan
Prior art keywords
data
microtubule
tubular object
base
object data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022180755A
Other languages
English (en)
Inventor
ヤンホア ワン
Yanhua Wang
フーユェ ワン
Fuyue Wang
チリン シャオ
Qilin Xiao
ヅゥーシィン ヂォゥ
Zhexin Zhou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to US18/154,121 priority Critical patent/US20230222668A1/en
Publication of JP2023103170A publication Critical patent/JP2023103170A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】管状物の分割を正確に行うこと。【解決手段】本実施形態に係る画像処理装置は、ボリュームデータ取得部と、ボリュームデータ分割部と、微小管状物データ取得部と、管状物データ生成部と、データ出力部と、を備える。前記ボリュームデータ取得部は、被検体のボリュームデータを取得する。前記ボリュームデータ分割部は、前記ボリュームデータを分割することにより、ベース管状物データを取得する。前記微小管状物データ取得部は、前記ボリュームデータから、微小管状物データを取得する。前記管状物データ生成部は、前記微小管状物データおよび前記ベース管状物データに基づいて、更新された前記ベース管状物データを生成する。前記データ出力部は、前記更新されたベース管状物データを出力する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、画像処理装置、画像処理方法およびプログラムに関する。
医用画像イメージング分野において、正確な血管分割（セグメンテーション）および分離を行うことは、血管系疾患の診断および治療において有効である。例えば、３Ｄガイド技術を用いた肺区域間の結節切除手術では、亜区域、および、更に遠位側の血管を検出することで、区域切除術の境界をより適切に決定できるように支援することができる。
従来の技術において、様々な血管分割方法が存在する。
例えば、血管分割方法において、閾値又はマルチスケールを用いて管状物を検出する技術により血管の分割を行う方法や、ｔｒａｃｋｉｎｇ（追跡）などの方法を組み合わせて中心線に沿って血管を追跡する方法が挙げられる。
また、血管分割方法において、深層学習ベースのアルゴリズムが存在する。具体的には、当該アルゴリズムにおいて、ｃｌＤｉｃｅ（centerline Dice）を導入して検出連続性を向上させ、分割用および分離用の２つのネットワークを同時に使用することで、例えばｇｒａｐｈ－ｃｕｔ（グラフカット）などの後処理技術を通じて動静脈分離の連続性を確保することができる。
また、血管分割方法において、ＣＮＮ（Convolutional Neural Networks）とｔｒａｃｋｉｎｇ（追跡技術）とを用いた方法が存在する。具体的には、当該方法において、ＣＮＮを介して初期分割を行い、次に、初期分割された中心線および仮定の経路方向によって、血管を追跡することで、遠位側の血管を検出することができる。
しかし、上述の血管分割方法では、遠位側の微小血管に関して、遠位側に位置する微小血管は、コントラストが低く、構造が細かく、血管の根部から離れており、かつ血管全体の情報が欠けている。このため、遠位側の微小血管を正確に分割して動静脈分離を実現することが困難である。
具体的には、従来の血管分割方法において、マルチスケールの血管検出を行う場合、病変部位などの血管のグレイ階調に近い干渉を除去することが困難である。また、血管形状が複雑で変化しやすく、血管の根元から末梢までグレイ階調が変化するため、従来のアルゴリズムを適用することが困難である。
また、深層学習ベースのアルゴリズムにおいて、血管の連続性を確保することで、ある程度改善があるが、例えば、ネットワーク出力確率マップを用いた方法では遠位側の微小血管の確率が低く、動静脈を分離することが困難であるという問題を効果的に改善することはできない。また、完全な血管の真値（ＧＴ：Ground Truth）を作成することは難しい。
また、ＣＮＮ＋ｔｒａｃｋｉｎｇの方法は、血管分岐が少なく、血管が太く、血管のコントラストが明らかな場合に適する。しかし、遠位側の微小血管は、分岐が多く、血管分岐の方向が異なるなどの状況に対して、いずれもうまく対応しにくい。
上述したように、従来技術の血管分割方法において、微小血管分岐の欠落、遠位側に位置する血管の欠落、および遠位側に位置する動静脈血管の分類ミスおよび不連続などの問題が存在する。
また、気管などの他の管状物の分割について、上記血管分割における問題と類似する問題も存在する。
特開２０１４－２２３３１１号公報
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、管状物の分割を正確に行うことである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
実施形態に係る画像処理装置は、ボリュームデータ取得部と、ボリュームデータ分割部と、微小管状物データ取得部と、管状物データ生成部と、データ出力部と、を備える。前記ボリュームデータ取得部は、被検体のボリュームデータを取得する。前記ボリュームデータ分割部は、前記ボリュームデータを分割することにより、ベース管状物データを取得する。前記微小管状物データ取得部は、前記ボリュームデータから、微小管状物データを取得する。前記管状物データ生成部は、前記微小管状物データおよび前記ベース管状物データに基づいて、更新された前記ベース管状物データを生成する。前記データ出力部は、前記更新されたベース管状物データを出力する。
図１は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２Ａは、肺部のボリュームデータを分割（セグメンテーション）して得られたベース動脈データを示す図である。 図２Ｂは、肺部のボリュームデータを分割して得られたベース静脈データを示す図である。 図３は、ボリュームデータにおける構造物の形状における点とそれに対応するヘッセ行列（Hessian matrix）の特徴値との関係を示す図である。 図４Ａは、肺部のボリュームデータから取得した微小血管データを示す図である。 図４Ｂは、図４Ａの微小血管データからベース動静脈データと共通した部分を除去した微小血管データを示す図である。 図５は、微小血管データとベース動静脈データとを接続する過程を示す図である。 図６は、図２Ａに示す肺部のベース動脈データに対して、複数の微小血管が接続された動脈データが生成された例を示す図である。 図７は、図２Ｂに示す肺部のベース静脈データに対して、複数の微小血管が接続された静脈データが生成された例を示す図である。 図８は、本実施形態に係る画像処理装置による処理（画像処理方法）の手順を示すフローチャートである。 図９は、ベース動脈データおよびベース静脈データを合成した図である。 図１０は、動静脈データの前景確率マップを模式的に示す図である。 図１１は、本実施形態の第１変形例における画像処理装置による処理（画像処理方法）の手順を示すフローチャートである。 図１２は、本実施形態の第２変形例における画像処理装置による処理（画像処理方法）の手順を示すフローチャートである。
以下、図面を参照して、本実施形態に係る画像処理装置および画像処理方法について説明する。
本実施形態に係る画像処理装置は複数の機能モジュールからなり、ソフトウェアとして独立したコンピュータなどのＣＰＵ（Central Process Unit）およびメモリを有するデバイスに実装することができ、又は複数のデバイスに分散して実装され、いずれかのプロセッサによりメモリに記憶された画像処理装置の各機能モジュールを実行することにより実現される。画像処理装置の各機能を実行可能な回路としてハードウェアとして実現してもよい。画像処理装置を実現する回路は、インターネットなどのネットワークを介してデータの送受信やデータの収集を行うことができる。
また、本実施形態に係る画像処理装置は、医用画像収集の現場に設けられており、現場で画像の分割（セグメンテーション）処理を行うことができる。また、画像処理装置は、ＣＴ（Computed Tomography）装置や磁気共鳴イメージング装置などの医用画像収集装置における一部として医用画像収集装置に直接実装されてもよい。
以下の説明では、肺血管を対象として撮影した医用画像を例として、画像処理装置が医用画像を分割処理する態様を説明する。しかしながら、本実施形態はこれに限定されるものではなく、医用画像に存在する気管などの他の管状物の分割処理に本実施形態を適用してもよい。
以下、図１から図８を参照して、本実施形態について説明する。
図１は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。例えば、図１に示すように、画像処理装置１は、入力インターフェース２０と、通信インターフェース２１と、ディスプレイ２２と、処理回路１０と、記憶回路２３とを備える。
入力インターフェース２０は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース２０は、処理回路１０に接続されており、操作者から受け付けた入力操作を電気信号に変換して処理回路１０に出力する。なお、図１において、入力インターフェース２０は、画像処理装置１内に設けられているが、外部に設けられてもよい。
ディスプレイ２２は、処理回路１０に接続され、処理回路１０から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ２２は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。例えば、ディスプレイ２２は、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、種々の表示画像、処理回路１０による種々の処理結果を表示する。ディスプレイ２２は、表示部の一例である。なお、図１において、ディスプレイ２２は、画像処理装置１内に設けられているが、外部に設けられてもよい。
通信インターフェース２１は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。例えば、通信インターフェース２１は、処理回路１０に接続されており、超音波システムである超音波診断装置や、超音波システム以外の他のモダリティーであるＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置から、画像データを収集して処理回路１０に出力する。
記憶回路２３は、処理回路１０に接続され、各種データを記憶する。例えば、記憶回路２３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路２３は、処理回路１０によって実行される各処理機能に対応するプログラムを記憶する。なお、図１において、記憶回路２３は、画像処理装置１内に設けられているが、外部に設けられてもよい。
処理回路１０は、入力インターフェース２０を介して操作者から受け付けた入力操作に応じて、医用画像処理装置１が有する各構成要素を制御する。
例えば、処理回路１０は、プロセッサによって実現される。図１に示すように、処理回路１０は、ボリュームデータ取得機能１１、ボリュームデータ分割機能１２、微小管状物データ取得機能１３、微小管状物データ選別機能１４、管状物データ生成機能１５およびデータ出力機能１６を備える。ここで、図１に示す処理回路１０の構成要素であるボリュームデータ取得機能１１、ボリュームデータ分割機能１２、微小管状物データ取得機能１３、微小管状物データ選別機能１４、管状物データ生成機能１５およびデータ出力機能１６が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で画像処理装置１の記憶回路２３に記録されている。処理回路１０は、各プログラムを記憶回路２３から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１０は、図１の処理回路１０内に示された各機能を有することとなる。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路２３に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路２３にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
次に、処理回路１０が実行するボリュームデータ取得機能１１、ボリュームデータ分割機能１２、微小管状物データ取得機能１３、微小管状物データ選別機能１４、管状物データ生成機能１５およびデータ出力機能１６の処理内容について説明する。
まず、ボリュームデータ取得機能１１の処理について説明する。
ボリュームデータ取得機能１１は、被検体の検査部位のボリュームデータを取得する。ここで、ボリュームデータ取得機能１１は、「ボリュームデータ取得部」の一例である。
被検体を検査又は治療する前に、検査部位の状況を全面的に知るために、一般的に検査部位を３Ｄスキャンすることで検査部位の良好な解剖環境を有する明瞭なボリュームデータを取得する必要がある。当該ボリュームデータは、被検体の検査部位に対してＣＴスキャンして得られたボリュームデータ、又は、当該検査部位に対してＭＲスキャンして得られたボリュームデータなどの任意のボリュームデータであってよい。
当該検査部位は、肺部、心臓、肝臓などの１つの器官であってもよく、肺を含む胸部などの１つの身体部位であってもよい。
本実施形態では、肺部を例として説明する。
次に、ボリュームデータ分割機能１２の処理について説明する。
ボリュームデータ分割機能１２は、ボリュームデータ取得機能１１により取得されたボリュームデータを分割することにより、検査部位の管状物データに関するベース管状物データを取得する。ここで、ボリュームデータ分割機能１２は、「ボリュームデータ分割部」の一例である。
本実施形態では、動脈血管および静脈血管を例として管状物を説明する。図２Ａ、図２Ｂに示すように、ボリュームデータ分割機能１２は、肺部に関するボリュームデータを初期分割してベース動脈データ（図２Ａ参照）およびベース静脈データを取得する（図２Ｂ参照）。
図２Ａに示すベース動脈データは、肺部における太い動脈血管に関するデータであり、微小動脈血管データが欠けている。同様に、図２Ｂに示すベース静脈データは、肺部における太い静脈血管に関するデータであり、微小静脈血管データが欠けている。
初期分割の方法は、任意の方法であってもよく、例えば深層学習ベースの初期分割ネット法であってもよく、閾値ベースの分割法などの従来の分割方法であってもよい。当該分割方法により肺部のベース動脈データおよびベース静脈データを得ることができればよい。
次に、微小管状物データ取得機能１３の処理について説明する。
微小管状物データ取得機能１３は、ボリュームデータ取得機能１１により取得されたボリュームデータから、検査部位の管状物データに関する微小管状物データを取得する。ここで、微小管状物データ取得機能１３は、「微小管状物データ取得部」の一例である。
本実施形態では、微小管状物データ取得機能１３は、肺部のボリュームデータから肺部の微小血管データおよび遠端側に位置する血管データを取得する。ここでの「遠位側」は基幹となる太い血管よりも遠い端部に位置することを意味し、「末端」と呼ばれてもよい。一般的に、遠位側に位置する血管は極めて微小な血管でもある。
本実施形態において、微小管状物データ取得機能１３は、微小血管の構成およびグレイ階調特徴に基づいて、小さいサイズの管状物用の検出演算子を用いて、肺部のボリュームデータ中の微小血管データを検出して取得する。
具体的には、微小管状物データ取得機能１３は、小さいサイズの管状物用の検出演算子として、肺内領域の小さいサイズの管状物のヘッセ行列（Hessian matrix）の強調特徴値を計算する。微小管状物データ取得機能１３による微小血管データの具体的な検出方法については、以下の通りである。
ヘッセ行列は、多変数関数の２階偏導関数の行列であり、微小管状物データ取得機能１３は、特徴値の属性に基づいて血管の構成を検出できる。
図３は、ボリュームデータにおける構造物の形状における点とそれに対応するヘッセ行列の特徴値との関係を示す図である。
ここで、管状構造として、例えば、気管支を抽出する場合を例にすると、気管支の分岐部は、管状構造よりも球形構造に近い。このため、管状構造だけを特徴量として抽出した場合、分岐部が欠損する可能性がある。また、結節が気管支を取り巻くような構造の場合、結節部分が欠損する可能性がある。そこで、図３に示す例では、分岐位置と結節位置の球形近似を考慮し、ヘッセ行列の特徴値に球形構造も追加される。
肺部のボリュームデータにおける各点は、いずれも、図３に示すような３つの特徴値λ１、λ２、λ３を有する。ここで、図３に示す例では、特徴値λ１、λ２、λ３を閾値で判定した結果を表している。例えば、特徴値が第１の閾値よりも低い場合、判定結果が「Ｌ」であるとする。特徴値が第１の閾値以上である場合、判定結果が「Ｈ－」であるとする。特徴値が第１の閾値よりも高い第２の閾値以上である場合、判定結果が「Ｈ＋」であるとする。例えば、図３において、特徴値λ１、λ２、λ３の判定結果がそれぞれ「Ｌ」、「Ｈ－」、「Ｈ－」である場合、ボリュームデータにおける構造物の形状が微小血管であることを示している。また、特徴値λ１、λ２、λ３の判定結果がそれぞれ「Ｈ－」、「Ｈ－」、「Ｈ－」である場合、ボリュームデータにおける構造物の形状が分岐部であることを示している。
微小管状物データ取得機能１３は、各点ごとに、３つの特徴値λ１、λ２、λ３から管状物の強調特徴値を計算する。
管状物の強調特徴値の算出方法として、微小管状物データ取得機能１３は、例えば下式に記載の既知のＦｒａｎｇｉフィルタアルゴリズムを用いる。
Figure 2023103170000002
Figure 2023103170000003
Figure 2023103170000004
上式において、ＶＦは、管状物の強調特徴値であり、α、kは、値の大きさが変更可能なハイパーパラメータである。
微小管状物データ取得機能１３は、上式の計算において、ハイパーパラメータα、kを適切な値に設定することにより、微小管状物の強調特徴値を算出することができる。
本実施形態では、微小管状物データ取得機能１３は、上式に従って肺部のボリュームデータ、すなわち肺内領域における微小血管構造中の各点の強調特徴値を算出することで、図３に示すような、微小血管の構造が強調表示されつつ、他の部分の構造が抑制された微小血管の強調図を得ることができる。
次に、微小管状物データ取得機能１３は、ボリュームデータ分割機能１２により取得されたベース動脈データおよびベース静脈データに対して、その画像のグレイ階調分布範囲（Ｉｌｏｗｅｒ、Ｉｈｉｇｈｅｒ）を統計し、遠位側に位置する微小血管に対して、参考用閾値を設定し、例えば当該参考用閾値をＩｌｏｗｅｒ＋σに設定する（σは一定値であり、正の値であってもよく、負の値であってもよい）。
微小管状物データ取得機能１３は、肺内領域の微小血管構造の点の強調特徴値が参考用閾値よりも高い微小血管構造を保持し、強調特徴値が参考用閾値より低い微小血管構造を除去することにより、肺内領域の微小血管の血管確率マップを取得することができる。すなわち、微小管状物データ取得機能１３は、微小血管構造の強調特徴値およびベース動脈データとベース静脈データのグレイ階調分布範囲に基づいて微小血管の血管確率マップを取得することができる。
上述したように、ベース動脈データおよびベース静脈データのグレイ階調分布範囲に基づいて微小血管に対する参考用閾値を設定して微小血管構造をフィルタリングする１つの方法を示したが、参考用閾値の設定方法および微小血管構造のフィルタリング方法などについて、様々な方法を使用することができ、上述した方法に限定されない。
次に、微小管状物データ取得機能１３は、血管確率マップに対して適応的閾値による分割を行って肺部のボリュームデータ、すなわち肺内領域の微小血管領域を取得する。
具体的には、微小管状物データ取得機能１３は、例えば血管確率マップのグレイ階調ヒストグラムを計算し、そして、大津法で血管確率マップに対して閾値による分割を行って肺内領域の微小血管領域を取得することができる。
以上、血管確率マップに対して適応的閾値による分割を行う方法を例示したが、他の方法を用いて血管確率マップに対して適応的閾値による分割を行うこともできる。
次に、微小管状物データ選別機能１４の処理について説明する。
微小管状物データ選別機能１４は、微小管状物データ取得機能１３により取得された微小管状物データから、ベース管状物データと共通した部分を除去し、かつ閾値範囲外の管状物データを除去することにより、選別微小管状物データを取得する。ここで、微小管状物データ選別機能１４は、「微小管状物データ選別部」の一例である。
図４Ａは、微小管状物データ取得機能１３によって肺部のボリュームデータから取得された微小血管データを示している。微小管状物データ選別機能１４は、まず、第１の選別処理として、微小血管データからベース動脈データおよびベース静脈データと共通（交差）した部分を除去し、微小血管データの、ベース動脈データおよびベース静脈データ以外の微小血管連続領域を取得する（図４Ｂ参照）。
第１の選別処理で行われる除去方法としては、例えば、微小管状物データ取得機能１３により取得された微小血管データをそれぞれボリュームデータ分割機能により取得されたベース動脈データおよびベース静脈データと重畳し、微小血管データから上記２つのデータの共通（交差）した部分を除去することであってもよい。
次に、微小管状物データ選別機能１４は、第２の選別処理として、上記共通部分が除去された微小血管データに対して、各血管の連続領域の大きさを計算し、上記微小血管データから血管の連続領域の大きさが予め設定された閾値範囲外の血管データを除去する。すなわち、微小管状物データ選別機能１４は、微小血管データから過大又は過小な血管データを除去する。
また、微小管状物データ選別機能１４は、微小血管データに対する選別では、各血管の形状特徴を計算し、微小血管データから非管状物データを除去してもよい。これは、微小血管データに対して行った様々な処理により、微小血管データ中のいくつかのデータを非管状物データにさせる可能性があり、また、最初に取得された微小血管データには非血管の形状を含む可能性があるためである。
このように、第１の選別処理および第２の選別処理により、微小管状物データ選別機能１４は、微小管状物データ取得機能１３で取得された微小血管データから、ベース動脈データおよびベース静脈データと共通した部分を除去し、かつ閾値範囲外の血管データを除去した微小血管データを、選別微小血管データとして取得する。
なお、微小管状物データ選別機能１４は、第１の選別処理および第２の選別処理のいずれかの処理を行ってもよい。この場合、微小管状物データ選別機能１４は、第１の選別処理として、微小管状物データ取得機能１３で取得された微小血管データから、ベース動脈データおよびベース静脈データと共通した部分を除去した微小血管データを、選別微小血管データとして取得する。あるいは、微小管状物データ選別機能１４は、第２の選別処理として、微小管状物データ取得機能１３で取得された微小血管データから、閾値範囲外の血管データを除去した微小血管データを、選別微小血管データとして取得する。
次に、管状物データ生成機能１５の処理について説明する。
管状物データ生成機能１５は、微小管状物データ選別機能１４により取得された選別微小管状物データと、ボリュームデータ分割機能１２により取得されたベース管状物データとに基づいて、更新されたベース管状物データを生成する。ここで、管状物データ生成機能１５は、「管状物データ生成部」の一例である。
例えば、管状物データ生成機能１５は、選別微小管状物データとベース管状物データとに対して連続性分析を行い、連続条件に適合する選別微小管状物データをベース管状物データに接続することにより、更新されたベース管状物データを生成する。
具体的には、管状物データ生成機能１５は、まず、第１の生成処理として、選別微小管状物データとベース管状物データとに対して連続性分析を行う。そして、管状物データ生成機能１５は、選別微小管状物データにおいて、連続条件に適合する第１の部分微小管状物データを取得し、当該取得した第１の部分微小管状物データをベース管状物データに接続することにより、更新されたベース管状物データを生成する。
管状物データ生成機能１５は、更に、第１の生成処理の後の第２の生成処理として、選別微小管状物データから第１の部分微小管状物データを除去した後の残りの選別微小管状物データと、更新されたベース管状物データとに対して、連続性分析を行う。そして、管状物データ生成機能１５は、残りの選別微小管状物データにおいて、連続条件に適合する第２の部分微小管状物データを取得し、当該取得した第２の部分微小管状物データを更新されたベース管状物データに接続することにより、更新されたベース管状物データを生成する。
ここで、管状物データ生成機能１５は、更新されたベース管状物データに接続される微小管状物データが無くなるまで、第１の生成処理、および、第１の生成処理の後の第２の生成処理のように、上述の生成処理を繰り返すことで、管状物データを生成する。すなわち、管状物データ生成機能１５は、更新されたベース管状物データに接続される選別微小管状物データが無くなるまで、更新されたベース管状物データを生成する処理を繰り返すことにより、最終的な管状物データを得ることができる。
次に、図５を参照して、管状物データ生成機能１５の処理手順について説明する。図５のステップＳ１５Ａ、Ｓ１５Ｂ、Ｓ１５Ｃは、処理回路１０が記憶回路２３から管状物データ生成機能１５に対応するプログラムを呼び出して実行されるステップである。図５のステップＳ１５Ａ、Ｓ１５Ｂの処理は、上述の生成処理に対応する。
まず、図５のステップＳ１５Ａにおいて、管状物データ生成機能１５は、微小管状物データ選別機能１４により取得された選別微小血管データと、ボリュームデータ分割機能１２により取得されたベース動脈データおよびベース静脈データに対して連続性分析を行う。具体的には、ステップＳ１５Ａにおいて、管状物データ生成機能１５は、選別微小血管データがベース動脈データ又はベース静脈データに連続できる（連続条件に適合する）か否かを判断する。例えば、管状物データ生成機能１５は、複数の選別微小血管データのうちの１つの選別微小血管データを選択し、当該選別微小血管データが連続条件に適合するか否かを判断する。以下、ステップＳ１５Ａの処理について詳細に説明する。
ここで、図５の説明では、選別微小血管データを「選別微小血管」と記載し、ベース動脈データ、ベース静脈データをそれぞれ「ベース動脈」、「ベース静脈」と記載する。また、図５の説明では、ベース動脈データおよびベース静脈データの両方のデータを「ベース動静脈」と記載する。
ステップＳ１５Ａにおいて、管状物データ生成機能１５は、連続性分析について、例えば、以下のように、第１の条件、第２の条件、第３の条件のいずれかを満たすか否かを判断する。
まず、第１の条件について説明する。管状物データ生成機能１５は、選別微小血管とベース動静脈との連続位置を設定する。当該連続位置としては、例えば、ベース動静脈の末梢、ベース動静脈の基幹位置、およびベース動静脈の血管中間位置などが挙げられる。管状物データ生成機能１５は、第１の条件として、選別微小血管がベース動脈又はベース静脈に連続するか否かを判断する。例えば、管状物データ生成機能１５は、ベース動静脈の末端位置と、選別微小血管の基幹位置とが、予め定められた距離の範囲内にある場合、第１の条件を満たし、選別微小血管がベース動脈又はベース静脈に連続すると判断する。
次に、第２の条件について説明する。管状物データ生成機能１５は、第２の条件として、選別微小血管とベース動静脈の走行方向の角度が略同一であるか否かを判断する。例えば、選別微小血管の走行方向とベース動脈の走行方向とが下向きである場合、管状物データ生成機能１５は、当該選別微小血管と該ベース動脈とは走行方向の角度が同じであると判断し、その結果、当該選別微小血管が当該ベース動脈に連続すると判断する。当該選別微小血管の走行方向が下向きであるが、ベース動脈の走行方向が左向きである場合、管状物データ生成機能１５は、当該選別微小血管と当該ベース動脈とは走行方向の角度が異なると判断し、その結果、当該選別微小血管が当該ベース動脈に連続しないと判断する。
次に、第３の条件について説明する。管状物データ生成機能１５は、第３の条件として、選別微小血管とベース動脈およびベース静脈は管径の比率が所定の閾値を超えるか否かを判断する。例えば、管状物データ生成機能１５は、選別微小血管とベース動脈とが接続する箇所での当該選別微小血管および当該ベース動脈の両者の管径をそれぞれ計算し、更に両者の管径の比率を計算し、計算した比率を予め設定された閾値と比較する。ここで、管状物データ生成機能１５は、計算した比率が閾値より大きい場合、すなわち選別微小血管とベース動脈との管径の差が大きすぎる場合、当該選別微小血管が当該ベース動脈に連続しないと判断し、計算した比率が閾値以下である場合、当該選別微小血管が当該ベース動脈に連続すると判断する。
また、管状物データ生成機能１５は、上記血管の連続位置、走行方向の角度および管径の比率の大きさを総合的に考慮してもよい。例えば、管状物データ生成機能１５は、当該３つの条件（第１の条件、第２の条件、第３の条件）をそれぞれ満たすか否かを判断し、当該３つの条件をそれぞれ満たす場合に、選別微小血管がベース動脈又はベース静脈に連続すると判断する。このようにすれば、管状物データ生成機能１５は、連続する可能性が低い選別微小血管を効果的に除去することができる。
また、管状物データ生成機能１５は、選別微小血管の走行方向の角度およびベース動静脈の走行方向の角度に基づいて連続性を判断する。例えば、管状物データ生成機能１５は、ベース動脈の走行方向の角度よりも、選別微小血管の走行方向の角度が、ベース静脈の走行方向の角度に近接する場合、当該選別微小血管が当該ベース静脈に連続すると判断する。
以上、血管の連続性分析を判断するためのいくつかの条件を示したが、管状物データ生成機能１５は、血管の連続性判断を行う場合、そのうちの１つの条件で血管の連続性分析を判断してもよく、複数の条件を組み合わせて血管の連続性分析を判断してもよい。また、上述した血管の連続性分析の条件に限定されず、他の条件で血管の連続性分析を判断してもよい。
次に、ステップＳ１５Ａにおいて、管状物データ生成機能１５は、選別微小血管がベース動脈又はベース静脈に連続できる（連続条件に適合する）か否かを判断した結果、連続条件に適合していないと判断した場合（ステップＳ１５Ａ；Ｎｏ）、後述のステップＳ１５Ｃの処理を行う。一方、管状物データ生成機能１５は、連続条件に適合すると判断した場合（ステップＳ１５Ａ；Ｙｅｓ）、図５のステップＳ１５Ｂの処理を行う。具体的には、管状物データ生成機能１５は、当該選別微小血管をベース動脈又はベース静脈に合併し、即ち当該選別微小血管をベース動脈又はベース静脈に接続することで、更新されたベース動脈又はベース静脈を形成する。このとき、管状物データ生成機能１５は、当該選別微小血管を選別微小血管の集合から除去し、選別微小血管の集合を更新する。
次に、図５のステップＳ１５Ｃにおいて、管状物データ生成機能１５は、更新されたベース動脈又はベース静脈に接続される選別微小血管が存在するか否かを判断する。具体的には、管状物データ生成機能１５は、連続条件に適合するか否かを判断していない選別微小血管が存在するか否かを判断する。
例えば、管状物データ生成機能１５は、更新されたベース動脈又はベース静脈に接続される選別微小血管が存在すると判断した場合（ステップＳ１５Ｃ；Ｙｅｓ）、再度、ステップＳ１５Ａ、Ｓ１５Ｂの処理を行う。具体的には、管状物データ生成機能１５は、連続条件に適合するか否かを判断していない選別微小血管が存在する場合、再度、ステップＳ１５Ａ、Ｓ１５Ｂの処理を行う。
具体的には、ステップＳ１５Ａにおいて、管状物データ生成機能１５は、選別微小血管データのうち、ベース動脈又はベース静脈に接続された微小血管データを除去した残りの選別微小血管データと、更新されたベース動静脈とに対して連続性分析を行う。そして、ステップＳ１５Ｂにおいて、管状物データ生成機能１５は、選別微小血管が、更新されたベース動脈又はベース静脈に連続できる（連続条件に適合する）と判断した場合、以下の処理を行う。まず、管状物データ生成機能１５は、当該選別微小血管を、更新されたベース動脈又はベース静脈に接続することで、更新されたベース動脈又はベース静脈を形成する。このとき、管状物データ生成機能１５は、当該選別微小血管を選別微小血管の集合から除去し、選別微小血管の集合を更新する。
そこで、管状物データ生成機能１５は、上述の処理に従って、連続条件に適合する選別微小血管データが生じなくなるまで、選別微小血管データの集合の更新およびベース動静脈データの更新を繰り返す。すなわち、管状物データ生成機能１５は、更新されたベース動脈又はベース静脈に接続される微小血管が無くなるまで、ステップＳ１５Ａ、Ｓ１５Ｂの処理を繰り返す。
例えば、管状物データ生成機能１５は、更新されたベース動脈又はベース静脈に接続される選別微小血管が存在しないと判断した場合（ステップＳ１５Ｃ；Ｎｏ）、処理を終了する。この場合、管状物データ生成機能１５は、最終的な管状物データを得ることができる。
これにより、管状物データ生成機能１５は、更新されたベース管状物データに接続される微小管状物データが無くなるまで、更新されたベース管状物データを生成する処理（ステップＳ１５Ａ、Ｓ１５Ｂの処理）を繰り返すことにより、最終的な管状物データを得ることができる。例えば、図６に示すように、管状物データ生成機能１５は、図２Ａのベース動脈データに対して、複数の微小血管が接続された動脈データを生成する。また、図７Ａに示すように、管状物データ生成機能１５は、図２Ｂのベース静脈データに対して、複数の微小血管が接続された静脈データを生成する。
上述した実施形態では、管状物データ生成機能１５は、微小管状物データ選別機能１４により取得された選別微小血管データと、ベース動脈データおよびベース静脈データとの連続性分析を行うことを例として説明したが、これに限定されない。例えば、管状物データ生成機能１５は、微小管状物データ取得機能１３により取得された微小血管データと、ベース動脈データおよびベース静脈データとの連続性分析を行うように構成されてもよい。
次に、データ出力機能１６の処理について説明する。
データ出力機能１６は、管状物データ生成機能１５により生成された管状物データを出力する。ここで、データ出力機能１６は、「データ出力部」の一例である。
例えば、本実施形態では、データ出力機能１６は、管状物データ生成機能１５により生成された動脈データおよび静脈データを出力する。例えば、データ出力機能１６は、動脈データおよび静脈データをディスプレイ２２に表示する。
なお、データ出力機能１６は、管状物データ生成機能１５により生成された管状物データを、最終的な管状物データとして出力しているが、これに限定されない。例えば、データ出力機能１６は、管状物データ生成機能１５によりベース管状物データが更新される度に、更新されたベース管状物データを、途中経過の管状物データとして出力してもよい。
次に、図８を参照して、本実施形態に係る画像処理装置１による処理（画像処理方法）について説明する。画像処理方法において、肺部の動静脈データを形成することを例として説明する。
図８のステップＳ１は、処理回路１０が記憶回路２３からボリュームデータ取得機能１１に対応するプログラムを呼び出して実行されるステップである。ステップＳ１において、ボリュームデータ取得機能１１は、被検体の肺部に関連するボリュームデータを取得する。当該ボリュームデータは、被検体の検査部位である肺部に対してＣＴスキャンして得られたボリュームデータ、又は、当該肺部に対してＭＲスキャンして得られたボリュームデータなどの任意のボリュームデータである。すなわち、ボリュームデータ取得機能１１は、被検体の肺部ボリュームデータを取得する。
図８のステップＳ２は、処理回路１０が記憶回路２３からボリュームデータ分割機能１２に対応するプログラムを呼び出して実行されるステップである。ステップＳ２において、ボリュームデータ分割機能１２は、任意のボリュームデータ分割方法を用いて、ステップＳ１で取得された肺部ボリュームデータを分割してベース動脈データおよびベース静脈データを取得する。
図８のステップＳ３は、処理回路１０が記憶回路２３から微小管状物データ取得機能１３に対応するプログラムを呼び出して実行されるステップである。ステップＳ３において、微小管状物データ取得機能１３は、微小血管の構成およびグレイ階調特徴に基づいて、小さいサイズの管状物用の検出演算子を利用して、ステップＳ１で取得された肺部ボリュームデータから微小血管データを取得する。
図８のステップＳ４は、処理回路１０が記憶回路２３から微小管状物データ選別機能１４に対応するプログラムを呼び出して実行されるステップである。ステップＳ４において、微小管状物データ選別機能１４は、ステップＳ３で取得された微小血管データから、ベース動静脈データと共通した部分を除去し、非血管データ、および過大又は過小の閾値範囲外にある血管データを除去することにより、選別微小血管データを取得する。
図８のステップＳ５は、処理回路１０が記憶回路２３から管状物データ生成機能１５に対応するプログラムを呼び出して実行されるステップである。ステップＳ５において、管状物データ生成機能１５は、ステップＳ４で取得された選別微小血管データ、および、ステップＳ２で取得されたベース動静脈データに基づいて、動静脈データを生成する。具体的には、管状物データ生成機能１５は、選別微小血管データがベース動静脈に連続できるか否かを分析し、連続可能な選別微小血管データを一本ずつベース動脈データ又はベース静脈データに接続することにより、動静脈データを生成する。
図８のステップＳ６は、処理回路１０が記憶回路２３からデータ出力機能１６に対応するプログラムを呼び出して実行されるステップである。ステップＳ６では、データ出力機能１６は、ステップＳ５で生成された動脈データおよび静脈データをそれぞれ出力する。
また、ステップＳ４において、微小血管データを選別したが、当該ステップを省略してもよい。ステップＳ２で取得したベース動脈データおよびベース静脈データと、ステップＳ３で取得した微小血管データとに基づいて、動脈データおよび静脈データを生成できれば、他の方法を用いてもよい。
本実施形態では、ボリュームデータに対して血管（管状物）分割を行う時に、被検体の微小管状物、例えば肺部の微小血管分岐を正確に検出することができるとともに、微小血管分岐とベース動静脈との連続性を確実に判断することができる。これにより、初期の血管分割に欠落した微小血管を検出することができるとともに、血管末端の動静脈の分類ミスを避けることができる。
（第１変形例）
次に、図９～図１１を参照して、本実施形態の第１変形例について説明する。
例えば、分割対象物とそれ以外で分類したい場合、分割対象物を前景とし、それ以外を背景として、前景のみにフォーカスして学習が行われる。そこで、第１変形例では、学習によりベース管状物データおよび微小管状物データの両方を取得する。
ボリュームデータ分割機能１２は、深層学習（例えば深層学習ベースの初期分割ネット法）を用いて、ボリュームデータ取得機能１１により取得されたボリュームデータを分割することによってベース管状物データを取得する。ボリュームデータ分割機能１２は、更に深層学習ベースの初期分割ネット法を用いて、管状物データについての前景確率マップおよび背景確率マップを生成する。即ち、ボリュームデータ分割機能１２は、分割対象物についての確率マップを生成する。
例えば、ベース管状物データにおいては、深層学習が、前景の確率と背景の確率との大小関係を基に、各ピクセルが、前景に属するか、背景に属するかを判断することで、ボリュームデータ分割機能１２は、ベース管状物データを取得することができる。
一方、微小管状物データにおいては、微小管状物データ取得機能１３は、前景確率マップを閾値でフィルタリングすることで、微小管状物データを取得することができる。これは、末梢血管のような細い血管などの微小管状物の領域では、深層学習が、背景確率が前景確率よりも高いと判断する可能性があるため、微小管状物データ取得機能１３は、前景確率マップを閾値でフィルタリングすることで、前景確率マップにおいて周囲組織よりも相対的に前景確率が高い領域を、微小管状物データとして取得することができる。このように、微小管状物データ取得機能１３は、前景確率マップを閾値化し、前景確率マップにおいて所定の閾値範囲にある領域を微小管状物データとして取得する。
第１変形例におけるボリュームデータ分割機能１２および微小管状物データ取得機能１３の処理について、肺部の動静脈データを形成することを例として具体的に説明する。
ボリュームデータ分割機能１２は、深層学習ベースの初期分割ネット法を用いて、肺ボリュームデータを分割してベース動脈データ（図２Ａ参照）およびベース静脈データ（図２Ｂ参照）を取得する。ボリュームデータ分割機能１２は、更に深層学習ベースの初期分割ネット法を用いて、動脈データに対する前景確率マップ、および、静脈データに対する前景確率マップをそれぞれ生成し、更に、当該２つの前景確率マップを合併して動静脈データに対する前景確率マップを得る。
ここで、ボリュームデータ分割機能１２により取得されたベース動脈データ（図２Ａ）およびベース静脈データ（図２Ｂ）は、０又は１の値を表すデータである。例えば、ベース動脈データおよびベース静脈データを合成した場合、図９に示すようなデータとなる。
また、ボリュームデータ分割機能１２により取得された前景確率マップは、微小血管を閾値処理で抽出するための確率値を表すデータである。例えば、動静脈データの前景確率マップを模式的に表した場合、図１０に示すようなマップとなる。図１０では、前景確率マップの軸位断の図のみを模式的に示すが、前景確率マップは更に矢状断の図および冠状断の図を有する。ここで、微小管状物データ取得機能１３は、図１０に示す前景確率マップを閾値化し、例えば符号Ａが指す領域の閾値を１とし、符号Ｂが指す領域の閾値を０．６とする。そして、微小管状物データ取得機能１３は、図１０に示す前景確率マップにおいて、０．６～１の閾値範囲にある前景オブジェクト（領域）を微小血管データとして取得する。
以下、図１１を参照して、第１変形例における画像処理装置１による処理（画像処理方法）について説明する。
第１変形例の画像処理方法では、ステップＳ２’、ステップＳ３’のみが上述した実施形態の画像処理方法と異なり、それ以外のステップが同じであるため、ステップＳ２’、ステップＳ３’のみについて説明する。
図１１のステップＳ２’は、処理回路１０が記憶回路２３からボリュームデータ分割機能１２に対応するプログラムを呼び出して実行されるステップである。ステップＳ２’において、ボリュームデータ分割機能１２は、深層学習ベースの初期分割ネット法を用いて、ベース動静脈データを取得する。ボリュームデータ分割機能１２は、更に深層学習ベースの初期分割ネット法を用いて、動脈データに対する前景確率マップ、および、静脈データに対する前景確率マップをそれぞれ生成する。
図１１のステップＳ３’は、処理回路１０が記憶回路２３から微小管状物データ取得機能１３に対応するプログラムを呼び出して実行されるステップである。ステップＳ３’において、微小管状物データ取得機能１３は、ステップＳ２’で生成された２つの前景確率マップを合併して動静脈データに対する前景確率マップを生成する。微小管状物データ取得機能１３は、当該前景確率マップを閾値化し、当該前景確率マップにおいて所定の閾値範囲にある前景オブジェクト（領域）を微小血管データとして取得する。これにより、微小管状物データ取得機能１３は、当該前景確率マップに基づいて、微小血管データを取得する。
第１変形例では、深層学習ベースの初期分割ネット法によりボリュームデータに対して血管（管状物）分割を行う場合、微小血管が背景に比べてコントラストが弱くて分割されにくいなどの問題に対して、より多く、より連続する微小血管を正確に検出することができ、微小血管の欠落および血管末端の動静脈の分類ミスを避けることができる。
（第２変形例）
以下、図１２を参照して、本実施形態の第２変形例について説明する。
第２変形例では、ユーザの指示により、管状物データ生成機能１５が管状物データを生成する。
例えば、管状物データ生成機能１５は、まず、ディスプレイ２２に表示されたベース管状物データを参照したユーザからベース管状物データにおける１つの管状物に関する管状物分岐データを選択する指示を受け付ける。ここで、管状物データ生成機能１５は、当該指示を受け付けた場合、管状物分岐データに近接する微小管状物データである複数の微小管状物データをディスプレイ２２に表示させる。次に、ユーザが複数の微小管状物データから接続を必要とする微小管状物データを選択した場合、管状物データ生成機能１５は、当該微小管状物データと管状物分岐データとを接続することで、管状物データを生成する。そして、データ出力機能１６は、管状物データ生成機能１５により生成された管状物データを、最終的な管状物データとしてディスプレイ２２に表示させる。
なお、データ出力機能１６は、管状物データ生成機能１５により生成された管状物データを、最終的な管状物データとして、ディスプレイ２２に表示させているが、これに限定されない。例えば、管状物データ生成機能１５は、ベース管状物データが更新される度に、更新されたベース管状物データを、途中経過の管状物データとして出力してもよい。
第２変形例における微小管状物データ選別機能１４および管状物データ生成機能１５の処理について、肺部の動静脈データを形成することを例として具体的に説明する。
微小管状物データ取得機能１３が肺部の微小血管データを検出した後、管状物データ生成機能１５は、ベース動静脈データをディスプレイ２２に表示させる共に、ユーザが肺部のベース動静脈データから１つ又は複数の血管分岐を選択する指示を受け付ける。ここで、管状物データ生成機能１５は、当該指示を受け付けた場合、管状物データ生成機能１５は、当該指示により選択された血管分岐に近接する複数の微小血管をディスプレイ２２に表示させる。ユーザは、自身の経験に基づいて、複数の微小血管のうち、血管分岐に連続すべき微小血管を選択する。この場合、管状物データ生成機能１５は、ユーザが選択した微小血管を、対応する動脈又は静脈の血管分岐に接続することで、動脈データ又は静脈データを生成する。
以下、図１２を参照して、第２変形例における画像処理装置１による処理（画像処理方法）について説明する。
第２変形例の画像処理方法では、ステップＳ４”、ステップＳ５”のみが上述した実施形態又は第１変形例の画像処理方法と異なり、それ以外のステップが同じであるため、ステップＳ４”、ステップＳ５”のみについて説明する。
図１２のステップＳ４”は、処理回路１０が記憶回路２３から管状物データ生成機能１５に対応するプログラムを呼び出して実行されるステップである。ステップＳ４”において、管状物データ生成機能１５は、ユーザがベース動静脈データにおける血管分岐を選択することにより、血管分岐に近接する複数の微小血管をディスプレイ２２に表示させる。
図１２のステップＳ５”は、処理回路１０が記憶回路２３から管状物データ生成機能１５に対応するプログラムを呼び出して実行されるステップである。ステップＳ５”において、ユーザが自身の経験に基づいて複数の微小血管から接続を必要とする微小血管を選択した場合、管状物データ生成機能１５は、ユーザが選択した微小血管を、対応する動脈又は静脈の血管分岐に接続することで、動脈データ又は静脈データを生成する。
また、第２変形例において、ステップＳ３とステップＳ４”との間に上述した実施形態および第１変形例のステップＳ４の処理、すなわち微小血管データを選別する処理を加えてもよい。
第２変形例では、ボリュームデータに対して血管（管状物）分割を行う場合、完全な血管の真値（ＧＴ：Ground Truth）を迅速に作成でき、微小血管をより正確に検出することができ、微小血管の欠落および血管末端の動静脈の分類ミスを避けることができる。
上述した実施形態の各装置の各構成要素は、機能概念性のものであり、必ずしも物理的に図示の如く構成されなくてもよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。更に、各装置において行われた各処理機能の全部又は任意の一部は、ＣＰＵおよび当該ＣＰＵにより解析実行されたプログラムにより実現されてもよく、又は、配線ロジックに基づくハードウェアとして実現されてもよい。
また、上述した実施形態で説明した画像処理装置は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータが実行することにより実現することができる。このプログラムは、インターネットなどのネットワークを介して配信されることができる。また、当該プログラムは更にハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータ読み取り可能な不揮発性記録媒体に記録されて、コンピュータにより記録媒体から読み出されて実行されることができる。
以上説明した少なくとも１つの実施形態によれば、管状物の分割を正確に行うことができる。
上述したように、本実施形態およびその変形例について説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ 画像処理装置
１１ ボリュームデータ取得機能
１２ ボリュームデータ分割機能
１３ 微小管状物データ取得機能
１４ 微小管状物データ選別機能
１５ 管状物データ生成機能
１６ データ出力機能

Claims (15)

  1. 被検体のボリュームデータを取得するボリュームデータ取得部と、
    前記ボリュームデータを分割することにより、ベース管状物データを取得するボリュームデータ分割部と、
    前記ボリュームデータから、微小管状物データを取得する微小管状物データ取得部と、
    前記微小管状物データおよび前記ベース管状物データに基づいて、更新された前記ベース管状物データを生成する管状物データ生成部と、
    前記更新されたベース管状物データを出力するデータ出力部と、
    を備える画像処理装置。
  2. 前記管状物データ生成部は、前記微小管状物データと前記ベース管状物データとに対して連続性分析を行い、連続条件に適合する微小管状物データを前記ベース管状物データに接続することにより、前記更新されたベース管状物データを生成する、
    請求項１に記載の画像処理装置。
  3. 前記管状物データ生成部は、前記微小管状物データと前記ベース管状物データとに対して連続性分析を行い、前記微小管状物データにおいて、連続条件に適合する第１の部分微小管状物データを取得し、当該取得した第１の部分微小管状物データを前記ベース管状物データに接続することにより、前記更新されたベース管状物データを生成する、
    請求項２に記載の画像処理装置。
  4. 前記管状物データ生成部は、更に、前記微小管状物データから前記第１の部分微小管状物データを除去した残りの微小管状物データと、前記更新されたベース管状物データとに対して、連続性分析を行い、前記残りの微小管状物データにおいて、連続条件に適合する第２の部分微小管状物データを取得し、当該取得した第２の部分微小管状物データを前記更新されたベース管状物データに接続することにより、前記更新されたベース管状物データを生成する処理を繰り返す、
    請求項３に記載の画像処理装置。
  5. 前記管状物データ生成部は、前記更新されたベース管状物データに接続される前記微小管状物データが無くなるまで、前記更新されたベース管状物データを生成する処理を繰り返す、
    請求項２～４のいずれか一項に記載の画像処理装置。
  6. 前記微小管状物データ取得部によって取得された微小管状物データから、前記ベース管状物データと共通した部分を除去することにより、選別微小管状物データを取得する微小管状物データ選別部、
    を更に備える請求項１に記載の画像処理装置。
  7. 前記微小管状物データ取得部によって取得された微小管状物データから、閾値範囲外の管状物データを除去することにより、選別微小管状物データを取得する微小管状物データ選別部、
    を更に備える請求項１に記載の画像処理装置。
  8. 前記微小管状物データ取得部は、微小管状物の構成およびグレイ階調特徴に基づいて、小さいサイズの管状物用の検出演算子を利用して、前記微小管状物データを取得する、
    請求項１に記載の画像処理装置。
  9. 前記微小管状物データ取得部は、前記検出演算子として、小さいサイズの管状物のヘッセ行列の強調特徴値を算出する、
    請求項８に記載の画像処理装置。
  10. 前記ボリュームデータ分割部は、学習により前記ボリュームデータを分割して前記ベース管状物データを取得し、更に前記学習によって、分割対象物についての確率マップを生成し、
    前記微小管状物データ取得部は、前記確率マップにおける所定の閾値範囲内にある領域を、前記微小管状物データとして取得する、
    請求項１に記載の画像処理装置。
  11. 前記管状物データ生成部は、
    表示部に表示された前記ベース管状物データを参照したユーザから前記ベース管状物データにおける１つの管状物に関する管状物分岐データを選択する指示を受け付けた場合、前記管状物分岐データに近接する前記微小管状物データである複数の微小管状物データを前記表示部に表示させ、
    ユーザが前記複数の微小管状物データから接続を必要とする微小管状物データを選択した場合、当該微小管状物データと前記管状物分岐データとを接続することで、前記更新されたベース管状物データを生成する、
    請求項１に記載の画像処理装置。
  12. 前記微小管状物データおよび前記ベース管状物データは、血管データである、
    請求項１に記載の画像処理装置。
  13. 前記血管データは、静脈血管データおよび動脈血管データである、
    請求項１２に記載の画像処理装置。
  14. 被検体のボリュームデータを取得し、
    前記ボリュームデータを分割することにより、ベース管状物データを取得し、
    前記ボリュームデータから、微小管状物データを取得し、
    前記微小管状物データおよび前記ベース管状物データに基づいて、更新された前記ベース管状物データを生成し、
    前記更新されたベース管状物データを出力する、
    ことを含む画像処理方法。
  15. 被検体のボリュームデータを取得し、
    前記ボリュームデータを分割することにより、ベース管状物データを取得し、
    前記ボリュームデータから、微小管状物データを取得し、
    前記微小管状物データおよび前記ベース管状物データに基づいて、更新された前記ベース管状物データを生成し、
    前記更新されたベース管状物データを出力する、
    処理をコンピュータに実行させるプログラム。
JP2022180755A 2022-01-13 2022-11-11 画像処理装置、画像処理方法およびプログラム Pending JP2023103170A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/154,121 US20230222668A1 (en) 2022-01-13 2023-01-13 Image processing apparatus, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210037888.0 2022-01-13
CN202210037888.0A CN116485700A (zh) 2022-01-13 2022-01-13 图像处理装置以及图像处理方法

Publications (1)

Publication Number Publication Date
JP2023103170A true JP2023103170A (ja) 2023-07-26

Family

ID=87212396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022180755A Pending JP2023103170A (ja) 2022-01-13 2022-11-11 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2023103170A (ja)
CN (1) CN116485700A (ja)

Also Published As

Publication number Publication date
CN116485700A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US11816836B2 (en) Method and system for assessing vessel obstruction based on machine learning
JP6894896B2 (ja) Ｘ線画像特徴検出および位置合わせのシステムおよび方法
JP6553675B2 (ja) 脈管構造を数値的に評価するためのシステムおよび方法
JP6667999B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7023715B2 (ja) 血管内のステントストラットカバレッジを決定するためのシステムの作動方法及びステント留置された領域を検出するための血管内画像化システムのプログラム可能なプロセッサベースのコンピュータ装置
CN111968070B (zh) 一种基于三维建模的血管检测方法及装置
JP2011517986A (ja) 腹部大動脈瘤の自動検知および正確なセグメント分割
JP2015066311A (ja) 画像処理装置、画像処理方法、画像処理装置の制御プログラム、記録媒体
CN112862833A (zh) 血管分段方法、电子装置和存储介质
CN108348170B (zh) 与侧支有关的支架撑杆检测
US9357981B2 (en) Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same
KR102361354B1 (ko) 관상동맥 조영 영상에서 심장 협착증 질병 정보 제공 방법
US20220319004A1 (en) Automatic vessel analysis from 2d images
US20230222668A1 (en) Image processing apparatus, image processing method, and recording medium
Lidayova et al. Skeleton-based fast, fully automated generation of vessel tree structure for clinical evaluation of blood vessel systems
US20230113721A1 (en) Functional measurements of vessels using a temporal feature
JP2023103170A (ja) 画像処理装置、画像処理方法およびプログラム
Kulathilake et al. Region growing segmentation method for extracting vessel structures from coronary cine-angiograms
JP2022117177A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Shingrani et al. Automation process for morphometric analysis of volumetric CT data from pulmonary vasculature in rats
JP7502125B2 (ja) 医用画像処理装置、医用画像処理システム、及び、医用画像処理方法
US20240127441A1 (en) Medical image processing device, medical image processing method, and storage medium
US20230124908A1 (en) Medical image processing apparatus, medical image processing method, and non-transitory computer-readable storage medium
CN115222665B (zh) 一种斑块检测方法、装置、电子设备及可读存储介质
Udekwe et al. Cardinal points symmetry landmarks distribution model for segmentation of region of interest in simulated B-mode ultrasound carotid artery images