JP2023080703A - 医用画像処理装置、方法及びプログラム - Google Patents

医用画像処理装置、方法及びプログラム Download PDF

Info

Publication number
JP2023080703A
JP2023080703A JP2021194186A JP2021194186A JP2023080703A JP 2023080703 A JP2023080703 A JP 2023080703A JP 2021194186 A JP2021194186 A JP 2021194186A JP 2021194186 A JP2021194186 A JP 2021194186A JP 2023080703 A JP2023080703 A JP 2023080703A
Authority
JP
Japan
Prior art keywords
medical image
image data
weight
function
gravity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021194186A
Other languages
English (en)
Inventor
将実 川岸
Masasane Kawagishi
康太 青柳
Yasuta Aoyanagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Canon Medical Systems Corp
Original Assignee
Canon Inc
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, Canon Medical Systems Corp filed Critical Canon Inc
Priority to JP2021194186A priority Critical patent/JP2023080703A/ja
Priority to US18/056,811 priority patent/US20230169653A1/en
Priority to CN202211483486.XA priority patent/CN116205846A/zh
Priority to EP22210506.6A priority patent/EP4186432A1/en
Publication of JP2023080703A publication Critical patent/JP2023080703A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Abstract

【課題】重力効果による偽造が生じている可能性が高い医用画像データに対して解析を行う場合であっても、適切な解析を行うこと。【解決手段】実施形態に係る医用画像処理装置は、取得部と、同定部と、第1の設定部と、解析部とを備える。取得部は、解析対象となる医用画像データを取得する。同定部は、医用画像データに対する重力方向を同定する。第1の設定部は、重力方向に基づいて、医用画像データを構成する画素に対して第1の重みを設定する。解析部は、第1の重みに基づいて医用画像データの解析を行う。【選択図】図1

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置、方法及びプログラムに関する。
従来、医用画像データの撮像時に、重力の影響で発生する重力効果と呼ばれる偽像が生じている可能性が高い医用画像データを同定する技術が知られている。例えば、臨床知識を基に、重力効果による偽像が生じやすい位置を定め、当該位置における高吸収領域の連続性を基に、偽像が生じている可能性が高い医用画像データを同定する技術が記載されている。
特開2020-058472号公報 国際公開第2017/150947号
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、重力効果による偽造が生じている可能性が高い医用画像データに対して解析を行う場合であっても、適切な解析を行うことである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
実施形態に係る医用画像処理装置は、取得部と、同定部と、第1の設定部と、解析部とを備える。取得部は、解析対象となる医用画像データを取得する。同定部は、前記医用画像データに対する重力方向を同定する。第1の設定部は、前記重力方向に基づいて、前記医用画像データを構成する画素に対して第1の重みを設定する。解析部は、前記第1の重みに基づいて前記医用画像データの解析を行う。
図1は、第1の実施形態に係る医用画像処理装置の構成例を示す図である。 図2は、第1の実施形態に係る医用画像処理装置の処理回路が有する各処理機能によって行われる処理の処理手順を示すフローチャートである。 図3は、第1の実施形態に係る第1の重みの設定処理の一例を説明するための図である。 図4は、変形例2に係る第1の重みの設定処理の一例を説明するための図である。 図5は、変形例3に係る解析処理の一例を説明するための図である。 図6は、第2の実施形態に係る医用画像処理装置の構成例を示す図である。 図7は、第2の実施形態に係る医用画像処理装置の処理回路が有する各処理機能によって行われる処理の処理手順を示すフローチャートである。 図8は、第2の実施形態に係る判定処理の一例を説明するための図である。 図9は、第3の実施形態に係る医用画像処理装置の構成例を示す図である。 図10は、第3の実施形態に係る医用画像処理装置の処理回路が有する各処理機能によって行われる処理の処理手順を示すフローチャートである。 図11Aは、第3の実施形態に係る第2の重みの設定処理の一例を説明するための図である。 図11Bは、第3の実施形態に係る第2の重みの設定処理の一例を説明するための図である。
以下、図面を参照しながら、医用画像処理装置、方法及びプログラムの実施形態について詳細に説明する。なお、本願に係る医用画像処理装置、方法及びプログラムは、以下に示す実施形態によって限定されるものではない。また、以下の説明において、同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理装置の構成例を示す図である。例えば、図1に示すように、本実施形態に係る医用画像処理装置3は、医用画像診断装置1及び医用画像保管装置2と、ネットワークを介して通信可能に接続されている。なお、図1に示すネットワークには、その他種々の装置及びシステムが接続される場合でもよい。
医用画像診断装置1は、被検体を撮像して医用画像データを生成する。そして、医用画像診断装置1は、生成した医用画像データをネットワーク上の各種装置に送信する。例えば、医用画像診断装置1は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置等である。
医用画像保管装置2は、被検体に関する各種の医用画像データを保管する。具体的には、医用画像保管装置2は、ネットワークを介して医用画像診断装置1から医用画像データを受信し、当該医用画像データを自装置内の記憶回路に記憶させて保管する。例えば、医用画像保管装置2は、サーバやワークステーション等のコンピュータ機器によって実現される。また、例えば、医用画像保管装置2は、PACS(Picture Archiving and Communication System)等によって実現され、DICOM(Digital Imaging and Communications in Medicine)に準拠した形式で医用画像データを保管する。
医用画像処理装置3は、医用画像データに関する各種処理を行う。具体的には、医用画像処理装置3は、ネットワークを介して医用画像診断装置1又は医用画像保管装置2から医用画像データを受信し、当該医用画像データを用いて各種の情報処理を行う。例えば、医用画像処理装置3は、サーバやワークステーション等のコンピュータ機器によって実現される。
例えば、医用画像処理装置3は、通信インターフェース31と、入力インターフェース32と、ディスプレイ33と、記憶回路34と、処理回路35とを備える。
通信インターフェース31は、医用画像処理装置3と、ネットワークを介して接続された他の装置との間で送受信される各種データの伝送及び通信を制御する。具体的には、通信インターフェース31は、処理回路35に接続されており、他の装置から受信したデータを処理回路35に送信、又は、処理回路35から送信されたデータを他の装置に送信する。例えば、通信インターフェース31は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
入力インターフェース32は、利用者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インターフェース32は、処理回路35に接続されており、利用者から受け取った入力操作を電気信号へ変換して処理回路35に送信する。例えば、入力インターフェース32は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インターフェース、及び音声入力インターフェース等によって実現される。なお、本明細書において、入力インターフェース32は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ送信する電気信号の処理回路も入力インターフェース32の例に含まれる。
ディスプレイ33は、各種情報及び各種データを表示する。具体的には、ディスプレイ33は、処理回路35に接続されており、処理回路35から受信した各種情報及び各種データを表示する。例えば、ディスプレイ33は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ、タッチパネル等によって実現される。
記憶回路34は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路34は、処理回路35に接続されており、処理回路35から受信したデータを記憶、又は、記憶しているデータを読み出して処理回路35に送信する。例えば、記憶回路34は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
処理回路35は、医用画像処理装置3の全体を制御する。例えば、処理回路35は、入力インターフェース32を介して利用者から受け付けた入力操作に応じて、各種処理を行う。例えば、処理回路35は、他の装置から送信されたデータを、通信インターフェース31を介して受信し、受信したデータを記憶回路34に格納する。また、例えば、処理回路35は、記憶回路34から受信したデータを通信インターフェース31に送信することで、当該データを他の装置に送信する。また、例えば、処理回路35は、記憶回路34から受信したデータをディスプレイ33に表示する。
以上、本実施形態に係る医用画像処理装置3の構成例について説明した。例えば、本実施形態に係る医用画像処理装置3は、病院や診療所等の医療施設に設置され、医師等の利用者によって行われる各種診断や治療計画の策定等を支援する。例えば、医用画像処理装置3は、医用画像データの解析において、医用画像データに偽像と偽像に類似した異常陰影とが同時に現れた場合でも、解析を適切に行うための各種処理を実行する。
上述したように、重力の影響によって医用画像データ内に発生する偽像に対して、臨床知識を基に、偽像が生じている可能性が高い医用画像データを同定する技術が知られている。しかしながら、このような偽像と、偽像に類似した異常陰影(例えば、すりガラス状陰影(GGO:Ground Glass Opacity)など)とを完全に弁別することが困難であるため、上記した技術を用いたとしても、偽像と異常陰影とが同時に現れる場合には、全て異常陰影として処理している。
そこで、本実施形態に係る医用画像処理装置3は、医用画像データにおける重力方向に基づいて、医用画像データを構成する画素に対して重みを設定し、設定した重みに基づく解析を実行することで、医用画像データに偽像と偽像に類似した異常陰影とが同時に現れた場合でも、解析を適切に行うことができるように構成されている。以下、このような構成を有する医用画像処理装置3について、詳細に説明する。
例えば、図1に示すように、本実施形態では、医用画像処理装置3の処理回路35が、制御機能351と、取得機能352と、抽出機能353と、同定機能354と、第1の設定機能355と、解析機能356とを実行する。ここで、取得機能352は、取得部の一例である。また、抽出機能353は、抽出部の一例である。また、同定機能354は、同定部の一例である。また、第1の設定機能355は、第1の設定部の一例である。また、解析機能356は、解析部の一例である。
制御機能351は、入力インターフェース32を介した操作に応じて、種々のGUI(Graphical User Interface)や、種々の表示情報を生成して、ディスプレイ33に表示するように制御する。例えば、制御機能351は、医用画像データに対する画像処理を実行するためのGUIや、医用画像データに関する解析の解析結果などをディスプレイ33に表示させる。また、制御機能351は、取得機能352によって取得された医用画像データに基づく種々の表示画像を生成して、ディスプレイ33に表示させる。
取得機能352は、通信インターフェース31を介して、医用画像診断装置1又は医用画像保管装置2から解析対象の医用画像データを取得する。具体的には、取得機能352は、種々の診断に関する画像解析の対象となる2次元の医用画像データ又は3次元の医用画像データ(ボリュームデータ)を取得する。なお、取得機能352は、3次元で時間方向に複数撮像することで得られる複数のボリュームデータを取得することもできる。例えば、取得機能352は、上記した医用画像データとして、CT画像データ、超音波画像データ、MRI画像データ、X線画像データ、Angio画像データ、PET画像データ、SPECT画像データなどを取得する。処理回路35は、上記した取得機能352を実行することで、医用画像診断装置1又は医用画像保管装置2から被検体の医用画像データを受信し、受信した医用画像データを記憶回路34に記憶させる。
抽出機能353は、医用画像データから被検体の少なくとも1つの構造物を抽出する。具体的には、抽出機能353は、取得機能352によって取得された医用画像データに含まれる生体器官を示す領域を抽出する。例えば、抽出機能353は、医用画像データに含まれる肺などに対応する領域を抽出する。なお、抽出機能353による処理については、後に詳述する。
同定機能354は、取得機能352によって取得された医用画像データに対する重力方を同定する。なお、同定機能354による処理については、後に詳述する。
第1の設定機能355は、重力方向に基づいて、医用画像データを構成する画素に対して第1の重みを設定する。なお、第1の設定機能355による処理については、後に詳述する。
解析機能356は、第1の重みに基づいて医用画像データの解析を行う。なお、解析機能356による処理については、後に詳述する。
上述した処理回路35は、例えば、プロセッサによって実現される。その場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路34に記憶される。そして、処理回路35は、記憶回路34に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路35は、各プログラムを読み出した状態で、図1に示した各処理機能を有することとなる。
なお、処理回路35は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、処理回路35が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路35が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路34に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路が分散して記憶され、処理回路35が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。
次に、医用画像処理装置3による処理の手順について、図2を用いて説明した後、各処理の詳細について説明する。図2は、第1の実施形態に係る医用画像処理装置3の処理回路35が有する各処理機能によって行われる処理の処理手順を示すフローチャートである。
例えば、図2に示すように、本実施形態では、取得機能352が、医用画像診断装置1又は医用画像保管装置2から被検体の医用画像データを取得する(ステップS101)。例えば、取得機能352は、入力インターフェース32を介した医用画像データの取得操作に応じて、指定された医用画像データを取得する。この処理は、例えば、処理回路35が、取得機能352に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
続いて、同定機能354が、取得された医用画像データにおける重力方向を同定する。(ステップS102)。例えば、処理回路35が、同定機能354に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
続いて、抽出機能353が、取得された医用画像データについて、医用画像データに含まれる構造物を抽出する(ステップS103)。この処理は、例えば、処理回路35が、抽出機能353に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。なお、図2においては、重力方向が同定された後に構造物が抽出される例を示しているが、実施形態はこれに限定されるものではなく、構造物が抽出された後に重力方向が同定される場合でもよく、或いは、重力方向の同定と構造物の抽出とが同時実行される場合でもよい。
続いて、第1の設定機能355が、重力方向に基づいて医用画像データの画素に対して第1の重みを設定する(ステップS104)。この処理は、例えば、処理回路35が、第1の設定機能355に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
そして、解析機能356が、第1の重みを用いて医用画像データを解析する(ステップS105)。この処理は、例えば、処理回路35が、解析機能356に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
なお、図2には示していないが、医用画像データを解析した後、制御機能351が、解析結果をディスプレイ33に表示させることができる。この処理は、例えば、処理回路35が、制御機能351に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
以下、医用画像処理装置3によって実行される各処理の詳細について、説明する。なお、以下では、医用画像データとして3次元胸部X線CT画像データを取得し、肺に関する解析を行う場合の処理を一例に挙げて説明する。なお、本実施形態にて説明する処理の対象はこれに限らず、その他種々の生体器官を対象とすることができる。
(医用画像データの取得処理)
図2のステップS101で説明したように、取得機能352は、入力インターフェース32を介した医用画像データの取得操作に応じて、胸部を対象として撮像された3次元のX線CT画像データを取得する。
なお、ステップS101における医用画像データの取得処理は、上記したように、入力インターフェース32を介したユーザの指示により動作が開始される場合でもよいが、自動的に処理が開始される場合でもよい。かかる場合には、例えば、取得機能352は、医用画像保管装置2を監視しておき、新しい3次元胸部X線CT画像データが保管されるごとに自動的に取得する。
また、上述したように、取得機能352によって3次元胸部X線CT画像データが取得された後、取得された画像データがディスプレイ33に表示されてもよい。
(重力方向の同定処理)
図2のステップS102で説明したように、同定機能354は、取得機能352によって取得された3次元胸部X線CT画像データにおける重力方向を同定する。具体的には、同定機能354は、3次元胸部X線CT画像データが撮像された際に被検体に対してかかっていた重力の方向(すなわち、3次元胸部X線CT画像データに描出された被検体に対する重力方向)を同定する。
例えば、同定機能354は、3次元胸部X線CT画像データに撮像された被検体の体位に基づいて、重力方向を同定する。一例を挙げると、同定機能354は、3次元胸部X線CT画像データの撮像情報から被検体の体位を推定し、推定した体位に基づいて重力方向を同定する。ここで、同定機能354は、医用画像データの規格であるDICOM(Digital Imaging and Communications in Medicine)のヘッダ情報の一つであるPatient positionから、撮像情報を取得する。例えば、同定機能354は、撮像情報が、HFS(Head First-Supine)や、FFS(Feet First-Supine)であれば、仰臥位で撮像されたと推定する。また、同定機能354は、撮像情報が、HFP(Head First-Prone)であれば伏臥位で撮像されたと推定し、HDFL(Head First-Decubitus Left)であれば左側臥位で撮像されたと推定する。
そして、同定機能354は、体位が仰臥位であれば、重力方向が背側方向であると同定し、体位が伏臥位であれば、重力方向が腹側方向であると同定し、体位が左側臥位であれば、重力方向が体軸の左側方向であると同定する。なお、以下では、3次元胸部X線CT画像データは仰臥位で撮像されたものとし、重力方向が背側方向であるものとして説明する。
(構造物の抽出処理)
図2のステップS103で説明したように、抽出機能353は、3次元胸部X線CT画像データに含まれる構造物を抽出する。具体的には、抽出機能353は、3次元胸部X線CT画像データにおいて肺などを示す画素の座標情報を取得する。ここで、抽出機能353は、種々の手法により構造物を抽出することができる。例えば、抽出機能353は、入力インターフェース32を介して3次元胸部X線CT画像データ上に指定された領域を肺として抽出することができる。すなわち、抽出機能353は、ユーザが手動で指定した領域を肺として抽出する。
また、例えば、抽出機能353は、既知の領域抽出技術により3次元胸部X線CT画像データに描出される解剖学的構造に基づいて肺を抽出することができる。例えば、抽出機能353は、CT値に基づく大津の二値化法、領域拡張法、スネーク法、グラフカット法、ミーンシフト法などを用いて、3次元胸部X線CT画像データにおける肺を抽出する。
また、その他、抽出機能353は、機械学習技術(深層学習含)を用いて事前に準備された学習用データに基づいて構築される学習済みモデルを用いて、3次元胸部X線CT画像データにおける肺を抽出することができる。なお、上記のいずれかの手法により肺を抽出することで、抽出機能353は、解剖学的知識より、肺の外側(非縦隔側)の胸壁を抽出することもできる。
(第1の重みの設定処理)
図2のステップS104で説明したように、第1の設定機能355は、3次元胸部X線CT画像データの画素に対して第1の重みを設定する。具体的には、第1の設定機能355は、重力方向と少なくとも1つの構造物とに基づいて、第1の重みを設定する。例えば、第1の設定機能355は、重力方向と、抽出された構造物の辺縁からの距離に基づいて、第1の重みを設定する。
上述した重力効果は、重力の影響を受けやすい軟組織(例えば肺)が、重力の影響を受けにくい硬組織(例えば胸壁)に支持され軟組織が圧縮することで発生する。軟組織の圧縮は、荷重がかかる部分、すなわち硬組織に近いほど発生確率が高くなる。
そこで、第1の設定機能355は、抽出された肺の外側に胸壁が存在するものと仮定し、抽出された肺の辺縁部分において、重力方向と略直交する辺縁のうち、重力ベクトルが指し示す方向にある辺縁を決定する。そして、第1の設定機能355は、決定した辺縁からの距離に応じて第1の重みを設定する。
図3は、第1の実施形態に係る第1の重みの設定処理の一例を説明するための図である。ここで、図3は、3次元胸部X線CT画像データにおける体軸断面(アキシャル断面)の1つの断面画像データ400を示す。例えば、断面画像データ400は、解析対象の画像データとしてユーザによって選択される。同定機能354は、3次元胸部X線CT画像データの撮像情報に基づいて、図3に示す重力方向を同定している。また、抽出機能353は、3次元胸部X線CT画像データに含まれる肺を抽出し、抽出した肺に基づいて肺辺縁410を抽出している。
例えば、第1の設定機能355は、抽出された肺辺縁410において重力方向と略直交する辺縁のうち、重力方向の矢印が指し示す方向にある辺縁420を決定する(以下、辺縁420を基準辺縁420と記す)。そして、第1の設定機能355は、決定した基準辺縁420からの距離に応じて、画素に対して第1の重みを設定する。例えば、第1の設定機能355は、以下の式(1)に基づいて、各画素に対して第1の重みを設定する。
Figure 2023080703000002
ここで、式(1)における「w1(i)」は、画素iの第1の重みを示す。また、「l1(i)」は、基準辺縁から当該画素までの重力方向の距離(画素数)を示す。また、「min(l1(i),5)」は、「l1(i)」と「5」でより小さい値を取る関数を示す。
例えば、第1の設定機能355は、基準辺縁420に接する画素430について、上記式(1)に「l1=0」を入力して、第1の重み「w1=0.5+0.1×0=0.5」を設定する。また、第1の設定機能355は、基準辺縁420から重力方向の画素数が「2」である画素440について、上記式(1)に「l1=2」を入力して、第1の重み「w1=0.5+0.1×2=0.7」を設定する。また、第1の設定機能355は、基準辺縁420から重力方向の画素数が「5」より大きい画素450について、第1の重み「w1=0.5+0.1×5=1.0」を設定する。
すなわち、式(1)では、基準辺縁からの重力方向の距離が閾値未満(この例では5画素)の場合、基準辺縁からの重力方向の距離が短いほど第1の重みが小さくなることを示す。これは、上述した重力効果の発生機序を考慮した式となっている。もちろんこの式による設定方法は一例にすぎず、他の方法によって第1の重みを設定する場合であってもよい。
なお、図3においては、左右の肺において、基準辺縁が同じ位置になっているが、肺の左右で基準辺縁が別の位置となる場合であってもよい。また、右肺と左肺で異なる式により第1の重みが設定される場合でもよい。
また、図3に示す例では、説明を簡単にするため、2次元空間での例を示したが、3次元空間で基準辺縁(点/接面)が設定され、第1の重みが設定される場合でもよい。かかる場合には、第1の設定機能355は、ボリュームデータにおいて抽出された肺辺縁と、重力方向に基づいて、3次元空間における基準辺縁を決定し、基準辺縁からの距離に応じて、各ボクセルに対して第1の重みを設定する。
また、図3に示す例では基準辺縁からの距離を画素数で求める場合について説明したが、実施形態はこれに限定されるものではなく、実空間上の距離で求める場合でもよい。かかる場合には、例えば、式(1)と同様に、基準辺縁からの重力方向の実空間上の距離に対して閾値が設定され、設定された閾値未満の距離において、基準辺縁からの重力方向の距離が短いほど第1の重みが小さくなるように、第1の重みが設定される。
また、上記した式(1)では、閾値を一定(5画素)とする例を説明したが、実施形態はこれに限定されるものではなく、動的に変更される場合でもよい。一例を挙げると、被検体の身体の大きさに応じて動的に決められる場合でもよい(例えば、身体が大きいほど閾値を大きくするなど)。
(解析処理)
図2のステップS105で説明したように、解析機能356は、第1の設定機能355によって各画素に設定された第1の重みを用いて、3次元胸部X線CT画像データに対する解析処理を実行する。例えば、解析機能356は、肺内のCT値の分布(平均、分散など)を解析することができる。このとき、解析機能356は、各画素のCT値に対して第1の重みを乗じ、第1の重みを乗じた後のCT値の総和を用いて、重み付き平均や、重み付き分散を算出する。ここで、解析機能356は、図3に示す断面画像データ400全体を解析対象とすることもでき、或いは、断面画像データ400における局所的な領域を解析対象とすることもできる。
そして、解析機能356は、算出した重み付き平均や、重み付き分散を、疾患名の推論を行う分類器に入力したり、類似症例検索の入力特徴量として入力したりすることで、3次元胸部X線CT画像データを解析する。なお、上記した解析の例はあくまでも一例であり、解析機能356は、他の画像処理による重み付け解析を実行することもできる。
(変形例1)
上述した実施形態では、ステップS102において、DICOMのヘッダ情報から3次元胸部X線CT画像データの撮像情報を取得して、被検体の撮像時の体位を推定し、推定した体位に基づいて重力方向を同定した。しかしながら、実施形態はこれに限定されるものではなく、その他の方法で体位を推定し、重力方向を同定する場合でもよい。例えば、同定機能354は、RIS(Radiology Information Systems)や電子カルテ等から被検体の撮像時の体位を推定し、推定した体位に基づいて重力方向を同定する場合でもよい。
また、同定機能354は、医用画像データの画像解析によって重力方向を同定する場合でもよい。例えば、同定機能354は、医用画像データに対する画像解析の結果から被検体の体位を推定し、推定した体位に基づいて、重力方向を同定する。一例を挙げると、同定機能354は、3次元胸部X線CT画像データにおける脊椎と後縦隔の開大径や、縦隔と胸壁の接地面積などを画像処理により計測し、計測した開大径や接地面積などに基づいて、3次元胸部X線CT画像データの撮像時の被検体の体位を推定する。そして、同定機能354は、推定した体位に基づいて重力方向を同定する。
(変形例2)
上述した実施形態では、ステップS104において、重力方向と、抽出された構造物とに基づいて、第1の重みを設定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、他の方法で第1の重みを設定する場合でもよい。例えば、第1の設定機能355は、重力方向と、医用画像データから抽出された構造物とに基づいて、画素に対応する部位が構造物に支持される角度を算出し、算出した角度と当該構造物までの距離とに基づいて、画素に第1の重みを設定する。
図4は、変形例2に係る第1の重みの設定処理の一例を説明するための図である。ここで、図4は、3次元胸部X線CT画像データにおけるアキシャル断面の1つの断面画像データの拡大図を示す。同定機能354は、図4に示す重力方向を同定している。また、抽出機能353は、3次元胸部X線CT画像データに含まれる肺を抽出し、抽出した肺に基づいて肺辺縁510を抽出している。
例えば、第1の設定機能355は、肺辺縁510を曲線近似した近似辺縁512を抽出する。そして、第1の設定機能355は、近似辺縁512に対して辺縁が接する画素jを特定し、特定した画素jにおける接線と重力方向とのなす角「θj」を算出する。ここで、「0≦θj≦π/2」とする。
例えば、第1の設定機能355は、図4に示す画素530において、近似辺縁512に対する接線514と重力方向とのなす角を、「θ530=0」と算出する。また、第1の設定機能355は、画素535において、近似辺縁512に対する接線516と重力方向とのなす角を、「θ535」と算出する。
そして、第1の設定機能355は、第1の重みを設定する画素iと辺縁が接する各画素jまでのユークリッド距離「l1j(i)」と「θj」とから計算される最小の値を第1の重み「w1(i)」と設定する。例えば、第1の設定機能355は、以下の式(2)に基づいて、各画素に対して第1の重みを設定する。
Figure 2023080703000003
ここで、式(2)における「minj(・)」は、辺縁が接する各画素jの中で括弧内の式が最も小さくなる画素jの場合の値を示す。式(2)では、ユークリッド距離「l1j(i)」に|sinθj|を加算しており、θj>0であれば|sinθj|>0となる。そのため、重力方向と垂直な接線を持つ画素以外は、距離に正の値が付与され値が大きくなり、第1の重み「w1(i)」が大きくなる。上述したように、第1の重みが小さくなるほど重力効果の影響がより考慮される。すなわち、式(2)は、重力方向と垂直ではない箇所に関しては重力が分散されるため、第1の重みが大きくなるよう考慮した式となっている。
なお、第1の重みは、上記した例に限られず、その他種々の重みが設定されてもよい。例えば、第1の設定機能355は、構造物からの距離が閾値未満の画素に対して、一律に「1」より小さい重みを設定することもできる。
(変形例3)
上述した実施形態では、ステップS105において、解析処理として画像処理を行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、学習器による解析が行われる場合でもよい。かかる場合には、例えば、解析機能356は、第1の重みに基づく重み画像データを生成し、当該重み画像データに基づいて医用画像データの解析を行う。
図5は、変形例3に係る解析処理の一例を説明するための図である。例えば、解析機能356は、図5に示すように、医用画像データ「Ik」600の各画素に対して設定された第1の重みに基づいて、第1の重みを画素値とした重み画像データ「W(Ik)」610を生成する。そして、解析機能356は、医用画像データ「Ik」600と、重み画像データ「W(Ik)」610とを深層学習による学習器に対する入力し、複数の畳み込み層を通して最終的な解析結果を出力させる。ここで、図5に示す学習器は、例えば、医用画像データ「Ik」600と、重み画像データ「W(Ik)」610とを入力とし、疾患の有無を出力とする学習器である。なお、図5に示す学習器は、あらかじめ生成され、記憶回路34に記憶される。
上述したように、第1の実施形態によれば、取得機能352は、解析対象となる医用画像データを取得する。同定機能354は、医用画像データに対する重力方向を同定する。第1の設定機能355は、重力方向に基づいて、医用画像データを構成する画素に対して第1の重みを設定する。解析機能356は、第1の重みに基づいて医用画像データの解析を行う。したがって、第1の実施形態に係る医用画像処理装置3は、重力効果の発生を考慮した解析を実行することができ、医用画像データの解析を適切に行うことを可能にする。
また、第1の実施形態によれば、抽出機能353は、医用画像データから被検体の少なくとも1つの構造物を抽出する。第1の設定機能355は、重力方向と少なくとも1つの構造物とに基づいて、第1の重みを設定する。したがって、第1の実施形態に係る医用画像処理装置3は、医用画像データにおいて重力効果の生じる可能性が高い部分に第1の重みを設定することができ、医用画像データの解析をより適切に行うことを可能にする。
また、第1の実施形態によれば、同定機能354は、医用画像データの撮像情報から被検体の体位を推定し、推定した体位に基づいて、重力方向を同定する。したがって、第1の実施形態に係る医用画像処理装置3は、医用画像データにおける重力方向を容易に同定することを可能にする。
また、第1の実施形態によれば、同定機能354は、医用画像データに対する画像解析の結果から被検体の体位を推定し、推定した体位に基づいて、重力方向を同定する。したがって、第1の実施形態に係る医用画像処理装置3は、画像から重力方向を同定することを可能にする。
また、第1の実施形態によれば、第1の設定機能355は、重力方向と、医用画像データから抽出された構造物の辺縁からの距離とに基づいて、画素に対して第1の重みを設定する。したがって、第1の実施形態に係る医用画像処理装置3は、荷重のかかりやすさに応じた第1の重みを設定することを可能にする。
また、第1の実施形態によれば、第1の設定機能355は、重力方向と、医用画像データから抽出された構造物とに基づいて、画素に対応する部位が構造物に支持される角度を算出し、算出した角度と当該構造物までの距離とに基づいて、画素に対して第1の重みを設定する。したがって、第1の実施形態に係る医用画像処理装置3は、荷重のかかりやすさをより反映させた第1の重みを設定することを可能にする。
また、第1の実施形態によれば、解析機能356は、第1の重みに基づく重み画像データを生成し、当該重み画像データに基づいて医用画像データの解析を行う。したがって、第1の実施形態に係る医用画像処理装置3は、解析を容易に行うことを可能にする。
(第2の実施形態)
上述した第1の実施形態では、医用画像データ全体に対して第1の重みを設定する場合について説明した。第2の実施形態では、医用画像データに重力効果を示唆する陰影があるかどうかを判定し、あると判定された場合に、重力効果を示唆する陰影に対応する領域の画素にのみ第1の重みを設定する場合について説明する。換言すると、医用画像データの少なくとも1つの画素において重力効果が生じうるかどうかを判定し、生じうると判定された場合に、重力効果が生じうる箇所(少なくとも1つの画素)に第1の重みを設定する。なお、以下では、第1の実施形態と同様に、解析対象の画像データは3次元胸部X線CT画像データとし、構造物として肺を抽出するものとする。もちろん対象はこれらに限定されるものではなく、何れも医用画像処理装置の工程を説明するための一例に過ぎない。
図6は、第2の実施形態に係る医用画像処理装置の構成例を示す図である。ここで、図6では、図1に示す第1の実施形態に係る医用画像処理装置3と同様の動作をする構成に同一の符号を付与している。すなわち、第2の実施形態に係る医用画像処理装置3aは、第1の実施形態に係る医用画像処理装置3と比較して、処理回路35aが判定機能357を新たに実行する点と、処理回路35aによって実行される第1の設定機能355aの処理内容とが異なる。以下、これらを中心に説明する。
図7は、第2の実施形態に係る医用画像処理装置3aの処理回路35aが有する各処理機能によって行われる処理の処理手順を示すフローチャートである。
図7におけるステップS201~ステップS203は、図2におけるステップS101~ステップS103と同様に、処理回路35aが、各処理機能に対応するプログラムを記憶回路34から読みだして実行することにより実現される。
例えば、本実施形態では、図7に示すように、抽出機能353が構造物を抽出すると(ステップS203)、判定機能357が、医用画像データにおいて重力効果が生じているか否かを判定する(ステップS204)。この処理は、例えば、処理回路35aが、判定機能357に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
続いて、第1の設定機能355aが、重力効果が生じていると判定された画素に対して第1の重みを設定する(ステップS205)。この処理は、例えば、処理回路35aが、第1の設定機能355aに対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
図7におけるステップS206は、図2におけるステップS105と同様に、処理回路35aが、解析機能356に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
以下、医用画像処理装置3aによって実行される各処理の詳細について、説明する。
(重力効果の判定処理)
図7のステップS204で説明したように、判定機能357は、取得機能352によって取得された3次元胸部X線CT画像データにおいて、重力効果が生じているか否かを判定する。具体的には、判定機能357は、3次元胸部X線CT画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する。
例えば、判定機能357は、3次元胸部X線CT画像データと、被検体の体位から同定された重力方向と、被検体の構造物とに基づいて、重力効果を示唆する陰影があるかどうか判定する。ここで、本実施形態では、第1の実施形態で説明した方法により重力ベクトルが指し示す方向にある辺縁を決定し、決定した辺縁から一定の距離にある画素のCT値を基に、重力効果を示唆する陰影があるかどうかを判定する。すなわち、判定機能357は、医用画像データに対する画像解析の結果に基づいて、3次元胸部X線CT画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する。
図8は、第2の実施形態に係る判定処理の一例を説明するための図である。ここで、図8は、3次元胸部X線CT画像データにおけるアキシャル断面の1つの断面画像データ700を示す。同定機能354は、図8に示す重力方向を同定している。また、抽出機能353は、3次元胸部X線CT画像データに含まれる肺を抽出し、抽出した肺に基づいて肺辺縁710を抽出している。
例えば、判定機能357は、まず、肺辺縁710において重力方向と略直交する辺縁のうち、重力方向の矢印が指し示す方向にある基準辺縁720を決定する。そして、判定機能357は、基準辺縁720から重力方向に閾値距離「lth」の位置に閾値線760を設定する。なお、図8では、閾値距離「lth」を4画素とする場合を例に示しているが、閾値距離「lth」は任意に設定することができる。例えば、被検体の体型や、解析の対象とする生体器官などに応じて、閾値距離「lth」を変更する場合でもよい。また、ユーザが入力インターフェース32を操作する閾値距離「lth」を手動で変更する場合でもよい。
図8に示すように閾値線760を設定すると、判定機能357は、基準辺縁720から閾値線760の間の肺内部の画素を対象として、重力効果を示唆する陰影があるかどうかの判定を行う。例えば、判定機能357は、基準辺縁720から閾値線760の間の肺内部の画素のうち、CT値が予め定めた範囲内より高いCT値範囲にある画素を、重力効果を示唆する陰影に対応する画素と判定する。
ここで、判定に用いるCT値範囲は、任意に設定することができる。例えば、判定機能357は、CT値が予め定めた値(通常の肺内のCT値(-1000HU程度))より高いCT値範囲(例えば、-800HU~-600HU)にある画素を、重力効果を示唆する陰影に対応する画素と判定する。また、例えば、判定機能357は、断面画像データ700において基準辺縁720から閾値線760の間以外の肺内部の画素のCT値の平均値を基準値として、基準値より高いCT値範囲にある画素を、重力効果を示唆する陰影に対応する画素と判定することもできる。
判定機能357は、状況に応じて、用いるCT値範囲を変更することもできる。例えば、判定機能357は、被検体の体型や、3次元胸部X線CT画像データが撮像された呼吸位相(吸気又は呼気)に応じて、判定に用いるCT値範囲を変更する。
上述したように、判定機能357は、基準辺縁720から閾値線760の間の肺内部の画素を対象に、重力効果を示唆する陰影があるかどうかの判定を行うことで、図8に示す領域770を、重力効果を示唆する陰影に対応する領域として特定する。なお、判定機能357による判定処理は、上述した処理に限らず、その他種々の処理を適用することができる。例えば、判定機能357は、臨床知識を基に、重力効果による偽像が生じやすい位置を定め、当該位置における高吸収領域の連続性を基に偽像が生じている可能性が高い領域を判定することもできる。
(第1の重みの設定処理)
図7のステップS205で説明したように、第1の設定機能355aは、判定機能357によって重力効果を示唆する陰影に対応する領域として判定された領域770に含まれる画素を対象に、第1の重みを設定する。例えば、第1の設定機能355aは、領域770を構成する画素に対して、一律に「0.7」を第1の重みとして設定する。なお、上記した第1の重みの設定は、あくまでも一例であり、その他種々の方法によって第1の重みを設定することが可能である。例えば、第1の設定機能355aは、重力効果を示唆する領域を考慮しないようにするため、領域770の画素に対して「0」を第1の重みとして設定することもできる。また、第1の設定機能355aは、第1の実施形態で説明した方法により、領域770内の各画素に対して第1の重みを設定することもできる。
(変形例1)
上述した実施形態では、ステップS204において、基準辺縁から一定距離にある画素のCT値を基に、重力効果を示唆する陰影を判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、医用画像データを入力とし、重力効果を示唆するか判定する分類器を用いて判定を行う場合でもよい。かかる場合には、判定機能357は、分類器に基づいて、医用画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する。
なお、判定に用いる分類器は、各画素で重力効果を示唆するか否かを判定するものでもよく、或いは、重力効果が生じていると考えられる領域を抽出するものであってもよい。例えば、重力効果が生じている領域(または画素)に対して手入力によりラベル付けを行った医用画像データを教師画像とし、医用画像データが入力されると重力効果を生じている領域(画素)を判定するように学習した分類器が用いられればよい。
上述したように、第2の実施形態によれば、判定機能357は、医用画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する。第1の設定機能355aは、判定の結果に基づく画素に対して第1の重みを設定する。したがって、第2の実施形態に係る医用画像処理装置3aは、重力効果が生じている可能性が高い領域にのみ第1の重みを設定するため、医用画像データの解析をより適切に行うことを可能にする。
また、第2の実施形態によれば、判定機能357は、医用画像データに対する画像解析の結果に基づいて、医用画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する。したがって、第2の実施形態に係る医用画像処理装置3aは、判定処理を容易に行うことを可能にする。
また、第2の実施形態によれば、判定機能357は、分類器に基づいて、医用画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する。したがって、第2の実施形態に係る医用画像処理装置3aは、判定処理を容易に行うことを可能にする。
(第3の実施形態)
上述した第1の実施形態及び第2の実施形態では、重力方向に基づく第1の重みを用いて解析を行う場合について説明した。第3の実施形態では、重力効果とは別の理由で医用画像データの解析に重要と考えられる部分に第2の重みを設定し、第1の重みと第2の重みとを用いて解析を行う場合について説明する。なお、以下では、第1の実施形態と同様に、解析対象の画像データは3次元胸部X線CT画像データとし、構造物として肺を抽出するものとする。また、解析対象は、肺の疾患推定、特に、間質性肺異常に係る解析を行うものとする。
図9は、第3の実施形態に係る医用画像処理装置の構成例を示す図である。ここで、図9では、図1に示す第1の実施形態に係る医用画像処理装置3と同様の動作をする構成に同一の符号を付与している。すなわち、第3の実施形態に係る医用画像処理装置3bは、第1の実施形態に係る医用画像処理装置3と比較して、処理回路35bが第2の設定機能358を新たに実行する点と、処理回路35bによって実行される解析機能356bの処理内容とが異なる。以下、これらを中心に説明する。
図10は、第3の実施形態に係る医用画像処理装置3bの処理回路35bが有する各処理機能によって行われる処理の処理手順を示すフローチャートである。
図10におけるステップS301~ステップS304は、図2におけるステップS101~ステップS104と同様に、処理回路35bが、各処理機能に対応するプログラムを記憶回路34から読みだして実行することにより実現される。
例えば、本実施形態では、図10に示すように、第1の設定機能355が第1の重みを設定すると(ステップS304)、第2の設定機能358が、医用画像データから抽出された被検体の構造物に基づいて、医用画像データの画素に第2の重みを設定する(ステップS305)。この処理は、例えば、処理回路35bが、第2の設定機能358に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
続いて、解析機能356bが、医用画像データに設定された第1の重みと第2の重みとに基づいて、医用画像データの解析を行う(ステップS306)。この処理は、例えば、処理回路35bが、解析機能356bに対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
以下、医用画像処理装置3bによって実行される各処理の詳細について、説明する。
(第2の重みの設定処理)
図10のステップS305で説明したように、第2の設定機能358は、3次元胸部X線CT画像データから抽出された肺に基づいて、3次元胸部X線CT画像データの画素に第2の重みを設定する。ここで、第2の重みは、解析の目的に応じて設定される。例えば、本実施形態のように解析対象が間質性肺疾患の場合、胸壁近傍の情報が重要であるという事前知識を基に、第2の設定機能358は、胸壁からの距離に応じて第2の重みを設定する。
図11A及び図11Bは、第3の実施形態に係る第2の重みの設定処理の一例を説明するための図である。ここで、図11Aは、3次元胸部X線CT画像データにおけるアキシャル断面の1つの断面画像データ800を示す。また、図11Bは、図11Aの一部を拡大させた図を示す。同定機能354は、図11Aに示す重力方向を同定している。また、抽出機能353は、3次元胸部X線CT画像データに含まれる肺を抽出し、抽出した肺に基づいて肺辺縁810を抽出している。また、第1の設定機能355は、重力方向と肺辺縁810とに基づいて、基準辺縁820を決定している。
例えば、第2の設定機能358は、抽出された肺の外側に胸壁が存在するものと仮定し、抽出された肺の辺縁からの距離に基づいて、画素に第2の重みを設定する。一例を挙げると、第2の設定機能358は、以下の式(3)に基づいて、各画素に対して第2の重みを設定する。
Figure 2023080703000004
ここで、式(3)における「w2(i)」は、画素iの第2の重みを示す。また、「l2(i)」は、肺の辺縁から当該画素までの最短距離(画素数換算)を示す。また、「min(l2(i),4)」は、「l2(i)」と「4」でより小さい値を取る関数を示す。
例えば、第2の設定機能358は、図11Aにおいて肺辺縁810に接する画素830及び画素880について、上記式(3)に「l2=0」を入力して、第2の重み「w2=2-0.25×0=2」を設定する。また、第2の設定機能358は、画素840について、まず、図11Bに示すように、肺辺縁810までの最短距離「l2=√2」を算出する。そして、第2の設定機能358は、上記式(3)に「l2=√2」を入力して、第2の重み「w2=2-0.25×√2=1.7」を設定する。また、第2の設定機能358は、肺辺縁810までの最短距離が「4」より大きい画素850について、第2の重み「w2=2-0.25×4=1」を設定する。
すなわち、式(3)では、肺辺縁までの距離が閾値未満(この例では4)の場合、肺辺縁からの距離が短いほど第2の重みが大きくなることを示す。これ、上述した事前知識を考慮した式となっている。もちろんこの式による設定方法は一例にすぎず、他の方法によって第2の重みを設定する場合であってもよい。例えば、縦隔方向(例えば、心臓や肝臓に近くなる方向)の辺縁はあまり重視しないという事前知識を用い、縦隔方向の肺辺縁までの距離は無視する(無限大とする)ようにしてもよい。
(解析処理)
図10のステップS306で説明したように、解析機能356bは、第1の設定機能355によって各画素に設定された第1の重みと、第2の設定機能358によって設定された第2の重みとを用いて、3次元胸部X線CT画像データに対する解析処理を実行する。例えば、解析機能356bは、第1の重みと第2の重みとを線形和で合成した重みに基づいて、第1の実施形態と同様の解析を行う。ここで、解析機能356bは、例えば、以下の式(4)により重みを合成する。
Figure 2023080703000005
ここで、式(4)における「w(i)」は合成した重みを示し、「α」は係数を示す。例えば、「α」を大きくすれば、第1の重み「w1(i)」を重視した重みとなり、小さくすれば第2の重み「w2(i)」を重視した重みとなる。本実施形態では、「α=0.5」とする。すなわち、第1の重みと第2の重みとを同様に捉えることとする。
例えば、図11Aにおける画素を例に挙げると、解析機能356bは、画素830について、第1の重み「w1=0.5」と第2の重み「w2=2.0」とを式(4)に代入して、重み「w=1.3」を算出する。同様に、解析機能356bは、画素840について、第1の重み「w1=0.7」と第2の重み「w2=1.7」とを式(4)に代入して、重み「w=1.2」を算出する。
また、解析機能356bは、画素850について、第1の重み「w1=1.0」と第2の重み「w2=1.0」とを式(4)に代入して、重み「w=1.0」を算出する。また、解析機能356bは、画素880について、第1の重み「w1=1.0」と第2の重み「w2=2.0」とを式(4)に代入して、重み「w=1.5」を算出する。
ここで、算出した重みを比較すると、事前知識により重要と考えられる胸壁最近傍の画素830(「w=1.3」)と画素880(「w=1.5」)との間で、重力効果の生じる可能性が高い画素830でより重みが小さくなっている。すなわち、式(4)により、同じ胸壁最近傍の画素でも重力効果の影響を考慮した重みが設定されている。
なお、第1の重みと第2の重みとの合成は、上記した式(4)による方法に限らず、他の方法であってもよい。例えば、線形積や非線形和、非線形積により重みを合成してもよい。あるいは、機械学習により適切な係数を学習する構成であってもよい。
上述したように、重みを算出すると、解析機能356bは、第1の実施形態で説明した画像処理に基づく医用画像データの解析処理を実行する。
(変形例1)
上述した実施形態では、ステップS305において、解析対象に応じた事前知識を基に第2の重みを設定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、モーションアーチファクトに基づいて、第2の重みを設定する場合でもよい。かかる場合には、例えば、抽出機能353は、構造物として心臓や横隔膜などを抽出する。
第2の設定機能358は、抽出された心臓や横隔膜からの距離に応じて、第2の重みを設定する。すなわち、第2の設定機能358は、心臓の拍動や横隔膜の上下によりモーションアーチファクトが生じるという事前知識を基に、心臓や横隔膜からの距離が近い画素ほど第2の重みが小さくなるように、第2の重みを設定する。換言すると、第2の設定機能358は、モーションアーチファクトが生じている可能性が高い画素ほど小さくなる第2の重みを設定する。
(変形例2)
上述した実施形態では、ステップS306において、画像処理を用いた解析を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、第1の実施形態と同様に、学習器による解析が実行される場合でもよい。すなわち、解析機能356bは、第1の重み及び第2の重みに基づく重み画像データを生成し、当該重み画像データに基づいて医用画像データの解析を行う。例えば、解析機能356bは、合成した重みから合成重み画像データを生成し、医用画像データ(3次元胸部X線CT画像データ)と合成重み画像データとを、学習器に対する入力とすることで、解析結果を取得する。
なお、第1の重み及び第2の重みに基づく重み画像データは上記した合成重み画像データに限られず、例えば、第1の重みと第2の重みそれぞれについて第1の重み画像データと第2の重み画像データを生成し、医用画像データと、第1の重み画像データと、第2の重み画像データとを入力として深層学習を行う構成であってもよい。この場合には合成重みのための係数を決定しなくてもよいという利点がある。
上述したように、第3の実施形態によれば、第2の設定機能358は、医用画像データから抽出された構造物に基づいて、医用画像データの画素に第2の重みを設定する。解析機能356bは、第1の重みと第2の重みとに基づいて、医用画像データの解析を行う。したがって、第3の実施形態に係る医用画像処理装置3bは、重力効果と事前知識の両方を考慮した解析を行うことができ、医用画像データの解析をより適切に行うことを可能にする。
また、第3の実施形態によれば、第2の設定機能358は、構造物の辺縁からの距離に基づいて、画素に第2の重みを設定する。したがって、第3の実施形態に係る医用画像処理装置3bは、解析の目的に応じた第2の重みを設定することを可能にする。
また、第3の実施形態によれば、解析機能356bは、第1の重み及び第2の重みに基づく重み画像データを生成し、当該重み画像データに基づいて医用画像データの解析を行う。したがって、第3の実施形態に係る医用画像処理装置3bは、第1の重みと第2の重みとを用いた解析を容易に行うことを可能にする。
(その他の実施形態)
上述した実施形態では、解析対象の医用画像データとして3次元胸部X線CT画像データを用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、その他のモダリティによって撮像された医用画像データや、その他の部位を対象とした医用画像データを解析対象とする場合でもよい。
また、上述した実施形態では、解析対象の医用画像データとして3次元胸部X線CT画像データを用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、解析対象の医用画像データとしてサイノグラムが用いられる場合でもよい。
また、上述した実施形態では、横臥した状態の被検体を撮像するX線CT装置によって撮像されたCT画像データを対象とする場合について説明した。しかしながら、実施形態はこれに限定されるものではく、例えば、立位の状態の被検体を撮像するX線CT装置によって撮像されたCT画像データを対象とする場合でもよい。かかる場合には、重力の影響を受ける方向は、サジタル断面(矢状面)、或いは、コロナル断面(冠状面)におけるZ軸方向の下側の方向となる。
上述した実施形態では、解析結果を表示させる場合について説明したが、解析結果の表示形態は種々実施することができる。例えば、解析機能356は、重力効果を考慮した解析と、重力効果を考慮しない解析とを実行する。制御機能351は、各解析結果をそれぞれ表示するようにしてもよい。また、制御機能351は、重力効果を考慮した解析による解析結果と、重力効果を考慮しない解析による解析結果とが異なる場合に、その旨を通知するように制御してもよい。
なお、上述した実施形態では、本明細書における取得部、抽出部、同定部、第1の設定部、解析部、判定部、および、第2の設定部を、それぞれ、処理回路の取得機能、抽出機能、同定機能、第1の設定機能、解析機能、判定機能、および、第2の設定機能によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における取得部、抽出部、同定部、第1の設定部、解析部、判定部、および、第2の設定部は、実施形態で述べた取得機能、抽出機能、同定機能、第1の設定機能、解析機能、判定機能、および、第2の設定機能によって実現する他にも、ハードウェアのみ、ソフトウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行される医用画像処理プログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、この医用画像処理プログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、この医用画像処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、この医用画像処理プログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体から医用画像処理プログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
また、上述した実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
以上説明した少なくとも一つの実施形態によれば、重力効果による偽造が生じている可能性が高い医用画像データに対して解析を行う場合であっても、適切な解析を行うことができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
3、3a、3b 医用画像処理装置
35、35a、35b 処理回路
351 制御機能
352 取得機能
353 抽出機能
354 同定機能
355、355a 第1の設定機能
356、356b 解析機能
357 判定機能
358 第2の設定機能

Claims (15)

  1. 解析対象となる医用画像データを取得する取得部と、
    前記医用画像データに対する重力方向を同定する同定部と、
    前記重力方向に基づいて、前記医用画像データを構成する画素に対して第1の重みを設定する第1の設定部と、
    前記第1の重みに基づいて前記医用画像データの解析を行う解析部と、
    を備える、医用画像処理装置。
  2. 前記医用画像データから被検体の少なくとも1つの構造物を抽出する抽出部をさらに備え、
    前記第1の設定部は、前記重力方向と前記少なくとも1つの構造物とに基づいて、前記第1の重みを設定する、請求項1に記載の医用画像処理装置。
  3. 前記同定部は、前記医用画像データの撮像情報から被検体の体位を推定し、推定した体位に基づいて、前記重力方向を同定する、請求項1又は2に記載の医用画像処理装置。
  4. 前記同定部は、前記医用画像データに対する画像解析の結果から被検体の体位を推定し、推定した体位に基づいて、前記重力方向を同定する、請求項1又は2に記載の医用画像処理装置。
  5. 前記医用画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する判定部をさらに備え、
    前記第1の設定部は、前記判定の結果に基づく画素に対して前記第1の重みを設定する、請求項1乃至4のいずれか1つに記載の医用画像処理装置。
  6. 前記判定部は、前記医用画像データに対する画像解析の結果に基づいて、前記医用画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する、請求項5に記載の医用画像処理装置。
  7. 前記判定部は、分類器に基づいて、前記医用画像データの少なくとも1つの画素において重力効果が生じうるか否かを判定する、請求項5に記載の医用画像処理装置。
  8. 前記第1の設定部は、前記重力方向と、前記医用画像データから抽出された構造物の辺縁からの距離とに基づいて、前記画素に対して前記第1の重みを設定する、請求項1乃至7のいずれか1つに記載の医用画像処理装置。
  9. 前記第1の設定部は、前記重力方向と、前記医用画像データから抽出された構造物とに基づいて、前記画素に対応する部位が前記構造物に支持される角度を算出し、算出した角度と当該構造物までの距離とに基づいて、前記画素に対して前記第1の重みを設定する、請求項1乃至7のいずれか1つに記載の医用画像処理装置。
  10. 前記医用画像データから抽出された構造物に基づいて、前記医用画像データの画素に対して第2の重みを設定する第2の設定部をさらに備え、
    前記解析部は、前記第1の重みと前記第2の重みとに基づいて、前記医用画像データの解析を行う、請求項1乃至9のいずれか1つに記載の医用画像処理装置。
  11. 前記第2の設定部は、前記構造物の辺縁からの距離に基づいて、前記画素に対して前記第2の重みを設定する、請求項10に記載の医用画像処理装置。
  12. 前記解析部は、前記第1の重みに基づく重み画像データを生成し、当該重み画像データに基づいて前記医用画像データの解析を行う、請求項1乃至9のいずれか1つに記載の医用画像処理装置。
  13. 前記解析部は、前記第1の重み及び前記第2の重みに基づく重み画像データを生成し、当該重み画像データに基づいて前記医用画像データの解析を行う、請求項10又は11に記載の医用画像処理装置。
  14. 解析対象となる医用画像データを取得し、
    前記医用画像データに対する重力方向を同定し、
    前記重力方向に基づいて、前記医用画像データを構成する画素に対して第1の重みを設定し、
    前記第1の重みに基づいて前記医用画像データの解析を行う、
    ことを含む、医用画像処理方法。
  15. 解析対象となる医用画像データを取得する取得機能と、
    前記医用画像データに対する重力方向を同定する同定機能と、
    前記重力方向に基づいて、前記医用画像データを構成する画素に対して第1の重みを設定する設定機能と、
    前記第1の重みに基づいて前記医用画像データの解析を行う解析機能と、
    をコンピュータに実行させる、医用画像処理プログラム。
JP2021194186A 2021-11-30 2021-11-30 医用画像処理装置、方法及びプログラム Pending JP2023080703A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021194186A JP2023080703A (ja) 2021-11-30 2021-11-30 医用画像処理装置、方法及びプログラム
US18/056,811 US20230169653A1 (en) 2021-11-30 2022-11-18 Medical image processing apparatus, medical image processing method, and storage medium
CN202211483486.XA CN116205846A (zh) 2021-11-30 2022-11-24 医用图像处理装置、方法以及存储介质
EP22210506.6A EP4186432A1 (en) 2021-11-30 2022-11-30 Medical image processing apparatus, medical image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021194186A JP2023080703A (ja) 2021-11-30 2021-11-30 医用画像処理装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023080703A true JP2023080703A (ja) 2023-06-09

Family

ID=84367028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021194186A Pending JP2023080703A (ja) 2021-11-30 2021-11-30 医用画像処理装置、方法及びプログラム

Country Status (4)

Country Link
US (1) US20230169653A1 (ja)
EP (1) EP4186432A1 (ja)
JP (1) JP2023080703A (ja)
CN (1) CN116205846A (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4849449B2 (ja) * 2006-04-24 2012-01-11 株式会社日立メディコ 医用画像診断支援装置
JP7240845B2 (ja) * 2018-10-05 2023-03-16 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法

Also Published As

Publication number Publication date
US20230169653A1 (en) 2023-06-01
EP4186432A1 (en) 2023-05-31
CN116205846A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US10699410B2 (en) Automatic change detection in medical images
US9471987B2 (en) Automatic planning for medical imaging
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
US9684980B2 (en) Prior image based three dimensional imaging
CN111540025B (zh) 预测用于图像处理的图像
US11361432B2 (en) Inflammation estimation from x-ray image data
US11176671B2 (en) Medical image processing apparatus, and method
US10628963B2 (en) Automatic detection of an artifact in patient image
EP3404613A2 (en) Isolation of aneurysm and parent vessel in volumetric image data
JP2022517769A (ja) 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
WO2020165120A1 (en) Prediction of coronary microvascular dysfunction from coronary computed tomography
JP6747785B2 (ja) 医用画像処理装置及び医用画像処理方法
JP2022076477A (ja) 医用情報処理装置、医用情報処理システム及び医用情報処理方法
US20160270753A1 (en) Diagnostic auxiliary image generation apparatus, diagnostic auxiliary image generation method, and diagnostic auxiliary image generation program
US11151715B2 (en) Dynamic analysis system
US11080866B2 (en) Dynamic image processing method and dynamic image processing device
JP7223539B2 (ja) 乳がん診断支援装置、乳がん診断支援システム、および乳がん診断支援方法
JP2019180899A (ja) 医用画像処理装置
US11645767B2 (en) Capturing a misalignment
JP2023080703A (ja) 医用画像処理装置、方法及びプログラム
US11138736B2 (en) Information processing apparatus and information processing method
JP2010005109A (ja) 画像生成装置、プログラム、および画像生成方法
JP2006247293A (ja) 画像処理方法および画像処理装置ならびにプログラム
WO2022091868A1 (ja) 情報処理装置、情報表示装置、情報処理方法、情報処理システム及びプログラム
EP4231234A1 (en) Deep learning for registering anatomical to functional images