JP2023081573A - 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム - Google Patents
医用画像処理装置、医用画像処理方法及び医用画像処理プログラム Download PDFInfo
- Publication number
- JP2023081573A JP2023081573A JP2021195387A JP2021195387A JP2023081573A JP 2023081573 A JP2023081573 A JP 2023081573A JP 2021195387 A JP2021195387 A JP 2021195387A JP 2021195387 A JP2021195387 A JP 2021195387A JP 2023081573 A JP2023081573 A JP 2023081573A
- Authority
- JP
- Japan
- Prior art keywords
- region
- medical image
- interest
- image data
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 158
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000605 extraction Methods 0.000 claims abstract description 132
- 239000000284 extract Substances 0.000 claims abstract description 41
- 210000003484 anatomy Anatomy 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 175
- 238000000034 method Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 34
- 238000010801 machine learning Methods 0.000 claims description 13
- 210000004351 coronary vessel Anatomy 0.000 description 24
- 238000002591 computed tomography Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】注目領域の抽出精度を向上させること。【解決手段】実施形態に係る医用画像処理装置は、画像取得部と、抽出部とを備える。画像取得部は、ユーザが注目する解剖構造領域を示す注目領域の抽出対象となる対象医用画像データを取得する。抽出部は、医用画像データに含まれる前記注目領域と、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域とを用いて学習された学習済みモデルを用いて、前記対象医用画像データにおける前記注目領域を抽出する。【選択図】図1
Description
本明細書及び図面に開示の実施形態は、医用画像処理装置、医用画像処理方法及び医用画像処理プログラムに関する。
従来、医用の分野では、X線CT(Computed Tomography)装置などの種々の医用画像診断装置(モダリティ)によって取得される医用画像データを用いた画像診断が行われている。この画像診断の中では、医用画像データに描出された所定の領域の体積や構造などの情報を診断に利用することが行われているが、かかる情報を利用するためには、医用画像データから当該領域の輪郭を抽出する(輪郭形状を表す情報である輪郭情報を推定する)必要がある。しかしながら、この領域抽出の作業を人手で行う場合、当該作業者に多大な労力を強いることが課題となっている。このことから、作業者の労力を軽減するために、医用画像データからの自動または半自動の領域抽出技術に関して、かねてより様々な技術が提案されている。
領域抽出技術の一例としては、医用画像データと、当該医用画像データに描出された注目領域の正解の輪郭情報を多数の症例について収集したものを学習データとして利用する方法がある。この技術では、学習データに対して機械学習を行った結果に基づいて、未知の新たに入力された医用画像データに描出されるユーザが注目する領域の輪郭情報を推定する(すなわち、輪郭を抽出する)ことが行われている。
Chen YC,et.al."Coronary artery segmentation in cardiac CT angiography using 3D multi-channel U-net" International Conference on Medical Imaging with Deep Learning, MIDL, 2019. London(2019). p.1907.12246.
Kim H.,et.al."Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network."Sci Rep 10,6204(2020).
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、注目領域の抽出精度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
実施形態に係る医用画像処理装置は、画像取得部と、抽出部とを備える。画像取得部は、ユーザが注目する解剖構造領域を示す注目領域の抽出対象となる対象医用画像データを取得する。抽出部は、医用画像データに含まれる前記注目領域と、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域とを用いて学習された学習済みモデルを用いて、前記対象医用画像データにおける前記注目領域を抽出する。
以下、図面を参照しながら、医用画像処理装置、医用画像処理方法及び医用画像処理プログラムの実施形態について詳細に説明する。なお、本願に係る医用画像処理装置、医用画像処理方法及び医用画像処理プログラムは、以下に示す実施形態によって限定されるものではない。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理装置の構成例を示す図である。例えば、本実施形態に係る医用画像処理装置1は、図1に示すように、データベース2と、ネットワーク3とを備える医用画像処理システムに含まれる。医用画像処理装置1は、ネットワーク3を介して、データベース2に通信可能に接続されている。
図1は、第1の実施形態に係る医用画像処理装置の構成例を示す図である。例えば、本実施形態に係る医用画像処理装置1は、図1に示すように、データベース2と、ネットワーク3とを備える医用画像処理システムに含まれる。医用画像処理装置1は、ネットワーク3を介して、データベース2に通信可能に接続されている。
なお、図1に示す医用情報処理システムには、その他種々の装置(例えば、医用画像診断装置など)やその他種々のシステムが接続される場合でもよい。例えば、医用画像診断装置は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置等であり、被検体を撮像して医用画像データを生成し、ネットワーク3を介してデータベース2に医用画像データを送信する。
データベース2は、被検体に関する各種の医用画像データや、当該医用画像データに関連付けられた情報を保持し、保管する。具体的には、データベース2は、ネットワーク3を介して医用画像データなどを受信し、当該医用画像データなどを自装置内の記憶回路に記憶させて保管する。ここで、データベース2は、ある学習データ群から算出した学習済みモデルなどの情報も保持、管理することができる。例えば、データベース2は、サーバやワークステーション等のコンピュータ機器によって実現される。また、例えば、データベース2は、PACS(Picture Archiving and Communication System)等によって実現され、DICOM(Digital Imaging and Communications in Medicine)に準拠した形式で医用画像データなどを保管する。
ネットワーク3は、例えば、LAN(Local Area Network)やWAN(Wide Area Network)を含む。
医用画像処理装置1は、ネットワーク3を介してデータベース2から医用画像データを受信し、当該医用画像データを用いて各種の情報処理を行う。例えば、医用画像処理装置1は、サーバやワークステーション等のコンピュータ機器によって実現される。
例えば、医用画像処理装置1は、通信インターフェース11と、入力インターフェース12と、ディスプレイ13と、記憶回路14と、処理回路15とを備える。
通信インターフェース11は、医用画像処理装置1と、ネットワーク3を介して接続された他の装置との間で送受信される各種データの伝送及び通信を制御する。具体的には、通信インターフェース11は、処理回路15に接続されており、他の装置から受信したデータを処理回路15に送信、又は、処理回路15から送信されたデータを他の装置に送信する。例えば、通信インターフェース11は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
入力インターフェース12は、利用者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インターフェース12は、処理回路15に接続されており、利用者から受け取った入力操作を電気信号へ変換して処理回路15に送信する。例えば、入力インターフェース12は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インターフェース、及び音声入力インターフェース等によって実現される。なお、本明細書において、入力インターフェース12は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ送信する電気信号の処理回路も入力インターフェース12の例に含まれる。
ディスプレイ13は、各種情報及び各種データを表示する。具体的には、ディスプレイ13は、処理回路15に接続されており、処理回路15から受信した各種情報及び各種データを表示する。例えば、ディスプレイ13は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、タッチパネル等によって実現される。
記憶回路14は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路14は、処理回路15に接続されており、処理回路15から受信したデータを記憶、又は、記憶しているデータを読み出して処理回路15に送信する。例えば、記憶回路14は、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
処理回路15は、医用画像処理装置1の全体を制御する。例えば、処理回路15は、入力インターフェース12を介して利用者から受け付けた入力操作に応じて、各種処理を行う。例えば、処理回路15は、他の装置から送信されたデータを、通信インターフェース11を介して受信し、受信したデータを記憶回路14に記憶する。また、例えば、処理回路15は、受信したデータを記憶回路14から通信インターフェース11に送信することで、当該データを他の装置に送信する。また、例えば、処理回路15は、記憶回路14から受信したデータをディスプレイ13に表示する。
以上、本実施形態に係る医用画像処理装置1の構成例について説明した。例えば、本実施形態に係る医用画像処理装置1は、病院や診療所等の医療施設に設置され、医師等の利用者によって行われる各種診断や治療計画の策定等を支援する。例えば、医用画像処理装置1は、注目領域の抽出精度を向上させるための各種処理を実行する。
上述したように、医用画像データからの注目領域の抽出技術として、学習データに対して機械学習を行った結果に基づいて、未知の新たに入力された医用画像データにおける注目領域の輪郭情報を自動抽出する技術が知られている。しかしながら、このような技術を用いた場合においても、専門医が作成した注目領域のデータと、自動抽出した注目領域のデータとの一致度(抽出精度)には改善の余地が残されている。特に、抽出した注目領域の情報に基づいて、抽出した対象物の形状や構造に基づく詳細な解析を正確に行うためには、より精度の高い領域抽出・領域認識を行うことが望ましい。
そこで、本実施形態に係る医用画像処理装置1は、注目領域以外の領域(注目領域に含まれない領域)であり、かつ、注目領域に基づく所定の条件を満たす領域を用いて学習した学習済みモデルに基づいて注目領域の輪郭情報を抽出することで、注目領域の抽出精度を向上させることができるように構成されている。ここで、注目領域の輪郭情報とは、注目領域の輪郭形状を表す情報と換言できる。また、輪郭形状を表す情報は、輪郭のみに関する情報に限られず、例えば、注目領域に含まれる全ての画素を表す情報を含むものとする。なお、本実施形態に係る医用画像処理装置1は、医用画像データから注目領域を抽出する機能を有するとともに、上記した学習済みモデルを取得する機能、及び、抽出した注目領域の芯線情報を抽出する機能を有する。以下、このような構成を有する医用画像処理装置1について、詳細に説明する。
例えば、図1に示すように、本実施形態では、医用画像処理装置1の処理回路15が、画像取得機能151と、領域取得機能152と、抽出機能153と、学習済みモデル取得機能154と、輪郭情報抽出機能155と、芯線情報抽出機能156と、表示制御機能157とを実行する。ここで、画像取得機能151は、画像取得部の一例である。領域取得機能152は、領域取得部の一例である。また、抽出機能153は、第1の抽出部及び第2の抽出部の一例である。また、学習済みモデル取得機能154は、学習部の一例である。また、輪郭情報抽出機能155は、抽出部の一例である。
画像取得機能151は、通信インターフェース11を介して、データベース2から被検体の医用画像データを取得する。具体的には、画像取得機能151は、学習済みモデルの生成処理の対象となる学習用の医用画像データ(以下、第1の医用画像データとも記す)、及び、ユーザが注目する解剖構造領域を示す注目領域の抽出処理の対象となる医用画像データ(以下、第2の医用画像データ、対象医用画像データとも記す)をデータベース2から取得する。なお、画像取得機能151は、第1の医用画像データ及び第2の医用画像データとして、2次元以上の医用画像データ(2次元の静止画像、2次元の動画像、3次元の静止画像、あるいは、3次元の動画像など)を取得することができる。すなわち、学習済みモデルの生成処理、及び、注目領域の抽出処理は、上記した2次元以上の医用画像データを対象とすることができる。
例えば、画像取得機能151は、上記した医用画像データとして、CT画像、超音波画像、MRI画像、X線画像、Angio画像、PET画像、SPECT画像などを取得する。なお、画像取得機能151によって取得される医用画像データは、画像の大きさや、画像内に描出される注目領域について、空間的にある程度正規化されたものであることが望ましい。また、第1の医用画像データは、ロバスト性の観点から複数の異なる医用画像データを含むものを用いることが望ましい。
領域取得機能152は、医用画像データに含まれるユーザが注目する解剖構造領域を示す画素の情報を注目領域として取得する。具体的には、領域取得機能152は、画像取得機能151によって取得された第1の医用画像データにおける注目領域の正解の輪郭情報を、データベース2から取得する。ここで、第1の医用画像データにおける注目領域の正解の輪郭情報は、専門医などによって指定され、当該第1の医用画像データに関連付けられてデータベース2に管理されている。
抽出機能153は、医用画像データにおいて注目領域以外の領域であり、かつ、所定の条件を満たす領域を示す画素の情報を第1の背景領域として抽出する。具体的には、抽出機能153は、領域取得機能152によって取得された注目領域の輪郭情報に基づいて、第1の医用画像データにおける第1の背景領域を抽出する。また、抽出機能153は、第1の医用画像データにおいて、注目領域以外の領域であり、かつ、第1の背景領域以外の領域を示す画素の情報を第2の背景領域として抽出する。ここで、上記した所定の条件を満たす領域は、第1の医用画像データに含まれる注目領域の画素に基づいて導出される領域である。例えば、所定の条件を満たす領域は、注目領域の画素に基づく画像処理により導出される領域である。なお、抽出機能153による処理については、後に詳述する。
学習済みモデル取得機能154は、注目領域と、第1の背景領域と、第2の背景領域とに基づいて、機械学習を実行する。具体的には、学習済みモデル取得機能154は、第1の医用画像データの画素値情報と、第1の医用画像データにおける注目領域の正確な輪郭情報と、第1の医用画像データにおける第1の背景領域の情報と、第1の医用画像データにおける第2の背景領域の情報とを用いて機械学習を実行し、学習済みモデルを取得する。なお、学習済みモデル取得機能154による処理については、後に詳述する。
輪郭情報抽出機能155は、第1の医用画像データに含まれる注目領域と、注目領域以外の領域であり、かつ、所定の条件を満たす領域とを用いて学習された学習済みモデルを用いて、第2の医用画像データにおける注目領域を抽出する。具体的には、輪郭情報抽出機能155は、学習済みモデル取得機能154によって取得された学習済みモデルを用いて、画像取得機能151によって取得された第2の医用データにおける注目領域の輪郭情報を抽出する。すなわち、輪郭情報抽出機能155は、第2の医用画像データの画素値情報を学習済みモデルに入力することで、第2の医用画像データにおける注目領域の輪郭情報を取得する。なお輪郭情報抽出機能155は、注目領域の輪郭情報の取得とは別に、第1の背景領域の輪郭情報を取得してもよい。なお、輪郭情報抽出機能155による処理については、後に詳述する。
芯線情報抽出機能156は、画像取得機能151によって取得された第2の医用画像データと、輪郭情報抽出機能155によって取得された第2の医用画像データにおける注目領域の輪郭情報に基づいて、第2の医用画像データにおける注目領域の芯線情報を取得する。なお、芯線情報抽出機能156による処理については、後に詳述する。
表示制御機能157は、入力インターフェース12を介した操作に応じて、種々のGUI(Graphical User Interface)や、種々の表示情報を生成して、ディスプレイ13に表示するように制御する。例えば、表示制御機能157は、種々の条件を設定するためのGUIや、注目領域の輪郭情報の抽出結果、注目領域の芯線情報の抽出結果などをディスプレイ13に表示させる。また、表示制御機能157は、画像取得機能151によって取得された医用画像データに基づいて、種々の表示画像を生成することもできる。
上述した処理回路15は、例えば、プロセッサによって実現される。その場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路14に記憶される。そして、処理回路15は、記憶回路14に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路15は、各プログラムを読み出した状態で、図1に示した各処理機能を有することとなる。
なお、処理回路15は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、処理回路15が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路15が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路14に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路が分散して記憶され、処理回路15が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。
次に、医用画像処理装置1による処理の手順について説明した後、各処理の詳細について説明する。なお、以下では、学習済みモデルの取得処理、及び、学習済みモデルを用いた注目領域の輪郭情報の取得処理について、順に説明する。また、以下では、心臓の冠動脈を注目領域とした場合の例を説明するが、本実施形態はこれに限定されるものではなく、例えば、他の血管や、骨などのその他の部位を注目領域とする場合でもよい。
図2は、第1の実施形態に係る医用画像処理装置1による学習済みモデル取得処理の処理手順を示すフローチャートである。例えば、図2に示すように、本実施形態では、画像取得機能151が、データベース2から被検体の第1の医用画像データを取得する(ステップS101)。例えば、画像取得機能151は、入力インターフェース12を介してユーザが指定した学習用の医用画像データの取得操作に応じて、心臓の冠動脈を含む第1の医用画像データを取得する。この処理は、例えば、処理回路15が、画像取得機能151に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。
続いて、領域取得機能152が、取得された第1の医用画像データについて、第1の医用画像データに含まれる注目構造の輪郭情報をデータベース2から取得する(ステップS102)。例えば、領域取得機能152は、第1の医用画像データに含まれる冠動脈の輪郭情報を取得する。この処理は、例えば、処理回路15が、領域取得機能152に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。なお、図2においては、第1の医用画像データを取得したのちに注目領域の輪郭情報を取得する場合の処理手順を示しているが、実施形態はこれに限定されるものではなく、第1の医用画像データと注目領域の輪郭情報を同時に取得してもよい。
そして、抽出機能153が、第1の医用画像データにおいて、注目領域に基づく所定の条件に基づく領域を抽出する(ステップS103)。例えば、抽出機能153は、第1の医用画像データにおける心臓の冠動脈の輪郭情報に基づく条件に応じた第1の背景領域の輪郭情報を抽出する。この処理は、例えば、処理回路15が、抽出機能153に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。
続いて、学習済みモデル取得機能154が、第1の医用画像データにおける注目領域と、第1の背景領域と、第2の背景領域(第1の医用画像データにおいて、注目領域以外であり、かつ、第1の背景領域以外の領域)とに基づいて、学習済みモデルを取得する(ステップS104)。この処理は、例えば、処理回路15が、学習済みモデル取得機能154に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。
以下、医用画像処理装置1によって実行される学習済みモデルの取得処理の詳細について、説明する。
(第1の医用画像データの取得処理)
図2のステップS101で説明したように、画像取得機能151は、入力インターフェース12を介した第1の医用画像データの取得操作に応じて、注目領域を含む第1の医用画像データを取得する。例えば、画像取得機能151は、冠動脈を撮像したCT画像をデータベース2から取得する。そして、画像取得機能151は、取得したCT画像を記憶回路14に格納する。
図2のステップS101で説明したように、画像取得機能151は、入力インターフェース12を介した第1の医用画像データの取得操作に応じて、注目領域を含む第1の医用画像データを取得する。例えば、画像取得機能151は、冠動脈を撮像したCT画像をデータベース2から取得する。そして、画像取得機能151は、取得したCT画像を記憶回路14に格納する。
ここで、上記した学習用の第1の医用画像データの取得では、2以上の第1の医用画像データが取得されてもよい。学習済みモデルのロバスト性や抽出精度を高める観点からは、多数の被検体を撮像したCT画像を後述の学習に用いることが望ましいが、同一被検体を異なる時期に撮像した画像が含まれていても構わない。またこのとき、表示制御機能157は、取得したCT画像の一部または全てをディスプレイ13の画像表示領域内に表示させてもよい。
図3は、第1の実施形態に係る第1の医用画像データの一例を示す図である。ここで、図3においては、3次元のCT画像に基づく断面画像を示す。例えば、画像取得機能151は、図3に示すように、第1の医用画像データとして、冠動脈を含むCT画像(断面画像)を取得する。ここで、以下の説明では、断面画像(第1の医用画像データ)を構成するx方向の画素数はNx、y方向の画素数はNyであるものとする。すなわち、第1の医用画像データを構成する全画素数はNx×Nyである。なお、処理対象の医用画像データが3次元画像データ(ボリュームデータ)である場合、全画素数はNx×Ny×Nzである(Nzは、z方向の画素数)。
なお、ステップS101における第1の医用画像データの取得処理は、上記したように、入力インターフェース12を介したユーザの指示により動作が開始される場合でもよいが、自動的に処理が開始される場合でもよい。かかる場合には、例えば、画像取得機能151は、データベース2を監視しておき、注目領域(例えば、冠動脈)の輪郭情報が関連付けられた第1の医用画像データ(CT画像)が新たに保管されるごとに自動的に当該CT画像を取得する。
(注目構造の輪郭情報の取得処理)
図2のステップS102で説明したように、領域取得機能152は、第1の医用画像データについて、注目構造の正確な輪郭情報をデータベース2から取得する。例えば、領域取得機能152は、第1の医用画像データに含まれる冠動脈の正確な輪郭情報を取得する。そして、領域取得機能152は、取得した注目領域の輪郭情報を記憶回路14に格納する。ここで、領域取得機能152は、種々の手法により注目構造の輪郭情報を取得することができる。例えば、領域取得機能152は、入力インターフェース12を介してCT画像上に指定された領域を注目構造として取得することができる。すなわち、領域取得機能152は、ユーザが手動で指定した領域を注目構造の輪郭情報として取得する。
図2のステップS102で説明したように、領域取得機能152は、第1の医用画像データについて、注目構造の正確な輪郭情報をデータベース2から取得する。例えば、領域取得機能152は、第1の医用画像データに含まれる冠動脈の正確な輪郭情報を取得する。そして、領域取得機能152は、取得した注目領域の輪郭情報を記憶回路14に格納する。ここで、領域取得機能152は、種々の手法により注目構造の輪郭情報を取得することができる。例えば、領域取得機能152は、入力インターフェース12を介してCT画像上に指定された領域を注目構造として取得することができる。すなわち、領域取得機能152は、ユーザが手動で指定した領域を注目構造の輪郭情報として取得する。
図4は、第1の実施形態に係る注目領域の輪郭情報の一例を示す図である。ここで、図4においては、3次元のCT画像に基づく断面画像を示す。例えば、領域取得機能152は、図4に示すように、CT画像における領域R1を冠動脈の輪郭情報として取得する。なお、この注目領域を表すデータ(輪郭情報)は、当該領域に含まれる全画素に関する情報(座標値などの当該領域の場所が指定できるデータ表現)であってもよく、当該領域の輪郭に相当する画素のみに関するデータ表現であってもよい。ここで、領域の場所が指定できるデータ表現とは、例えば、全画素数がNx×Nyの画像において、注目領域に相当する座標(x、y)の画素の画素値を1として、それ以外の領域の画素値を0とするような表現を用いればよい。
(第1の背景領域の抽出処理)
図2のステップS103で説明したように、抽出機能153は、第1の医用画像データにおいて、注目領域に基づく所定の条件に基づいて、第1の背景領域を抽出する。具体的には、抽出機能153は、第1の医用画像データにおける注目領域の正解の輪郭情報から、注目領域に基づく所定の条件を満たす領域(第1の背景領域)を取得し、記憶回路14に格納する。より具体的には、抽出機能153は、注目領域以外の領域であり、かつ、注目領域の画素に基づいて導出される領域を示す画素の情報を第1の背景領域として抽出する。例えば、抽出機能153は、注目領域以外の領域であり、かつ、注目領域の画素に基づく画像処理により導出される領域を示す画素の情報を第1の背景領域として抽出する。一例を挙げると、抽出機能153は、注目領域を表す図形画素に対する図形整形処理(例えば、black top hat変換などの画像処理)を行った結果に基づいて、第1の医用画像データ全体の画素の集合から注目領域周辺にある画素を抽出する。
図2のステップS103で説明したように、抽出機能153は、第1の医用画像データにおいて、注目領域に基づく所定の条件に基づいて、第1の背景領域を抽出する。具体的には、抽出機能153は、第1の医用画像データにおける注目領域の正解の輪郭情報から、注目領域に基づく所定の条件を満たす領域(第1の背景領域)を取得し、記憶回路14に格納する。より具体的には、抽出機能153は、注目領域以外の領域であり、かつ、注目領域の画素に基づいて導出される領域を示す画素の情報を第1の背景領域として抽出する。例えば、抽出機能153は、注目領域以外の領域であり、かつ、注目領域の画素に基づく画像処理により導出される領域を示す画素の情報を第1の背景領域として抽出する。一例を挙げると、抽出機能153は、注目領域を表す図形画素に対する図形整形処理(例えば、black top hat変換などの画像処理)を行った結果に基づいて、第1の医用画像データ全体の画素の集合から注目領域周辺にある画素を抽出する。
ここで、第1の背景領域を抽出する目的は、背景の中でもより正確性を重視したい領域を予め特定し、学習済みモデル取得時に当該領域の情報を利用することで、注目領域の抽出精度を高めるためである。第1の背景領域を特定した上で学習を行うことで、学習済みモデルを用いた注目領域の抽出を行う際に、当該領域における拾い過ぎなどの誤りに対して、その他の背景領域に対する誤りよりも高いペナルティを与えるような抽出処理が可能になる効果が期待できる。それに加えて、第1の背景領域自体の抽出も行えるように機械学習が実施できるため、当該領域の抽出結果に基づいて、後段のさらなる画像処理、及び、画像解析での活用も可能になる。より具体的には、注目領域の芯線の抽出を実施する場合に、第1の背景領域の抽出結果を利用することなどが考えられる。
図5は、第1の実施形態に係る第1の背景領域の抽出処理の一例を示す図である。ここで、図5においては、図4に示す冠動脈の輪郭情報(領域R1)を注目領域とした場合の第1の背景領域の抽出処理を示す。例えば、抽出機能153は、まず、領域R1に対してクロージング処理を施すことで、図5の左図に示す領域R2を抽出する。そして、抽出機能153は、図5の左図に示す領域R2から図5の中央の図に示す領域R1を差分することで、第1の背景領域である領域R3(図5の右図)を抽出する。すなわち、抽出機能153は、冠動脈の分岐部周辺に存在する背景領域を第1の背景領域として抽出する。
このように、抽出機能153は、注目領域の正確な輪郭情報をもとに、その周囲の背景領域を抽出する。この処理により、抽出機能153は、図5に示す血管の分岐部だけでなく、異なる血管が隣接する場合のそれらの血管の間に存在する背景領域も第1の背景領域として抽出することができる。図6は、第1の実施形態に係る第1の背景領域の抽出処理の一例を示す図である。例えば、抽出機能153は、図6に示すように、隣接する血管それぞれの正確な輪郭情報に基づいて、上記した処理を実行することで、血管の間に存在する領域R4を第1の背景領域として抽出することができる。
なお、画像処理に関するパラメータ(例えば、クロージングの半径などの情報)は、予め決定された値を用いてもよく、或いは、入力インターフェース12を介してユーザによって与えられた値を用いてもよい。
(第2の背景領域の抽出処理)
抽出機能153は、上述したように第1の背景領域の輪郭情報を取得すると、注目領域以外の領域であり、かつ、第1の背景領域以外の領域である第2の背景領域を抽出する。例えば、抽出機能153は、図5の左図に示すCT画像において領域R2以外の領域を第2の背景領域として抽出する。
抽出機能153は、上述したように第1の背景領域の輪郭情報を取得すると、注目領域以外の領域であり、かつ、第1の背景領域以外の領域である第2の背景領域を抽出する。例えば、抽出機能153は、図5の左図に示すCT画像において領域R2以外の領域を第2の背景領域として抽出する。
(学習済みモデルの取得処理)
図2のステップS104で説明したように、学習済みモデル取得機能154は、注目領域と、第1の背景領域と、第2の背景領域とを用いて機械学習を実行することで、学習済みモデルを取得する。図7は、第1の実施形態に係る学習済みモデルの取得処理の一例を説明するための図である。例えば、学習済みモデル取得機能154は、図7に示すように、第1の医用画像データの画素値と、注目領域の画素情報と、第1の背景領域の画素情報と、第2の背景領域の画素情報との関係を機械学習することで、医用画像データの画素値に基づいて領域を出力する学習済みモデルを取得する。
図2のステップS104で説明したように、学習済みモデル取得機能154は、注目領域と、第1の背景領域と、第2の背景領域とを用いて機械学習を実行することで、学習済みモデルを取得する。図7は、第1の実施形態に係る学習済みモデルの取得処理の一例を説明するための図である。例えば、学習済みモデル取得機能154は、図7に示すように、第1の医用画像データの画素値と、注目領域の画素情報と、第1の背景領域の画素情報と、第2の背景領域の画素情報との関係を機械学習することで、医用画像データの画素値に基づいて領域を出力する学習済みモデルを取得する。
学習済みモデル取得機能154は、取得した学習済みモデルを記憶回路14に格納する。また、学習済みモデル取得機能154は、取得した学習済みモデルをデータベース2に保存することもできる。
ここで、上記した機械学習は、U-netなどの深層学習に基づいた手法を用いればよく、ブースティングなどその他の既知の機械学習手法を用いても構わない。また、非特許文献「Kim H.,et.al.“Abdominal multi-organ auto-segmentation using 3D-patch-based deep convolutional neural network.”Sci Rep 10,6204(2020).」に記載された複数のクラス(肝臓、胃、十二指腸、右腎臓、左腎臓、背景)を同時に抽出するU-netに基づいた領域抽出手法を用いることで、複数の領域を同時に抽出する学習済みモデルを取得する場合でもよい。例えば、冠動脈と、第1の背景領域と、第2の背景領域とで複数のクラスを定義することで、それらの領域を抽出するための学習済みモデルを取得することができる。なお、複数のクラスは、上記以外にも石灰化領域、ソフトプラーク領域などのクラスを含めるように定義してもよい。
以上、学習済みモデルの取得処理について説明した。次に、学習済みモデルを用いた注目領域の輪郭情報の取得処理について説明する。
図8は、第1の実施形態に係る医用画像処理装置1による学習済みモデルを用いた注目領域の輪郭情報の取得処理の処理手順を示すフローチャートである。例えば、図8に示すように、本実施形態では、画像取得機能151が、データベース2から被検体の第2の医用画像データを取得する(ステップS201)。例えば、画像取得機能151は、入力インターフェース12を介してユーザが指定した医用画像データの取得操作に応じて、心臓の冠動脈を含む第2の医用画像データを取得する。この処理は、例えば、処理回路15が、画像取得機能151に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。
続いて、輪郭情報抽出機能155が、記憶回路14、或いは、データベース2から学習済みモデルを読み出し、読み出した学習済みモデルを用いて、注目領域の輪郭情報を取得する(ステップS202)。具体的には、輪郭情報抽出機能155は、画像取得機能151によって取得された第2の医用画像データの画素値を、学習済みモデル取得機能154によって取得された学習済みモデルに入力することで、注目領域の輪郭情報を出力させる。この処理は、例えば、処理回路15が、輪郭情報抽出機能155に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。
そして、芯線情報抽出機能156が、輪郭情報抽出機能155によって抽出された注目領域の輪郭情報に基づいて、注目領域の芯線情報を抽出する(ステップS203)。この処理は、例えば、処理回路15が、芯線情報抽出機能156に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。なお、注目領域などの抽出のみが目的の場合には、ステップS203の処理は必ずしも必要ではなく、抽出した注目領域、及び又は、第1の背景領域の輪郭情報を保存するだけの構成であってもよい。
続いて、表示制御機能157が、第2の医用画像データ、輪郭情報抽出機能155による抽出結果、及び、芯線情報抽出機能156による抽出結果などの情報をディスプレイ13に表示させる(ステップS204)。この処理は、例えば、処理回路15が、表示制御機能157に対応するプログラムを記憶回路14から呼び出して実行することにより実現される。なお、注目領域の解析や計測を目的とする場合には、ステップS204の処理は必ずしも必要でなく、推定した注目領域、及び又は、第1の背景領域の輪郭情報を保存するだけの構成であってもよい。
以下、医用画像処理装置1によって実行される学習済みモデルを用いた注目領域の輪郭情報の取得処理の詳細について、説明する。
(第2の医用画像データの取得処理)
図8のステップS201で説明したように、画像取得機能151は、入力インターフェース12を介した第2の医用画像データの取得操作に応じて、注目領域の位置が未知の第2の医用画像データを取得する。例えば、画像取得機能151は、冠動脈を撮像したCT画像をデータベース2から取得する。そして、画像取得機能151は、取得したCT画像を記憶回路14に格納する。ここで、表示制御機能157は、取得された第2の医用画像データ(例えば、CT画像)をディスプレイ13の画像表示領域内に表示させてもよい。
図8のステップS201で説明したように、画像取得機能151は、入力インターフェース12を介した第2の医用画像データの取得操作に応じて、注目領域の位置が未知の第2の医用画像データを取得する。例えば、画像取得機能151は、冠動脈を撮像したCT画像をデータベース2から取得する。そして、画像取得機能151は、取得したCT画像を記憶回路14に格納する。ここで、表示制御機能157は、取得された第2の医用画像データ(例えば、CT画像)をディスプレイ13の画像表示領域内に表示させてもよい。
(学習済みモデルを用いた注目領域の輪郭情報の抽出処理)
図8のステップS202で説明したように、輪郭情報抽出機能155は、学習済みモデルを用いて、第2の医用画像データにおける注目領域の輪郭情報を抽出する。ここで、記憶回路14、及び、データベース2に、所望の学習済みモデルが存在しない場合、医用画像処理装置1は、図2に示す処理を実行することで、所望の学習済みモデルを取得する。
図8のステップS202で説明したように、輪郭情報抽出機能155は、学習済みモデルを用いて、第2の医用画像データにおける注目領域の輪郭情報を抽出する。ここで、記憶回路14、及び、データベース2に、所望の学習済みモデルが存在しない場合、医用画像処理装置1は、図2に示す処理を実行することで、所望の学習済みモデルを取得する。
図9は、第1の実施形態に係る学習済みモデルを用いた注目領域の輪郭情報の抽出処理の一例を説明するための図である。例えば、輪郭情報抽出機能155は、医用画像データの画素値を入力することで注目領域の画素情報を出力する学習済みモデルを記憶回路14、或いは、データベース2から読み出す。そして、輪郭情報抽出機能155は、図9に示すように、読み出した学習済みモデルに対して第2の医用画像データの画素値を入力することで、注目領域の画素情報を出力させる。これにより、輪郭情報抽出機能155は、第2の医用画像データにおける注目領域の画素情報(例えば、冠動脈の輪郭情報)を抽出する。
なお、輪郭情報抽出機能155は、冠動脈と、第1の背景領域と、第2の背景領域とを同時に抽出するための学習済みモデルを用いることで、第2の医用画像データにおけるそれらの領域を同時に抽出することもできる。また、輪郭情報抽出機能155は、冠動脈などの注目領域以外に石灰化領域やソフトプラーク領域などが独立のクラスとして学習対象となって取得された学習済みモデルを用いることで、それらの領域も同時に抽出することができる。
(注目領域の芯線情報の抽出処理)
図8のステップS203で説明したように、芯線情報抽出機能156は、輪郭情報抽出機能155によって抽出された第2の医用画像データにおける注目領域の芯線情報を抽出する。具体的には、芯線情報抽出機能156は、ステップS201で取得された第2の医用画像データと、ステップS202で抽出された注目領域の抽出結果とに基づいて、注目領域の芯線情報を抽出する。また、芯線情報抽出機能156は、第2の医用画像データ及び注目領域の抽出結果に加えて、さらに第1の背景領域の抽出結果を用いて注目領域の芯線情報を抽出することもできる。そして、芯線情報抽出機能156は、注目領域の芯線情報の抽出結果を記憶回路14に格納する。
図8のステップS203で説明したように、芯線情報抽出機能156は、輪郭情報抽出機能155によって抽出された第2の医用画像データにおける注目領域の芯線情報を抽出する。具体的には、芯線情報抽出機能156は、ステップS201で取得された第2の医用画像データと、ステップS202で抽出された注目領域の抽出結果とに基づいて、注目領域の芯線情報を抽出する。また、芯線情報抽出機能156は、第2の医用画像データ及び注目領域の抽出結果に加えて、さらに第1の背景領域の抽出結果を用いて注目領域の芯線情報を抽出することもできる。そして、芯線情報抽出機能156は、注目領域の芯線情報の抽出結果を記憶回路14に格納する。
例えば、芯線情報抽出機能156は、抽出された注目領域の輪郭情報(図形画素)に対する既知の細線化処理を用いて、注目領域の芯線情報を抽出することができる。また、芯線情報抽出機能156は、細線化処理以外の方法で注目領域の芯線情報を抽出することができる。細線化処理以外の方法の一例としては、注目領域の抽出結果や、第1の背景領域の抽出結果の情報に基づいて、既知のダイクストラ法などの方法を用いて、注目領域に含まれる2点間を結ぶ画素の集合(経路)を計算する方法が挙げられる。
以下に、ダイクストラ法などの最適化方法を利用して、注目領域の芯線情報を抽出するための具体的な方法の一例を示す。ダイクストラ法に基づく抽出処理では、まず第2の医用画像データを構成する画素をノードとして、隣接する近傍の画素間をエッジで繋ぐような構造を持つグラフを構成する。続いて、エネルギーの設定では、注目領域の抽出結果の領域の内側に入るほど(輪郭からの距離が内側に遠いほど)ノード間を結ぶエッジに割り当てるエネルギーが低くなるように設定する。そして、所定の2ノード間の最短経路問題を解くことで、注目領域内を通る芯線の経路(画素)を特定できる。すなわち、ある血管の起点となる画素と、当該血管の末梢の芯点に相当する画素を指定することができれば、それらの点を結ぶ経路(注目領域の芯線と期待される経路)を抽出することができる。所定の2ノード(経路の開始点と終点)に相当する点は、ユーザによって入力インターフェース12を介して与えられる情報を用いても良く、自動抽出した点を用いても良い。自動抽出の方法の一例としては、注目領域の図形画素に対する既知の細線化処理をした結果をサンプリングすることによって得られる点から所定の2ノードを抽出する方法が考えられる。
しかしながら、上記のダイクストラ法に基づく抽出処理を用いて冠動脈の芯線を計算する場合、次のような課題が生じることがある。その課題とは、血管の分岐部や異なる血管が隣接する場所に血管領域(注目領域)の拾い過ぎが生じている場合に、当該血管の芯線の抽出結果が血管外の領域や異なる血管を通る経路として計算されてしまうことがある点である。このような計算結果が得られないようにするためにも、注目領域の抽出においては、なるべく精度の高い抽出結果を得ることが望ましい。本実施形態においては、第1の背景領域を設定して、注目領域の芯線を抽出する場合において重要な領域付近の抽出精度を高めることで、より精度の高い芯線を抽出することができる。
さらに、第1の背景領域自体を抽出した場合には、グラフ構造におけるエッジのエネルギーを計算する際に、当該領域を通る経路(エッジ)について、予めエネルギーを高く設定することもできる。このようなエネルギーの設定を行うことで、当該領域を通る経路が芯線として抽出されにくくなるという効果がある。すなわち、第1の背景領域を設定した上で学習済みモデルを取得し、当該第1の背景領域の抽出結果を利用することには、後段の解析における第1の背景領域の扱いをそれ以外の背景領域と分けられるという効果がある。なお、ステップS203において、冠動脈などの注目領域以外に石灰化領域やソフトプラーク領域などが抽出・推定されている場合には、これらの領域情報に基づいて、グラフ構造のエッジに対するエネルギーを設定しても良い。例えば、抽出対象の芯線が石灰化領域やソフトプラーク領域を通らないようにするためには、当該領域を通る経路(エッジ)について、エネルギーを高く設定すればよい。
(抽出結果の表示処理)
図8のステップS204で説明したように、表示制御機能157は、第2の医用画像データと、輪郭情報抽出機能155により抽出された注目領域の輪郭情報とを、ディスプレイ13の画像表示領域内に表示させる。ここで、表示制御機能157は、抽出された注目領域と第2の医用画像データとを重畳して表示することができる。このような重畳表示を行うことで、第2の医用画像データに対して、抽出された輪郭情報がどの程度合っているのかを容易に視認できる。また、表示制御機能157は、芯線情報抽出機能156によって抽出された注目領域の芯線情報をディスプレイ13の画像表示領域内に表示させてもよい。表示制御機能157は、芯線情報についても、第2の医用画像データに重畳して表示してもよく、これにより視認性向上も同様に得ることができる。
図8のステップS204で説明したように、表示制御機能157は、第2の医用画像データと、輪郭情報抽出機能155により抽出された注目領域の輪郭情報とを、ディスプレイ13の画像表示領域内に表示させる。ここで、表示制御機能157は、抽出された注目領域と第2の医用画像データとを重畳して表示することができる。このような重畳表示を行うことで、第2の医用画像データに対して、抽出された輪郭情報がどの程度合っているのかを容易に視認できる。また、表示制御機能157は、芯線情報抽出機能156によって抽出された注目領域の芯線情報をディスプレイ13の画像表示領域内に表示させてもよい。表示制御機能157は、芯線情報についても、第2の医用画像データに重畳して表示してもよく、これにより視認性向上も同様に得ることができる。
(変形例1)
上述した実施形態では、ステップS103において、第1の背景領域を取得する際に、注目領域を表す図形画素に対する図形整形処理を用いる例を示したが、その他の方法によって当該領域を取得してもよい。例えば、抽出機能153は、領域取得機能152によって取得された注目領域の輪郭に対応する画素から外側に所定のユークリッド距離以内に存在する画素を第1の背景領域として抽出する。
上述した実施形態では、ステップS103において、第1の背景領域を取得する際に、注目領域を表す図形画素に対する図形整形処理を用いる例を示したが、その他の方法によって当該領域を取得してもよい。例えば、抽出機能153は、領域取得機能152によって取得された注目領域の輪郭に対応する画素から外側に所定のユークリッド距離以内に存在する画素を第1の背景領域として抽出する。
また、例えば、抽出機能153は、領域取得機能152によって取得された注目領域内の画素から所定のユークリッド距離以内に存在する注目領域以外の画素を第1の背景領域として抽出する。図10は、変形例1に係る第1の背景領域の抽出処理の一例を示す図である。例えば、抽出機能153は、図10に示すように、領域取得機能152によって取得された注目領域(冠動脈)を細線化した結果から求められる冠動脈の分岐点から所定のユークリッド距離以内に存在する注目領域外の画素に対応する領域R5を、第1の背景領域として抽出する。
上述したように、注目領域の輪郭に対応する画素から外側に所定のユークリッド距離以内に存在する画素、或いは、注目領域内の画素から所定のユークリッド距離以内に存在する注目領域以外の画素を、第1の背景領域とする場合でも、ユーザが注目する解剖構造領域である血管の境界付近に存在する背景画素を重視した学習が可能となるため、注目領域の抽出精度を向上させることができる。
(変形例2)
上述した実施形態では、ユーザが注目する解剖構造領域(注目領域)として冠動脈領域を想定して、第1の背景領域を取得する例を説明した。しかしながら、実施形態はこれに限定されるものではなく、注目領域は複数の領域を併せた領域であってもよい。例えば、冠動脈領域に加えて、石灰化領域、ソフトプラーク領域などを併せた領域を注目領域として、第1の背景領域を取得してもよい。それらの複数の領域を扱う場合には、夫々のクラスの図形画素のOR演算を行ってからステップS103に記載の方法で第1の背景領域を計算することで、第1の実施形態と同様のことが実現可能であり、注目領域の抽出精度を向上させることができる。
上述した実施形態では、ユーザが注目する解剖構造領域(注目領域)として冠動脈領域を想定して、第1の背景領域を取得する例を説明した。しかしながら、実施形態はこれに限定されるものではなく、注目領域は複数の領域を併せた領域であってもよい。例えば、冠動脈領域に加えて、石灰化領域、ソフトプラーク領域などを併せた領域を注目領域として、第1の背景領域を取得してもよい。それらの複数の領域を扱う場合には、夫々のクラスの図形画素のOR演算を行ってからステップS103に記載の方法で第1の背景領域を計算することで、第1の実施形態と同様のことが実現可能であり、注目領域の抽出精度を向上させることができる。
上述したように、第1の実施形態によれば、画像取得機能151は、ユーザが注目する解剖構造領域を示す注目領域の抽出対象となる第2の医用画像データを取得する。輪郭情報抽出機能155は、第1の医用画像データに含まれる注目領域と、注目領域以外の領域であり、かつ、所定の条件を満たす領域とを用いて学習された学習済みモデルを用いて、第1の医用画像データにおける注目領域を抽出する。したがって、第1の実施形態に係る医用画像処理装置1は、注目領域の境界付近の画素を重視した学習済みモデルを用いた注目領域の抽出を行うことができ、注目領域の抽出精度を向上させることを可能にする。
また、第1の実施形態によれば、画像取得機能151は、第1の医用画像データを取得する。領域取得機能152は、第1の医用画像データに含まれるユーザが注目する解剖構造領域を示す画素の情報を注目領域として取得する。抽出機能153は、第1の医用画像データにおいて、注目領域以外の領域であり、かつ、所定の条件を満たす領域を示す画素の情報を第1の背景領域として抽出する。抽出機能153は、第1の医用画像データにおいて、注目領域以外の領域であり、かつ、第1の背景領域以外の領域を示す画素の情報を第2の背景領域として抽出する。学習済みモデル取得機能154は、注目領域と、第1の背景領域と、第2の背景領域とに基づいて、機械学習を実行する。したがって、第1の実施形態に係る医用画像処理装置1は、注目領域の境界付近の画素を重視した学習済みモデルを取得することができ、取得した学習済みモデルを用いることで、注目領域の抽出精度を向上させることを可能にする。
また、第1の実施形態によれば、所定の条件を満たす領域は、注目領域の画素に基づいて導出される領域である。したがって、第1の実施形態に係る医用画像処理装置1は、注目領域の画素に基づく領域を抽出することができ、注目領域と間違えやすい背景領域である第1の背景領域を精度よく抽出することを可能にする。
また、第1の実施形態によれば、所定の条件を満たす領域は、注目領域の画素に基づく画像処理により導出される領域である。したがって、第1の実施形態に係る医用画像処理装置1は、注目領域の境界付近の画素を抽出することができ、第1の背景領域をより精度良く抽出することを可能にする。
また、第1の実施形態によれば、画像処理は、クロージング処理である。また、画像処理は、第1の医用画像データに含まれる注目領域の輪郭から所定の距離以内に存在する画素を当該注目領域に含める処理である。また、画像処理は、第1の医用画像データに含まれる注目領域内の画素から所定の距離以内に存在する画素を当該注目領域に含める処理である。したがって、第1の実施形態に係る医用画像処理装置1は、注目領域の境界付近の画素を精度良く抽出することを可能にする。なお、画像処理は、注目領域とその画素値を使用して注目領域を定める処理であればよく、上述した処理に限定されるものではない。例えば、注目領域の輪郭から所定の距離、あるいは注目領域内の画素から所定の距離とするなどの「距離」を用いる方法の代わりに、注目領域の輪郭へ膨張処理(エロージョン)処理を施して注目領域を定めてもよい。またあるいは、距離や膨張処理を用いて定めた仮の注目領域に対して、注目領域の外形が滑らかになるよう補正処理を施すことや、所定の距離を設定する際に、対象の場所の画素値に基づいて所定の距離に重みづけをして注目領域を定める際の距離を算出してもよい。
(その他の実施形態)
上述した実施形態では、注目領域の抽出結果や、芯線情報の抽出結果を医用画像処理装置1のディスプレイ13に表示させる場合の例を説明したが、実施形態はこれに限定されるものではなく、例えば、これらの情報をネットワーク3に接続された他の装置のディスプレイに表示させる場合でもよい。
上述した実施形態では、注目領域の抽出結果や、芯線情報の抽出結果を医用画像処理装置1のディスプレイ13に表示させる場合の例を説明したが、実施形態はこれに限定されるものではなく、例えば、これらの情報をネットワーク3に接続された他の装置のディスプレイに表示させる場合でもよい。
また、上述した実施形態では、学習済みモデルの取得処理と、学習済みモデルを用いた注目領域の抽出処理とを、同一の医用画像処理装置1が実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、学習済みモデルの取得処理を実行する第1の医用画像処理装置と、学習済みモデルを用いた注目領域の抽出処理を実行する第2の医用画像処理装置とが、ネットワーク3にそれぞれ接続される場合でもよい。すなわち、学習済みモデルの取得処理のみを実行する医用画像処理装置と、学習済みモデルを用いた注目領域の抽出処理のみを実行する医用画像処理装置とが設けられてもよい。
また、上述した実施形態では、第1の医用画像データにおける第1の背景領域及び第2の背景領域を抽出する処理と、学習済みモデルを取得する処理とを、同一の医用画像処理装置1が実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、第1の医用画像データにおける第1の背景領域及び第2の背景領域を抽出する処理と、学習済みモデルを取得する処理とを異なる医用画像処理装置においてそれぞれ実行される場合でもよい。
なお、上述した実施形態では、本明細書における画像取得部、領域取得部、第1の抽出部、第2の抽出部、学習部、及び、抽出部を、それぞれ、処理回路の画像取得機能、領域取得機能、抽出機能、学習済みモデル取得機能、及び、輪郭情報抽出機能によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における画像取得部、領域取得部、第1の抽出部、第2の抽出部、学習部、及び、抽出部は、実施形態で述べた画像取得機能、領域取得機能、抽出機能、学習済みモデル取得機能、及び、輪郭情報抽出機能によって実現する他にも、ハードウェアのみ、ソフトウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行される医用画像処理プログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、この医用画像処理プログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、この医用画像処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、この医用画像処理プログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体から医用画像処理プログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
また、上述した実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
以上説明した少なくとも一つの実施形態によれば、注目領域の抽出精度を向上させることができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 医用画像処理装置
15 処理回路
151 画像取得機能
152 領域取得機能
153 抽出機能
154 学習済みモデル取得機能
155 輪郭情報抽出機能
156 芯線情報抽出機能
157 表示制御機能
15 処理回路
151 画像取得機能
152 領域取得機能
153 抽出機能
154 学習済みモデル取得機能
155 輪郭情報抽出機能
156 芯線情報抽出機能
157 表示制御機能
Claims (11)
- ユーザが注目する解剖構造領域を示す注目領域の抽出対象となる対象医用画像データを取得する画像取得部と、
医用画像データに含まれる前記注目領域と、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域とを用いて学習された学習済みモデルを用いて、前記対象医用画像データにおける前記注目領域を抽出する抽出部と、
を備える、医用画像処理装置。 - 医用画像データを取得する画像取得部と、
前記医用画像データに含まれるユーザが注目する解剖構造領域を示す画素の情報を注目領域として取得する領域取得部と、
前記医用画像データにおいて、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域を示す画素の情報を第1の背景領域として抽出する第1の抽出部と、
前記医用画像データにおいて、前記注目領域以外の領域であり、かつ、前記第1の背景領域以外の領域を示す画素の情報を第2の背景領域として抽出する第2の抽出部と、
前記注目領域と、前記第1の背景領域と、前記第2の背景領域とに基づいて、機械学習を実行する学習部と、
を備える、医用画像処理装置。 - 前記所定の条件を満たす領域は、前記注目領域の画素に基づいて導出される領域である、請求項1又は2に記載の医用画像処理装置。
- 前記所定の条件を満たす領域は、前記注目領域の画素に基づく画像処理により導出される領域である、請求項3に記載の医用画像処理装置。
- 前記画像処理は、クロージング処理である、請求項4に記載の医用画像処理装置。
- 前記画像処理は、前記医用画像データに含まれる前記注目領域の輪郭から所定の距離以内に存在する画素を当該注目領域に含める処理である、請求項4に記載の医用画像処理装置。
- 前記画像処理は、前記医用画像データに含まれる前記注目領域内の画素から所定の距離以内に存在する画素を当該注目領域に含める処理である、請求項4に記載の医用画像処理装置。
- ユーザが注目する解剖構造領域を示す注目領域の抽出対象となる対象医用画像データを取得し、
医用画像データに含まれる前記注目領域と、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域とを用いて学習された学習済みモデルを用いて、前記対象医用画像データにおける前記注目領域を抽出する、
ことを含む、医用画像処理方法。 - 医用画像データを取得し、
前記医用画像データに含まれるユーザが注目する解剖構造領域を示す画素の情報を注目領域として取得し、
前記医用画像データにおいて、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域を示す画素の情報を第1の背景領域として抽出し、
前記医用画像データにおいて、前記注目領域以外の領域であり、かつ、前記第1の背景領域以外の領域を示す画素の情報を第2の背景領域として抽出し、
前記注目領域と、前記第1の背景領域と、前記第2の背景領域とに基づいて、機械学習を実行する、
ことを含む、医用画像処理方法。 - ユーザが注目する解剖構造領域を示す注目領域の抽出対象となる対象医用画像データを取得する画像取得機能と、
医用画像データに含まれる前記注目領域と、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域とを用いて学習された学習済みモデルを用いて、前記対象医用画像データにおける前記注目領域を抽出する抽出機能と、
をコンピュータに実行させる、医用画像処理プログラム。 - 医用画像データを取得する画像取得機能と、
前記医用画像データに含まれるユーザが注目する解剖構造領域を示す画素の情報を注目領域として取得する領域取得機能と、
前記医用画像データにおいて、前記注目領域以外の領域であり、かつ、所定の条件を満たす領域を示す画素の情報を第1の背景領域として抽出する第1の抽出機能と、
前記医用画像データにおいて、前記注目領域以外の領域であり、かつ、前記第1の背景領域以外の領域を示す画素の情報を第2の背景領域として抽出する第2の抽出機能と、
前記注目領域と、前記第1の背景領域と、前記第2の背景領域とに基づいて、機械学習を実行する学習機能と、
をコンピュータに実行させる、医用画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021195387A JP2023081573A (ja) | 2021-12-01 | 2021-12-01 | 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021195387A JP2023081573A (ja) | 2021-12-01 | 2021-12-01 | 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023081573A true JP2023081573A (ja) | 2023-06-13 |
Family
ID=86728125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021195387A Pending JP2023081573A (ja) | 2021-12-01 | 2021-12-01 | 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023081573A (ja) |
-
2021
- 2021-12-01 JP JP2021195387A patent/JP2023081573A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109712163B (zh) | 冠脉提取方法、装置、图像处理工作站和可读存储介质 | |
US10424067B2 (en) | Image processing apparatus, image processing method and storage medium | |
JP7309986B2 (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
JP2017174039A (ja) | 画像分類装置、方法およびプログラム | |
JP2017035469A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7187244B2 (ja) | 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
US20130135307A1 (en) | Medical image processing apparatus | |
US20180064409A1 (en) | Simultaneously displaying medical images | |
CN115731232A (zh) | 血管图像处理方法、装置、可读存储介质及电子设备 | |
US12062172B2 (en) | Medical image processing apparatus and medical image processing system | |
JP2019115515A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP6934734B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2017000299A (ja) | 医用画像処理装置 | |
US20230260119A1 (en) | Image processing apparatus, image processing method, and computer program product | |
US11995834B2 (en) | Method and system for the automated determination of examination results in an image sequence | |
JP2023152885A (ja) | 医用画像処理装置、医用画像処理方法、及び、医用画像処理プログラム | |
JP2023081573A (ja) | 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム | |
US9727965B2 (en) | Medical image processing apparatus and medical image processing method | |
EP3607527B1 (en) | Quantitative evaluation of time-varying data | |
JP7408381B2 (ja) | 画像処理装置、プログラム及び方法 | |
US20240071069A1 (en) | Medical image processing apparatus | |
JP7433901B2 (ja) | 学習装置及び学習方法 | |
US20240265543A1 (en) | Medical image processing apparatus, method, and storage medium | |
Silva et al. | Processing, visualization and analysis of medical images of the heart: an example of fast prototyping using MeVisLab | |
JP7130449B2 (ja) | 診断支援装置及び診断支援システム |