JP2022072269A - 医用画像処理方法、医用画像処理装置および医用画像処理プログラム - Google Patents

Abstract

【課題】画像として取得した方向とは異なる方向における対象の組織の状況をより適切に把握する。【解決手段】医用画像処理方法は、分析対象の組織を第１軸に沿った互いに異なる位置で撮像することで得られた、第１軸に対する直交断面の複数の画像を構成する複数の画素情報を準備することと、準備した複数の画素情報のうち、第１軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、第１軸を含む平面の画像である第１軸断面の画像に係る画像情報を生成することと、機械学習を用いて、第１軸断面の画像において、分析対象の組織を撮像したと推定される領域を特定することと、を含む。【選択図】図３

Description

本開示は、医用画像処理方法、医用画像処理装置および医用画像処理プログラムに関する。

被験者の組織およびその周辺を撮像した領域から、対象の組織を特定する手法が検討されている。例えば、特許文献１では、全層畳み込みニューラルネットワーク（ＣＮＮ）を用いて、ＭＲＩ画像から解剖学的構造の少なくとも１つの部分をセグメンテーションするようなモデルを作成することが記載されている。

特表２０２０－５１０４６３号公報

しかしながら、ＭＲＩ画像では水平方向の断面についてより詳細な検討ができるものの、例えば、垂直方向における被験者の組織の状況等を把握することが困難である。

本開示は上記を鑑みてなされたものであり、画像として取得した方向とは異なる方向における対象の組織の状況をより適切に把握することが可能な技術を提供することを目的とする。

上記目的を達成するため、本開示の一形態に係る医用画像処理方法は、分析対象の組織を一の方向に沿った互いに異なる位置で撮像することで得られた、第１軸を含む断面の複数の画像を構成する複数の画素情報を準備することと、準備した前記複数の画素情報のうち、前記第１軸に対して交差する第２軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、前記第２軸を含む平面の画像である第２軸断面の画像に係る画像情報を生成することと、機械学習を用いて、前記第２軸断面の画像において、前記分析対象の組織を撮像したと推定される領域を特定することと、を含む。

本開示の一形態に係る医用画像処理装置は、分析対象の組織を一の方向に沿った互いに異なる位置で撮像することで得られた、第１軸を含む断面の複数の画像を構成する複数の画素情報を準備する画像準備部と、準備した前記複数の画素情報のうち、前記第１軸に対して交差する第２軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、前記第２軸を含む平面の画像である第２軸断面の画像に係る画像情報を生成する画像再構成部と、機械学習を用いて、前記第２軸断面の画像において、前記分析対象の組織を撮像したと推定される領域を特定する対象組織特定部と、を含む。

本開示の一形態に係る医用画像処理プログラムは、医用画像処理装置としてコンピュータを機能させるための医用画像処理プログラムであって、分析対象の組織を一の方向に沿った互いに異なる位置で撮像することで得られる、第１軸を含む断面の複数の画像を構成する複数の画素情報を準備することと、準備した前記複数の画素情報のうち、前記第１軸に対して交差する第２軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、前記第２軸を含む平面の画像である第２軸断面の画像に係る画像情報を生成することと、機械学習を用いて、前記第２軸断面の画像において、前記分析対象の組織を撮像したと推定される領域を特定することと、をコンピュータに実行させる。

上記の医用画像処理方法、医用画像処理装置および医用画像処理プログラムによれば、第１軸を含む断面の複数の画像を構成する複数の画素情報から、第２軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、第２軸を含む平面の画像である第２軸断面の画像に係る画像情報が生成される。また、機械学習を用いて、第２軸断面の画像のうち、分析対象の組織を撮像したと推定される領域が特定される。このように、第２軸断面の画像に係る画像情報を生成した上で、当該画像から分析対象の組織を撮像したと推定される領域を特定する構成とすることで、第２軸に沿った方向、すなわち、画像として取得した方向とは異なる方向における対象の組織の状況をより適切に把握することが可能となる。

前記分析対象の組織を撮像したと推定される領域を特定することにおいて、前記第１軸を含む断面の画像に含まれる画素のうち、前記分析対象の組織を撮像したと推定される領域をさらに特定し、前記分析対象の組織を撮像したと推定される領域に係る情報を用いて３次元データを作成することをさらに含む態様とすることができる。

この場合、対象となる組織の３次元データを得ることが可能となるため、第２軸を含めた、対象の組織の３次元の形状をより適切に把握することができる。

前記分析対象の組織は周期的な動作を行う組織であって、前記複数の画素情報を準備することにおいて、１周期中の複数の時点それぞれにおける、前記第１軸を含む断面の複数の画像を構成する複数の画素情報を準備し、前記第２軸断面に対応する画像情報を生成することにおいて、前記複数の時点のそれぞれについて、前記第２軸断面の画像に係る画像情報を生成し、前記分析対象の組織を撮像したと推定される領域を特定することにおいて、前記複数の時点のそれぞれについて、前記第２軸断面の画像のうち、前記分析対象の組織を撮像したと推定される領域を特定し、前記分析対象の組織を撮像したと推定される領域の特定結果から、前記１周期中の前記分析対象の組織の時系列に沿った変化に係る情報を算出することをさらに含む態様とすることができる。

この場合、分析対象が周期的に変化する組織である場合、組織の時系列に沿った変化に係る情報を取得することができるため、第２軸に沿った方向における対象の組織の周期的な変化を適切に把握することが可能となる。

本開示によれば、画像として取得した方向とは異なる方向における対象の組織の状況をより適切に把握することが可能な技術が提供される。

図１は、一実施形態に係る医用画像処理装置の構成を説明するブロック図である。 図２は、医用画像処理装置のハードウェア構成を説明する図である。 図３は、医用画像処理方法を説明するフロー図である。 図４は、水平方向断面の画像について説明する図である。 図５は、水平方向断面の画像において、対象の組織を撮像したと推定される領域をおおまかに特定した結果を示す図である。 図６は、水平方向断面の画像から画像の再構成を行い、その結果得られた垂直方向断面の画像において対象の組織を撮像したと推定される領域を特定する処理について説明する図である。 図７は、ＸＺ画像およびＹＺ画像における特定結果をＸＹ画像の処理に適用する場合について説明する図である。 図８は、組織の垂直方向の変化の一例を示す図である。

以下、添付図面を参照して、本開示を実施するための形態を詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、本開示の一形態に係る医用画像処理装置の構成を説明するブロック図である。本実施形態に係る医用画像処理装置１は、被験者の分析対象の組織（臓器等）を撮像した画像データから、当該臓器に係る特徴量を算出する装置である。対象となる組織（臓器）は、特に限定されないが、例えば、体内に存在する臓器を対象とすることができる。また、対象となる臓器として、特定の周期で動作（変形）する臓器を選択することもできる。このような臓器としては、例えば、心臓（心房または心室）、肺、肝臓、前立腺等が挙げられるが、これらに限定されるものではない。例えば心臓の場合、心拍に対応した周期で繰り返し変形している。医用画像処理装置１では、時系列に沿った変化に着目した特徴量の算出も可能となっている。したがって、特定の周期で繰り返し動作（変形）する組織（臓器）の周期的な変化に着目した特徴量も算出可能である。さらに、医用画像処理装置１は、詳細は後述するが、特に、被験者の体軸方向（垂直方向）の変形に係る特徴量も算出可能となっている。したがって、例えば、右心室のように体軸方向に周期的に変化（変形）する組織を対象とした場合に特に有用である。

対象の組織を心臓とした場合、被験者に係る画像検査、例えば、ＭＲＩ検査では、心臓の短軸のシネ画像が得られる。このシネ画像の断面と平行な方向を第１軸とする。心臓の短軸のシネ画像からは、第１軸に沿った心臓の動きを把握することができる。一方、このシネ画像では、例えば第１軸と直交する方向の心臓の動きを把握することは困難である。以下の実施形態では、第１軸と異なる、例えば、第１軸に垂直な軸（第２軸）の画像をコンピュータで自動的に再構成し、第２軸方向における対象の組織の情報を付加することによって、対象の組織の抽出を行うと共に、対象の組織の情報を把握する。

なお、以下の実施形態では、対象の組織（臓器等）として心臓の右心室を選択した場合を想定して説明する場合がある。右心室は、拍動によって周期的に形状が変化する組織の一種である。そこで、以下の実施形態では、拍動による右心室の形状変化に係る特徴量を、医用画像処理装置１を用いて取得することについて説明する。また、以下の実施形態では、第１軸が水平方向（体軸に対して直交する方向）に延びる軸とし、第２軸が垂直方向（体軸方向）に延びる軸である場合について説明するが、この設定は一例であって、対象となる組織の特性、医用画像処理装置１で利用する画像の取得方法等によって変更され得る。例えば、第１軸と第２軸とが直交しない組み合わせであってもよい。

図１に示すように、医用画像処理装置１は、画像取得部１１（画像準備部）、画像処理部１２、特徴量算出部１３、記憶部１４、および、出力部１５を有する。また、画像処理部１２は、画像再構成部２１および対象組織特定部２２を含む。

医用画像処理装置１のハードウェアは、例えば一つ又は複数の制御用のコンピュータにより構成される。例えば医用画像処理装置１は、図２に示す回路１２０を有する。回路１２０は、一つ又は複数のプロセッサ１２１と、メモリ１２２と、ストレージ１２３と、入出力ポート１２４と、タイマー１２５とを有する。ストレージ１２３は、例えばハードディスク等、コンピュータによって読み取り可能な記憶媒体を有する。記憶媒体は、後述の医用画像処理に係る手順を医用画像処理装置１に実行させるためのプログラム（医用画像処理プログラム）を記憶している。記憶媒体は、不揮発性の半導体メモリ、磁気ディスクおよび光ディスク等の取り出し可能な媒体であってもよい。メモリ１２２は、ストレージ１２３の記憶媒体からロードしたプログラムおよびプロセッサ１２１による演算結果を一時的に記憶する。プロセッサ１２１は、メモリ１２２と協働して上記プログラムを実行することで、上述の各機能部を構成する。入出力ポート１２４は、プロセッサ１２１からの指令に従って、医用画像処理装置１の各機能部との間で電気信号の入出力を行う。タイマー１２５は、例えば一定周期の基準パルスをカウントすることで経過時間を計測する。

図１に戻り、医用画像処理装置１の各機能部について説明する。医用画像処理装置１の画像取得部１１は、外部装置等から特徴量を算出する対象となる被験者の対象の組織（臓器）を撮像した複数の画像データを取得する機能を有する。複数の画像データとは、対象の臓器を撮像した複数の画像データである。複数の画像データは、例えば、被験者の体軸に沿った互いに異なる位置において、体軸に対して直交する平面を撮像した複数の画像データである。このような画像データとしては、例えば、磁気共鳴動画像（ＣＭＲ：Cardiovascular MRI）を用いることができる。より詳細には、シネＭＲＩ画像を用いることができる。ＣＭＲ画像は、一般的に体軸に沿って（一の方向に沿って）複数回の撮像を行うことで、対象の組織（臓器）およびその周辺の立体的な情報を取得する。ただし、画像データの種類は上記に限定されない。また、対象の臓器によって画像データの種類を変更することができる。医用画像処理装置１では、このような体軸および体軸に対して直交する２軸の３軸に係る情報が含まれる複数の画像データを取得し、後段の処理を行う。なお、体軸は一般的に垂直方向に延びるものであり、体軸に直交する平面とは、水平面に相当する。ＣＭＲ画像は被験者の水平方向断面を撮像した画像に相当する。

なお、被験者の対象の臓器の時系列変化を博するために、画像取得部１１が取得する画像データとして、所定の間隔を開けて撮像された複数回の画像データであってもよい。一例として、臓器が周期的に変化をする場合、１周期中の変化を捉えた複数のタイミングで取得された画像データ群を取得してもよい。例えば、対象の臓器が心臓（心房または心室）である場合、１周期（１拍）の間で拡張と収縮とが行われる。したがって、心臓の場合は、拡張期および収縮期を含む複数のタイミングの画像データが特徴量の算出のために準備され、医用画像処理装置１ではこれらの画像データを取得してもよい。

画像処理部１２は、対象の臓器に係る複数の画像データから、他事象の組織に係る特徴量を取得するために画像を再構成し、再構成された画像に含まれる組織を特定する処理を行う機能を有する。画像処理部１２は、画像再構成部２１と、対象組織特定部２２と、を有する。

画像再構成部２１は、対象組織特定部２２における特徴量の算出のために複数の画像データを用いた種々の処理を行う機能を有する。画像再構成部２１は、体軸に対して直交する断面（水平方向断面）の画像に含まれる各画素の情報（画素情報）から、体軸を含む平面（垂直方向を含む断面）に沿った画像を再構成する機能を有する。

また、対象組織特定部２２は、画像再構成部２１において再構成された画像において対象となる組織（臓器等）を特定する機能を有する。

画像再構成部２１と、対象組織特定部２２では、画像情報に含まれる各位置（画素）における輝度情報等を用いた機械学習・統計処理等を用いて、各部の機能を発揮する。詳細については後述するが、機械学習・統計解析等を繰り返し行うことによって、画像処理が行われる。機械学習は、教師あり学習（線形回帰、サポートベクターマシン（ＳＶＭ）、ロジスティック回帰等）、教師なし学習（主成分分析、ｋ－ｍｅａｎｓ法等）、強化学習、ディープラーニング（ニューラルネットワーク等）、深層強化学習等が含まれ得る。また統計解析手法の一種とされる主成分分析、クラスタリング等も本実施形態では「機械学習」に含まれることとする。以降の説明では、機械学習・統計解析等をまとめて「機械学習等」として説明する。機械学習等を利用する場合、利用するデータの種類・数等に応じて適切な手法が選択されてよい。

特徴量算出部１３は、画像処理部１２において処理された後の画像から、予め設定された特徴量を算出する機能を有する。特徴量としては、例えば、ある時間における対象の組織（臓器等）の大きさ、形状、容量や、これらの時間的な変化率の差や変化のタイミングの差等に係る各種パラメータが挙げられる。特徴量を算出する場合にも、機械学習・統計処理等を用いてもよい。なお、特徴量算出部１３は、画像取得部１１で取得された画像から、予め設定された特徴量を算出する機能を有していてもよい。

記憶部１４は、画像取得部１１において取得された画像データ、画像処理部１２により再構成された画像データ、特徴量算出部１３による解析結果等を記憶する機能を有する。

出力部１５は、特徴量算出部１３による算出結果を出力する機能を有する。出力先としては、医用画像処理装置１に設けられたモニタ、外部装置等が挙げられる。また、出力内容等は特に限定されず、例えば、特徴量算出部１３により算出された特徴量をそのまま出力する態様としてもよいし、算出された特徴量に基づいて何らかの評価を行いその結果を出力する態様としてもよい。特徴量に基づく評価等を行う場合には、評価を行うためのロジック等を記憶部１４において保持し、特徴量を算出した後に当該ロジックを用いて評価を行うこととしてもよい。さらに、出力部１５は、画像処理部１２により再構成された画像データ、画像処理部１２によって組織が特定された画像データ等を出力する機能を有していてもよい。また、出力部１５は、画像処理部１２によって組織が特定された画像データから３次元データを生成して出力する構成としてもよい。

次に、図３～図６を参照しながら、医用画像処理装置１による対象の組織（臓器）を撮像した複数の画像データについての画像処理（画像再構成）および特徴量算出の手順について説明する。図３は、医用画像処理装置１において行われる特徴量の算出に係る処理を説明するフロー図である。

まず、医用画像処理装置１では、画像取得部１１により、対象の組織（臓器）を含む領域を撮像した複数の画像データを取得する（ステップＳ０１：画像取得ステップ）。画像取得部１１が取得する画像データの例を図４に示す。図４は、画像取得ステップにおいて得られる複数の画像データを画像として構成した状態を模式的に示している。複数の画像データは、例えば同時刻（もしくは同時刻とみなせる程度の期間内）に取得される。複数の画像とは、体軸（Ｚ軸）に沿って、体軸に対して直交するＸＹ平面（水平面）を撮像した画像であって、Ｚ軸に沿った異なる位置で撮像を行ったデータである。なお、ＸＹ軸は任意の方向とすることができるが、一例として、図４に示すように、Ｘ軸を被験者の左右方向とし、Ｙ軸を被験者の前後方向としてもよい。

また、組織の周期的な変形等を観察する場合、時系列ｔに沿って複数回の複数の画像データを取得することが必要となる。一例として、図４では、時刻ｔ１，ｔ２，ｔ３の３回に、同一の条件でそれぞれ複数の画像データを取得したことを示している。例えば、時刻ｔ１には、体軸（Ｚ軸）に沿って水平方向の断面の画像Ｐ１_１，Ｐ１_２，…Ｐ１_ｎが取得され、時刻ｔ２には、体軸（Ｚ軸）に沿って水平方向の断面の画像Ｐ２_１，Ｐ２_２，…Ｐ２_ｎが取得され、時刻ｔ３には、体軸（Ｚ軸）に沿って水平方向の断面の画像Ｐ３_１，Ｐ３_２，…Ｐ３_ｎが取得されるとする。各画像は、体軸に対して直交する面に沿って撮像されたものであり、例えば、図５に示す画像Ｐ１に対応するものである。一例として、これらの水平方向の断面の画像には、ＸＹ方向にそれぞれ２５６画素の画素情報が含まれる。画像Ｐ１_１，Ｐ１_２，…Ｐ１_ｎは、体軸に対して直交する互いに平行な断面を撮像したものであり、水平方向（Ｘ軸方向およびＹ軸方向）では同じ位置を撮像したものである。

同じ位置として、例えば、Ｘ軸方向には、位置ｘ１～位置ｘｌにそれぞれｌ個の画素が設けられ、Ｙ軸方向には、位置ｙ１～位置ｙｍにそれぞれｍ個の画素が設けられているとする。この場合、画像Ｐ１_１が、例えばＺ＝ｚ１における水平面の画像である場合、画像Ｐ１_１の画像データを構成する画素の配置は、例えば、座標（ｘ１～ｘｌ、ｙ１～ｙｍ，ｚ１）として表現することができる。同様に、画像Ｐ１_ｎが、例えばＺ＝ｚｎにおける水平面の画像である場合、画像Ｐ１_ｎの画像データを構成する画素の配置は、例えば、座標（ｘ１～ｘｌ、ｙ１～ｙｍ，ｚｎ）として表現することができる。上記のように、ＸＹ方向にそれぞれ２５６画素の画素情報が含まれる場合、ｌ＝ｍ＝２５６となる。

なお、時系列に沿って複数回撮像を行う場合、撮像の間隔・回数等は対象の組織に応じて適宜変更される。例えば、心臓の心拍の１周期内に複数回撮像されるように、撮像の回数・間隔が設定されてもよい。

次に、医用画像処理装置１では、画像処理部１２の画像再構成部２１により、画像から画像再構成を行う対象となる組織を撮像したと推定されるおおよその領域（おおまかな領域）を特定する（ステップＳ０２）。「おおよその領域」とするのは、この段階で特定した領域を基準として後段の処理での画像再構成を行うためである。したがって、「おおよその領域」は、対象の組織を撮像した領域全体が含まれているように設定されているとよい。図５では、上記の「おおよその領域」を特定する際のイメージを示している。図５では、例えば、画像Ｐ１において、領域Ａ１が「おおよその領域」に相当する。領域Ａ１中の輝度が高い（白っぽい）領域が対象の組織を撮像した領域であると推定されるが、対象の組織を撮像した領域全体をカバーするように領域Ａ１が「おおよその領域」として設定されていてもよい。「おおよその領域」の特定方法としては、画像中の輝度の差に基づいて、対象の組織を撮像した「おおよその領域」を特定する手法が挙げられる。なお、対象の組織を撮像したおおよその領域を特定する手法として、機械学習等を用いてもよい。一例として、画像再構成部２１では、予め「おおよその領域」が特定された複数の画像を教師データとして準備し、これらの画像から対象のおおよその領域を特定するための基準を学習してもよい。一例として、「おおよその領域」が特定された複数の画像を利用して、「おおよその領域」を撮像した画素と、その他の画素とを区別するための特徴量を設定し、これを用いて「おおよその領域」を撮像した画とその他の画素とを区別するための特徴空間を設定してもよい。また、学習に基づいて被験者の画像から対象の「おおよその領域」を特定してもよい。機械学習等を用いる場合に、各画素の輝度情報を調整するような前処理を行ってもよい。

次に、医用画像処理装置１では、画像処理部１２の画像再構成部２１により、おおよその領域が特定された画像について、画像の再構成を行う（ステップＳ０３）。この画像再構成は、ＸＹ平面に沿って撮像された画像群から、ＸＺ平面またはＹＺ平面に対応する画像群を生成するものである。

ここでは、画像Ｐ１_１～Ｐ１_ｎを用いて説明する。画像Ｐ１_１～Ｐ１_ｎは、それぞれ、図４で示すＸＹＺ軸を用いて、各画像が撮像している領域（画素の位置）を３次元座標を用いて示すと、例えば、以下の通りとされる（ｌ，ｍ，ｎはそれぞれ自然数）。
Ｐ１_１；（ｘ１，ｙ１，ｚ１）…（ｘｌ，ｙｍ，ｚ１）
Ｐ１_２；（ｘ１，ｙ１，ｚ２）…（ｘｌ，ｙｍ，ｚ２）
Ｐ１_３；（ｘ１，ｙ１，ｚ３）…（ｘｌ，ｙｍ，ｚ３）
…
Ｐ１_ｎ；（ｘ１，ｙ１，ｚｎ）…（ｘｌ，ｙｍ，ｚｎ）

これらの画像に含まれる各画素の情報から、例えば、ＸＺ平面に沿った画像を再構成するとする。このとき、ＸＺ平面に沿った画像は、Ｙ座標を一定として、Ｘ，Ｚ座標を互いに異ならせた画素の情報を組み合わせることで構成することができる。Ｙ軸が１～ｍまで変化する場合、例えば、再構成画像として、ｍ枚の画像Ｐ１_ｙ１～Ｐ１_ｙｍを生成することができる。
Ｐ１_ｙ１；（ｘ１，ｙ１，ｚ１）…（ｘｌ，ｙ１，ｚｎ）
Ｐ１_ｙ２；（ｘ１，ｙ２，ｚ１）…（ｘｌ，ｙ２，ｚｎ）
Ｐ１_ｙ３；（ｘ１，ｙ３，ｚ１）…（ｘｌ，ｙ３，ｚｎ）
…
Ｐ１_ｙｍ；（ｘ１，ｙｍ，ｚ１）…（ｘｌ，ｙｍ，ｚｎ）

ＹＺ平面に沿った画像の再構成も、同様に行うことができる。ＹＺ平面に沿った画像は、Ｘ座標を一定として、Ｙ，Ｚ座標を互いに異ならせた画素の情報を組み合わせることで構成することができる。Ｘ軸が１～ｌまで変化する場合、例えば、再構成画像として、ｌ枚の画像Ｐ１_ｘ１～Ｐ１_ｘｌを生成することができる。
Ｐ１_ｘ１；（ｘ１，ｙ１，ｚ１）…（ｘ１，ｙｍ，ｚｎ）
Ｐ１_ｘ２；（ｘ２，ｙ１，ｚ１）…（ｘ２，ｙｍ，ｚｎ）
Ｐ１_ｘ３；（ｘ３，ｙ１，ｚ１）…（ｘ３，ｙｍ，ｚｎ）
…
Ｐ１_ｘｌ；（ｘｌ，ｙ１，ｚ１）…（ｘｌ，ｙｍ，ｚｎ）

このように、Ｚ軸に沿ったｎ枚の画像に含まれる各画素の情報について、１枚の画像に含まれる画素情報の組み合わせを変更することによって、垂直方向（Ｚ軸）を含む平面に係る断面の画像として、ＸＺ画像またはＹＺ画像を再構成することができる。

なお、上述のように全ての条件を変更しながら全パターンで２平面での画像の再構成を行うと、ｍ＋ｌパターンの再構成画像が生成され得る。さらに、時系列に沿って複数（例えば、ｔ回の撮像を行った場合）の画像を撮像する場合、（ｍ＋ｌ）×ｔパターンの再構成画像が生成され得る。このとき、このステップでは、上記の全パターンでの画像の再構成を行うことに代えて、その一部のみ画像を再構成する構成としてもよい。例えば、Ｙ座標が特定の値のＸＺ平面について画像再構成を行ってもよいし、Ｘ座標が特定の値のＹＺ平面について画像再構成を行ってもよい。画像の再構成を行う対象は、例えば、装置のユーザ（操作者）によって指定されてもよいし、予め定められたルールに基づいて画像処理部１２の画像再構成部２１においてどの平面の画像を再構成するか決定してもよい。なお、３次元データを作成することを想定している場合、対象の組織の形状をより正確に把握するために、複数のパターンでの画像の再構成を行うこととしてもよい。

次に、医用画像処理装置１では、画像処理部１２の対象組織特定部２２において、画像再構成部２１によって再構成された画像（ＸＺ画像、ＹＺ画像）から、対象となる組織を撮像した領域を特定する（ステップＳ０４）。

対象となる組織を撮像した領域の特定方法としては、画像中の輝度の差に基づいて、対象の組織を撮像した領域を特定する手法が挙げられる。なお、対象の組織を撮像した領域を特定する手法として、機械学習等を用いてもよい。一例として、画像再構成部２１では、予め対象の組織を撮像した領域」が特定された複数の画像を教師データとして準備し、これらの画像から対象を撮像した領域を特定するための基準を学習してもよい。また、学習に基づいて被験者の画像から対象を撮像した領域を特定してもよい。機械学習等を用いる場合に、各画素の輝度情報を調整するような前処理を行ってもよい。なおこのステップＳ０４で用いる機械学習等は、他のステップで用いる機械学習等とは異なるものであってもよい。また、機械学習等で用いる教師データは、例えば、ＸＺ画像、ＹＺ画像等に応じて異なるものであってもよい。

ステップＳ０３およびステップＳ０４における処理結果の一例を図６に示す。図６に示す画像Ｐ１は、図５に示す画像Ｐ１と同じであり、おおよその領域Ａ１が特定されているとする。この画像Ｐ１は上述のＸＹ画像に相当する。なお、画像Ｐ１は、横方向にＹ軸が延び縦方向にＸ軸が延びている画像である（画像Ｐ１の左下参照）。

ここで、例えば、領域Ａ１の重心ＡＣを通る断面に沿って、ＸＺ画像およびＹＺ画像を再構成したとする。重心ＡＣの位置は３次元座標で特定され得るので、この重心ＡＣの座標と同じＸ値またはＹ値を持つ平面を撮像した画素の情報を組み合わせることで、再構成画像を得ることができる。

画像Ｐ２は、画像Ｐ１における破線Ｌ１に沿ったＸＺ画像であり、画像Ｐ３は、画像Ｐ１における破線Ｌ２に沿ったＹＺ画像である。それぞれ、重心ＡＣを通る断面における再構成画像である。なお、時系列に沿って複数回画像を取得している場合には、各図で重心を算出するのではなく、複数回の画像のうちの特定のタイミングの画像データにおける重心ＡＣを通るような平面の画像を各回のそれぞれについて再構成する。すなわち、時系列に沿った複数回の画像データそれぞれについて、同一の重心座標を用いて、ＸＺ画像およびＹＺ画像の再構成を行う。この結果、時系列に沿って同一断面における対象の組織の形状変化を特定することが可能となる。

画像Ｐ４は、画像Ｐ２において対象の組織を撮像した領域を抽出した画像である。また、画像Ｐ５は、画像Ｐ３において対象の組織を撮像した領域を抽出した画像である。画像Ｐ４，Ｐ５は、いずれも対象組織を撮像したと特定された領域の輝度を高くして表示しているため、画像Ｐ２，Ｐ３と比べて特定された領域が白くなっている。

次に、医用画像処理装置１では、画像処理部１２の対象組織特定部２２において、画像再構成部２１によって再構成を行う際に使用した元画像、すなわち、ＸＹ平面に沿ったＸＹ画像についても、必要に応じて、対象となる組織を撮像した領域を特定する（ステップＳ０５）。

これまでのステップでは、ＸＹ画像については対象の組織を撮像した「おおよその領域」の特定（ステップＳ０２）のみが行われている。したがって、ＸＹ画像についても、機械学習等を用いて改めて対象の組織を撮像した領域を特定してもよい。対象となる組織を撮像した領域の特定方法としては、画像中の輝度の差に基づいて、対象の組織を撮像した領域を特定する手法が挙げられる。また、他の平面の画像と同様に、対象の組織を撮像した領域を特定する手法として、機械学習等を用いてもよい。

なお、このステップは、後段で算出する特徴量の種類等に応じて省略されてもよい。すなわち、ＸＹ画像については対象の組織を撮像した領域の特定が不要であると判断される場合には、この処理は省略してもよい。

次に、画像再構成部２１によって再構成を行う際に使用した元画像、すなわち、ＸＹ平面に沿ったＸＹ画像についても、必要に応じて、対象となる組織を撮像した領域を特定する（ステップＳ０５）。

これまでのステップでは、ＸＹ画像については対象の組織を撮像した「おおよその領域」の特定（ステップＳ０２）のみが行われている。したがって、ＸＹ画像についても、機械学習等を用いて改めて対象の組織を撮像した領域を特定してもよい。対象となる組織を撮像した領域の特定方法としては、画像中の輝度の差に基づいて、対象の組織を撮像した領域を特定する手法が挙げられる。また、他の平面の画像と同様に、対象の組織を撮像した領域を特定する手法として、機械学習等を用いてもよい。

ＸＺ画像またはＹＺ画像について、対象を撮像した領域を特定（ステップＳ０４）の後に、ＸＹ画像について、対象を撮像した領域を特定（ステップＳ０５）する構成とすることで、対象を撮像した領域の特定に係る精度が向上する場合がある。この点について、図７を参照しながら説明する。

図７では、時系列ｔに沿って２０回（２０フレーム）撮像が行われた場合であって、各回について、Ｚ軸（体軸）に沿って１５枚（１５スライス）の画像が取得されていたとする。なお、ＸＹ平面の画素数は，例えば、２５６×２５６画素とすることができる。図７では、１つの画像を１つのセルＣとして示している。ここでは、１５セルを表示することに代えて４セルのみ示している。このような条件において、ＸＹ画像について対象の組織を撮像した領域を特定する場合、通常は全画像、すなわち、１５×２０個の画像について、対象を撮像した領域を特定することになる。

しかしながら、ＸＺ画像およびＹＺ画像において、対象の組織を撮像した領域を特定した結果、Ｚ軸方向のどの範囲に対象の組織を撮像した領域が存在するかを推定した結果が得られることになる。したがって、１５×２０個の画像のうち、対象の組織を撮像した領域が存在すると想定される画像を特定することができる。図７では、対象の組織を撮像した領域が存在すると想定される画像に対応するセルＣについてはハッチングを施している。このように、対象の組織を撮像した領域が存在すると想定される画像を予め特定しておくことで、特定されたＸＹ画のみ像を対象として対象の組織を撮像した領域を特定する処理を行うことができる。このような処理の流れとすることで、対象の組織を撮像した領域が存在しないと推定される画像について、対象の組織を撮像した領域を特定する処理を行わない構成とすることができる。そのため、誤検出を防ぐことができるとともに、作業性が向上する。

なお、このステップは、後段で算出する特徴量の種類等に応じて省略されてもよい。すなわち、ＸＹ画像については対象の組織を撮像した領域の特定が不要であると判断される場合には、この処理は省略してもよい。

次に、医用画像処理装置１では、特徴量算出部１３において、対象の組織を撮像したと特定された領域に基づいて、特徴量を算出する（ステップＳ０６）。撮像した画像（ＸＹ画像）および再構成した画像（ＸＺ画像、ＹＺ画像）からどのような特徴量を算出するかは、対象の組織の種類または分析対象となる疾患等に応じて設定され得る。したがって、特徴量の算出対象・算出方法は、適宜変更され得る。

図８は画像Ｐ５に対応する画像（ＹＺ画像）と、同一の条件で時系列が後の画像Ｐ５’とを２つ並べた状態を示している。画像Ｐ５は、対象となる右心室の拡張期の画像に対応し、画像Ｐ５’は収縮期の画像に対応する。画像Ｐ５と画像Ｐ５’とは隣接した状態で示している。画像Ｐ５と画像Ｐ５’とを比較すると、対象の組織のＺ方向の大きさ（図中の白線で示す領域）が変化していることが確認される。このように、Ｚ軸を含む平面の画像を用いると、Ｚ軸方向に沿った組織の変化（臓器の変形等）を検出しやすくなる。また、画像に基づいた特徴量の算出も可能となるため、定量的な評価がしやすくなる。

図３に戻り、医用画像処理装置１の出力部１５では、上記の処理によって算出された特徴量に係る結果を出力する（ステップＳ０７）。出力する結果とは、上記の処理で算出された特徴量であってもよいし、特徴量に基づいて評価を行う場合、その評価結果であってもよい。

出力部１５から結果を出力する際には、上述した様に種々の評価・データ加工等を行ってもよい。一例として、ＸＺ画像、ＹＺ画像、およびＸＹ画像のそれぞれにおいて、対象の組織を撮像した領域を特定する処理を行った場合、これらの特定結果に基づいて、３次元データを作成する構成としてもよい。上記の３種類の画像において、各軸に沿って互いに異なる複数の位置で得られた画像を取得または再構成し、さらに、それぞれについて、対象の組織を撮像した領域を特定する処理を行うことで、対象の組織を撮像した領域を３次元的に把握することができる。この場合、３次元として把握できた情報を組み合わせて３次元データとして出力する構成とした場合、ユーザは組織の形状を立体的に把握することが可能となる。

また、時系列に沿って複数回撮像された画像を用いて上記の処理を行った場合、特徴量の算出（ステップＳ０６）において、特徴量の時系列に応じた変化に係る情報を得ることが可能となる。その場合、時系列に沿った画像が１周期以上にわたって取得されている場合、特徴量の周期的な変化を得ることができる。したがって、この周期的な変化に関する情報（例えば、最大値・最小値等）を算出して出力する構成とすることとしてもよい。

なお、心臓の心室を撮像した画像を用いた場合、時系列に沿って変化する心室の体軸方向の大きさの変化は、心疾患または関連する疾患の分析に有用である可能性がある。例えば、心臓（右心室）のリモデリングが発生している場合、拍動に伴う形状の変化は有用な情報となり得る。したがって、周期的な組織の変化に係る特徴量を取得することで、右心室の形状の変化をより適切に把握できる可能性がある。

［作用］
上記の医用画像処理方法、医用画像処理装置および医用画像処理プログラムによれば、水平方向断面（第１軸を含む断面）の複数の画像を構成する複数の画素情報から、垂直方向（第２軸）を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、第垂直方向を含む平面の画像である垂直方向断面（第２軸断面）の画像に係る画像情報が生成される。また、機械学習を用いて、垂直方向断面の画像のうち、分析対象の組織を撮像したと推定される領域が特定される。このように、垂直方向断面の画像に係る画像情報を生成した上で、当該画像から分析対象の組織を撮像したと推定される領域を特定する構成とすることで、垂直方向、すなわち、画像として取得した方向とは異なる方向における対象の組織の状況をより適切に把握することが可能となる。

従来から、シネＭＲＩ画像等を利用して、対象の組織に係る分析が行われている。しかしながら、体軸に沿った垂直方向（第２軸の延在方向）の組織の変形等を把握する場合には、一般的に水平方向（第１軸の延在方向）の断面の画像に基づいて推定する必要があった。垂直方向の組織の断面を得ることは難しく、水平方向の断面の画像からより正確に垂直方向の組織の形状を把握することが求められていた。これに対して、上記の手法によれば、水平方向断面画像に含まれる情報を用いて垂直方向断面の画像を生成し、さらにこの垂直方向断面の画像から機械学習を用いて分析対象の組織を撮像したと推定される領域が特定される。機械学習を用いて領域の特定を行うため、例えばユーザが個別に領域を特定する場合と比較して、速やかに且つ精度良く特定を行うことができる。このため、垂直方向における組織の形状をより正確に把握することが可能となる。

また、分析対象の組織を撮像したと推定される領域を特定することでは、水平方向断面の画像についても分析対象の組織を撮像したと推定される領域をさらに特定してもよい。このとき、領域の特定結果を用いて、組織に係る３次元データを作成してもよい。この場合、対象となる組織の３次元データを得ることが可能となるため、垂直方向、すなわち、画像として取得した方向とは異なる方向を含んだ対象の組織の３次元の形状をより適切に把握することができる。

また、分析対象の組織は周期的な動作を行う組織である場合、１周期中の複数の時点それぞれにおける水平方向断面の複数の画像を構成する複数の画素情報を準備してもよい。また、複数の時点のそれぞれにおいて、垂直方向断面の画像に係る画像情報を生成し、領域の特定を行ってもよい。さらに、特定結果から、１周期中の分析対象の組織の時系列に沿った変化に係る情報を算出してもよい。この場合、分析対象が周期的に変化する組織である場合、組織の時系列に沿った変化に係る情報を取得することができるため、垂直方向、すなわち、画像として取得した方向とは異なる方向における対象の組織の周期的な変化を適切に把握することが可能となる。

本開示は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の開示を形成できる。

例えば、上記実施形態では、被験者の対象の組織（臓器）を撮像した画像がシネＭＲＩ画像である場合について説明したが、組織の特定方向の断面を撮像した画像であればよく、画像の種類は限定されない。また、被験者の対象の組織（臓器）を撮像した第１軸を含む画像は、第１軸に沿って互いに異なる位置で撮像されたものであってもよいが、第１軸に対して傾いた方向（一の方向）に沿って互いに異なる位置で撮像されたものであってもよい。さらに、第１軸と第２軸とは互いに交差していればよく、上記実施形態で説明したように「直交」に限定されない。上記実施形態で説明した構成は、第１軸と第２軸とが直交していない場合にも適用できる。

また、上記実施形態では、複数のステップにおいて機械学習等を用いる場合について説明したが、分析対象の組織を撮像した領域を特定する場合を除いて、機械学習とは異なる手法を用いてもよい。また、上記実施形態で説明したおおまかな領域の特定（ステップＳ０２）は行わない構成としてもよい。このように、上記実施形態で説明した手順は適宜変更され得る。

１…医用画像処理装置、１１…画像取得部、１２…画像処理部、１３…特徴量算出部、１４…記憶部、１５…出力部、２１…画像再構成部、２２…対象組織特定部。

Claims (5)

1. 分析対象の組織を一の方向に沿った互いに異なる位置で撮像することで得られた、第１軸を含む断面の複数の画像を構成する複数の画素情報を準備することと、
   準備した前記複数の画素情報のうち、前記第１軸に対して交差する第２軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、前記第２軸を含む平面の画像である第２軸断面の画像に係る画像情報を生成することと、
   機械学習を用いて、前記第２軸断面の画像において、前記分析対象の組織を撮像したと推定される領域を特定することと、
   を含む、医用画像処理方法。
2. 前記分析対象の組織を撮像したと推定される領域を特定することにおいて、前記第１軸を含む断面の画像に含まれる画素のうち、前記分析対象の組織を撮像したと推定される領域をさらに特定し、
   前記分析対象の組織を撮像したと推定される領域に係る情報を用いて３次元データを作成することをさらに含む、請求項１に記載の医用画像処理方法。
3. 前記分析対象の組織は周期的な動作を行う組織であって、
   前記複数の画素情報を準備することにおいて、１周期中の複数の時点それぞれにおける、前記第１軸を含む断面の複数の画像を構成する複数の画素情報を準備し、
   前記第２軸断面に対応する画像情報を生成することにおいて、前記複数の時点のそれぞれについて、前記第２軸断面の画像に係る画像情報を生成し、
   前記分析対象の組織を撮像したと推定される領域を特定することにおいて、前記複数の時点のそれぞれについて、前記第２軸断面の画像のうち、前記分析対象の組織を撮像したと推定される領域を特定し、
   前記分析対象の組織を撮像したと推定される領域の特定結果から、前記１周期中の前記分析対象の組織の時系列に沿った変化に係る情報を算出することをさらに含む、請求項１または２に記載の医用画像処理方法。
4. 分析対象の組織を一の方向に沿った互いに異なる位置で撮像することで得られた、第１軸を含む断面の複数の画像を構成する複数の画素情報を準備する画像準備部と、
   準備した前記複数の画素情報のうち、前記第１軸に対して交差する第２軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、前記第２軸を含む平面の画像である第２軸断面の画像に係る画像情報を生成する画像再構成部と、
   機械学習を用いて、前記第２軸断面の画像において、前記分析対象の組織を撮像したと推定される領域を特定する対象組織特定部と、
   を含む、医用画像処理装置。
5. 医用画像処理装置としてコンピュータを機能させるための医用画像処理プログラムであって、
   分析対象の組織を一の方向に沿った互いに異なる位置で撮像することで得られる、第１軸を含む断面の複数の画像を構成する複数の画素情報を準備することと、
   準備した前記複数の画素情報のうち、前記第１軸に対して交差する第２軸を含む同一平面に含まれる画素に係る画素情報を組み合わせることで、前記第２軸を含む平面の画像である第２軸断面の画像に係る画像情報を生成することと、
   機械学習を用いて、前記第２軸断面の画像において、前記分析対象の組織を撮像したと推定される領域を特定することと、
   をコンピュータに実行させる、医用画像処理プログラム。

Images