JP2023033234A - データ拡張方法、データ拡張装置及びプログラム - Google Patents

Abstract

【課題】学習性能を向上させることが可能な拡張データセットを生成すること。【解決手段】実施形態のデータ拡張方法は、解剖学的構造が描出された解剖学的構造データのデータ拡張方法であって、データセット取得ステップと、データセット分割ステップと、データセット変換ステップと、データセット合成ステップとを含む。データセット取得ステップは、解剖学的構造データセットを取得する。データセット分割ステップは、二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割する。データセット変換ステップは、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれるサブデータをデータセット変換して、変換データセットを生成する。データセット合成ステップは、生成された前記変換データセットとを合成して、拡張データセットを生成する。【選択図】図３

Description

本明細書及び図面に開示の実施形態は、データ拡張方法、データ拡張装置及びプログラムに関する。

現在、ディープラーニング又は機械学習は、多くの医療関連タスクにおいてうまく適用されている。しかしながら、このような技術は、オーバーフィッティング（過学習）を回避するために、ビッグデータの多様性と量に大きく依存している。

データ拡張（Data Augmentation）には、学習データセットの多様性と量を拡張して、より良いディープラーニングモデルを構築できるという一連の技術が含まれている。そのうち、有用な技術の１つは、画像をブレンド（合成）することである。図１は、従来の画像ブランディング法の概要を説明するためのフローチャートである。画像をブレンドする手順としては、図１に示す如く、おおまかに、サブ画像の取得、互いに重複する領域を有する複数の画像（重複画像）の生成、重複画像に対するレジストレーション、レジストレーションされた重複画像に対するファインレジストレーション、サブ画像のキャリブレーション、キャリブレーションされたサブ画像の融合、およびブレンディング画像としての融合された画像の出力となっている。しかし、実際の応用では、画像ブレンディング法にはいくつかの問題がある。

まず、医用画像の場合、医用画像にとって有意義な、複数の部分を含む解剖学的構造の特徴は考慮されていないため、解剖学的構造は新しい拡張データセットで破壊されやすい。例えば、図２に示すように、肺全体は、５つの肺葉からなる複数の部分を含む解剖学的構造となっている。各肺葉は、独立した器官であり、それぞれは特定のテクスチャ分布などを有し、肺全体のサブ部分の一つである。従来の画像ブレンディング法を適用すると、肺葉内の何らかの有用な特徴が失われてしまい、ディープラーニングモデル学習（訓練）により得られるのは解剖学的構造の特徴を失った結果であり、臨床的に実用に耐えない。

次に、新たな拡張データセットと元のデータセットとの間で類似した強度およびテクスチャ分布を持つことは難しい。現在、ほとんどの方法は、画像をランダムにブレンドすることであり、その結果、ブレンディング部分には、元の画像と拡張画像との間で、明確な強度およびテクスチャ分布などの関係がない。このようなブレンディング画像は、人間の視覚観察には奇妙に見え、ユーザは、その実用性の有無を確認することができない。実際に、このようなブレンディング画像は、実用性を持たないことが多い。

さらに、新たな拡張データセットには、十分な新たな有効な画像特徴が生成されていない。ブレンディング画像における画像特徴の多くは、元のデータから得られるものである。このように、新たに生成された有効な画像特徴が多ければ多いほど、ブレンディング画像は有意義である。ディープラーニング学習にとって、様々な有効な画像特徴は、モデルの汎化性能を向上させることができる。

このように、従来の上述したデータ拡張方法を実行する医用画像処理装置は、性能をより一層向上させる必要がある。

国際公開第２０１６／０４５５７４号 中国特許出願公開第１０８９２１８１７号明細書 特開２０２０－０６０８８３号公報 特開２０２０－０７５０６３号公報 特開２０２０－０９３０８３号公報 特開２０１１－２００６２５号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、学習性能を向上させることが可能な拡張データセットを生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。

実施形態のデータ拡張方法は、解剖学的構造が描出された解剖学的構造データのデータ拡張方法であって、データセット取得ステップと、データセット分割ステップと、データセット変換ステップと、データセット合成ステップとを含む。データセット取得ステップは、前記解剖学的構造に関連する解剖学的構造データセットを取得する。データセット分割ステップは、前記解剖学的構造を構成するサブ部分毎に、取得された前記解剖学的構造データセットに含まれる少なくとも二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割する。データセット変換ステップは、前記少なくとも二つの前記解剖学的構造データのうち、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成する。データセット合成ステップは、前記参照データセットに含まれる少なくとも一つの参照データと、生成された前記変換データセットとを合成して、拡張データセットを生成する。

図１は、従来の画像ブランディング法の概要を説明するためのフローチャートである。 図２は、第１の実施形態に係る肺の構造を示す概略図である。 図３は、第１の実施形態に係るデータ拡張法の概略フローチャートである。 図４は、第１の実施形態のデータ拡張方法を説明するための概略図である。 図５は、第１の実施形態のステップ２００に係るデータセットグループ化処理の一例を説明するための図である。 図６は、第１の実施形態に係るデータセット分割処理の一例を説明するためのフローチャートである。 図７は、第１の実施形態に係るデータセット変換処理およびデータセット合成処理の一例の概要を説明するためのフローチャートである。 図８は、第１の実施形態に係るデータセット変換処理における三次元変形の一例を説明するためのフローチャートである。 図９は、第１の実施形態に係る合成処理の一例を説明するためのフローチャートである。 図１０は、第２の実施形態のデータ拡張方法を説明するための概略図である。 図１１は、第２の実施形態に係る合成処理の一例を説明するための図である。 図１２は、第３の実施形態のデータ拡張方法を説明するための概略図である。 図１３は、第４の実施形態に係るデータ拡張装置の構成の一例を示す図である。

以下で説明する実施形態に係るデータ拡張方法は、解剖学的構造が描出された解剖学的構造データのデータ拡張方法であって、前記解剖学的構造に関連する解剖学的構造データセットを取得するデータセット取得ステップと、前記解剖学的構造を構成するサブ部分毎に、取得された前記解剖学的構造データセットに含まれる少なくとも二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割するデータセット分割ステップと、前記少なくとも二つの前記解剖学的構造データのうち、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成するデータセット変換ステップと、前記参照データセットに含まれる少なくとも一つの参照データと、生成された前記変換データセットとを合成して、拡張データセットを生成するデータセット合成ステップと、を含む。

また、データ拡張方法は、所定の条件に基づいて、取得された前記解剖学的構造データセットに含まれる複数の解剖学的構造データのそれぞれが二つ以上のデータグループのうちのいずれかのデータグループに属するように、前記複数の解剖学的構造データをグループ化するデータセットグループ化ステップをさらに含み、前記データセット分割ステップにおいて、前記データグループ毎に、前記データグループに属する前記少なくとも二つの解剖学的構造データをそれぞれサブデータセットに分割し、前記データセット変換ステップにおいて、前記二つ以上のデータグループのうち、一のデータグループに属する前記一の解剖学的構造データのサブデータセットを前記参照データセットとして、他のデータグループに属する前記他の解剖学的構造データのサブデータセットに含まれる前記少なくとも一つのサブデータをデータセット変換して、前記変換データセットを生成してもよい。

また、データ拡張方法の前記データセット取得ステップにおいて、さらに、前記解剖学的構造データセットに対応するマーキングデータセットを取得し、前記マーキングデータセットは、前記サブ部分毎に、前記解剖学的構造データセットをマーキングしてもよい。

また、データ拡張方法の前記データセット分割ステップにおいて、前記マーキングデータセットに基づいて、前記少なくとも二つの解剖学的構造データセットをそれぞれサブデータセットに分割してもよい。

また、データ拡張方法の前記データセット取得ステップにおいて、さらに、前記解剖学的構造データセットに対応するマーキングデータセットを取得し、前記データセット分割ステップにおいて、前記マーキングデータセットに基づいて、前記データグループ毎に、前記データグループに属する前記少なくとも二つの解剖学的構造データをそれぞれサブデータセットに分割してもよい。

また、データ拡張方法において、前記サブデータセットは、前記サブ部分のサブデータと、隣接する前記サブ部分同士間の重複部分のデータとを含んでもよい。

また、データ拡張方法の前記データセット変換ステップにおいて、前記少なくとも二つの解剖学的構造データのうち、前記一の解剖学的構造データの第１のサブ部分のサブデータを含むサブデータセットを前記参照データセットとして、前記他の前記解剖学的構造データの前記サブデータセットにおける前記第１のサブ部分のサブデータを、正規化および／またはデータレジストレーションして、前記変換データセットを生成してもよい。

また、前記解剖学的構造は、前記第１のサブ部分と、前記第１のサブ部分に隣接する第２のサブ部分と、前記第１のサブ部分と前記第２のサブ部分との間に位置する第１の重複部分とを備え、データ拡張方法の前記データセット変換ステップにおいて、前記少なくとも二つの解剖学的構造データのうち、前記一の解剖学的構造データのサブデータセットにおける前記第１の重複部分のサブデータと、前記他の解剖学的構造データのサブデータセットにおける前記第１の重複部分のサブデータと、前記正規化および／または前記データレジストレーションされた前記第１のサブ部分のサブデータと、に基づいて、３次元変形演算を行い、変形場を算出し、前記変換データセットを生成してもよい。

また、データ拡張方法の前記データセット合成ステップにおいて、前記変形場に基づいて、前記少なくとも二つの解剖学的構造データのうち、前記一の解剖学的構造データのサブデータセットにおける前記第２のサブ部分のサブデータを変形して、当該第２のサブ部分のサブデータの変換データを生成し、前記他の解剖学的構造データのサブデータセットにおける前記第１のサブ部分のサブデータを３次元変形または２次元変形して、当該第１のサブ部分のサブデータの変換データを生成した後、生成された当該第２のサブ部分のサブデータの変換データ及び当該第１のサブ部分のサブデータの変換データを合成して、前記拡張データセットを生成してもよい。

また、データ拡張方法において、前記３次元変形または前記２次元変形は、剛性レジストレーション及び非剛性レジストレーションのいずれか又はそれらの組み合わせであってもよい。

また、データ拡張方法において、前記解剖学的構造データが二次元データである場合、前記データセットグループ化ステップにおいて、前記解剖学的構造データセットに含まれる前記少なくとも二つの解剖学的構造データが類似の解剖学的位置および構造を有するか否かを判断してもよい。

また、データ拡張方法において、前記所定の条件は、被検体の性別、年齢、体形、疾患情報、病変部位、臓器内の病変の割合、及び、類似する解剖学的構造のうちの少なくとも１つに関する条件であってもよい。

また、データ拡張方法において、前記解剖学的構造は、２つ以上の相対的に独立した隣り合うサブ部分を含んでもよい。

また、データ拡張方法において、前記解剖学的構造は、肺、心臓及び肝臓のうちの１つであってもよい。

また、以下で説明する実施形態に係るデータ拡張装置は、解剖学的構造が描出された解剖学的構造データのデータ拡張を実行するデータ拡張装置であって、前記解剖学的構造に関連する解剖学的構造データセットを取得する取得部と、前記解剖学的構造を構成するサブ部分毎に、取得された前記解剖学的構造データセットに含まれる少なくとも二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割する分割部と、前記少なくとも二つの前記解剖学的構造データのうち、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成する変換部と、前記参照データセットに含まれる少なくとも一つの参照データと、生成された前記変換データセットとを合成して、拡張データセットを生成する合成部と、を備える。

また、以下で説明する実施形態に係るプログラムは、解剖学的構造が描出された解剖学的構造データのデータ拡張方法をコンピュータに実行させるためのプログラムであって、前記解剖学的構造に関連する解剖学的構造データセットを取得する処理と、前記解剖学的構造を構成するサブ部分毎に、取得された前記解剖学的構造データセットに含まれる少なくとも二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割する処理と、前記少なくとも二つの前記解剖学的構造データのうち、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成する処理と、前記参照データセットに含まれる少なくとも一つの参照データと、生成された前記変換データセットとを合成して、拡張データセットを生成する処理と、を前記コンピュータに実行させるためのプログラムである。

以下、図面を参照しながら、データ拡張方法、データ拡張装置及びプログラムの各実施形態及び変形例について詳細に説明する。なお、実施形態は、内容に矛盾が生じない範囲で従来技術、他の実施形態又は変形例との組み合わせが可能である。同様に、変形例は、内容に矛盾が生じない範囲で従来技術、実施形態との組み合わせが可能である。また、以下の説明において、同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する場合がある。

以下の説明では、解剖学的構造として肺を例として説明するが、これに限らず、心臓、肝臓であってもよい。また、後述する図２に示すように、肺は、複数の部分（サブ部分）を含む解剖学的構造として、５つのサブ部分である５つの肺葉からなり、各肺葉は１つの独立した器官であり、それぞれが特定の強度およびテクスチャ分布などを有する。このように、解剖学的構造は、２つ以上の相対的に独立した隣り合うサブ部分を含む。

（データ拡張方法の概要）
図３は、第１の実施形態に係るデータ拡張方法の概略フローチャートである。図３に示すように、データ拡張方法は、複数の部分（サブ部分）を含む解剖学的構造が描出された解剖学的構造データのデータ拡張方法であって、主にステップ１００～ステップ５００を含む。ここで、図３に示すデータ拡張方法は、一例に過ぎず、実際の状況に応じて、ステップ１００～ステップ５００を全て含むことなく、ステップ１００～ステップ５００のうちの一部のみを含んでもよい。例えば、ステップ２００を含まなくてもよい。

ステップ１００は、データセット取得ステップである。ステップ１００において、例えば、解剖学的構造に関連する解剖学的構造データセットを取得する。また、ステップ１００において、解剖学的構造データセットに対応するマーキングデータセット（ＧＴｓと記す場合がある）を取得する場合もある。なお、解剖学的構造データセットは、解剖学的構造データの集合を意味し、マーキングデータセットＧＴｓは、マーキングデータの集合を意味する。ここで、本明細書において、データセットは、データの集合を意味し、データセットに含まれるデータの数が複数である場合のみならず、データセットに含まれるデータの数が１つである場合もあり得る。以下で説明する他のデータセットについても同様である。

ここで、複数の部分を含む解剖学的構造データセット（以下、単に解剖学的構造データセットと呼ぶこともある）は、例えば、肺データセットであり、この解剖学的構造データセットは、具体的には、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置などの画像取得装置によって取得された画像データセットである。なお、この解剖学的構造データセットには、被検体の性別、年齢、体形、疾患情報、病変部位、臓器病変の割合等といった事前に収集された基本情報が含まれていてもよい。

また、マーキングデータセットＧＴｓは、例えば医師等の操作者が解剖学的構造データセットをマーキングしたデータセットである。このマーキングデータセットＧＴｓは、例えば、解剖学的構造データセットに対応する。マーキングデータセットＧＴｓは、解剖学的構造を構成するサブ部分毎に、解剖学的構造データセットをマーキングしたものであり、解剖学的構造を構成するサブ部分によって異なるデータの集合である。ここで、マーカとしては、例えば、解剖学的構造の各サブ部分を区別するマーカや、病変部位であるか否かを区別するマーカ等であり得る。マーキングデータセットＧＴｓは、予め取得されて記憶されているものであり得る。

例えば、ステップ１００において、上述した画像取得装置から解剖学的構造データセットを取得してもよいし、予めメモリ等の記憶回路に解剖学的構造データセットが記憶されている場合、記憶回路から解剖学的構造データセットを取得してもよい。マーキングデータセットＧＴｓについても同様である。

ステップ２００は、データセットグループ化ステップである。ステップ２００のデータセットグループ化ステップでは、所定の条件に基づいて、ステップ１００で取得した解剖学的構造データセットに含まれる複数の解剖学的構造データのそれぞれが、二つ以上のデータグループのうちのいずれかのデータグループに属するように、複数の解剖学的構造データをグループ化する。ここで、所定の条件は、例えば、被検体の性別、年齢、体形、疾患情報、病変部位、臓器内の病変の割合、及び、類似する解剖学的構造等のうちの少なくとも１つに関する条件である。データセットグループ化ステップにより、解剖学的構造データセットから、次の処理に適したデータセットを選別することができる。

ステップ３００は、データセット分割ステップである。ステップ３００のデータセット分割ステップでは、例えば、ステップ１００で取得された解剖学的構造データセットに含まれる少なくとも二つの解剖学的構造データまたはステップ２００のデータセットグループ化ステップで取得された各データグループに属する少なくとも一つの解剖学的構造データ又は特定の一つのデータグループに属する少なくとも二つの解剖学的構造データを、解剖学的構造に基づいて、それぞれサブデータセットに分割する。すなわち、ステップ３００のデータセット分割ステップでは、例えば、上述した二つ以上のデータグループのうち一つのデータグループに属する二つの解剖学的構造データ、又は、二つのデータグループのそれぞれに属する一つの解剖学的構造データをサブデータセットに分割することにより、二つのサブデータセットを取得する。ステップ３００のデータセット分割ステップでは、マーキングデータセットＧＴｓに基づいて分割することが好ましい。例えば、ステップ３００のデータセット分割ステップでは、ステップ１００で取得した解剖学的構造データセットに含まれる少なくとも二つの解剖学的構造データを、マーキングデータセットＧＴｓに基づいて、解剖学的構造を構成するサブ部分ごとに、サブデータセットに分割してもよい。また、ステップ３００のデータセット分割ステップでは、ステップ２００のデータセットグループ化ステップで取得した各データグループに属する少なくとも一つの解剖学的構造データ又は特定の一つのデータグループに属する少なくとも二つの解剖学的構造データを、マーキングデータセットＧＴｓに基づいて、解剖学的構造を構成するサブ部分ごとに、サブデータセットに分割してもよい。すなわち、ステップ３００のデータセット分割ステップでは、例えば、マーキングデータセットＧＴｓに基づいて、上述した二つ以上のデータグループのうち一つのデータグループに属する二つの解剖学的構造データ、又は、二つのデータグループのそれぞれに属する一つの解剖学的構造データをサブデータセットに分割することにより、二つのサブデータセットを取得してもよい。さらに、ステップ３００のデータセット分割ステップでは、二つ以上の解剖学的構造データセットに含まれる少なくとも二つの解剖学的構造データ又は二つ以上のデータグループに属する少なくとも二つの解剖学的構造データを一つずつ分割（シリアルで分割）するか又か並列的に分割（パラレルで分割）して、サブデータセットを取得するようにしてもよい。ここで、サブデータセットは、解剖学的構造を構成する各サブ部分のデータ（サブデータ）と、隣接するサブ部分同士間の重複部分のデータとを含む。なお、隣接するサブ部分同士間の重複部分についてもサブ部分と称される場合があり、この重複部分のデータについても、サブデータと称される場合がある。

ステップ４００は、データセット変換ステップである。ステップ４００のデータセット変換ステップでは、指定されたプロトコルに従って解剖学的構造を構成するサブ部分のサブデータの集合であるサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換し、変換データセットを生成する。ここで、指定されたプロトコルとは、効果的な拡張データセットを実際の必要に応じて選択するための評価基準または指示である。また、データセット変換は、正規化、データレジストレーション、３Ｄ変形等の様々な公知のデータ処理方法であり得る。例えば、このような処理の一例としては、複数の画像間での輝度の差が小さくなるように輝度を調整する処理等が挙げられる。また、正規化では、２つの画像間における強度分布、スケール、テクスチャ分布等が同一又は類似となるように、２つの画像のうち少なくとも一方に対して画像処理が施される。

例えば、ステップ４００のデータセット変換ステップでは、ステップ３００のデータセット分割ステップにより取得されたサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成する。なお、サブデータセットに含まれるサブデータの数が一つである場合には、ステップ４００のデータセット変換ステップでは、単に、一つのサブデータをデータ変換して、変換データを生成する。

例えば、ステップ４００のデータセット変換ステップにおいて、２つ以上のデータグループのうちの１つのデータグループに属する解剖学的構造データをデータセット分割ステップにより分割して得られたサブデータセットを参照データセットとして、２つ以上のデータグループのうちのもう１つのデータグループに属する解剖学的構造データのサブデータセットのうちの少なくとも１つのサブデータをデータセット変換して、変換データセットを生成してもよい。例えば、ステップ４００のデータセット変換ステップにおいて、ステップ３００のデータセット分割ステップにおいて取得された二つのサブデータセットのうち、一のサブデータセットを参照データセットとして、他のサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成してもよい。

また、ステップ２００のデータセットグループ化ステップがデータ拡張方法のフローチャートに含まれていない場合、ステップ４００のデータセット変換ステップにおいて、少なくとも二つの解剖学的構造データのうち、一の解剖学的構造データをデータセット分割ステップにより分割して得られたサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成してもよい。

また、ステップ４００のデータセット変換ステップにおいて、少なくとも二つの解剖学的構造データのうち、一の解剖学的構造データのサブデータセットにおける第１のサブ部分のサブデータを参照データとして、他の解剖学的構造データのサブデータセットにおける第１のサブ部分のサブデータを正規化および／またはデータレジストレーションして、変換データセットを生成するようにしてもよい。

さらに、解剖学的構造が、第１のサブ部分と、当該第１のサブ部分に隣接する第２のサブ部分と、当該第１のサブ部分と当該第２のサブ部分との間に位置する第１の重複部分とを備える場合に、ステップ４００のデータセット変換ステップにおいて、少なくとも二つの解剖学的構造データのうち、一の解剖学的構造データのサブデータセットにおける第１の重複部分のサブデータと、他の解剖学的構造データのサブデータセットにおける第１の重複部分のサブデータと、正規化および／またはデータレジストレーションされた第１のサブ部分のサブデータと、に基づいて、３次元変形または２次元変形演算を行い、変形場を算出し、変換データセットを生成するようにしてもよい。

ステップ５００は、データセット合成ステップである。ステップ５００のデータセット合成ステップでは、参照データセットに含まれる少なくとも一つの参照データと、ステップ４００のデータセット変換ステップで生成された変換データセットとを合成して、拡張データセットを生成する。なお、ステップ４００のデータセット変換ステップにおいて、変換データセットではなく、上述した変換データが生成された場合、ステップ５００のデータセット合成ステップでは、参照データセットに含まれる少なくとも一つの参照データと、ステップ４００のデータセット変換ステップで生成された変換データとを合成して、拡張データを生成する。また、ステップ５００のデータセット合成ステップにおいて、変形場に基づいて、少なくとも二つの解剖学的構造データのうち、一の解剖学的構造データのサブデータセットにおける第２のサブ部分のサブデータを変形して、当該第２のサブ部分のサブデータの変換データを生成し、他の解剖学的構造データのサブデータセットにおける第１のサブ部分のサブデータを変形して、当該第１のサブ部分のサブデータの変換データを生成した後、生成された当該第２のサブ部分のサブデータの変換データ及び当該第１のサブ部分のサブデータの変換データを合成して、拡張データセットを生成してもよい。なお、ここでの変形は、例えば、３次元変形又は２次元変形である。

（第１の実施形態）
以下、主に図２～図９を参照して、第１の実施形態に係るデータ拡張方法について説明する。第１の実施形態では、三次元の複数のサブ部分を含む解剖学的構造データのデータ拡張について説明する。

本実施形態では、肺を例にしてデータ拡張をどのように実現するかについて説明する。図２は、第１の実施形態に係る肺の構造を示す概略図である。図２の（ａ）は、左肺野および右肺野全体の概略図であり、図２の（ｂ）は、左肺野の概略図であり、図２の（ｃ）は、右肺野の概略図である。図２に示すように、肺全体は、複数のサブ部分を含む解剖学的構造であって、５つの肺葉を組み合わせたものである。各肺葉は独立した器官である。同じ肺野（例えば、左肺野または右肺野）に隣接する肺葉間は、葉間裂（場合によっては、肺裂とも呼ばれる）と呼ばれる組織層によって分離されている。

図４は、第１の実施形態のデータ拡張方法を説明するための概略図である。図４は、２つの異なる被検体の肺の左肺野の３次元データセットに基づいてデータ拡張を行う例を示している。

図４に示す例では、左肺野に関するデータグループのうちの２枚の画像ＡとＢについて、データセット分割を行い、左肺を３つの部分に分割して、左肺を構成する左上葉、左肺裂表面、左下葉との３つのサブ部分のサブデータセットを取得し、各サブデータセットに基づいて、図４における１～３に示すデータセット変換処理、および、図４における４に示すデータセット合成処理とを行って、拡張データセットを取得する。なお、画像Ａ及び画像Ｂは、解剖学的構造データの一例である。

次に、図４～図９を組み合わせて、第１の実施形態に係るデータ拡張方法について詳細に説明する。

まず、図４に示すように、データグループは、ステップ２００のデータセットグループ化ステップによって得られたデータグループである。

図５は、第１の実施形態のステップ２００に係るデータセットグループ化処理の一例を説明するための図である。

図５に示すように、ステップ１００により取得された解剖学的構造データセットについて、異なる状況（例えば、状況１、状況２、……状況ｎ）に応じて、例えば、被検体の性別、年齢、体形、疾患情報、病変部位、臓器内の病変の割合、類似する解剖学的構造（２Ｄデータセットにについて）等の条件別の組み合わせで、データセットグループ化を行って、状況１、状況２、……状況ｎに、それぞれ対応するデータグループ１、データグループ２、……データグループｎを取得する。

このように、ステップ１００により取得された解剖学的構造データセットの全てが必ずしもユーザのニーズを満たすことができるとは限らないという現状について、拡張データセットの有効性と訓練モデルの正確性を向上させるために、異なる状況に対し、標的性のある異なるデータグループが適用される。これにより、特定の条件または要求に応じてデータセットグループ化した後にデータ拡張が行なわれ、標的化された、個性化されたデータ拡張を実現することができ、拡張データセットの有効性と訓練モデルの正確性を向上可能である。

図４に戻って、データグループにおける２枚の画像ＡおよびＢについて、ステップ３００に係るデータセット分割処理を行う。

図６は、第１の実施形態に係るデータセット分割処理の一例を説明するためのフローチャートである。図６に示すように、データセット分割時には、画像ＡとＢに対して、まず、図６における３０１に示すように、マーキングデータセットＧＴｓである肺葉ＧＴに基づいて、左肺のデータセットを３つのサブ部分のサブデータセットに分割する。

そして、図６における３０２に示すように、各データの種類の相違に応じて、各サブデータセットをマーキングして記憶する。例えば、左肺のデータセットを３つのサブ部分のサブデータセットに分割して、それぞれ、ＬＬ（左下葉）、ＬＵ（左上葉）、およびＦ（左肺裂表面）とマーキングする。また、Ｒをマークして、当該サブ部分を参照データセットとすることを示し、Ｆをマークして、当該サブ部分を浮動データセットとすること示してもよい。また、この処理をループして行うことにより、データグループにおける各画像の全てのデータをマーキングして記憶することができる。

例えば、図４に示すように、画像Ａは、参照データセット（サブデータセット）として、左上葉ＬＵＲ_lobe、左肺裂表面ＬＲ_fissure、左下葉ＬＬＲ_lobeを含む。また、左上葉ＬＵＲ_lobe、左肺裂表面ＬＲ_fissure、左下葉ＬＬＲ_lobeのそれぞれは、サブデータの一例でもあり、参照データの一例である。また、画像Ｂは、浮動データセット（サブデータセット）として、左上葉ＬＵＦ_lobe、左肺裂表面ＬＦ_fissure、左下葉ＬＬＦ_lobeを含む。左上葉ＬＵＦ_lobe、左肺裂表面ＬＦ_fissure、左下葉ＬＬＦ_lobeのそれぞれは、サブデータの一例でもある。

図４に戻ると、図６に示すデータセット分割処理の後、取得された各サブデータセットに基づいて、図４における１～３に示すデータセット変換処理と、図４における４に示すデータセット合成処理を行って、拡張データセットを取得する。

図７は、第１の実施形態に係るデータセット変換処理およびデータセット合成処理の一例の概要を説明するためのフローチャートである。図７に示すように、浮動データセットのデータストリームは破線で示され、参照データセットのデータストリームは実線で示されている。

データセット変換中、まず、図７の４０１に示すように、画像Ａの左下葉ＬＬＲ_lobeと画像Ｂの左下葉ＬＬＦ_lobeとに基づいて正規化を行う。例えば、画像Ｂの左下葉ＬＬＦ_lobeを画像Ａの左下葉ＬＬＲ_lobeに対して正規化して画像Ｂの正規化された左下葉ＬＬＦ_lobe’を得る。画像Ｂの正規化された左下葉ＬＬＦ_lobe’の強度分布、スケール、テクスチャ分布等は、画像Ａの左下葉ＬＬＲ_lobeと基本的に同一又は類似している。このように、正規化処理を行うことにより、浮動データセットは、参照データセットと類似の特徴を得ることができる。また、正規化の他に、必要に応じて画像Ｂの左下葉ＬＬＦ_lobeを画像Ａの左下葉ＬＬＲ_lobeに対してレジストレーションしてもよい。このようにして、異なる被験者間の解剖学的強度、構造、臓器サイズのデータ差異による、拡張データセットの有効性の低下を回避し、高い有効性のデータ拡張と高精度の学習済みモデル（学習モデル）を実現することができる。

次に、図７の４０２に示すように、画像Ａの左下葉ＬＬＲ_lobe、画像Ａの左肺裂表面ＬＲ_fissure、画像Ｂの左肺裂表面ＬＦ_fissureおよび画像Ｂの正規化された左下葉ＬＬＦ_lobe’に基づいて３次元変形（３Ｄ変形）を行う。例えば、ＬＬＲ_lobe、ＬＬＦ_lobe’、ＬＦ_fissure及びＬＲ_fissureに基づいて、画像Ｂの左肺裂表面ＬＦ_fissureを基準面となる画像Ａの左肺裂表面ＬＲ_fissureにフィッティングし、３次元変形場を生成する。変形場は、現在のオブジェクトから基準オブジェクトへの非線形変換を表す。

現在、変形場を生成するための有効な三次元変形アルゴリズムが多く存在しており、これらのアルゴリズムの１つの重要なステップは、２つの計算対象面上で１対の対応点セットを取得することである。図８は、第１の実施形態に係るデータセット変換処理における三次元変形の一例を説明するためのフローチャートである。

図８に示すように、まず、ステップ４０５に示すように、ＬＬＲ_lobe、ＬＬＦ_lobe’に基づいて、剛性レジストレーション（剛体変形）により変換行列Ｍを取得する。剛性レジストレーションはオブジェクトの形状を変更せず、ＬＬＲ_lobe、ＬＬＦ_lobe’に類似のサイズとパターンを有させることができる。このように、剛性レジストレーションによって、取得しようとする対応点セットを非線形変換の前に可能な限り接近させることができる。なお、非剛性レジストレーション、又は、剛性レジストレーション及び非剛性レジストレーションの組合せにより、変換行列を取得してもよい。

次に、ステップ４０６に示すように、変換行列Ｍを適用して、画像Ｂの左肺裂表面ＬＦ_fissureを変換し、変換後の新たな左肺裂表面ＬＦ_fissure’を生成する。

次に、ステップ４０７に示すように、画像Ａの左肺裂表面ＬＲ_fissure、画像Ｂの変換後の新たな左肺裂表面ＬＦ_fissure’に基づいて、両表面における一対の対応点セットを変形制御点として抽出する。点セットを取得する方法は様々であり、例えば画像特徴点を利用することができる。

次に、ステップ４０８に示すように、ステップ４０７で取得した点セットに基づいて、変形場Ｆを推定する。変形場Ｆを推定する方法は、例えば、薄板スプライン補間（ＴＰＳ）などの既存のアルゴリズムである。

図７に戻って、図７の４０３に示すように、画像Ａの左上葉ＬＵＲ_lobeと、画像Ｂの左下葉ＬＬＦ_lobeと、ステップ４０２で得られた変形場Ｆとに基づいて、画像合成が行われる。

図９は、第１の実施形態に係る合成処理の一例を説明するためのフローチャートである。図９のステップ４０９に示すように、画像Ｂの正規化された左下葉ＬＬＦ_lobe’に対して変換行列Ｍおよび変形場Ｆを適用してＬＬＦ_lobe’’が取得される。例えば、以下の式（１）に基づいて、ＬＬＦ_lobe’’が取得される。
ＬＬＦ_lobe’’＝Ｆ×Ｍ×ＬＬＦ_lobe’・・・（１）

次に、ステップ４１０に示すように、上記変換処理されたＬＬＦ_lobe’’および画像Ａの左上葉ＬＵＲ_lobeを合成し、新たな左肺野画像データである拡張データを生成する。

なお、図示は明確ではないが、合成処理中または合成処理後に、マーキングデータセットＧＴｓを処理して、拡張されたマーキングデータセットＧＴｓを生成する。

図７に戻って、図７の４０４に示すように、一般的な指標又はユーザからの要求により指定された指標等の特定のプロトコルに基づいて、生成された新しい拡張データに対してフィルタをかける。例えば、質又は量に関する指標に基づいて、新しい拡張データに正しい解剖学的構造があるか否かを確認（判定）する。一例を挙げて説明すると、新しい拡張データに肺全体が描出されているか否かを確認する。もし、新しい拡張データに肺全体が描出されていない場合、その拡張データを用いた学習の効果が疑わしく、また、その拡張データにより学習されたモデルは、臨床的に実用に耐えないように考えられる。このため、新しい拡張データに肺全体が描出されている場合のみ、拡張データセットに追加する拡張データとして採用する。すなわち、新しい拡張データに肺全体が描出されていない場合、拡張データセットに追加する拡張データとして採用しない。

他の例を挙げて説明すると、新しい拡張データに複数の肺葉により完全な肺が描出されているか否かを確認するために、肺葉の輪郭の組合せが連続的又は完全であるか否かを確認する。もし、肺葉の輪郭の組合せが連続的でなく完全でない場合、ディープラーニングモデルを学習する際に、肺葉のセグメンテーションのミスが生じてしまう場合がある。このため、新しい拡張データに描出された肺葉の輪郭の組合せが連続的又は完全である場合のみ、拡張データセットに追加する拡張データとして採用する。すなわち、新しい拡張データに描出された肺葉の輪郭の組合せが連続的でなく完全でない場合、拡張データセットに追加する拡張データとして採用しない。

上述したような方法により、新しい拡張データに対してフィルタをかけることにより、最終的に学習に用いられる拡張データの質を、より実際の臨床に耐えうる質に近づけさせることができるとともに、学習に一層適合させることができる。

そして、生成された拡張データを拡張データセットに追加する。そして、画像の組合せを変えて、上述した方法と同様の方法により、繰り返し拡張データを生成することにより拡張データセットに含まれる拡張データの数が増加する。

このように、第１の実施形態のデータ拡張方法によれば、前記のように、データセットグループ化処理、データセット分割処理、データセット変換処理およびデータセット合成処理を行うことにより、解剖学的構造の特徴を効果的に考慮し適用して、生成された拡張データ（拡張データセット）に元のデータセットと類似した強度およびテクスチャ分布を持たせることができ、データ学習性能をうまく向上させることができる。すなわち、学習性能を向上させることが可能な拡張データセットを生成することができる。また、解剖学的構造を構成するサブ部分の基本的な解剖学的情報を完全に保存することができ、同時に、合成画像に新たな有効な画像特徴を生成できるため、データの多様性を効果的に向上させることができる。また、少量の学習データセットにより解剖学的構造に合致する拡張データをより多く生成することができ、データ量を増加することができる。また、高精度な学習を実現して高精度で汎化性の高い学習済みモデルを得ることができ、学習済みモデルを学習させる装置の性能を向上させることができる。

（第２の実施形態）
次に、主に図２、図３、図１０及び図１１を参照して、第２の実施形態に係るデータ拡張方法について説明する。本実施形態では、同一の被検体の３次元の複数のサブ部分を含む解剖学的構造データのデータ拡張について説明する。

図１０は、第２の実施形態のデータ拡張方法を説明するための概略図である。図１０には、同一の被検体の肺の左肺野の３次元データセットに基づいてデータ拡張を行った例が示されている。

図１０に示す例では、同一の被検体についての左肺野のデータセットにおける２枚の画像ＡとＢについて、データセット分割を行い、左肺を３つの部分に分割し、参照データセットとなる画像Ａについて、左上葉ＬＵＲ_lobe、左肺裂表面ＬＲ_fissure、左下葉ＬＬＲ_lobeのサブデータセットを取得する。また、浮動データセットとなる画像Ｂについて、左上葉ＬＵＦ_lobe、左肺裂表面ＬＦ_fissure、左下葉ＬＬＦ_lobeのサブデータセットを取得する。

その後、各サブデータセットに基づいて合成処理を行って、拡張データセットを取得する。

図１１は、第２の実施形態に係る合成処理の一例を説明するための図である。図１１に示すように、合成処理中、画像Ｂの左下葉ＬＬＦ_lobeと画像Ａの左上葉ＬＵＲ_lobeとを直接合成し、種々のデータセット変換を行うことなく、新たな左肺野画像データである拡張データセットを生成し、生成された拡張データを拡張データセットに追加することができる。

本実施形態のデータ拡張方法によれば、同一の被検体からのデータセットを適用する場合に、同一の被検体のデータセットがほぼ同一の解剖学的構造、サイズ及び位置を有するので、正規化やレジストレーション等の種々の変換を行うことなく、強度の細分化、スケールの調整等により属性を統一し、解剖学的構造を構成するサブ部分ごとにデータセットを分割した後、分割して得られた各サブデータセットを直接合成することで、簡単で、便利で、効率的にデータ拡張を実現することができる。

なお、本実施形態では、第１の実施形態のように正規化やレジストレーション等の種々の変換を行うことも可能であり、それにより、より精細な拡張データセットを得ることができる。

（第３の実施形態）
次に、主に図２、図３、図１２を参照して、第３の実施形態に係るデータ拡張方法について説明する。本実施形態では、異なる被検体の２次元の複数のサブ部分を含む解剖学的構造データのデータ拡張について説明する。

図１２は、第３の実施形態のデータ拡張方法を説明するための概略図である。図１２に、異なる被検体の肺の左肺野の２次元データセットに基づいてデータ拡張を行う例が示されている。

図１２に示すように、図４に示す第１の実施形態におけるデータ拡張の処理とはほぼ同じであるが、相違点は、２次元データセットＡおよびＢについて、２枚の画像ができるだけ類似の解剖学的位置および構造を表示させる必要があるということである。何故ならば、画像Ａが肺の周囲の２Ｄスライスであり、画像Ｂが肺門の２Ｄスライスである場合、２つの部分が異なる解剖学的構造を表すため、これら２つの部分を組み合わせるのは無意味で、且つ非常に困難であるためである。

したがって、２次元データを適用してデータ拡張を行う場合には、上述したステップ２００に係るデータセットグループ化を行う必要がある。さらに、データセットグループ化過程中に、適用すべき２次元データセットが類似の解剖学的位置および構造を有するか否かを判断した方が好ましい。この場合、適用すべき２次元データセットが類似の解剖学的位置および構造を有する場合に、データ拡張の処理を進め、適用すべき２次元データセットが類似の解剖学的位置および構造の少なくとも一方を有さない場合に、データ拡張の処理を進めずに停止させてもよい。

上記に加えて、第３の実施形態のデータ拡張方法は、第２の実施形態のように同一の被検体のデータセットを適用してもよいし、第１の実施形態のように異なる被検体のデータセットを適用してもよい。従って、上述の第１の実施形態および第２の実施形態の技術的効果が相応に備えられている。

（第４の実施形態）
次に、上述したデータ拡張方法を実行する第４の実施形態に係るデータ拡張装置について説明する。図１３は、第４の実施形態に係るデータ拡張装置１００の構成の一例を示す図である。例えば、データ拡張装置１００は、ネットワークを介してモダリティに対して通信可能に接続されている。

かかるモダリティは、例えば、Ｘ線ＣＴ装置、超音波診断装置、磁気共鳴イメージング（Magnetic Resonance Imaging：ＭＲＩ）装置、ＰＥＴ（Positron Emission Tomography）装置又はＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置等の医用画像データを生成する医用画像生成装置である。例えば、モダリティは、被検体の解剖学的構造が描写された解剖学的構造データを生成する。かかる解剖学的構造データは、３次元の医用画像データ又は２次元の医用画像データである。解剖学的構造データは、例えば、ＣＴ画像データ、超音波画像データ、ＭＲ画像データ、ＰＥＴ画像データ及びＳＰＥＣＴ画像データ等である。そして、モダリティは、生成した解剖学的構造データをネットワークを介してデータ拡張装置１００に送信する。

データ拡張装置１００は、ネットワークを介して接続されたモダリティから解剖学的構造データを取得し、解剖学的構造データに対して上述したデータ拡張方法を実行する。データ拡張装置１００は、例えば、サーバやワークステーション等のコンピュータ機器によって実現される。

図１３に示すように、データ拡張装置１００は、ネットワーク（NetWork：ＮＷ）インタフェース１０１と、記憶回路１０２と、入力インタフェース１０３と、ディスプレイ１０４と、処理回路１０５とを備える。

ＮＷインタフェース１０１は、データ拡張装置１００と、データ拡張装置１００にネットワークを介して接続された他の装置（モダリティ等）との間で送受信される各種データの伝送及び通信を制御する。例えば、ＮＷインタフェース１０１は、処理回路１０５に接続されており、他の装置により送信されたデータ等を受信し、受信されたデータ等を処理回路１０５に送信する。具体的には、モダリティにより送信された解剖学的構造データを受信し、受信された解剖学的構造データを処理回路１０５に送信する。また、ＮＷインタフェース１０１は、処理回路１０５により送信されたデータ等を受信し、受信されたデータ等を他の装置に送信する。例えば、ＮＷインタフェース１０１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路１０２は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路１０２は、処理回路１０５に接続されており、処理回路１０５による制御を受けて各種のデータを記憶する。例えば、記憶回路１０２は、処理回路１０５による制御を受けて、解剖学的構造データセットを記憶する。また、例えば、記憶回路１０２は、マーキングデータセットＧＴｓを記憶していてもよい。また、記憶回路１０２は、処理回路１０５により実行される処理で用いられる各種のデータを一時的に記憶するワークメモリとしての機能も有する。例えば、記憶回路１０２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

入力インタフェース１０３は、データ拡張装置１００のユーザから各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インタフェース１０３は、処理回路１０５に接続されており、ユーザから受け取った入力操作を電気信号へ変換して処理回路１０５に送信する。例えば、入力インタフェース１０３は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、及び音声入力インタフェース等によって実現される。なお、本明細書において、入力インタフェース１０３は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、データ拡張装置１００とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１０５へ送信する電気信号の処理回路も入力インタフェース１０３の例に含まれる。かかる処理回路は、例えば、プロセッサにより実現される。入力インタフェース１０３は、受付部の一例である。

ディスプレイ１０４は、各種の画像、各種の情報及び各種のデータを表示する。具体的には、ディスプレイ１０４は、処理回路１０５に接続されており、処理回路１０５から受信した各種の画像データに基づく画像、各種の情報及び各種のデータを表示する。例えば、ディスプレイ１０４は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。ディスプレイ１０４は、表示部の一例である。

処理回路１０５は、データ拡張装置１００の全体を制御する。例えば、処理回路１０５は、入力インタフェース１０３を介してユーザから受け付けた入力操作に応じて、各種処理を行う。例えば、処理回路１０５は、データ拡張方法に対応するデータ拡張処理を実行する。処理回路１０５は、例えば、プロセッサにより実現される。

また、処理回路１０５は、ＮＷインタフェース１０１により送信された解剖学的構造データを受信すると、受信された解剖学的構造データを記憶回路１０２に記憶させる。このようにして、次々と記憶回路１０２には、解剖学的構造データが記憶されることにより、記憶回路１０２には解剖学的構造データセットが記憶される。

図１３に示すように、処理回路１０５は、データセット取得機能１０５ａと、データセットグループ化機能１０５ｂと、データセット分割機能１０５ｃと、データセット変換機能１０５ｄと、データセット合成機能１０５ｅとを備える。データセット取得機能１０５ａは、取得部の一例である。データセットグループ化機能１０５ｂは、グループ化部の一例である。データセット分割機能１０５ｃは、分割部の一例である。データセット変換機能１０５ｄは、変換部の一例である。データセット合成機能１０５ｅは、合成部の一例である。

ここで、例えば、図１３に示す処理回路１０５の構成要素であるデータセット取得機能１０５ａ、データセットグループ化機能１０５ｂ、データセット分割機能１０５ｃ、データセット変換機能１０５ｄ及びデータセット合成機能１０５ｅの各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１０２に記憶されている。処理回路１０５は、各プログラムを記憶回路１０２から読み出し、読み出した各プログラムを実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１０５は、図１３の処理回路１０５内に示された各機能を有することとなる。

データセット取得機能１０５ａは、ステップ１００のデータセット取得ステップにおける処理と同様の処理を実行する。データセットグループ化機能１０５ｂは、ステップ２００のデータセットグループ化ステップにおける処理と同様の処理を実行する。データセット分割機能１０５ｃは、ステップ３００のデータセット分割ステップにおける処理と同様の処理を実行する。データセット変換機能１０５ｄは、ステップ４００のデータセット変換ステップと同様の機能を実行する。データセット合成機能１０５ｅは、ステップ５００のデータセット合成ステップにおける処理と同様の処理を実行する。

以上、第４の実施形態に係るデータ拡張装置１００について説明した。データ拡張装置１００によれば、上述した実施形態と同様の効果を奏する。

（変形例）
以上、本発明の第１乃至第４の実施形態について肺を例に挙げて説明したが、これらに限らず、本発明のデータ拡張方法は、心臓、肝臓等の複数のサブ部分を含む解剖学的構造データのデータ拡張にも適用されうる。

また、本実施形態の実現形態は、データ拡張方法に限らず、データ拡張方法を実行する医用画像処理装置やデータ拡張方法を実行するためのプログラムが記録された記録媒体として実現してもよい。

また、前述した実現形態では、画像Ａ及びＢのそれぞれは一枚の画像である場合について説明したが、これに限られない。画像Ａ及びＢはそれぞれ一組の画像を代表することができる。

上述した説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは、メモリに保存されたプログラムを読み出して実行することで、機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、メモリにプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成し、その機能を実現するようにしてもよい。

ここで、プロセッサによって実行されるプログラムは、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、このプログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

以上説明した少なくとも一つの実施形態又は変形例によれば、学習性能を向上させることが可能な拡張データセットを生成することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ データセット取得ステップ
２００ データセットグループ化ステップ
３００ データセット分割ステップ
４００ データセット変換ステップ
５００ データセット合成ステップ

Claims (16)

1. 解剖学的構造が描出された解剖学的構造データのデータ拡張方法であって、
   前記解剖学的構造に関連する解剖学的構造データセットを取得するデータセット取得ステップと、
   前記解剖学的構造を構成するサブ部分毎に、取得された前記解剖学的構造データセットに含まれる少なくとも二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割するデータセット分割ステップと、
   前記少なくとも二つの前記解剖学的構造データのうち、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成するデータセット変換ステップと、
   前記参照データセットに含まれる少なくとも一つの参照データと、生成された前記変換データセットとを合成して、拡張データセットを生成するデータセット合成ステップと、
   を含む、データ拡張方法。
2. 所定の条件に基づいて、取得された前記解剖学的構造データセットに含まれる複数の解剖学的構造データのそれぞれが二つ以上のデータグループのうちのいずれかのデータグループに属するように、前記複数の解剖学的構造データをグループ化するデータセットグループ化ステップをさらに含み、
   前記データセット分割ステップにおいて、前記二つ以上のデータグループのうち一つのデータグループに属する二つの解剖学的構造データ、又は、二つのデータグループのそれぞれに属する一つの解剖学的構造データをサブデータセットに分割することにより、二つのサブデータセットを取得し、
   前記データセット変換ステップにおいて、前記二つのサブデータセットのうち、一のサブデータセットを前記参照データセットとして、他のサブデータセットに含まれる前記少なくとも一つのサブデータをデータセット変換して、前記変換データセットを生成する、
   請求項１に記載のデータ拡張方法。
3. 前記データセット取得ステップにおいて、さらに、前記解剖学的構造データセットに対応するマーキングデータセットを取得し、
   前記マーキングデータセットは、前記サブ部分毎に、前記解剖学的構造データセットをマーキングする、
   請求項１に記載のデータ拡張方法。
4. 前記データセット分割ステップにおいて、前記マーキングデータセットに基づいて、前記少なくとも二つの解剖学的構造データセットをそれぞれサブデータセットに分割する、
   請求項３に記載のデータ拡張方法。
5. 前記データセット取得ステップにおいて、さらに、前記解剖学的構造データセットに対応するマーキングデータセットを取得し、
   前記データセット分割ステップにおいて、前記マーキングデータセットに基づいて、前記二つ以上のデータグループのうち一つのデータグループに属する二つの解剖学的構造データ、又は、二つのデータグループのそれぞれに属する一つの解剖学的構造データをサブデータセットに分割する、
   請求項２に記載のデータ拡張方法。
6. 前記サブデータセットは、前記サブ部分のサブデータと、隣接する前記サブ部分同士間の重複部分のデータとを含む
   請求項１に記載のデータ拡張方法。
7. 前記データセット変換ステップにおいて、前記少なくとも二つの解剖学的構造データのうち、前記一の解剖学的構造データの、第１のサブ部分のサブデータを含むサブデータセットを前記参照データセットとして、前記他の前記解剖学的構造データの前記サブデータセットにおける前記第１のサブ部分のサブデータを、正規化および／またはデータレジストレーションして、前記変換データセットを生成する、
   請求項６に記載のデータ拡張方法。
8. 前記解剖学的構造は、前記第１のサブ部分と、前記第１のサブ部分に隣接する第２のサブ部分と、前記第１のサブ部分と前記第２のサブ部分との間に位置する第１の重複部分とを備え、
   前記データセット変換ステップにおいて、前記少なくとも二つの解剖学的構造データのうち、前記一の解剖学的構造データのサブデータセットにおける前記第１の重複部分のサブデータと、前記他の解剖学的構造データのサブデータセットにおける前記第１の重複部分のサブデータと、前記正規化および／または前記データレジストレーションされた前記第１のサブ部分のサブデータと、に基づいて、３次元変形演算を行い、変形場を算出し、前記変換データセットを生成する、
   請求項７に記載のデータ拡張方法。
9. 前記データセット合成ステップにおいて、前記変形場に基づいて、前記少なくとも二つの解剖学的構造データのうち、前記一の解剖学的構造データのサブデータセットにおける前記第２のサブ部分のサブデータを変形して、当該第２のサブ部分のサブデータの変換データを生成し、前記他の解剖学的構造データのサブデータセットにおける前記第１のサブ部分のサブデータを変形して、当該第１のサブ部分のサブデータの変換データを生成した後、生成された当該第２のサブ部分のサブデータの変換データ及び当該第１のサブ部分のサブデータの変換データを合成して、前記拡張データセットを生成する、
   請求項８に記載のデータ拡張方法。
10. 前記変形は、剛性レジストレーション及び非剛性レジストレーションのいずれか又はそれらの組み合わせである、
    請求項９に記載のデータ拡張方法。
11. 前記解剖学的構造データが二次元データである場合、前記データセットグループ化ステップにおいて、前記解剖学的構造データセットに含まれる前記少なくとも二つの解剖学的構造データが類似の解剖学的位置および構造を有するか否かを判断する、
    請求項２に記載のデータ拡張方法。
12. 前記所定の条件は、被検体の性別、年齢、体形、疾患情報、病変部位、臓器内の病変の割合、及び、類似する解剖学的構造のうちの少なくとも１つに関する条件である、
    請求項２に記載のデータ拡張方法。
13. 前記解剖学的構造は、２つ以上の相対的に独立した隣り合うサブ部分を含む、
    請求項１に記載のデータ拡張方法。
14. 前記解剖学的構造は、肺、心臓及び肝臓のうちの１つである、
    請求項１に記載のデータ拡張方法。
15. 解剖学的構造が描出された解剖学的構造データのデータ拡張を実行するデータ拡張装置であって、
    前記解剖学的構造に関連する解剖学的構造データセットを取得する取得部と、
    前記解剖学的構造を構成するサブ部分毎に、取得された前記解剖学的構造データセットに含まれる少なくとも二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割する分割部と、
    前記少なくとも二つの前記解剖学的構造データのうち、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータセット変換して、変換データセットを生成する変換部と、
    前記参照データセットに含まれる少なくとも一つの参照データと、生成された前記変換データセットとを合成して、拡張データセットを生成する合成部と、
    を備える、データ拡張装置。
16. 解剖学的構造が描出された解剖学的構造データのデータ拡張方法をコンピュータに実行させるためのプログラムであって、
    前記解剖学的構造に関連する解剖学的構造データセットを取得する処理と、
    前記解剖学的構造を構成するサブ部分毎に、取得された前記解剖学的構造データセットに含まれる少なくとも二つの前記解剖学的構造データを前記解剖学的構造に基づいてそれぞれサブデータセットに分割する処理と、
    前記少なくとも二つの前記解剖学的構造データのうち、一の解剖学的構造データのサブデータセットを参照データセットとして、他の解剖学的構造データのサブデータセットに含まれる少なくとも一つのサブデータをデータ変換して、変換データセットを生成する処理と、
    前記参照データセットに含まれる少なくとも一つの参照データと、生成された前記変換データセットとを合成して、拡張データセットを生成する処理と、を前記コンピュータに実行させるためのプログラム。

Images