JP2023128463A - 生成プログラム、生成方法および情報処理装置 - Google Patents

Abstract

【課題】超音波画像データを用いた機械学習モデルの過学習を抑制することを課題とする。【解決手段】情報処理装置は、訓練データに含まれるラベル画像データであって対象物を撮像した超音波画像データにおける影の領域を示すラベル画像データを用いた機械学習により生成された自己符号化器に、擬似的な影の領域を示す画像データを入力することで得られる出力画像データを取得する。情報処理装置は、取得した出力画像データと超音波画像データとを合成することで、訓練データに対応する拡張データを生成する。【選択図】図１

Description

本発明は、生成プログラム、生成方法および情報処理装置に関する。

対象を非破壊、非侵襲に検査する方法として、超音波検査がある。超音波検査は、プローブから超音波を発生させ、対象物からの反射の強さとタイミングを可視化することで超音波画像データを取得し、取得された超音波画像データを用いて診断を行う検査手法である。

超音波画像データに対してディープニューラルネット（DNN：Deep Neural Network）を活用し、写っているものを認識や検出する技術が知られている。一般的なＤＮＮと同様に、超音波画像データに対するＤＮＮにおいても、データが不十分な場合は過学習が生じることから、データ拡張（data augmentation）により訓練データを増やしてＤＮＮの機械学習が行われる。

データ拡張としては、入力データにランダムにノイズを付与することでバリエーションを作り出す手法が利用されている。過学習を抑制するためには、実際に存在しそうなバリエーションの訓練データを生成することが重要である。例えば、画像データが対象の場合には、ピクセルごとにランダムなノイズを付与、画像データ全体の輝度をランダムに変化、画像データ全体のコントラストをランダムに変化、画像データ全体の色相をランダムに変化させることが行われる。

特開２０２０－１１０３７１号公報

しかしながら、上記データ拡張を超音波画像データに適応させることが難しく、過学習を抑制することができない。例えば、超音波のバリエーションの多くは、骨など、固く、超音波を反射してしまう素材が原因となる影と呼ばれる音響陰影の影響であり、通常のデータ拡張ではこのようなバリエーションを作り出すことはできない。

一つの側面では、超音波画像データを用いた機械学習モデルの過学習を抑制することができる生成プログラム、生成方法および情報処理装置を提供することを目的とする。

第１の案では、生成プログラムは、コンピュータに、訓練データに含まれるラベル画像データであって対象物を撮像した超音波画像データにおける影の領域を示すラベル画像データを用いた機械学習により生成された自己符号化器に、擬似的な影の領域を示す画像データを入力することで得られる出力画像データを取得し、取得した出力画像データと超音波画像データとを合成することで、前記訓練データに対応する拡張データを生成する、処理を実行させることを特徴とする。

一実施形態によれば、超音波画像データを用いた機械学習モデルの過学習を抑制することができる。

図１は、実施例１にかかる情報処理装置を説明する図である。 図２は、一般的なデータ拡張を説明する図である。 図３は、超音波画像データの影を説明する図である。 図４は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図５は、ラベルデータの例を説明する図である。 図６は、影生成器の機械学習を説明する図である。 図７は、プローブの種類と影の種類との関係を説明する図である。 図８は、大まかな疑似影画像データの生成を説明する図である。 図９は、高品質な疑似影画像データの生成を説明する図である。 図１０は、拡張データの生成を説明する図である。 図１１は、拡張データを用いた機械学習モデルの生成を説明する図である。 図１２は、拡張データの生成処理の流れを示すフローチャートである。 図１３は、統計データを用いた拡張データの生成を説明する図である。 図１４は、統計データを用いた拡張データの生成を説明する図である。 図１５は、ハードウェア構成例を説明する図である。

以下に、本願の開示する生成プログラム、生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［情報処理装置の説明］
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、超音波検査によって得られる超音波画像データの入力に応じて、臓器の認識、超音波画像データに写っている影の検出や除去などを行う機械学習モデルの機械学習に用いられる訓練データを生成するコンピュータの一例である。

機械学習モデルにはＤＮＮなどが利用されるが、一般的なＤＮＮと同様に、超音波画像データに対するＤＮＮにおいても、データが不十分な場合は過学習が生じることから、データ拡張により訓練データを増やすことが行われる。

図２は、一般的なデータ拡張を説明する図である。図２に示すように、データ拡張は、ピクセルごとにランダムなノイズを付与、画像データ全体の輝度をランダムに変化、画像データ全体のコントラストをランダムに変化または画像データ全体の色相をランダムに変化させることで、例えば猫の元画像データからノイズを付与した拡張画像データを生成する。そして、拡張画像データをＤＮＮ（機械学習モデル）に入力し、ＤＮＮの出力結果と拡張画像データのラベル（猫）とが一致するように、ＤＮＮの機械学習が実行される。

ところが、超音波検査で撮像される超音波画像データには、いわゆる影と呼ばれるノイズが発生する。この影は、図２で説明したようなノイズとは形式や発生状況などが異なるので、上記データ拡張では機械学習に有用な訓練データを生成することが難しい。

図３は、超音波画像データの影を説明する図である。図３に示すように、超音波画像データは、プローブから対象物（例えば臓器）に対して超音波を発射し、対象物からの反射の強さとタイミングを可視化することで得られる。例えば、放射状にもしくは平行に超音波が発射され、超音波を反射するものがあった場所が明るく表示される。超音波画像データに現れる影は、骨などの固く、超音波を反射してしまう素材が原因となる音響陰影の影響で発生する。したがって、一般的なデータ拡張では、影を再現することが難しく、超音波画像データに対して適切なデータ拡張を行うことが難しい。

そこで、実施例１にかかる情報処理装置１０は、訓練データに含まれるラベル画像データであって対象物を撮像した超音波画像データにおける影の領域を示すラベル画像データを用いた機械学習により生成された自己符号化器に、擬似的な影の領域を示す画像データを入力することで得られる出力画像データを取得する。情報処理装置１０は、取得した出力画像データと超音波画像データとを合成することで、訓練データに対応する拡張データを生成する。

例えば、情報処理装置１０は、超音波画像に対して影がどこにあるかを示したラベルデータを用いて自己符号化器を生成する。そして、情報処理装置１０は、超音波画像データの取得時の情報から大まかな擬似的な影画像データを生成し、これを自己符号化器への入力とすることで、実際の影の形状や分布を考慮した影画像データを生成する。そして、情報処理装置１０は、影画像データと超音波画像データとを合成して、ノイズが付加された拡張データを生成する。

つまり、情報処理装置１０は、超音波画像データにおける影を模した擬似的な影画像データを生成して超音波画像データに重畳することでデータ拡張を行うことで、超音波画像データに対しても有効なデータ拡張を実現し、超音波画像データを用いた機械学習モデルの過学習を抑制することができる。

［機能構成］
図４は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図４に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、図示しない測定器が測定した超音波画像データを、測定器や管理者端末などから受信する。また、通信部１１は、管理者端末などの外部装置から各種データを受信し、外部装置に各種データを送信する。

記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する処理部であり、例えばメモリやハードディスクなどにより実現される。この記憶部１２は、ラベルデータＤＢ１３、訓練データＤＢ１４、拡張データＤＢ１５、機械学習モデル１６を記憶する。

ラベルデータＤＢ１３は、事前学習部２１による影生成器の機械学習に利用されるラベルデータを記憶するデータベースである。具体的には、ラベルデータＤＢ１３は、超音波画像データ内のどこに影があるかを示したラベル画像データの一例であるラベルデータであって、対象物を撮像した超音波画像データにおける影の領域を示すラベルデータを記憶する。図５は、ラベルデータの例を説明する図である。図５に示すように、過去に撮像された超音波画像データ５０の影５０ａなどを用いて、影の位置を示すラベルデータ５１が生成される。

訓練データＤＢ１４は、機械学習モデル１６の機械学習に利用される訓練データを記憶するデータベースである。例えば、教師あり学習が行われる場合、訓練データＤＢ１４が記憶する各訓練データは、超音波画像データとラベル（正解情報）とが対応付けられるデータである。なお、超音波画像データには、影が写っていない超音波画像データや影が写っている超音波画像データを採用することができる。ラベルには、機械学習モデルの訓練内容によって任意の情報を設定することができ、例えば影の位置、影の数、影の有無、認識対象の臓器影などを１つ以上組み合わせることができる。なお、教師なし学習に利用することもできる。

拡張データＤＢ１５は、機械学習モデル１６の機械学習に利用される訓練データを記憶するデータベースであって、後述する制御部２０によって生成された拡張データを記憶するデータベースである。詳細については後述するが、拡張データＤＢ１５が記憶する各拡張データは、訓練データと同様の構成を有する。

機械学習モデル１６は、ＤＮＮを用いて生成された機械学習モデルである。例えば、機械学習モデル１６は、訓練データおよび拡張データを用いて生成される。この機械学習モデル１６は、例えば影の位置、影の数、影の有無、認識対象の臓器影などを検出する検出器の一例である。

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、事前学習部２１、拡張データ生成部２２、機械学習部２３を有する。

事前学習部２１は、影の生成を実行する影生成器を生成する処理部である。具体的には、事前学習部２１は、ラベルデータＤＢ１３に記憶される各ラベルデータを用いた機械学習により、影生成器を生成する。すなわち、事前学習部２１は、対象物を撮像した超音波画像データにおける影の領域を示すラベルデータを用いた機械学習により影生成器を生成する。

図６は、影生成器２１ａの機械学習を説明する図である。図６に示すように、事前学習部２１は、ラベルデータＤＢ１３に記憶される影のラベルデータＡを影生成器２１ａに入力し、影生成器２１ａにより生成された出力結果Ａ´を取得する。そして、事前学習部２１は、影のラベルデータＡのラベルと出力結果Ａ´との誤差が最小化するように、ＤＮＮのパラメータや重み等を最適化する。

ここで、機械学習の損失関数には、平均二乗誤差など一般的に利用される損失関数を採用することができ、最適化には、勾配降下法（Momentum SGD）など一般的に利用される最適化手法を採用することができる。また、影生成器２１ａには、入力データから中間特徴量を抽出するエンコーダと中間特徴量から入力データを復元するデコーダとを有するオートエンコーダなどを採用することができる。

拡張データ生成部２２は、訓練データを拡張した拡張データを生成する処理部である。具体的には、拡張データ生成部２２は、事前学習部２１により生成された影生成器２１ａに、擬似的な影の領域を示す画像データを入力することで得られる出力画像データを取得する。続いて、拡張データ生成部２２は、取得した出力画像データと超音波画像データとを合成することで、訓練データに対応する拡張データを生成する。そして、拡張データ生成部２２は、生成された拡張データを拡張データＤＢ１５に格納する。

すなわち、拡張データ生成部２２は、元となる超音波画像データから大まかに影を挿入した疑似影画像データを生成し、その疑似影画像データを影生成器２１ａに入力して高品質な影が写っている疑似影画像データを生成する。そして、拡張データ生成部２２は、元となる超音波画像データと高品質な影が写っている疑似影画像データとを合成した拡張データを生成する。

ここでは、大まかな疑似影画像データの生成、高品質な疑似影画像データの生成、拡張データの生成のそれぞれについて説明する。

（大まかな疑似影画像データの生成）
拡張データ生成部２２は、ルールベースで大まかな疑似影画像データを生成する。例えば、拡張データ生成部２２は、超音波計測時に使用されるプローブなどの機器や対象の臓器によって、大まかな影の形状を決定する。図７は、プローブの種類と影の種類との関係を説明する図である。図７に示すように、拡張データ生成部２２は、扇型に超音波が発射されやすいセクタ型スキャナやコンベックス型スキャナなどのプローブが使用されている場合は、影の形状を扇型に決定する。また、拡張データ生成部２２は、平行に超音波が発射されやすいリニア型スキャナなどのプローブが使用されている場合は、影の形状を四角形に決定する。

続いて、コンベックス型スキャナを例にして、大まかな疑似影画像データの生成を説明する。図８は、大まかな疑似影画像データの生成を説明する図である。図８に示すように、拡張データ生成部２２は、拡張元となるデータ拡張対象の超音波画像データを選択する。例えば、拡張データ生成部２２は、訓練データＤＢ１４に記憶される訓練データＺ（超音波画像データＺ）を取得する。

そして、拡張データ生成部２２は、訓練データＺ（超音波画像データＺ）と同じ大きさであって黒一色の画像データＢを生成し、画像データＢに、白で塗り潰したランダムな大きさの長方形（もしくはannular sector）Ｂ１の領域を配置する（Ｓ１）。続いて、拡張データ生成部２２は、超音波画像データＺに写っている超音波画像（像Ｚ１）から超音波の発射位置を推定する（Ｓ２）。例えば、拡張データ生成部２２は、超音波画像の両端の線を延長させた交点を発射位置と推定することができ、発射位置が既知である場合にはそれを利用することもできる。

その後、拡張データ生成部２２は、画像データＢに配置した長方形Ｂ１を、推定した超音波の発射位置を中心に、超音波画像データＺにおいて像Ｚ１が写っている場所からはみ出ないようランダムに回転させる（Ｓ３）。このようにして、拡張データ生成部２２は、大まかな疑似影画像データＢを生成することができる。

（高品質な疑似影画像データの生成）
次に、拡張データ生成部２２は、影生成器２１ａを用いて、高品質な疑似影画像データを生成する。図９は、高品質な疑似影画像データの生成を説明する図である。図９に示すように、拡張データ生成部２２は、大まかな疑似影画像データＢを影生成器２１ａに入力し、影生成器２１ａの出力結果を取得する。そして、拡張データ生成部２２は、影生成器２１ａの出力結果を、高品質な疑似影画像データＣとする。この高品質な疑似影画像データＣには、高品質に再現した疑似的な影ＣＢが含まれることとなる。

（拡張データの生成）
次に、拡張データ生成部２２は、高品質な疑似影画像データＣと元の超音波画像データＺとを重畳して拡張データを生成する。図１０は、拡張データの生成を説明する図である。図１０に示すように、拡張データ生成部２２は、高品質な疑似影画像データＣの白黒を反転させて、白黒反転後の高品質な疑似影画像データＣ１のスケーリングを行い、スケーリング後の画像データＣ１に［０，１］の範囲の乱数を乗じて影の濃さを調整した画像データＣ２を生成する。

そして、拡張データ生成部２２は、元画像データである超音波画像データＺに対して同様のスケーリングを実行し、スケーリング後の超音波画像データＺと画像データＣ２とを画素ごとに乗算して、拡張データＥを生成する。なお、スケーリングには、最小値を０、最大値を１とする０－１スケーリングなどの公知の手法（正規化）を採用することができる。

なお、拡張データ生成部２２は、拡張データＥを教師あり学習に利用する場合には、生成された拡張データＥに、機械学習モデルの訓練内容に応じたラベル（目的変数）を付与して、拡張データＤＢ１５に格納する。一方、拡張データ生成部２２は、拡張データＥを教師なし学習に利用する場合には、生成された拡張データＥを拡張データＤＢ１５に格納する。

図４に戻り、機械学習部２３は、訓練データおよび拡張データを用いた機械学習により、機械学習モデル１６を生成する処理部である。具体的には、機械学習部２３は、機械学習モデル１６の用途に応じて、教師あり学習や教師なし学習等の様々な機械学習手法により、機械学習モデル１６の訓練を実行する。

図１１は、拡張データを用いた機械学習モデル１６の生成を説明する図である。図１１では、拡張データＥを用いた教師あり学習を例にして説明する。図１１に示すように、拡張データＥは、説明変数と目的変数とを有する。ここで、説明変数は、拡張データＥの画像データであり、目的変数は、訓練内容により決定される正解情報である。機械学習部２３は、拡張データＥを機械学習モデル１６に入力し、機械学習モデル１６の出力結果Ｅ´を取得する。そして、機械学習部２３は、拡張データＥの目的変数と出力結果Ｅ´との誤差が小さくなるように、機械学習モデル１６の訓練を実行する。

なお、機械学習モデル１６の訓練内容としては、影の位置の検出、影の数の検出、影の大きさの検出、影の有無の検出、臓器の認識など、もしくはこれらの組合せなどが挙げられる。したがって、拡張データＥのラベル（目的変数）としては、影の位置、影の数、影の大きさ、影の有無、臓器の名称などが設定される。

このようにして生成された機械学習モデル１６は、超音波画像データが入力されると、訓練内容にしたがって、影の位置などの検出結果や臓器の認識結果などを出力する。

［処理の流れ］
図１２は、拡張データの生成処理の流れを示すフローチャートである。図１２に示すように、管理者等により処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、事前学習部２１は、ラベルデータＤＢ１３に記憶されるラベルデータを用いて影生成器２１ａを生成する（Ｓ１０２）。

影生成器２１ａが生成されると、拡張データ生成部２２は、元となる超音波画像データを基準に、ルールベースに基づいて大まかな疑似影画像データを生成する（Ｓ１０３）。続いて、拡張データ生成部２２は、大まかな疑似影画像データを影生成器２１ａに入力して、高品質な疑似影画像データを生成する（Ｓ１０４）。

その後、拡張データ生成部２２は、高品質な疑似影画像データと、元となる超音波画像データとを合成して、拡張データを生成する（Ｓ１０５）。なお、上記各処理は、矛盾のない範囲内で適宜入れ替えることができる。また、図１２では、一連の流れで説明したが、これに限定されるものではなく、影生成器２１ａの生成、大まか疑似影画像データの生成、高品質な疑似影画像データの生成、拡張データの生成の各処理を別々のフローで実行することもできる。

［効果］
上述したように、情報処理装置１０は、超音波画像データにおける影を再現した擬似的な影を生成する影生成器２１ａをＤＮＮによって構成して訓練し、高精度な疑似影画像データを生成して元の超音波画像データに重畳することでデータ拡張することができる。この結果、情報処理装置１０は、超音波画像データに対しても有効なデータ拡張を実現することができる。したがって、情報処理装置１０は、訓練データと、高精度に生成した拡張データとを用いた機械学習により、目的とする機械学習モデルの訓練を実行することができ、超音波画像データを用いた機械学習モデルの過学習を抑制することができる。

また、情報処理装置１０は、超音波を発射するプローブの形状に応じた影の領域を生成するので、超音波検査の状態を再現することができ、拡張データの精度を向上させることができる。また、情報処理装置１０は、発射位置を基準にした手法により大まかな疑似影画像データを生成した上で、高品質な疑似影画像データを生成することができるので、最終的な拡張データの精度を向上させることができる。

ところで、疑似影画像データは、実際に発生した影の状況に基づき生成することで、実際の超音波検査に即した影の発生を再現することができる。そこで、実施例２では、統計データに基づく疑似影画像データの生成について説明する。

具体的には、ラベルデータに多様な影の形状が含まれる場合、大まかな影を生成するためのメタ情報をラベルデータから計算してもよい。図１３は、統計データを用いた拡張データの生成を説明する図である。図１３に示すように、拡張データ生成部２２は、過去に撮像された超音波画像データから生成された影のラベルデータを記憶するラベルデータＤＢ１３を参照し、各ラベルデータの影の統計データとして、影の数の分布を生成する。例えば、拡張データ生成部２２は、全ラベルデータのうち、影が１個のラベルデータが全体の２割、影が２個のラベルデータが全体の４割などのように、影の数の分布を生成する。また、拡張データ生成部２２は、全ラベルデータについて影の長さ、影の幅などの形状を特定し、影の長さの平均と分散、影の幅の平均と分散などの形状に関する統計データを生成する。

そして、拡張データ生成部２２は、影の分布と影の形状に関する統計データとに基づいて、大まかな疑似影画像データを生成する。例えば、拡張データ生成部２２は、影の分布にしたがって、１つの影の疑似影画像データを全体の２割生成し、２つの影の疑似影画像データを全体の４割生成する。その際、拡張データ生成部２２は、平均と分散にしたがって、生成する影の形状を決定する。例えば、影の長さを例にして説明すると、拡張データ生成部２２は、分散が閾値未満の場合は、平均値の長さの影を含む大まかな疑似影画像データＢを生成し、分散が閾値以上の場合は、平均値の長さからランダムに長さを変えた複数の大まかな疑似影画像データＢを生成する。

別例としては、情報処理装置１０は、影のラベルデータに影の要因などのラベルがついており、また、その要因によって影の形状が大きく異なる場合、大まかな影を生成するための情報を、要因ごとにラベルデータから計算してもよい。その際、情報処理装置１０は、影の要因の頻度分布も計算しておき、生成時にはまず影の要因をサンプリングし、その後にその要因に対応する上記情報を用いて大まかな影を生成することもできる。

図１４は、統計データを用いた拡張データの生成を説明する図である。図１４に示すように、ラベルデータＤＢ１３には、拳による影（ラベル：拳）のラベルデータ、肋骨による影（ラベル：肋骨）のラベルデータ、腕による影（ラベル：腕）のラベルデータなどのように、影の要因を示すラベルが付与されたラベルデータが記憶される。

そして、拡張データ生成部２２は、要因ごとに、影の数の分布と影の形状に関する統計データとを生成する。拡張データ生成部２２は、図１３で説明した手法で、要因ごとに大まかな疑似影画像データを生成する。

また、拡張データ生成部２２は、要因ごとにラベルデータの数を計数し、ラベルデータにおける影の要因の分布を生成する。そして、拡張データ生成部２２は、影の要因の分布に従って、各要因に対応する大まかな疑似影画像データを生成する。例えば、ラベルデータ全体の６割が肋骨の影、３割が拳の影、１割が腕の影の場合だった場合に、１００個の拡張データを生成することを考える。この場合、拡張データ生成部２２は、６０個の肋骨の大まかな疑似影画像データ、３０個の拳の大まかな疑似影画像データ、１０個の腕の大まかな疑似影画像データを生成することで、最終的な拡張データの数を影の要因の分布と同じにする。

なお、図１３および図１４のいずれの手法を用いた場合でも、高品質な疑似影画像データの生成、拡張データの生成は、実施例１の手法を用いる。

［数値例］
上記実施例で用いた要因例、分布、平均や分散などの各値、数値例、ラベル例等は、あくまで一例であり、任意に変更することができる。また、上記実施例では、影生成器２１ａとしてオートエンコーダを用いた例を説明したが、これに限定されるものではない。例えば、ＶＡＥ（Variational Auto-Encoder：変分オートエンコーダ）や敵対的学習を用いることもできる。

ＶＡＥは、中間特徴量が標準正規分布になるよう正則化が掛かるので、学習時に使った影のラベル画像と、生成時に使う大まかな疑似影画像の見た目が大きく違っても安定して動作することが期待できる。特に、シードとしたい大まかな疑似影画像と、生成したい影の見た目が大きく異なる場合に用いることで、安定した機械学習を実行することができる。敵対的学習は、生成する画像と、影のラベル画像との区別がつかなくなるように学習するので、よりリアルな画像を生成できるようになることが期待できる。特に、より高品質な影を生成したい場合に用いることが効果的である。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、影生成器２１ａの生成、拡張データの生成、機械学習モデル１６の訓練を別々の装置で実行することもできる。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
図１５は、ハードウェア構成例を説明する図である。図１５に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１５に示した各部は、バス等で相互に接続される。

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図４等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、事前学習部２１、拡張データ生成部２２、機械学習部２３等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、事前学習部２１、拡張データ生成部２２、機械学習部２３等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１０は、プログラムを読み出して実行することで拡張データの生成方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ ラベルデータＤＢ
１４ 訓練データＤＢ
１５ 拡張データＤＢ
１６ 機械学習モデル
２０ 制御部
２１ 事前学習部
２２ 拡張データ生成部
２３ 機械学習部

Claims (9)

1. コンピュータに、
   訓練データに含まれるラベル画像データであって対象物を撮像した超音波画像データにおける影の領域を示すラベル画像データを用いた機械学習により生成された自己符号化器に、擬似的な影の領域を示す画像データを入力することで得られる出力画像データを取得し、
   取得した出力画像データと超音波画像データとを合成することで、前記訓練データに対応する拡張データを生成する、
   処理を実行させることを特徴とする生成プログラム。
2. 超音波診断の際に用いる、超音波を発射するプローブの形状に応じた影の領域を生成し、生成された前記影の領域を示す画像データを生成する、前記コンピュータにさらに実行させることを特徴とする請求項１に記載の生成プログラム。
3. 前記生成する処理は、
   黒一色の画像データに、白で塗り潰した領域であって前記プローブの形状に応じた前記領域を配置し、
   過去に撮像された、像が写っている超音波画像データから超音波の発射位置を推知し、
   推定された前記発射位置と中心に、前記超音波画像データにおいて前記像が写っている場所から前記領域を回転させることで、前記擬似的な影の領域を示す画像データを生成する、ことを特徴とする請求項２に記載の生成プログラム。
4. 過去に撮像された複数の超音波画像データから、実際に発生した影の統計データを生成し、
   前記影の統計データにしたがって、前記擬似的な影の領域を示す画像データを生成する、前記コンピュータにさらに実行させることを特徴とする請求項１から３のいずれか一つに記載の生成プログラム。
5. 前記生成する処理は、
   前記統計データとして、影の数の分布、影の長さの平均と分散、影の幅の平均と分散を生成し、
   前記統計データに基づき、影の形状を決定し、
   決定された影の形状を示す前記画像データを生成する、ことを特徴とする請求項４に記載の生成プログラム。
6. 前記生成する処理は、
   前記統計データとして、前記影の要因の分布を生成し、
   前記影の要因の分布にしたがって、各要因に対応する数の前記画像データを生成する、ことを特徴とする請求項４または５に記載の生成プログラム。
7. 前記生成する処理は、
   前記出力画像データと前記超音波画像データとを画素ごとに乗算することで、前記訓練データに対応する前記拡張データを生成する、ことを特徴とする請求項１から６のいずれか一つに記載の生成プログラム。
8. コンピュータが、
   訓練データに含まれるラベル画像データであって対象物を撮像した超音波画像データにおける影の領域を示すラベル画像データを用いた機械学習により生成された自己符号化器に、擬似的な影の領域を示す画像データを入力することで得られる出力画像データを取得し、
   取得した出力画像データと超音波画像データとを合成することで、前記訓練データに対応する拡張データを生成する、
   処理を実行することを特徴とする生成方法。
9. 訓練データに含まれるラベル画像データであって対象物を撮像した超音波画像データにおける影の領域を示すラベル画像データを用いた機械学習により生成された自己符号化器に、擬似的な影の領域を示す画像データを入力することで得られる出力画像データを取得する取得部と、
   取得した出力画像データと超音波画像データとを合成することで、前記訓練データに対応する拡張データを生成する生成部と、
   を有することを特徴とする情報処理装置。

Images