JP2022035396A - 画像変換プログラム、方法、および装置 - Google Patents

Abstract

【課題】様々な撮影条件で撮影された医用画像を効率的に識別できる画像変換プログラム、方法および装置を提供する。【解決手段】コンピュータは、第１の画像に適用された第１のフィルタを特定し、第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、第１の画像を第３の画像に変換する。これにより、コンピュータは、様々な撮影条件で撮影された医用画像を効率的に識別できる。【選択図】図７

Description

本発明は、画像変換プログラム、方法、および装置に関する。

医療における画像検査は、医師不足や１検査あたりの撮影画像数の増加により、医師の負担が増大しているため、効率化が求められている。医師が、過去の似た症例の病名やカルテ情報を参考にすることで、画像検査に要する時間を短縮し、効率化することが期待される。

過去の似た症例を参考にするためには、機械学習などにより、画像から症例を特徴化し、特徴を基に過去の類似した症例を検索することが考えられる。一方で、画像内の症例を特徴化する機械学習は、学習に含まれていない画像を識別できない。そのため、撮影条件の違いによって画質が異なるＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像などの医用画像において、想定される撮影条件で撮影された様々なバリエーションを有する画像と症例を示す正解ラベルのペアを大量に生成することが求められる。

画像と正解ラベルのペアを大量に生成する方法として、医師が知見に基づいて、ＣＴ画像内の症例の正解ラベルを手作業で作成する方法が考えられる。また、既に正解ラベル付けされた学習データに対し、回転、反転、平行移動、スケール変化、色変化、コントラスト変化などの画像処理を行うことで、様々なバリエーションを有する画像を生成する方法が知られている。

特開２０１８－１８０７２９号公報 特開２０１９－５６９５７号公報

ピクトグラムでわかる呼吸器内科（https://respiresi.exblog.jp/23965463/） 三浦 健太、喜田 卓也、"花画像データセットの構築と畳み込みニューラルネットワーク"、ＤＥＩＭ Ｆｏｒｕｍ ２０１７． Ａ． Ｄｏｓｏｖｉｔｓｋｉｙ， Ｊ． Ｔ． Ｓｐｒｉｎｇｅｎｂｅｒｇ， ａｎｄ Ｔ． Ｂｒｏｘ， "Ｕｎｓｕｐｅｒｖｉｓｅｄｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ ｂｙ ａｕｇｍｅｎｔｉｎｇ ｓｉｎｇｌｅ ｉｍａｇｅｓ，" ａｒＸｉｖ， ２０１４．

しかしながら、従来の方法には、適切な学習用の画像と正解ラベルのペアを、効率良く生成できない場合があるという問題がある。例えば、医師が正解ラベルを手作業で作成する方法は、手作業を要する上に、十分な量の画像をあらかじめ用意する必要があり、画像と正解ラベルのペアを効率良く生成できない場合がある。また、画像処理により画像を生成する方法では、撮影画像として存在し得ない画像が生成されることがあり、識別精度を向上させることができない場合がある。

１つの側面では、様々な撮影条件で撮影された医用画像を効率的に識別できる画像変換プログラム、方法、および装置を提供することを目的とする。

１つの態様において、画像変換プログラムは、コンピュータに、第１の画像に適用された第１のフィルタを特定し、第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、第１の画像を第３の画像に変換する処理を実行させる。

１つの側面では、様々な撮影条件で撮影された医用画像を効率的に識別できる。

図１は、類似症例の検索方法を説明する図である。 図２は、画像変換システムの構成例を示す図である。 図３は、画像識別処理の例を示す図である。 図４は、学習データのデータ構造の例を示す図である。 図５は、撮影条件データのデータ構造の例を示す図である。 図６は、識別データのデータ構造の例を示す図である。 図７は、画像変換および識別処理の流れを示すフローチャートである。 図８は、ＰＳＦ推定処理の流れを示すフローチャートである。 図９は、周波数変換処理の流れを示すフローチャートである。 図１０は、画像変換処理の流れを示すフローチャートである。 図１１は、画像識別処理の流れを示すフローチャートである。 図１２は、ハードウェア構成例を説明する図である。

以下に、本発明に係る画像変換プログラム、方法、および装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

まず、図１を用いて、ＣＴ画像による類似症例の検索方法の概要について説明する。図１は、類似症例の検索方法を説明する図である。図１に示すように、検索キーとなるＣＴ画像から、機械学習および画像解析により症例を特徴化し、異常陰影の候補が抽出される。そして、抽出された異常陰影の候補とデータベース（ＤＢ）に保存済みの過去の症例の陰影のデータとの照合が行われ、検索キーであるＣＴ画像と類似する画像の一覧が検索結果として得られる。

ここで、検索結果である類似症例の精度は、類似症例との比較対象である、ＣＴ画像からの症例の特徴化の精度に依存する。そして、ＣＴ画像からの症例の特徴化は、ＣＴ画像を入力、および症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルを用いて行われる。しかしながら、ＣＴ画像は、様々な撮影条件で撮影されるため、例えば、識別対象のＣＴ画像と異なる撮影条件で撮影されたＣＴ画像を多数学習して構築された機械学習モデルでは、識別対象のＣＴ画像を正しく識別できない。

そこで、本発明では、識別対象のＣＴ画像の撮影条件の特性を打ち消し、機械学習に用いたＣＴ画像と同一の撮影条件を適用することで識別対象のＣＴ画像を識別する。

次に、本発明を実施するための画像変換システムについて説明する。図２は、画像変換システムの構成例を示す図である。図２に示すように、画像変換システム１は、画像変換装置１０、記憶装置２０、画像入力装置３０、および計算機４０を有する。例えば、計算機４０は、ユーザが操作するパーソナルコンピュータなどの端末である。また、例えば、画像変換装置１０、記憶装置２０、および画像入力装置３０は、サーバコンピュータである。また、画像変換システム１の各装置の機能の一部および全部は、一体として構成されていてもよい。

画像変換装置１０は、カメラ装置などである画像入力装置３０から入力された識別対象の画像の撮影条件の特性を打ち消し、機械学習に用いた画像と同一の撮影条件を適用する。これにより、識別対象の画像と機械学習に用いた画像との画質の均一化を図る。また、画像変換装置１０は、必要に応じて記憶装置２０に記憶されている情報を参照する。なお、画像変換装置１０は、計算機４０を介して行われた操作に応じて処理を行ってもよい。

画像変換装置１０は、推定部１０１、変換部１０２、識別部１０３、および決定部１０４を有する。また、記憶装置２０は、学習データ２０１、撮影条件データ２０２、および識別データ２０３を記憶する。

推定部１０１は、識別対象のＣＴ画像に適用されたフィルタを特定する。ここで、本実施例におけるフィルタは、例えば、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点拡がり関数または点像分布関数）である。ＰＳＦは、畳み込み演算により画像に適用される。そのため、例えば、推定部１０１は、ＣＴ画像に畳み込み演算により適用されたＰＳＦを特定する。

また、ＰＳＦは撮影条件と対応付けられている。そのため、撮影画像を撮影した際の撮影条件を推定することにより、撮影画像に適用されたＰＳＦを特定できる。なお、撮影条件には、例えば、撮影機器の種類および再構成関数が含まれる。

ＰＳＦの特定方法の具体例として、例えば、推定部１０１は、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）画像に付けられたタグから撮影機器名（種類）および再構成関数を抽出できる。ＤＩＣＯＭは、ＣＴ画像など医用画像のフォーマットおよび医用画像情報を通信する際の通信プロトコルの国際標準規格である。ＤＩＣＯＭタグ（０００８、１０９０）の“Ｍａｎｕｆａｃｔｕｒｅｒ’ｓ Ｍｏｄｅｌ Ｎａｍｅ”は撮影機器名に対応する。また、ＤＩＣＯＭタグ（００１８、１２１０）の“Ｃｏｎｖｏｌｕｔｉｏｎ Ｋｅｒｎｅｌ”は再構成関数に対応する。推定部１０１は、抽出された撮影条件である撮影機器および再構成関数から、対応付けられるＰＳＦを特定できる。

特定したＰＳＦの推定方法として、従来の推定方法を用いることができる。例えば、推定部１０１は、金属ワイヤ（ファントム）の撮影によるＰＳＦ推定を行うことができる（参考文献：市川勝弘、原孝則、丹羽伸次、大橋一也、“ＣＴにおける金属ワイヤによるＭＴＦの測定法”、日本放射線学会雑誌、２００８）。さらに別例として、推定部１０１は、ＣＴ画像中の血管を利用したＰＳＦ推定を行うことができる（参考文献：河田佳樹、中屋良宏、仁木登、大松広伸、江口研二、金子昌弘、森山 紀之、“ＣＴ像からのＰＳＦ測定法”、電子情報通信学会論文誌、２００８）。

また、推定部１０１は、機械学習モデルの教師データとして用いられたＣＴ画像に適用されたＰＳＦを上記方法により特定してもよい。ここで、当該機械学習モデルは、ＣＴ画像を入力、および当該ＣＴ画像に投影された症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルである。

変換部１０２は、識別対象のＣＴ画像に対し、適用されたＰＳＦの特性を打ち消し、機械学習モデルの教師データとして用いられたＣＴ画像に適用されたＰＳＦを適用することで、識別対象のＣＴ画像を、当該機械学習モデルにより識別可能なＣＴ画像に変換する。そのために、変換部１０２は、空間領域のＰＳＦまたはＣＴ画像を、フーリエ変換により空間周波数領域へ変換する。また、変換部１０２は、空間周波数領域のＰＳＦまたはＣＴ画像を、フーリエ逆変換により空間領域へ変換する。

より具体的には、変換部１０２は、空間領域のＣＴ画像であるＩ（ｘ，ｙ）を、式（１）のように空間周波数領域に変換する。Ｆ｛ ｝は、括弧内の値をフーリエ変換することを示す。

変換部１０２は、空間領域のＰＳＦであるＰ（ｘ，ｙ）を、式（２）のように空間周波数領域に変換する。

ここで、ＣＴ画像であるＩ（ｘ，ｙ）に対し、ＣＴ機器で取得したＰＳＦ適用前の画像データをＯ（ｘ，ｙ）とする。また、ＰＳＦをＰ（ｘ，ｙ）とする。このとき、Ｉ（ｘ，ｙ）は、式（３）のように表される。ただし、＊は畳み込み演算子（フィルタリング処理）である。

そして、変換部１０２は、式（４）に示すように、フーリエ変換されたＣＴ画像を示すＦ｛Ｏ（ｘ，ｙ）｝・Ｆ｛Ｐ（ｘ，ｙ）｝に、ＣＴ画像に適用されているＰＳＦをフーリエ変換したＦ｛Ｐ（ｘ，ｙ）｝を除算することにより、当該ＰＳＦを打ち消す。

さらに、変換部１０２は、式（４）に示すように、機械学習モデルに用いられたＣＴ画像に適用されたＰＳＦを示すＦ｛Ｐ´（ｘ，ｙ）｝を乗算することにより当該ＰＳＦを適用し、機械学習モデルで識別可能なＣＴ画像を示すＦ｛Ｉ´（ｘ，ｙ）｝に変換する。

このように、空間領域における畳み込み演算は、空間周波数領域における乗算で表現でき、フーリエ変換したＰＳＦを除算することにより当該ＰＳＦを打ち消し、フーリエ変換したＰＳＦを乗算することにより当該ＰＳＦを適用できる。

さらに、変換部１０２は、式（５）に示すように、変換されたＦ｛Ｉ´（ｘ，ｙ）｝をフーリエ逆変換により空間周波数領域から空間領域へ変換し、Ｉ´（ｘ，ｙ）を得る。

ここで、式（６）のように、空間領域における畳み込み演算が、空間周波数領域では乗算で表現可能であることを証明する。

まず、畳み込み演算は式（７）のように定義される。

また、離散時間フーリエ変換は式（８）のように定義される。

このとき、式（９）により、離散時間フーリエ変換により変換された畳み込み演算は、乗算で表現されることが証明される。

識別部１０３は、変換部１０２によって変換された識別対象のＣＴ画像を、ＣＴ画像を入力、および当該ＣＴ画像に投影された症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルを用いて識別する。

図３は、画像識別処理の例を示す図である。図３に示すように、識別部１０３は、少なくとも機械学習モデルを備えた識別器５０に、変換部１０２によって変換された識別対象のＣＴ画像を入力することにより、識別器５０から出力される識別ラベルを得る。なお、識別器５０は、画像変換装置１０に備えられてもよいし、画像変換装置１０とは別の装置に備えられてもよい。

なお、ここで識別される識別対象のＣＴ画像は、式（５）でいうＩ´（ｘ，ｙ）である。Ｉ´（ｘ，ｙ）は、機械学習モデルの教師データとして用いられたＣＴ画像のＰＳＦが適用されているため、当該機械学習モデルを用いて高精度で識別できる。例えば、機械学習モデルの教師データとして用いられたＣＴ画像に、Ｉ´（ｘ，ｙ）の原画像の撮影条件と同一の撮影条件で撮影された画像が無い、または少ない場合であっても、新たに機械学習モデルの教師データを集めなくてもＩ´（ｘ，ｙ）を識別できる。

また、識別部１０３は、識別対象のＣＴ画像に適用するＰＳＦを決定するために、機械学習モデルを用いて複数のＣＴ画像を識別する。

決定部１０４は、識別部１０３によって識別された複数のＣＴ画像の中で識別精度が最も高いＣＴ画像に適用されているＰＳＦを、識別対象のＣＴ画像に適用するＰＳＦに決定する。例えば、撮影条件Ａ～Ｄで撮影されたＣＴ画像を機械学習モデルで識別した結果、識別精度がそれぞれ、７８％、８０％、９０％、８４％であったとする。この場合は、撮影条件Ｃの識別精度が最も高いため、撮影条件Ｃに対応付けられたＰＳＦを識別対象のＣＴ画像に適用するＰＳＦに決定する。これにより、ＣＴ画像をより高精度に識別できる。なお、機械学習モデルの識別精度は、機械学習モデルに対する再学習に応じて変化するため、決定部１０４による適用ＰＳＦの決定は定期的に行われてよい。また、決定部１０４による適用ＰＳＦの決定は、識別対象のＣＴ画像を識別する際に行われるのではなく、予め行っておくこともできる。これにより、識別対象のＣＴ画像の識別をより速く行うことができる。

学習データ２０１は、機械学習モデルに対する学習や再学習に用いられる学習用の画像に関する情報を含む。学習用の画像は、例えば、機械学習モデルの教師データとして用いるために、ＣＴ機器などによって撮影されるＣＴ画像のデータである。なお、学習用の画像は、様々な撮影条件で撮影された画像を含むため、各画像に適用されたＰＳＦも様々である。

図４は、学習データのデータ構造の例を示す図である。図４に示すように、学習データ２０１は、ファイル名、リンクを含む。「ファイル名」は、画像ファイルの名称である。「リンク」は画像ファイルの格納場所のパスである。学習データ２０１には、図４のデータ項目以外にも、例えば、ＣＴ画像に投影された症例を示す正解ラベルを含むこともできる。

撮影条件データ２０２は、撮影条件に関する情報を含む。例えば、撮影条件は、画像を撮影したＣＴ機器の種類および再構成関数である。また、撮影条件は、管電圧などを含んでもよい。

図５は、撮影条件データのデータ構造の例を示す図である。図５に示すように、撮影条件データ２０２は、撮影機器、再構成関数、空間データ、リンク（空間データ）、空間周波数データ、リンク（空間周波数データ）、変換を含む。「撮影機器」および「再構成関数」は、撮影条件に相当する。「空間データ」は、空間領域のＰＳＦの有無を管理するためのフラグである。「リンク（空間データ）」は、空間領域のＰＳＦデータの格納場所である。「空間周波数データ」は、空間周波数領域のＰＳＦの有無を管理するためのフラグである。「リンク（空間周波数データ）」は、空間周波数領域のＰＳＦデータの格納場所である。なお、格納場所は、データが格納されている場所であってもよいし、対応するデータが生成された場合に格納される予定の場所であってもよい。「変換」は、識別対象のＣＴ画像の変換への利用を管理するためのフラグである。例えば、図５の例では、撮影機器が「Ｄ２」および再構成関数が「Ｆ４」の撮影条件は、空間領域および空間周波数領域のＰＳＦは存在し、識別対象のＣＴ画像の変換に利用することを示している。

識別データ２０３は、識別対象の画像に関する情報を含む。識別対象の画像は、例えば、医師が検査を行うために、ＣＴ機器などによって撮影されるＣＴ画像のデータである。識別対象の画像は、様々な撮影条件で撮影される画像であるため、適用されるＰＳＦも様々である。

図６は、識別データのデータ構造の例を示す図である。図６に示すように、識別データ２０３は、ファイル名、リンクを含む。ファイル名は、画像ファイルの名称である。リンクは画像ファイルの格納場所のパスである。

次に、画像変換装置１０によって実行される画像変換および識別処理を流れに沿って説明する。図７は、画像変換および識別処理の流れを示すフローチャートである。

図７に示すように、まず、画像変換装置１０の推定部１０１は、ＰＳＦ推定処理を実行する（ステップＳ１）。次に、画像変換装置１０の変換部１０２は、周波数変換処理を実行する（ステップＳ２）。続けて、変換部１０２は、画像変換処理を実行する（ステップＳ３）。そして、画像変換装置１０の識別部１０３は、画像識別処理を実行し（ステップＳ４）、識別結果を出力する（ステップＳ５）。各処理の詳細について説明する。

まず、ＰＳＦ推定処理について説明する。図８は、ＰＳＦ推定処理の流れを示すフローチャートである。図８の処理は、画像変換装置１０の推定部１０１によって実行される図７のＰＳＦ推定処理（ステップＳ１）に相当する。

まず、推定部１０１は、図８に示すように、記憶装置２０から機械学習モデルに対する学習に利用した画像を取得する（ステップＳ１０１）。当該画像は、例えば、ＣＴ機器によって予め撮影され、学習データ２０１の「リンク」に示される記憶装置２０の格納場所に格納されたＣＴ画像である。

次に、推定部１０１は、ステップＳ１０１で取得された画像のＤＩＣＯＭタグから撮影条件を特定する（ステップＳ１０２）。当該撮影条件は、例えば、画像を撮影したＣＴ機器の種類、再構成関数、および管電圧などを含む。

次に、他に学習に利用した画像が存在する場合（ステップＳ１０３：Ｙｅｓ）、推定部１０１はステップＳ１０２に戻り処理を繰り返す。一方、他に学習に利用した画像が存在しない場合（ステップＳ１０３：Ｎｏ）、推定部１０１はステップＳ１０７に進む。

また、ステップＳ１０１～Ｓ１０３と並行または前後して、推定部１０１は、記憶装置２０から識別を行う識別対象の画像を取得し（ステップＳ１０４）、当該画像のＤＩＣＯＭタグから撮影条件を特定する（ステップＳ１０５）。当該画像は、例えば、医師が検査を行うために、ＣＴ機器によって予め撮影され、識別データ２０３の「リンク」に示される記憶装置２０の格納場所に格納されたＣＴ画像である。

また、他に識別対象の画像が存在する場合（ステップＳ１０６：Ｙｅｓ）、推定部１０１はステップＳ１０５に戻り処理を繰り返し、他に識別対象の画像が存在しない場合（ステップＳ１０６：Ｎｏ）、推定部１０１はステップＳ１０７に進む。

ステップＳ１０３およびＳ１０６のＮｏルートに進み、推定部１０１は、記憶装置２０の撮影条件データ２０２に、撮影条件に対応するＰＳＦの「空間データ」フラグが０であるデータが存在するか判定する（ステップＳ１０７）。

「空間データ」フラグが０であるデータが存在する場合（ステップＳ１０７：Ｙｅｓ）、対応するＰＳＦはまだ特定されていないため、推定部１０１は、対応するＰＳＦを特定し、「空間データ」フラグを１に設定し（ステップＳ１０８）、ステップＳ１０９に進む。一方、「空間データ」フラグが０であるデータが存在しない場合（ステップＳ１０７：Ｎｏ）、対応するＰＳＦは特定済みであるため、ステップＳ１０９に進む。

次に、処理を行っていない撮影条件が存在する場合（ステップＳ１０９：Ｙｅｓ）、推定部１０１は、ステップＳ１０７に戻り処理を繰り返す。一方、処理を行っていない撮影条件が存在しない場合（ステップＳ１０９：Ｎｏ）、決定部１０４は、識別を行う画像を変換するＰＳＦを決定する（ステップＳ１１０）。

ここで、識別を行う画像を変換するＰＳＦとは、ステップＳ１０１で取得された機械学習モデルに対する学習に利用した画像に適用されているＰＳＦである。上述したように、例えば、複数の画像の中で機械学習モデルの識別精度が最も高い画像に適用されているＰＳＦを、識別を行う画像を変換するＰＳＦとして決定する。決定されたＰＳＦを、識別を行う画像に適用することにより、機械学習モデルで識別を行う画像を識別できる。

そして、決定部１０４は、利用するＰＳＦの「変換」フラグを１に設定する（ステップＳ１１１）。ステップＳ１１１の後、図８の処理は終了する。

なお、決定部１０４によるＰＳＦの決定処理（ステップＳ１１０およびＳ１１１）は、ＰＳＦ推定処理の中で行う必要はなく、予め行っておくこともできる。例えば、ＰＳＦ推定処理では、識別を行う画像の撮影条件に対応するＰＳＦのみを特定し、識別を行う画像を変換するＰＳＦ、すなわち、機械学習モデルに対する学習に利用した画像に適用されているＰＳＦの決定は、別処理として予め行っておくことができる。別処理として行う場合、ステップＳ１０１～Ｓ１０３を実行し、各画像のＰＳＦを特定した後、Ｓ１１０およびＳ１１１を実行する。この場合、ＰＳＦ推定処理（ステップＳ１）は、別処理として実行するステップＳ１０１～Ｓ１０３、Ｓ１１０、およびＳ１１１を含まなくてよい。

次に、周波数変換処理について説明する。図９は、周波数変換処理の流れを示すフローチャートである。図９の処理は、画像変換装置１０の変換部１０２によって実行される図７の周波数変換処理（ステップＳ２）に相当する。

まず、変換部１０２は、図９に示すように、記憶装置２０から識別を行う識別対象の画像を取得し（ステップＳ２０１）、周波数変換して記憶装置２０に格納する（ステップＳ２０２）。

次に、処理を行っていない画像が存在する場合（ステップＳ２０３：Ｙｅｓ）、変換部１０２は、ステップＳ２０２に戻り処理を繰り返す。一方、処理を行っていない画像が存在しない場合（ステップＳ２０３：Ｎｏ）、図９の処理は終了する。

また、ステップＳ２０１～Ｓ２０３と並行または前後して、変換部１０２は、記憶装置２０から撮影条件を取得し（ステップＳ２０４）、撮影条件に対応するＰＳＦの「変換」フラグが１かつ「空間周波数データ」フラグが０であるか判定する（ステップＳ２０５）。

撮影条件に対応するＰＳＦの「変換」フラグが１かつ「空間周波数データ」フラグが０である場合（ステップＳ２０５：Ｙｅｓ）、変換部１０２は、対応するＰＳＦを周波数変換して記憶装置２０に格納し「空間周波数データ」フラグを１に設定する（ステップＳ２０６）。以降、このとき格納した周波数領域に変換済みのＰＳＦを、空間周波数データと呼ぶ。一方、撮影条件に対応するＰＳＦの「変換」フラグが１でないか、または、「空間周波数データ」フラグが０でない場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０７に進む。

次に、処理を行っていない撮影条件が存在する場合（ステップＳ２０７：Ｙｅｓ）、変換部１０２は、ステップＳ２０５に戻り処理を繰り返す。一方、処理を行っていない撮影条件が存在しない場合（ステップＳ２０７：Ｎｏ）、図９の処理を終了する。

次に、画像変換処理について説明する。図１０は、画像変換処理の流れを示すフローチャートである。図１０の処理は、画像変換装置１０の変換部１０２によって実行される図７の画像変換処理（ステップＳ３）に相当する。

まず、変換部１０２は、図１０に示すように、記憶装置２０から識別を行う識別対象の画像の周波数変換結果を取得する（ステップＳ３０１）。また、識別部１０３は、記憶装置２０から識別を行う識別対象の画像の撮影条件に対応したＰＳＦの周波数変換結果を取得する（ステップＳ３０２）。

次に、変換部１０２は、識別を行う識別対象の画像の撮影条件の特性を打ち消す（ステップＳ３０３）。これは、上述したように、識別対象の画像および特定されたＰＳＦをフーリエ変換し、識別対象の画像に特定されたＰＳＦを除算することにより、打ち消すことができる。

次に、変換部１０２は、記憶装置２０の撮影条件データ２０２から撮影条件を取得し（ステップＳ３０４）、「変換」フラグが１であるか判定する（ステップＳ３０５）。

「変換」フラグが１でない場合（ステップＳ３０５：Ｎｏ）、ステップＳ３０８に進む。一方、「変換」フラグが１である場合（ステップＳ３０５：Ｙｅｓ）、変換部１０２は、当該撮影条件に対応する空間周波数データを取得する（ステップＳ３０６）。ここで取得される空間周波数データは、図９の周波数変換処理のステップＳ２０６で記憶装置２０に格納された周波数領域に変換済みのＰＳＦである。

次に、変換部１０２は、ステップＳ３０３で撮影条件の特性を打ち消した識別対象の画像に対して空間周波数データを適用し、記憶装置２０に格納する（ステップＳ３０７）。これは、上述したように、フーリエ変換され撮影条件の特性を打ち消された識別対象の画像に空間周波数データを乗算することにより、適用できる。

次に、処理していない撮影条件が存在する場合（ステップＳ３０８：Ｙｅｓ）、変換部１０２は、ステップＳ３０５に戻り処理を繰り返す。一方、処理していない撮影条件が存在しない場合（ステップＳ３０８：Ｎｏ）、ステップＳ３０９に進む。

次に、処理していない識別対象の画像が存在する場合（ステップＳ３０９：Ｙｅｓ）、識別部１０３はステップＳ３０１に戻り処理を繰り返す。一方、処理していない識別対象の画像が存在しない場合（ステップＳ３０９：Ｎｏ）、図１０の処理を終了する。

次に、画像識別処理について説明する。図１１は、画像識別処理の流れを示すフローチャートである。図１１の処理は、画像変換装置１０の識別部１０３によって実行される図７の画像識別処理（ステップＳ４）に相当する。

まず、識別部１０３は、図１１に示すように、記憶装置２０から画像変換処理で得られた識別対象の画像を取得する（ステップＳ４０１）。ここで取得される画像は、図１０の画像変換処理のステップＳ３０７で記憶装置２０に格納された、機械学習モデルで識別可能なＰＳＦ適用済みの画像である。

次に、識別部１０３は、記憶装置２０から機械学習で生成した識別器５０を取得する（ステップＳ４０２）。識別器５０は、上述したように、例えば、ＣＴ画像を入力、および当該ＣＴ画像に投影された症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルを備える。

次に、識別部１０３は、画像変換処理で得られた識別対象の画像を識別器５０に入力することにより、当該画像を識別し（ステップＳ４０３）、識別結果として、識別器５０から出力される識別ラベルを得る。

次に、処理していない識別対象の画像が存在する場合（ステップＳ４０４：Ｙｅｓ）、識別部１０３はステップＳ４０１に戻り処理を繰り返す。一方、処理していない識別対象の画像が存在しない場合（ステップＳ４０４：Ｎｏ）、図１１の処理を終了する。

［効果］
以上、説明したように、画像変換装置１００は、第１の画像に適用された第１のフィルタを特定し、第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、第１の画像を第３の画像に変換する。

このように、画像変換装置１００は、機械学習モデルの教師データとして用いられた画像のフィルタを識別対象の画像に適用する。これにより、画像変換装置１００は、機械学習モデルの教師データとして用いられた画像に、識別対象の画像の撮影条件と同一の撮影条件で撮影された画像が無い、または少ない場合であっても、新たに機械学習モデルの教師データを集めなくても識別対象の画像を識別できる。すなわち、画像変換装置１００は、様々な撮影条件で撮影された画像を効率的に識別できる。

また、画像変換装置１００は、機械学習モデルを用いて第３の画像を識別する。

これにより、画像変換装置１００は、様々な撮影条件で撮影された画像を効率的に識別できる。

また、画像変換装置１００は、第２の画像を含む医用画像を入力、および症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルを用いて、第３の画像を識別する。

これにより、画像変換装置１００は、様々な撮影条件で撮影された医用画像を効率的に識別できる。

また、画像変換装置１００は、第１のフィルタとして、第１のＰＳＦを特定し、第２のフィルタとして、第２のＰＳＦを適用する。

これにより、画像変換装置１００は、機械学習モデルの教師データとして用いられた医用画像に、識別対象の医用画像の撮影条件と同一の撮影条件で撮影された医用画像が少ない場合であっても、医用画像を効率的に識別できる。

また、画像変換装置１００は、第１の画像をフーリエ変換により空間周波数領域に変換し、空間周波数領域に変換された第１の画像に、第１のＰＳＦをフーリエ変換したものを除算することにより、第１のフィルタの特性を打ち消し、空間周波数領域に変換された第１の画像に、第２のＰＳＦをフーリエ変換したものを乗算することにより、第２のフィルタを適用する。

これにより、画像変換装置１００は、機械学習モデルの教師データとして用いられた医用画像に、識別対象の医用画像の撮影条件と同一の撮影条件で撮影された医用画像が少ない場合であっても、医用画像をより効率的に識別できる。

また、画像変換装置１００は、第１の撮影条件に対応付けられた第１のフィルタを特定し、第１のフィルタの特性を打ち消し、第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する。

これにより、画像変換装置１００は、機械学習モデルの教師データとして用いられた画像に、識別対象の画像の撮影条件と同一の撮影条件で撮影された画像が少ない場合であっても、識別対象の画像を効率的に識別できる。

また、画像変換装置１００は、第１の撮影機器および第１の再構成関数を少なくとも含む第１の撮影条件に対応付けられた第１のフィルタを特定し、第１のフィルタの特性を打ち消し、第２の撮影機器および第２の再構成関数を少なくとも含む第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する。

これにより、機械学習モデルの教師データとして用いられた画像に、識別対象の画像の撮影条件と同一の撮影機器および再構成関数を用いて撮影された画像が少ない場合であっても、識別対象の画像を効率的に識別できる。

また、画像変換装置１００は、ＤＩＣＯＭ画像である第１の画像に付けられたタグから、第１の撮影機器および第１の再構成関数を取得する。

これにより、画像変換装置１００は、医用画像の撮影条件およびＰＳＦをより容易に推定できる。

また、画像変換装置１００は、機械学習モデルを用いて、複数の画像を識別し、複数の画像の中で識別精度が最も高い画像に適用されている第３のフィルタを第２のフィルタに決定する。

これにより、画像変換装置１００は、識別対象の画像をより高精度に識別できる。

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更できる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更できる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１２は、ハードウェア構成例を説明する図である。図１２に示すように、画像変換装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バスなどで相互に接続される。

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図２などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、画像変換装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、推定部１０１、変換部１０２、識別部１０３、および決定部１０４と同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、推定部１０１、変換部１０２、識別部１０３、および決定部１０４などと同様の処理を実行するプロセスを実行する。

このように画像変換装置１０は、プログラムを読み出して実行することで学習方法を実行する情報処理装置として動作する。また、画像変換装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、画像変換装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用できる。

このプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータに、
第１の画像に適用された第１のフィルタを特定し、
第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、第１の画像を第３の画像に変換する
処理を実行させることを特徴とする画像変換プログラム。

（付記２）コンピュータに、機械学習モデルを用いて第３の画像を識別する処理をさらに実行させることを特徴とする付記１に記載の画像変換プログラム。

（付記３）コンピュータに、第２の画像を含む医用画像を入力、および症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルを用いて、第３の画像を識別する処理をさらに実行させることを特徴とする付記１に記載の画像変換プログラム。

（付記４）コンピュータに、
第１のフィルタとして、第１のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を特定させ、
第２のフィルタとして、第２のＰＳＦを適用させる
ことを特徴とする付記１に記載の画像変換プログラム。

（付記５）コンピュータに、
第１の画像をフーリエ変換により空間周波数領域に変換し、
空間周波数領域に変換された第１の画像に、第１のＰＳＦをフーリエ変換したものを除算することにより、第１のフィルタの特性を打ち消し、
空間周波数領域に変換された第１の画像に、第２のＰＳＦをフーリエ変換したものを乗算することにより、第２のフィルタを適用する
処理をさらに実行させることを特徴とする付記４に記載の画像変換プログラム。

（付記６）コンピュータに、
第１の撮影条件に対応付けられた第１のフィルタを特定し、
第１のフィルタの特性を打ち消し、第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する
処理を実行させることを特徴とする付記１に記載の画像変換プログラム。

（付記７）コンピュータに、
第１の撮影機器および第１の再構成関数を少なくとも含む第１の撮影条件に対応付けられた第１のフィルタを特定し、
第１のフィルタの特性を打ち消し、第２の撮影機器および第２の再構成関数を少なくとも含む第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する
処理を実行させることを特徴とする付記１に記載の画像変換プログラム。

（付記８）コンピュータに、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）画像である第１の画像に付けられたタグから、第１の撮影機器および第１の再構成関数を取得する処理をさらに実行させることを特徴とする付記７に記載の画像変換プログラム。

（付記９）コンピュータに、機械学習モデルを用いて、複数の画像を識別し、
複数の画像の中で識別精度が最も高い画像に適用されている第３のフィルタを第２のフィルタに決定する処理をさらに実行させることを特徴とする付記１に記載の画像変換プログラム。

（付記１０）コンピュータが、
第１の画像に適用された第１のフィルタを特定し、
第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、第１の画像を第３の画像に変換する
処理を実行することを特徴とする方法。

（付記１１）コンピュータが、機械学習モデルを用いて第３の画像を識別する処理をさらに実行することを特徴とする付記１０に記載の方法。

（付記１２）コンピュータが、第２の画像を含む医用画像を入力、および症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルを用いて、第３の画像を識別する処理をさらに実行することを特徴とする付記１０に記載の方法。

（付記１３）コンピュータが、
第１のフィルタとして、第１のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を特定し、
第２のフィルタとして、第２のＰＳＦを適用する
ことを特徴とする付記１０に記載の方法。

（付記１４）コンピュータが、
第１の画像をフーリエ変換により空間周波数領域に変換し、
空間周波数領域に変換された第１の画像に、第１のＰＳＦをフーリエ変換したものを除算することにより、第１のフィルタの特性を打ち消し、
空間周波数領域に変換された第１の画像に、第２のＰＳＦをフーリエ変換したものを乗算することにより、第２のフィルタを適用する
処理をさらに実行することを特徴とする付記１３に記載の方法。

（付記１５）コンピュータが、
第１の撮影条件に対応付けられた第１のフィルタを特定し、
第１のフィルタの特性を打ち消し、第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する
処理を実行することを特徴とする付記１０に記載の方法。

（付記１６）コンピュータが、
第１の撮影機器および第１の再構成関数を少なくとも含む第１の撮影条件に対応付けられた第１のフィルタを特定し、
第１のフィルタの特性を打ち消し、第２の撮影機器および第２の再構成関数を少なくとも含む第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する
処理を実行することを特徴とする付記１０に記載の方法。

（付記１７）コンピュータが、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）画像である第１の画像に付けられたタグから、第１の撮影機器および第１の再構成関数を取得する処理をさらに実行することを特徴とする付記１６に記載の方法。

（付記１８）コンピュータが、機械学習モデルを用いて、複数の画像を識別し、
複数の画像の中で識別精度が最も高い画像に適用されている第３のフィルタを第２のフィルタに決定する処理をさらに実行することを特徴とする付記１０に記載の方法。

（付記１９）第１の画像に適用された第１のフィルタを特定する推定部と、
第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、第１の画像を第３の画像に変換する変換部と
を有することを特徴とする装置。

（付記２０）機械学習モデルを用いて第３の画像を識別する識別部をさらに有することを特徴とする付記１９に記載の装置。

（付記２１）装置が、第２の画像を含む医用画像を入力、および症例を示す正解ラベルを正解とする教師データを学習して構築された機械学習モデルを用いて、第３の画像を識別する識別部をさらに有することを特徴とする付記１９に記載の装置。

（付記２２）推定部は、第１のフィルタとして、第１のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を特定し、
変換部は、第２のフィルタとして、第２のＰＳＦを適用する
ことを特徴とする付記１９に記載の装置。

（付記２３）変換部はさらに、
第１の画像をフーリエ変換により空間周波数領域に変換し、
空間周波数領域に変換された第１の画像に、第１のＰＳＦをフーリエ変換したものを除算することにより、第１のフィルタの特性を打ち消し、
空間周波数領域に変換された第１の画像に、第２のＰＳＦをフーリエ変換したものを乗算することにより、第２のフィルタを適用する
ことを特徴とする付記２２に記載の装置。

（付記２４）推定部は、第１の撮影条件に対応付けられた第１のフィルタを特定し、
変換部は、第１のフィルタの特性を打ち消し、第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する
ことを特徴とする付記１９に記載の装置。

（付記２５）推定部は、第１の撮影機器および第１の再構成関数を少なくとも含む第１の撮影条件に対応付けられた第１のフィルタを特定し、
変換部は、第１のフィルタの特性を打ち消し、第２の撮影機器および第２の再構成関数を少なくとも含む第２の撮影条件に対応付けられた第２のフィルタを適用することで、第１の画像を第３の画像に変換する
ことを特徴とする付記１９に記載の装置。

（付記２６）推定部はさらに、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）画像である第１の画像に付けられたタグから、第１の撮影機器および第１の再構成関数を取得することを特徴とする付記２５に記載の装置。

（付記２７）識別部は、機械学習モデルを用いて、複数の画像を識別し、
複数の画像の中で識別精度が最も高い画像に適用されている第３のフィルタを第２のフィルタに決定する決定部をさらに有することを特徴とする付記１９に記載の装置。

（付記２８）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
第１の画像に適用された第１のフィルタを特定する推定部と、
第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、第１の画像を第３の画像に変換する変換部と
を有することを特徴とする装置。

１ 画像変換システム
１０ 画像変換装置
２０ 記憶装置
３０ 画像入力装置
４０ 計算機
５０ 識別器
１０１ 推定部
１０２ 変換部
１０３ 識別部
１０４ 決定部
２０１ 学習データ
２０２ 撮影条件データ
２０３ 識別データ

Claims (11)

1. コンピュータに、
   第１の画像に適用された第１のフィルタを特定し、
   前記第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、前記第１の画像を第３の画像に変換する
   処理を実行させることを特徴とする画像変換プログラム。
2. 前記コンピュータに、前記機械学習モデルを用いて前記第３の画像を識別する処理をさらに実行させることを特徴とする請求項１に記載の画像変換プログラム。
3. 前記コンピュータに、前記第２の画像を含む医用画像を入力、および症例を示す正解ラベルを正解とする前記教師データを学習して構築された前記機械学習モデルを用いて、前記第３の画像を識別する処理をさらに実行させることを特徴とする請求項１に記載の画像変換プログラム。
4. 前記コンピュータに、
   前記第１のフィルタとして、第１のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を特定させ、
   前記第２のフィルタとして、第２のＰＳＦを適用させる
   ことを特徴とする請求項１に記載の画像変換プログラム。
5. 前記コンピュータに、
   前記第１の画像をフーリエ変換により空間周波数領域に変換し、
   前記空間周波数領域に変換された前記第１の画像に、前記第１のＰＳＦをフーリエ変換したものを除算することにより、前記第１のフィルタの特性を打ち消し、
   前記空間周波数領域に変換された前記第１の画像に、前記第２のＰＳＦをフーリエ変換したものを乗算することにより、前記第２のフィルタを適用する
   処理をさらに実行させることを特徴とする請求項４に記載の画像変換プログラム。
6. 前記コンピュータに、
   第１の撮影条件に対応付けられた前記第１のフィルタを特定し、
   前記第１のフィルタの特性を打ち消し、第２の撮影条件に対応付けられた前記第２のフィルタを適用することで、前記第１の画像を第３の画像に変換する
   処理を実行させることを特徴とする請求項１に記載の画像変換プログラム。
7. 前記コンピュータに、
   第１の撮影機器および第１の再構成関数を少なくとも含む第１の撮影条件に対応付けられた前記第１のフィルタを特定し、
   前記第１のフィルタの特性を打ち消し、第２の撮影機器および第２の再構成関数を少なくとも含む第２の撮影条件に対応付けられた前記第２のフィルタを適用することで、前記第１の画像を第３の画像に変換する
   処理を実行させることを特徴とする請求項１に記載の画像変換プログラム。
8. 前記コンピュータに、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）画像である前記第１の画像に付けられたタグから、前記第１の撮影機器および前記第１の再構成関数を取得する処理をさらに実行させることを特徴とする請求項７に記載の画像変換プログラム。
9. 前記コンピュータに、
   前記機械学習モデルを用いて、複数の画像を識別し、
   前記複数の画像の中で識別精度が最も高い前記画像に適用されている第３のフィルタを前記第２のフィルタに決定する処理をさらに実行させることを特徴とする請求項１に記載の画像変換プログラム。
10. コンピュータが、
    第１の画像に適用された第１のフィルタを特定し、
    前記第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、前記第１の画像を第３の画像に変換する
    処理を実行することを特徴とする方法。
11. 第１の画像に適用された第１のフィルタを特定する推定部と、
    前記第１のフィルタの特性を打ち消し、機械学習モデルの教師データとして用いられた第２の画像に適用された第２のフィルタを適用することで、前記第１の画像を第３の画像に変換する変換部と
    を有することを特徴とする装置。

Images