JP2020190791A

JP2020190791A - 画像処理装置、画像処理システム、および画像処理プログラム

Info

Publication number: JP2020190791A
Application number: JP2019094241A
Authority: JP
Inventors: クワイベンフェルナンドハビエルウォン; Javier Wong Kwai Ben Fernando; ヒラルドホラシオサンソン; Sanson Giraldo Horacio
Original assignee: Allm Inc
Current assignee: Allm Inc
Priority date: 2019-05-20
Filing date: 2019-05-20
Publication date: 2020-11-26
Anticipated expiration: 2039-05-20
Also published as: JP6737487B1

Abstract

【課題】医用画像から異常部位を抽出すること。【解決手段】画像処理装置１００は、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するオートエンコーダと、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力する分散推定器と、診断対象者の医用画像入力受付手段と、入力画像と、入力画像を入力した結果オートエンコーダにより出力された復元画像との差分を算出する差分マップ生成手段と、前記分散推定器からの推定分散に基づく標準偏差算出手段と、差分マップと標準偏差に基づいて、入力画像と復元画像の差異部分を抽出し、入力画像の特徴的な差異部分以外の差異部分を低減させた診断結果を生成する診断結果画像生成手段とを備える。オートエンコーダおよび分散推定器では、入力画像のノイズを低減した診断結果画像が生成されるように学習される。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、および画像処理プログラムに関する。

次のような生体画像処理装置が知られている。この生体画像処理装置では、目的物を含む生体画像である入力用訓練画像、目的物を含まない生体画像である出力用訓練画像、及び目的物を含む生体画像である入力画像を受け付け、入力用訓練画像及び出力用訓練画像を用いて、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成する（例えば、特許文献１）。

特開２０１８−８９３０１号公報

従来の生体画像処理装置では、目的物を含む生体画像から目的物を含まない生体画像を生成する画像処理を行うニューラルネットワークを学習し、学習結果であるニューラルネットワークの画像処理を用いて、入力画像から目的物を除去した出力画像を生成していた。しかしながら、画像を用いた診断では、医用画像の中から異常がある可能性がある部位を見つけ出すことが求められることも多い。このため、異常がない人物の画像を学習させておき、その学習結果を用いて、異常がある人物の画像を入力したときに、異常部位の特定を支援することができる仕組みが求められているが、従来の技術では、その点については何ら検討されていなかった。

本発明による画像処理装置は、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダと、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備え、オートエンコーダおよび分散推定器では、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われることを特徴とする。
本発明による画像処理システムは、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダと、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備え、オートエンコーダおよび分散推定器では、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われることを特徴とする。
本発明による画像処理プログラムは、診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手順と、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダに画像入力手順で入力を受け付けた入力画像を入力して、オートエンコーダによる復元画像を得る復元画像取得手順と、画像入力手順で入力を受け付けた入力画像と復元画像取得手順で取得した復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器に画像入力手順で入力を受け付けた入力画像を入力して、分散推定器による推定分散を得る推定分散取得手順と、推定分散取得手順で取得した推定分散に基づいて標準偏差を算出する標準偏差算出手順と、差分マップ生成手順で生成した差分マップと標準偏差算出手順で算出した標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるためのプログラムであって、オートエンコーダおよび分散推定器では、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われる。

本発明によれば、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダを用いて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させ、さらには入力画像に含まれるノイズを低減させた診断結果画像を生成することができるため、医用画像を用いた異常部位の特定を支援することができる。

画像処理装置１００の一実施の形態の構成を示すブロック図である。オートエンコーダによる処理の流れを模式的に示した図である。分散推定器による処理の流れを模式的に示した図である。差分マップの作成方法を模式的に示した図である。差分マップと推定標準偏差を用いて異常部位以外の差異部分を低減するための方法を模式的に示した図である。トレーニングステップと推定ステップの流れを一つにまとめて模式的に示した図である。トレーニングステップの流れを示すフローチャート図である。推定ステップの流れを示すフローチャート図である。

図１は、本実施の形態における画像処理装置１００の一実施の形態の構成を示すブロック図である。画像処理装置１００は、あらかじめ撮影された医用画像、例えば、ＭＲＩ画像、ＣＴ画像、Ｘ線画像を用いて、医用画像内から異常部位を抽出し、視覚化するための処理を実行する。画像処理装置１００としては、例えばサーバ装置やパソコンなどが用いられる。図１は、本実施の形態における画像処理装置１００として、パソコンを用いた場合の一実施の形態の構成を示すブロック図である。

画像処理装置１００は、操作部材１０１と、制御装置１０２と、記憶媒体１０３と、表示装置１０４とを備えている。

操作部材１０１は、画像処理装置１００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。

制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、画像処理装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続インターフェース１０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。

記憶媒体１０３は、画像処理装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等が用いられる。なお、記憶媒体１０３に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。本実施の形態では、以下に説明する処理で用いるプログラムや種々のデータは、記憶媒体１０３に記録されている。

表示装置１０４は、例えば液晶モニタであって、制御装置１０２から出力される種々の表示用データが表示される。

本実施の形態では、事前に、異常が存在しない医用画像、すなわち異常がない患者の特定部位を撮影した医用画像を取り込んで、異常が存在しない医用画像の画像パターンと画素の分散を学習するためのトレーニングステップが実行される。異常が存在しない医用画像は、画像内に医学的に異常と認められる部位を含まない画像であって、例えば、医学的に異常がみられない人物の特定部位を撮影した画像、すなわち正常な患者の特定部位を撮影した画像が用いられる。以下、本実施の形態におけるトレーニングステップについて説明する。

トレーニングステップでは、上述したように、異常が存在しない医用画像が入力画像として用いられる。制御装置１０２は、医用画像が入力されると、あらかじめ用意されたオートエンコーダに医用画像を入力して、オートエンコーダに、異常が存在しない医用画像データの画像パターンを学習させる。なお、オートエンコーダは、入力と出力が同じになるようにニューラルネットワークを学習させることができるため、本実施の形態では、トレーニングステップにおいて、オートエンコーダーに異常が存在しない医用画像の画像パターンを学習させておくことにより、後述する推定ステップにおいて画像が入力された際に、異常が存在しない出力画像を出力するように構成することができる。なお、オートエンコーダーは公知の技術であるため本実施の形態では詳細な説明は省略するが、ここでは例えばディープ・オートエンコーダを想定する。

図２は、オートエンコーダ（Ａｕｔｏ−ｅｎｃｏｄｅｒ）による処理の流れを模式的に示した図である。オートエンコーダに入力画像Ｘｈが入力されると、エンコーダＥｎｃが高次元の入力画像Ｘｈを低次元の潜在表現（ＬａｔｅｎｔＲｅｐｒｅｓｅｎｔａｔｉｏｎ）ｚに変換し、デコーダＤｅｃが低次元の潜在表現ｚを高次元の復元画像Ｘ´ｈに変換する。また、オートエンコーダーにはあらかじめ損失関数としてＬ＝ｄ（Ｘ´ｈ，Ｘｈ）が定義されており、制御装置１０２は、該損失関数の値として損失Ｌを算出する。

制御装置１０２は、損失Ｌがあらかじめ設定されている閾値以下になるまで、オートエンコーダの演算に用いるパラメータである重みを調整しながら上記の変換処理を繰り返す。制御装置１０２は、損失Ｌがあらかじめ設定されている閾値以下になったときに設定されていた重み値をオートエンコーダの重みとして設定する。これによって、オートエンコーダに、入力画像に対して異常が存在しない画像を出力するように学習させることができる。

また、エンコーダＥｎｃによって変換された潜在表現ｚは、図３に示す分散推定器ＤｅｃＶに入力される。図３は分散推定器ＤｅｃＶによる処理の流れを模式的に示した図である。分散推定器ＤｅｃＶでは、入力された潜在表現ｚを変換して復元画像Ｘ´ｈを得て、復元画像Ｘ´ｈの分散Ｖｈを推定する。

分散推定器ＤｅｃＶにはあらかじめ損失関数としてＬｖ＝ｄ（Ｖｈ，ｄ（Ｘ´ｈ，Ｘｈ））が定義されており、制御装置１０２は、該損失関数の値として損失Ｌｖを算出する。そして、制御装置１０２は、損失Ｌｖがあらかじめ設定されている閾値以下になるまで、分散推定器ＤｅｃＶの演算に用いるパラメータである重みを調整しながら分散の推定処理を繰り返す。制御装置１０２は、損失Ｌｖがあらかじめ設定されている閾値以下になったときに設定されていた重み値を散推定器ＤｅｃＶの重みとして設定する。これによって、分散推定器ＤｅｃＶに、入力画像に対して異常が存在しない画像の分散を推定した画像を出力するように学習させることができる。なお、図３に示すように、異常が存在しない画像の分散を推定することができれば、そこから標準偏差は容易に計算することができるため、容易に推定標準偏差Ｓｈを出力することができる。

制御装置１０２は、次式（１）を用いて、復元画像Ｘ´ｈと入力画像Ｘｈの差分Ｄｈを算出する。
Ｄｈ＝｜Ｘ´ｈ−Ｘｈ｜・・・（１）

そして、制御装置１０２は、式（１）で算出したＤｈと、上述したように算出した推定標準偏差Ｓｈとを用いて、次式（２）によりＺＳｈを算出する。本実施の形態では、式（２）により算出されるＺＳｈを標準スコアマップと呼ぶ。
ＺＳｈ＝Ｄｈ／Ｓｈ・・・（２）

ＭＲＩ画像などの医用画像は本質的にノイズが多いため、式（２）により算出した標準スコアマップでは、分散の少ない画像領域のためにノイズが少なからず増幅する可能性がある。例えば、画像の背景部分にノイズが含まれる場合、このノイズの影響を受けて推定標準偏差Ｓｈが小さく算出される。そうすると式（２）により算出される標準スコアマップＺＳｈの値は大きくなる。通常、異常部位がない健康な人物の医用画像ではＺＳｈは０に近い値をとるため、入力画像に含まれるノイズを低減または排除するようにオートエンコーダと分散推定器ＤｅｃＶをトレーニングすれば、後述する推定ステップで出力する診断結果画像の精度を向上することができる。

このため、本実施の形態では、オートエンコーダと分散推定器ＤｅｃＶに対して損失関数Ｌｈ^ＺＳ＝λｄ（ＺＳｈ，０）を定義しておき、制御装置１０２は、該損失関数の値である損失Ｌｈ^ＺＳが算出あらかじめ設定されている閾値以下になるまでオートエンコーダと分散推定器ＤｅｃＶの重みを調整しながら処理を繰り返すことによって、式（２）により算出される標準スコアマップにおいて、入力画像のノイズを低減する。ここで、パラメータλはモデルの抑制量をコントロールするための係数であり、λを０より大きな値に設定することにより、入力画像のノイズを低減するようにオートエンコーダと分散推定器ＤｅｃＶをトレーニングすることができる。本実施の形態では、例えばλ＝１とする。この処理は、後述する推定ステップにおいて、式（３）により得られる診断結果画像のノイズを低減して、異常部分以外のノイズを除去することを目的として行われる。

制御装置１０２は、損失Ｌｈ^ＺＳが所定の閾値以下になったときに設定されていた重み値をオートエンコーダと分散推定器ＤｅｃＶの重みとして設定する。これによって、オートエンコーダには入力画像Ｘｈが入力されると、異常が存在しない画像を復元画像Ｘ´ｈとして出力するように学習させることができ、分散推定器ＤｅｃＶには、入力画像Ｘｈに対して異常が存在しない復元画像Ｘ´ｈの分散を推定分散Ｖｈとして出力するように学習させることができる。

以上のように処理を行うことにより、本実施の形態における画像処理装置１００では、制御装置１０２は、損失Ｌと損失Ｌｖと損失Ｌｈ^ＺＳがそれぞれ所定閾値以下となるまで処理を繰り返して、全ての損失があらかじめ設定された閾値以下になったときに設定されていた重みを採用してオートエンコーダと分散推定器ＤｅｃＶの重み決定することにより、オートエンコーダと分散推定器ＤｅｃＶをトレーニングすることができる。

以上に説明したトレーニングステップが完了すると、診断対象患者の医用画像を入力して、その医用画像内から異常部位を抽出した画像を出力するための推定ステップを実行することが可能となる。すなわち、推定ステップを実行するためには上述したトレーニングステップが完了している必要があるため、推定ステップを実行する際には、図２に示したオートエンコーダは、入力画像Ｘｈが入力されると、異常が存在しない画像を復元画像Ｘ´ｈとして出力するように学習が完了しており、図３に示した分散推定器ＤｅｃＶは、入力画像Ｘｈに対して異常が存在しない復元画像Ｘ´ｈの分散を推定分散Ｖｈとして出力するように学習が完了している。

例えば、図４に示すように、オートエンコーダーに異常部位４ａを有する患者の脳画像を入力画像Ｘａを入力すると、異常部位がない画像が復元画像Ｘ´ａとして出力される。このため、入力画像Ｘａと復元画像Ｘ´ａの差分をとれば、異常部位４ａを抽出した差分画像Ｄａを生成することができる。本実施の形態では、差分画像Ｄａを差分マップＤａと呼ぶ。

この差分マップＤａを用いても患者の脳画像から異常部位４ａを推定することができるが、入力画像Ｘａと復元画像Ｘ´ａとの間には、異常部位４ａ以外にも差異が生じているため、差分マップＤａでは、入力画像Ｘａに含まれる特徴的な差異部分である異常部位４ａ以外の差異部分も抽出されてしまう。例えば、脳画像データにおいては、正常な部位も人によって形状が違うため、その形状の違いが差分マップＤａ上で差異として現れてしまう。図４においても差分マップＤａ上には異常部位４ａ以外にも差分が現れている。このため、本実施の形態における推定ステップでは、分散推定器ＤｅｃＶの出力に基づいて求めた推定標準偏差Ｓａを用いて、入力画像Ｘａに含まれる特徴的な差異部分以外の差異部分を低減するための処理を行う。

図５は、差分マップＤａと推定標準偏差Ｓａを用いて異常部位４ａ以外の差異部分を低減するための方法を模式的に示した図である。制御装置１０２は、図５に示すように、差分マップＤａと推定標準偏差Ｓａを次式（３）に示す計算式を用いて演算を行うことにより、画像上に現れる異常部位４ａ以外の差異部分を低減することができる。図５では、その結果を示す診断結果画像として、標準スコアマップＺＳａを得ている。
ＺＳａ＝Ｄａ／Ｓａ・・・（３）

本実施の形態では、上述したトレーニングステップにおいて、標準スコアマップＺＳｈに対して、オートエンコーダと分散推定器ＤｅｃＶに対して定義された損失関数Ｌｈ^ＺＳ＝λｄ（ＺＳｈ，０）の値があらかじめ設定されている閾値以下になるまでトレーニングを行って、標準スコアマップにおけるノイズ低減が図られているため、式（３）により得られる標準スコアマップＺＳａにおいても、異常部位４ａ以外の差異部分とともに入力画像のノイズを低減した診断結果画像を得ることができる。

制御装置１０２は、演算によって得た標準スコアマップＺＳａを表示装置１０４に出力して表示する。これによって、画像処理装置１００操作者は、患者の医用画像、例えば脳画像を画像処理装置１００に取り込んで入力することにより、異常部位がない正常状態の脳画像との差異部分が異常部位として抽出された標準スコアマップを表示装置１０４上で確認することができるため、患者の脳に異常がないか診断することができる。

図６は、上述したトレーニングステップと推定ステップの流れを一つにまとめて模式的に示した図である。なお、図６に示した処理の流れは、図２〜図５を用いて説明した内容と同一のため説明を省略する。

図７は、本実施の形態におけるトレーニングステップの流れを示すフローチャートである。図７に示す処理は、異常部位がない正常状態の医用画像、すなわち健康な人物の脳画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。

ステップＳ１０において、制御装置１０２は、入力画像Ｘｈをオートエンコーダに入力し、エンコーダＥｎｃによって高次元の入力画像Ｘｈが低次元の潜在表現（ｌａｔｅｎｔｒｅｐｒｅｓｅｎｔａｔｉｏｎ）ｚに変換される。その後、ステップＳ２０へ進む。

ステップＳ２０では、デコーダＤｅｃによって低次元の潜在表現ｚが高次元の復元画像Ｘ´ｈに変換される。その後、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０２は、上述した損失関数Ｌ＝ｄ（Ｘ´ｈ，Ｘｈ）を用いて損失Ｌを算出する。その後、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０２は、エンコーダＥｎｃによって変換された潜在表現ｚを分散推定器ＤｅｃＶに入力し、分散推定器ＤｅｃＶにおいて、潜在表現ｚを変換して得た復元画像Ｘ´ｈの分散を推定した推定分散Ｖｈを算出する。その後、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０２は、上述した損失関数Ｌｖ＝ｄ（Ｖｈ，ｄ（Ｘ´ｈ，Ｘｈ））を用いて損失Ｌｖを算出する。その後、ステップＳ６０へ進む。

ステップＳ６０では、制御装置１０２は、式（１）により復元画像Ｘ´ｈと入力画像Ｘｈの差分Ｄｈを算出する。その後、ステップＳ７０へ進む。

ステップＳ７０では、制御装置１０２は、式（２）により標準スコアマップＺＳｈを算出する。その後、ステップＳ８０へ進む。

ステップＳ８０では、制御装置１０２は、上述した損失関数Ｌｈ^ＺＳ＝λｄ（ＺＳｈ，０）を用いて損失Ｌｈ^ＺＳを算出する。その後、ステップＳ９０へ進む。

ステップＳ９０では、制御装置１０２は、上述した処理で算出した損失Ｌと損失Ｌｖと損失Ｌｈ^ＺＳがあらかじめ設定されている閾値以下であるか否かを判断する。ステップＳ９０で肯定判断した場合には、そのときの重みを採用して処理を終了する。これに対して、ステップＳ９０で否定判断した場合には、ステップＳ１００へ進む。

ステップＳ１００では、制御装置１０２は、上述したように、オートエンコーダの重み値と分散推定器の重み値を調整して、ステップＳ１０へ戻る。

図８は、本実施の形態における推定ステップの流れを示すフローチャートである。図８に示す処理は、診断対象患者の医用画像が入力されると起動するプログラムとして、制御装置１０２によって実行される。

ステップＳ１１０において、制御装置１０２は、入力画像Ｘａをオートエンコーダに入力し、エンコーダＥｎｃによって高次元の入力画像Ｘａが低次元の潜在表現（ＬａｔｅｎｔＲｅｐｒｅｓｅｎｔａｔｉｏｎ）ｚに変換される。その後、ステップＳ１２０へ進む。

ステップＳ１２０では、デコーダＤｅｃによって低次元の潜在表現ｚが高次元の復元画像Ｘ´ａに変換される。その後、ステップＳ１３０へ進む。

ステップＳ１３０では、制御装置１０２は、エンコーダＥｎｃによって変換された潜在表現ｚを分散推定器ＤｅｃＶに入力し、分散推定器ＤｅｃＶにおいて、潜在表現ｚを変換して得た復元画像Ｘ´ａの推定分散Ｖａを算出する。その後、ステップＳ１４０へ進む。

ステップＳ１４０では、制御装置１０２は、上述したように、入力画像Ｘａと復元画像Ｘ´ａの差分をとって差分マップＤａを生成する。その後、ステップＳ１５０へ進む。

ステップＳ１５０では、制御装置１０２は、算出した推定分散Ｖａに基づいて、推定標準偏差Ｓａを算出する。その後、ステップＳ１６０へ進む。

ステップＳ１６０では、制御装置１０２は、式（３）により標準スコアマップＺＳａを算出する。その後、ステップＳ１７０へ進む。

ステップＳ１７０では、制御装置１０２は、演算によって得た標準スコアマップＺＳａを表示装置１０４に出力して表示する。その後、処理を終了する。

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、診断対象者の医用画像を入力画像として入力を受け付け、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダに入力画像を入力して、オートエンコーダによる復元画像を得て、入力画像と復元画像との差分を算出して差分マップを生成するようにした。制御装置１０２は、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器に入力画像を入力して、分散推定器による推定分散を得て、取得した推定分散に基づいて標準偏差を算出し、差分マップと標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成するようにした。そして、オートエンコーダと分散推定器では、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われるようにした。これによって、医師等が、入力された医用画像から正常な患者にはみられない異常部位を特定して診断を行うことを支援することができる。また、入力画像と復元画像との差分を算出して得た差分マップでも異常部位を抽出することは可能であるが、上述した式（３）により標準偏差も加味した診断結果画像を生成するようにしたので、画像上に現れる患者ごとに異なる正常部位の影響を低減して、異常部位である可能性が高い部位を明確化した診断結果画像を生成することができる。さらに、トレーニングステップにおいて、標準スコアマップＺＳｈに対して、オートエンコーダと分散推定器ＤｅｃＶに対して定義された損失関数の値があらかじめ設定されている閾値以下になるようにトレーニングを行うことで、標準スコアマップにおけるノイズ低減が図られているため、診断結果画像においては、異常部位以外の差異部分とともに入力画像のノイズも低減した診断結果画像を得ることができる。

（２）制御装置１０２は、生成した診断結果画像を表示装置１０４に表示するようにした。これによって、医師等の操作者は、診断結果画像を表示装置１０４上で確認することができる。

（３）オートエンコーダでは、あらかじめ定義された損失関数の値が所定の閾値以下になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の画像パターンを学習させるようにした。これによって、オートエンコーダの学習精度を向上させて、様々な画像が入力された場合でも異常がない状態の医用画像を復元画像として出力させることができる。

（４）分散推定器では、あらかじめ定義された損失関数の値が所定の閾値以下になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の分散を学習させるようにした。これによって、分散推定器の学習精度を向上させて、様々な画像が入力された場合でも異常がない医用画像の分散を精度高く推定することができる。

（５）オートエンコーダおよび分散推定器では、あらかじめ設定された損失関数の値が所定の閾値以下になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われるようにした。これによって、オートエンコーダおよび分散推定器を、入力画像のノイズの影響を低減した診断結果画像を生成できるように学習させることができる。

―変形例―
なお、上述した実施の形態の画像処理システムは、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置１００はパソコンであって、制御装置１０２が上述した処理を実行する例について説明した。しかしながら、操作者が操作する端末からインターネットなどの通信回線を介して画像処理装置１００へ接続できるようにし、上述した入力画像ＸｈやＸａは、操作端末から画像処理装置１００へ送信されることにより入力されてもよい。また、その場合は、診断対象者の画像上の異常部位を表示した標準スコアマップＺＳａは、操作端末に送信して、操作端末上で表示されるようにしてもよい。これによって、操作端末と画像処理装置１００とを通信回線を介して接続することで、クライアントサーバー型やクラウド型の画像処理システムを構築することができる一方で、画像処理装置１００を単体で用いることにより、スタンドアロン型の装置として利用することもできる。

（２）上述した実施の形態では、トレーニングステップのための処理は、画像処理装置１００で制御装置１０２が実行する例について説明した。しかしながら、トレーニングステップのための処理は他の装置で実行するようにして、トレーニングステップによって得られたデータを記憶媒体１０３に記録しておくようにしてもよい。この場合は、画像処理装置１００でのトレーニングステップのための処理は不要となる。

（３）上述した実施の形態では、図７のステップＳ９０において、制御装置１０２は、損失Ｌと損失Ｌｖと損失Ｌｈ^ＺＳがあらかじめ設定されている閾値以下であるか否かを判断し、肯定判断した場合にトレーニングステップを終了する例について説明した。すなわち、制御装置１０２は、損失Ｌと損失Ｌｖと損失Ｌｈ^ＺＳがあらかじめ設定されている閾値以下になるまでトレーニングステップを繰り返す例について説明した。しかしながら、制御装置１０２は、損失Ｌと損失Ｌｖと損失Ｌｈ^ＺＳが最小になるまでトレーニングステップを繰り返すようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００画像処理装置
１０１操作部材
１０２制御装置
１０３記憶媒体
１０４表示装置

本発明による画像処理装置は、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダと、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備え、オートエンコーダおよび分散推定器では、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われることを特徴とする。
本発明による画像処理システムは、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダと、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手段と、画像入力受付手段によって入力された入力画像と、入力画像を入力した結果としてオートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、入力画像を入力した結果として分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、差分マップ生成手段によって生成された差分マップと標準偏差算出手段によって算出された標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備え、オートエンコーダおよび分散推定器では、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われることを特徴とする。
本発明による画像処理プログラムは、診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手順と、異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダに画像入力受付手順で入力を受け付けた入力画像を入力して、オートエンコーダによる復元画像を得る復元画像取得手順と、画像入力受付手順で入力を受け付けた入力画像と復元画像取得手順で取得した復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器に画像入力受付手順で入力を受け付けた入力画像を入力して、分散推定器による推定分散を得る推定分散取得手順と、推定分散取得手順で取得した推定分散に基づいて標準偏差を算出する標準偏差算出手順と、差分マップ生成手順で生成した差分マップと標準偏差算出手順で算出した標準偏差に基づいて、入力画像と復元画像の差異部分を抽出するとともに、入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるためのプログラムであって、オートエンコーダおよび分散推定器では、入力画像のノイズを低減して診断結果画像が生成されるように学習が行われる。

Claims

異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備え、
前記オートエンコーダおよび前記分散推定器では、前記入力画像のノイズを低減して前記診断結果画像が生成されるように学習が行われることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理装置。
請求項１または２に記載の画像処理装置において、
前記オートエンコーダでは、あらかじめ定義された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の画像パターンを学習させることを特徴とする画像処理装置。
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記分散推定器では、あらかじめ定義された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の分散を学習させることを特徴とする画像処理装置。
請求項１〜４のいずれか一項に記載の画像処理装置において、
前記オートエンコーダおよび前記分散推定器では、あらかじめ設定された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、前記入力画像のノイズを低減して前記診断結果画像が生成されるように学習が行われることを特徴とする画像処理装置。
異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダと、
異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器と、
診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手段と、
前記画像入力受付手段によって入力された前記入力画像と、前記入力画像を入力した結果として前記オートエンコーダにより出力された復元画像との差分を算出して差分マップを生成する差分マップ生成手段と、
前記入力画像を入力した結果として前記分散推定器から出力された推定分散に基づいて標準偏差を算出する標準偏差算出手段と、
前記差分マップ生成手段によって生成された前記差分マップと前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手段とを備え、
前記オートエンコーダおよび前記分散推定器では、前記入力画像のノイズを低減して前記診断結果画像が生成されるように学習が行われることを特徴とする画像処理システム。
請求項６に記載の画像処理システムにおいて、
前記診断結果画像生成手段によって生成された前記診断結果画像を表示装置に表示する画像表示手段をさらに備えることを特徴とする画像処理システム。
請求項６または７に記載の画像処理システムにおいて、
前記オートエンコーダでは、あらかじめ定義された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の画像パターンを学習させることを特徴とする画像処理システム。
請求項６〜８のいずれか一項に記載の画像処理システムにおいて、
前記分散推定器では、あらかじめ定義された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の分散を学習させることを特徴とする画像処理システム。
請求項６〜９のいずれか一項に記載の画像処理システムにおいて、
前記オートエンコーダおよび前記分散推定器では、あらかじめ設定された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、前記入力画像のノイズを低減して前記診断結果画像が生成されるように学習が行われることを特徴とする画像処理システム。
診断対象者の医用画像を入力画像として入力を受け付ける画像入力受付手順と、
異常がない医用画像の画像パターンを学習させ、入力された医用画像に対して異常がない医用画像を復元して出力するように構成されたオートエンコーダに前記画像入力手順で入力を受け付けた前記入力画像を入力して、前記オートエンコーダによる復元画像を得る復元画像取得手順と、
前記画像入力手順で入力を受け付けた前記入力画像と前記復元画像取得手順で取得した前記復元画像との差分を算出して差分マップを生成する差分マップ生成手順と、
異常がない医用画像の分散を学習させ、入力された医用画像に対して異常がない画像の分散を出力するように構成された分散推定器に前記画像入力手順で入力を受け付けた前記入力画像を入力して、前記分散推定器による推定分散を得る推定分散取得手順と、
前記推定分散取得手順で取得した前記推定分散に基づいて標準偏差を算出する標準偏差算出手順と、
前記差分マップ生成手順で生成した前記差分マップと前記標準偏差算出手順で算出した前記標準偏差に基づいて、前記入力画像と前記復元画像の差異部分を抽出するとともに、前記入力画像に含まれる特徴的な差異部分以外の差異部分を低減させた診断結果画像を生成する診断結果画像生成手順とをコンピュータに実行させるための画像処理プログラムであって、
前記オートエンコーダおよび前記分散推定器では、前記入力画像のノイズを低減して前記診断結果画像が生成されるように学習が行われることを特徴とする画像処理プログラム。
請求項１１に記載の画像処理プログラムにおいて、
前記診断結果画像生成手順で生成した前記診断結果画像を表示装置に表示する画像表示手順をさらに有することを特徴とする画像処理プログラム。
請求項１１または１２に記載の画像処理プログラムにおいて、
前記オートエンコーダでは、あらかじめ定義された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の画像パターンを学習させることを特徴とする画像処理プログラム。
請求項１１〜１３のいずれか一項に記載の画像処理プログラムにおいて、
前記分散推定器では、あらかじめ定義された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、異常がない医用画像の分散を学習させることを特徴とする画像処理プログラム。
請求項１１〜１４のいずれか一項に記載の画像処理プログラムにおいて
前記オートエンコーダおよび前記分散推定器では、あらかじめ設定された損失関数の値が所定の閾値以下または最小になるまで演算に用いるパラメータの値を変えながら処理を繰り返すことにより、前記入力画像のノイズを低減して前記診断結果画像が生成されるように学習が行われることを特徴とする画像処理プログラム。