JP2021053251A

JP2021053251A - 画像処理装置、画像処理方法、プログラム

Info

Publication number: JP2021053251A
Application number: JP2019180964A
Authority: JP
Inventors: 裕行近江; Hiroyuki Omi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-04-08
Anticipated expiration: 2039-09-30
Also published as: US20220222820A1; WO2021065574A1; JP7423237B2

Abstract

【課題】本発明は、異常候補検出部により異常候補として検出されなかった領域に対しても、該異常候補の読影効率を向上させる画像処理装置を提供することを目的とする。【解決手段】本発明に係る画像処理装置は、医用画像を取得する医用画像取得部と、医用画像取得部により取得された前記医用画像から異常候補を検出する異常候補検出部と、異常候補検出部によって検出された異常候補に基づいて、医用画像に適用する画像処理を規定する画像処理パラメータを設定する画像処理パラメータ設定部と、画像処理パラメータ設定部によって設定された画像処理パラメータに基づいて、医用画像のうち、異常候補検出部によって検出された異常候補に対応する画像領域を含み、且つ前記検出された異常候補対応する画像領域よりも広い画像領域に対して画像処理を行う画像処理部と、画像処理部によって画像処理された医用画像を表示する表示制御部と、を有する。【選択図】図１

Description

本発明は、異常候補検出部によって異常候補として検出されなかった領域に対しても該異常候補の読影効率を向上させる画像処理装置、画像処理方法およびプログラムに関する。

近年は、機械学習を使用したコンピュータ検出／診断支援（以下ＣＡＤ）が利用され、特に畳み込みニューラルネットワーク（以下ＣＮＮ）を用いて教師あり学習を行う構成のものが、その性能の高さから急速に普及している（特許文献１）。ＣＮＮを利用したＣＡＤは、教師あり学習により作成された学習パラメータを用い、撮影された画像に対して例えば異常候補の判定を行う。ＣＡＤによる判定結果を医師に確認させるための技術として、検出された領域を強調する技術も開示されている（特許文献２）。

特開２０１７−４５３４１号公報特開２０１８−１９２０４７号公報

しかしながら、ＣＡＤによる検出結果を部分的に強調することはできても、ＣＡＤにより検出されなかった領域に関しては強調処理が行われないため、読影効率が低下することがある。

本発明は、上述したような問題点に鑑みてなされたものであり、検出器により異常候補として検出されなかった領域に関しても該異常候補の読影効率を向上させる画像処理装置を提供することを目的とする。

本発明は、医用画像を取得する医用画像取得部と、医用画像取得部により取得された医用画像から異常候補を検出する異常候補検出部と、異常候補検出部によって検出された異常候補に基づいて、医用画像に適用する画像処理を規定する画像処理パラメータを設定する画像処理パラメータ設定部と、画像処理パラメータ設定部によって設定された画像処理パラメータに基づいて、医用画像のうち、異常候補検出部によって検出された異常候補に対応する画像領域を含み、且つ検出された異常候補に対応する画像領域よりも広い画像領域に対して画像処理を行う画像処理部と、画像処理部によって画像処理された医用画像を表示する表示制御部と、を有することを特徴とする医療画像処理装置を有する。

本発明によれば、異常候補検出部によって検出された異常候補に基づいて医用画像に対して画像処理を行うことで、検出器によって検出されなかった領域に関しても該異常候補の読影効率を向上させることができる。

本発明における画像処理装置の構成図。本発明における画像処理装置のハードウェア構成例。本発明の実施形態１における画像処理装置の画像処理フロー。本発明の画像処理装置における異常候補検出部の学習フロー。本発明における実施形態２に係る画像処理装置の画像処理フロー。本発明の画像処理装置における外傷別の画像処理フロー。本発明の画像処理装置における表示画面図。本発明の画像処理装置における画像処理を選択する表示画面図。

以下、図面を用いて、本発明に係る実施形態について説明をおこなう。尚、実施形態は以下に限定されるものではなく、いずれかの形態が選択的に実施されても、いずれかの形態を複数組み合わせて実施してもよい。

本発明における画像処理装置１００の構成図を図１に示す。画像処理装置１００は、画像を取得する医用画像取得部１０１、異常候補の検出を行う異常候補検出部１０２を有する。また画像処理装置１００は、異常候補検出部１０２から検出された異常候補に基づいて画像処理のパラメータを設定する画像処理パラメータ設定部１０３を有する。画像処理装置１００は、さらに画像処理パラメータ設定部１０３によって設定された画像処理パラメータに応じて画像処理を行う画像処理部１０４を有する。画像処理部１０４は対象の画像のうち、異常候補検出部１０２によって検出された異常候補に対応する画像領域を含み、且つ検出された異常候補に対応する画像領域よりも広い画像領域に対して画像処理を実行する。また画像処理装置１００は、画像処理された医用画像である診断用画像を表示する表示制御部１０５から構成される。

医用画像取得部１０１は、外部装置からＸ線画像等の医用画像を取得し、前処理済み医用画像を出力する。異常候補検出部１０２は、前処理済み医用画像を入力とし、異常候補検出結果を出力する。画像処理パラメータ設定部１０３は、異常候補検出結果と外部装置から画像処理プリセットパラメータとを入力とし、画像処理アップデートパラメータを出力する。画像処理部１０４は、前処理済み医用画像と画像処理アップデートパラメータと異常候補検出結果とを入力とし、異常候補検出部によって検出された異常領域を含む医用画像に対して画像処理を実行し、画像処理された医用画像を出力する。表示制御部１０５は、画像処理された医用画像である診断用画像を入力とし、表示デバイス等へ画像処理結果を出力する。

即ち、画像処理装置１００は、医用画像を取得する医用画像取得部１０１と、医用画像取得部１０１により取得された医用画像から異常候補を検出する異常候補検出部１０２を有する。また異常候補検出部１０２によって検出された異常候補に基づいて、医用画像に適用する画像処理を規定する画像処理パラメータを設定する画像処理パラメータ設定部１０３を有する。画像処理装置１００は、さらに画像処理パラメータ設定部１０３によって設定された画像処理パラメータに基づいて、画像処理を行う画像処理部１０４を有する。画像処理部１０４は、医用画像のうち、異常候補検出部によって検出された異常候補に対応する画像領域を含み、且つ検出された異常候補に対応する画像領域よりも広い画像領域に対して画像処理を行う。また画像装置１００は、画像処理部１０４による画像処理された医用画像を表示する表示制御部１０５を有することを特徴とする。

図１の構成を、ＰＣを使って実現する場合の構成の一例を図２に示す。コントロールＰＣ２０１とＸ線センサ２０２がギガビットイーサ２０４でつながっている。信号線はギガビットイーサ２０４でなくてもＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）や光ファイバーなどでもよい。ギガビットイーサ２０４には、Ｘ線発生装置２０３、表示部２０５、記憶部２０６、ネットワークインタフェース部２０７、イオンチャンバー２１０、Ｘ線制御部２１１が接続されている。コントロールＰＣ２０１は例えば、バス２０１１に対して、ＣＰＵ（中央演算装置）２０１２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０１３、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０１４、記憶部２０１５が接続された構成になる。そしてコントロールＰＣ２０１には、ＵＳＢやＰＳ／２で入力部２０８が接続され、ＶＧＡやＤＶＩで表示部２０９が接続される。このコントロールＰＣ２０１を介して、Ｘ線センサ２０２や表示部２０５などにコマンドを送る。コントロールＰＣ２０１では、撮影モードごとの処理内容がソフトウェアモジュールとして記憶部２０１５に格納され、不図示の指示部によりＲＡＭ２０１３に読み込まれ、実行される。図１に示した医用画像取得部１０１、異常候補検出部１０２、画像処理パラメータ設定部１０３、画像処理部１０４、表示制御部１０５はソフトウェアモジュールとして記憶部２０１５に格納されている。もちろん本発明は図１に示した異常候補検出部１０２、画像処理部１０４を専用の画像処理ボードとして実装してもよい。目的に応じて最適な実装を行うようにすればよい。図１に示した表示制御部１０５はギガビットイーサ２０４を介した表示部２０５、もしくはコントロールＰＣ２０１に接続された表示部２０９に対して表示の制御を行う。

以上のような構成を備えたＸ線画像処理装置において、本実施形態の特徴である図１に示した画像処理装置１００の動作について、その詳細を以下の実施形態にそって説明する。

［第１の実施形態］
図１の画像処理装置１００の構成図と図３の画像処理装置１００の全体フローを使い、本発明の処理の流れにそって説明する。

（ステップＳ３０１）
まず医用画像取得部１０１は、Ｘ線センサによって医用画像を取得する。

（ステップＳ３０２）
医用画像取得部１０１は外部装置等から取得した画像に対し前処理を行い、前処理済み医用画像を出力する。前処理とは例えば、センサの特性を補正する処理のことで、オフセット補正（暗電流補正）、ゲイン補正、欠損補正などを行い、周辺画素との相関関係が保たれている状態にする処理である。

（ステップＳ３０３）
次に異常候補検出部１０２は、医用画像取得部１０１によって前処理が為された前処理済み医用画像を入力とし、異常候補（外傷）の検出を行い、異常候補（外傷）領域を検出する。異常候補（外傷）検出部１０２には例えば機械学習技術の一つとしてＣＮＮを用いる。ＣＮＮを利用するにあたっては、事前に学習処理を行ってＣＮＮのパラメータを決定しておく。尚、以下では画像処理装置１００の学習時の動作について述べるが、本発明は、学習済みモデルを別途利用しても、学習済みモデルをファインチューニングや転移学習したモデルを利用する異常候補検出部１０２として用いてもよい。また、異常候補検出部１０２は、ＣＮＮのみならず、他のディープラーニング技術や、サポートベクターマシン、ランダムフォレスト、探索木等、異なる機械学習技術によって実現されても、複数の機械学習の技術が組み合わされて実現されてもよい。

ここでは、ＣＮＮの学習処理を行う際の動作を図４に示す。学習処理は、ＣＮＮのような教師あり学習の場合には、教師データをもとに行われる。教師データは、入力画像４０１と、それに対応した正解データ４０５の組である。正解データとしては、例えば画像内の所望領域を任意の値でラベリングしたラベリング画像や、所望領域を座標で示した座標データ、あるいは所望領域の境界を示す直線や曲線の式、などが好適である。異常候補（外傷）検出処理においては、例えば正解データ４０５は、入力画像４０１における異常候補（外傷）領域を１、それ以外の領域を０とした２値のマップ画像とするとよい。

異常候補検出部１０２における、ＣＮＮでは入力画像４０１に対して、学習途中のＣＮＮ４０２のパラメータによる推論処理が行われ、推論結果４０４が出力される（ステップＳ４００１）。ここで、ＣＮＮ４０２は、多数の処理ユニット４０３が任意に接続された構造を取る。処理ユニット４０３の例としては、畳み込み演算や、正規化処理、あるいは、ＲｅＬＵやＳｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数、のように順番に処理を行う組が３〜数百程度の層状に接続され、さまざまな構造を取ることができる。

次に、推論結果４０４と正解データ４０５から、損失関数を算出する（ステップＳ４００２）。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。ステップＳ４００２で算出した損失関数を起点とした誤差逆伝搬を行い、ＣＮＮ４０２のパラメータ群を更新する（ステップＳ４００３）。

最後に、学習の終了判定が行われ、学習を継続する場合はＳ４０１に進む（ステップＳ４００４）。ステップＳ４００１〜４００３の処理を、入力画像４０１と正解データ４０５を変えながら繰り返すことで、損失関数が低下するようにＣＮＮ４０２のパラメータ更新が繰り返され、異常候補検出部１０２の精度を高めることができる。十分に学習が進み、学習終了と判定された場合は、処理を完了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行う。

（ステップＳ３０４）
次に画像処理パラメータ設定部１０３は、外傷候補検出結果と外部装置から画像処理プリセットパラメータを入力とし、画像処理アップデートパラメータを出力する。画像処理プリセットパラメータとは、撮影部位毎に決定されているデフォルトのパラメータである。デフォルトパラメータは、各部位で考えられる全ての病気が表現されるような画像処理パラメータである。健康診断などで使用され、全体を俯瞰的に診断することができる。画像処理パラメータ設定部１０３は、異常（外傷）候補検出結果より、異常（外傷）が検出されなかった場合は、特にプリセットパラメータを変更することなく、そのまま画像処理アップデートパラメータとして出力する。一方で、異常候補が検出された場合は、画像処理パラメータ設定部１０３は外傷に特化したパラメータに変更する。例えば、異常候補として骨折があった場合、骨折用の画像処理パラメータに変更する。骨折用の画像処理パラメータとは、例えば、エッジ強調を強くし、ダイナミックレンジの圧縮量を多くし、骨部が観察しやすい表現をするようなものである。例えば異常候補として気胸があった場合は、気胸が検出された領域の平均値を階調処理の中心にするなどし、階調処理を行い、肺野内が観察しやすい表現をする。即ち、画像処理パラメータ設定部１０３は、画像処理パラメータがあらかじめ設定されていた場合に、画像処理パラメータを変更することを特徴とする。

（ステップＳ３０５）
次に画像処理部１０４が、前処理済み医用画像と異常候補検出結果と画像処理アップデートパラメータとを入力とし、画像処理を実施し、画像処理された医用画像（以下、診断用画像）を作成する。まず、前処理済み医用画像から画像処理アップデートパラメータを使用し診断用画像を生成する。診断用画像処理とは、異常候補を見えやすくするための処理で、階調処理、周波数処理などを行う。尚、画像処理は異常候補検出部１０２によって検出された異常候補の領域よりも広い領域に対して、取得した画像処理パラメータを適用し診断用画像の生成を行う。画像処理の対象となる画像領域は、医用画像取得部１０１によって出力された前処理済み医用画像全体を対象としても、例えば検出された異常候補と、異常候補の存在確率を考慮して画像処理の範囲が決定されてもよい。判定された異常候補を含み、かつ異常候補よりも広い画像領域に対して画像処理を実行することで、実際には異常であって、異常候補検出部１０２によって検出されなかった領域に関しても画像処理が実行され、結果として読影精度と効率の向上が期待される。即ち、画像処理部１０４における画像処理の対象は、異常候補が検出された医用画像全体であることを特徴とする。

（ステップＳ３０６）
ここで画像処理アップデートパラメータは階調処理や周波数などの異常（外傷）を見えやすくするための処理を規定するパラメータである。即ち、画像処理アップデートパラメータや、画像処理プリセットパラメータ等の、画像処理パラメータは、周波数処理および階調処理のうち少なくとも一方の処理を規定するパラメータであることを特徴とする。そして、異常（外傷）候補検出結果にて、さらに異常（外傷）と判定された領域に表示用の処理を行う。例えば、異常（外傷）領域の境界を特定の色を持った線で表示をした画像や、外傷領域の重心部分に×などの印や矢印を重畳した画像を作成する。ユーザは、該異常領域の特徴に則って、異常領域として検出されていない領域に対して、比較検証を実施することができる。

（ステップＳ３０７）
最後に、表示制御部１０５が、診断用画像を表示デバイスへ出力させる。表示制御部１０５による診断用画像の表示によって、異常（外傷）候補として検出された領域を、確認しやすい画像処理が適用されて表示されるため、異常候補を把握することが可能となる。また異常候補が検出されていない領域に対しても、検出された異常候補の可読性を向上させるための画像処理が実行されているため、異常候補が検出された領域と異常候補が検出されていない領域とを比較することできる。よって異常候補検出部１０２の見落としをユーザが見落としにくくなり、結果として医師の診断効率を上げることができる。

本実施形態により、異常候補検出部１０２によって検出された異常候補に応じて、画像処理パラメータ設定部１０３が画像処理パラメータの設定を行う。さらに、画像処理部１０４が異常候補検出部１０２によって検出された異常候補を含む画像領域に対して画像処理を実行する。本構成により、異常候補検出部１０２によって異常候補として検出がされなかった領域においても異常候補を強調する画像処理が施されるため読影効率が向上する。

［第２の実施形態］
異なる実施形態について図１の構成図と図５の全体フローを使い説明する。本実施形態において、異常候補検出部１０２はＣＮＮに基づいて複数の異常候補の分類を行う。尚。ステップＳ３０１からＳ３０２は第１の実施形態における図３と同様のため省略する。

（ステップＳ５０４）
異常候補検出部１０２からＣＮＮを用いて複数の外傷に分類が必要な場合は、例えば次のようにＣＮＮのパラメータを決める。それぞれの異常候補の有無を二値分類するＣＮＮを作成する場合には、骨折領域を正解データとした骨折だけを検出するパラメータを生成し、気胸領域を正解データとした気胸だけを検出するパラメータを生成するなどをし、外傷毎に別々のパラメータを生成する。

一方で、複数の異常候補を例えば単一の分類器によって分類するため、分類器は、分類器に設定された分類対象の異常候補（クラス）を分類するための特徴を学習することになる。故に、複数の異常候補が似た特性（大きさ、画素値、位置、形状等）を有していた場合においても、分類精度の信頼性が保たれやすい。複数のクラスを分類する分類器を作成する場合には、例えば、正解データを、骨折領域が１、気胸領域が２、血胸領域が３、それ以外の領域を０とした多値のマップ画像を用意し、複数の外傷を検出するパラメータを生成してもよい。即ち、異常候補検出部１０２は、機械学習に基づいて異常候補の検出を行い、異常候補のそれぞれは機械学習のクラスに対応することを特徴とする。

異常候補検出部１０２は、医用画像取得部１０１から取得した画像を基に異常候補の分類を行い、検出結果を画像処理パラメータ設定部１０３に出力する。

（ステップＳ５０５）
次に画像処理パラメータ設定部１０３は、外部装置から画像処理プリセットパラメータと異常候補検出部１０２による異常候補検出結果を入力とし、画像処理アップデートパラメータを出力する。画像処理アップデートパラメータは、Ｓ５０４で異常候補検出部１０２により複数の外傷に分類された数に伴って出力される。

図６を用いて、異常検出／分類６０１の結果として、異常候補検出部１０２により骨折と気胸と血胸とが検出された場合について説明する。ここでは、骨折用画像処理パラメータ６０２、気胸用画像処理パラメータ６０３、血胸用画像処理パラメータ６０４を生成し出力する。尚、異常候補検出部１０２による検出結果が、いずれの異常候補も検出しなかった場合には、ＧＵＩ等からユーザの指示に基づいて画像処理パラメータが設定されてもよいし、プリセットパラメータを設定してもよい。即ち、異常候補検出部１０２が異常候補を検出しなかった場合には、画像処理装置１００は画像処理パラメータを変更しないことを特徴とする。即ち、画像処理パラメータ設定部１０３は、異常候補検出部１０２によって複数の異常候補が検出された場合に、複数の異常候補のそれぞれに対して画像処理パラメータを設定することを特徴とする。

（ステップＳ５０６）
次に画像処理部１０４が、前処理済み医用画像と異常候補検出結果と画像処理アップデートパラメータとを入力とし、表示用画像を作成する。まず、前処理済み医用画像から画像処理アップデートパラメータを使用し診断用画像を生成する（Ｓ５０６）。図６のように異常検出／分類６０１の結果として、骨折と気胸と血胸とが検出された場合、診断用画像処理６０５は、骨折用画像処理パラメータ６０２から骨折用診断用画像６０６を生成する。また、気胸用画像処理パラメータ６０３から気胸用診断用画像６０７を、血胸用画像処理パラメータ６０４から血胸用診断用画像６０８を生成する。即ち、画像処理部１０４は、異常候補のそれぞれに対して設定された画像処理パラメータに基づいて、複数の画像処理結果を出力することを特徴とする。

（ステップＳ５０７）
そして、異常候補検出結果にて、異常と判定された領域に表示用の処理を行う（Ｓ３０７）。骨折用診断用画像５０６には骨折候補検出結果を、気胸用診断用画像５０７には気胸候補検出結果を、血胸用診断用画像５０８には血胸用候補検出結果を重畳させる。

尚、ＣＮＮのクラス構成や、学習方法等は、一例であって複数のＣＮＮのそれぞれが複数の異常候補のそれぞれを検出してもよい。または複数のＣＮＮが検出した異常候補のそれぞれを画素ごと、もしくは所定の区画ごとに比較をして、異常候補検出部１０２による検出結果としてもよい。

（ステップＳ５０８）
最後に、表示制御部１０５が、複数の診断用画像を順番に表示デバイスへ出力をさせる（Ｓ５０８）。ＵＩ上の切り替え操作になどよって、複数の診断用画像を切り替え、全ての診断用画像を確認することができる。画像確認に用いた複数の診断用画像は、全てＰＡＣＳへ転送してもよい。このようにすることで、複数の病変がある場合でも、診断効率を上げながら確認をすることができる。即ち、画像処理部１０４によって画像処理された医用画像である診断用画像を転送する転送部を有することを特徴とする。

ここで、図７を用いて、本発明に係る表示制御部１０５によって表示デバイスに表示される表示画面７００の一例について述べる。表示画面７００は、例えば、患者の氏名や、患者のＩＤ情報を示す患者情報部７０１、特定の画像処理によって生成された診断用画像表示部７０２、診断用画像表示部７０２に対応する異常候補を示す異常候補情報表示部７０３から構成される。診断用画像表示部７０２には、例えば異常候補検出部１０２により骨折が検出された場合に、画像処理部１０４によって骨折用の画像処理を行った診断用画像を表示する。さらに異常候補情報表示部７０３には、骨折用診断用画像であることが表示されることで、ユーザは表示されている診断用画像７０２から確認すべき異常候補を把握することが可能となる。即ち、表示制御部１０５は、異常候補検出部１０２によって検出された異常候補と、画像処理された医用画像とを表示することを特徴とする。また、異常候補情報表示部７０３に、その異常候補に対する分類器の分類に対する確信度（後で詳述）を共に表示してもよい。分類に対する確信度を、異常候補と共に表示することにより、異常候補である確率を考慮しながら、該異常候補に適切な画像処理を受けた診断用画像を確認することができる。即ち、異常候補検出部１０２は、異常候補と、異常候補に対する分類の確信度を算出することを特徴とする。

また、表示する診断用画像をユーザが選択、切替できる選択部を有していてもよい。図８を用いて、表示制御部１０５によって表示される表示画面７００はさらに、異常候補検出に対する分類器の確度を表示する異常候補検出結果表示部８０１の表示を行う。また対象の医用画像に実施をする画像処理を選択する選択部８０２、さらに、選択された画像処理の結果である診断用画像を表示する診断用画像表示部８０３の表示を行う。異常候補検出部１０２による検出結果に十分な信頼が持てない場合や、ユーザが所望の画像処理を実施したい場合に、選択部８０２により所望の画像処理を選択することが可能となり、診断の誤りの抑制や、診断効率の向上が期待される。即ち、表示制御部１０５は、画像処理部１０４による出力が、複数の画像処理結果であった場合に、表示する画像処理結果を選択する選択部８０２を有することを特徴とする。尚、選択部８０２によって表示する診断用画像表示部８０３における診断用画像を切り替えなくても、複数の診断用画像が識別可能に表示されれば、同一の画面もしくは同時に表示されてもよい。

即ち、表示制御部１０５は、複数の画像処理結果（診断用画像８０３）のそれぞれを識別可能に表示することを特徴とする。

［第３の実施形態］
第２の実施形態に記載したように、複数の異常候補を分類器のクラスとして有している場合には、異常候補検出部１０２は、ＣＮＮに基づいて複数の異常候補を検出する。

本実施形態では、異常候補検出部１０２のＣＮＮへの出力と、複数の異常候補が検出された場合の表示制御部１０５が行う表示制御の一例について述べる。

ＣＮＮは、分類器への入力対象が画像である場合に、分類結果の出力を画素単位、画像領域単位、画像単位等に設定することができる。本形態における異常候補検出部１０２におけるＣＮＮは、いずれの場合にも適用可能である。また、ＣＮＮは、分類結果の対象単位で確信度を設定する。確信度とは、異常候補（外傷）であることの確かさを表すものとする。ＣＮＮにおける確信度は、例えばＳｏｆｔｍａｘ関数により算出されたソフトマックス値である。異常候補に該当する領域の検出は、ＣＮＮの最終層の出力結果に限定されるものではなく、例えば中間層の出力結果の値を利用してもよい。また、複数の異常候補の検出処理を行い、検出結果を重みづけしたスコアを用いてもよい。

異常候補検出部１０２によって検出された異常候補に基づいて、画像処理パラメータ設定部１０３がそれぞれの異常候補に応じた画像処理パラメータを設定する。そして、画像処理部１０４が画像処理を実行することによって複数の画像処理された医用画像である診断用画像が生成される。

ここで表示制御部１０５は、異常候補検出部１０２によって出力された確信度を取得し、確信度の最も高い異常候補に対応する画像を出力する。即ち、表示制御部１０５は、確信度が最も高い異常候補に対応する画像処理結果として診断用画像を表示デバイスに表示させることを特徴とする。

もしくは、表示制御部１０５は、確信度が閾値以上の異常候補に対応する画像を複数比較可能に表示してもよいし、複数の画像を順に表示してもよい。

複数の画像を順に表示する場合には、例えば表示制御部１０５は複数の画像を、異常候補検出部１０２によって出力された確信度の高いものから順に表示をする。即ち、表示制御部１０５は、画像処理部１０４による出力が、複数の画像処理された医用画像（診断用画像）であった場合に、確信度に応じて複数の画像された医用画像（診断用画像）の表示順序を決定することを特徴とする。または、それぞれの異常候補の緊急度や進行度を出力させ、表示をする順を決定してもよい。尚、確信度や、緊急度や進行度はそれぞれ単独で表示の順が決定されても、複数の組み合わせによる評価値に応じて表示の順が決定されてもよい。複数の画像が存在する場合に、確信度や、緊急度、進行度を踏まえて、表示制御部１０５が表示をすることで、ユーザは治療を優先しなければならない異常候補（外傷）から確認することができる。尚、緊急度や進行度は、例えば骨折、気胸、血胸をクラス分類する分類器において、緊急度や進行度のレベルごとに、骨折―レベル１、骨折―レベル２、骨折―レベル３等、正解データのラベルを付与して学習をし、学習された分類器によって分類された結果である。もしくは、異常候補検出部１０２における分類器（ＣＮＮ）が検出をした異常候補の領域を入力として、緊急度や進行度を出力する異なる分類器（ＣＮＮ）を別途設けることにより、緊急度や進行度を得てもよい。

また、分類器の分類結果への確信度にさらに、分類器自身の信頼度を乗じた値を異常候補検出部１０２による出力としてもよい。例えば、分類器の分類結果への確信度が非常に高い場合においても、特定の異常候補に対して分類器の分類精度が十分でない可能性がある。分類精度が十分でないような場合においては例えば、分類器自身の信頼度を分類器の確信度に乗じる。分類器の信頼度を考慮することで、複数の分類器による分類結果もしくは、複数のクラスへの分類結果に対するノイズやバイアスを考慮することができ、ユーザに対して適切な順序で画像を表示することが可能となる。もちろん表示制御部１０５による表示の順序は、本形態に限定されるものではない。例えば、あらかじめユーザ等が設定した表示順序に則って表示を行ってもよい。

［第４の実施形態］
第１の実施形態のＳ３０７における画像表示において、異なる実施形態を図１の構成図と図３の全体フローを使い説明する。

Ｓ３０１からＳ３０４は第１の実施形態と同様のため省略する。

画像処理パラメータ設定部１０３は、外部装置から画像処理プリセットパラメータと異常候補検出結果を入力とし、画像処理プリセットパラメータと画像処理アップデートパラメータとを出力する（Ｓ３０５）。外傷がない場合は、画像処理プリセットパラメータのみを出力する。異常候補がある場合は、その異常候補に特化したパラメータを画像処理アップデートパラメータとし、画像処理プリセットパラメータと共に出力する。

次に画像処理部１０４が、前処理済み医用画像と異常候補検出結果と画像処理アップデートパラメータと画像処理プリセットパラメータとを入力とし、診断用画像を作成する。画像処理部１０４は、まず、前処理済み医用画像から画像処理アップデートパラメータを使用した診断用画像を生成する（Ｓ３０６）。さらに画像処理部１０４は画像処理プリセットパラメータを使用し診断用画像を作成する。そして、アップデートパラメータを使用した診断用画像には、異常候補と判定された領域に表示用の処理を行う（Ｓ３０７）。

最後に、表示制御部１０５が、複数の表示用画像を順番に表示デバイスへ出力する（Ｓ３０８）。アップデートパラメータを使用した診断用画像を順に表示する。そして最後に全体を確認するために、最後にプリセットパラメータを使用した診断用画像を表示する。ＵＩなどからプリセットパラメータを使用した診断用画像の表示の指示の場合があった場合は、それに応じて表示を行う。全体を確認することができる画像処理プリセットパラメータで最後に確認することで、見落とし防止の効果を得ることができる。即ち、表示制御部１０５は、画像処理パラメータが変更される前の画像処理パラメータによって画像処理された画像処理結果（診断用画像）を表示することを特徴とする。

［変形例］
異常候補検出部１０２によって検出される異常候補の数が多いと、異常候補のそれぞれに対応するように生成される診断用画像の数が増加することも考えられる。診断用画像の数がユーザの負担になる場合に、画像処理パラメータ設定部１０３は、複数の異常候補に対応する画像処理パラメータ間の差を比較する。そして画像処理パラメータの類似する異常候補群ごとに、所定の画像処理を実施し、表示制御部１０５が表示をしてもよい。なお、ユーザが画像処理パラメータの類似する異常候補群を設定してもよい。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００画像処理装置
１０１医用画像取得部
１０２異常候補検出部
１０３画像処理パラメータ設定部
１０４画像処理部
１０５表示制御部

Claims

医用画像を取得する医用画像取得部と、
前記医用画像取得部により取得された前記医用画像から異常候補を検出する異常候補検出部と、
前記異常候補検出部によって検出された異常候補に基づいて、前記医用画像に適用する画像処理を規定する画像処理パラメータを設定する画像処理パラメータ設定部と、
前記画像処理パラメータ設定部によって設定された画像処理パラメータに基づいて、前記医用画像のうち、前記異常候補検出部によって検出された前記異常候補に対応する画像領域を含み、且つ前記検出された異常候補に対応する画像領域よりも広い画像領域に対して画像処理を行う画像処理部と、
前記画像処理部によって画像処理された医用画像を表示する表示制御部と、
を有することを特徴とする画像処理装置。
前記画像処理部における前記画像処理の対象は、前記医用画像全体であることを特徴とする請求項１に記載の画像処理装置。
前記画像処理パラメータは、周波数処理および階調処理のうちすくなくとも一方の処理を規定するパラメータであることを特徴とする請求項１または２に記載の画像処理装置。
前記画像処理パラメータ設定部は、前記画像処理パラメータがあらかじめ設定されていた場合に、前記画像処理パラメータを変更することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
前記画像処理パラメータ設定部は、前記異常候補検出部によって複数の異常候補が検出された場合に、前記複数の異常候補のそれぞれに対して画像処理パラメータを設定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
前記表示制御部は、前記異常候補検出部によって検出された異常候補と前記画像処理された医用画像と、を表示することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
前記画像処理部は、前記複数の異常候補のそれぞれに対して設定された画像処理パラメータに基づいて、画像処理を行い、複数の画像処理された医用画像を出力することを特徴とする請求項５に記載の画像処理装置。
前記表示制御部は、前記複数の画像処理された医用画像のそれぞれを識別可能に表示することを特徴とする請求項７に記載の画像処理装置。
前記異常候補検出部は、前記異常候補と、前記異常候補に対する分類の確信度を算出することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
前記表示制御部は、前記確信度が最も高い異常候補に対応する画像処理された医用画像を表示することを特徴とする請求項９に記載の画像処理装置。
前記表示制御部は、前記画像処理部による出力が、複数の画像処理された医用画像であった場合に、前記確信度に応じて前記複数の画像処理された医用画像の表示順序を決定することを特徴とする請求項９に記載の画像処理装置。
前記表示制御部は、前記画像処理パラメータが変更される前の画像処理パラメータによって画像処理された医用画像を表示装置に表示させることを特徴とする請求項４に記載の画像処理装置。
前記異常候補検出部は、機械学習に基づいて異常候補の検出を行い、前記異常候補のそれぞれは、前記機械学習のクラスに対応することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
前記表示制御部は、前記画像処理部による出力が、複数の画像処理された医用画像であった場合に、表示する前記画像処理された医用画像を選択する選択部を有することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
前記画像処理部によって画像処理された医用画像を転送する転送部を有することを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
医用画像を取得する医用画像取得ステップと、
前記医用画像取得部により取得された前記医用画像から異常候補を検出する異常候補検出ステップと、
前記異常候補検出ステップによって検出された異常候補に基づいて、前記医用画像に適用する画像処理を規定する画像処理パラメータを設定する画像処理パラメータ設定ステップと、
前記画像処理パラメータ設定ステップによって設定された画像処理パラメータに基づいて、前記医用画像のうち、前記異常候補検出ステップによって検出された前記異常候補に対応する画像領域を含み、且つ前記検出された前記異常候補に対応する画像領域よりも広い画像領域に対して画像処理を行う画像処理ステップと、
前記画像処理部によって画像処理された医用画像を表示する表示制御ステップと、
を有することを特徴とする画像処理方法。
前記画像処理ステップにおける前記画像処理の対象は、前記医用画像全体であることを特徴とする請求項１６に記載の画像処理方法。
請求項１６または請求項１７の画像処理方法をコンピュータに実行させるためのプログラム。