JP2018061771A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】病変陰影の画像特徴量の抽出処理を自動かつ高精度に調整し、ユーザにかかる負担を軽減する医用画像処理装置を提供する。【解決手段】医療用に撮影された画像データから検出された病変疑い領域画像を提示する画像処理装置であって、前記病変疑い領域画像に関する画像特徴ラベルを分類するための画像特徴ラベル学習部２１と、学習により得られた画像特徴ラベルの学習パラメータを用いて、病変疑い領域画像に関する画像特徴量を抽出する画像特徴量抽出部２３と、病変疑い画像を表示する表示部１１と、ユーザ入力部１０と、ユーザ入力部１０からの入力に応じて学習パラメータを更新する画像特徴ラベル学習更新部２９とを有する。【選択図】図１

Description

本発明は画像処理装置、特に医用画像を処理する画像処理技術に関する。

Ｘ線ＣＴ（Ｘ−ｒａｙ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置等に代表される医用画像撮像装置を用いた診断では、撮影された三次元医用画像を、連続した二次元断面として再構成し、その二次元断面画像を観察して読影を行うことが一般的である。

これらの撮影装置の高度化により、生成される三次元医用画像の三次元分解能も向上しており、データサイズは増加する傾向にある。特に、先に述べた二次元断面の生成間隔はより細かくすることが可能となり、医用画像上に現れる病変のより詳細な観察が可能となってきているが、結果的に三次元医用画像あたりの二次元断面の枚数も増加している。また特にＣＴ装置においては、低線量で高画質な三次元医用画像の撮影が可能になってきたこともあり、ＣＴ画像の撮影機会も増加傾向にある。

これらの理由により、膨大な三次元医用画像を読影する際に医師や技師にかかる負担を軽減し、主に病変の見落としを防ぐためにＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｔｅｃｔｉｏｎ）というコンピュータ支援診断技術の開発が進められている。このＣＡＤはコンピュータにより陰影の検出やサイズ計測、陰影の正常/異常の識別や異常陰影の病変種類の区別等を、画像処理技術を応用して自動あるいは半自動で行うことを目指したものである。

ここでは、画像の特徴から病変の疑いが高い陰影を提示することを目的とするＣＡＤについて述べる。このＣＡＤは、医師の見落としを防ぐことが目的であるため、少しでも病変の疑いが高い陰影は全て提示することが望ましいとされる場合が多い。しかし一方で提示する陰影数が多すぎれば、それぞれの疑わしさを精査する医師の負担も大きくなるという問題もある。従って、医師の希望する形での病変疑い陰影の提示を行い、医師の負担を軽減するための方法が求められている。

これらの課題を解決するために、例えば、非特許文献１には、機械学習により開発されたＣＡＤシステムの使用施設の診断データを継続的に収集して再学習を行うことで、ＣＡＤの性能改善を図る方法が提案されている。

Y. Nomura, et al., CIRCUS: an MDA platform for clinical image analysis in hospitals. Transactions on Mass-Data Analysis of Images and Signals, vol.2, no.1, pp.112-127, 2010.

ＣＡＤによる病変疑い陰影の自動検出では一般的に、画像から得られる特徴量を用いて病変の疑わしさを定義する式を設定し、その病変の疑わしさが高い陰影を提示する。しかし、その病変陰影の画像特徴量の独自性が高いため、ＣＡＤ開発用データセットに基づいて設定した特徴量の抽出方法が、実運用時のデータの画質や所見に適用しきれない場合、期待される病変の疑わしさの推定性能が得られない。また、ユーザである医師の希望に沿った形の検出精度の調整としては、提示する陰影の疑わしさの閾値を調整する方法と、疑わしさを算出する方法において、どの特徴量の寄与率が高いかを調整する方法の二種類の調整が必要となるが、いずれにおいても画像特徴量の抽出処理を調整することができない。

本発明の目的は、病変陰影の画像特徴量の抽出処理の調整を可能にし、ユーザが医用画像を読影する際の負担を軽減することが可能な画像処理装置、及び画像処理方法を提供することにある。

上記の目的を達成するため、本発明においては、画像データから検出される病変疑い領域画像を提示する画像処理装置であって、病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行う画像特徴ラベル学習部と、画像特徴ラベル学習部の学習により得られる画像特徴ラベルの学習パラメータを用いて、病変疑い領域画像の画像特徴量を抽出する画像特徴量抽出部と、病変疑い領域画像を表示する表示部と、ユーザ入力部と、前記ユーザ入力部からの入力に応じて、学習パラメータを更新する画像特徴ラベル学習更新部を備える構成の画像処理装置を提供する。

また、上記の目的を達成するため、本発明においては、表示部と入力部を備え、画像データから検出される病変疑い領域画像を提示する画像処理装置の処理方法であって、画像処理装置は、病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行い、学習により得られる画像特徴ラベルの学習パラメータを用いて、病変疑い領域画像の画像特徴量を抽出し、病変疑い領域画像を表示部に表示し、ユーザ入力部からの入力に応じて、学習パラメータを更新する構成の画像処理方法を提供する。

本発明によれば、ユーザの希望する形に沿って、病変陰影の画像特徴量抽出処理を調整することが可能するになる。

実施例１に係る、画像処理装置の全体構成例を示すブロック図。 実施例１に係る、画像処理装置における機械学習処理の流れを示すフローチャート図。 実施例１に係る、画像処理装置における病変疑い領域悪性度推定処理の流れをフローチャート図。 実施例１に係る、画像処理装置における画像特徴量抽出処理の流れをフローチャート図。 実施例１に係る、病変疑い領域悪性度推定処理を調整する処理の流れをフローチャート図。 実施例１に係る、複数の画像特徴ラベルの一例を示す模式図。 実施例１に係る、画像特徴ラベルを分類するための画像ラベル学習器の構成の一例を示す図。 実施例１に係る、病変疑い領域画像の画像特徴量の抽出処理の一例を示す図。 実施例１に係る、画像データと病変疑い領域画像を表示する表示部、および画像特徴ラベルと悪性度正誤情報を選択するユーザインタフェースの一例を示す説明図。 実施例２に係る、画像処理装置の全体構成例を示すブロック図。 実施例２に係る、画像処理装置における画像特徴量抽出処理の流れをフローチャート図。 実施例２に係る、画像特徴ラベルを分類するための画像ラベル学習器の構成の一例を示す図。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

本実施例は、医用画像から検出された病変疑い領域画像に対する悪性度を、高精度かつユーザの希望する形で算出するため、ユーザからの入力に応じて病変疑い領域画像に関する画像特徴量抽出処理を調整することが可能な画像処理装置の実施例である。すなわち、画像データから検出される病変疑い領域画像を提示する画像処理装置であって、病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行う画像特徴ラベル学習部と、画像特徴ラベル学習部の学習により得られる画像特徴ラベルの学習パラメータを用いて、病変疑い領域画像の画像特徴量を抽出する画像特徴量抽出部と、病変疑い領域画像を表示する表示部と、ユーザ入力部と、ユーザ入力部からの入力に応じて、画像特徴ラベルの学習パラメータを更新する画像特徴ラベル学習更新部とを備える構成の画像処理装置の実施例である。

また、表示部と入力部を備え、画像データから検出される病変疑い領域画像を提示する画像処理装置の処理方法であって、画像処理装置は、病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行い、学習により得られる画像特徴ラベルの学習パラメータを用いて、病変疑い領域画像の画像特徴量を抽出し、病変疑い領域画像を表示部に表示し、ユーザ入力部からの入力に応じて、学習パラメータを更新する構成の画像処理方法の実施例である。

なお、本実施例においては、ＣＴ医用画像撮影装置により得られる再構成三次元医用画像を例示して説明するが、本実施例の構成は他の医用画像撮影装置により得られるデータに基づく画像処理装置についても応用可能である。例えばＭＲＩ撮影装置等により得られるデータであっても、複数の二次元断面の積み重ねとして表現できる三次元画像を得るもので、画素分布に病変特徴が現れるとされているものであれば適用することができる。

また、本実施例における病変疑い領域とは、読影医の医学的知識や当該疾病診断に対する医学的根拠（エビデンス）等に基づいて判断される、病変の疑いが高い点、および領域を指す。ここで対象となる病変とは、医用画像上に現れた場合に、周囲即ち病変の疑いが低い領域との輝度の違いや、輝度値の分布の違いから判断できる可能性が高いものとする。例えば肺結節の場合は一般に、そのＣＴ値が周辺の空気領域よりも高い画素を多く含む領域としてＣＴ画像上に現れることが知られている。胸部ＣＴ画像上で高輝度画素を多く含む他のオブジェクトとしては、血管や骨があるが、高輝度値の分布形状に応じて、それらと区別し、病変すなわちこの例における肺結節である疑いの高さを判別できると言われている。

図１は、実施例１に係わる画像処理装置を含むシステム構成の一例を示す図である。図１に示すように画像処理装置１００は、ユーザ入力部１０と、画像特徴ラベル学習部２１と、画像特徴ラベル学習パラメータ記憶部２２と、画像特徴量抽出部２３と、病変疑い領域悪性度学習部２４と、病変疑い領域悪性度推定パラメータ記憶部２５と、病変疑い領域悪性度推定部２６と、画像特徴ラベル学習更新部２８と、病変疑い領域悪性度学習更新部２９と、表示部１１とから構成されている。なお、画像処理装置１００は通常のコンピュータで構成され、表示部１１はそのディスプレイで、記憶部はそのメモリで構成され、画像特徴量抽出部２３などの各機能ブロックは、その中央処理部（ＣＰＵ）によるプログラム実行で実現される。また、医用画像ＤＢ２０と、診断用画像と病変疑い領域画像２７は、その外部記憶装置などで実現される。なお、図１において、画像特徴量抽出部２３を３つのブロックとして示したが、これらはそれぞれ入力される対象画像に対してその特徴量を抽出するという同一の処理を実行する機能ブロックである。３つのブロックの真ん中のブロックは、後で説明する図２のステップＳ２０３に、右側のブロックは図３のステップＳ３０２に、左側のブロックは図５のステップＳ５０２に対応している。

次に、図２〜図５に示すフローチャートを用いて、図１に示した画像処理装置１００の動作処理を説明する。図２は、病変疑い領域画像に対して、画像特徴ラベルの学習による画像特徴量の抽出、および抽出された画像特徴量を用いた病変疑い領域悪性度推定の学習の動作処理を示すフローチャートである。これらの動作処理は、画像特徴ラベル学習部２１、画像特徴量抽出部２３、病変疑い領域悪性度学習部２４で実行される。

まず、図２のステップＳ２０１において、画像特徴ラベル学習部２１が医用画像ＤＢ２０から、病変疑い領域画像とそれに対応する画像特徴ラベルの情報を受け取る。ここで画像特徴ラベルとは、病変疑い領域に関する画像特徴の種類、例えば陰影領域の面積の大きさ、輝度の濃淡、周囲既存構造との接触の有無、発生部位、形状などである。図６に、このような病変疑い領域の画像特徴ラベルの一例を画像特徴ラベル６１〜６６として示した。

次に、ステップＳ２０２において、画像特徴ラベル学習部２１は、画像特徴ラベル７０を分類するための機械学習を行い、その学習パラメータを生成する。ここでは、公知の深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）方法であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）法を用いることができる。図７は、ＣＮＮ法を用いた学習器（ネットワーク）の構成の一例を示している。ＣＮＮ法を用いた学習処理では、多数の画像フィルタリング処理を行う畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）７１と、畳み込み層の出力からサンプリングするプーリング層（Ｐｏｏｌｉｎｇ ｌａｙｅｒ）７２の繰り返しによって、入力の学習用画像を識別できるように、画像の特徴を最適に、すなわち最大限正確に表現する画像特徴量を自動で生成することができる。

図７では、便宜のため畳み込み層７１とプーリング層７２をそれぞれ２層のみを示しているが、実際の場合、更に多数の層を設定することによって、性能向上を図ることが 可能である。図７で示しているＣＮＮネットワーク構成の最後の層は識別層（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌａｙｌｅｒ）７３であり、ここでは、入力画像が予め設定した種類（クラス）に所属する確率（スコア）を算出し結果（Ｒｅｓｕｌｔ）７４とする、すなわち入力画像を分類（識別）する処理を行う。本実施例では、図６に示した画像特徴ラベル６１〜６６の６種類、領域面積大、領域面積小、胸骨接触型、輝度濃、輝度淡、管状を識別するように設定しているが、病変疑い領域の対象画像の特徴によって、画像特徴ラベルの種類、種類の数などの設定を変更することも可能である。

本実施例では、画像特徴ラベル７０のクラスの各々に対し、ＣＮＮネットワークをそれぞれ設定している。各ＣＮＮネットワークを学習させるための入力学習画像は、その画像特徴ラベルクラスに所属する画像である正のサンプルデータとその他の画像特徴ラベルクラスに所属する画像である負のサンプルデータである。すなわち、画像特徴ラベル学習部２１は、画像特徴ラベルのクラスのそれぞれに対し、ＣＮＮネットワークをそれぞれ設定する。このネットワークの学習が完了したら、画像特徴ラベル学習パラメータ記憶部２２は、画像特徴ラベル学習部２１から、各畳み込み層７１、プーリング層７２、識別層７３のパラメータを取得し、画像特徴ラベル学習パラメータとして保存する。なお、この画像特徴ラベル学習パラメータとは、公知のＣＮＮ法における畳み込み層やプーリング層などの構成に関するパラメータ、例えば、畳み込み層やプーリング層の総数（図７の場合それぞれ２）、または畳み込み演算を行う時の畳み込みフィルタの係数や大きさなどのパラメータである。

本実施例では、画像特徴ラベル７０の種類を識別する目的は、独自性の高い病変疑い領域画像の画像特徴量を高精度かつ自動調整可能な形で抽出することである。図８に、画像特徴量抽出部２３による病変疑い領域画像の画像特徴量の抽出処理の一例を示す。ステップＳ２０３において、画像特徴量抽出部２３は、画像特徴ラベル学習パラメータ記憶部２２から、画像特徴ラベル学習パラメータを受け取り、図８に示す畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）８１と、畳み込み層の出力からサンプリングするプーリング層（Ｐｏｏｌｉｎｇ ｌａｙｅｒ）８２の繰り返しと、識別層（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌａｙｌｅｒ）８３で構成したＣＮＮネットワークを用いて、入力の病変疑い領域画像８０の画像特徴量を抽出する。本実施例では、画像特徴量として、ＣＮＮネットワークのいずれかのプーリング層８２の出力ベクトル、もしくは各クラスのネットワークの識別スコアである結果（Ｒｅｓｕｌｔ）８４を連結した識別スコアベクトルを使用しても良い。プーリング層７２の出力ベクトルと識別スコアベクトルと連結したベクトルを使用しても良い。以上のように、画像特徴量抽出部２３は、学習パラメータを用いて、病変疑い領域画像に関する画像特徴ラベルの種類を識別することができる。

次に、ステップＳ２０４〜Ｓ２０５において、病変疑い領域悪性度学習部２４は、病変疑い領域の悪性度を算出するため、機械学習を用いて病変疑い領域悪性度の推定パラメータを生成する。ステップＳ２０４において、病変疑い領域悪性度学習部２４は、画像特徴量抽出部２３から、図８の処理で得られた病変疑い領域画像の画像特徴量を受け取る。また、病変疑い領域悪性度学習部２４は、医用画像ＤＢ２０から病変疑い領域画像に対応する悪性度情報を取得する。ステップＳ２０５において、病変疑い領域悪性度学習部２４は、病変疑い領域画像の画像特徴量とそれに対応する悪性度情報を用いて、病変疑い領域悪性度を推定する学習器を作成する。ここでは、公知であるＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）法、さらに、悪性度を順位付けることが可能になるＲａｎｋｉｎｇ ＳＶＭ法を用いることができる。学習処理が完了したら、病変疑い領域悪性度推定パラメータ記憶部２５は、病変疑い領域悪性度学習部２４から、病変疑い領域悪性度推定パラメータを受け取り、保存する。なお、この病変疑い領域悪性度推定パラメータとは、公知であるＳＶＭ法などの機械学習手法におけるパラメータであり、例えば特徴量空間において、分類のための境界線や境界面の位置となり、例えば直線で分ける場合は直線（ｙ＝ａ＊ｘ＋ｂ）の係数ａとｂとなる。

次に、図３に示すフローチャートを用いて、診断時に診断対象として入力の病変疑い領域画像の悪性度を推定する処理を説明する。このフローチャートの動作処理は、画像特徴量抽出部２３と、病変疑い領域悪性度推定部２６によって実行される。ステップＳ３０１において、画像特徴量抽出部２３は、診断用画像と病変疑い領域画像２７を受け取る。ステップＳ３０２において、画像特徴量抽出部２３は、画像特徴ラベル学習パラメータ記憶部２２から画像特徴ラベル学習パラメータを受け取り、ＣＮＮネットワークを用いて、入力の病変疑い領域画像の画像特徴量を抽出する。これはステップＳ２０３で説明した図８の処理と同様な処理である。

ステップＳ３０３において、病変疑い領域悪性度推定部２６は、病変疑い領域悪性度推定パラメータ記憶部２５に記憶された病変疑い領域悪性度推定パラメータを受け取る。さらに、病変疑い領域悪性度推定部２６は、画像特徴量抽出部２３から、先に抽出した病変疑い領域画像の画像特徴量を受け取る。病変疑い領域悪性度推定部２６は、病変疑い領域悪性度推定パラメータを用いて、病変疑い領域画像における病変疑い領域の悪性度を算出する。ステップＳ３０４において、表示部１１は、診断用画像と病変疑い領域画像２７、およびそれに対応する病変疑い領域悪性度を受け取り、画像処理装置の診断結果として表示する。病変疑い領域画像が複数存在する場合、悪性度の推定結果に基づいて順位付けて表示することも可能である。詳細な表示方法は、後で図９に示した表示画面例を用いて説明する。

次に、図４に示すフローチャートを用いて、ユーザである医師から入力されて表示される病変疑い領域画像に関する画像特徴ラベルを用いた画像特徴量抽出処理を更新する処理について説明する。このフローチャートの動作処理は、画像特徴ラベル学習更新部２８、画像特徴量抽出部２３で実行される。まず、ステップＳ４０１において、画像特徴ラベル学習更新部２８は、表示される病変疑い領域画像を受け取る。ステップＳ４０２において、画像特徴ラベル学習更新部２８は、ユーザ入力部１０から、ユーザが入力した病変疑い領域画像に対応する画像特徴ラベルを受け取る。

ステップＳ４０３において、画像特徴ラベル学習更新部２８は、画像特徴量抽出処理を更新するかどうかを判断する。例えば、画像特徴ラベル学習更新部２８が所定数の病変疑い領域画像を取得したら画像特徴量抽出処理を更新してもよい。また、所定の蓄積期間を経過したら画像特徴量抽出処理を更新してもよい。さらに、ユーザの指示に応じて画像特徴量抽出処理を更新してもよい。すなわち、画像特徴ラベル学習更新部２８が所定数の病変疑い領域画像を取得した場合、或いは取得した病変疑い領域画像が所定の蓄積期間を経過した場合、或いはユーザ入力部１０からユーザの指示が入力された場合、画像特徴量抽出部２３は画像特徴量の抽出処理を更新する。

画像特徴量抽出処理を更新する場合（Ｙｅｓ）、ステップＳ４０４において、画像特徴ラベル学習更新部２８は、画像特徴ラベル学習パラメータ記憶部２２から、画像特徴ラベル学習パラメータを受け取る。ステップＳ４０５において、画像特徴ラベル学習更新部２８は、画像特徴ラベルに関するＣＮＮネットワークの学習パラメータを更新する。画像特徴ラベル学習パラメータ記憶部２２は、更新後の画像特徴ラベル学習パラメータを受取り、保存する。これにより、新しい病変疑い領域画像に対して自動で画像特徴量抽出処理をより適切に調整することが可能になる。画像特徴量抽出部２３は、画像特徴ラベル学習更新部２８により更新された画像特徴ラベル学習パラメータを用いて、病変疑い領域画像の画像特徴量を改めて抽出することができる。

次に、図５に示すフローチャートを用いて、ユーザから入力されて表示される病変疑い領域画像に関する悪性度の正誤情報を用いて病変疑い領域悪性度推定パラメータを更新する処理、について説明する。このフローチャートの動作処理は、画像特徴量抽出部２３と、病変疑い領域悪性度学習更新部２９で実行される。すなわち、本実施例の画像処理装置は、病変疑い領域画像のそれぞれに対するユーザ入力部１０からの入力に応じて、病変疑い領域悪性度推定パラメータを更新する病変疑い領域悪性度学習更新部２９を備えている。

ステップＳ５０１において、病変疑い領域悪性度学習更新部２９は、ユーザ入力部１０から、ユーザが入力した表示の病変疑い領域画像に対応する悪性度の正誤情報を受け取る。ステップＳ５０２において、画像特徴量抽出部２３は、表示される病変疑い領域画像を受け取り、さらに、画像特徴ラベル学習パラメータ記憶部２２から画像特徴ラベル学習パラメータを受け取り、ＣＮＮネットワークを用いて、入力の病変疑い領域画像の画像特徴量を抽出する。これはステップＳ２０３と同様な処理である。病変疑い領域悪性度学習更新部２９は、抽出された画像特徴量を受け取る。

ステップＳ５０３において、病変疑い領域悪性度学習更新部２９は、病変疑い領域悪性度を更新するかどうかを判断する。ここでは、画像特徴量抽出処理の更新と同様に、例えば、病変疑い領域悪性度学習更新部２９が所定数の画像の特徴量を取得したら病変疑い領域悪性度を更新してもよい。また、所定の蓄積期間を経過したら病変疑い領域悪性度を更新してもよい。さらに、ユーザの指示に応じて病変疑い領域悪性度を更新してもよい。病変疑い領域悪性度を更新する場合（Ｙｅｓ）、ステップＳ５０４において、病変疑い領域悪性度学習更新部２９は、病変疑い領域悪性度推定パラメータ記憶部２５から、病変疑い領域悪性度推定パラメータを受取る。

次に、ステップＳ５０５において、病変疑い領域悪性度学習更新部２９は、新しい病変疑い領域悪性度推定パラメータを算出するために、学習を改めて行う。ここでは、公知であるＯｎｌｉｎｅ学習の手法を用いてもよい。病変疑い領域悪性度推定パラメータ記憶部２５は、更新後の病変疑い領域悪性度推定パラメータを受取り、保存する。ステップＳ５０６において、病変疑い領域悪性度推定部２６は、更新後の病変疑い領域悪性度推定パラメータを受取り、表示される病変疑い領域画像に関する悪性度の推定結果を更新し、その結果を表示部１１に出力する。すなわち、本実施例の画像処理装置においては、病変疑い領域悪性度推定部２６は、病変疑い領域悪性度学習更新部２９により更新された病変疑い領域悪性度推定パラメータを用いて、病変疑い領域画像に関する病変疑い領域の悪性度を改めて推定して、表示する。

ここで、図９を用いて表示部１１の動作について説明する。図９には、本実施例の診断用画像、画像処理装置１００を用いた診断結果、ユーザ入力のための画像特徴ラベル提示、悪性度正誤情報などを表示するユーザインタフェース９１の一例を示している。表示部１１は、診断用画像と病変疑い領域画像２７を受け取る。また、表示部１１は、画像特徴量抽出部２３からそれぞれの病変疑い領域画像に対応する画像特徴ラベルを受け取る。さらに、表示部１１は、病変疑い領域悪性度推定部２６からそれぞれの病変疑い領域画像に対応する悪性度の推定結果、推定スコアを受け取る。ユーザインタフェース９１は、診断用画像と病変疑い領域画像エリア９２、画像特徴ラベル提示選択エリア９４、悪性度正誤情報選択エリア９５などが表示される。

ユーザインタフェース９１の診断用画像と病変疑い領域画像エリア９２は、診断用画像と病変疑い領域画像を表示する。その際、悪性度推定結果を用いて病変疑い領域画像に対し、順位付けをして表示することができる。すなわち、表示部１１は、画像データと病変疑い領域画像と、病変疑い領域画像に対応する画像特徴ラベルの識別結果とを表示し、病変疑い領域悪性度の推定スコアに対し、順位付けを行い、悪性度の高い順で病変疑い領域画像を並べ替えることができる。また、選択された病変疑い領域画像９３に対応する場所を診断用画像上にマークなどを用いて表示することができる。

さらに、ユーザインタフェース９１の画像特徴ラベル提示選択エリア９４は、所定の画像特徴ラベルの画像例を表示し、選択された病変疑い領域画像に対応する画像特徴ラベルを提示して、画像特徴ユーザに選択させること、もしくは修正させることができる。ユーザインタフェース９１は、画像特徴ラベルの画像と、病変疑い領域画像に対応する画像特徴ラベルの識別結果を表示し、病変疑い領域画像に対応する画像特徴ラベルの正解をユーザに選択させることもできる。そのため、画像特徴ラベル提示選択エリア９４に表示された所定の画像特徴ラベルの下にチェックボックスを配置してある。また更に、ユーザインタフェース９１の悪性度正誤情報選択エリア９５には、選択された病変疑い領域画像に対応する悪性度の正誤情報ＴＰ、ＦＰ、ＴＮ、ＦＮを表示し、ユーザに４つの何れかを選択させることができる。すなわち、ユーザインタフェース９１は、病変疑い領域画像に対応する正誤情報をユーザに選択させることができる。

更にまた、ユーザインタフェース９１は、画像特徴ラベル提示選択エリア９４に表示した所定の画像特徴ラベルだけでなく、ユーザに新たな画像特徴ラベルを追加させることができる。言い換えるなら、ユーザインタフェース９１は、病変疑い領域画像の他、ユーザに新たに病変疑い領域画像を追加させ、それに対応する画像特徴ラベルおよび正誤情報を選択させることができる。すなわち、本実施例の画像処理装置の画像特徴ラベル学習部２１は、病変疑い領域画像に関する、ユーザ入力部１０から新たに追加された画像特徴ラベルに応じて、画像特徴ラベルの種類を追加し、学習パラメータを更新することができる。また、ユーザに、診断用画像と病変疑い領域画像エリア９２に表示した診断用画像を利用するなどして新たな病変疑い領域画像を追加させ、それに対応する悪性度正誤情報を選択させることができる。

以上説明した実施例１には、画像処理装置１００に医用画像撮影装置を含まなかったが、画像処理装置１００は医用画像撮影装置を含んでもよく、また画像処理装置１００は医用画像撮影装置の一部として機能してもよい。本実施例によれば、病変陰影の画像特徴量の抽出処理の調整を可能にし、大量の三次元医用画像を読影する際にユーザである読影者にかかる負担を軽減することが可能な画像処理装置、医用画像撮影装置を提供することができる。

実施例２は、所定の画像特徴ラベルのほか、ユーザが新規の画像特徴ラベルを定義して追加し、さらに、新規追加の画像特徴ラベルに対応する病変疑い領域画像を画像ＤＢへ追加する医用画像ＤＢ更新部を備える画像処理装置の実施例である。図１０に実施例２に係わる画像処理装置を含むシステム構成の一例を示す。

図１０に示すように本実施例の画像処理装置１００は、ユーザ入力部１０と、画像特徴ラベル学習部２１と、画像特徴ラベル学習パラメータ記憶部２２と、画像特徴量抽出部２３と、病変疑い領域悪性度学習部２４と、病変疑い領域悪性度推定パラメータ記憶部２５と、病変疑い領域悪性度推定部２６と、病変疑い領域悪性度学習更新部２９と、医用画像ＤＢ更新部３０と、表示部１１とから構成されている。

次に、図１１に示すフローチャートを用いて、図９に示した画像処理装置１００の動作処理を説明する。ステップＳ６０１において、医用画像ＤＢ更新部３０は、表示される病変疑い領域画像を受け取る。ステップＳ６０２において、医用画像ＤＢ更新部３０は、ユーザ入力部１０から、ユーザが追加した病変疑い領域画像に対応する画像特徴ラベルを受け取る。ステップＳ６０３において、病変疑い領域悪性度学習更新部２９は、ユーザ入力部１０から、ユーザが入力した表示の病変疑い領域画像に対応する悪性度の正誤情報を受け取る。ステップＳ６０４において、医用画像ＤＢ更新部３０は、表示される診断用画像、病変疑い領域画像、およびそれに対応する新規追加の画像特徴ラベルを用いて、医用画像ＤＢ２０を更新する。

ステップＳ６０５において、画像特徴量抽出処理を更新するかどうかを判断される。例えば、医用画像ＤＢ更新部３０が所定数の画像を取得したら画像特徴量抽出処理を更新してもよい。また、所定の蓄積期間を経過したら画像特徴量抽出処理を更新してもよい。さらに、ユーザの指示に応じて画像特徴量抽出処理を更新してもよい。画像特徴量抽出処理を更新する場合（Ｙｅｓ）、ステップＳ６０６において、画像特徴ラベル学習部２１は、追加された画像特徴ラベルを含む画像特徴ラベルを分類するための機械学習を行い、その学習パラメータを生成する。これは、ステップＳ２０２の処理と同様である。

なお、ステップＳ６０６における画像特徴ラベルの学習については、図７に示すＣＮＮ法を用いたネットワークの構成を用いてもよい。また、図１２に示すネットワーク構成を用いても良い。すなわち、図１２のネットワーク構成に示すように、画像特徴ラベル１２０のクラスの各々に対し、１つの畳み込み層１２１と、プーリング層１２２、識別層１２３、結果１２４を用いて、１つの多クラス画像特徴ラベルを識別するＣＮＮネットワークを設定しても良い。

本実施例の構成により、所定の画像特徴ラベルのほか、ユーザが新しい臨床データに対し、新規の画像特徴ラベルを定義して追加し、さらに、新規追加の画像特徴ラベルに対応する病変疑い領域画像を画像ＤＢへ追加することが可能になる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

以上説明した本発明によれば、病変陰影の画像特徴量の抽出処理の調整を可能にし、大量の三次元医用画像を読影する際にユーザである読影者にかかる負担を軽減することができる。以上の記載においては、特許請求の範囲に記載した本発明以外に、種々の発明が含まれている。その一例を下記に例記する。

＜例記１＞
画像データから検出される病変疑い領域画像を提示する画像処理装置であって、
前記病変疑い領域画像に関する画像特徴ラベルを分類するための学習により得られる前記画像特徴ラベルの学習パラメータを用いて、前記病変疑い領域画像の画像特徴量を抽出する画像特徴量抽出部と、
前記画像特徴量抽出部で抽出される前記画像特徴量を用いて、病変疑い領域の悪性度を推定するための学習で得られる病変疑い領域悪性度推定パラメータを用いて、病変疑い領域の悪性度を算出する病変疑い領域悪性度推定部と、
を備える
ことを特徴とする画像処理装置。

＜例記２＞
例記１記載の画像処理装置であって、
病変疑い領域画像を表示する表示部と、
ユーザ入力部と、
前記ユーザ入力部からの入力に応じて、前記学習パラメータを更新する画像特徴ラベル学習更新部と、を更に備える、
ことを特徴とする画像処理装置。

＜例記３＞
例記２記載の画像処理装置であって、
前記画像特徴ラベル学習更新部が所定数の病変疑い領域画像を取得した場合、或いは取得した前記病変疑い領域画像が所定の蓄積期間を経過した場合、或いは前記ユーザの指示が入力された場合、前記画像特徴量抽出部は前記画像特徴量の抽出処理を更新する、
ことを特徴とする画像処理装置。

＜例記４＞
例記２記載の画像処理装置であって、
前記画像特徴ラベルは、前記病変疑い領域に関する画像特徴の種類である、
ことを特徴とする画像処理装置。

＜例記５＞
例記４記載の画像処理装置であって、
前記画像特徴ラベルは、前記病変疑い領域の陰影領域の面積の大きさ、輝度の濃淡、周囲既存構造との接触の有無、発生部位、及び形状である、
ことを特徴とする画像処理装置。

＜例記６＞
画像データから検出される病変疑い領域画像を提示する画像処理装置の画像処理方法であって、
画像処理装置は、
前記病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行い、
前記学習により得られる前記画像特徴ラベルの学習パラメータを用いて、前記病変疑い領域画像の画像特徴量を抽出し、
抽出された前記画像特徴量を用いて、病変疑い領域の悪性度を推定するための病変疑い領域悪性度を学習し、
前記病変疑い領域悪性度の学習で得られる病変疑い領域悪性度推定パラメータを用いて、病変疑い領域の悪性度を算出する、
ことを特徴とする画像処理方法。

＜例記７＞
例記６記載の画像処理方法であって、
前記画像特徴ラベルは、前記病変疑い領域に関する画像特徴の種類である陰影領域の面積の大きさ、輝度の濃淡、周囲既存構造との接触の有無、発生部位、または形状である、
ことを特徴とする画像処理方法。

＜例記８＞
例記６記載の画像処理方法であって、
前記画像処理装置は、表示部とユーザ入力部を備え、
前記病変疑い領域画像と前記病変疑い領域の悪性度を前記表示部に表示し、
前記ユーザ入力部からの入力に応じて、前記学習パラメータを更新する、
ことを特徴とする画像処理方法。

＜例記９＞
例記８記載の画像処理方法であって、
前記画像処理装置が、所定数の病変疑い領域画像を取得した場合、或いは取得した前記病変疑い領域画像が所定の蓄積期間を経過した場合、或いは前記ユーザの指示が入力された場合、前記画像特徴量の抽出処理を更新する、
ことを特徴とする画像処理方法。

１０ ユーザ入力部
１１ 表示部
２０ 医用画像ＤＢ
２１ 画像特徴ラベル学習部
２２ 画像特徴ラベル学習パラメータ記憶部
２３ 画像特徴量抽出部
２４ 病変疑い領域悪性度学習部
２５ 病変疑い領域悪性度推定パラメータ記憶部
２６ 病変疑い領域悪性度推定部
２７ 診断用画像と病変疑い領域画像
２８ 画像特徴ラベル学習更新部
２９ 病変疑い領域悪性度学習更新部
３０ 医用画像ＤＢ更新部
６１−６６、７０、１２０ 画像特徴ラベル
７１、８１、１２１ 畳み込み層
７２、８２、１２２ プーリング層
７３、８３、１２３ 識別層
７４、８４、１２４ 結果
８０ 病変疑い領域画像
９１ インタフェース
９２ 診断用画像と病変疑い領域画像エリア
９３ 選択された病変疑い領域画像
９４ 画像特徴ラベル提示選択エリア
９５ 悪性度正誤情報選択エリア
１００ 画像処理装置

Claims (15)

1. 画像データから検出される病変疑い領域画像を提示する画像処理装置であって、
   前記病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行う画像特徴ラベル学習部と、
   前記画像特徴ラベル学習部の学習により得られる前記画像特徴ラベルの学習パラメータを用いて、前記病変疑い領域画像の画像特徴量を抽出する画像特徴量抽出部と、
   前記病変疑い領域画像を表示する表示部と、
   ユーザ入力部と、
   前記ユーザ入力部からの入力に応じて、前記学習パラメータを更新する画像特徴ラベル学習更新部と、を備える
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像特徴量抽出部は、
   前記画像特徴ラベル学習更新部により更新された前記学習パラメータを用いて、前記病変疑い領域画像の画像特徴量を改めて抽出する、
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記画像特徴量抽出部で抽出される前記画像特徴量を用いて、病変疑い領域の悪性度を推定するための病変疑い領域悪性度学習部と、
   前記病変疑い領域悪性度学習部で得られる病変疑い領域悪性度推定パラメータを用いて、病変疑い領域の悪性度を算出する病変疑い領域悪性度推定部と、
   前記病変疑い領域画像のそれぞれに対する前記ユーザ入力部からの入力に応じて、前記病変疑い領域悪性度推定パラメータを更新する病変疑い領域悪性度学習更新部を備える、
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記病変疑い領域悪性度推定部は、
   前記病変疑い領域悪性度学習更新部より更新された前記病変疑い領域悪性度推定パラメータを用いて、前記病変疑い領域画像に関する病変疑い領域の悪性度を改めて推定する、
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記画像特徴量抽出部は、前記学習パラメータを用いて、前記病変疑い領域画像に関する前記画像特徴ラベルの種類を識別する、
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記画像特徴ラベル学習部は、
   前記病変疑い領域画像に関する、前記ユーザ入力部から新たに追加された画像特徴ラベルに応じて、前記画像特徴ラベルの種類を追加し、前記学習パラメータを更新する、
   ことを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記表示部は、
   前記画像データと前記病変疑い領域画像と、前記病変疑い領域画像に対応する前記画像特徴ラベルの識別結果とを表示し、前記病変疑い領域悪性度の推定スコアに対し、順位付けを行い、悪性度の高い順で前記病変疑い領域画像を並べ替える、
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記表示部は、
   前記画像特徴ラベルの画像と、前記病変疑い領域画像に対応する画像特徴ラベルの識別結果を表示し、前記病変疑い領域画像に対応する画像特徴ラベルの正解をユーザに選択させる、
   ことを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置であって、
   前記表示部は、
   前記病変疑い領域画像に対応する正誤情報をユーザに選択させる、
   ことを特徴とする画像処理装置。
10. 請求項７に記載の画像処理装置であって、
    前記表示部は、
    前記病変疑い領域画像の他、ユーザに新たに病変疑い領域画像を追加させ、それに対応する画像特徴ラベルおよび正誤情報を選択させる、
    ことを特徴とする画像処理装置。
11. 請求項１に記載の画像処理装置であって、
    前記画像特徴ラベル学習部は、
    画像特徴ラベルのクラスのそれぞれに対し、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ネットワークをそれぞれ設定し、
    前記ＣＮＮネットワーク各々を学習させるための学習データの中、正のサンプルデータは前記それぞれの画像特徴ラベルクラスに所属する画像であり、負のサンプルデータはそれ以外の画像特徴ラベルクラスに所属する画像である、
    ことを特徴とする画像処理装置。
12. 表示部と入力部を備え、画像データから検出される病変疑い領域画像を提示する画像処理装置の画像処理方法であって、
    前記画像処理装置は、
    前記病変疑い領域画像に関する画像特徴ラベルを分類するための学習を行い、
    前記学習により得られる前記画像特徴ラベルの学習パラメータを用いて、前記病変疑い領域画像の画像特徴量を抽出し、
    前記病変疑い領域画像を前記表示部に表示し、
    前記ユーザ入力部からの入力に応じて、前記学習パラメータを更新する、
    ことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法であって、
    前記画像処理装置は、
    更新された前記学習パラメータを用いて、前記病変疑い領域画像の画像特徴量を改めて抽出する、
    ことを特徴とする画像処理方法。
14. 請求項１２に記載の画像処理方法であって、
    前記画像処理装置は、
    前記学習パラメータを用いて、前記病変疑い領域画像に関する前記画像特徴ラベルの種類を識別する、
    ことを特徴とする画像処理方法。
15. 請求項１２に記載の画像処理方法であって、
    前記画像処理装置は、
    前記病変疑い領域画像に関する、前記ユーザ入力部から新たに追加された画像特徴ラベルに応じて、前記画像特徴ラベルの種類を追加し、前記学習パラメータを更新する、
    ことを特徴とする画像処理方法。

Images