JP2004174220A

JP2004174220A - Apparatus and method for processing image and recording medium for storing program used for causing computer to execute the method

Info

Publication number: JP2004174220A
Application number: JP2003182674A
Authority: JP
Inventors: Kazuto Sato; 和人佐藤; Hirokazu Madokoro; 洋和間所; Sakura Kadowaki; さくら門脇
Original assignee: Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency
Priority date: 2002-10-01
Filing date: 2003-06-26
Publication date: 2004-06-24

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus etc., that automatically extracts a sliced image of interest required for diagnosis etc., based on an anatomic standard. <P>SOLUTION: The image processing apparatus automatically selects the sliced image of interest which is appropriate for diagnosing encephalatrophy out of a set of cephalic MR images by inputting the T<SB>2</SB>-emphasized horizontal cross sections of the cephalic MR images and catching an anatomic structure as the phase characteristics of the images, and then, recursively self-mapping through SOM processing. The apparatus acquires three output units by performing SOM processing by using the MR images as the input. Then the apparatus produces weight-visualized images corresponding to the acquired output units and calculates the feature quantity of each weight-visualized image. In addition, the apparatus decides a winner unit from the feature quantity and selects the MR image corresponding to the winner unit as a candidate. When the MR image selected as the candidate meets a prescribed condition, the apparatus selects the MR image as the sliced image of interest. When the image does not meet the condition, the apparatus performs a similar processing by again inputting the MR image and performing learning by repeating the self-mapping. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば磁気共鳴映像装置（Magnetic Resonance Imaging device）等の医用画像診断装置に組み込まれる、又は医療用ワークステーション等によって提供される画像処理装置等に関する。
【０００２】
【従来の技術】
医用画像は、被検体についての多くの臨床情報を画像により提供するものであり、疾病の診断、治療や手術計画等を初めとする多くの医療行為において重要な役割を果たしている。医用画像は、医療用画像機器（例えば、超音波診断装置、Ｘ線ＣＴ装置、核医学診断装置、磁気共鳴診断装置等）によって収集されたデータに、当該医療用画像機器に内蔵される、又は医療用ワークステーション等によって実現される画像処理装置により、所定の画像処理を施すことで生成される。
【０００３】
この医用画像を利用した診断では、複数枚の画像の中から、診断部位を含む関心領域（Region of Interest ：以下「ＲＯＩ」と称する。）が好適に現れている画像（以下、「関心スライス画像」と称する。）に注目する。医用画像を利用した脳萎縮の診断を例にとれば、医師は、一般に頭部ＭＲ画像のＴ_２強調水平断を対象とし、側脳室前角が現れる数枚のスライス画像に注目する。関心スライス画像の選択手法は、診断部位によって様々である。例えば、上記脳萎縮を診断する場合では、医師がＭＲ画像上に現れる脳の解剖学的構造を目視で確認しながら、マニュアル操作により、脳萎縮の診断に必要な関心スライス画像を選択している。
【０００４】
しかしながら、脳構造は個人により微妙な差異があり、脳の解剖図譜に基づいて作成された標準脳地図を参照し、関心スライス画像をマニュアル操作にて選択するのは困難である。特に、前頭葉萎縮の程度を定量的に解析するためには、個人の脳構造に合わせて関心スライス画像を選択する必要がある。しかし、従来のマニュアル操作による選択法では、その選択根拠は医師毎に異なるため、客観的な定量的評価を行うことはできない。この事情は、診断部位が脳である場合に限らず、客観的基準に基づく関心スライス画像の選択法が確立されていない診断部位についても同様である。
【０００５】
【発明が解決しようとする課題】
本発明は、上記事情を鑑みてなされたもので、診断等に必要な関心スライス画像を解剖学的基準に基づいて自動抽出する画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のような手段を講じている。
【０００７】
本発明の第１の視点は、被検体の所定部位に関する複数の第１の画像を記憶する記憶手段と、前記複数の第１の画像を入力とし、所定の重み係数によって前記所定部位の解剖学的構造を前記各第１の画像の位相特性として自己写像する自己写像手段であって、前記所定の重み係数を逐次更新して前記自己写像を所定回数繰り返して複数の出力ユニットを取得する自己写像手段と、前記複数の出力ユニットに基づいて、前記複数の第１の画像の中から、診断において注目すべきＲＯＩを含む少なくとも一枚の第２の画像を選択する選択手段とを具備することを特徴とする画像処理装置である。
【０００８】
本発明の第２の視点は、被検体の所定部位に関する複数の第１の画像を入力とし、所定の重み係数によって前記所定部位の解剖学的構造を前記各第１の画像の位相特性として自己写像するステップであって、前記所定の重み係数を逐次更新して前記自己写像を所定回数繰り返して複数の出力ユニットを取得する自己写像ステップと、前記複数の出力ユニットに基づいて、前記複数の第１の画像の中から、診断において注目すべきＲＯＩを含む少なくとも一枚の第２の画像を選択する選択ステップとを具備することを特徴とする画像処理方法である。
【０００９】
本発明の第３の視点は、コンピュータに、被検体の所定部位に関する複数の第１の画像を入力とし、所定の重み係数によって前記所定部位の解剖学的構造を前記各第１の画像の位相特性として自己写像するステップであって、前記所定の重み係数を逐次更新して前記自己写像を所定回数繰り返して複数の出力ユニットを取得する自己写像ステップと、前記複数の出力ユニットに基づいて、前記複数の第１の画像の中から、診断において注目すべきＲＯＩを含む少なくとも一枚の第２の画像を選択する選択ステップとを実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１０】
このような構成によれば、診断等に必要な関心スライス画像を解剖学的基準に基づいて自動抽出する画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体を実現することができる。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【００１２】
本実施形態に係る画像処理装置は、例えば被検体の複数の断層画像から、診断部位等のＲＯＩを好適に観察することができる関心スライス画像を、解剖学的構造情報に基づいて、自動選択するものである。以下においては、説明を具体的にするため、脳萎縮の診断において、所定の被検体に関する頭部ＭＲ画像のＴ_２強調水平断の中から、側脳室前角の観察に好適な関心スライス画像のセットを自動選択する場合を例とする。
【００１３】
しかしながら、本発明の技術的思想は、これに限定されない。例えば、選択対象とする画像は、Ｘ線ＣＴ画像等の他の断層画像でもよく、また、脳以外の診断においても有益であることは、言うまでもない。
【００１４】
図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。同図に示すように、画像処理装置１０は、ＭＲＩデータベース１１、学習フェーズ１３、重み・構造記憶部１５、判断フェーズ１７、分類フェーズ１９、関心スライス候補セット記憶部２１を具備している。
【００１５】
ＭＲＩデータベース１１は、被検体（患者）毎の複数のＭＲ画像を格納している。
【００１６】
学習フェーズ１３は、前処理部１３０、自己学習部１３１を有している。前処理部１３０は、自己学習に入力値として使用する複数のＭＲ画像を粗視化する。ここでは、２×２画素の局所グリッドを用いる。この前処理部１３０による粗視化は一種の圧縮処理であり、処理速度の向上及びノイズ低減の観点から実行される。自己学習部１３１は、粗視化された複数のＭＲ画像を入力値として自己組織化マップ処理を実行し、複数の出力ユニットにマッピングする処理を複数回繰り返し実行することにより、患者の所定部位の位相構造を学習する。この自己学習部１３１によって実行される自己組織化マップについては、後で詳しく説明する。
【００１７】
重み・構造記憶部１５は、自己組織化マップにより得られた位相構造の重み係数分布を格納する。この重み係数分布は、自己組織化マップ処理を行う毎に、後述する式（２）に基づいて逐次更新される。
【００１８】
判断フェーズ１７は、可視化画像生成部１７０、特徴抽出部１７１、勝者ユニット決定部１７２を有している。可視化画像生成部１７０は、重み・構造記憶部１５に格納された情報に基づいて、位相構造の重み係数分布画像を可視化した画像（以下、「重み可視化像」と称する。）を生成する。特徴抽出部１７１は、可視化画像生成部１７０によって生成された重み可視化像における特徴量を抽出する。ここで、特徴量とは、重み可視化像やＭＲ画像において、被検体毎に決定することができる固有の物理量であり、例えば入力としてのＭＲ画像が脳画像である場合には、脳の大きさ、脳中心部の高輝度領域、側脳室前角の形状及びテクスチャー等である。勝者ユニット決定部１７２は、特徴抽出部１７１によって抽出された特徴量に基づいて、勝者ユニットを決定する。
【００１９】
分類フェーズ１９は、関心スライス候補セット選択部１９０、絞り込み判断部１９１を有している。関心スライス候補セット選択部１９０は、学習済み自己組織化マップに粗視化後の画像セットを入力し、勝者ユニットで発火する複数のスライス画像を選択する。以下、この発火する複数のスライス画像を「関心スライス候補セット」と称する。絞り込み判断部１９１は、重み可視化像間の類似度を算出し、この変化に基づいて関心スライス候補の更なる絞り込みを実行するか否かの判断を行う。
【００２０】
関心スライス候補セット記憶部２１は、関心スライス候補セットを一時的に記憶する。絞り込み判断部１９１によって類似しないと判断された場合には、関心スライス候補セット記憶部２１に記憶されている関心スライス候補セットは、再度学習フェーズ１３にフィードバックされ、さらなる絞り込みを受ける。一方、絞り込み判断部１９１によって類似すると判断された場合には、関心スライス候補セット記憶部２１に記憶されている関心スライス候補セットは、関心スライス画像として図示していない表示部等に出力される。
【００２１】
なお、図１においては、ＭＲＩデータベース１１、重み・構造記憶部１５、関心スライス候補セット記憶部２１をそれぞれ個別に表現したが、単一のメモリによって各構成を実現する構成であってもよい。
【００２２】
（自己組織化マップ：Self-Organizing Map）
次に、自己組織化マップ（以下、「ＳＯＭ」と称する。）について説明する。ＳＯＭは、入力データの位相を保存し、トポロジカルなマッピングを行うものであり、その学習過程では、明示的な教師を必要としない。
【００２３】
一般のＳＯＭは、図２（ａ）に示すように、入力ユニットを含む入力層と、出力ユニットを含むマッピング層との二層からなる。典型的なＳＯＭの学習アルゴリズムは、次の様である。
【００２４】
（１）ｗ_ｉｊ（１≦ｉ≦ｎ）を時刻ｔにおける入力ユニットｉから出力ユニットｊへの重み係数とする。ユニットの重み係数を乱数で初期化し、ノードｊの近傍の初期範囲を大きく設定する。
【００２５】
（２）ｘ_ｉ（１≦ｉ≦ｎ）を時刻ｔにおけるノードｉへの入力とする。
【００２６】
（３）入力データと出力ノードｊとのユークリッド距離ｄ_ｊを次の式（１）にて計算する。
【００２７】
【数１】

【００２８】
（４）ユークリッド距離ｄ_ｊが最小となる出力ユニットを検索する。
【００２９】
（５）Ｎ_ｃ（ｔ）で定義される近傍に含まれるユニットへの重み係数を、次の式（２）にて更新する。
ｗ_ｉｊ（ｔ＋１）＝ｗ_ｉｊ（ｔ）＋α（ｔ）（ｘ_ｉ（ｔ）−ｗ_ｉｊ（ｔ））（２）
ここで、α（ｔ）は学習率係数（０＜α＜１）、Ｎ_ｃ（ｔ）は近傍領域のサイズであり、時間とともに減少させる。
【００３０】
（６）上記（２）〜（５）の処理を繰り返す。
【００３１】
本実施形態において実行されるＳＯＭでは、図２（ｂ）に示すように、例えば１２８×１２８画素に粗視化されたＭＲ画像のセットを入力とし、所定の重み係数によって所定部位の解剖学的構造を各ＭＲ画像の位相特性として自己写像する。この自己写像により、入力としての各ＭＲ画像は、ＳＯＭの自己学習により３つの出力ユニットＡ、Ｂ、Ｃのいずれかに写像される。なお、本実施形態において、出力ユニットを３つとするのは、類似度を比較する際に外部から判断基準を必要としない最小の構成が３つであるという理由による。
【００３２】
すなわち、各ＭＲ画像の各画素値ｘ_ｉ（だだし、ｉは１≦ｉ≦１２８×１２８を満たす整数）が入力ユニットに入力されると、式（１）に基づいて、初期設定の重み係数ｗ_ｉｊによってユークリッド距離ｄ_ｊを算出する。なお、今の場合、ｊ＝１が出力ユニットＡに対応、ｊ＝２が出力ユニットＢに対応、ｊ＝３が出力ユニットＣに対応するものとして、ｊは１≦ｊ≦３を満たす整数とする。
【００３３】
入力値は、算出されたユークリッド距離ｄ_１、ｄ_２、ｄ_３のうち、最小のものに対応する出力ユニットが保持する重み係数ｗ_ｉｊに写像される。また、この粗視化されたＭＲ画像のセットに対するＳＯＭ処理は、式（２）によって逐次重み係数を更新しながら、複数回（例えば１００００回）実行される。学習が進むに従って、例えば図４（ａ）に示すように、各ＭＲ画像は、所定の出力ユニットに収束することになる。
【００３４】
次に、上記のように構成した画像処理装置１０の関心スライス画像の選択処理について、図３を参照しながら説明する。
【００３５】
図３は、画像処理装置１０が実行する関心スライス画像の選択処理の流れを示したフローチャートである。図３において、まず、診断対象としての被検体に関するＭＲ画像のセット（ここでは、５６枚のＭＲ画像のセット）がＭＲＩデータベース１１から読み出され、前処理部１３０において粗視化される（ステップＳ１）。この前処理としての粗視化は、処理速度の向上及びノイズの低減を目的とする。ここでは、２×２画素の局所グリットを用いる。すなわち、今の場合ＭＲ画像を２５６×２５６画素とすれば、当該前処理により１２８×１２８画素に粗視化される。
【００３６】
次に、自己学習は、粗視化されたＭＲ画像セットを入力し、既述のＳＯＭ処理によって、式（２）によって重み係数を更新しながら脳構造の位相特性を自己写像する（ステップＳ２）。このＳＯＭ処理は、信頼できる結果が得られるまで複数回、例えば１００００回実行されるものとする（ステップＳ３）。
【００３７】
次に、可視化画像生成部１７０は、１００００回のＳＯＭ処理によって最終的に更新された重み係数ｗ_ｉｊを、得られた各出力ユニットＡ、Ｂ、Ｃ毎に可視化した画像を生成する（ステップＳ４）。すなわち、１００００回のＳＯＭ処理の結果、例えば図４（ａ）に示すように、出力ユニットＡに対応するＭＲ画像として、Ｎｏ．１〜Ｎｏ．１７のＭＲ画像が得られたとする。可視化画像生成部１７０は、重み・構造記憶部１５に格納された情報に基づいて、このＮｏ．１〜Ｎｏ．１７のＭＲ画像のそれぞれに対応する更新された重み係数ｗ_ｉｊが重畳された重み可視化像を生成する。また、出力ユニットＢについてはＮｏ．１８〜Ｎｏ．４４のＭＲ画像により、出力ユニットＣについてはＮｏ．４５〜Ｎｏ．５６のＭＲ画像により、各重み可視化像を生成する。
【００３８】
図５（ａ）は、１００００回のＳＯＭ処理後に得られる重み可視化像の一例を示した図である。各出力ユニットに対応する重み可視化像は、対応するＭＲ画像（例えば出力ユニットＡの場合、Ｎｏ．１〜Ｎｏ．１７のＭＲ画像）の重み情報を全て含むものとなっている。
【００３９】
次に、特徴抽出部１７１は、各出力ユニットに対応する各重み可視化像において、特徴量の算出を行う（ステップＳ５）。ここで、特徴量とは、脳の大きさ、脳中心部の高輝度領域、側脳室前角の形状及びテクスチャー等であり、診断対象に応じて予め決定される。
【００４０】
次に、勝者ユニット決定部１７２は、この算出された特徴量が最も望ましい値を有する出力ユニットを勝者ユニットとして決定する。（ステップＳ６）。なお、図５（ａ）の例では、出力ユニットＢを勝者ユニットとして決定している。
【００４１】
次に、関心スライス画像候補セット選択部１９０は、学習済みのＳＯＭに粗視化されたＭＲ画像セットを入力し、勝者ユニット（今の場合、出力ユニットＢ）で発火するＭＲ画像を選択する（ステップＳ７）。以下、このように勝者ユニットで発火するＭＲ画像のセットを、「関心スライス候補セット」と称する。
【００４２】
次に、絞り込み判断部１９１は、重み可視化像間の類似度を計算し（ステップＳ８）、当該類似度を比較しその変化に基づいて各重み可視化像が類似するか否かの判断を行う（ステップＳ９）。絞り込み判断部１９１によって類似すると判断された場合には、関心スライス画像候補セットは、関心スライス画像のセットとして表示部等に出力される（ステップＳ１０）。一方、絞り込み判断部１９１によって類似しないと判断された場合には、関心スライス候補セットは、再度ステップＳ２に移行し、当該ステップＳ２〜ステップＳ８までの処理を繰り返すことで、さらなる絞り込みを受ける。
【００４３】
図４（ｂ）、及び図５（ｂ）、（ｃ）は、ステップＳ２〜ステップＳ８までの処理を繰り返しによって実行される関心スライス候補セットの絞り込みを説明するための図である。図４（ｂ）において、ＳＯＭによる１００００回の学習に基づいて、Ｎｏ．１８〜Ｎｏ．４４までの画像が関心スライス候補セットとして選択されたとする。これに対し、絞り込み判断部１９１がステップＳ９において類似しないと判断された場合には、このＮｏ．１８〜Ｎｏ．４４までの画像を入力として、再度ＳＯＭによる１００００回の学習を実行し、例えば出力ユニットＢを勝者ユニットとして決定する（図４（ｂ）、図５（ｂ）参照）。この出力ユニットＢで発火する画像、例えばＮｏ．２４〜Ｎｏ．３８までの画像が関心スライス候補セットとして選択される（図５（ｂ））。この絞り込みは、関心スライス候補セットを構成する各関心スライス画像が、診断部位を含むものとなるまで（今の例であれば、例えば側脳室前角を含むまで）繰り返される（図４（ｂ）、図５（ｃ））。
【００４４】
なお、ステップＳ８における類似度計算は、画像全体（すなわち、全ての画素）を対象としてもよいが、効率化の観点から、例えば特定の領域のみを対象とする構成であってもよい。
【００４５】
また、ステップＳ９における類似度に基づく判断には、大きく二つの手法がある。一つは、外部情報として閾値を設け、これとの大小関係にて判断するものである。もう一つは、類似度の変化の履歴を取得し、その変化の度合いによって内部処理的に判断するものである。すなわち、重み可視化像間の類似度を比較し繰り返し処理実行する。
【００４６】
本実施形態では、いずれの手法によって判断してもよいが、関心スライス画像の選択に客観性を持たせる観点からすれば、内部処理的な判断を採用することが好ましい。
【００４７】
以上述べた構成によれば、以下の効果を得ることができる。
【００４８】
本画像処理装置では、複数のＭＲ画像を入力としてＳＯＭ処理を行い、その学習結果に基づいて関心スライス画像のセットを選択する。従って、医師等の操作者主観に頼ることなく自動的に関心スライス画像のセットを迅速且つ簡便に選択することができ、より客観性の高い診断を実現させることができる。
【００４９】
本画像処理装置は、複数の画像を入力としてＳＯＭ処理を行うことで、解剖学的構造の位相変化を抽出し、これに基づいて関心スライス画像のセットを選択するものである。従って、入力する医用画像に限定はなく、どのような医用画像であっても、高い客観性にて自動的に関心スライス画像のセットを選択することができる。
【００５０】
本画像処理装置は、入力する各医用画像に含まれる画像空間上の位相特性を自己写像することができる。従って、例えば磁気共鳴診断装置の撮影パラメータ（Ｔ_１、Ｔ_２、ＰＤ等）、スライス幅、撮像枚数等に関係なく、入力する各医用画像を、解剖学的構造の位相特性に基づいて分類することができる。
【００５１】
本画像処理装置によれば、例えば臨床現場で撮像される頭部ＭＲ画像の個々の画像特性（解剖学的構造の位相変化）のみを用いて、脳萎縮の定量的診断に必要な関心スライス画像を自動的に選択することができる。従って、加齢に伴う脳萎縮の定量的解析及び脳の健康年齢を推定するための基盤を提供することができる。このような基盤を提供することは、高齢化が急速に進む中、高齢者が健康で生き生きと生活するための健康管理に関する自己予防意識及び動機付けに寄与するものである。
【００５２】
以上、本発明を実施形態に基づき説明したが、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変形例及び修正例についても本発明の範囲に属するものと了解される。例えば、本実施形態で説明した画像処理方法は、当該方法をコンピュータに実行させるプログラムによって、パーソナルコンピュータやワークステーション等によっても実現することができる。この場合、コンピュータに当該方法を実行させることのできるプログラムは、磁気ディスク（フロッピーディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することができる。
【００５３】
さらに、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５４】
【発明の効果】
以上本発明によれば、診断等に必要な関心スライス画像を解剖学的基準に基づいて自動抽出する画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体を実現できる。
【図面の簡単な説明】
【図１】図１は、本実施形態に係る画像処理装置１０のブロック構成図を示している。
【図２】図２（ａ）、（ｂ）は、ＳＯＭの概念を説明するための図である。
【図３】図３は、画像処理装置１０が実行する関心スライス画像の選択処理の流れを示したフローチャートである。
【図４】図４（ａ）は、ＳＯＭ処理を説明するための図である。図４（ｂ）は、関心スライス画像選択処理における絞り込みを説明するための図である。
【図５】図５は、関心スライス画像選択処理における絞り込みを説明するための図である。
【符号の説明】
１０…画像処理装置
１１…ＭＲＩデータベース
１３…学習フェーズ
１５…重み・構造記憶部
１７…判断フェーズ
１９…分類フェーズ
２１…関心スライスセット候補記憶部
１３０…前処理部
１３１…自己学習部
１７０…可視化画像生成部
１７１…特徴抽出部
１７２…勝者ユニット決定部
１９０…関心スライスセット候補選択部
１９１…絞り込み判断部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device incorporated in a medical image diagnostic device such as a magnetic resonance imaging device, or provided by a medical workstation or the like.
[0002]
[Prior art]
Medical images provide a great deal of clinical information about a subject in the form of images, and play an important role in many medical activities such as disease diagnosis, treatment and surgical planning. The medical image is embedded in the medical imaging device in data collected by a medical imaging device (for example, an ultrasound diagnostic device, an X-ray CT device, a nuclear medicine diagnostic device, a magnetic resonance diagnostic device, or the like), or It is generated by performing predetermined image processing by an image processing device realized by a medical workstation or the like.
[0003]
In the diagnosis using the medical image, an image in which a region of interest (Region of Interest: hereinafter referred to as “ROI”) including a diagnostic region suitably appears from a plurality of images (hereinafter, “interest slice image”) "). Taking the diagnosis of brain atrophy using medical images as an example, the physician generally directed to T ₂ enhancement horizontal cross-sectional of the head MR image, focusing on the several sheets of slice images lateral ventricles anterior horn appears. There are various methods for selecting a slice image of interest depending on the diagnosis site. For example, in the case of diagnosing the above-mentioned brain atrophy, a doctor selects a slice image of interest necessary for the diagnosis of brain atrophy by manual operation while visually checking the anatomical structure of the brain appearing on the MR image. .
[0004]
However, there are subtle differences in brain structure among individuals, and it is difficult to manually select a slice image of interest by referring to a standard brain map created based on the anatomical chart of the brain. In particular, in order to quantitatively analyze the degree of frontal lobe atrophy, it is necessary to select a slice image of interest according to the brain structure of an individual. However, in the conventional selection method by manual operation, since the basis for the selection differs for each doctor, an objective quantitative evaluation cannot be performed. This situation is not limited to the case where the diagnosis site is the brain, but also applies to the diagnosis site where the method of selecting the slice image of interest based on the objective criterion has not been established.
[0005]
[Problems to be solved by the invention]
The present invention has been made in view of the above circumstances, and has an image processing apparatus and an image processing method for automatically extracting a slice image of interest necessary for diagnosis or the like based on an anatomical standard, and causes a computer to execute the image processing. It is intended to provide a recording medium for storing a program.
[0006]
[Means for Solving the Problems]
The present invention employs the following means to achieve the above object.
[0007]
According to a first aspect of the present invention, there is provided a storage unit configured to store a plurality of first images related to a predetermined part of a subject, and the anatomy of the predetermined part is input using a predetermined weighting factor based on the plurality of first images. Self-mapping means for self-mapping a dynamic structure as a phase characteristic of each of the first images, and sequentially updating the predetermined weighting coefficient and repeating the self-mapping a predetermined number of times to obtain a plurality of output units. Means, and selecting means for selecting at least one second image including a ROI to be noticed in diagnosis from the plurality of first images based on the plurality of output units. It is an image processing apparatus characterized by the following.
[0008]
According to a second aspect of the present invention, a plurality of first images related to a predetermined part of a subject are input, and an anatomical structure of the predetermined part is determined as a phase characteristic of each first image by a predetermined weighting factor. Self-mapping step of sequentially updating the predetermined weighting coefficient and repeating the self-mapping a predetermined number of times to obtain a plurality of output units, based on the plurality of output units, A selecting step of selecting at least one second image including an ROI to be noticed in diagnosis from one image.
[0009]
According to a third aspect of the present invention, a plurality of first images relating to a predetermined part of the subject are input to a computer, and the anatomical structure of the predetermined part is phased by using a predetermined weighting factor. Self-mapping as a characteristic, self-mapping step of sequentially updating the predetermined weighting coefficient and repeating the self-mapping a predetermined number of times to obtain a plurality of output units, based on the plurality of output units, A selecting step of selecting at least one second image including an ROI to be noticed in diagnosis from among the plurality of first images, and a computer-readable recording medium storing an image processing program for executing the selecting step. is there.
[0010]
According to such a configuration, an image processing apparatus and an image processing method for automatically extracting a slice image of interest necessary for diagnosis or the like based on an anatomical reference, and a recording medium storing a program for causing a computer to execute the image processing Can be realized.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, components having substantially the same functions and configurations are denoted by the same reference numerals, and repeated description will be made only when necessary.
[0012]
The image processing apparatus according to the present embodiment automatically selects, for example, a slice image of interest from which a plurality of tomographic images of a subject can be suitably observed for an ROI of a diagnostic region or the like based on anatomical structure information. Things. In the following, to give a specific description, in the diagnosis of brain atrophy, given from the T ₂ enhancement horizontal cross-sectional of the head MR image related to the subject, a suitable interest slice images to observe the lateral ventricle anterior horn An example in which the set is automatically selected.
[0013]
However, the technical idea of the present invention is not limited to this. For example, the image to be selected may be another tomographic image such as an X-ray CT image, and it is needless to say that the image is useful for diagnosis other than the brain.
[0014]
FIG. 1 is a block diagram of an image processing apparatus 10 according to the present embodiment. As shown in FIG. 1, the image processing apparatus 10 includes an MRI database 11, a learning phase 13, a weight / structure storage unit 15, a determination phase 17, a classification phase 19, and an interested slice candidate set storage unit 21.
[0015]
The MRI database 11 stores a plurality of MR images for each subject (patient).
[0016]
The learning phase 13 includes a pre-processing unit 130 and a self-learning unit 131. The preprocessing unit 130 coarsely coarsens a plurality of MR images used as input values for self-learning. Here, a local grid of 2 × 2 pixels is used. The coarse-graining performed by the pre-processing unit 130 is a kind of compression processing, and is performed from the viewpoint of improving processing speed and reducing noise. The self-learning unit 131 performs a self-organizing map process using a plurality of coarse-grained MR images as input values, and repeatedly performs a process of mapping to a plurality of output units a plurality of times to thereby obtain a predetermined region of a patient. Learn the topological structure. The self-organizing map executed by the self-learning unit 131 will be described later in detail.
[0017]
The weight / structure storage unit 15 stores the weight coefficient distribution of the phase structure obtained from the self-organizing map. Each time the self-organizing map process is performed, the weight coefficient distribution is sequentially updated based on Expression (2) described later.
[0018]
The determination phase 17 includes a visualized image generation unit 170, a feature extraction unit 171, and a winner unit determination unit 172. The visualized image generation unit 170 generates an image (hereinafter, referred to as a “weight visualized image”) in which the weighted coefficient distribution image of the phase structure is visualized based on the information stored in the weight / structure storage unit 15. The feature extracting unit 171 extracts a feature amount in the weighted visualized image generated by the visualized image generating unit 170. Here, the feature amount is a unique physical amount that can be determined for each subject in a weight visualization image or an MR image. For example, when the MR image as an input is a brain image, the size of the brain , A high brightness area in the central part of the brain, the shape and texture of the anterior horn of the lateral ventricle. The winner unit determination unit 172 determines a winner unit based on the feature amount extracted by the feature extraction unit 171.
[0019]
The classification phase 19 includes an interest slice candidate set selection unit 190 and a narrowing-down determination unit 191. The interested slice candidate set selection unit 190 inputs the coarse-grained image set to the learned self-organizing map, and selects a plurality of slice images to be fired by the winner unit. Hereinafter, the plurality of firing slice images will be referred to as “interesting slice candidate set”. The refinement determination unit 191 calculates the degree of similarity between the weighted visualized images, and determines whether to further refine the interest slice candidates based on this change.
[0020]
The interested slice candidate set storage unit 21 temporarily stores the interested slice candidate set. If the narrowing-down judging unit 191 determines that they are not similar, the interest slice candidate set stored in the interest slice candidate set storage unit 21 is fed back to the learning phase 13 again, and is further narrowed down. On the other hand, when the narrowing-down determination unit 191 determines that the images are similar, the interest slice candidate set stored in the interest slice candidate set storage unit 21 is output to a display unit (not shown) or the like as a slice image of interest.
[0021]
In FIG. 1, the MRI database 11, the weight / structure storage unit 15, and the interested slice candidate set storage unit 21 are individually represented, but a configuration in which each configuration is realized by a single memory may be used.
[0022]
(Self-Organizing Map)
Next, a self-organizing map (hereinafter, referred to as “SOM”) will be described. SOM preserves the phase of input data and performs topological mapping, and does not require an explicit teacher in the learning process.
[0023]
As shown in FIG. 2A, a general SOM has two layers: an input layer including an input unit, and a mapping layer including an output unit. A typical SOM learning algorithm is as follows.
[0024]
(1) Let w _ij (1 ≦ i ≦ n) be the weighting factor from input unit i to output unit j at time t. The weight coefficient of the unit is initialized with random numbers, and the initial range near node j is set large.
[0025]
(2) Let x _i (1 ≦ i ≦ n) be the input to node i at time t.
[0026]
(3) the Euclidean distance d _j between the input data and the output node j is calculated by the following formula (1).
[0027]
(Equation 1)

[0028]
(4) the Euclidean distance d _j searches the output unit to be minimized.
[0029]
(5) The weight coefficient for the unit included in the neighborhood defined by N _c (t) is updated by the following equation (2).
w _ij (t + 1) = w _ij (t) + α (t) (x _i (t) −w _ij (t)) (2)
Here, α (t) is the learning rate coefficient (0 <α <1), and N _c (t) is the size of the neighborhood area, and decreases with time.
[0030]
(6) The above processes (2) to (5) are repeated.
[0031]
In the SOM executed in the present embodiment, as shown in FIG. 2B, a set of MR images coarse-grained to, for example, 128 × 128 pixels is input, and an anatomical image of a predetermined part is determined by a predetermined weighting coefficient. The structure is self-mapped as a phase characteristic of each MR image. By this self-mapping, each MR image as an input is mapped to one of the three output units A, B and C by self-learning of the SOM. In the present embodiment, the reason why the number of output units is three is that there are three minimum configurations that do not require an external criterion when comparing similarities.
[0032]
That is, when each pixel value x _i (where i is an integer satisfying 1 ≦ i ≦ 128 × 128) of each MR image is input to the input unit, the weight coefficient of the initial setting is calculated based on the equation (1). The Euclidean distance _dj is calculated by w _ij . In this case, j = 1 corresponds to the output unit A, j = 2 corresponds to the output unit B, j = 3 corresponds to the output unit C, and j is an integer satisfying 1 ≦ j ≦ 3. I do.
[0033]
The input value is mapped to the weight coefficient w _ij held by the output unit corresponding to the smallest one of the calculated Euclidean distances d ₁ , d ₂ , and d ₃ . The SOM processing on the set of the coarse-grained MR images is executed a plurality of times (for example, 10,000 times) while sequentially updating the weighting coefficient by Expression (2). As the learning progresses, each MR image converges to a predetermined output unit, for example, as shown in FIG.
[0034]
Next, a process of selecting a slice image of interest of the image processing apparatus 10 configured as described above will be described with reference to FIG.
[0035]
FIG. 3 is a flowchart illustrating a flow of the process of selecting a slice image of interest performed by the image processing apparatus 10. In FIG. 3, first, a set of MR images (here, a set of 56 MR images) of a subject as a diagnosis target is read from the MRI database 11 and coarse-grained in the preprocessing unit 130 (step). S1). The coarse-graining as the pre-processing aims at improving the processing speed and reducing noise. Here, a local grid of 2 × 2 pixels is used. In other words, in this case, if the MR image is 256 × 256 pixels, the preprocessing is coarsely grained to 128 × 128 pixels.
[0036]
Next, in the self-learning, a coarse-grained MR image set is input, and the phase characteristics of the brain structure are self-mapped by the above-described SOM processing while updating the weighting coefficient by the equation (2) (step S2). . This SOM processing is performed a plurality of times, for example, 10,000 times, until a reliable result is obtained (step S3).
[0037]
Next, the visualized image generation unit 170 generates an image in which the weight coefficient w _ij finally updated by the 10,000 SOM processes is visualized for each of the obtained output units A, B, and C (step S4). ). That is, as a result of the SOM processing of 10,000 times, for example, as shown in FIG. 1 to No. It is assumed that 17 MR images have been obtained. Based on the information stored in the weight / structure storage unit 15, the visualized image generation unit 170 1 to No. A weight visualized image on which the updated weight coefficient w _ij corresponding to each of the 17 MR images is superimposed is generated. For the output unit B, No. 18-No. According to the MR image of No. 44, the output unit C is No. 45-No. Each weight visualization image is generated from 56 MR images.
[0038]
FIG. 5A is a diagram illustrating an example of a weight visualization image obtained after 10,000 SOM processes. The weight visualization image corresponding to each output unit includes all the weight information of the corresponding MR image (for example, in the case of the output unit A, the MR images No. 1 to No. 17).
[0039]
Next, the feature extracting unit 171 calculates a feature amount in each weight visualized image corresponding to each output unit (step S5). Here, the feature amount is the size of the brain, a high-brightness region in the central part of the brain, the shape and texture of the anterior horn of the lateral ventricle, and is determined in advance depending on the diagnosis target.
[0040]
Next, the winner unit determination unit 172 determines an output unit whose calculated feature amount has the most desirable value as a winner unit. (Step S6). In the example of FIG. 5A, the output unit B is determined as a winner unit.
[0041]
Next, the interest slice image candidate set selection unit 190 inputs the MR image set coarse-grained to the learned SOM, and selects an MR image to be fired by the winner unit (the output unit B in this case) ( Step S7). Hereinafter, such a set of MR images fired by the winner unit will be referred to as an “interest slice candidate set”.
[0042]
Next, the narrow-down determination unit 191 calculates the similarity between the weight visualized images (step S8), compares the similarities, and determines whether or not each weight visualized image is similar based on the change (step S8). Step S9). When the narrowing-down determination unit 191 determines that they are similar, the interest slice image candidate set is output to the display unit or the like as a set of interest slice images (step S10). On the other hand, when the narrowing-down determination unit 191 determines that they are not similar, the interested slice candidate set shifts to step S2 again, and is further narrowed down by repeating the processing from step S2 to step S8.
[0043]
FIGS. 4B, 5B, and 5C are diagrams for explaining the narrowing down of the set of interest slice candidates, which is performed by repeatedly performing the processing from step S2 to step S8. In FIG. 4B, based on the 10,000 times of learning by SOM, No. 18-No. It is assumed that up to 44 images have been selected as a candidate slice set of interest. On the other hand, if the narrowing-down determination unit 191 determines that there is no similarity in step S9, this No. 18-No. With the input of up to 44 images, learning is performed again 10,000 times by SOM, and for example, the output unit B is determined as the winner unit (see FIGS. 4B and 5B). An image which is fired by the output unit B, for example, 24-No. Up to 38 images are selected as a candidate slice set of interest (FIG. 5B). This narrowing down is repeated until each slice image of interest constituting the candidate slice set of interest includes a diagnostic region (in this example, for example, includes the anterior horn of the lateral ventricle) (FIG. 4B ), FIG. 5 (c)).
[0044]
The similarity calculation in step S8 may be performed on the entire image (that is, all pixels), but may be performed on only a specific region, for example, from the viewpoint of efficiency.
[0045]
There are roughly two methods for determining based on the similarity in step S9. One is to provide a threshold value as external information and make a judgment based on the magnitude relationship with the threshold value. The other is to acquire a history of a change in similarity and make an internal process determination based on the degree of the change. That is, the similarity between the weight visualized images is compared, and the processing is repeatedly performed.
[0046]
In the present embodiment, the determination may be made by any method. However, from the viewpoint of giving the objectivity to the selection of the slice image of interest, it is preferable to employ internal processing.
[0047]
According to the configuration described above, the following effects can be obtained.
[0048]
In this image processing apparatus, SOM processing is performed with a plurality of MR images as inputs, and a set of slice images of interest is selected based on the learning result. Therefore, a set of slice images of interest can be automatically and quickly selected without relying on the subjectivity of an operator such as a doctor, and a more objective diagnosis can be realized.
[0049]
The image processing apparatus extracts a phase change of an anatomical structure by performing a SOM process using a plurality of images as input, and selects a set of slice images of interest based on the phase change. Therefore, the input medical image is not limited, and a set of slice images of interest can be automatically selected with high objectivity regardless of the type of medical image.
[0050]
The image processing apparatus can self-map a phase characteristic in an image space included in each input medical image. Therefore, for example, regardless of the imaging parameters (T ₁ , T ₂ , PD, etc.) of the magnetic resonance diagnostic apparatus, the slice width, the number of captured images, and the like, each input medical image is classified based on the phase characteristics of the anatomical structure. be able to.
[0051]
According to the image processing apparatus, for example, a slice image of interest required for quantitative diagnosis of brain atrophy using only individual image characteristics (phase change of anatomical structure) of a head MR image captured at a clinical site Can be automatically selected. Therefore, it is possible to provide a basis for quantitative analysis of cerebral atrophy with aging and estimating the healthy age of the brain. Providing such a base contributes to self-prevention awareness and motivation for health management for the elderly to live healthy and lively as the population ages rapidly.
[0052]
As described above, the present invention has been described based on the embodiments. However, in the scope of the concept of the present invention, those skilled in the art can come up with various modified examples and modified examples. It is understood that it belongs to the scope of the present invention. For example, the image processing method described in the present embodiment can also be realized by a personal computer, a workstation, or the like by a program that causes a computer to execute the method. In this case, the program that can cause the computer to execute the method can be stored in a recording medium such as a magnetic disk (floppy disk, hard disk, and the like), an optical disk (CD-ROM, DVD, and the like), a semiconductor memory, and distributed. it can.
[0053]
Further, each embodiment may be implemented in combination as appropriate as much as possible, in which case the combined effect is obtained. Further, the embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some components are deleted from all the components shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effects described in the column of the effect of the invention can be solved. When at least one of the above is obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.
[0054]
【The invention's effect】
According to the present invention, an image processing apparatus, an image processing method, and a recording medium for storing a program for causing a computer to execute the image processing are provided. realizable.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an image processing apparatus 10 according to an embodiment.
FIGS. 2A and 2B are diagrams for explaining the concept of SOM.
FIG. 3 is a flowchart illustrating a flow of a process of selecting a slice image of interest performed by the image processing apparatus 10;
FIG. 4A is a diagram for explaining SOM processing. FIG. 4B is a diagram for describing narrowing down in the slice of interest image selection processing.
FIG. 5 is a diagram for explaining narrowing down in a slice image of interest selection process;
[Explanation of symbols]
Reference Signs List 10 image processing device 11 MRI database 13 learning phase 15 weight / structure storage unit 17 determination phase 19 classification phase 21 interest slice set candidate storage unit 130 preprocessing unit 131 self-learning unit 170 visualized image Generating unit 171 Feature extracting unit 172 Winner unit determining unit 190 Interest slice set candidate selecting unit 191 Narrowing down determining unit

Claims

Storage means for storing a plurality of first images related to a predetermined part of the subject;
Self-mapping means for inputting the plurality of first images and self-mapping an anatomical structure of the predetermined site as a phase characteristic of each of the first images by a predetermined weighting factor; Self-mapping means to sequentially update the self-mapping a predetermined number of times to obtain a plurality of output units,
Selecting means for selecting, from the plurality of first images, at least one second image including a region of interest to be noted in diagnosis based on the plurality of output units;
An image processing apparatus comprising:

The image processing apparatus according to claim 1, wherein the plurality of output units are three output units.

A third image generation unit configured to generate, for each of the output units, a third image obtained by imaging the predetermined weight coefficient corresponding to each of the plurality of output units;
Feature value calculating means for calculating a feature value in each of the third images;
A winner unit is determined from the plurality of output units based on each of the feature amounts, and among the plurality of first images, at least one image corresponding to the winner unit in the self-mapping is set as a candidate image. Candidate image determining means for performing
A similarity determination unit configured to determine whether or not the third image corresponding to the winner unit and other third images are similar,
When the similarity determination unit determines that the images are similar, the candidate image determination unit sets the candidate image as the second image, and when the similarity determination unit determines that they are not similar, the self-mapping unit determines Re-executing the self-mapping with at least one candidate image corresponding to the winner unit as an input,
The image processing apparatus according to claim 1, wherein:

In a case where the self-mapping is executed again using at least one of the second images corresponding to the winner unit as an input, the similarity determination unit calculates a similarity between the third images, and calculates the similarity. The image processing apparatus according to claim 3, wherein the determination is performed based on a change in degree.

The method according to claim 1, wherein the first image is one of a magnetic resonance image, an X-ray CT image, an ultrasonic tomographic image, and a nuclear medicine tomographic image. Image processing device.

Coarse-graining means for coarse-graining each of the plurality of first images, further comprising:
The self-mapping unit executes the self-mapping by using the plurality of first images coarse-grained as input,
The image processing apparatus according to claim 1, wherein:

Inputting a plurality of first images relating to a predetermined part of the subject and self-mapping an anatomical structure of the predetermined part as a phase characteristic of each of the first images using a predetermined weighting factor; A self-mapping step of sequentially updating the weighting coefficient of and repeating the self-mapping a predetermined number of times to obtain a plurality of output units,
A selecting step of selecting at least one second image including a region of interest to be noted in diagnosis from the plurality of first images based on the plurality of output units;
An image processing method comprising:

The image processing method according to claim 7, wherein the plurality of output units are three output units.

A third image generation step of generating, for each of the output units, a third image obtained by imaging the predetermined weighting factor corresponding to each of the plurality of output units;
A feature value calculating step of calculating a feature value in each of the third images;
A winner unit is determined from the plurality of output units based on each of the feature amounts, and among the plurality of first images, at least one image corresponding to the winner unit in the self-mapping is set as a candidate image. Candidate image determination step to be performed,
A similarity determining step of determining whether or not the third image corresponding to the winner unit is similar to another third image;
A re-execution step of re-executing the self-mapping with the candidate image as an input,
Has,
If it is determined in the similarity determination step that the images are similar, the candidate image is determined to be the second image in the candidate image determination step, and if it is determined that the images are not similar in the similarity determination step, the execution step is performed again. To do,
9. The image processing method according to claim 7, wherein:

When the self-mapping is executed again with at least one second image corresponding to the winner unit as an input, in the similarity determination, a similarity between the third images is calculated, and the similarity is calculated. The image processing method according to claim 9, wherein the determination is performed based on a change in degree.

The said 1st image is any one of a magnetic resonance image, an X-ray CT image, an ultrasonic tomographic image, and a nuclear medicine tomographic image, The Claims any one of Claims 7-10 characterized by the above-mentioned. Image processing method.

A coarse-graining step of coarse-graining each of the plurality of first images;
In the self-mapping step, the self-mapping is performed by using the plurality of coarse-grained first images as input.
The image processing method according to claim 7, wherein:

On the computer,
Inputting a plurality of first images relating to a predetermined part of the subject and self-mapping an anatomical structure of the predetermined part as a phase characteristic of each of the first images using a predetermined weighting factor; A self-mapping step of sequentially updating the weighting coefficient of and repeating the self-mapping a predetermined number of times to obtain a plurality of output units,
A selecting step of selecting at least one second image including a region of interest to be noted in diagnosis from the plurality of first images based on the plurality of output units;
And a computer-readable recording medium storing an image processing program for executing the program.

14. The computer-readable recording medium according to claim 13, wherein the plurality of output units are three output units.

A third image generation step of generating, for each of the output units, a third image obtained by imaging the predetermined weighting factor corresponding to each of the plurality of output units;
A feature value calculating step of calculating a feature value in each of the third images;
A winner unit is determined from the plurality of output units based on each of the feature amounts, and among the plurality of first images, at least one image corresponding to the winner unit in the self-mapping is set as a candidate image. Candidate image determination step to be performed,
A similarity determining step of determining whether or not the third image corresponding to the winner unit is similar to another third image;
A re-execution step of re-executing the self-mapping with the candidate image as an input,
Has,
If it is determined in the similarity determination step that the images are similar, the candidate image is determined to be the second image in the candidate image determination step, and if it is determined that the images are not similar in the similarity determination step, the execution step is performed again. To do,
The computer-readable recording medium according to claim 13, wherein:

When the self-mapping is executed again with at least one second image corresponding to the winner unit as an input, in the similarity determination, a similarity between the third images is calculated, and the similarity is calculated. The computer-readable recording medium according to claim 15, wherein the determination is performed based on a change in degree.

17. The device according to claim 13, wherein the first image is any one of a magnetic resonance image, an X-ray CT image, an ultrasonic tomographic image, and a nuclear medicine tomographic image. Computer readable recording medium.

A coarse-graining step of coarse-graining each of the plurality of first images;
In the self-mapping step, the self-mapping is performed by using the plurality of coarse-grained first images as input.
The computer-readable recording medium according to any one of claims 13 to 17, wherein: