JP2013013744A

JP2013013744A - 画像処理装置及び画像処理方法

Info

Publication number: JP2013013744A
Application number: JP2012188075A
Authority: JP
Inventors: Osamu Tsujii; 修辻井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-08-28
Filing date: 2012-08-28
Publication date: 2013-01-24
Anticipated expiration: 2023-05-27
Also published as: JP5465291B2

Abstract

【課題】診断情報に基づいて画像にレンダリング処理を施す際のパラメータを決定し、このパラメータから病変部位を含む画像又は画像群を作成できる画像処理処理装置及び画像処理方法の提供。
【解決手段】画像処理装置は、撮影された複数の医療用画像を入力する画像入力部と、入力された前記医療用画像に関する診断情報を入力する情報入力部と、入力された前記医療用画像に対してレンダリング処理を施すレンダリング部と、前記レンダリング処理を実行する際のパラメータを前記診断情報に基づいて決定するパラメータ決定部とを具備する。
【選択図】図３

Description

本発明は、例えば、医療分野においてＣＴやＭＲＩにより撮影された被写体の画像を処理する画像処理装置及び画像処理方法に関し、特に、ＣＴやＭＲＩの診断レポートに添付されるキー（ＫＥＹ）画像として３次元画像を用いるレポーティングシステム及びレポーティング方法に関するものである。

スパイラルＣＴ、マルチスライスＣＴの使用、或いは高速のＭＲＩの開発により、一度の撮影で３００枚以上の画像が瞬時に生成されるようになった。

また、放射線医などの医師（診断医）は、これらの画像を診断する際には、高速のコンピュータ環境を使用して、複数の断面画像を高速に切り替えて表示することにより診断を行っている。

そして、診断医からの診断レポートには、依頼医（内科医など）が参照するキー画像、或いはスキーマ（器官と病変の関係を示すスケッチ）が添付される。

上記診断レポートには、キー画像として３００枚以上の全ての画像を添付することも可能であるが、この場合はネットワーク或いはコンピュータに大きな負荷がかかって高速の表示が行えない場合がある。

そこで、重要な画像を選別することが考えられるが、３００枚以上の画像からキー画像を選別することは依頼医にとっては苦痛であり、簡便な方法として３分の１程度に一定間隔で単純間引きすることも行われている。しかし、このような単純間引きでは診断に重要な画像も単純に間引いてしまう可能性があり、依頼医の理解を妨げる場合があった。

本発明は、上記課題に鑑みてなされ、その目的は、診断情報に基づいて画像にレンダリング処理を施す際のパラメータを決定し、このパラメータから病変部位を含む画像又は画像群を作成できる画像処理処理装置及び画像処理方法を提供することにある。

もう１つの目的は、上記画像処理により選択された画像、又は上記画像処理によりレンダリング処理された画像を診断情報に添付して診断レポートとして出力できるレポーティングシステム及びレポーティング方法を提供することにある。

上述の課題を解決し、目的を達成するために、本発明の画像処理装置は、撮影された複数の医療用画像を入力する画像入力部と、入力された前記医療用画像に関する診断情報を入力する情報入力部と、入力された前記医療用画像に対してレンダリング処理を施すレンダリング部と、前記レンダリング処理を実行する際のパラメータを前記診断情報に基づいて決定するパラメータ決定部とを具備する。

以上のように、本発明によれば、診断情報に基づいて画像にレンダリング処理を施す際のパラメータを決定し、このパラメータから病変部位を含む画像又は画像群を作成できる。

また、上記画像処理により選択された画像、又は上記画像処理によりレンダリング処理された画像を診断情報に添付して診断レポートとして出力できるレポーティングシステム及びレポーティング方法を構築できる。

本発明に係る第１実施形態の画像処理装置を構成する機能ブロックを概略的に示す図。第１実施形態の画像処理を示すフローチャート。本発明に係る第２実施形態の画像処理装置を構成する機能ブロックを概略的に示す図。第２実施形態の画像処理を示すフローチャート。

以下、添付図面を参照しながら本発明の好適な実施の形態について説明する。

［第１実施形態］
図１は本発明に係る第１実施形態の画像処理装置を構成する機能ブロックを概略的に示し、画像検索部４は診断情報に基づいて画像入力部１から入力された全ての撮影画像データ中から出力対象となる病変領域を検索し、当該病変領域に対応する撮影画像或いは撮影画像群をキー画像として画像出力部６から出力する。

ここで、上記画像入力部１は、ＣＴやＭＲＩなどの医療用画像撮影装置と考えてもよいし、それらの装置からネットワークを介して入力される画像入力インタフェース及びそれに付随する記憶装置となる場合もある。

診断情報入力部２は、医師（放射線医など）による撮影画像データを用いた診断結果が診断情報（以下、診断レポートともいう）として入力される。この診断レポートは、例えばテキスト情報や音声情報の形式で入力される。尚、診断結果は不図示の表示装置に出力される。また、上記医師による診断の他、コンピュータを用いた診断結果や撮影フィルムを用いた直接的な診断結果なども適用できる。

上記診断情報入力部２から入力された診断情報は、診断情報解析部３でキーワード検索が行われる。このキーワード検索は、解剖学的な用語と病理学的な用語が関連を持って抽出される。

上記解剖学的用語としては右前頭葉、左肺、肝臓など、病理学的用語は腫溜、塞栓、結節など、および病気の進行度に関するステージI、II、IIIなどが上げられる。

また、上記診断情報入力部２においてキーワードを入力することができ、この場合は、診断情報解析部３におけるキーワード入力は必要なくなる。

パラメータ決定部５では、入力されたキーワードをもとに画像検索部４で用いられるパラメータを算出する。

上記パラメータとしては、解剖学的な閾値となるＣＴ値、ＭＲＩ値の範囲、病変を指定するＣＴ値、ＭＲＩ値の範囲、及びスライス位置などがある。これらの初期値は、病気の進行度も考慮して経験的に予め決められたテーブルから選択されるが、個体によってばらつきがある。

このばらつきを補正（適正化）するために、選択されたパラメータを入力された画像に適用してパラメータの適正度を判定する。

この判定は、パラメータを変化させた時に、検索された病変領域の面積或いは連結度が断面内或いは断面間でどのように変化するかによって判定でき、例えば、肺の抽出の際に空気の吸い込みが悪い場合があり、肺のＣＴ値が高めに測定される場合がある。

このような画像に対しては、通常のＣＴ値範囲を適用すると肺野の面積が、胸部の断面積に比して極端に小さくなるので、適正な割合（約５０−６０％）になるようにＣＴ値が補正される。

また、肺の下部では肺野の面積が徐々に縮小するのが一般的であるが、まれに腸内のガスを肺野として検出してしまう場合がある。

このようなガスは、中葉からの肺野の連結性条件をもとに、ＣＴ値の範囲制限における領域的制限により削除することができる。

上記判定を行うことにより、画像中から目的とする器官の領域を限定する。

目的とする器官の境界が決定されると、次に、この境界の内側で病変領域を抽出する。

画像中から病変領域を抽出する手段としては、例えば、診断支援技術として研究されている（奥村俊昭, 三輪倫子, 奥本文博, 増藤信明, 山本眞司, 松本満臣, 舘野之男, 飯沼武, 松本徹：肺がん検診用ＣＴ（ＬＳＣＴ）の診断支援システム．コンピュータ支援画像診断学会論文誌, Vol.2, No.3, 1998）に記載されたコンピュータ診断支援技術が適用される。

本実施形態においては、このコンピュータ診断支援技術により検出された病変候補の中から医師による最終診断と合致するものを選択することになる。

パラメータ決定部５においては、最後に検出された病変を含むスライス位置の決定を行う。病変を含むスライス（断面）は通常複数枚あるので、これらの断面が全てキー画像として画像検索部４において検索される。

また、画像検索部４においては、病変の面積或いは形状の変化の小さい断面を間引くようにしてもよい。

画像検索部４にて検索されたキー画像は画像出力部６に出力され、画像出力部６から表示装置やネットワークコンピュータなどに出力される。尚、画像出力部６に出力される情報は、キー画像単体でも、キー画像に診断情報を添付して出力してもよい。

図２は第１実施形態の画像処理を示すフローチャートである。

図２に示すように、ステップＳ１では、ＣＴやＭＲＩなどの医療用画像撮影装置として、或いは、それらの装置からネットワークを介して入力される画像入力インタフェース及びそれに付随する記憶装置として、画像入力部１に撮影画像データが入力される。

ステップＳ２では、医師による撮影画像データを用いた診断結果が診断情報として診断情報入力部２に入力される。

ステップＳ３では、上記診断情報入力部２又は診断情報解析部３に入力されたキーワードをキーワードテーブル７から検索する。

ステップＳ４では、パラメータ決定部５において、入力されたキーワードをもとに画像検索部４で用いられる初期値パラメータを初期値テーブル８から選択する。

ステップＳ５、Ｓ６では、画像検索部４において、選択されたパラメータを入力された画像に適用して病変領域の面積や連結度に基づいてパラメータの適正度を判定すると共に（適正化）、一般的なコンピュータ診断支援技術を用いて病変領域を抽出する。

しかる後に、コンピュータ診断支援技術により検出された病変候補の中から医師による最終診断と合致するものが選択される。

［第２実施形態］
図３は本発明に係る第２実施形態の画像処理装置を構成する機能ブロックを概略的に示し、第１実施形態と異なる点は画像検索部４に代えて、レンダリング部１１とボクセルデータ作成部１２とを設け、パラメータ決定部５が第１実施形態と同様に、診断情報からレンダリング部１１で実行される３次元レンダリングの際の不透明度や色（濃淡画像の場合は濃度値）などのパラメータを決定し、この作成されたレンダリング画像をキー画像とするところにある。

その他の要素は、第１実施形態と同一であるため、同一の番号を付して説明を省略する。

画像入力部１に複数枚のＣＴ又はＭＲＩ画像が入力されると、ボクセルデータ作成部１２においてボクセルデータが生成される。ボクセルデータとは、２次元画像をＺ軸方向に画素の連続性を考慮して繋ぎ合わせたものである。

この画素データの各画素に不透明度と色を割り付けて、例えば、ボリュームレンダリング手法を適用することにより３次元レンダリング画像を得ることができる。

本実施形態ではボリュームレンダリング手法を適用しているが、パラメータ決定部５で選択した閾値で検出した表面境界に、３次元的な濃度勾配を陰影付けに反映させるグレイレベル・グラディエント法でシェーディングを行うサーフェスレンダリング法で３次元画像を形成してもよい。

また、診断情報入力部２に入力された診断情報は、第１実施形態と同様に診断情報解析部３においてキーワードテーブル７を参照するキーワード検索が行われる。

パラメータ決定部５では、キーワード検索された解剖学的部位と病理情報および病気ステージに対応して、初期値テーブル８から各ＣＴ値に対応した不透明度、色情報及び３次元画像生成の際の視線方向が選択される。基本的には、これらの予め決定された設定値を用いてレンダリング部１１によりボリュームレンダリングを実行する。

一方で、器官や病変の境界を明瞭に表現するにはセグメンテーションを行うことが望ましい。つまり、予め決められた各ＣＴ値に対応した不透明度と色情報では、肺、肝臓及びそれらの器官中に存在する結節や腫溜の境界をスムーズに再現できない場合がある。

そこで、ＣＴ値の閾値を変化させた２値画像に対して、断面内或いは断面間での連結を観察することにより、ＣＴ値の範囲を収束させ、収束させたＣＴ値範囲で２値化した際に発生する孤立領域をラベリングにより取り除くことで、よりスムーズな器官や病変の抽出が行える。

以上のようにセグメンテーションされた画像における器官、病変を構成する画素に対して、不透明度と色情報を新たに割り付けることによって、よりスムーズな３次元画像を得ることができる。

レンダリング部１１は、シェーディング工程とレイキャスティング工程の各機能を備え、シェーディング工程では、先ず、セグメントされた器官、病変の画素（ボクセル）に対して、法線ベクトルの勾配値(gradient)が計算される。そして、色情報と法線ベクトルの勾配値(gradient)の積（シェーディング値）が求められる。ここで、勾配値は注目点の各軸２点、計近傍６点より計算される。

レイキャスティング工程では、ボクセルに割り当てられた不透明度、シェーディング値、そして入射光の強度をもとに視線方向へのボクセル値の積分によるレンダリング画像の作成を行う。光学的な減衰演算もこの時点で行う。この時点で使用する視線方向も重要な決定パラメータである。

診断学的には観察方向が決っている場合もあるが、腫溜など人体の裏側にある場合は明らかに裏側から観察した方が認識し易い。

つまり、パラメータ決定部５では、器官表面或いは体表面から腫溜などの病変までの距離が短い方向を視線方向への選択も行う。また、同距離の方向が複数個ある場合は、複数方向からの３次元画像を生成して出力することも行う。

レンダリング部１１にて生成された３次元画像は画像出力部６に出力され、画像出力部６から表示装置やネットワークコンピュータなどに出力される。尚、画像出力部６に出力される情報は、レンダリング画像単体でも、レンダリング画像に診断情報を添付して出力してもよい。

図４は第２実施形態の画像処理を示すフローチャートである。

図４に示すように、ステップＳ１では、ＣＴやＭＲＩなどの医療用画像撮影装置として、或いは、それらの装置からネットワークを介して入力される画像入力インタフェース及びそれに付随する記憶装置として、画像入力部１に撮影画像データが入力される。

ステップＴ１では、ボクセルデータ作成部１２において上記撮影画像データからボクセルデータが作成される。

ステップＴ２では、パラメータ決定部５において、入力されたキーワードをもとにレンダリング部１１で実行される３次元レンダリングの際の不透明度や色、視線方向などの初期値パラメータを初期値テーブル８から選択する。

ステップＴ３では、レンダリング部１１において、選択されたパラメータを入力された画像に適用し、器官や病変の境界を明瞭に表現するために病変領域の面積やその変化、連結度に基づいてセグメンテーションを実行する（適正化）。

ステップＴ４では、レンダリング部１１においてセグメントされた器官、病変のボクセルに対して、法線ベクトルの勾配値(gradient)が計算され、色情報と法線ベクトルの勾配値(gradient)の積（シェーディング値）が求められる（シェーディング）。

ステップＴ５では、ボクセルに割り当てられた不透明度、シェーディング値、そして入射光の強度をもとに視線方向へのボクセル値の積分によるレンダリング画像の作成を行う（レイキャスティング）。

尚、上記第２実施形態では、ボリュームレンダリング手法を用いる例について説明したが、この３次元画像生成技術は医療画像応用以外にも広く研究されており参考書が多くある。例えば、「これからの画像情報シリーズ５、コンピュータグラフィクス」安居院猛、他著、昭晃堂の第７章などの記載を参考にしてもよい。

上記第１及び第２実施形態によれば、大量の医療情報から医師の診断情報（病変を含む器官、病変の形態、および病気の進行度）をもとに、大量の撮影画像から少量、小容量の的確なキー画像を選択或いは生成できる。

また、多数のスライス画像から病気情報を的確に表現するスライス画像を診断情報から指定できる。

また、同様の技術を使用して病変部位を的確に表現する３次元画像を生成し、少量、小容量のキー画像とすることができる。

キー画像作成時の視線方向の決定には、器官或いは体表面から病変までの距離の小さい方向を選択するようにし、病変部位を観察しやすく設定することが可能となる。

[他の実施形態]
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（図２及び図４のフローチャートの各工程のコード）を、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

Claims

撮影された複数の医療用画像を入力する画像入力部と、
入力された前記医療用画像に関する診断情報を入力する情報入力部と、
入力された前記医療用画像に対してレンダリング処理を施すレンダリング部と、
前記レンダリング処理を実行する際のパラメータを前記診断情報に基づいて決定するパラメータ決定部とを具備することを特徴とする画像処理装置。
前記医療用画像は２次元画像であって、当該２次元画像の各画素を断面に直交する方向に連続性を持って繋ぎ合わせた画素データを作成する画素データ作成部を更に備えることを特徴とする請求項１に記載の画像処理装置。
前記診断情報を解析するためのキーワードを入力するキーワード入力部を更に備え、前記パラメータ決定部は、当該キーワードと前記画素データから前記レンダリング処理を実行する際のパラメータを決定することを特徴とする請求項２に記載の画像処理装置。
前記パラメータは、医療用画像の各ＣＴ値に対応した不透明度、色情報及び３次元画像を生成する際の視線方向を含み、これらの初期値が予め記憶されたテーブルから前記パラメータ決定部により選択されることを特徴とする請求項３に記載の画像処理装置。
前記パラメータ決定部により前記テーブルから選択されたパラメータを前記医療用画像に対して適正化する適正化部を更に備えることを特徴とする請求項４に記載の画像処理装置。
前記レンダリング部は、前記画素データに対してシェーディングとレイキャスティングの各処理を実行し、当該シェーディング処理では、前記適正化されたパラメータを適用して作成された画素データに対して色情報とシェーディング値を求め、当該レイキャスティング処理では、前記画素データに割り当てられた不透明度、シェーディング値、及び入射光の強度に基づいて視線方向へのレンダリング画像を作成することを特徴とする請求項５に記載の画像処理装置。
請求項１乃至６のいずれか１項に記載の画像処理装置によりレンダリング処理された画像を前記診断情報に添付して出力することを特徴とするレポーティングシステム。
撮影された複数の医療用画像を入力する画像入力工程と、
入力された前記医療用画像に関する診断情報を入力する情報入力工程と、
入力された前記医療用画像に対してレンダリング処理を施すレンダリング工程と、
前記レンダリング処理を実行する際のパラメータを前記診断情報に基づいて決定するパラメータ決定工程とを備えることを特徴とする画像処理方法。
前記医療用画像は２次元画像であって、当該２次元画像の各画素を断面に直交する方向に連続性を持って繋ぎ合わせた画素データを作成する画素データ作成工程を更に備えることを特徴とする請求項８に記載の画像処理方法。
前記診断情報を解析するためのキーワードを入力するキーワード入力工程を更に備え、前記パラメータ決定工程では、当該キーワードと前記画素データから前記レンダリング処理を実行する際のパラメータを決定することを特徴とする請求項９に記載の画像処理方法。
前記パラメータは、医療用画像の各ＣＴ値に対応した不透明度、色情報及び３次元画像を生成する際の視線方向を含み、これらの初期値が予め記憶されたテーブルから前記パラメータ決定工程により選択されることを特徴とする請求項１０に記載の画像処理方法。
前記パラメータ決定部により前記テーブルから選択されたパラメータを前記医療用画像に対して適正化する適正化工程を更に備えることを特徴とする請求項１１に記載の画像処理方法。
前記レンダリング工程では、前記画素データに対してシェーディングとレイキャスティングの各処理を実行し、当該シェーディング処理では、前記適正化されたパラメータを適用して作成された画素データに対して色情報とシェーディング値を求め、当該レイキャスティング処理では、前記画素データに割り当てられた不透明度、シェーディング値、及び入射光の強度に基づいて視線方向へのレンダリング画像を作成することを特徴とする請求項１２に記載の画像処理方法。
請求項８乃至１３のいずれか１項に記載の画像処理方法によりレンダリング処理された画像を前記診断情報に添付して出力することを特徴とするレポーティング方法。
請求項８乃至１３のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
請求項１５に記載されたプログラムを記憶したコンピュータ読み取り可能な記憶媒体。