JP2014225105A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】コンピュータにより生成される仮想的な画像と、実際に撮影された写真画像とを照合可能にできる画像処理装置を提供する。【解決手段】コンピュータにより生成された生体内部組織の検査画像と、当該生体内部組織の写真画像とを受け入れる。これら検査画像と写真画像との双方の対応点を設定し、生体内部組織を表す仮想表面を生成する。当該生成した仮想表面に、写真画像をテクスチャとして投影された像を生成するとともに、この写真画像上に設定された対応点を一致させた検査画像をテクスチャとして、生成した像に対して半透明合成した結果を表示する。【選択図】図１

Description

本発明は、手術等、生体内部組織の画像を処理する画像処理装置及びプログラムに関する。

整形外科などにおいて、同一の被写体について、時間をおいて放射線画像の撮影を行なって得た複数の画像のそれぞれについて計測を行ない、各計測結果を比較することがしばしば行なわれているが、ディジタル画像においてもこのような比較を可能とするために、計測対象画像と、該計測対象画像に対応する計測基準画像とを、該計測対象画像の所定の基準点と計測基準画像における計測対象画像の所定の基準点と対応する対応基準点とが表示面上の略同じ位置に表示されるように位置合わせを行なって重ね表示させるという技術が、特許文献１に開示されている。

特開２００２−１４０６８８号公報

しかしながら、医療用途に用いられる画像には、近年さまざまな種類のものが混在している。例えば脳外科手術の場合には、ＣＴ（Computed Tomography）画像や、ＭＲＩ（Magnetic Resonance Imaging）画像、機能性検査の結果、また手術中に撮影される実画像等、多数の互いに異なる画像情報がある。これらを相互に関連付けて表示する場合、単に二次元に投影された画像同士を比較することは、例えばコンピュータにより生成される仮想的な画像と、実際に撮影された写真画像とでは視点の問題もあり、相互の照合が困難となっている。

本発明は上記実情に鑑みて為されたもので、コンピュータにより生成される仮想的な画像と、実際に撮影された写真画像とを照合可能にできる画像処理装置及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、画像処理装置であって、コンピュータにより生成された生体内部組織の検査画像を受け入れる検査画像受入手段と、当該生体内部組織の写真画像を受け入れる写真画像受入手段と、前記検査画像と、前記写真画像との双方の対応点を設定する設定手段と、前記生体内部組織を表す仮想表面を生成する仮想表面手段と、当該生成した仮想表面に、前記写真画像をテクスチャとして投影された像を生成する像生成手段と、当該像に投影された、前記写真画像上に設定された対応点を一致させた前記検査画像をテクスチャとして、前記生成した像に対して半透明合成した結果を表示する表示手段と、を含むこととしたものである。

また本発明の一態様に係るプログラムは、コンピュータを、コンピュータにより生成された生体内部組織の検査画像を受け入れる検査画像受入手段と、当該生体内部組織の写真画像を受け入れる写真画像受入手段と、前記検査画像と、前記写真画像との双方の対応点を設定する設定手段と、前記生体内部組織を表す仮想表面を生成する仮想表面手段と、当該生成した仮想表面に、前記写真画像をテクスチャとして投影された像を生成する像生成手段と、当該像に投影された、前記写真画像上に設定された対応点を一致させた前記検査画像をテクスチャとして、前記生成した像に対して半透明合成した結果を表示する表示手段と、として機能させることとしたものである。

これによりコンピュータにより生成される仮想的な画像と、実際に撮影された写真画像とを照合可能にできる。

本発明の実施の形態に係る画像処理装置の構成例及び外部装置との接続例を表す概略ブロック図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が用いる対応点データベースの内容例を表す説明図である。 本発明の実施の形態に係る画像処理装置の動作例を表す概略説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、入力部１５とを含んで構成されている。またこの画像処理装置１には、例えば画像撮影装置２等の外部の機器が接続可能となっている。

制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態の一例では、この制御部１１は、コンピュータ（画像処理装置１自身であってもよいし、他のコンピュータであってもよい）により生成された生体内部組織の検査画像を受け入れ、また手術中等において当該生体内部組織を直接撮影した写真画像を受け入れる。制御部１１は、これら受け入れた検査画像と、写真画像との双方の対応点を設定する。そして制御部１１は、生体内部組織を表す仮想表面を生成し、この生成した仮想表面に、写真画像をテクスチャとして投影した像を生成する。制御部１１はさらに、この生成した像と、当該像上で先に設定された対応点を一致させた検査画像とを半透明合成した結果を表示する。この制御部１１の詳しい動作については後に述べる。

記憶部１２は、メモリデバイス等を含んで構成される。この記憶部１２は、制御部１１によって実行されるプログラムを保持する。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。操作部１３は、マウス等のポインティングデバイスやキーボード等の入力デバイスを含んで構成される。この操作部１３は、利用者が行った操作の内容を制御部１１に出力する。

表示部１４は、ディスプレイ装置等であり、制御部１１の指示に従って情報を表示する。入力部１５は、ネットワークインタフェースやＵＳＢ（Universal Serial Bus）等のインタフェースであり、外部の装置（コンピュータやメモリデバイス）から画像情報（コンピュータにより生成された画像情報等）を受け入れて制御部１１に出力する。

画像撮影装置２は、例えばカメラ等であり、写真画像を撮像し、当該撮像した写真画像を外部（ここでは接続された画像処理装置１）に対して出力する。本実施の形態では、この画像撮影装置２は、静止画を撮影するカメラであってもよいし、動画像を撮影するカメラであってもよい。

次に本実施の形態の制御部１１の動作について説明する。以下の説明は、コンピュータにより生成された画像とは、ＣＴ画像等の再構成画像やＭＲＩ画像等、可視光を撮像する以外の方法で得られた情報に基づいて生成された画像をいうものとする。また写真画像とは、可視光を撮像して得られた画像そのもの、または当該画像の明度やコントラスト等を制御して得られた画像をいうものとする。またここでは、同じ生体内部組織について、コンピュータにより生成された検査画像と、手術中等、切開により直接撮影可能な状態とした段階で撮影された写真画像とを得るものとする。

本実施の形態の制御部１１は、記憶部１２に格納されたプログラムに従って動作することで、図２に例示するように、機能的に検査画像受入部２１と、写真画像受入部２２と、正規化処理部２３と、対応点設定部２４と、仮想表面生成部２５と、像生成部２６と、表示制御部２７とを実現する。

検査画像受入部２１は、入力部１５を介して、コンピュータにより生成された画像（検査画像）の情報の入力を受け入れて、記憶部１２に格納する。写真画像受入部２２は、画像撮影装置２にて撮像された写真画像の情報を、入力部１５を介して受け入れ、記憶部１２に格納する。本実施の形態においては、これら検査画像や写真画像の情報は、それぞれ複数あっても構わない。

正規化処理部２３は、記憶部１２に格納された検査画像が複数ある場合に、当該複数の検査画像のそれぞれから対応する位置（生体内部組織の同じ部分に対応する位置）を見出す。そして正規化処理部２３は、各検査画像Ｔk（ｋ＝１，２，…）について、それぞれにおいて見出された上記対応する位置が互いに重ね合わせられるようにアフィン変換等を施して得られる、検査画像Ｔk（ｋ＝１，２，…）に対応する正規化検査画像Ｔ′k（ｋ＝１，２，…）を生成する。この正規化された検査画像を生成する方法としては、正規化相関法など広く知られた方法を採用できるので、ここでの詳細な説明を省略する。

対応点設定部２４は、検査画像（正規化されている場合は、当該正規化された検査画像のうちの一つでよい）と写真画像との間で、互いに対応する点を複数設定する。具体的にこの対応点設定部２４は、利用者からの指示により対応点の設定を行う。すなわちこの例による対応点設定部２４は、対応点の設定の対象となる複数の画像を表示部１４に表示出力する。そして利用者による対応点の指定を受け入れる。一例として本実施の形態では、各画像に含まれる画素の位置を二次元の座標として表す。この際の座標はいわゆるデカルト座標（ｘｙ直交座標）でよい。対応点設定部２４は、検査画像ｉ内で指定されたｐ番目の画素の位置（ｘi_p，ｙi_p）と、写真画像ｊ内で指定されたｐ番目の画素の位置（ｘj_p，ｙj_p）とを対応する点として指定されると、これら互いに対応する画素の位置を表す座標を、互いに関連付けて記憶部１２に格納する。これにより、記憶部１２には、図３に例示するように、対応する点の座標を互いに関連付けた対応点データベースが格納されることとなる。

仮想表面生成部２５は、検査画像の対象あるいは写真画像の被写体となった生体内部組織の表面を模式的に表す仮想表面を生成する。このような仮想表面としては、ポリゴンや自由曲面等で表現される種々のものを用いることができる。本実施の形態の一例では、薄板スプライン（Thin-Plate Spline）法により、対象となった生体内部組織の表面を仮想的に表現して、仮想表面を生成する。

像生成部２６は、記憶部１２に格納された写真画像をテクスチャとして、仮想表面上にマッピングする。ここでの仮想表面は一般に曲面であり、当該曲面上には二次元のテクスチャ座標系（ｕ，ｖ）を設定できる。またテクスチャとする写真画像の各画素（座標（ｘ，ｙ））にもテクスチャ座標系の値（ｕ，ｖ）を関連付ける。この関連付けは、仮想表面上で指定された複数の点Ｐi（ｕi，ｖi）（ｉ＝１，２，…）と、これら複数の点のそれぞれに対応する写真画像上の点Ｐ′i（ｕi，ｖi）（ｉ＝１，２，…）とを指定することで行われる。本実施の形態の一例では、このような三次元的な仮想表面にテクスチャとなる画像を設定する技術として、例えばOpenGL等のライブラリを利用した方法が採用できる。

表示制御部２７は、当該像生成部２６が生成した像に投影された、写真画像上に設定された対応点を一致させつつ、記憶部１２に格納されている検査画像をテクスチャとして、当該像に対して半透明合成して表示する。

すなわち本実施の形態では、この表示制御部２７は、表示の対象とする検査画像の選択を利用者から受け入れる。そして表示制御部２７は、対応点データベースを参照し、選択された検査画像に対してアフィン変換を施す等して、当該選択された検査画像とテクスチャとしてマッピングする写真画像との対応点を一致させる。表示制御部２７は、対応点を一致させた後で、テクスチャとしてマッピングする写真画像上の各画素について、その画素値と、各画素に対応する位置にある、選択された検査画像内の各対応画素の画素値とを加算した画像を生成する（つまりテクスチャとしてマッピングする写真画像に検査画像を半透明合成する）。ここで画素値の加算は、画素値が例えばＲＧＢ（Red, Green, Blue）の各色の輝度値を含むベクトル量であれば、当該ベクトル量をそのまま加算する。

また画素値の加算は、単純な加算を行うだけでなく、画素ごとに、画素値の加算後に、当該加算した画素値の数（加算した画素値がいくつあるかを表す数）で除して、対応する画素値の平均を演算し、当該平均を当該画素の画素値として設定してもよい。これにより表示制御部２７が、写真画像に検査画像を半透明合成した結果を得る。

そして表示制御部２７は、当該生成した画像（つまりテクスチャとしてマッピングする写真画像に検査画像を半透明合成した結果の画像）を、新たなテクスチャとして、仮想表面生成部２５が生成した仮想表面上にマッピングする。ここでは上記生成した画像（テクスチャとしてマッピングする写真画像に検査画像を半透明合成した画像）における元の写真画像の各点Ｐ′i（ｕi，ｖi）（ｉ＝１，２，…）と、仮想表面上で指定された複数の点Ｐi（ｕi，ｖi）（ｉ＝１，２，…）とを一致させるようにして仮想表面にテクスチャとなる画像を設定する。

また、利用者が選択した検査画像が複数ある場合は、表示制御部２７は、対応点データベースを参照し、正規化された検査画像Ｔ′k（ｋ＝１，２，…）のいずれかＴ′mについてアフィン変換を施す等して、当該正規化された検査画像Ｔ′mとテクスチャとしてマッピングする写真画像とにそれぞれ設定した対応点を一致させる。このとき、当該変換のパラメータを記憶しておく。

表示制御部２７は、利用者が選択した複数の検査画像について、各検査画像に対応する複数の正規化された検査画像を記憶した変換のパラメータに従って変換する。こうして選択した複数の検査画像（正規化された検査画像）同士の対応点と、写真画像との対応点とを一致させた後で、テクスチャとしてマッピングする写真画像上の各画素について、その画素値と、各画素に対応する位置にある、選択された各検査画像内の各対応画素の画素値とを加算した画像を生成する（つまりテクスチャとしてマッピングする写真画像に検査画像を半透明合成する）。ここで画素値の加算は、画素値が例えばＲＧＢ（Red, Green, Blue）の各色の輝度値を含むベクトル量であれば、当該ベクトル量をそのまま加算する。また画素値の加算は、単純な加算を行うだけでなく、画素ごとに、画素値の加算後に、当該加算した画素値の数（加算した画素値がいくつあるかを表す数）で除して、対応する画素値の平均を演算し、当該平均を当該画素の画素値として設定してもよい。

そして表示制御部２７は、当該生成した画像（つまりテクスチャとしてマッピングする写真画像に検査画像を半透明合成した画像）を、新たなテクスチャとして、仮想表面生成部２５が生成した仮想表面上にマッピングする。ここでは上記生成した画像（テクスチャとしてマッピングする写真画像に検査画像を半透明合成した画像）における元の写真画像の各点Ｐ′i（ｕi，ｖi）（ｉ＝１，２，…）と、仮想表面上で指定された複数の点Ｐi（ｕi，ｖi）（ｉ＝１，２，…）とを一致させるようにして仮想表面にテクスチャとなる画像を設定する。

表示制御部２７は、こうしてテクスチャを設定した仮想表面を、利用者が指定した視点から見た像としてレンダリングする。そして表示制御部２７は、当該レンダリングの結果を、表示部１４に表示出力する。なお、表示制御部２７は、利用者から視点の位置を変更する旨の指示が入力されると、当該指示が入力されるごとに、変更後の視点から見た像をレンダリングして得て、表示出力する。

本実施の形態は、以上の構成を備えてなり、次に示すように動作する。すなわち本実施の形態では、手術前の検査画像として、手術の対象となる生体内部組織について可視光を撮像する以外の方法で得られた情報に基づいて生成された画像であるＣＴ画像Ｔ1、ＭＲＩ画像Ｔ2を得ておく。

手術中、対象となる生体内部組織が写真撮影可能となると、本実施の形態に係る画像処理装置１の利用者は、当該生体内部組織を写真撮影し、当該撮影して得た写真画像Ｒを画像処理装置１に入力する。画像処理装置１は、これらＣＴ画像Ｔ1、ＭＲＩ画像Ｔ2と、写真画像Ｒとを保持する。

また画像処理装置１は、正規化相関法等の広く知られた方法により、当該複数の検査画像であるＣＴ画像Ｔ1、ＭＲＩ画像Ｔ2のそれぞれから対応する位置（生体内部組織の同じ部分に対応する位置）を見出す。そして画像処理装置１は、各検査画像Ｔ1，Ｔ2について、それぞれにおいて見出された上記対応する位置が互いに重ね合わせられるようにアフィン変換等を施して得られる、正規化ＣＴ画像Ｔ′1と、正規化ＭＲＩ画像Ｔ′2とを生成する。

画像処理装置１は、正規化ＣＴ画像Ｔ′1と、正規化ＭＲＩ画像Ｔ′2とのうち、いずれか一方（表示検査画像Ｔとする）を表示するとともに、写真画像Ｒを表示し、互いに対応する点（生体内部組織の上で同じと認められる点）の入力を受け入れる。具体的には利用者から、表示検査画像Ｔ上の一点（画素）の指定を受ける。この画素の位置を（ｘi_1，ｙi_1）とする。また、写真画像Ｒ内で、当該指定した一点に対応する点（画素）の指定を受ける。この画素の位置を（ｘR_1，ｙR_1）とする。この画素の指定は、マウス等のポインティングデバイスを用いて行うことができる。

以下、同様にして利用者は、複数の対応点（ｘi_p，ｙi_p），（ｘR_p，ｙR_p）、（ｐ＝１，２…）の指定を行い、画像処理装置１は、これら入力された対応点同士を互いに関連づけた対応点データベースを生成する。

一方、画像処理装置１は、予め設定されたモデリング情報に基づき、写真画像Ｒの被写体である生体内部組織の表面を模式的に表す仮想表面を生成する（図４；Ｓ１）。そして画像処理装置１は、写真画像Ｒをテクスチャとして、この仮想表面上にマッピング（ラップマッピング）する。マッピングのための写真画像Ｒに対するテクスチャ座標の設定は利用者が行う（図４；Ｓ２）。

次に画像処理装置１は、記憶部１２に保持している検査画像の一覧を表示する。利用者がこの一覧から検査画像を少なくとも一つ選択すると、画像処理装置１は、対応点データベースを参照しながら、選択された検査画像の一つに対応する、正規化された検査画像Ｔ′mに対してアフィン変換を施す等して、当該正規化された検査画像Ｔ′mとテクスチャとしてマッピングする写真画像Ｒとにそれぞれ設定した対応点を一致させる。このとき、当該変換のパラメータ（アフィン変換を行う場合はアフィン変換のパラメータ）を記憶しておく。

画像処理装置１は、利用者が選択した検査画像について、各検査画像に対応する複数の正規化された検査画像を、上記記憶した変換のパラメータに従って変換しておく。こうして選択した複数の検査画像（正規化された検査画像）同士の対応点と、写真画像Ｒとの対応点とを一致させる。画像処理装置１は、写真画像Ｒと同じサイズ（同じ画素配列）の画像情報Ｒ′を生成し、テクスチャとしてマッピングする写真画像上の各画素（ｘ，ｙ）について、その画素値Ｃ（ｘ，ｙ）と、各画素に対応する位置にある、選択された各検査画像Ｔi（ｉ＝１，２，…）内の各対応画素Ｃｔi（ｘ，ｙ）（ｉ＝１，２，…）の画素値とを加算する。なお、検査画像によっては、位置（ｘ，ｙ）に画素がない場合もあるが、その場合には当該位置（ｘ，ｙ）にある画素において、当該位置（ｘ，ｙ）に画素がない検査画像についての画素値の加算は行わない。従って、画素の位置（ｘ，ｙ）ごとに、加算される画素値の数は異なるものとなってもよい。

そして画像処理装置１は、画素（ｘ，ｙ）について、加算して得た画素値を、当該画素（ｘ，ｙ）について加算された画素値の数で除して画素値の平均値Ａ（ｘ，ｙ）を得る。そして生成した画像情報Ｒ′の位置（ｘ，ｙ）にある画素の画素値をこの平均値Ａ（ｘ，ｙ）として設定する（図４；Ｓ３）。

画像処理装置１は、こうしてテクスチャとしてマッピングする写真画像Ｒに、利用者が選択した検査画像Ｔを半透明合成した画像Ｒ′を得る。そして画像処理装置１は、当該生成した画像Ｒ′において、元の写真画像Ｒでの対応する各点Ｐ′i（ｕi，ｖi）（ｉ＝１，２，…）と、仮想表面上で指定された複数の点Ｐi（ｕi，ｖi）（ｉ＝１，２，…）とを一致させるようにして仮想表面にテクスチャとなる画像を設定（ラップマッピング）し、当該テクスチャを設定した仮想表面を、指定された視点から見た像としてレンダリングする。そして画像処理装置１は、当該レンダリングの結果を表示出力する（図４；Ｓ４）。

さらに本実施の形態についてのここまでの動作の説明では写真画像Ｒは一つの画像であるものとしていたが、本実施の形態はこれに限られない。すなわち、本実施の形態の画像処理装置１は、複数の写真画像Ｒ1，Ｒ2…を受け入れて、仮想表面上にそれぞれマッピングして表示することとしてもよい。この場合、各写真画像Ｒ1，Ｒ2…について検査画像Ｔi（ｉ＝１，２，…）との対応点の指定を受け入れる。そして画像処理装置１は、基本となる写真画像Ｒを、写真画像Ｒ1，Ｒ2…のうちから一つ設定し、この写真画像Ｒ（写真画像Ｒnであったとする）に対して、各対応点が一致するように他の写真画像Ｒj（ｊ＝１，２，…のうち、ｊ＝ｎを除くもの）と、利用者により選択された検査画像Ｔとに対してアフィン変換等の所定の変換を施したうえで、対応点を一致させた状態で互いに半透明合成して、仮想表面上にテクスチャとしてマッピングする。そして画像処理装置１は、当該テクスチャを設定した仮想表面を、指定された視点から見た像としてレンダリングし、当該レンダリングの結果を表示出力する。

さらに本実施の形態の画像処理装置１は、対応点の指定を支援する処理を行ってもよい。この場合の対応点設定部２４は、検査画像（正規化されている場合は、当該正規化された検査画像のうちの一つでよい）と写真画像との間で、例えば輪郭サーチ等の方法で、血管や組織の形状のパターンの一致する部分を見出すようにしてもよい。そして当該見出した一致する部分について例えば当該部分を取囲む図形を描画して表示するなどして、対応点の候補を提示する。

さらに本実施の形態において、検査画像は、手術中に得られるものであってもよい。手術中に得られた検査画像Ｕについては、テクスチャとしてマッピングされている写真画像Ｒ（複数ある場合はそのいずれでもよいが、検査画像Ｕとして得られている範囲を含む写真画像とする）から利用者により任意に指定された複数の画素（点）のそれぞれに対応する検査画像Ｕ上の画素（点）の指定を利用者から受け入れる。そして画像処理装置１は、検査画像Ｕに対してアフィン変換を施す等して、当該検査画像Ｕと、写真画像Ｒとにそれぞれ設定した対応点を一致させる。画像処理装置１は変換後の検査画像Ｕを、対応点を一致させた状態でテクスチャとなる写真画像Ｒに半透明合成して、当該半透明合成の結果、得られた画像を、仮想表面上にテクスチャとしてマッピングする。画像処理装置１は、当該テクスチャを設定した仮想表面を、指定された視点から見た像としてレンダリングし、当該レンダリングの結果を表示出力する。これにより手術中に得られた検査画像についても、重ね合わせ表示することが可能となる。

１ 画像処理装置、２ 画像撮影装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 入力部、２１ 検査画像受入部、２２ 写真画像受入部、２３ 正規化処理部、２４ 対応点設定部、２５ 仮想表面生成部、２６ 像生成部、２７ 表示制御部。

Claims (2)

1. コンピュータにより生成された生体内部組織の検査画像を受け入れる検査画像受入手段と、
   当該生体内部組織の写真画像を受け入れる写真画像受入手段と、
   前記検査画像と、前記写真画像との双方の対応点を設定する設定手段と、
   前記生体内部組織を表す仮想表面を生成する仮想表面手段と、
   当該生成した仮想表面に、前記写真画像をテクスチャとして投影された像を生成する像生成手段と、
   当該像に投影された、前記写真画像上に設定された対応点を一致させた前記検査画像をテクスチャとして、前記生成した像に対して半透明合成した結果を表示する表示手段と、
   を含む画像処理装置。
2. コンピュータを、
   コンピュータにより生成された生体内部組織の検査画像を受け入れる検査画像受入手段と、
   当該生体内部組織の写真画像を受け入れる写真画像受入手段と、
   前記検査画像と、前記写真画像との双方の対応点を設定する設定手段と、
   前記生体内部組織を表す仮想表面を生成する仮想表面手段と、
   当該生成した仮想表面に、前記写真画像をテクスチャとして投影された像を生成する像生成手段と、
   当該像に投影された、前記写真画像上に設定された対応点を一致させた前記検査画像をテクスチャとして、前記生成した像に対して半透明合成した結果を表示する表示手段と、
   として機能させるプログラム。
   

Images