JP2015036084A - 画像処理システム - Google Patents

Abstract

【課題】被検体断層撮影３次元画像から得られた血管等の木構造物の立体画像を用いて、木構造物があたかも眼前に存在するかのような感覚で、姿勢に合わせて視点を変化させながら仮想的に視認する技術を提供する。
【解決手段】被検体断層撮影３次元画像から抽出された木構造物の３次元画像から形成された視差画像群を用いて木構造物の立体画像を形成させる立体画像形成部と、ユーザーの頭部に装着され、立体画像を仮想空間上に表示させるヘッドマウントディスプレイと、頭部の動きによって変化するヘッドマウントディスプレイの姿勢及び空間座標を特定するための３次元位置姿勢特定部と、姿勢及び空間座標に基づいて、立体画像の表示の視点を変化させる視点変更部と、を備える画像処理システム。
【選択図】図１

Description

本発明は人体断層撮影３次元画像のような被検体断層撮影３次元画像から血管など木構造物の形態的状態等を効率的に診断するための画像処理システムに関する。

脳血管疾患は、先進国において代表的な死因の一つである。近年の医療技術の発展により、脳血管疾患は死亡率、受療率ともに減少してきている。しかしながら、脳血管疾患はたとえ救命されても治療が遅れれば麻痺やしびれなどの後遺症が現れることが多く、脳血管病変部の早期発見、治療、予防が特に重要であるとされている。

脳血管病変部の検査技術として、コンピュータ断層撮影（Computed Tomography、CT）や、核磁気共鳴画像法（Magnetic Resonance Imaging, MRI）を用いて、頭部の断層撮影画像から血管走行情報を入手する技術が実用化されている。代表的には、例えば、動脈に造影剤を静注し、動脈内の造影剤濃度が高くなるようなタイミングでCTを撮影することにより、動脈等の血管走行を明瞭に描出するCT血管撮影(CT angiography、CTA)が広く用いられている。画像処理技術の発展により、例えば、頭部のクモの巣のように張り巡らされた多くの分岐を有する複雑な構造の脳血管のみを３次元ＣＴＡ画像で表示した、頭部３次元ＣＴＡ画像による診断も実用化されている。

頭部３次元ＣＴＡ画像を用いて脳血管病変部を見つける方法としては、前大脳動脈、中大脳動脈、後大脳動脈等の脳動脈や内頚動脈、椎骨動脈等の血管のみを選択的に画像抽出し、画像観察により血管の局所的な狭窄等の病変部を発見する方法が挙げられる。頭部３次元ＣＴＡ画像から画像抽出された脳血管は、２次元のディスプレイ上に３次元的に表示される。このように表示された３次元的な脳血管の画像は、ディスプレイ上で仮想的に回転させながら外側のいろんな方向から見ることもできる。医師はこのようにして、３次元的な脳血管の画像から病変部の特定を試みている。

しかしながら、３次元的な脳血管の画像を仮想的に回転させながら外側から見るだけでは、奥行きのある血管の重なりにより死角になる部分が生じ、診断に時間が掛かったり、病変部を見落としてしまったりするおそれもあった。医療現場においては医療人員の不足から一人一人の患者に割くことができる時間が限られているために、より効率的に３次元的な脳血管の画像を解析するための手段が求められていた。

このような問題を解決する技術として、下記非特許文献１は、２次元のディスプレイ上に３次元的に表示された頭部３次元ＣＴＡ画像から画像抽出された脳血管に対して、ペン状の先に正方形のマーカを付けた３次元ポインティングデバイスで部分的に血管を移動させることにより、外側からの観察では死角になるような部分を仮想的に観察する技術を開示する。

白石卓人、他３名「脳血管位置および径情報を利用した脳血管ボリュームデータ操作の基礎的検討」、信学技報、ＭＩ２０１２−１０５、Ｐ２２７-２３０、２０１３年１月１７日

非特許文献１に開示された技術によれば、３次元的な血管の画像において部分的に血管を移動させることにより、外側からの観察では死角になるような血管を仮想的に視認することができる。しかしながら、このような２次元のディスプレイ上に３次元的に表示された３次元的な血管の画像は、あくまでも２次元上の画像であり、実空間上の実際の血管の様子に比べると違和感が残り、複雑な血管があたかも眼前に存在するように直感的に視認できなかった。従って、例えば、血管の立体的な構造を視認することが難しく、病変部の検出が困難であったり、３次元ポインティングデバイスによる血管の移動が困難であったりした。

本発明は、被検体断層撮影３次元画像から得られた血管等の木構造物の立体画像を用いて、木構造物があたかも眼前に存在するかのような感覚で、姿勢に合わせて視点を変化させながら直感的に視認する技術を提供することを目的とする。

本発明者らは、上記目的を解決すべく鋭意検討した結果、脳血管等の木構造物があたかも眼前に存在するかのような感覚で、姿勢に合わせて視点を変化させながら直感的に視認すること、さらには、重なった血管群の表層側の血管のみに仮想的に触れて移動させて、例えば、他の血管領域を隠している表層の血管を掻き分けることができるような画像処理を行うことにより、重なって見えにくかった血管を直感的に操作して病変部の検出を容易にすることができるようになるのではないかと考えた。

すなわち、本発明に係る画像処理システムは、被検体断層撮影３次元画像から抽出された木構造物の３次元画像から形成された視差画像群を用いて前記木構造物の立体画像を形成させる立体画像形成部と、ユーザーの頭部に装着され、前記立体画像を仮想空間上に表示させるヘッドマウントディスプレイと、前記頭部の動きによって変化する前記ヘッドマウントディスプレイの姿勢及び空間座標を特定するための３次元位置姿勢特定部と、前記姿勢及び空間座標に基づいて、前記立体画像の表示の視点を変化させる視点変更部と、を備える。

このような構成によれば、ヘッドマウントディスプレイを用い、頭部の動きによって変化するヘッドマウントディスプレイの姿勢及び空間座標に連動するように、仮想空間上の木構造物の立体画像を観察する視点を変化させることができるために、木構造物があたかも目の前に存在するかのような感覚で、姿勢に合わせて視点を変化させながら直感的に観察することができる。

また、本発明に係る画像処理システムは、前記被検体断層撮影３次元画像から抽出された木構造物の３次元画像を記憶する記憶部と、前記被検体断層撮影３次元画像または前記木構造物の３次元画像から前記木構造物の芯線及び径を推定する芯線・径推定部と、実空間における前記ユーザーからの指示により、前記木構造物の前記立体画像上の変形起点と前記仮想空間上の変形終点を指定する３次元ポインティングデバイスと、前記変形起点から最も近い前記芯線上の第１の点を識別し、該第１の点が前記変形終点に移動したときに変形されて形成される第２の芯線を生成させる芯線変形部と、前記第２の芯線及び前記推定された前記木構造物の径に基づいて前記木構造物の３次元画像のボリュームデータを変更することにより、第２の木構造物の３次元画像を生成する画像変更部と、前記木構造物の立体画像を前記第２の木構造物の立体画像に変化させて前記ヘッドマウントディスプレイに表示させる画像形成部と、をさらに備えることが好ましい。

このような構成によれば、仮想空間上に立体的に表示された３次元的に走行する脳血管等のような複雑な木構造物の立体画像を実空間上における操作により、重なって死角を形成させているような表層の血管の一部分を仮想的に移動させることにより、血管を掻き分けるようにして、死角になった部分等を仮想的に画像化することができる。そのために、あたかも木構造物が目の前に存在するかのような感覚で、姿勢に合わせて視点を変化させながら直感的に血管を掻き分けて変形させるような操作をすることもできる。

本発明の画像処理システムによれば、木構造物があたかも眼前に存在するかのような感覚で、姿勢に合わせて視点を変化させながら仮想的に視認することができる。

図１は、実施形態の画像処理システム１を説明するためのブロック図を示す。 図２は、実施形態の画像処理システムの処理の一連の流れを示すフローチャートを示す。 図３は、抽出された脳血管の３次元的な画像の一例を示す。 図４（ａ）は図３の矩形で囲まれた部分の血管形状の部分拡大画像、図４（ｂ）はそのトレース図に芯線を重ねて表示した説明図を示す。 図５（ａ）は図３の矩形で囲まれた部分の芯線変形後に形成された血管形状の部分拡大画像、図５（ｂ）はそのトレース図に変形された芯線を重ねて表示した説明図を示す。 図６はヘッドマウントディスプレイ１０４を装着したユーザーＵの頭部の動きに合わせて、視点が変化するように構成されたシステム構成の一例の概念図を示す。 図７はヘッドマウントディスプレイ１０４の姿勢及び位置を変えたときの仮想空間上の脳血管の立体画像の一例を示す。

以下、本発明に係る画像処理システムの一実施形態について、図面を参照しながら説明する。

図１は、本実施形態の画像処理システムを実施するための、画像処理プログラム、立体画像形成プログラム、及び頭部位置・姿勢認識プログラムをインストールすることにより実現されたコンピュータ本体１００を備えた画像処理装置１のブロック図を示す。また図２は、本実施形態における画像処理システムの処理の一連の流れを示すフローチャートを示す。

画像処理システム１は、例えば汎用のコンピュータ等のコンピュータ本体１００に３次元画像の画像処理を行うための画像処理プログラム、立体画像の表示を規定する立体画像形成プログラム、及び頭部位置・姿勢認識プログラムをインストールすることにより実現される。コンピュータ本体１００は、標準的な構成として、画像処理システム１の各部を制御するためのＣＰＵ等のプロセッサと、メモリであるＲＯＭ及びＲＡＭと、ＨＤＤやＳＳＤ等の記憶部１０１とを備える。記憶部１０１は、後述する断層撮影３次元画像を記憶する断層撮影３次元画像記憶部１１、抽出された画像を記憶するボリュームデータ記憶部１２、芯線データ記憶部１３、径データ記憶部１４、指示点記憶部１５を備える。また記憶部１０１は、各画像処理を行うための画像処理プログラム、立体画像を形成するための立体画像形成プログラム、立体画像をヘッドマウントディスプレイ１０４の動きに連動させるための頭部位置・姿勢認識プログラムを記憶する。プロセッサはコンピュータ本体１００の起動時に記憶部１０１から画像処理プログラムを読み出してメモリにロードすることにより、画像処理部１０２を構成する。また、プロセッサはコンピュータ本体１００の起動時に記憶部１０１から立体画像形成プログラムを読み出してメモリにロードすることにより、立体画像を形成させる立体画像形成部１０３を構成する。さらに、プロセッサはコンピュータ本体１００の起動時に記憶部１０１から頭部位置・姿勢認識プログラムを読み出してメモリにロードすることにより、ヘッドマウントディスプレイ１０４に固定された頭部姿勢・位置特定用マーカと頭部姿勢・位置特定用マーカを撮影して画像を形成するカメラと組み合わせて、頭部の位置及び姿勢を特定する３次元位置姿勢特定部を構成する。

コンピュータ本体１００には、立体画像を表示するためのディスプレイデバイスであるヘッドマウントディスプレイ１０４が接続されている。ヘッドマウントディスプレイ１０４としては、左右の視差像を表示することにより立体視を行うことができる、いわゆる３Ｄ対応のディスプレイデバイスであればとくに限定なく用いられる。また、コンピュータ本体１００には、ユーザーが実空間から必要な指示や入力を与えるための、３次元ポインティングデバイス１０６及びキーボード等の入力部１０５が接続されている。

画像処理プログラムは、画像処理部１０２に実行させる処理として、例えば、被検体断層撮影３次元的画像から木構造物の３次元画像（ボリュームデータＶ１）の抽出、木構造の３次元画像の芯線および径の推定、ボリュームデータＶ１と芯線との対応付け、実空間におけるユーザーからの指示により、仮想空間上における立体画像上の変形起点と変形終点を指定する指示、変形起点から最も近い木構造物の芯線上の第１の点を識別し、第１の点が変形終点に移動したときに変形されて形成される新たな芯線を生成させる芯線変形、新たな芯線及び予め推定された木構造物の径に基づいて、木構造物のボリュームデータＶ１を変更するボリュームデータ変更、を規定している。そして、汎用のコンピュータ本体１００に上記各処理を実行させる画像処理プログラムがインストールされることにより、図１に示すように、画像処理部１０２が、木構造画像抽出部２１、芯線・径推定部２２、芯線変形部２３、木構造画像変更部２４を構成する。

また、画像処理システム１には、医用画像診断装置１１０及び医用画像診断装置１１０により撮影された画像を保管する画像保管装置１１１が、無線ネットワークまたは有線ネットワークを介して接続されて医用画像診断システムを構成する。このような医用画像診断システムにおける、画像処理システムの各プロセス及びその手段の一実施形態を、一連の処理の流れの一例を挙げて説明する。

（被検体断層撮影３次元画像の生成工程（ｓ０））
図２に示すように、一連の画像処理のプロセスの前提として被検体断層撮影３次元画像を生成させる。なお、本実施形態においては、具体的に説明するために木構造物として脳血管について例を挙げて説明するが、木構造物としては脳血管に限られず、心臓血管、肺血管等であってもよい。被検体断層撮影３次元画像は、医用画像診断装置１１０により被検体の投影データやＭＲ信号等のデータを収集することにより断層像として収集されて再構成される。医用画像診断装置１１０の具体例としては、例えば、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（MagneticResonance Imaging）装置、ＰＥＴ（Positron Emission computedTomography）装置、またはこれらを組み合わせた装置等が挙げられる。

医用画像診断装置１１０により収集された、被検体の投影データやＭＲ信号等から被検体の体軸方向に沿った複数の断層面の医用画像データを再構成することにより、被検体断層撮影３次元画像のボリュームデータＶ０が生成される。ボリュームデータＶ０は、例えば、ネットワーク上の画像保管装置１１１に送信されて保管される。

画像保管装置１１１は、医用画像診断装置１１０により生成された被検体断層撮影３次元画像のボリュームデータＶ０を医用画像診断装置１１０から受信し、保管する装置である。医用画像診断装置１１０は、画像保管装置１１１に被検体断層撮影３次元画像を送信する際に、例えば、患者、装置、検査の種類、シリーズ等を識別する識別子（ＩＤ）等を合わせて送信してもよい。このようなＩＤ等は、ユーザーが必要な被検体断層撮影３次元画像のボリュームデータＶ０を取得するための検索に用いられる。また、画像保管装置１１１は、コンピュータ本体１００として大容量の画像を保管可能なワークステーション型のコンピュータを用いた場合には、コンピュータ本体１００に統合されていてもよい。

（被検体断層撮影３次元画像のボリュームデータＶ０から木構造物の３次元画像のボリュームデータＶ１を抽出する工程（ｓ１））

以降の一連の画像処理は、一連の画像処理プロセスを実行しうる画像処理プログラム、立体画像形成プログラム、及び頭部位置・姿勢認識プログラムをインストールしたコンピュータ本体１００と、立体画像を表示するヘッドマウントディスプレイ１０４と、３次元ポインティングデバイス１０６と、必要に応じて操作される入力部１０５と、により実行される。

画像処理システム１のユーザーは、例えば、入力部１０５を介して、画像保管装置１１１に記憶されている複数の被検体断層撮影３次元画像の中から目的とする被検体断層撮影３次元的画像のＩＤを選択または入力する操作により特定し、そのボリュームデータＶ０を記憶部１０１の断層撮影３次元画像記憶部１１に記憶させる。

画像処理部１０２の木構造画像抽出部２１は、断層撮影３次元画像記憶部１１から読み込まれたボリュームデータＶ０から木構造物のボリュームデータＶ１を抽出する処理を実行する。

具体的には、木構造画像抽出部２１はボリュームデータＶ０に対して、公知の木構造物の抽出処理を実行することにより木構造物のボリュームデータＶ１を抽出する。

木構造物の抽出処理法は特に限定されないが、次のような領域拡張法を用いた方法が挙げられる。具体的には、例えば、木構造の根に相当する内頚動脈や椎骨動脈等の脳を栄養する動脈に種（たね）を設定し、種のボクセルの値、例えば輝度値に近い輝度値を持つボクセルを種の近傍から探し、輝度値の近いボクセルを新たな種として、順次、領域を拡張し、木構造のみのボリュームデータを抽出するような方法が挙げられる。

このようにして木構造物のボリュームデータＶ１を抽出する。抽出されたボリュームデータＶ１は、記憶部１０１のボリュームデータ記憶部１２に記憶される。

（芯線・径推定工程（ｓ２））
本プロセスでは、画像処理部１０２の芯線・径推定部２２により、木構造物の芯線及び径を推定することにより芯線Ｌ１の位置に関する数値データＤ１及びその径に関する数値データＤ２を得る。ここで、芯線Ｌ１の位置に関する数値データＤ１とは木構造物の芯線に相当する部分の３次元画像中の位置座標の集合であり、径に関する数値データＤ２とは芯線Ｌ１の位置座標の点の各位置座標を含む断層面における木構造物の径を意味する。

木構造物の芯線及び径を推定する方法としては、従来提案されている種々の方法が特に限定なく用いられる。具体的には、例えば、木構造物の複数の断層面の中心点を結ぶことにより芯線Ｌ１及びその方向を推定し、芯線方向に垂直な断層面を円形に近似して径を推定したり、また、例えば、被検体断層撮影３次元的画像のボリュームデータＶ０の木構造の根に相当する部分に円柱モデルを当てはめて、木構造の芯線Ｌ１、径及び方向を推定し、推定した方向に基づいて木構造物を追跡していき、円柱モデルを繰り返し当てはめることによって、被検体断層撮影３次元的画像のボリュームデータＶ０から芯線Ｌ１及び径を直接推定してもよい。

（ボリュームデータＶ１と芯線の位置及び径との対応付け工程（ｓ３））
芯線・径推定工程（ｓ２）で得られた芯線Ｌ１の位置の数値データＤ１及び径の数値データＤ２はそれぞれ記憶部１０１の芯線データ記憶部１３及び径データ記憶部１４に記憶される。このとき、芯線Ｌ１の位置の数値データＤ１は、木構造物のボリュームデータＶ１の各ボクセルと対応させて記憶される。具体的には、木構造物のボリュームデータＶ１を芯線上の最も近い点の位置座標に対応付けられて記憶される。

（立体画像形成工程（ｓ４）及び立体画像表示工程（ｓ５））
画像処理部１０２の木構造画像抽出部２１で抽出されたボリュームデータＶ１に基づき、立体画像形成部１０３は木構造物の立体画像を形成させる。立体画像の形成は、立体画像形成プログラムによりボリュームデータＶ１から視点位置が異なる複数の視差画像からなる視差画像群を形成する。そして、このようにして得られた視差画像群のデータＤ３をユーザーに装着されたヘッドマウントディスプレイ１０４に入力することにより、ヘッドマウントディスプレイ１０４に木構造物の立体画像を表示させる。ユーザーの頭部に装着されてユーザーの視野に立体画像を表示させるヘッドマウントディスプレイ１０４を用いることにより、複雑な血管等の木構造があたかも眼前に存在するように直感的に観察される。このようにして表示された木構造物の立体画像の一例として、頭部３次元ＣＴＡ画像から、脳血管位置と径情報を用いて抽出された脳血管の立体画像を図３に示す。

そして、立体画像形成部１０３の視点変更部１０３ａは、ヘッドマウントディスプレイ１０４を装着したユーザーの頭部の動きに合わせて変更された視点に基づいて、その視点からの木構造物の立体画像を再形成し、ヘッドマウントディスプレイ１０４に変化した木構造物の立体画像を表示させる。

図６は、ヘッドマウントディスプレイ１０４を頭部に装着したユーザーＵの頭部の動きに合わせて、視点が変化するように構成されたシステム構成の一例の概念図を示す。図６中、１０４はコンピュータ本体１００に接続されたヘッドマウントディスプレイであり、３１はヘッドマウントディスプレイ１０４に固定され、各面に異なる図柄（例えば、方向を表す「前」、「上」、「右」、「左」等）が描かれた多面体マーカ等の頭部姿勢・位置特定用マーカであり、３２はテーブル３３上に配置された、立体画像の仮想空間上の表示位置を図柄により特定させる座標定義用基準マーカであり、３０は頭部姿勢・位置特定用マーカ３１及び座標定義用基準マーカ３２の３次元位置姿勢情報を認識するためのカメラである。各マーカの形状や図柄の種類は、パターンをカメラ３０に撮影させて形状もしくは図柄により、マーカの向きを特定させることが可能な形状や図柄であればとくに限定されない。なお、１０６は後述する３次元ポインティングデバイスである。

頭部姿勢・位置特定用マーカ３１と、座標定義用基準マーカ３２と、それを撮影するためのカメラ３０と、コンピュータ本体１００にインストールされた頭部位置・姿勢認識プログラムとは、ヘッドマウントディスプレイ１０４の姿勢及び空間座標から視点を特定するための３次元位置姿勢特定部１０４ａを構成する。そして３次元位置姿勢特定部１０４ａにより決定された視点に基づいて、立体画像形成部１０３の視点変更部１０３ａにより、この視点から見たときの立体画像が形成され、ヘッドマウントディスプレイ１０４に表示される。

３次元位置姿勢特定部１０４ａによる視点の決定は、例えば、以下のように行われる。頭部姿勢・位置特定用マーカ３１及び座標定義用基準マーカ３２はそれぞれ頭部姿勢・位置特定用マーカ座標系及び座標定義用基準マーカ座標系を有する。また、カメラ３０はカメラ座標系を有する。カメラ３０は頭部姿勢・位置特定用マーカ３１及び座標定義用基準マーカ３２を含む画像を形成する。頭部位置・姿勢認識プログラムは、撮影された画像から頭部姿勢・位置特定用マーカ３１及び座標定義用基準マーカ３２のパターンを認識する。そして、認識された頭部姿勢・位置特定用マーカ及び座標定義用基準マーカの各マーカ座標系とカメラ座標系の変換行列の算出をそれぞれ行うことにより、座標定義用基準マーカ座標系を基準とする、頭部姿勢・位置特定用マーカ座標系の相対的な位置姿勢を特定することにより、頭部の位置及び姿勢に基づく視点が決定される。さらに、詳しくは、頭部位置・姿勢認識プログラムは、例えば、座標定義用基準マーカ座標からカメラ座標へ変換する座標変換行列Ｈ１と頭部姿勢・位置特定用マーカ座標からカメラ座標へ変換する座標変換行列Ｈ２を求めた後、Ｈ１の逆行列をＨ２に左から掛けることにより、頭部姿勢・位置特定用マーカから座標定義用基準マーカ座標へ変換する座標変換行列を求め、座標定義用基準マーカ座標系を基準とする、頭部姿勢・位置特定用マーカ座標系の相対的な位置姿勢を特定することにより、頭部の位置及び姿勢に基づく視点が決定される。このような頭部位置・姿勢認識プログラムは、例えば、マーカの姿勢に応じて形成される図柄のパターンを認識し、認識されたパターンのマーカ座標系とカメラ座標系の変換行列の算出することができる、例えば、広く知られた、ＡＲアプリケーションの実装を支援するＣ/Ｃ++用のプログラミングライブラリーである拡張現実感システム構築ツール「ＡＲtoolkit」を利用して構築できる。

なお、決定された視点は、実際のユーザーの視点により正確に近づくように必要に応じて補正されてもよい。ヘッドマウントディスプレイ１０４に固定された頭部姿勢・位置特定用マーカ３１は実際のユーザーの眼前に配置されたものではないために、表示される立体画像の位置がユーザーの現実の視点の位置からずれているように感じられることがある。また、頭部姿勢・位置特定用マーカ３１が立体的な形状である場合には、その立体的な形状を原因として実際のユーザーの視点の位置から幾らかずれることがある。このようなずれは、ユーザーの指示に基づいて立体画像の位置を調整したり、または、頭部姿勢・位置特定用マーカ３１の位置と実際のユーザーの視点の位置との差分を予め特定しておき、その差分に基づいて座標を操作することにより調整する等して補正してもよい。

また、本実施形態においては座標定義用基準マーカ３２をパターン認識させることにより、座標を定義する例について説明したが、座標の定義は、座標定義用基準マーカ３２を用いずに定義することもできる。例えば、頭部姿勢・位置推定用マーカに対して、予め決めた相対位置に仮想的に座標定義用基準マーカが存在するものとして座標を定義し、その位置・姿勢に対応する仮想空間上の位置に立体画像を表示する。そのとき、表示される立体画像の位置がユーザーの現実の視点の位置からずれているように感じられる場合は、ユーザーの指示に基づいて立体画像の位置を調整してもよい。

このようなシステム構成を用いて、ヘッドマウントディスプレイ１０４の姿勢及び位置を変えたときに表示される仮想空間上の脳血管の立体画像の一例を図７に示す。図７(ａ)は、ヘッドマウントディスプレイ１０４の正面に座標定義用基準マーカ３２を置いたときの配置を上側に、そのときのヘッドマウントディスプレイ１０４に表示される仮想空間上の脳血管の立体画像を下側に概念図として示している。同様に、図７(ｂ)は、座標定義用基準マーカ３２を向かって左側から覗き込むように見たときに表示される立体画像、図７(ｃ)は、座標定義用基準マーカ３２を向かって右側から覗き込むように見たときに表示される立体画像の概念図を示す。図７（ａ）〜図７（ｃ）に示すように、このようなシステム構成を用いて仮想空間上の脳血管の立体画像を観察した場合、カメラ３０によりヘッドマウントディスプレイ１０４に固定された頭部姿勢・位置特定用マーカ３１が認識されることにより、ヘッドマウントディスプレイ１０４の姿勢及び空間座標が特定される。そして、この姿勢及び空間座標の特定に基づいて視点が決定され、この視点から見たときの立体画像がヘッドマウントディスプレイ１０４に表示される。

（位置指示工程（ｓ６））
本プロセスでは、図６に示したような、ヘッドマウントディスプレイ１０４の画面に表示される仮想空間上のポインタの座標に対応付けされた３次元ポインティングデバイス１０６を実空間におけるユーザーが操作することにより、ヘッドマウントディスプレイ１０４の画面に表示される仮想空間上で木構造物の立体画像上の任意の変形起点、及び仮想空間上の移動させようとする任意の変形終点を指定する。すなわち、ユーザーは、ヘッドマウントディスプレイ１０４に表示された木構造物の立体画像を実空間上で確認しながら、３次元ポインティングデバイス１０６を介して仮想空間上で木構造物の一部分を移動させたい方向に変形させるように画像処理部１０２の芯線変形部２３に指示を与える。

３次元ポインティングデバイス１０６は、ユーザーが実空間から仮想空間内のポインタを操作することにより、仮想空間内の木構造物の立体画像の任意の変形起点、及び、仮想空間内の任意の変形終点を指示するためのデバイスである。３次元ポインティングデバイス１０６は、とくに限定されないが、例えば、図６に示すようなスティックの先端に各面に形状や図柄等のマークを有する多面体を接続し、カメラでパターン認識させることにより空間座標を特定できるようなものや、市販の３次元ポインティングデバイス等が挙げられる。本工程で指定された木構造物の３次元画像上の変形起点及び画面上の変形終点は記憶部１０１の指示点記憶部１５に記憶される。

（芯線変形工程（ｓ７））
芯線変形処理は、画像処理部１０２の芯線変形部２３により、位置指示工程（ｓ６）において指定され、指示点記憶部１５に記憶された変形起点Ｐに最も近い芯線上の第１の点を芯線Ｌ１の位置の数値データＤ１から特定し、第１の点を変形終点に移動させたときに芯線を変形させて形成される新たな芯線Ｌ２の数値データＤ１１を形成させる工程である。図３の脳血管の３次元的な画像の一部分を拡大した、図４及び図５を例として参照しながら、この工程について詳しく説明する。

図４（ａ）は図３の矩形で囲まれた部分の血管形状の部分拡大画像、図４（ｂ）はそのトレース図に芯線Ｌ１を重ねて表示した説明図を示す。また、図５（ａ）は図３の矩形で囲まれた部分の新たな芯線Ｌ２に基づいて生成された血管形状の部分拡大画像、図５（ｂ）は図５（ａ）のトレース図に新たな芯線Ｌ２を重ねて表示した説明図を示す。

図４（ｂ）に示すように、木構造部である脳血管の３次元画像には血管断面の略中央を通過するように芯線が存在し、３次元画像の各ボクセルは芯線の数値データＤ１の各座標における点のいずれかに対応付けられている。そして、第１の芯線Ｌ１の座標における点を、血管断面の略中心点である複数のノードＮとみなすことによって、この複数のノードＮ間を連結するようにしてリンク直線を形成している。

位置指示工程（ｓ６）において、ユーザーから変形起点Ｐ及び変形終点ＮＴが指示された場合、画像処理部１０２の芯線変形部２３は指示された変形起点Ｐから最も近い芯線Ｌ１上のノードＮＳを算出する。そして、ノードＮＳが変形終点ＮＴに移動したときに、ノードＮＳに近い数ノード分及びそれに接続されたリンク直線を連動させるように移動させて新たな芯線Ｌ２を生成させる。すなわち、ノードＮＳを変形終点ＮＴにまで仮想的に移動させた場合に、ノードＮＳを中心にリンク直線及びノードを移動させ芯線Ｌ１を変形させることにより、新たな芯線Ｌ２が生成される。

このような芯線の変形は、ノードＮを質点とみなし、質点同士をバネで連結した心線点列である血管位置情報のみを利用したバネ質点モデルや、質点同士をバネで連結するのではなく質点の元の位置と質点をバネで連結した心線点列である血管位置情報のみを利用したバネ質点モデル、血管の表面もしくは内部まで詳細にモデル化した有限要素法モデル、ノードを中心にリンク直線を回転するリンクモデル等により処理することができる。

（木構造物のボリュームデータの変更工程（ｓ８））
芯線変形工程（ｓ７）において形成された新たな芯線Ｌ２に基づいて、画像処理部１０２の木構造画像変更部２４により、木構造物のボリュームデータＶ１を変更して、新たな木構造物のボリュームデータＶ２を生成させる。

図５（ｂ）に示すように、新たな芯線Ｌ２は、新たな木構造部画像の略中央を通過するように対応付けられた複数の断面の略中心点である複数のノードをリンク直線で連結して形成されている。本工程においては、木構造画像変更部２４は、新たな芯線Ｌ２の数値データＤ１１に基づいて、木構造物のボリュームデータＶ１を書き換えて新たなボリュームデータＶ２を生成させる。具体的には、例えば、木構造画像変更部２４は、芯線Ｌ１が芯線Ｌ２に変形したときの芯線Ｌ２及び芯線Ｌ２の各ノードの位置に対応する芯線Ｌ１の径に基づいて、ボリュームデータＶ１を書き換えて新たなボリュームデータＶ２を生成させる。

（新たな木構造物の画像表示工程（ｓ９））
本工程においては、立体画像形成部１０３により、木構造物のボリュームデータの変更工程（ｓ８）で生成されたボリュームデータＶ２に対してレンダリング処理を行うことにより、図５（ａ）に示すように変形された新たな木構造物の３次元画像を形成する。そしてこのようにして得られた３次元画像から視差画像群を形成し、その立体画像をヘッドマウントディスプレイ１０４の画面に表示させる。

以上説明した本実施形態の画像処理システムによれば、被検体断層撮影３次元画像から得られた血管等の木構造物の立体画像を用いて、外側からの観察では死角になるような部分を木構造物があたかも眼前に存在するかのような感覚で、姿勢に合わせて視点を変化させながら視認することができる。また、例えば、図４（ａ）に示した立体表示された血管の画像の奥行方向に重なっている血管の領域（Ａ）を、図５（ａ）に示した領域（Ｂ）のように、掻き分けるようにしてその部分の血管形状を仮想的に観察することもできる。

本発明によれば、病変部の発見が容易になることにより医師の負担が減るだけなく、病変部の見落としも防ぐことができる。また、例えば、余計な血管を掻き分け、見たい血管だけを見ることもできるため、手術を行う上でのイメージがしやすくなる。さらに、近年、医療行為を行う上でインフォームドコンセントが求められている。仮に病変部が奥にあったとしても、余計な血管を掻き分け、病変部をあらわにすることにより、どこにどんな形状をした病変があり、そしてどんな治療を行うのかといったことの説明および理解を助ける。

１ 画像処理装置
１１ 断層撮影３次元画像記憶部
１２ ボリュームデータ記憶部
１３ 芯線データ記憶部
１４ 径データ記憶部
１５ 指示点記憶部
２１ 木構造画像抽出部
２２ 芯線・径推定部
２３ 芯線変形部
２４ 木構造画像変更部
３０ カメラ
３１ 頭部姿勢・位置特定用マーカ
３２ 座標定義用基準マーカ
３３ テーブル
１００ コンピュータ本体
１０１ 記憶部
１０２ 画像処理部
１０３ 立体画像形成部
１０３a 視点変更部
１０４ ヘッドマウントディスプレイ
１０４ａ ３次元位置姿勢特定部
１０５ 入力部
１０６ ３次元ポインティングディスプレイ
１１０ 医用画像診断装置
１１１ 画像保管装置

Claims (8)

1. 被検体断層撮影３次元画像から抽出された木構造物の３次元画像から形成された視差画像群を用いて前記木構造物の立体画像を形成させる立体画像形成部と、
   ユーザーの頭部に装着され、前記立体画像を仮想空間上に表示させるヘッドマウントディスプレイと、
   前記頭部の動きによって変化する前記ヘッドマウントディスプレイの姿勢及び空間座標を特定するための３次元位置姿勢特定部と、
   前記姿勢及び空間座標に基づいて、前記立体画像の表示の視点を変化させる視点変更部と、を備えることを特徴とする画像処理システム。
2. 前記３次元位置姿勢特定部は、
   前記ヘッドマウントディスプレイの周囲に固定され、各面に図柄が描かれた多面体状の頭部姿勢・位置特定用マーカと、
   前記頭部姿勢・位置特定用マーカを撮影して画像を形成するためのカメラと、
   撮影された前記画像から、前記頭部姿勢・位置特定用マーカの図柄が形成するパターンを認識して、前記頭部姿勢・位置特定用マーカの位置座標を算出することにより、前記仮想空間上において、前記頭部の位置及び姿勢に基づく視点を特定するための頭部位置・姿勢認識プログラムと、から構成される請求項１に記載の画像処理システム。
3. 基準座標を図柄が示すパターンにより特定させる座標定義用基準マーカをさらに備える請求項２に記載の画像処理システム。
4. 前記被検体断層撮影３次元画像から抽出された木構造物の３次元画像を記憶する記憶部と、
   前記被検体断層撮影３次元画像または前記木構造物の３次元画像から前記木構造物の芯線及び径を推定する芯線・径推定部と、
   実空間における前記ユーザーからの指示により、前記木構造物の前記立体画像上の変形起点と前記仮想空間上の変形終点を指定する３次元ポインティングデバイスと、
   前記変形起点から最も近い前記芯線上の第１の点を識別し、該第１の点が前記変形終点に移動したときに変形されて形成される第２の芯線を生成させる芯線変形部と、
   前記第２の芯線及び前記推定された前記木構造物の径に基づいて前記木構造物の３次元画像のボリュームデータを変更することにより、第２の木構造物の３次元画像を生成する画像変更部と、
   前記木構造物の立体画像を前記第２の木構造物の立体画像に変化させて前記ヘッドマウントディスプレイに表示させる画像形成部と、をさらに備える請求項１〜３の何れか１項に記載の画像処理システム。
5. 前記芯線・径推定部は、前記木構造物の３次元画像を用い、前記木構造部の断面の複数の中心点を結ぶことにより前記木構造物の芯線を推定し、前記木構造物の芯線に垂直な各前記中心点を中心とする各断層面を円形に近似して径を推定する請求項４に記載の画像処理システム。
6. 前記芯線・径推定部は、前記被検体断層撮影３次元画像を用い、前記芯線および径を直接推定する請求項４に記載の画像処理システム。
7. 前記芯線変形部は、前記推定された芯線上に複数のノードを設定し、前記変形起点から最も近い前記ノードを第１ノードとして識別し、
   前記変形終点を第２の点として設定し、
   前記第１ノードを第２の点に移動させたときに、前記第１ノードに近い数ノード分及びそれらを連結するリンク直線を連動させて移動させるようにして第２の芯線を生成させる請求項４〜６の何れか１項に記載の画像処理システム。
8. 前記木構造物の芯線と前記木構造物の３次元画像とが対応付けられている請求項４〜７の何れか１項に記載の画像処理システム。