JP2010541114A - データセットのボリュームレンダリングのための方法及び装置 - Google Patents

データセットのボリュームレンダリングのための方法及び装置 Download PDF

Info

Publication number
JP2010541114A
JP2010541114A JP2010528394A JP2010528394A JP2010541114A JP 2010541114 A JP2010541114 A JP 2010541114A JP 2010528394 A JP2010528394 A JP 2010528394A JP 2010528394 A JP2010528394 A JP 2010528394A JP 2010541114 A JP2010541114 A JP 2010541114A
Authority
JP
Japan
Prior art keywords
interest
soi
volume rendering
parameters
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010528394A
Other languages
English (en)
Other versions
JP5318877B2 (ja
Inventor
カーニッツァー・アーミン
ムロツ・ルーカス
ヴェーゲンキットル・ライナー
コールマン・ペーター
ブルックナー・シュテファン
グレッラー・エドゥアルト
Original Assignee
アグファ・ヘルスケア・ナームローゼ・フェンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アグファ・ヘルスケア・ナームローゼ・フェンノートシャップ filed Critical アグファ・ヘルスケア・ナームローゼ・フェンノートシャップ
Publication of JP2010541114A publication Critical patent/JP2010541114A/ja
Application granted granted Critical
Publication of JP5318877B2 publication Critical patent/JP5318877B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering

Abstract

本発明は、データセット、特に医学的データセットのボリュームレンダリングのための方法、及びそれに対応する装置に関し、この装置は、物体、特に患者のデータセット18の少なくとも1つのスライスビュー12を表示するためのディスプレイ11と、少なくとも1つの表示されたスライスビュー12における関心構造SOI上の位置のユーザによる選択を可能とするユーザ選択ユニット13、14、15と、1つ又は複数の第1のパラメータに基づき関心構造SOIのボリュームレンダリング17を決定するためのボリュームレンダリングユニット16とを含み、前記第1のパラメータが関心構造SOIについての表示されるボリュームレンダリング17のビューを特徴付け、関心構造SOIの前記ボリュームレンダリング17はディスプレイ11に表示される。必要なユーザ入力を低減しながらデータセット18の良好なボリュームビューを実現するため、前記ボリュームレンダリングユニット16は、ユーザにより選択された位置と1つ又は複数の第2のパラメータとを考慮することにより前記第1のパラメータを自動的に決定するように設計され、前記第2のパラメータは、物体と、関心構造SOIと、現在表示されているスライスビュー12と、その関心構造SOIの1つ又は複数の過去のボリュームレンダリング17とのうちの少なくとも1つを特徴付け、前記ボリュームレンダリングユニット16は、ユーザによる位置選択を別として追加的なユーザ入力なしに、関心構造SOIについての表示されるボリュームレンダリング17に関して最適化されたビューが実現されるような方法で、前記第1のパラメータを決定するように設計される。

Description

本発明は、独立請求項の前段に係る、データセット、特に医学的データセットのボリュームレンダリングのための方法及び装置に関する。
現代の医用画像モダリティ(例えばコンピュータ断層撮影法)は、多量のデータをこれまでに例のない解像度で提供する。この膨大な量の情報を表示することは、現在の放射線科のワークステーションにとって困難な課題である。ボリュームレンダリングは、優れたデータサーベイ結果を提供するために選択される現行の方法である。二次元(2D)断面によって提供される情報と三次元(3D)可視化との組み合わせにより、診断プロセスを改善することができる。異なるデータ表現を連係させると、効率性の大幅な向上がもたらされるという潜在的な利益がある。これに関連して、通常、ボリューム表示は概観表示として機能する。断面像が、診断上関連性のある情報を含む。
ボリューム表示において病変領域を指し示すと、それに対応する、二次元表示領域のなかの表示対象の断面像が選択される。技術的観点からは、このプロセスは比較的実施が容易である。対象とする点の3D位置を、所定のビューポート指定(すなわち、変換関数及び視線方向)から推定することができる。対応する断面像における位置のハイライトは自由度が低くなる点に留意することが重要である。
しかしながら、逆の操作はそのように単純ではない。断面スライス上の二次元位置をピッキングすることで、遮蔽のない表現的な3Dビューが得られるべきである。断面像においてある点を選択することにより、対象位置を十分に定義したとしても、それぞれの3Dレンダリングにおいて対象領域を適切にハイライトするのは、難題である。
2Dで選択した構造を、その三次元設定において強調する一般的な動機は、文脈情報を得ることである。簡潔な例によりこの状況が説明される:コンピュータ断層撮影血管造影の断面像を読影するなかでは、部分的に見える特定の血管が、どの解剖学的構造に属するのかを決定する必要が頻繁に生じる。この場合、描出された血管及びその空間的な近傍のボリュームレンダリングが望ましいであろう。最適な結果となるには、選択した構造がかなりの程度まで見えるべきで、重要度の低い構造によって遮蔽されてはならない。
視点選択は、ポリゴンシーンについて十分に調査がなされている研究領域であるが、ボリュームデータの範囲で行われた研究は比較的少ない。さらに、最適な視点推定と同期ビューとの組み合わせについては、これまでほとんど関心がもたれていなかった。
非特許文献1は、既知の幾何形状を有するイメージベーストモデルについてカメラを自動配置するための手法を提案した。表面の可視性及び遮蔽性に品質尺度が適用される。視点の審美的側面について、カノニカルビューに似た方法が非特許文献2によって調査されている。彼らの実験設定では、ユーザは、三次元物体モデルに対する視点の良さについて評点を割り当てる。フィードバックに基づき、良好な視点についての一組の基準が定義される。仮想シーンについての視点品質を決定するため、非特許文献3は、シーンにおけるポリゴンの投影面積のカルバック・ライブラー距離に基づく尺度を適用した。非特許文献4により発表されたメッシュの視覚的特徴による手法は、メッシュの局所的な重要度を測る。これはメッシュ簡略化の他、視点選択に対しても同様に用いることができる。非特許文献5、非特許文献6は、コンピュータグラフィックスにおいて、何が良好なビューを定義するのかについての合意がないという問題に取り組んだ。良好なビューイング位置を自動的に計算するため、情報理論に基づく視点エントロピーを導入している。非特許文献7は、オブジェクトの最良なビューの計算を目標とした。彼らは一組のビュー記述子を定義することによって視点品質を測っている。非特許文献8は、医学的なサーフェイス可視化における視点選択に向けた手法を提案した。彼らの研究は、共同での介入計画及び手術教育のための動画生成を目指している。
ポリゴンデータに関する調査研究に着想を得た、ボリュームデータの視点選択に関する最近の研究がいくつかある。非特許文献9は、所与のシーンについて一組の最少数の代表的ビューを決定するためのエントロピーベースの手法を提案した。彼らの視点選択プロセスには、データ分布、変換関数及びボクセルの可視性が考慮される。良好な視点を選択するための特徴駆動型の手法が、非特許文献10により提案されている。彼らは、局所的に最適となる視点を検出するためのボリュームの特徴成分を特定した。こうした視点を利用して、全体として最適な視点が求められる。非特許文献11は、ボリュームデータ内の構造に焦点を合わせるための重要度駆動型の手法を発表した。ユーザが焦点となるオブジェクトを定義すると、彼らのシステムによって対象オブジェクトの表現的なビューを提供する特徴的な視点が自動的に選択される。血管造影ボリュームについての視点選択を促進する枠組みが、非特許文献12により提案されている。血管の可視性、範囲及び自己遮蔽性についてのビュー記述子を考慮して、全体的に最適なビューが決定される。このビューは、視点の解空間における検索プロセスによって選択される。
視点選択のための技術に加え、ボリュームデータにおける関心領域(ROI)を定義するための手法が数多くある。ボリュームを対象とするとき、この領域は関心体積(VOI)とも称される。非特許文献13は、ディテール及びコンテキストのダイレクトボリュームレンダリングのためのExoVisを提案した。ボリューム内にボックスを置くことにより、VOIを定義することができる。変換処理によってボリュームからこの部分が抽出され、この3Dカットアウトを、種々のレンダリングスタイル又は変換関数により表示することができる。非特許文献14は、セグメント化されていないボリュームデータ内でROIを指定するための技術として、ボリュームキャッチャーを提案した。ユーザが対象とする構造の輪郭に沿って2Dストロークを描くことによりこの領域を定義すると、彼らのシステムは、統計学的な領域結合に基づき制約付きのセグメンテーションを実行する。非特許文献15は、VOIを強調するための焦点領域に基づく特徴ベースのボリュームレンダリングを提案した。彼らの手法では、球体などの幾何学的形状を使用して、ボリュームを焦点領域とコンテキスト領域とに分割する。組織分類に関して、非特許文献16により興味深い研究が行われている。彼らは局所的な3D輝度構造を考慮しており、それにより、エッジ、シート、ライン及びブロブなどの局所的な特徴が特定され、そうした特徴が、典型的には、医学的なボリュームデータにおける組織のタイプに相当する。彼らのローカル構造フィルタは、ガウスブラーと組み合わせたボリューム輝度のヘッシアン行列と共に勾配ベクトルを使用する。
こうした研究にもかかわらず、対象構造において遮蔽のない良好なビューを得るためのビューポートパラメータの調節は、なお複雑で時間がかかる。通常、ユーザは、適切な視点、ズーム、変換関数設定、クリッピング平面及び他のパラメータに注意を払わなければならない。多くの場合にボリュームデータセットのボリュームレンダリングではなく、2Dスライスしか検査されないのは、このためである。
S.Fleishman、D.Cohen−Or、及びD.Lischinski、「イメージベーストモデリングのための自動カメラ配置(Automatic camera placement for image−based modeling)」、Computer Graphics Forum、19(2):101−110、2000年 V.Blanz、M.J.Tarr、及びH.H.Buelthoff、「どのオブジェクト属性がカノニカルビューを決定するのか?(What object attributes determine canonical views?)」 Perception、28:575−599、1999年 M.Sbert、D.Plemenos、M.Feixas、及びF.Gonzalez、「視点品質:尺度と適用(Viewpoint quality:Measures and applications)」、Computational Aesthetics ’05所収、185−192頁、2005年 C.H.Lee、A.Varshney、及びD.W.Jacobs、「メッシュの視覚的特徴(Mesh saliency)」、ACM SIGGRAPH ’05所収、659−666頁、2005年 P.−P.Vazquez、M.Feixas、M.Sbert、及びW.Heidrich、「視点エントロピーを用いた視点選択(Viewpoint selection using viewpoint entropy)」、VMV ’01所収、273−280頁、2001年 P.−P.Vazquez、M.Feixas、M.Sbert、及びW.Heidrich、「視点エントロピーを用いた自動ビュー選択及びイメージベーストモデリングに対するその応用(Automatic view selection using viewpoint entropy and its application to image−based modelling)」、Computer Graphics Forum、22(4):689−700、2003年 O.Polonsky、G.Patane、S.Biasotti、C.Gotsman、及びM.Spagnuolo、「画像が含むもの:オブジェクトの「最良の」ビューの計算に向けて(What’s in an image:Towards the computation of the "best" view of an object)」、The Visual Computer、21(8−10):840−847、2005年 K.Muehler、M.Neugebauer、C.Tietjen、及びB.Preim、「介入計画のための視点選択(Viewpoint selection for intervention planning)」、視覚化に関するEurographics/IEEE VGTCシンポジウム(Eurographics/IEEE VGTC Symposium on Visualization)所収、267−274頁、2007年 U.D.Bordoloi及びH.−W.Shen、「ボリュームレンダリングのためのビュー選択(View selection for volume rendering)」、IEEE可視化 05年版(IEEE Visualization ’05)所収、487−494頁、2005年 S.Takahashi、I.Fujishiro、Y.Takeshima、及びT.Nishita、「ボリューム可視化のための最適視点配置に向けた特徴駆動型アプローチ(A feature−driven approach to locating optimal viewpoints for volume visualization)」、IEEE可視化 05年版(IEEE Visualization ’05)所収、495−502頁、2005年 I.Viola、M.Feixas、M.Sbert、及びM.E.Groeller、「関心の重要度駆動型焦点(Importance−driven focus of attention)」、視覚化及びコンピュータグラフィックスに関するIEEEトランザクション(IEEE Transactions on Visualization and Computer Graphics)、12(5):933−940、2006年 M.−Y.Chan、H.Qu、Y.Wu、及びH.Zhou、「血管造影ボリュームのための視点選択(Viewpoint selection for angiographic volume)」、ビジュアルコンピューティングに関する国際シンポジウム 06年版(International Symposium on Visual Computing ’06)所収、528−537頁、2006年 M.Tory及びC.Swindells、「ExoVis、オリエンテーションアイコン、及びインプレース3D可視化技術の比較(Comparing ExoVis,orientation icon,and inplace 3D visualization techniques)」、Graphics Interface ’03所収、57−64頁、2003年 S.Owada、F.Nielsen、及びT.Igarashi、「ボリュームキャッチャー(Volume catcher)」、インタラクティブ3Dグラフィックス及びゲームに関するシンポジウム 05年版(Symposium on Interactive 3D Graphics and Games ’05)所収、111−116頁、2005年 J.Zhou、M.Hinz、及びK.D.Toennies、「焦点領域に基づく特徴ベースのボリュームレンダリング(Focal region−guided feature−based volume rendering)」、3Dデータの処理、可視化及び伝送に関する第1回国際シンポジウム 02年版(1st International Symposium on 3D Data Processing, Visualization and Transmission ’02)所収、87−90頁、2002年 Y.Sato、C.−F.Westin、A.Bhalerao、S.Nakajima、N.Shiraga、S.Tamura、及びR.Kikinis、「ボリュームレンダリングのための局所的な3D輝度構造に基づく組織分類(Tissue classification based on 3D local intensity structures for volume rendering)」、視覚化及びコンピュータグラフィックスに関するIEEEトランザクション(IEEE Transactions on Visualization and Computer Graphics)、6(2):160−180、2000年 J.M.van Verth及びL.M.Bishop、「ゲーム及び対話型アプリケーションの基礎数学(Essential Mathematics for Games and Interactive Applications)」、Morgan Kaufmann Publishers、San Francisco、California、2004年 E.Williams、「航空学公式集(Aviation Formulary)」V1.43、http://williams.best.vwh.net/avform.htmlにおいてオンラインで利用可能、2007年3月 仮想テレインプロジェクト(Virtual Terrain Project)、http://www.vterrain.org/Textures/spherical.htmlにおいてオンラインで利用可能、2007年3月 P.Bourke、「球体上の分布点(Distributing Points on a Sphere)」、http://local.wasp.uwa.edu.au/〜pbourke/geometry/spherepoints/においてオンラインで利用可能、2007年3月
本発明の目的は、データセット、特に医学的データセットの良好なボリュームビューを可能とし、且つ必要とされるユーザ入力を低減した方法及びそれに係る装置を提供することである。
本目的は、独立請求項に係る方法又はそれぞれの装置によって実現される。
本発明に係る方法は、以下のステップ、すなわち、物体のデータセット、特に患者の医学的データセットを取得するステップと、取得したデータセットの少なくとも1つのスライスビューを表示するステップと、少なくとも1つの表示されたスライスビューにおける関心構造(SOI)上の位置をユーザが選択するステップと、1つ又は複数の第1のパラメータに基づき関心構造のボリュームレンダリングを表示するステップであって、前記第1のパラメータが、関心構造についての表示されるボリュームレンダリングのビューを特徴付ける、ステップとを含み、前記第1のパラメータは、ユーザにより選択された位置と1つ又は複数の第2のパラメータとを考慮することにより自動的に決定され、前記第2のパラメータは、物体と、関心構造と、現在表示されているスライスビューと、その関心構造の1つ又は複数の過去のボリュームレンダリングとのうちの少なくとも1つを特徴付け、及び前記第1のパラメータは、ユーザによる位置選択を別として追加的なユーザ入力なしに、関心構造についての表示されるボリュームレンダリングに関して最適化されたビューを実現するような方法で決定される。
これに対応する本発明に係る装置は、物体、特に患者のデータセットの少なくとも1つのスライスビューを表示するためのディスプレイと、少なくとも1つの表示されたスライスビューにおける関心構造(SOI)上の位置のユーザによる選択を可能とするユーザ選択ユニットと、1つ又は複数の第1のパラメータに基づき関心構造のボリュームレンダリングを決定するためのボリュームレンダリングユニットであって、前記第1のパラメータが、関心構造についての表示されるボリュームレンダリングのビューを特徴付け、前記関心構造のボリュームレンダリングがディスプレイに表示される、ボリュームレンダリングユニットとを含み、前記ボリュームレンダリングユニットは、ユーザにより選択された位置と1つ又は複数の第2のパラメータとを考慮することにより前記第1のパラメータを自動的に決定するように設計され、前記第2のパラメータは、物体と、関心構造と、現在表示されているスライスビューと、その関心構造の1つ又は複数の過去のボリュームレンダリングとのうちの少なくとも1つを特徴付け、及び前記ボリュームレンダリングユニットは、ユーザによる位置選択を別として追加的なユーザ入力なしに、関心構造についての表示されるボリュームレンダリングに関して最適化されたビューを実現するような方法で、前記第1のパラメータを決定するように設計される。
本発明に関して、1つ又は複数の第1のパラメータは「ビューポートパラメータ」とも称され、第2のパラメータは「入力パラメータ」とも称される。
本発明は、
−関心構造上のユーザにより選択された位置と、
−1つ又は複数の第2のパラメータと、
によって与えられる情報のみから、選択された関心構造の良好なボリュームビューのためのビューポートパラメータ、すなわち第1のパラメータを導出するための手法に基づき、ここで第2のパラメータは、それぞれ、物体、関心構造、現在表示されているスライスビュー又はその関心構造の1つ又は複数の過去のボリュームレンダリングの特性から自動的に推定することができる。
このようにして、関心構造上の位置選択に必要なユーザ入力が低減されながらも、データセットの良好なボリュームビューが実現される。
本発明の好ましい実施形態において、1つ又は複数の第1のパラメータは、
−表示されるボリュームレンダリングにおいて関心構造を見るときの基点となる視点と、
−表示されるボリュームレンダリングにおいて関心構造を見る方向である視線方向と、
−少なくとも1つのクリッピング面であって、各クリッピング面が関心構造を第1の領域と第2の領域とに分け、ここでクリッピング面の第1の領域にある関心構造のディテールはボリュームレンダリングに表示されるが、一方、クリッピング面の第2の領域にある関心構造のディテールはボリュームレンダリングに表示されず、ここで少なくとも1つのクリッピング面は好ましくは、視線方向と整列した平面的なクリッピング平面である、クリッピング面と、
−表示されるボリュームレンダリングにおける関心構造のサイズを特徴付けるボリュームズーム倍率と、
のうちの少なくとも1つを含む。
これにより、第1のパラメータの数が、良好なボリュームビューに最も関連性の高いものに低減され、第1のパラメータの導出は単純且つ高速でありながら、ライブで同期する2D/3Dビューが可能となる。
また、物体を特徴付ける1つ又は複数の第2のパラメータが、物体、特に患者のデータセットが取得されたときの物体の向き、特に患者の向きを含むことも好ましい。さらに、関心構造を特徴付ける1つ又は複数の第2のパラメータが、関心構造の形状に関する情報を含むことが好ましい。好ましくは、関心構造を特徴付ける1つ又は複数の第2のパラメータは、関心構造の可視性に関する情報を含む。別の好ましい実施形態において、その関心構造の1つ又は複数の過去のボリュームレンダリングを特徴付ける1つ又は複数の第2のパラメータは、その関心構造の過去に表示された1つ又は複数のボリュームレンダリングにおいて関心構造を見るときの1つ又は複数の基点となった1つ又は複数の過去の視点に関する情報を含む。さらに、現在表示されているスライスビューを特徴付ける1つ又は複数の第2のパラメータが、現在表示されているスライスビューにおける関心構造のサイズに関する情報を含むことが好ましい。
上述された第2のパラメータは、利用可能なデータ、例えばデータセット又はデータセットの取得に関する情報から自動的に取得又は推定することが容易にできるため、第2のパラメータの取得又は推定に関してさらなるユーザ入力は必要ない。
本発明の好ましい実施形態において、第2のパラメータのうちの少なくとも1つについて、その第2のパラメータのうちの少なくとも1つに起因する視点の品質に関する情報が導出される。ピッキングされた関心構造に関する特に良好なビューを実現するため、変形ビューイング球体(viewing sphere)の概念が用いられ、ここでビューイング球体は、走査されたデータセットの中心を取り囲み、その物体に対して可能なあらゆるカメラ位置を表す。ピッキング操作が行われると、常に第2のパラメータを利用して変形ビューイング球体における視点品質が映像化(符号化)される。種々の第2のパラメータについて変形球体を合成した後、得られた球から、ピッキングされた関心構造に関して可能なあらゆる視点についての推定品質を決定することができる。
特に、視点の品質に関する情報は、少なくとも1つの第2のパラメータについて変形ビューイング球体を計算することによって導出され、ここでビューイング球体からの径方向距離がより大きい視点の位置は、ビューイング球体からの径方向距離がより小さい視点より良好と見なされる。
特に、変形ビューイング球体は、2つ以上の第2のパラメータについて計算され、それらの第2のパラメータから得られた視点の品質に関する情報を含む合成変形ビューイング球体が得られるように合成される。第2のパラメータについての変形ビューイング球体は、合成変形ビューイング球体に合成される前に重み付けされることが好ましい。特に、変形ビューイング球体は、変形ビューイング球体の加算、乗算又は閾値処理によって合成される。
好ましくは、それぞれ変形ビューイング球体又は合成変形ビューイング球体のビューイング球体からの径方向距離が実質的に最大となる視点を選択することにより、良好な視点が決定される。また、ユーザにより選択された位置と良好な視点とによって良好な視線方向が定義されることも好ましい。好ましい実施形態において、それぞれ変形ビューイング球体又は合成変形ビューイング球体を考慮し、且つ、ユーザにより選択された位置を始端とする投影線についての関心構造の累積不透明度を考慮することにより、良好なクリッピング面が位置決めされ、ここで良好なクリッピング平面は、累積不透明度が所与の閾値未満である位置に位置決めされる。別の実施形態において、ボリュームズーム倍率は、現在表示されているスライスビューにおける関心構造のサイズ、特にスライスビューズーム倍率を考慮することにより決定されることが提供される。
上述されたステップのうちの1つ又は複数により、第1のパラメータの単純且つ迅速な導出が実現される。
2D/3Dビューのライブ同期に関する本発明の有利な実施形態は、表示されたスライスビューにおける関心構造上の種々の位置を逐次的にポイントすることにより、ユーザによっていくつかの位置が選択されることを特徴とし、ここで、いくつかの位置の各位置について、関心構造についての表示されるボリュームレンダリングに関して最適化されたビューを、関心構造上の種々の位置を逐次的にポイントすることを別として、追加的なユーザ入力なしに実現するような方法で、前記第1のパラメータが自動的に決定されるとともに、対応する関心構造のボリュームレンダリングの表示が逐次的に更新される。
表示されたスライスビューの関心構造に沿って連続的にトレースすることにより、関心構造上の複数の位置がユーザによって選択されることが特に好ましく、ここで、複数の位置の各位置について、関心構造についての表示されるボリュームレンダリングに関して最適化されたビューを、関心構造に沿って連続的にトレースすることを別として、追加的なユーザ入力なしに実現するような方法で、前記第1のパラメータが自動的に決定されるとともに、対応する関心構造のボリュームレンダリングの表示が連続的に更新される。この実施形態は、本発明に係る2D/3Dビューのライブ同期の非常に有利な応用である。
それに加えて、又はそれに代えて、関心構造上の1つ又は複数の位置が自動的に、すなわちユーザとの対話なしに選択される。好ましくは、関心構造及びその形状及び/又はラン(run)は自動的に特定され、関心構造上の位置は、特定された関心構造の形状及び/又はランに沿って自動的に位置決めされる。例えば心血管データセットが分析され、血管は、血管の中心に沿って延びる中心線を介して特定及び記述される。このとき、前記中心線に沿った1つ又は複数の位置が自動的に選択され、それに従いボリュームビューが設定又は更新される。従って、心血管データセットの関連性のある血管に関する良好なボリュームビューの実現に、ユーザ対話は不要である。
また、前記第1のパラメータの自動決定と、それに続く、対応するボリュームレンダリングの更新表示を、ユーザがアクティブ化したり、非アクティブ化したりすることができることも好ましい。この実施形態において、アクティブ化及び非アクティブ化は、アクティベーションキー、特にファンクションキー若しくはコントロールキーを押したり、放したりすることによるか、又はディスプレイ上のアイコンを選択することによって起こり得る。特に、前記第1のパラメータの自動決定と、それに続く、それぞれのボリュームレンダリングの更新表示は、表示されたスライスビューにおける関心構造上の位置がユーザによって選択され、それと同時にアクティベーションキーがユーザによって押されているときにのみ行われる。本発明のさらなる実施形態において、ユーザが、前記第1のパラメータの自動決定と、それに続く、それぞれのボリュームレンダリングの表示を非アクティブ化して、自動的に決定された第1のパラメータのうちの少なくとも1つを修正すると、そのうえで、修正された第1のパラメータに基づき関心構造の更新されたボリュームレンダリングが表示される。
本発明の別の、又は代替的な実施形態において、1つ又は複数の物体、特に1人又は複数の患者の過去に取得したデータセットから少なくとも2つの変形ビューイング球体が得られ、前記過去に取得したデータセット及び今回取得したデータセットの双方とも、同じタイプの検査に由来し、ここで、今回取得したデータセットの関心構造についての表示されるボリュームレンダリングのビューを特徴付ける第1のパラメータは、過去に取得したデータセットから得られた少なくとも2つの変形ビューイング球体を考慮することにより決定される。
この実施形態は、患者の今回取得した医学的データのボリュームレンダリングを特徴付ける少なくとも1つの第1のパラメータ、特に視点を、前記患者及び/又は別の患者及び/又は他の患者らの過去に取得した医学的データから計算された変形ビューイング球体から導出する手法に基づく。このように過去に得られた情報を利用することにより、今回取得したデータセットに関する良好なボリュームビューが容易に得られる。
好ましくは、このようにして導出された第1のパラメータは、今回取得した医学的データのボリュームレンダリングの初期表示に用いられる。続いて、今回検査した患者と、今回選択したSOIと、現在表示されているスライスビューと、今回選択したSOIの既に表示されたボリュームレンダリングとのうちの少なくとも1つを特徴付ける1つ又は複数の第2のパラメータに基づく第1のパラメータの決定が、上記に詳細に記載されるとおり実施され得る。
過去に取得したデータセットから得られる前記少なくとも2つの変形ビューイング球体は、累積変形ビューイング球体が得られるように重畳され、且つ第1のパラメータが、前記累積変形ビューイング球体から導出されることが好ましい。この好ましい実施形態において、同じ又は異なる患者の、但し同じ医学検査タイプに由来する医学的データ、例えば、患者の頭部のコンピュータ断層撮影画像から計算された種々の変形ビューイング球体に含まれる情報は、例えば加算及び/又は平均化により累積又は重畳され、累積変形ビューイング球体とされる。前記累積変形ビューイング球体から、今回検査した患者の今回取得した医学的データの良好な初期ビューをもたらす第1のパラメータを、容易且つ極めて迅速に推定することができる。
また、過去に取得したデータセットから得られる前記少なくとも2つの変形ビューイング球体のうちの少なくとも1つが、2つ以上の第2のパラメータについての2つ以上のビューイング球体を合成することによって得られる合成変形ビューイング球体であり得ることも好ましく、第2のパラメータは、過去に検査した患者と、過去に選択したSOIと、過去に表示したスライスビューと、過去に選択したSOIの過去のボリュームレンダリングとのうちの少なくとも1つを特徴付ける。変形ビューイング球体を合成変形ビューイング球体に合成すること、及びその利点は、既に上記で説明した。
要約すれば、本発明は、データセットの2Dスライスビューと3Dビューとを同期させるための新規概念を提供する。表示された2Dスライスビュー上で位置を直感的にピッキングすることにより、ユーザは自身が関心を持つ解剖学的構造を定義する。ユーザに表現的な3D画像を提供することを目的として、3Dボリュームビューが自動的に更新される。この実時間の、すなわち「ライブ」同期−従って、本発明については用語「LiveSync」−を実現するため、セグメント化されたデータセット及びデータに固有の予備計算等を必要とすることなく、一組の最少数の第2のパラメータが用いられる。全てのビューポートパラメータ、すなわち第1のパラメータを第2のパラメータに基づいて導出するために必要なユーザ対話としては、表示されたスライスビュー上で位置をピッキングすることが課されるのみである。
以下では、図を参照して本発明をさらに詳細に説明する。
本発明に係る好ましいワークフローを示す。 患者の向きのビューイング球体を例示する。 PCAによって決定された第1の主成分についての例を示す。 視点履歴ビューイング球体を例示する。 局所形状推定のビューイング球体を例示する。 可視性のビューイング球体を例示する。 ビューイング球体の合成における種々の演算子の効果を例示する。 本発明の第1の応用例を示す。 本発明の第2の応用例を示す。 本発明の第3の応用例を示す。 本発明に係る医学的データセットのボリュームレンダリング用装置の例を示す。
装置及びワークフロー
図11は、本発明に係るデータセットのボリュームレンダリング用装置10の例の概略図を示す。医学的データセット18が、医用イメージングシステム19、例えばX線装置又はCT装置によって生成され、装置10に送られる。
装置10は、この場合には患者である物体の、医学的データセットのスライスビュー12を表示するためのディスプレイ11、例えばTFTスクリーンと、ポインタ14を表示されたスライスビュー12上の関心構造に動かし、マウス13又はキーボード15上のキー、例えばコントロールキー又はホットキーを押したり、及び/又は放したりすることにより、ユーザが表示されたスライスビュー12における関心構造(SOI)上の位置を選択できるユーザ選択ユニットとして機能するマウス13とを含む。装置10は、選択された関心構造の、ディスプレイ11上に表示するボリュームレンダリング17を決定するためのボリュームレンダリングユニット16をさらに含む。
表示されたスライスビュー12とボリュームビュー17との2D/3D同期を可能にするため、LiveSyncの機能は、好ましくは、マウスポインタ14でスライス12上の関心構造をポイントしながらキーボード15上のホットキーを押すことによってアクティブ化することができ、ホットキーを放すことによって非アクティブ化することができる。
このピッキングプロセスに基づいて知識ベースの技術が適用されることにより、ボリュームビューの良好な視点が推定され、ビューを整列させるクリッピング平面の適切な配置が計算され、及びズーム倍率が調節される。
ユーザの選択に応じて、装置10は、2つの連続する視点間について滑らかにアニメートされる回転か、又は瞬間的な切り換えが可能である。ユーザが提供されたボリュームビュー17に完全には満足しない場合、手動で視点を変えたり、クリッピング平面を置き直したり、又は提案されたズームを調節したりすることにより、より良好なSOIのビューが得られるように改良することができる。
LiveSyncがアクティブ化されていない場合、従来の方法でスライスによるナビゲーションが行われ、ボリュームビューの更新は起こらない。
本発明に係るライブ同期を実現するため、以下の要因が考慮される:
−ピッキング点(すなわち、ユーザにより選択された位置):ユーザがスライス12上で位置をピッキングしたところの位置により、描出される構造のボリューム位置が決定される。
−スライスビューのズーム:スライスビュー12のズームは、対象とする解剖学的構造のサイズについての指標となる。全ての第1のパラメータを自動的に設定するため、このズーム倍率を考慮してボリュームビュー17のズームが調節される。
−患者の向き:走査した医学的データは、その医学的データが取得されたときの患者の位置及び向きに関する情報を含む。実行された手順に関する知識を考慮して、好ましい視線方向を概略的に推定することが可能である。
−視点履歴:最後の視点が、次の視点を選択する際のパラメータとして使用される。つまりこれは、最後の視点が他のパラメータを妨害しないならば、システムは最後の視点に近い良好な視点を探し出そうとすることを意味する。
−局所形状推定:ピッキングされた構造の局所形状が、局所的なセグメンテーションに基づき推定される。3つの主要な形状−ライン、シート及び斑点が構造に割り当てられ、視点選択のためのパラメータとして利用される。
−可視性:別のパラメータは、ピッキングされた構造の可視性である。可視性を計算するため、ピッキングされた位置から一定数の視点に投影線が投影され、遮蔽構造に関して分析される。
第2のパラメータである患者の向き、視点履歴、局所形状推定及び可視性は、ビューイング球体に直接映像化(符号化)される。特定のパラメータがある位置において良好な視点を示す場合、その点から球体の中心までの距離が長くなるように単位球体が変形される。
図1は、LiveSyncワークフローについての概要を示す。最初は、デフォルトの視点から示されるボリュームビュー21と2Dスライス画像22とがある。表示されたスライス22上でピッキング操作を行うごとに、以下の第2のパラメータ、すなわち、患者の向き23と、視点履歴24と、局所形状推定25と、可視性26とのうちの少なくとも1つについて、ビューイング球体の変形が引き起こされる。この概要では、第2のパラメータは「ビュー入力パラメータ」と称される。
これらの第2のパラメータに対応する変形ビューイング球体27が重み付けされ、合成されると、結果として合成変形球体28が得られ、これは視点の合成品質を映像化(映像化(符号化))するものである。
加えて、ズーム倍率30が調節され、ビューを整列させるクリッピング平面29が位置決めされることで、遮蔽構造を自在に除去することが可能となり、意味のあるボリュームビュー31が生成される。
このように、スライス22上でピッキング操作(クリック操作を含む)を行うごとに、第2のパラメータ23〜26を使用して良好な視点が推定され、それに従いビューイング球体27が変形するため、ライブで同期するボリュームビュー31が自動的に生成され、追加のユーザ入力、データに特定の事前情報又は予備計算は一切なしに、ピッキングされた構造に関する良好なビューが提供される。
変形ビューイング球体
視点及び視線方向を設定するために、ビューイング球体の概念が用いられる。基本的に、シーンを包含する球体の表面上の任意の点に仮想カメラを配置することができる。カメラをこの球体上で動かすには、典型的には回転操作が行われる。加えて、カメラの視線方向は、シーンにおいてカメラがどの場所に焦点を合わせるかを定義する。カメラを、球体上のその位置に垂直な表面に沿って動かすことにより、ズームを実現することができる。
球体のパラメータ化
第2のパラメータは、球体の形状に直接映像化(符号化)しなければならないため、ビューイング球体をパラメータ化するための方法が必要となる。加えて、このパラメータ化は、個々の球体を合成するための演算子を適用可能でなければならないことを考慮に入れ、効率的に格納されなければならない。球体の好都合なパラメータ化は、極座標により実現することができる。この系では、球体の各点を、極角と方位角とを表すΘ及びφ、並びにその径方向距離rによって特徴付けることができる。極角は正のz軸から始まって0〜180°の範囲をとり、xy平面にある方位角は、正のx軸から始まって0〜360°の範囲をとる。このパラメータ化により、いくつかの変換及び演算を非常に効率的に計算することができる。非特許文献17、非特許文献18。
球体のマップ
コンピュータグラフィックスにおける周知の難題は、テクスチャマップを球体に適用する問題である。単純な手法は、幅が高さの2倍の単一の矩形テクスチャを使用することにより、直接的な緯度−経度マッピングを球体上に実行する。いわゆるuvマッピングでは、uが赤道にわたり、vが両極間の範囲に及ぶ。これは直接的なマッピングであり、極領域に向かうほどサンプリングが多くなるという欠点を有する。球体テクスチャの代替としては、立方体、オムニテクト(omnitect)、正二十面体及び八面体マッピングがある。非特許文献19。
構造に球体をマッピングして、本発明で実行される操作を促進するため、逆の問題も取り扱わなければならない。メモリの効率性及び事前のインデックス作成から、直接的な緯度−経度マッピングが好ましく、ここでは直線的なテクスチャが、360×180エントリの二次元配列として格納される。メモリに明示的に格納することは、異なる形でサンプリングされたデータの効率的な合成を促進するために必要である。本実施態様では、患者の向き、視点履歴及び局所形状推定に関する情報が解析的に記述されるが、一方、可視性の情報は別の方法でサンプリングされる。配列指数から角度位置を計算することができるため、径方向距離の値をこの配列に書き込むことで十分である。
球体の変形
視点の品質を示すことの一般的な着想は、ビューイング球体の事前の変形である。径方向距離が大きい球体表面上の位置が、良好な視点に相当する。球体の適切な変形を実現するため、フォン照明モデルがアナロジーとして役立つ。このモデルでは、半球体が拡散反射強度に相当し、鏡面反射強度を示すバンプを伴う。鏡面反射ハイライトのフォンモデルが、以下の方程式1による、球体表面上のある点における半径rの計算に適している:
r=a・(n・v)mw、 (1)
式中、aはバンプの高さを制御する定数であり、nは球体上の特定の点における表面法線であり、vは良好な視点における表面法線であり、mwはバンプの幅を制御する。この式を僅かに変化させると、視点選択に使用されるほとんどの第2のパラメータについての変形球体を生成することができる。
ビューイング球体操作子
良好な視点の選択プロセスにおいて難題となる部分は、関連性のあるパラメータの特定である。種々のタイプの医学的ボリュームデータに有効な汎用的な解決策については、第2のパラメータの定義が重要である。患者の向き、視点履歴、構造の局所形状及びその可視性が、視点選択に高度に関連性を有することが分かった。ビューイング球体を変形させると、これらの第2のパラメータの各々についての視点品質が映像化(符号化)される。
患者の向きのビューイング球体
変形ビューイング球体を構築するために最初に利用される第2のパラメータは、患者の向きである。検査のタイプに従い、一般に好ましい視線方向が存在する。この場合、頭−足方向の軸が、好ましい視点を導出するための概略的な推定として役立つ。
図2(左図)は、患者41の向きに対応する回転軸40を示す。図2(右図)に示されるとおりの対応するビューイング球体42は、この軸40と直交する視点のほうを好むように変形し、すなわち、赤道43の周りが大きくなる。この変形は、以下のアルゴリズム1で記述されるとおりの方程式1を適用することにより実現され、式中、z軸は回転主軸40である:
−−−−−−−−−−−−−−−−−−−−−
for 経度の各線lon do
vを緯度90°における表面法線に設定する
for lonのパラメータ化された各点p do
nをpにおける表面法線に設定する
方程式1により、この点における半径を計算する
end for
end for
−−−−−−−−−−−−−−−−−−−−−
視点履歴のビューイング球体
良好な視点の選択は、ユーザに意図したビューを提供するための種々の第2のパラメータに基づく。推定されたユーザ要求に基づきシステムが特定のビューを選択すると、現在の視点もまた次の視点の品質の推定に考慮される。特に、2つの逐次的なピッキングについて視点が大きく移動することは、可能であれば回避されるべきである。これは、ピッキングされた構造について現在の視点に近い良好な視点がある場合、その視点が、ビューイング球体上でさらに離れて位置する他の視点より好ましいことを意味する。
図4は、この基準に対する変形ビューイング球体46がどのように見えるかを示す。最後の視点44の位置Pが、ビューイング球体45上にマークされている(左図)。変形後、得られた変形ビューイング球体46は、この位置Pで最大値となるバンプ47を有し、これもまた、周囲の視点の品質を映像化(符号化)するものである。これに従う変形は、以下のアルゴリズム2によって生成することができる:
−−−−−−−−−−−−−−−−−−−−−
vを最後の視点の表面法線に設定する
for パラメータ化球体の各点p do
nをpにおける表面法線に設定する
if ドット(v,n)>0 then
方程式1により、pにおける半径を計算する
else
半径を1に設定する
end if
end for
−−−−−−−−−−−−−−−−−−−−−
局所形状推定のビューイング球体
視点選択に重要な別の第2のパラメータは、関心構造(SOI)の局所形状である。ピッキングされた点が例えば血管の一部である場合、良好な視点はこの血管の経路を示し、且つ血管を横断しない。高速の局所的なセグメンテーション及び主成分分析(PCA)により、データ値から形状情報を局所的に導出することができる。シード点として機能するピッキングしたデータ点の近傍32×32×32において、領域拡張が実行される。ピッキング点及びその近傍におけるスカラー値の分布を解析することにより、領域拡張の下限及び上限閾値が計算される。この局所的なセグメンテーションの結果が、接続された3D点群である。この点群でPCAを実行することにより3本の特徴ベクトルと、それに対応する固有値とが抽出され、それらを利用して、非特許文献20の測定法に従い局所的な特徴形状が決定される。
図3は、頭部における血管上の3つの異なる位置でピッキングが行われるとき、第1の主成分のベクトルがどのような向きになるかを示す。白いライン50は、頭部における血管上の3つの異なる位置について、PCAにより決定された最も重要な特徴ベクトルの、それぞれの向きを示す。これらのベクトルは、血管の局所的な向きと極めて良く整列している。血管の局所的な向きは、3本のベクトルによってかなり十分に示される。
直交する第2の主成分及び第3の主成分、及びそれらに対応する固有値と併せてこの情報を用いることにより、局所形状推定についての変形球体が作り出される。
物体の局所形状に従えば、ビューイング球体は図5に示されるとおり変形しなければならない。物体がボリュームの拡がりを有する場合(「ブロブ」を参照)、基本的に全ての視点が同じ品質である(左図)。平面的な構造については(「シート」を参照)、シートと直交する視点が優先される(中央図)。管状構造(「ライン」を参照)が決定される場合、好ましい視点は、そのラインと直交する輪に沿って整列する(右図)。
平面的な物体については、球体の変形は、視点履歴についての変形球体と同様に計算される(上記参照)。球体の両側に2つのバンプが得られるよう、方程式1は方程式2に若干調節される:
r=a・abs((n・v)mw) (2)
構造が管状の場合、変形プロセスはやや複雑となる。管はボリューム内で任意の向きをとり得るため、これは患者の向きのビューイング球体の変形プロセスの一般化である。幾何学的には、良好な視点はビューイング球体の大円の周りに位置し、大円は、第2の主成分及び第3の主成分のベクトルが球体の表面と交わる2つの点によって定義される。大円は、球体の表面上の2つの点によって常に一意に定義され、その中心は球体の中心と同じである。球体の表面上の各位置pについて、原点から最も近い大円上の点までのベクトルが計算されなければならない。これは、原点からpまでのベクトルを大円の平面に投影することによって実現することができる。変形球体を生成する手順は、以下のアルゴリズム3で提供される:
−−−−−−−−−−−−−−−−−−−−−
if 形状==ブロブ then
パラメータ化球体の各点の半径を2とする
else if 形状==シート then
vを第3の主成分のベクトルに設定する
for パラメータ化球体の各点p do
nをpにおける表面法線に設定する
方程式2により、pにおける半径を計算する
end for
else if 形状==ライン then
第2の主成分及び第3の主成分が単位球体の表面と交わる2つの点についての大円cを計算する
for パラメータ化球体の各点p do
nを原点からpまでのベクトルに設定する
vをcの平面上へのnの投影に設定する
vを正規化する
方程式1により、pにおける半径を計算する
end for
end if
−−−−−−−−−−−−−−−−−−−−−
可視性のビューイング球体
良好な視点を推定するためのさらなる構成要素は、可視性情報によって定義される。ピッキング点を始端として可視性の投影線が投影され、遮蔽物体が決定される。上述されるとおり、球体のパラメータ化される点は一様には分布していない。可視性の投影線を360×180の全ての位置に投影することは、効率的でなく、また必要でもない。それにもかかわらず、検証される位置は球体上に一様に分布させることが極めて好ましい。これを目的として、非特許文献20がソースコード(Lettvinによって書かれたもの)を提供している。電荷斥力についての標準的な物理公式に基づき、球体の表面全体にわたり任意の数の点を分布させる。36×18投影線のサブセットが、パフォーマンスと品質との間の良好な妥協点を提供することが分かった。一様に分布した点の計算は1回のみ行われ、結果はルックアップテーブルに格納される。
ある視点が、選択された構造の良好な可視性を提供するかどうかについて決定するため、ピッキング点から投影線が投影される。局所形状推定のために局所的なセグメンテーションが実行されると、この情報を利用することにより、投影線がいつ対象組織を出るかが決定される。これが行われているとき、変換関数の不透明度情報が考慮される。不透明度は投影線に沿って累積され、小さい不透明度閾値を超えると、その特定の投影線についての計算は直ちに終了される。この視点の方向において、ピッキング点から、その視点が他の構造によって遮蔽されるようになるまでのスペースが大きい場合、その視点には高い可視性値が割り当てられる。かかる状況は、クリッピング平面の位置決めに対してより高い自在性をもたらす。これにより、ピッキング点から離れた、視線方向と直交するクリッピング平面を位置決めすることが可能となり、従ってピッキング点の遮蔽のないビューが可能となり、一方で有用なコンテキスト情報が不必要に削減されることはない。
対応する変形ビューイング球体55が、図6に図示される。スパイク56の長さが、一様に分布した一組のサンプル位置における視点品質を映像化(符号化)する(左図)。全ての位置において再構築した後、滑らかな球体57が生成される(右図)。
非特許文献9の視点エントロピーについての1つの重要な基準はビューの安定性であり、これは、あるビューにおいて、少しのカメラシフトによって引き起こされる最大変化を表すものである。少しカメラが変化しても、ビューにおける少しの変化しか意味しない場合、ビューは安定であると定義される。可視性ビューイング球体に変換されると、一様に分布した別個の点における可視性値から導出されるビュー安定性が映像化(符号化)される可能性がある。いくつかの良好な視点の間にある視点もまたかなり良好なことが、発見的に仮定される。かかる点は、視点が少し変化しても良好な視点がもたらされるため、高いビュー安定性を提供する。この情報をビューイング球体に映像化(符号化)するため、可視性について明示的に検証されない全てのパラメータ化球体の位置について、周囲の検証された点による重み付けが実行される。この重み付けにより、図6に示されるとおりの滑らかな変形球体57が得られる(右図)。可視性基準についての変形球体55を生成するための擬似コードは、以下のアルゴリズム4で提供される:
−−−−−−−−−−−−−−−−−−−−−
for 一様に分布した点の各々p do
可視性を計算する
pにおける半径を可視性値に設定する
end for
for パラメータ化球体の各点s do
sに対する一定の距離dの範囲内の全てのpを得る
for 範囲dにおける各p do
nをpにおける表面法線に設定する
vをsにおける表面法線に設定する
方程式1によりrを計算する
rをsにおける現在の半径と足し合わせる
end for
sにおける半径を正規化する
end for
−−−−−−−−−−−−−−−−−−−−−
ビューイング球体演算子
様々な第2のパラメータについて変形ビューイング球体を生成した後、変形ビューイング球体は重み付けされ、全ての効果を考慮に入れるため合成される。
ビューイング球体の重み付け
方程式1は、球体の変形程度を重み付けするための種々の選択肢を提供する。基本的に、aがバンプの高さを制御し、mwがその幅を制御する。合成の演算子を促進するため、個々の球体変形についてのaの値は、それらの半径が変形後に1から2まで変わるように選択される。全ての第2のパラメータについて、推定された良好な視点はまた、一定の近傍にある視点の品質にも影響することが分かった。各視点基準について、半径は、ある位置における良好な視点の前後に2の倍数で変わり得る。視点履歴についての球体の生成は、組込み型の重み付け制御を含む。大きい視点シフトは、小さいデータ空間範囲内におけるピッキング操作を非常に妨げるものであるが、互いに離れて位置する2つのピッキング点については許容される。これは単に、ユーザが全く異なる検査領域に切り換えによる、視点のコヒーレンシー(一貫性)がそれほど重要でないことを意味する。
これを考慮するため、距離係数dが、ボリュームの対角線の大きさに対する2つの逐次的なピッキング点間の空間距離の比として計算される。視点履歴のビューイング球体に対する重み付けを操作するため、方程式1が以下のように修正される。
r=(1−d)・a・(n・v)mw (3)
ビューイング球体の合成
複数の第2のパラメータについて個々に変形球体が計算されると、変形球体は、全体的な視点品質を映像化(符号化)する単一の球体、すなわち合成変形ビューイング球体に合成しなければならない。好ましくは、この合成には3つの演算子、すなわち、加算、乗算及び閾値処理が実行される。これらの演算子の各々は、ある視点特性を強調する。
図7は、得られる球体における3つの演算子の効果を示す。この例のため、可視性ビューイング球体61及び局所形状推定ビューイング球体62を入力球体として選択する。各変形球体61、62は二次元配列としてパラメータ化されるため、演算子の適用及び追加的な演算子の展開は容易に実現される。
演算子のオペランドとして、単位球体の半径より大きい半径のオフセット値(差分値)がとられる。各位置において、変形球体61、62の半径は、1〜2の値を有するため、0〜1の値で演算が実行される。実現される演算子の実施及び特性は、以下のとおりである:
−加算(+):球体配列の全てのエントリにわたるループが実行され、対応する半径が合計される。この手法は、非常に良好な結果をもたらす。良好な視点は、合成変形ビューイング球体63ののなかで、入力球体61、62の少なくとも一部が良好な視点を示す位置に見出される。加算は、乗算又は閾値処理ほど外れ値に敏感でない。
−乗算(*):ある特性をより強く強調するため、入力球体61、62の乗算を計算する演算子が実行される。この演算子は、良好な視点がいくつかのソース球体(例えば、変形ビューイング球体62)によって示される位置を強調し、少なくとも1つのソース球体(例えば、変形ビューイング球体61)が悪い視点を示す位置の強調を弱める。値が低いほど、結果に対してより大きい影響を有する。唯1つの入力球体の値が低かったとしても、合成変形ビューイング球体64上の対応する視点は、悪い視点として評価される。
−閾値処理(T):閾値処理演算には、1つの特定の球体が初期球体としてとられる。この球体の全てのパラメータ化された点にわたるループにおいて、同じ位置における他の球体の値が一定の閾値を上回る場合にのみ、その位置における値が考慮される。そうでない場合、特定の位置における半径が1に設定される。この演算子は、他の球体上の対応する値が悪い視点を示している場合、その値を除外する。閾値処理により、はじき出す基準を定義することが可能である。患者の向きのビューイング球体(図2の42を参照)が初期の閾値処理球体であると仮定すると、ある好ましい視線方向についてのウィンドウを定義することができる。他の変形ビューイング球体にわたる閾値処理により、この枠組み内で良好な視点が推定される。
第1のパラメータの導出
第2のパラメータ、ビューイング球体操作子及びビューイング球体演算子について記載したところで、以下に、ボリュームビューを設定するための第1のパラメータの導出を説明する。第1のパラメータは、良好な視点、ビューを調整するクリッピング平面(切取り平面)の配置、ズーム及び視線方向である。
ビューイング球体演算子を個々の変形ビューイング球体に適用することで、合成変形ビューイング球体上の360×180位置における合成視点品質マップが作成される。このように、あらゆる点の径方向距離をもつ合成変形ビューイング球体マップ配列での最高の入力により、良好な視点を容易に決定することができる。装置10のディスプレイ11(図11を参照)に、最良に推定された視点に従いボリュームデータを表示することができるか、又は少数の好ましいビューを提案することができる(例えば、サムネイルとして表示される)。
可視性の計算によって得られた情報(「可視性のビューイング球体」の節を参照)により、検証された可視性の各投影線に沿ってピッキング点が遮蔽される正確な位置が分かる。この情報を用いて、遮蔽構造をクリップ(切取り)するために、ビューを調整するクリッピング平面が設定される。クリッピング平面を位置決めするため、ピッキング点を始端とする投影線に沿って、累積不透明度がなお小さい閾値未満である位置が選択される。これにより、ピッキングされた物体の遮蔽のないビューが可能となり、その一方でコンテキスト情報は可能な限り多く維持される。
視線方向はピッキング点により直接定義され、この点は、ボリュームビューウィンドウ17(図11を参照)の中心に示される。
最後に、表示されたスライスビュー12の現在の設定から、ボリュームビュー17のズーム倍率を導出することができる。スライスビュー12のズームから、対象とする解剖学的構造のサイズに関する概略的な推定が得られる。本実施態様では、このズーム倍率によってボリュームビュー17のズームが直接決定される。
適用例
好ましくは、本発明は、医用コンピュータワークステーション上で実行される。LiveSync視点選択に対応する計算は対話形式で行うことができ、医学的データセットのサイズにはそれほど大きく影響されない。例えば、AMD Athlon 64 Dual Core Processor 4400+及び2GBのメインメモリで構成されたPCにおいて、LiveSyncに関連する計算は、ローカルセグメンテーションステップにおけるセグメント化されるボクセルの数と推定される局所的な特徴形状とに応じて、ピッキングごとに約70ミリ秒〜150ミリ秒かかる。従って、ユーザは、2Dスライスにおいてある構造をピッキングするたびに、ほぼ瞬間的に更新されるボリュームビューを得る。対話形式で同期されるビューの有用性を実証するため、以下に、3つの異なる適用シナリオについての結果を考察する。
第1の例では、比較のため、推定された良好な視点とかなり悪い視点とを提示する。図8は、2Dスライス画像(左図)において部分的に見えている血管上でのピッキング操作の結果を示す。対応するボリュームビュー(中央図)は、本発明に係る方法によって決定された視点に基づき、非常に良い。明らかに、血管の経路及びその空間上の近傍に関する情報を、非常に容易に認識することができる。
これと対照的に、かなり悪いと評価される視点は、図8(右図)に示されるとおりのボリュームビューをもたらす。血管の重要な部分が遮蔽され、その経路は判然としないままであり、この視点によっては他の血管との接続はほとんど解明できない。
以下の2つの応用シナリオは、LiveSyncが様々な種類の臨床検査に対する汎用ツールであることを実証する。放射線科医は、その典型的なワークフローにおいて、医学的データに特定の構造を探し出す。例えば結腸におけるポリープ又は肺結節の検出については、高度に洗練され、且つ専門化された方法が存在するものの、LiveSyncは、こうした病変症例の迅速な探索を支援することができる。
結腸の襞とポリープとを見分けるのは非常に難しいため、2Dスライスのみでは結腸の検査は極めて困難な作業である。図9は、結腸における疑わしい構造のピッキング(左図)に対するLiveSyncの結果(右図)を示す。提供されたボリュームビューにより、ピッキングされた構造が結腸の襞ではなく、ポリープであることがはっきりと分かる。
別の難題となる作業は、肺結節の検出である。2Dスライスでは、肺結節は気管支又は血管と非常によく似ていることが多い。図10では、結節と考えられる構造がスライス上でピッキングされ、LiveSyncが対応するボリュームビューを自動的に提示している。このビューは、ピッキングされた構造を肺結節として分類するのに明らかに役立ち得る。
本発明の多用途性
本発明の詳細及び利益は医学的データセットを用いて例示的に上述されたが、記載される本発明は医学的データセットに限定されず、例えば、非破壊検査(NDT)、コンピュータ援用設計(CAD)、コンピュータゲーム、物理学、化学、生物学及び他の科学の分野における任意の種類のデータセットに対して多用途に適用可能であることは明らかである。
参考文献
[1]仮想テレインプロジェクト(Virtual Terrain Project)、http://www.vterrain.org/Textures/spherical.htmlにおいてオンラインで利用可能、2007年3月
[2]V.Blanz、M.J.Tarr、及びH.H.Buelthoff、「どのオブジェクト属性がカノニカルビューを決定するのか?(What object attributes determine canonical views?)」 Perception、28:575−599、1999年
[3]U.D.Bordoloi及びH.−W.Shen、「ボリュームレンダリングのためのビュー選択(View selection for volume rendering)」、IEEE可視化 05年版(IEEE Visualization ’05)所収、487−494頁、2005年
[4]P.Bourke、「球体上の分布点(Distributing Points on a Sphere)」、http://local.wasp.uwa.edu.au/〜pbourke/geometry/spherepoints/においてオンラインで利用可能、2007年3月
[5]M.−Y.Chan、H.Qu、Y.Wu、及びH.Zhou、「血管造影ボリュームのための視点選択(Viewpoint selection for angiographic volume)」、ビジュアルコンピューティングに関する国際シンポジウム 06年版(International Symposium on Visual Computing ’06)所収、528−537頁、2006年
[6]S.Fleishman、D.Cohen−Or、及びD.Lischinski、「イメージベーストモデリングのための自動カメラ配置(Automatic camera placement for image−based modeling)」、Computer Graphics Forum、19(2):101−110、2000年
[7]C.H.Lee、A.Varshney、及びD.W.Jacobs、「メッシュの視覚的特徴(Mesh saliency)」、ACM SIGGRAPH ’05所収、659−666頁、2005年
[8]K.Muehler、M.Neugebauer、C.Tietjen、及びB.Preim、「介入計画のための視点選択(Viewpoint selection for intervention planning)」、視覚化に関するEurographics/IEEE VGTCシンポジウム(Eurographics/IEEE VGTC Symposium on Visualization)所収、267−274頁、2007年
[9]S.Owada、F.Nielsen、及びT.Igarashi、「ボリュームキャッチャー(Volume catcher)」、インタラクティブ3Dグラフィックス及びゲームに関するシンポジウム 05年版(Symposium on Interactive 3D Graphics and Games ’05)所収、111−116頁、2005年
[10]O.Polonsky、G.Patane、S.Biasotti、C.Gotsman、及びM.Spagnuolo、「画像が含むもの:オブジェクトの「最良の」ビューの計算に向けて(What’s in an image:Towards the computation of the “best” view of an object)」、The Visual Computer、21(8−10):840−847、2005年
[11]Y.Sato、C.−F.Westin、A.Bhalerao、S.Nakajima、N.Shiraga、S.Tamura、及びR.Kikinis、「ボリュームレンダリングのための局所的な3D輝度構造に基づく組織分類(Tissue classification based on 3D local intensity structures for volume rendering)」、視覚化及びコンピュータグラフィックスに関するIEEEトランザクション(IEEE Transactions on Visualization and Computer Graphics)、6(2):160−180、2000年
[12]M.Sbert、D.Plemenos、M.Feixas、及びF.Gonzalez、「視点品質:尺度と適用(Viewpoint quality:Measures and applications)」、Computational Aesthetics ’05所収、185−192頁、2005年
[13]S.Takahashi、I.Fujishiro、Y.Takeshima、及びT.Nishita、「ボリューム可視化のための最適視点配置に向けた特徴駆動型アプローチ(A feature−driven approach to locating optimal viewpoints for volume visualization)」、IEEE可視化 05年版(IEEE Visualization ’05)所収、495−502頁、2005年
[14]M.Tory及びC.Swindells、「ExoVis、オリエンテーションアイコン、及びインプレース3D可視化技術の比較(Comparing ExoVis,orientation icon,and inplace 3D visualization techniques)」、Graphics Interface ’03所収、57−64頁、2003年
[15]J.M.van Verth及びL.M.Bishop、「ゲーム及び対話型アプリケーションの基礎数学(Essential Mathematics for Games and Interactive Applications)」、Morgan Kaufmann Publishers、San Francisco、California、2004年
[16]P.−P.Vazquez、M.Feixas、M.Sbert、及びW.Heidrich、「視点エントロピーを用いた視点選択(Viewpoint selection using viewpoint entropy)」、VMV ’01所収、273−280頁、2001年
[17]P.−P.Vazquez、M.Feixas、M.Sbert、及びW.Heidrich、「視点エントロピーを用いた自動ビュー選択及びイメージベーストモデリングに対するその応用(Automatic view selection using viewpoint entropy and its application to image−based modelling)」、Computer Graphics Forum、22(4):689−700、2003年
[18]I.Viola、M.Feixas、M.Sbert、及びM.E.Groeller、「関心の重要度駆動型焦点(Importance−driven focus of attention)」、視覚化及びコンピュータグラフィックスに関するIEEEトランザクション(IEEE Transactions on Visualization and Computer Graphics)、12(5):933−940、2006年
[19]E.Williams、「航空学公式集(Aviation Formulary)」V1.43、http://williams.best.vwh.net/avform.htmlにおいてオンラインで利用可能、2007年3月
[20]J.Zhou、M.Hinz、及びK.D.Toennies、「焦点領域に基づく特徴ベースのボリュームレンダリング(Focal region−guided feature−based volume rendering)」、3Dデータの処理、可視化及び伝送に関する第1回国際シンポジウム 02年版(1st International Symposium on 3D Data Processing,Visualization and Transmission ’02)所収、87−90頁、2002年

Claims (33)

  1. −物体のデータセット、特に患者の医学的データセットを取得するステップと、
    −前記取得したデータセットの少なくとも1つのスライスビュー(12、22)を表示するステップと、
    −前記少なくとも1つの表示されたスライスビュー(12、22)における関心構造(SOI)上の位置をユーザが選択するステップと、
    −1つ又は複数の第1のパラメータに基づき前記関心構造(SOI)のボリュームレンダリング(17、31)を表示するステップであって、前記第1のパラメータが、前記関心構造(SOI)についての表示されるボリュームレンダリング(17、31)のビューを特徴付ける、ステップと、
    を含む、データセットのボリュームレンダリング方法であって、
    −前記第1のパラメータが、ユーザにより選択された位置と1つ又は複数の第2のパラメータとを考慮することにより自動的に決定され、前記第2のパラメータが、物体と、関心構造(SOI)と、現在表示されているスライスビュー(12、22)と、前記関心構造の1つ又は複数の過去のボリュームレンダリング(SOI)とのうちの少なくとも1つを特徴付け、及び
    −前記第1のパラメータが、前記ユーザによる位置選択とは別の追加的なユーザ入力なしに、前記関心構造(SOI)について表示されるボリュームレンダリング(17、31)に関して最適化されたビューを実現するような方法で決定されることを特徴とする、方法。
  2. 前記1つ又は複数の第1のパラメータが、表示されるボリュームレンダリング(17、31)において関心構造(SOI)を見るときの基点となる視点を含む、請求項1に記載の方法。
  3. 前記1つ又は複数の第1のパラメータが、表示されるボリュームレンダリング(17、31)において関心構造(SOI)を見る方向である視線方向を含む、請求項1又は2に記載の方法。
  4. 前記1つ又は複数の第1のパラメータが、少なくとも1つのクリッピング面であって、各クリッピング面が関心構造(SOI)を第1の領域と第2の領域とに分け、前記クリッピング面の前記第1の領域にある関心構造の詳細は前記ボリュームレンダリング(17、31)に表示されるが、一方、前記クリッピング面の前記第2の領域にある関心構造(SOI)のディテールは前記ボリュームレンダリング(17、31)に表示されない、請求項1〜3のいずれか一項に記載の方法。
  5. 少なくとも1つのクリッピング面が、前記視線方向によって調整される平面的なクリッピング平面である、請求項3又は4に記載の方法。
  6. 前記1つ又は複数の第1のパラメータが、表示されるボリュームレンダリング(17、31)における関心構造(SOI)のサイズを特徴付けるボリュームズーム倍率を含む、請求項1〜5のいずれか一項に記載の方法。
  7. 物体を特徴付ける前記1つ又は複数の第2のパラメータが、前記物体、特に患者のデータセットが取得されたときの前記物体の向き(40)、特に前記患者の向きを含む、請求項1〜6のいずれか一項に記載の方法。
  8. 関心構造(SOI)を特徴付ける前記1つ又は複数の第2のパラメータが、前記関心構造(SOI)の形状に関する情報を含む、請求項1〜7のいずれか一項に記載の方法。
  9. 関心構造(SOI)を特徴付ける前記1つ又は複数の第2のパラメータが、前記関心構造(SOI)の可視性に関する情報を含む、請求項1〜8のいずれか一項に記載の方法。
  10. 関心構造(SOI)の1つ又は複数の過去のボリュームレンダリング(17、31)を特徴付ける前記1つ又は複数の第2のパラメータが、前記関心構造(SOI)の過去に表示された1つ又は複数の前記ボリュームレンダリング(17、31)において前記関心構造(SOI)を見るときの1つ又は複数の基点となった1つ又は複数の過去の視点に関する情報を含む、請求項1〜9のいずれか一項に記載の方法。
  11. 現在表示されているスライスビュー(12、22)を特徴付ける前記1つ又は複数の第2のパラメータが、前記現在表示されているスライスビュー(12、22)における関心構造(SOI)のサイズに関する情報を含む、請求項1〜10のいずれか一項に記載の方法。
  12. 前記第2のパラメータのうちの少なくとも1つの、前記第2のパラメータのうちの少なくとも1つに起因する視点の品質に関する情報が導出される、請求項1〜11のいずれか一項に記載の方法。
  13. 前記視点の品質に関する情報が、その第2のパラメータの変形ビューイング球体(27、42、46、55、57、61、62)を計算することによって導出され、前記ビューイング球体からの径方向距離がより大きい視点の位置が、前記ビューイング球体からの径方向距離がより小さい視点より良好と見なされる、請求項12に記載の方法。
  14. 変形ビューイング球体(61、62)が、2つ以上の第2のパラメータにより計算され、前記2つ以上の第2のパラメータから得られた視点の品質に関する情報を含む合成変形ビューイング球体(63、64、65)が得られるように合成される、請求項13に記載の方法。
  15. 前記第2のパラメータの前記変形ビューイング球体(61、62)が、前記合成変形ビューイング球体(63、64、65)に合成される前に重み付けされる、請求項14に記載の方法。
  16. 前記変形ビューイング球体(61、62)が、加算、乗算又は閾値処理によって合成される、請求項14又は15に記載の方法。
  17. それぞれ前記変形ビューイング球体(27、42、46、55、57、61、62)又は前記合成変形ビューイング球体(63、64、65)のビューイング球体からの径方向距離が実質的に最大となる視点を選択することにより、良好な視点が決定される、請求項13〜16のいずれか一項に記載の方法。
  18. 良好視線方向が、前記ユーザにより選択された位置と前記良好な視点とによって定義される、請求項17に記載の方法。
  19. それぞれ前記変形ビューイング球体(27、42、46、55、57、61、62)又は前記合成変形ビューイング球体(63、64、65)を考慮し、且つ、前記ユーザにより選択された位置を始端とする投影線の関心構造(SOI)の累積不透明度を考慮することにより、良好なクリッピング面が位置決めされ、前記良好なクリッピング面が、前記累積不透明度が所定の閾値未満である位置に位置決めされる、請求項13〜18のいずれか一項に記載の方法。
  20. 前記ボリュームズーム倍率が、現在表示されているスライスビュー(12、22)の関心構造(SOI)のサイズ、特にスライスビューズーム倍率を考慮することにより決定される、請求項6又は11に記載の方法。
  21. 前記表示されたスライスビュー(12、22)における関心構造(SOI)上の種々の位置を逐次的にポイントすることにより、ユーザによっていくつかの位置が選択され、且つ、前記いくつかの位置の各位置について、前記関心構造(SOI)の表示されるボリュームレンダリング(17、31)に関して最適化されたビューを、前記関心構造上(SOI)の種々の位置を逐次的にポイントすることとは別の追加的なユーザ入力なしに実現するような方法で、前記第1のパラメータが自動的に決定されるとともに、対応する前記関心構造(SOI)のボリュームレンダリング(17、31)の表示が逐次的に更新される、請求項1〜20のいずれか一項に記載の方法。
  22. 前記表示されたスライスビュー(12、22)における関心構造(SOI)に沿って連続的にトレースすることにより、前記関心構造(SOI)上の複数の位置がユーザによって選択され、且つ、前記複数の位置の各位置について、前記関心構造(SOI)の表示されるボリュームレンダリング(17、31)に関して最適化されたビューを、関心構造(SOI)に沿って連続的にトレースすることとは別の追加的なユーザ入力なしに実現するような方法で、前記第1のパラメータが自動的に決定されるとともに、対応する前記関心構造(SOI)のボリュームレンダリング(17、31)の表示が連続的に更新される、請求項1〜21のいずれか一項に記載の方法。
  23. 前記表示されたスライスビュー(12、22)における関心構造(SOI)に沿って連続的にトレースすることにより、前記関心構造(SOI)上の複数の位置がユーザによって選択され、且つ、前記複数の位置の各位置について、前記関心構造(SOI)の表示されるボリュームレンダリング(17、31)に関して最適化されたビューを、関心構造(SOI)に沿って連続的にトレースすることとは別の追加的なユーザ入力なしに実現するような方法で、前記第1のパラメータが自動的に決定されるとともに、対応する前記関心構造(SOI)のボリュームレンダリング(17、31)の表示が連続的に更新される、請求項1〜22のいずれか一項に記載の方法。
  24. 前記関心構造(SOI)上の複数の位置が自動的に選択される、請求項1〜23のいずれか一項に記載の方法。
  25. 関心構造(SOI)及びその形状及び/又は奥行きが自動的に特定され、前記関心構造(SOI)上の位置が、前記関心構造(SOI)の前記特定された形状及び/又は奥行きに沿って自動的に位置決めされる、請求項24に記載の方法。
  26. 前記第1のパラメータの自動決定と、それに続く、対応するボリュームレンダリング(17、31)の更新表示を、前記ユーザがアクティブ化したり、非アクティブ化したりすることができる、請求項1〜25のいずれか一項に記載の方法。
  27. アクティブ化及び非アクティブ化が、アクティベーションキー、特にファンクションキー若しくはコントロールキーを押したり、放したりすることによるか、又はディスプレイ(11)上のアイコンを選択することによって起こる、請求項26に記載の方法。
  28. 前記第1のパラメータの自動決定と、それに続く、それぞれのボリュームレンダリング(17、31)の更新表示が、前記表示されたスライスビュー(12、22)における関心構造(SOI)上の位置が前記ユーザによって選択され、それと同時にアクティベーションキーが前記ユーザによって押されているときにのみ行われる、請求項27に記載の方法。
  29. 前記ユーザが、前記第1のパラメータの自動決定と、それに続く、それぞれのボリュームレンダリング(17、31)の表示を非アクティブ化して、前記自動的に決定された第1のパラメータのうちの少なくとも1つを修正すると、そのうえで、前記修正された第1のパラメータに基づき関心構造の更新されたボリュームレンダリングが表示される、請求項26〜28のいずれか一項に記載の方法。
  30. 1つ又は複数の物体、特に1人又は複数の患者の過去に取得したデータセットから少なくとも2つの変形ビューイング球体(27、42、46、55、57、61〜65)が得られ、前記過去に取得したデータセット及び今回取得したデータセットの双方とも、同じタイプの検査に由来し、今回取得したデータセットの関心構造(SOI)についての表示されるボリュームレンダリング(17、31)のビューを特徴付ける1つ又は複数の第1のパラメータが、前記過去に取得したデータセットから得られる前記少なくとも2つの変形ビューイング球体(27、42、46、55、57、61〜65)を考慮することにより決定される、請求項13〜16のいずれか一項に記載の方法。
  31. 前記過去に取得したデータセットから得られる前記少なくとも2つの変形ビューイング球体(27、42、46、55、57、61〜65)が、累積変形ビューイング球体が得られるように重畳され、前記第1のパラメータが、前記累積変形ビューイング球体から導出される、請求項30に記載の方法。
  32. 前記過去に取得したデータセットから得られる前記少なくとも2つの変形ビューイング球体(27、42、46、55、57、61〜65)のうちの少なくとも1つが、2つ以上の第2のパラメータの2つ以上のビューイング球体を合成することによって得られる合成変形ビューイング球体(63、64、65)であり、前記第2のパラメータが、過去に検査した患者と、過去に選択した関心構造(SOI)と、過去に表示したスライスと、前記過去に選択した関心構造(SOI)の過去のボリュームレンダリングとのうちの少なくとも1つであることを特徴とする、請求項30又は31に記載の方法。
  33. −物体のデータセット、特に患者の医学的データセットの少なくとも1つのスライスビュー(12、22)を表示するためのディスプレイ(11)と、
    −前記少なくとも1つの表示されたスライスビュー(12、22)における関心構造(SOI)上の位置のユーザによる選択を可能とするユーザ選択ユニット(13、14、15)と、
    −1つ又は複数の第1のパラメータに基づき前記関心構造(SOI)のボリュームレンダリング(17、31)を決定するためのボリュームレンダリングユニット(16)であって、前記第1のパラメータが、前記関心構造(SOI)の表示されるボリュームレンダリング(17、31)のビューを特徴付け、前記関心構造(SOI)の前記ボリュームレンダリング(17、31)が前記ディスプレイ(11)に表示される、ボリュームレンダリングユニット(16)と、
    を含む、データセットのボリュームレンダリング装置であって、
    −前記ボリュームレンダリングユニット(16)が、ユーザにより選択された位置と1つ又は複数の第2のパラメータとを考慮することにより前記第1のパラメータを自動的に決定するように設計され、前記第2のパラメータが、物体と、関心構造(SOI)と、現在表示されているスライスビュー(12、22)と、前記関心構造(SOI)の1つ又は複数の過去のボリュームレンダリング(17、31)とのうちの少なくとも1つであることを特徴とし、かつ
    −前記ボリュームレンダリングユニット(16)が、前記ユーザによる位置選択とは別の追加的なユーザ入力なしに、前記関心構造(SOI)の表示されるボリュームレンダリング(17、31)に関して最適化されたビューを実現するような方法で、前記第1のパラメータを決定するように設計されることを特徴とする、装置。
JP2010528394A 2007-10-09 2008-10-09 データセットのボリュームレンダリングのための方法及び装置 Expired - Fee Related JP5318877B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07118075A EP2048621B1 (en) 2007-10-09 2007-10-09 Method and apparatus for volume rendering of medical data sets
EP07118075.6 2007-10-09
PCT/EP2008/063526 WO2009047287A1 (en) 2007-10-09 2008-10-09 Method and apparatus for volume rendering of data sets

Publications (2)

Publication Number Publication Date
JP2010541114A true JP2010541114A (ja) 2010-12-24
JP5318877B2 JP5318877B2 (ja) 2013-10-16

Family

ID=38941811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010528394A Expired - Fee Related JP5318877B2 (ja) 2007-10-09 2008-10-09 データセットのボリュームレンダリングのための方法及び装置

Country Status (8)

Country Link
US (1) US20090002366A1 (ja)
EP (2) EP2048621B1 (ja)
JP (1) JP5318877B2 (ja)
CN (2) CN103279976B (ja)
AT (2) ATE469410T1 (ja)
DE (1) DE602007006811D1 (ja)
RU (1) RU2497194C2 (ja)
WO (1) WO2009047287A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401540B2 (ja) 2018-11-09 2023-12-19 バイダ ダイアグノスティクス,インコーポレイティド 管状構造の切断面表示
US11875459B2 (en) 2020-04-07 2024-01-16 Vida Diagnostics, Inc. Subject specific coordinatization and virtual navigation systems and methods

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009057035A1 (en) * 2007-11-02 2009-05-07 Koninklijke Philips Electronics N.V. Automatic movie fly-path calculation
US11264139B2 (en) * 2007-11-21 2022-03-01 Edda Technology, Inc. Method and system for adjusting interactive 3D treatment zone for percutaneous treatment
JP4376944B2 (ja) * 2008-04-03 2009-12-02 富士フイルム株式会社 中間画像生成方法および装置ならびにプログラム
ATE529841T1 (de) 2008-11-28 2011-11-15 Agfa Healthcare Nv Verfahren und vorrichtung zur bestimmung einer position in einem bild, insbesondere einem medizinischen bild
JP4676021B2 (ja) * 2009-04-16 2011-04-27 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
DE102009042326A1 (de) * 2009-09-21 2011-06-01 Siemens Aktiengesellschaft Interaktive Veränderung der Darstellung eines mittels Volume Rendering dargestellten Objekts
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
DE102010018262B4 (de) * 2010-04-26 2016-08-11 Siemens Healthcare Gmbh Verfahren zur automatischen Erkennung einer Kontrastmittelanflutung in einem Blutgefäß eines Patienten mit einem CT-System und CT-System zur Durchführung dieses Verfahrens
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
US9454823B2 (en) 2010-07-28 2016-09-27 arian Medical Systems, Inc. Knowledge-based automatic image segmentation
US20120038639A1 (en) * 2010-08-11 2012-02-16 Vincent Mora Presentation-enhanced solid mechanical simulation
WO2012176100A1 (en) * 2011-06-22 2012-12-27 Koninklijke Philips Electronics N.V. System and method for processing a medical image
CN104427873B (zh) * 2012-04-29 2018-11-06 润新生物公司 某些化学个体、组合物及方法
CN102903147A (zh) * 2012-09-18 2013-01-30 深圳市旭东数字医学影像技术有限公司 三维数据的裁剪方法及系统
EP2938260B1 (en) * 2012-12-28 2019-11-06 Koninklijke Philips N.V. Real-time scene-modeling combining 3d ultrasound and 2d x-ray imagery
RU2652503C2 (ru) * 2013-02-14 2018-04-26 Общество С Ограниченной Ответственностью "Базелевс Инновации" Автоматическая съемка и монтаж видеоролика
US9164653B2 (en) 2013-03-15 2015-10-20 Inspace Technologies Limited Three-dimensional space for navigating objects connected in hierarchy
CN111580715B (zh) 2013-03-27 2024-03-22 皇家飞利浦有限公司 基于用户偏好在结构水平上的偏好视图生成
GB2518019B (en) * 2013-12-13 2015-07-22 Aveva Solutions Ltd Image rendering of laser scan data
JP6156126B2 (ja) * 2013-12-19 2017-07-05 富士通株式会社 検索方法、検索プログラムおよび検索装置
KR101556992B1 (ko) * 2014-03-13 2015-10-05 손우람 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
US20160038125A1 (en) * 2014-08-06 2016-02-11 General Electric Company Guided semiautomatic alignment of ultrasound volumes
CN104200510B (zh) * 2014-08-22 2018-03-30 电子科技大学 基于目标cf的矢量量化压缩体绘制方法
CA2961980A1 (en) * 2014-09-24 2016-03-31 Koninklijke Philips N.V. Visualizing volumetric image of anatomical structure
EP3251095B1 (en) * 2015-01-30 2022-05-04 Hewlett-Packard Development Company, L.P. Generating slice data from a voxel representation
US10548570B2 (en) * 2016-03-03 2020-02-04 Koninklijke Philips N.V. Medical image navigation system
JP6890677B2 (ja) * 2017-03-29 2021-06-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 3dボリューム内に埋め込まれ、mpr図の十字線に結合された仮想光源
US10692273B2 (en) * 2017-06-01 2020-06-23 Siemens Healthcare Gmbh In-context photorealistic 3D visualization for surgical decision support
EP3264369B1 (en) * 2017-08-22 2021-09-29 Siemens Healthcare GmbH Visualizing an image data set with object-dependent focusing parameter
CN109686209A (zh) * 2019-02-21 2019-04-26 南京南欣医药技术研究院有限公司 分子结构模型构建方法及装置
CN110211216B (zh) * 2019-06-14 2020-11-03 北京理工大学 一种基于体绘制不透明度加权的三维图像空域融合方法
US11315246B2 (en) * 2019-11-27 2022-04-26 Shanghai United Imaging Intelligence Co., Ltd. Cardiac feature tracking
DE102020213305A1 (de) * 2020-10-21 2022-04-21 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185204A (ja) * 2002-12-02 2004-07-02 Ziosoft Inc ボリュームレンダリング画像処理方法
JP2005317000A (ja) * 2004-04-30 2005-11-10 Mitsubishi Electric Research Laboratories Inc 最適な視点のセットで得られた2d画像からの顔の3d形状構築に最適な視点のセットを求める方法
WO2006055031A2 (en) * 2004-11-18 2006-05-26 Siemens Medical Solutions Usa, Inc. Method and system for local visualization for tubular structures
WO2007017845A1 (en) * 2005-08-11 2007-02-15 Philips Intellectual Property & Standards Gmbh Rendering a view from an image dataset

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6684098B2 (en) * 1996-08-16 2004-01-27 Brigham And Women's Hospital, Inc. Versatile stereotactic device and methods of use
US6464641B1 (en) * 1998-12-01 2002-10-15 Ge Medical Systems Global Technology Company Llc Method and apparatus for automatic vessel tracking in ultrasound imaging
EP1221674A3 (en) * 2001-01-05 2003-09-24 Interuniversitair Microelektronica Centrum Vzw System and method to obtain surface structures of multidimensional objects, and to represent those surface structures for animation, transmission and display
RU2237284C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7426292B2 (en) * 2003-08-07 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Method for determining optimal viewpoints for 3D face modeling and face recognition
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
EP1741042A2 (en) * 2004-04-16 2007-01-10 Philips Intellectual Property & Standards GmbH Data set visualization
CN100429676C (zh) * 2005-04-27 2008-10-29 蔡涛 三维图像体重建部分体选择的交互控制方法
EP1804154A3 (en) * 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185204A (ja) * 2002-12-02 2004-07-02 Ziosoft Inc ボリュームレンダリング画像処理方法
JP2005317000A (ja) * 2004-04-30 2005-11-10 Mitsubishi Electric Research Laboratories Inc 最適な視点のセットで得られた2d画像からの顔の3d形状構築に最適な視点のセットを求める方法
WO2006055031A2 (en) * 2004-11-18 2006-05-26 Siemens Medical Solutions Usa, Inc. Method and system for local visualization for tubular structures
WO2007017845A1 (en) * 2005-08-11 2007-02-15 Philips Intellectual Property & Standards Gmbh Rendering a view from an image dataset

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401540B2 (ja) 2018-11-09 2023-12-19 バイダ ダイアグノスティクス,インコーポレイティド 管状構造の切断面表示
US11875459B2 (en) 2020-04-07 2024-01-16 Vida Diagnostics, Inc. Subject specific coordinatization and virtual navigation systems and methods

Also Published As

Publication number Publication date
CN103279976A (zh) 2013-09-04
JP5318877B2 (ja) 2013-10-16
DE602007006811D1 (de) 2010-07-08
CN101849248A (zh) 2010-09-29
US20090002366A1 (en) 2009-01-01
EP2212859A1 (en) 2010-08-04
RU2497194C2 (ru) 2013-10-27
WO2009047287A1 (en) 2009-04-16
ATE469410T1 (de) 2010-06-15
RU2010118026A (ru) 2011-11-20
EP2048621A1 (en) 2009-04-15
CN103279976B (zh) 2016-02-10
CN101849248B (zh) 2013-05-08
EP2212859B1 (en) 2012-02-01
ATE544134T1 (de) 2012-02-15
EP2048621B1 (en) 2010-05-26

Similar Documents

Publication Publication Date Title
JP5318877B2 (ja) データセットのボリュームレンダリングのための方法及び装置
US20230215060A1 (en) Apparatus and method for visualizing digital breast tomosynthesis and other volumetric images
KR102109588B1 (ko) 유방 조직 이미지를 프로세싱하고, 디스플레잉하고, 네비게이팅하기 위한 방법
EP2745266B1 (en) Interactive live segmentation with automatic selection of optimal tomography slice
EP1750584B1 (en) System and method for diagnosing breast cancer
US8077948B2 (en) Method for editing 3D image segmentation maps
CN107405126B (zh) 检索成对的医学图像的对应结构
US20070276214A1 (en) Systems and Methods for Automated Segmentation, Visualization and Analysis of Medical Images
RU2711140C2 (ru) Редактирование медицинских изображений
Kohlmann et al. LiveSync: Deformed viewing spheres for knowledge-based navigation
EP1949342A2 (en) Automatic generation of optimal views for computed tomography thoracic diagnosis
JP2016508242A (ja) 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
JP2010528750A (ja) 管状構造の検査
US20080084415A1 (en) Orientation of 3-dimensional displays as a function of the regions to be examined
JP2009279179A (ja) 画像表示装置および画像表示プログラム
Zhang et al. Dynamic real-time 4D cardiac MDCT image display using GPU-accelerated volume rendering
Birkeland et al. The ultrasound visualization pipeline
EP3423968B1 (en) Medical image navigation system
DE202008003517U1 (de) Vorrichtung zur Volumendarstellung medizinischer Datensätze und Datenträger
Fairfield et al. Volume curtaining: a focus+ context effect for multimodal volume visualization
Ruijters et al. Real-time integration of 3-D multimodality data in interventional neuroangiography
Lee et al. Interactive manipulation and visualization of a deformable 3D organ model for medical diagnostic support
Cheng et al. GPU based multi-histogram volume navigation for virtual bronchoscopy
Kohlmann et al. The LiveSync interaction metaphor for smart user-intended visualization
WO2006064439A1 (en) A method, an apparatus and a computer program for processing an object in a multi-dimensional dataset

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130710

R150 Certificate of patent or registration of utility model

Ref document number: 5318877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees