JP4200546B2 - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP4200546B2 JP4200546B2 JP17597598A JP17597598A JP4200546B2 JP 4200546 B2 JP4200546 B2 JP 4200546B2 JP 17597598 A JP17597598 A JP 17597598A JP 17597598 A JP17597598 A JP 17597598A JP 4200546 B2 JP4200546 B2 JP 4200546B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cross
- image display
- display device
- viewpoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 57
- 238000010276 construction Methods 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 10
- 210000004204 blood vessel Anatomy 0.000 description 52
- 238000010586 diagram Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 7
- 208000007536 Thrombosis Diseases 0.000 description 4
- 210000000936 intestine Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像表示装置に係り、特に血管、腸、胃、骨等の観察対象の内面の画像を表示する画像表示装置に関する。
【０００２】
【従来の技術】
医用画像には、Ｘ線ＣＴ装置、ＭＲＩ装置（３次元計測するＭＲＩも含む）、超音波診断装置、３次元計測のできるコーンビームＣＴ装置などの各種モダリティ毎にＸ線ＣＴ画像やＭＲＩ画像、超音波断層像等の種々の画像がある。３次元計測で得たデータから再構成した画像をボリューム画像と言う。それらの各種モダリティで得られた画像の疑似三次元画像を得る方法として、視点と投影面とを与え、視点と投影面との間に存在する原画像（複数の断層像）を、その投影面に視点から見たように投影する投影法が存在する。投影法には、平行投影法と中心投影法とが知られている。
【０００３】
観察対象の内部を内視鏡で見たような画像（以下、内視鏡的画像という）を得るためには、視点を観察対象の内部に設定することができる中心投影法を用いる。この内視鏡的画像を得る中心投影法は、特開平７−２１０７０４号公報、及び特開平８−１６８１３号公報に記載されている。そして、中心投影法における視点位置及び視点方向を適宜更新することにより内視鏡的な動きを模擬した投影像を得ることができる。尚、視点位置及び視点方向の更新は、マウス等の入力手段をマニュアル操作することによって行う場合と、視線方向が画面中の最も暗い位置に向かうように順次自動的に更新させる場合とがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記中心投影法による内視鏡的画像の場合には、例えば血管の内壁を示す画像が表示されている場合に、被検体内のどこの血管が表示されているか、また、血管のどの位置からどの方向を観察しているかが把握しにくいという問題があった。
【０００５】
本発明はこのような事情に鑑みてなされたもので、血管、腸等の観察対象をその観察対象に沿った曲面で縦切りにした断面像や、観察対象の内部が観察できるように切り開いた画像を表示することができる画像表示装置を提供することを目的としている。
【０００６】
【課題を解決する為の手段】
前記目的を達成するために、本発明は、複数の断層像に含まれる管腔臓器の内部に、複数の視点を設定する視点設定手段と、この視点設定手段によって設定された複数の視点を通る曲面を切断面として設定する切断面設定手段と、この切断面設定手段によって設定された切断面により切断して前記管腔臓器の前記視点方向に延びる断面像を構成する画像構成手段と、この画像構成手段によって構成された断面像を表示する画像表示手段と、を備える。
【０００７】
前記視点設定手段によって設定される複数の視点は、中心投影法において使用された各視点を記憶し、その記憶した視点をそのまま使用することができる。切断面設定手段は、前記設定された複数の視点に基づいて複数の視点を通る曲面を切断面として設定し、画像構成手段は、前記設定された曲面で切断された原画像の断面像を構成する。従って、この断面像は、血管等の観察対象を観察対象に沿って縦切りにした断面像となる。また、この断面像は、複数に枝分かれした管腔臓器の内部にそれぞれ複数の視点が設定された場合には、観察対象が枝分かれして表示された断面像となる。
【０００８】
更に前記切断面設定手段は、前記複数の断層像の積み上げ方向に直交する方向の切断面及び前記複数の断層像の積み上げ方向と所定の角度を成す方向の切断面のうちの少なくとも１つの切断面を設定してもよい。
【０００９】
また、前記切断面設定手段は、互いに直交する複数の切断面を設定し、前記画像構成手段は、前記直交する複数の切断面についてそれぞれ断面像を構成し、前記画像表示手段は、前記複数の切断面についてそれぞれ構成された複数の断面像を対応付けて表示するようにしてもよい。
更に、前記画像表示手段は、前記画像構成手段によって構成された断面像に、前記視点設定手段によって設定された複数の視点又は、それら複数の視点からの視野が重畳表示されることを含んでもよい。
【００１０】
また、前記複数の断層像を積み上げて構成される積み上げ画像について平行投影法により擬似的三次元画像を構成する第１の三次元画像構成手段をさらに備え、前記画像表示手段は、前記画像構成手段によって構成された断面像と前記三次元画像構成手段によって構成された擬似的三次元画像とが表示されることを含んでもよい。
また、前記複数の断層像を積み上げて構成される積み上げ画像について中心投影法により擬似的三次元画像を構成する第２の三次元画像構成手段をさらに備え、前記画像表示手段は、前記画像構成手段によって構成された断面像と前記三次元画像構成手段によって構成された擬似的三次元画像とが表示されることを含んでもよい。
【００１１】
また、前記切断面設定手段は、切断方向の異なる複数の曲面をそれぞれ切断面として設定し、前記画像構成手段は、前記切断面設定手段によって設定された複数の曲面によってそれぞれ前記原画像を切断した複数の断面像を構成し、前記画像表示手段は、前記画像構成手段によって構成された複数の断面像を順次切り換え、切断方向の異なる断面像を連続的に表示してもよい。例えば切断方向が０度〜３６０度の範囲内で等角度ずつ変化する複数の曲面を設定し、これらの曲面によってそれぞれ切断された原画像の断面像を切り替えて表示することにより、血管等の観察対象の内部を０度〜３６０度にわたって動画として見渡すことができる。
【００１２】
また、複数の断層像に含まれる管腔臓器の内部に、複数の視点を設定する視点設定手段と、前記視点設定手段によって設定された複数の視点を通る曲線を仮想の線光源とする光源設定手段と、前記管腔臓器を、前記光源設定手段によって設定された曲線の線光源を中心とする円筒状の投影面に陰影付けして投影し、該陰影付けした円筒状の投影面を展開して得る三次元画像を構成する画像構成手段と、前記画像構成手段によって構成された三次元画像を表示する表示手段と、を備えるようにしてもよい。即ち、複数の視点を通る曲線を仮想の点光源として設定し、画像構成手段は、前記設定された点光源から原画像を該点光源を中心とする円筒状の投影面に陰影付けて投影し、この陰影付けした円筒状の投影面を展開して擬似的に三次元画像を構成するようにしている。従って、この三次元画像は、血管などの観察対象を切り開いた画像となる。
【００１５】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像表示装置の好ましい実施の形態について詳説する。
図１は本発明に係る画像表示装置によって表示される表示例を示している。同図において、１はＣＲＴモニタ、２はマウス、３は中心投影法によって構成された血管内を示す疑似三次元画像（内視鏡的画像）、４は本発明によって新規に表示された血管１２の縦切りの断面像である。
【００１６】
次に、上記断面像４の構成方法について説明する。
図２は上記断面像の構成方法の実施の形態を示す図である。図２（Ａ）において、１０はＸ線ＣＴ装置等によって得られる複数のＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）が積み上げられた三次元の原画像であり、１２は原画像１０に含まれる観察対象としての血管を示している。また、５ａ〜５ｇは中心投影法によって血管１２内に順次設定された視点を示す。
【００１７】
上記視点５ａ〜５ｇは、例えば図１の内視鏡的画像３を見ながら画面中のカーソル（図示せず）をマウス等で操作しながら順次設定され、又は視線方向が視点から最も遠い位置に向かうように順次自動的に更新されることにより設定される。本発明はこの中心投影法において使用される視点を利用する。尚、中心投影法及び視点の更新方法の詳細については、特開平７−２１０７０４号公報、及び特開平８−１６８１３号公報に記載されている。
【００１８】
本発明では、上記のようにして設定された視点５ａ〜５ｇを含む曲面（切断面）１４によって血管１２を切断し、その切断した断面像を表示する。尚、この曲面１４は、視点５ａ〜５ｇを通る複数の直線５ａＬ〜５ｇＬを含んでおり、また、直線５ａＬ〜５ｇＬは、図２に示す実施の形態では、ＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）の積み上げ方向の座標軸ｙに平行な場合に関して示している。
【００１９】
さて、血管１２の縦切りの断面像４（図１）を構成する場合には、次のようにする。視点５ａを通るｙ軸に平行な直線５ａＬを求め、直線５ａＬ上の各点でのＣＴ値をＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）から求める。尚、各ＣＴ画像間のＣＴ値は、補間によって求める。このようにして求めた直線５ａＬ上のＣＴ値をメモリ１６（図２（Ｂ））に格納する。他の視点５ｂ〜５ｇを通る直線５ｂＬ〜５ｇＬ上のＣＴ値も同様にしてメモリ１６に格納するが、直線（視点）の間隔が長い場合には、例えば直線５ｃＬ〜５ｄＬの間で示すように所望の画質が得られる間隔の直線を補間により求め、これらの直線上のＣＴ値をメモリ１６に格納する。
【００２０】
図１に示した血管１２の縦切りの断面像４は、上記メモリ１６に格納したＣＴ値を濃度情報としてＣＲＴモニタ１に表示したものである。また、図１に示すように断面像４とともに視点５ａ〜５ｅを表示してもよく、また、中心投影法において構成される内視鏡的画像３の視野を点線６で表示してもよい。更に、ＣＲＴモニタ１に表示した内視鏡的画像３の視点の位置を、断面像４上で矢印Ａによって表示し、この矢印Ａをマウス２によって他の視点に移動させることより、内視鏡的画像３を切り換え可能にしてもよい。
【００２１】
図３は断面像の構成方法の他の実施の形態を示す図である。図２に示した実施の形態は、視点５ａ〜５ｇを通る直線５ａＬ〜５ｇＬは、三次元の原画像１０の座標軸の１つ（ｙ軸）と平行としたが、図３に示す実施の形態では、視点５ａ〜５ｇを通る直線５ａＬ′〜５ｇＬ′は、座標軸の１つと一定の角度をなすように設定される。
【００２２】
即ち、直線５ａＬ′は、直線５ａＬと一定の角度をもっている。直線５ｂＬ′〜５ｇＬ′についても同様に一定の角度をもっている。図３（Ｂ）は上記直線５ａＬ′〜５ｇＬ′上のＣＴ値が格納されたメモリ１６を示す。例えば、図３（Ａ）の直線５ｄＬ′上のＣＴ値１８は、図３（Ｂ）のメモリ１６上の対応する位置に格納される。
【００２３】
次に、本発明に係る断面像を構成する方法について図４に示すフローチャートを参照しながら説明する。
まず、血管等の観察対象の内部に視点を設定し、その視点が観察対象の内部を進むように手動又は自動で更新処理し、各視点ｅi （ｉ＝０，１，２，…，ｎ）の座標を保存する（ステップＳ１０）。続いて、視点を通る直線の三次元の原画像１０の座標軸となす角度α，βを指定し、また、カウンタ値ｉを０にする（ステップＳ１２）。即ち、図５に示すように直線Ｌとｘ軸とのなす角度をα，直線Ｌとｘ−ｚ平面とのなす角度をβとする。
【００２４】
次に、視点ｅi として最初の視点ｅ0 を指定する（ステップＳ１４）。続いて、指定した指定ｅi （最初はｅ0 ）を通り、ｘ軸とα、ｘ−ｚ平面とβの角度をなす直線Ｌi を求める（ステップＳ１６）。そして、このようにした求めた直線Ｌi 上のＣＴ値を、三次元の原画像１０から読み出し、また必要に応じて補間して求め（ステップＳ１８）、これらのＣＴ値をメモリの画像配列の第ｉ列又は第ｉ行に格納する（ステップＳ２０）。
【００２５】
その後、カウンタ値ｉに１を加え、次の視点ｅi を指定する（ステップＳ２２）。次に、全ての視点を指定したか否かを判断する（ステップＳ２４）。即ち、カウンタ値ｉが最後の視点ｅn に対応するカウンタ値ｎ（このｎは予めキー入力する）よりも大きいか否かを判断し、ｉがｎ以下の場合（ｉ≦ｎ）には、ステップＳ１６に戻る。そして、上記と同様にしてステップＳ１６からステップＳ２４の処理を繰り返す。尚、血管の末端で自動的にストップするには、例えば、血管穴の面積比が一定値より大きくなったら止める。
【００２６】
一方、ステップＳ２４において、全ての視点が指定されたと判断された場合、即ち、カウンタ値ｉがｎよりも大きい（ｉ＞ｎ）と判断された場合には、断面像を構成する処理を終了する。
上記のようにしてステップＳ２０でメモリに格納されたＣＴ値を濃度情報とする画像信号をＣＲＴモニタに出力することにより、血管等の観察対象の縦切りの断面像を表示することができる。
【００２７】
図６は断面像の構成方法の更に他の実施の形態を示す図である。同図に示す実施の形態では、ＣＴ画像と断面像との対応付けを変えており、直線５ｂＬ〜５ｅＬ間を拡大して表示できるようにしている。
図７は本発明に係る画像表示装置によって表示される他の表示例を示している。同図において、２０は血管１２を含む疑似三次元画像であり、２２は同じ血管１２の縦切りの断面像である。この疑似三次元画像２０は、血管１２を含む三次元の原画像１０を投影面に平行投影し、サーフェイス法やボリュームレンダリング法によって陰影付けして構成され、更に視点５ａ，５ｂ，５ｃ，…が重ね合わされている。
【００２８】
図８は本発明に係る画像表示装置によって表示される特殊な表示例を示している。同図に示すように、ＣＲＴモニタには、血管１２を縦切りした２枚の断面像２４、２６が表示されている。断面像２４は、ｙ軸と平行な直線によって構成された曲面で原画像１０を切断した場合の断面像であり、断面像２６は、ｚ軸と平行な直線によって構成された曲面で原画像１０を切断した場合の断面像である。
【００２９】
即ち、断面像２４と断面像２６とは、互いに直交した断面像であり、これによれば血管１２内の血栓２８を縦と横から観察することができ、診断をより正確に行うことができる。尚、断面像２４と断面像２６とは、ＣＲＴモニタ１の画面内に並べて表示されているが、これに限らず、画面を切り換えて別々の画面で表示するようにしてもよい。
【００３０】
図９は図８に示した表示例の変形を示しており、図８（Ａ）及び（Ｂ）に示すように互いに直交する２つの曲面（切断面）３０、３２で原画像１０を切断し、図８（Ｃ）に示すように上記切断面３０、３２で切断した血管１２を含む断面像３４、３６をそれぞれＣＲＴモニタ１に表示するようにしている。
ここで、断面像３４は、血管１２の奥行き方向が画面の上方向と一致するように表示され、断面像３６は、血管１２の奥行き方向が画面の右方向と一致するように表示されている。
【００３１】
図１０は動画の断面像の構成方法を示す図である。同図に示すように、視点５ａを通る複数の直線５ａＬ1 ，５ａＬ2 ，５ａＬ3 …を設定する。各直線は、ｙ軸から所定の角度ずつ回転している。他の視点５ｂ〜５ｇを通る直線についても同様に複数設定する。そして、直線５ａＬ1 と同じ角度の各直線上のＣＴ値をメモリに格納することにより１フレーム目の画像データを構成し、同様にして直線５ａＬ2 、５ａＬ3 、…と同じ角度の各直線上のＣＴ値をメモリに格納することにより２フレーム目、３フレーム目、…の画像データを構成する。
【００３２】
図１０（Ｂ）に示すように上記各フレームの画像データを順次ＣＲＴモニタ１に出力することにより、切断面が連続的に変化する動画（断面像）３８を表示することができる。
図１１は断面像とは別の画像の構成方法を示す図である。上述した断面像は、陰影付けがされていない平面的な画像である。図１１に示す画像の構成方法では、各視点を含む曲面１４によって三次元の原画像１０を切断除去し、除去した状態あるいは除去したと同じ効果をもたせた状態（例えば、処理範囲に制限をつける）で、投影面４０にサーフェイス法やボリュームレンダリング法等によって陰影付けして投影し、疑似的に三次元画像を構成する。尚、図１１（Ａ）上の視点を投影面４０に対して無限遠に設定することにより、平行投影することができる。
【００３３】
図１１（Ｂ）は上記のようにして陰影付けされた縦切り血管１２の疑似三次元画像４２を示している。この画像の構成方法によれば、ＣＴ値で表示された断面像の代わりに、陰影付けされた疑似三次元画像４２を得ることができる。
次に、手動又は自動更新で得た複数の視点の一部を良好な位置に再設定する方法について説明する。
【００３４】
手動又は自動更新で得られる複数の視点は、図１２の黒丸で示すように通常、血管１２内の血液（造影剤を含む）の流路の略中心を通るように設定される。この場合、血管１２内に血栓２８があると、視点位置は、血管１２の中心線から大きく外れることになる。
そこで、視点の一部を良好な位置に再設定する場合には、図１２に示すように視点を再設定するための領域４４を指定する。この指定領域４４内の視点を、指定領域外の視点に基づいてスプライン補間等の補間演算によって求め、この求めた視点（図中、記号＊で示した視点）を指定領域４４内の黒丸で示した視点に代えて保存する。
【００３５】
これにより血栓２８の断面像を観察することができる。
次に、手動又は自動更新で得た複数の視点を良好な位置に再設定する他の方法について説明する。
手動又は自動更新で得られる複数の視点ｅは、図１３に示すように必ずしも血管１２の内壁の曲率中心位置に設定されるとは限らない。そこで、図１３に示すように血管１２を視点ｅを通る平面で切断し、その切断面におけるＣＴ値から血管１２の内壁を求め、その内壁を構成する輪郭点の座標値の平均を求める。この座標値の平均値は、内壁の中心点ｅ′となるため、視点ｅの位置を中心点ｅ′の位置に変更して保存する。
【００３６】
これにより、血管１２の中心を通る切断面（曲面）で血管１２を切断することができる。
図１４は断面像の構成方法の他の実施の形態を示す図である。
図１４（Ａ）に示すように、視点５ａと５ｂを結ぶベクトルｎ1 、視点５ｂと５ｃを結ぶベクトルｎ2 、…の各ベクトルｎｉと直交する円筒の内面を投影面とし、各視点から投影面に三次元の原画像１０を陰影付けして投影する。例えば、視点５ａからの投影線は、ベクトルｎ1 と直交し、一定の角度でそれぞれ投影位置ａ〜ｚに放射状に投影される。尚、陰影付けの方法としては、サーフェイス法、ボリュームレンダリング法、デプス法等のいずれを使用してもよい。
【００３７】
即ち、視点５ａ〜５ｇを通る曲線を仮想の線光源とし、この線光源を中心とする円筒状の投影面に陰影付けして投影する。
このようして円筒状の投影面に投影された画像情報は、図１４（Ｂ）に示すようにメモリ１６上で直線状に展開されて格納される。尚、展開の開始位置（角度）ａは、任意に設定可能である。
【００３８】
これにより、上記メモリ１６に格納された画像情報により、血管１２を切り開いた疑似三次元画像を表示することができる。
図１５は断面像の構成方法の更に他の実施の形態を示す図である。同図に示す実施の形態では、図１５（Ａ）に示すように、途中で２本に枝分かれしている血管１２の各経路内に視点５ａ〜５ｇ、５α〜５δを設定し、血管１２を全視点を含む曲面で切断し、その切断した断面像を表示する。この曲面は、視点５ａ〜５ｃを通る直線５ａＬ〜５ｃＬ、視点５ｄ、５αを通る直線、視点５ｅ、５βを通る直線、視点５ｆ、５γを通る直線、視点５ｇ、５δを通る直線を含んでおり、また、同図上では、５ａＬ〜５ｃＬは座標軸ｙに平行な場合に関して示しているが、これに限定されない。
【００３９】
このように切断された画像情報は、図１５（Ｂ）に示すようにメモリ１６上に格納される。メモリ１６に格納された画像情報により、血管１２が２本に枝分かれした断面像を表示することができる。
図１６は断面像の構成方法の更に他の実施の形態を示す図である。同図に示す実施の形態では、図１６（Ａ）に示すように、途中で３本に枝分かれしている血管１２の各経路内に視点５ａ〜５ｇ、５α〜５γ、５Ａ〜５Ｄを設定し、血管１２を視点５ａ〜５ｅ、５α〜５δ、５Ａ〜５Ｄを含む曲面で切断し、その切断した断面像を表示する。この曲面は、視点５ａ〜５ｂを通る直線５ａＬ〜５ｂＬ、視点５Ａ、５ｃを通る直線、視点５Ｂ、５αを通る直線、視点５Ｃ、５ｄ、５βを通る曲線、視点５Ｄ、５ｅ、５γを通る曲線を含んでいる。視点５Ｃ、５ｄ、５βを通る曲線、視点５Ｄ、５ｅ、５γを通る曲線は、各々スプライン補間によって求められまた、同図上では、５ａＬ〜５ｂＬは座標軸ｙに平行な場合に関して示しているが、これに限定されない。
【００４０】
このように切断された画像情報は、図１６（Ｂ）に示すようにメモリ１６上に格納される。メモリ１６に格納された画像情報により、血管１２が３本に枝分かれした断面像を表示することができる。
図１７は断面像から距離を計測する方法を示す説明図である。
ＣＲＴモニタ１には血管の断面像が表示され、マウス２によって断面像上に表示された矢印Ａを移動させ、血管に沿った２点をクリックすることによって、２点が＋で表示され、２点間の距離が計測される。この断面像は、原画像が切断された曲面状の断面像を、この曲面を平面に伸長したときの断面像として表示されているため、前記２点間の距離は実際の血管に沿った２点間の距離と等しくなる。
【００４１】
図１８は疑似三次元画像から面積を計測する方法を示す説明図である。
ＣＲＴモニタ１には血管１２を切り開いた疑似三次元画像４８が表示され、マウス２によって疑似三次元画像上に表示された矢印Ａを移動させ、ある領域を包囲するようにドラッグすることによって、血管内の該領域の面積が計測される。図１９は本発明に係る画像表示装置のハードウェア構成例を示すブロック図である。
【００４２】
同図に示すように、この画像表示装置は、主として磁気ディスク５０と、主メモリ５２と、中央処理装置（ＣＰＵ）５４と、表示メモリ５６と、ＣＲＴモニタ１と、各種の操作指令、位置指令、メニュー選択指令を入力するためのキーボード５８、マウス２、マウスコントローラ６０と、これらの各構成要素を接続する共通バス６２とから構成されている。
【００４３】
磁気ディスク５０には、複数のＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）が積み上げられた三次元の原画像１０、画像構成プログラム等が格納され、主メモリ５２には、装置の制御プログラムが格納されるとともに、演算処理用の領域等が設けられている。
ＣＰＵ５４は、三次元の原画像１０や各種のプログラムを読み出し、主メモリ５２を用いて本発明に係る断面像や疑似三次元画像等の構成を行い、その構成した画像を示す画像データを表示メモリ５６に送り、ＣＲＴモニタ１に表示させる。
【００４４】
尚、この実施の形態では、観察対象として血管を例に説明したが、本発明は、血管に限定されず、腸、胃等の管腔臓器や、骨等の観察対象にも適用できる。また、断面像と三次元画像等を１画面内に並べて又は画面を切り換えて表示することで説明したが、要するに両者を対応づけて表示すればよく、例えば複数の画面に並べる等あらゆる両者のうちの一方が副次的に使用されるような表示を含む。
【００４５】
尚、本実施の形態は観察対象に沿って視点を設定するように説明したがこれに限られることなく、例えば観察対象の中央部等の該観察対象に沿っていない場合も含む。
【００４６】
【発明の効果】
以上説明したように本発明に係る画像表示装置によれば、血管、腸等の観察対象をその観察対象に沿った曲面で縦切りにした断面像や、観察対象の内部が観察できるように切り開いた画像を表示することができ、特に中心投影法によって設定される複数の視点を利用して、切断面としての曲面等を自動的に設定することができるという利点がある。
【図面の簡単な説明】
【図１】図１は本発明に係る画像表示装置に基づいて表示された断面像を含む表示例を示す図である。
【図２】図２は断面像の構成方法の実施の形態を示す図である。
【図３】図３は断面像の構成方法の他の実施の形態を示す図である。
【図４】図４は断面像の構成方法を示すフローチャートである。
【図５】図５は三次元の原画像の座標系と視点を通る直線との関係を説明するために用いた図である。
【図６】図６は断面像の構成方法の更に他の実施の形態を示す図である。
【図７】図７は本発明に係る画像表示装置によって表示される他の表示例を示す図である。
【図８】図８は本発明に係る画像表示装置によって表示される特殊な表示例を示す図である。
【図９】図９は図８に示した表示例の変形例を示した図である。
【図１０】図１０は動画の断面像の構成方法を示す図である。
【図１１】図１１は断面像とは別の画像の構成方法を示す図である。
【図１２】図１２は複数の視点の一部を再設定する方法を説明するために用いた図である。
【図１３】図１３は視点を観察対象内の中心に再設定する方法を説明するために用いた図である。
【図１４】図１４は断面像の構成方法の他の実施の形態を示す図である。
【図１５】図１５は断面像の構成方法の更に他の実施の形態を示す図である。
【図１６】図１６は断面像の構成方法の更に他の実施の形態を示す図である。
【図１７】図１７は断面像から距離を計測する方法を示す説明図である。
【図１８】図１８は疑似三次元画像から面積を計測する方法を示す説明図である。
【図１９】図１９は本発明に係る画像表示装置のハードウェア構成例を示すブロック図である。
【符号の説明】
１…ＣＲＴモニタ
２…マウス
３…内視鏡的画像
４、２２、２４、２６、３４、３６、４６…断面像
５ａ〜５ｇ…視点
５ａＬ〜５ｇＬ、５ａＬ′〜５ｇＬ′、５ａＬ1 〜１５ａＬ3 …直線
１０…三次元の原画像
１２…血管
１４、３０、３２…曲面（切断面）
１６…メモリ
２０、４２、４８…疑似三次元画像
２８…血栓
３６…断面像の動画
４０…投影面
４４…指定領域
５０…磁気ディスク
５２…主メモリ
５４…中央処理装置（ＣＰＵ）
５６…表示メモリ
【発明の属する技術分野】
本発明は画像表示装置に係り、特に血管、腸、胃、骨等の観察対象の内面の画像を表示する画像表示装置に関する。
【０００２】
【従来の技術】
医用画像には、Ｘ線ＣＴ装置、ＭＲＩ装置（３次元計測するＭＲＩも含む）、超音波診断装置、３次元計測のできるコーンビームＣＴ装置などの各種モダリティ毎にＸ線ＣＴ画像やＭＲＩ画像、超音波断層像等の種々の画像がある。３次元計測で得たデータから再構成した画像をボリューム画像と言う。それらの各種モダリティで得られた画像の疑似三次元画像を得る方法として、視点と投影面とを与え、視点と投影面との間に存在する原画像（複数の断層像）を、その投影面に視点から見たように投影する投影法が存在する。投影法には、平行投影法と中心投影法とが知られている。
【０００３】
観察対象の内部を内視鏡で見たような画像（以下、内視鏡的画像という）を得るためには、視点を観察対象の内部に設定することができる中心投影法を用いる。この内視鏡的画像を得る中心投影法は、特開平７−２１０７０４号公報、及び特開平８−１６８１３号公報に記載されている。そして、中心投影法における視点位置及び視点方向を適宜更新することにより内視鏡的な動きを模擬した投影像を得ることができる。尚、視点位置及び視点方向の更新は、マウス等の入力手段をマニュアル操作することによって行う場合と、視線方向が画面中の最も暗い位置に向かうように順次自動的に更新させる場合とがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記中心投影法による内視鏡的画像の場合には、例えば血管の内壁を示す画像が表示されている場合に、被検体内のどこの血管が表示されているか、また、血管のどの位置からどの方向を観察しているかが把握しにくいという問題があった。
【０００５】
本発明はこのような事情に鑑みてなされたもので、血管、腸等の観察対象をその観察対象に沿った曲面で縦切りにした断面像や、観察対象の内部が観察できるように切り開いた画像を表示することができる画像表示装置を提供することを目的としている。
【０００６】
【課題を解決する為の手段】
前記目的を達成するために、本発明は、複数の断層像に含まれる管腔臓器の内部に、複数の視点を設定する視点設定手段と、この視点設定手段によって設定された複数の視点を通る曲面を切断面として設定する切断面設定手段と、この切断面設定手段によって設定された切断面により切断して前記管腔臓器の前記視点方向に延びる断面像を構成する画像構成手段と、この画像構成手段によって構成された断面像を表示する画像表示手段と、を備える。
【０００７】
前記視点設定手段によって設定される複数の視点は、中心投影法において使用された各視点を記憶し、その記憶した視点をそのまま使用することができる。切断面設定手段は、前記設定された複数の視点に基づいて複数の視点を通る曲面を切断面として設定し、画像構成手段は、前記設定された曲面で切断された原画像の断面像を構成する。従って、この断面像は、血管等の観察対象を観察対象に沿って縦切りにした断面像となる。また、この断面像は、複数に枝分かれした管腔臓器の内部にそれぞれ複数の視点が設定された場合には、観察対象が枝分かれして表示された断面像となる。
【０００８】
更に前記切断面設定手段は、前記複数の断層像の積み上げ方向に直交する方向の切断面及び前記複数の断層像の積み上げ方向と所定の角度を成す方向の切断面のうちの少なくとも１つの切断面を設定してもよい。
【０００９】
また、前記切断面設定手段は、互いに直交する複数の切断面を設定し、前記画像構成手段は、前記直交する複数の切断面についてそれぞれ断面像を構成し、前記画像表示手段は、前記複数の切断面についてそれぞれ構成された複数の断面像を対応付けて表示するようにしてもよい。
更に、前記画像表示手段は、前記画像構成手段によって構成された断面像に、前記視点設定手段によって設定された複数の視点又は、それら複数の視点からの視野が重畳表示されることを含んでもよい。
【００１０】
また、前記複数の断層像を積み上げて構成される積み上げ画像について平行投影法により擬似的三次元画像を構成する第１の三次元画像構成手段をさらに備え、前記画像表示手段は、前記画像構成手段によって構成された断面像と前記三次元画像構成手段によって構成された擬似的三次元画像とが表示されることを含んでもよい。
また、前記複数の断層像を積み上げて構成される積み上げ画像について中心投影法により擬似的三次元画像を構成する第２の三次元画像構成手段をさらに備え、前記画像表示手段は、前記画像構成手段によって構成された断面像と前記三次元画像構成手段によって構成された擬似的三次元画像とが表示されることを含んでもよい。
【００１１】
また、前記切断面設定手段は、切断方向の異なる複数の曲面をそれぞれ切断面として設定し、前記画像構成手段は、前記切断面設定手段によって設定された複数の曲面によってそれぞれ前記原画像を切断した複数の断面像を構成し、前記画像表示手段は、前記画像構成手段によって構成された複数の断面像を順次切り換え、切断方向の異なる断面像を連続的に表示してもよい。例えば切断方向が０度〜３６０度の範囲内で等角度ずつ変化する複数の曲面を設定し、これらの曲面によってそれぞれ切断された原画像の断面像を切り替えて表示することにより、血管等の観察対象の内部を０度〜３６０度にわたって動画として見渡すことができる。
【００１２】
また、複数の断層像に含まれる管腔臓器の内部に、複数の視点を設定する視点設定手段と、前記視点設定手段によって設定された複数の視点を通る曲線を仮想の線光源とする光源設定手段と、前記管腔臓器を、前記光源設定手段によって設定された曲線の線光源を中心とする円筒状の投影面に陰影付けして投影し、該陰影付けした円筒状の投影面を展開して得る三次元画像を構成する画像構成手段と、前記画像構成手段によって構成された三次元画像を表示する表示手段と、を備えるようにしてもよい。即ち、複数の視点を通る曲線を仮想の点光源として設定し、画像構成手段は、前記設定された点光源から原画像を該点光源を中心とする円筒状の投影面に陰影付けて投影し、この陰影付けした円筒状の投影面を展開して擬似的に三次元画像を構成するようにしている。従って、この三次元画像は、血管などの観察対象を切り開いた画像となる。
【００１５】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像表示装置の好ましい実施の形態について詳説する。
図１は本発明に係る画像表示装置によって表示される表示例を示している。同図において、１はＣＲＴモニタ、２はマウス、３は中心投影法によって構成された血管内を示す疑似三次元画像（内視鏡的画像）、４は本発明によって新規に表示された血管１２の縦切りの断面像である。
【００１６】
次に、上記断面像４の構成方法について説明する。
図２は上記断面像の構成方法の実施の形態を示す図である。図２（Ａ）において、１０はＸ線ＣＴ装置等によって得られる複数のＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）が積み上げられた三次元の原画像であり、１２は原画像１０に含まれる観察対象としての血管を示している。また、５ａ〜５ｇは中心投影法によって血管１２内に順次設定された視点を示す。
【００１７】
上記視点５ａ〜５ｇは、例えば図１の内視鏡的画像３を見ながら画面中のカーソル（図示せず）をマウス等で操作しながら順次設定され、又は視線方向が視点から最も遠い位置に向かうように順次自動的に更新されることにより設定される。本発明はこの中心投影法において使用される視点を利用する。尚、中心投影法及び視点の更新方法の詳細については、特開平７−２１０７０４号公報、及び特開平８−１６８１３号公報に記載されている。
【００１８】
本発明では、上記のようにして設定された視点５ａ〜５ｇを含む曲面（切断面）１４によって血管１２を切断し、その切断した断面像を表示する。尚、この曲面１４は、視点５ａ〜５ｇを通る複数の直線５ａＬ〜５ｇＬを含んでおり、また、直線５ａＬ〜５ｇＬは、図２に示す実施の形態では、ＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）の積み上げ方向の座標軸ｙに平行な場合に関して示している。
【００１９】
さて、血管１２の縦切りの断面像４（図１）を構成する場合には、次のようにする。視点５ａを通るｙ軸に平行な直線５ａＬを求め、直線５ａＬ上の各点でのＣＴ値をＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）から求める。尚、各ＣＴ画像間のＣＴ値は、補間によって求める。このようにして求めた直線５ａＬ上のＣＴ値をメモリ１６（図２（Ｂ））に格納する。他の視点５ｂ〜５ｇを通る直線５ｂＬ〜５ｇＬ上のＣＴ値も同様にしてメモリ１６に格納するが、直線（視点）の間隔が長い場合には、例えば直線５ｃＬ〜５ｄＬの間で示すように所望の画質が得られる間隔の直線を補間により求め、これらの直線上のＣＴ値をメモリ１６に格納する。
【００２０】
図１に示した血管１２の縦切りの断面像４は、上記メモリ１６に格納したＣＴ値を濃度情報としてＣＲＴモニタ１に表示したものである。また、図１に示すように断面像４とともに視点５ａ〜５ｅを表示してもよく、また、中心投影法において構成される内視鏡的画像３の視野を点線６で表示してもよい。更に、ＣＲＴモニタ１に表示した内視鏡的画像３の視点の位置を、断面像４上で矢印Ａによって表示し、この矢印Ａをマウス２によって他の視点に移動させることより、内視鏡的画像３を切り換え可能にしてもよい。
【００２１】
図３は断面像の構成方法の他の実施の形態を示す図である。図２に示した実施の形態は、視点５ａ〜５ｇを通る直線５ａＬ〜５ｇＬは、三次元の原画像１０の座標軸の１つ（ｙ軸）と平行としたが、図３に示す実施の形態では、視点５ａ〜５ｇを通る直線５ａＬ′〜５ｇＬ′は、座標軸の１つと一定の角度をなすように設定される。
【００２２】
即ち、直線５ａＬ′は、直線５ａＬと一定の角度をもっている。直線５ｂＬ′〜５ｇＬ′についても同様に一定の角度をもっている。図３（Ｂ）は上記直線５ａＬ′〜５ｇＬ′上のＣＴ値が格納されたメモリ１６を示す。例えば、図３（Ａ）の直線５ｄＬ′上のＣＴ値１８は、図３（Ｂ）のメモリ１６上の対応する位置に格納される。
【００２３】
次に、本発明に係る断面像を構成する方法について図４に示すフローチャートを参照しながら説明する。
まず、血管等の観察対象の内部に視点を設定し、その視点が観察対象の内部を進むように手動又は自動で更新処理し、各視点ｅi （ｉ＝０，１，２，…，ｎ）の座標を保存する（ステップＳ１０）。続いて、視点を通る直線の三次元の原画像１０の座標軸となす角度α，βを指定し、また、カウンタ値ｉを０にする（ステップＳ１２）。即ち、図５に示すように直線Ｌとｘ軸とのなす角度をα，直線Ｌとｘ−ｚ平面とのなす角度をβとする。
【００２４】
次に、視点ｅi として最初の視点ｅ0 を指定する（ステップＳ１４）。続いて、指定した指定ｅi （最初はｅ0 ）を通り、ｘ軸とα、ｘ−ｚ平面とβの角度をなす直線Ｌi を求める（ステップＳ１６）。そして、このようにした求めた直線Ｌi 上のＣＴ値を、三次元の原画像１０から読み出し、また必要に応じて補間して求め（ステップＳ１８）、これらのＣＴ値をメモリの画像配列の第ｉ列又は第ｉ行に格納する（ステップＳ２０）。
【００２５】
その後、カウンタ値ｉに１を加え、次の視点ｅi を指定する（ステップＳ２２）。次に、全ての視点を指定したか否かを判断する（ステップＳ２４）。即ち、カウンタ値ｉが最後の視点ｅn に対応するカウンタ値ｎ（このｎは予めキー入力する）よりも大きいか否かを判断し、ｉがｎ以下の場合（ｉ≦ｎ）には、ステップＳ１６に戻る。そして、上記と同様にしてステップＳ１６からステップＳ２４の処理を繰り返す。尚、血管の末端で自動的にストップするには、例えば、血管穴の面積比が一定値より大きくなったら止める。
【００２６】
一方、ステップＳ２４において、全ての視点が指定されたと判断された場合、即ち、カウンタ値ｉがｎよりも大きい（ｉ＞ｎ）と判断された場合には、断面像を構成する処理を終了する。
上記のようにしてステップＳ２０でメモリに格納されたＣＴ値を濃度情報とする画像信号をＣＲＴモニタに出力することにより、血管等の観察対象の縦切りの断面像を表示することができる。
【００２７】
図６は断面像の構成方法の更に他の実施の形態を示す図である。同図に示す実施の形態では、ＣＴ画像と断面像との対応付けを変えており、直線５ｂＬ〜５ｅＬ間を拡大して表示できるようにしている。
図７は本発明に係る画像表示装置によって表示される他の表示例を示している。同図において、２０は血管１２を含む疑似三次元画像であり、２２は同じ血管１２の縦切りの断面像である。この疑似三次元画像２０は、血管１２を含む三次元の原画像１０を投影面に平行投影し、サーフェイス法やボリュームレンダリング法によって陰影付けして構成され、更に視点５ａ，５ｂ，５ｃ，…が重ね合わされている。
【００２８】
図８は本発明に係る画像表示装置によって表示される特殊な表示例を示している。同図に示すように、ＣＲＴモニタには、血管１２を縦切りした２枚の断面像２４、２６が表示されている。断面像２４は、ｙ軸と平行な直線によって構成された曲面で原画像１０を切断した場合の断面像であり、断面像２６は、ｚ軸と平行な直線によって構成された曲面で原画像１０を切断した場合の断面像である。
【００２９】
即ち、断面像２４と断面像２６とは、互いに直交した断面像であり、これによれば血管１２内の血栓２８を縦と横から観察することができ、診断をより正確に行うことができる。尚、断面像２４と断面像２６とは、ＣＲＴモニタ１の画面内に並べて表示されているが、これに限らず、画面を切り換えて別々の画面で表示するようにしてもよい。
【００３０】
図９は図８に示した表示例の変形を示しており、図８（Ａ）及び（Ｂ）に示すように互いに直交する２つの曲面（切断面）３０、３２で原画像１０を切断し、図８（Ｃ）に示すように上記切断面３０、３２で切断した血管１２を含む断面像３４、３６をそれぞれＣＲＴモニタ１に表示するようにしている。
ここで、断面像３４は、血管１２の奥行き方向が画面の上方向と一致するように表示され、断面像３６は、血管１２の奥行き方向が画面の右方向と一致するように表示されている。
【００３１】
図１０は動画の断面像の構成方法を示す図である。同図に示すように、視点５ａを通る複数の直線５ａＬ1 ，５ａＬ2 ，５ａＬ3 …を設定する。各直線は、ｙ軸から所定の角度ずつ回転している。他の視点５ｂ〜５ｇを通る直線についても同様に複数設定する。そして、直線５ａＬ1 と同じ角度の各直線上のＣＴ値をメモリに格納することにより１フレーム目の画像データを構成し、同様にして直線５ａＬ2 、５ａＬ3 、…と同じ角度の各直線上のＣＴ値をメモリに格納することにより２フレーム目、３フレーム目、…の画像データを構成する。
【００３２】
図１０（Ｂ）に示すように上記各フレームの画像データを順次ＣＲＴモニタ１に出力することにより、切断面が連続的に変化する動画（断面像）３８を表示することができる。
図１１は断面像とは別の画像の構成方法を示す図である。上述した断面像は、陰影付けがされていない平面的な画像である。図１１に示す画像の構成方法では、各視点を含む曲面１４によって三次元の原画像１０を切断除去し、除去した状態あるいは除去したと同じ効果をもたせた状態（例えば、処理範囲に制限をつける）で、投影面４０にサーフェイス法やボリュームレンダリング法等によって陰影付けして投影し、疑似的に三次元画像を構成する。尚、図１１（Ａ）上の視点を投影面４０に対して無限遠に設定することにより、平行投影することができる。
【００３３】
図１１（Ｂ）は上記のようにして陰影付けされた縦切り血管１２の疑似三次元画像４２を示している。この画像の構成方法によれば、ＣＴ値で表示された断面像の代わりに、陰影付けされた疑似三次元画像４２を得ることができる。
次に、手動又は自動更新で得た複数の視点の一部を良好な位置に再設定する方法について説明する。
【００３４】
手動又は自動更新で得られる複数の視点は、図１２の黒丸で示すように通常、血管１２内の血液（造影剤を含む）の流路の略中心を通るように設定される。この場合、血管１２内に血栓２８があると、視点位置は、血管１２の中心線から大きく外れることになる。
そこで、視点の一部を良好な位置に再設定する場合には、図１２に示すように視点を再設定するための領域４４を指定する。この指定領域４４内の視点を、指定領域外の視点に基づいてスプライン補間等の補間演算によって求め、この求めた視点（図中、記号＊で示した視点）を指定領域４４内の黒丸で示した視点に代えて保存する。
【００３５】
これにより血栓２８の断面像を観察することができる。
次に、手動又は自動更新で得た複数の視点を良好な位置に再設定する他の方法について説明する。
手動又は自動更新で得られる複数の視点ｅは、図１３に示すように必ずしも血管１２の内壁の曲率中心位置に設定されるとは限らない。そこで、図１３に示すように血管１２を視点ｅを通る平面で切断し、その切断面におけるＣＴ値から血管１２の内壁を求め、その内壁を構成する輪郭点の座標値の平均を求める。この座標値の平均値は、内壁の中心点ｅ′となるため、視点ｅの位置を中心点ｅ′の位置に変更して保存する。
【００３６】
これにより、血管１２の中心を通る切断面（曲面）で血管１２を切断することができる。
図１４は断面像の構成方法の他の実施の形態を示す図である。
図１４（Ａ）に示すように、視点５ａと５ｂを結ぶベクトルｎ1 、視点５ｂと５ｃを結ぶベクトルｎ2 、…の各ベクトルｎｉと直交する円筒の内面を投影面とし、各視点から投影面に三次元の原画像１０を陰影付けして投影する。例えば、視点５ａからの投影線は、ベクトルｎ1 と直交し、一定の角度でそれぞれ投影位置ａ〜ｚに放射状に投影される。尚、陰影付けの方法としては、サーフェイス法、ボリュームレンダリング法、デプス法等のいずれを使用してもよい。
【００３７】
即ち、視点５ａ〜５ｇを通る曲線を仮想の線光源とし、この線光源を中心とする円筒状の投影面に陰影付けして投影する。
このようして円筒状の投影面に投影された画像情報は、図１４（Ｂ）に示すようにメモリ１６上で直線状に展開されて格納される。尚、展開の開始位置（角度）ａは、任意に設定可能である。
【００３８】
これにより、上記メモリ１６に格納された画像情報により、血管１２を切り開いた疑似三次元画像を表示することができる。
図１５は断面像の構成方法の更に他の実施の形態を示す図である。同図に示す実施の形態では、図１５（Ａ）に示すように、途中で２本に枝分かれしている血管１２の各経路内に視点５ａ〜５ｇ、５α〜５δを設定し、血管１２を全視点を含む曲面で切断し、その切断した断面像を表示する。この曲面は、視点５ａ〜５ｃを通る直線５ａＬ〜５ｃＬ、視点５ｄ、５αを通る直線、視点５ｅ、５βを通る直線、視点５ｆ、５γを通る直線、視点５ｇ、５δを通る直線を含んでおり、また、同図上では、５ａＬ〜５ｃＬは座標軸ｙに平行な場合に関して示しているが、これに限定されない。
【００３９】
このように切断された画像情報は、図１５（Ｂ）に示すようにメモリ１６上に格納される。メモリ１６に格納された画像情報により、血管１２が２本に枝分かれした断面像を表示することができる。
図１６は断面像の構成方法の更に他の実施の形態を示す図である。同図に示す実施の形態では、図１６（Ａ）に示すように、途中で３本に枝分かれしている血管１２の各経路内に視点５ａ〜５ｇ、５α〜５γ、５Ａ〜５Ｄを設定し、血管１２を視点５ａ〜５ｅ、５α〜５δ、５Ａ〜５Ｄを含む曲面で切断し、その切断した断面像を表示する。この曲面は、視点５ａ〜５ｂを通る直線５ａＬ〜５ｂＬ、視点５Ａ、５ｃを通る直線、視点５Ｂ、５αを通る直線、視点５Ｃ、５ｄ、５βを通る曲線、視点５Ｄ、５ｅ、５γを通る曲線を含んでいる。視点５Ｃ、５ｄ、５βを通る曲線、視点５Ｄ、５ｅ、５γを通る曲線は、各々スプライン補間によって求められまた、同図上では、５ａＬ〜５ｂＬは座標軸ｙに平行な場合に関して示しているが、これに限定されない。
【００４０】
このように切断された画像情報は、図１６（Ｂ）に示すようにメモリ１６上に格納される。メモリ１６に格納された画像情報により、血管１２が３本に枝分かれした断面像を表示することができる。
図１７は断面像から距離を計測する方法を示す説明図である。
ＣＲＴモニタ１には血管の断面像が表示され、マウス２によって断面像上に表示された矢印Ａを移動させ、血管に沿った２点をクリックすることによって、２点が＋で表示され、２点間の距離が計測される。この断面像は、原画像が切断された曲面状の断面像を、この曲面を平面に伸長したときの断面像として表示されているため、前記２点間の距離は実際の血管に沿った２点間の距離と等しくなる。
【００４１】
図１８は疑似三次元画像から面積を計測する方法を示す説明図である。
ＣＲＴモニタ１には血管１２を切り開いた疑似三次元画像４８が表示され、マウス２によって疑似三次元画像上に表示された矢印Ａを移動させ、ある領域を包囲するようにドラッグすることによって、血管内の該領域の面積が計測される。図１９は本発明に係る画像表示装置のハードウェア構成例を示すブロック図である。
【００４２】
同図に示すように、この画像表示装置は、主として磁気ディスク５０と、主メモリ５２と、中央処理装置（ＣＰＵ）５４と、表示メモリ５６と、ＣＲＴモニタ１と、各種の操作指令、位置指令、メニュー選択指令を入力するためのキーボード５８、マウス２、マウスコントローラ６０と、これらの各構成要素を接続する共通バス６２とから構成されている。
【００４３】
磁気ディスク５０には、複数のＣＴ画像（ＣＴ１，ＣＴ２，ＣＴ３，…）が積み上げられた三次元の原画像１０、画像構成プログラム等が格納され、主メモリ５２には、装置の制御プログラムが格納されるとともに、演算処理用の領域等が設けられている。
ＣＰＵ５４は、三次元の原画像１０や各種のプログラムを読み出し、主メモリ５２を用いて本発明に係る断面像や疑似三次元画像等の構成を行い、その構成した画像を示す画像データを表示メモリ５６に送り、ＣＲＴモニタ１に表示させる。
【００４４】
尚、この実施の形態では、観察対象として血管を例に説明したが、本発明は、血管に限定されず、腸、胃等の管腔臓器や、骨等の観察対象にも適用できる。また、断面像と三次元画像等を１画面内に並べて又は画面を切り換えて表示することで説明したが、要するに両者を対応づけて表示すればよく、例えば複数の画面に並べる等あらゆる両者のうちの一方が副次的に使用されるような表示を含む。
【００４５】
尚、本実施の形態は観察対象に沿って視点を設定するように説明したがこれに限られることなく、例えば観察対象の中央部等の該観察対象に沿っていない場合も含む。
【００４６】
【発明の効果】
以上説明したように本発明に係る画像表示装置によれば、血管、腸等の観察対象をその観察対象に沿った曲面で縦切りにした断面像や、観察対象の内部が観察できるように切り開いた画像を表示することができ、特に中心投影法によって設定される複数の視点を利用して、切断面としての曲面等を自動的に設定することができるという利点がある。
【図面の簡単な説明】
【図１】図１は本発明に係る画像表示装置に基づいて表示された断面像を含む表示例を示す図である。
【図２】図２は断面像の構成方法の実施の形態を示す図である。
【図３】図３は断面像の構成方法の他の実施の形態を示す図である。
【図４】図４は断面像の構成方法を示すフローチャートである。
【図５】図５は三次元の原画像の座標系と視点を通る直線との関係を説明するために用いた図である。
【図６】図６は断面像の構成方法の更に他の実施の形態を示す図である。
【図７】図７は本発明に係る画像表示装置によって表示される他の表示例を示す図である。
【図８】図８は本発明に係る画像表示装置によって表示される特殊な表示例を示す図である。
【図９】図９は図８に示した表示例の変形例を示した図である。
【図１０】図１０は動画の断面像の構成方法を示す図である。
【図１１】図１１は断面像とは別の画像の構成方法を示す図である。
【図１２】図１２は複数の視点の一部を再設定する方法を説明するために用いた図である。
【図１３】図１３は視点を観察対象内の中心に再設定する方法を説明するために用いた図である。
【図１４】図１４は断面像の構成方法の他の実施の形態を示す図である。
【図１５】図１５は断面像の構成方法の更に他の実施の形態を示す図である。
【図１６】図１６は断面像の構成方法の更に他の実施の形態を示す図である。
【図１７】図１７は断面像から距離を計測する方法を示す説明図である。
【図１８】図１８は疑似三次元画像から面積を計測する方法を示す説明図である。
【図１９】図１９は本発明に係る画像表示装置のハードウェア構成例を示すブロック図である。
【符号の説明】
１…ＣＲＴモニタ
２…マウス
３…内視鏡的画像
４、２２、２４、２６、３４、３６、４６…断面像
５ａ〜５ｇ…視点
５ａＬ〜５ｇＬ、５ａＬ′〜５ｇＬ′、５ａＬ1 〜１５ａＬ3 …直線
１０…三次元の原画像
１２…血管
１４、３０、３２…曲面（切断面）
１６…メモリ
２０、４２、４８…疑似三次元画像
２８…血栓
３６…断面像の動画
４０…投影面
４４…指定領域
５０…磁気ディスク
５２…主メモリ
５４…中央処理装置（ＣＰＵ）
５６…表示メモリ
Claims (8)
- 複数の断層像に含まれる管腔臓器の内部に、複数の視点を設定する視点設定手段と、
この視点設定手段によって設定された複数の視点を通る曲面を切断面として設定する切断面設定手段と、
この切断面設定手段によって設定された切断面により切断して前記管腔臓器の前記視点方向に延びる断面像を構成する画像構成手段と、
この画像構成手段によって構成された断面像を表示する画像表示手段と、
を備えたことを特徴とする画像表示装置。 - 請求項１に記載の画像表示装置において、前記切断面設定手段は、前記複数の断層像の積み上げ方向に直交する方向の切断面及び前記複数の断層像の積み上げ方向と所定の角度を成す方向の切断面のうちの少なくとも１つの切断面を設定することを特徴とする画像表示装置。
- 請求項１に記載の画像表示装置において、
前記切断面設定手段は、互いに直交する複数の切断面を設定し、
前記画像構成手段は、前記直交する複数の切断面についてそれぞれ断面像を構成し、
前記画像表示手段は、前記複数の切断面についてそれぞれ構成された複数の断面像を対応付けて表示することを特徴とする画像表示装置。 - 請求項１に記載の画像表示装置において、前記画像表示手段は、前記画像構成手段によって構成された断面像に、前記視点設定手段によって設定された複数の視点又は、それら複数の視点からの視野が重畳表示されることを含む、ことを特徴とする画像表示装置。
- 請求項１に記載の画像表示装置において、前記複数の断層像を積み上げて構成される積み上げ画像について平行投影法により擬似的三次元画像を構成する第１の三次元画像構成手段をさらに備え、
前記画像表示手段は、前記画像構成手段によって構成された断面像と前記三次元画像構成手段によって構成された擬似的三次元画像とが表示されることを含む、ことを特徴とする画像表示装置。 - 請求項１に記載の画像表示装置において、前記複数の断層像を積み上げて構成される積み上げ画像について中心投影法により擬似的三次元画像を構成する第２の三次元画像構成手段をさらに備え、
前記画像表示手段は、前記画像構成手段によって構成された断面像と前記三次元画像構成手段によって構成された擬似的三次元画像とが表示されることを含む、ことを特徴とする画像表示装置。 - 請求項１に記載の画像表示装置において、
前記切断面設定手段は、切断方向の異なる複数の曲面をそれぞれ切断面として設定し、
前記画像構成手段は、前記切断面設定手段によって設定された複数の曲面によってそれぞれ前記複数の断層像を切断した複数の断面像を構成し、
前記画像表示手段は、前記画像構成手段によって構成された複数の断面像を順次切り換え、切断方向の異なる断面像を連続的に表示することを特徴とする画像表示装置。 - 複数の断層像に含まれる管腔臓器の内部に、複数の視点を設定する視点設定手段と、
前記視点設定手段によって設定された複数の視点を通る曲線を仮想の線光源とする光源設定手段と、
前記管腔臓器を、前記光源設定手段によって設定された曲線の線光源を中心とする円筒状の投影面に陰影付けして投影し、該陰影付けした円筒状の投影面を展開して得る三次元画像を構成する画像構成手段と、
前記画像構成手段によって構成された三次元画像を表示する表示手段と、
を備えたことを特徴とする画像表示装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17597598A JP4200546B2 (ja) | 1998-03-09 | 1998-06-23 | 画像表示装置 |
| PCT/JP1999/001122 WO1999046733A1 (fr) | 1998-03-09 | 1999-03-09 | Procede et dispositif d'affichage d'images |
| US09/623,630 US6807292B1 (en) | 1998-03-09 | 1999-03-09 | Image displaying method and apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5697798 | 1998-03-09 | ||
| JP10-56977 | 1998-03-09 | ||
| JP17597598A JP4200546B2 (ja) | 1998-03-09 | 1998-06-23 | 画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11318884A JPH11318884A (ja) | 1999-11-24 |
| JP4200546B2 true JP4200546B2 (ja) | 2008-12-24 |
Family
ID=26397984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17597598A Expired - Lifetime JP4200546B2 (ja) | 1998-03-09 | 1998-06-23 | 画像表示装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6807292B1 (ja) |
| JP (1) | JP4200546B2 (ja) |
| WO (1) | WO1999046733A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9135702B2 (en) | 2011-04-20 | 2015-09-15 | Hitachi Medical Corporation | Image display device for medical applications, image display method for medical applications |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4515615B2 (ja) * | 2000-09-14 | 2010-08-04 | 株式会社日立メディコ | 画像表示装置 |
| EP1449481A4 (en) * | 2001-10-31 | 2010-06-23 | Imagnosis Inc | MEDICAL PICTURE PROCESSING DEVICE, METHOD AND PROGRAM |
| US6728566B1 (en) * | 2001-11-21 | 2004-04-27 | Koninklijke Philips Electronics, N.V. | Vessel tracking and tree extraction method and apparatus |
| WO2003077758A1 (en) * | 2002-03-14 | 2003-09-25 | Netkisr Inc. | System and method for analyzing and displaying computed tomography data |
| JP4328077B2 (ja) | 2002-09-27 | 2009-09-09 | オリンパス株式会社 | 超音波診断装置 |
| JP4564233B2 (ja) * | 2003-01-31 | 2010-10-20 | 株式会社東芝 | 画像処理装置、画像データ処理方法、及びプログラム |
| JP4421203B2 (ja) | 2003-03-20 | 2010-02-24 | 株式会社東芝 | 管腔状構造体の解析処理装置 |
| JP4639035B2 (ja) * | 2003-04-08 | 2011-02-23 | キヤノン株式会社 | 画像処理装置及び方法、プログラム、コンピュータ可読記憶媒体 |
| US7376255B2 (en) * | 2004-06-23 | 2008-05-20 | General Electric Company | System and method for image reconstruction |
| JP3943563B2 (ja) | 2004-08-11 | 2007-07-11 | ザイオソフト株式会社 | 画像表示方法及び画像表示プログラム |
| JP4335817B2 (ja) | 2005-01-07 | 2009-09-30 | ザイオソフト株式会社 | 関心領域指定方法、関心領域指定プログラム、関心領域指定装置 |
| JP4205683B2 (ja) * | 2005-03-23 | 2009-01-07 | ザイオソフト株式会社 | 画像処理方法および画像処理プログラム |
| WO2006118100A1 (ja) | 2005-04-28 | 2006-11-09 | Hitachi Medical Corporation | 画像表示装置及びプログラム |
| CN101203889B (zh) * | 2005-06-22 | 2015-04-22 | 皇家飞利浦电子股份有限公司 | 对弯曲拉长结构的剖面进行显象的方法 |
| JP2007044121A (ja) * | 2005-08-08 | 2007-02-22 | Hitachi Medical Corp | 医用画像表示方法及び装置 |
| JP4901212B2 (ja) * | 2005-12-28 | 2012-03-21 | 株式会社東芝 | 医用画像処理装置 |
| DE102006022878B3 (de) * | 2006-05-15 | 2007-09-06 | Sartorius Biotech Gmbh | Verfahren und Detektionsvorrichtung zur bildgebenden Erfassung einer Probe |
| JP2008000261A (ja) * | 2006-06-21 | 2008-01-10 | Aze Ltd | 管腔状組織の観察用画像作成方法、装置およびプログラム |
| JP5305609B2 (ja) * | 2007-04-04 | 2013-10-02 | 株式会社東芝 | Ｘ線撮影装置および透視ロードマップ画像作成プログラム |
| US8934604B2 (en) * | 2007-09-28 | 2015-01-13 | Kabushiki Kaisha Toshiba | Image display apparatus and X-ray diagnostic apparatus |
| EP2107389B1 (en) | 2008-04-02 | 2014-05-14 | Samsung Medison Co., Ltd. | Formation of an elastic image in an ultrasound system |
| JP5305821B2 (ja) * | 2008-10-10 | 2013-10-02 | 株式会社東芝 | 医用画像処理装置及び医用画像診断装置 |
| US8878772B2 (en) * | 2009-08-21 | 2014-11-04 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for displaying images on moveable display devices |
| JP5431852B2 (ja) * | 2009-09-30 | 2014-03-05 | テルモ株式会社 | 画像診断装置及びその作動方法、並びにプログラム |
| EP2484289B1 (en) * | 2009-09-30 | 2021-12-01 | Terumo Kabushiki Kaisha | Diagnostic imaging apparatus and program for controlling same |
| JP5677738B2 (ja) * | 2009-12-24 | 2015-02-25 | 株式会社東芝 | Ｘ線コンピュータ断層撮影装置 |
| CN102222352B (zh) * | 2010-04-16 | 2014-07-23 | 株式会社日立医疗器械 | 图像处理方法和图像处理装置 |
| JP5660432B2 (ja) * | 2010-06-30 | 2015-01-28 | 独立行政法人理化学研究所 | 領域データ編集装置、領域データ編集方法、プログラム、及び、記録媒体 |
| JP5675227B2 (ja) | 2010-08-31 | 2015-02-25 | 富士フイルム株式会社 | 内視鏡画像処理装置および作動方法、並びに、プログラム |
| JP5562775B2 (ja) * | 2010-09-15 | 2014-07-30 | 株式会社東芝 | 医用画像表示システム |
| JP6013037B2 (ja) * | 2011-06-23 | 2016-10-25 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置 |
| US20130328874A1 (en) * | 2012-06-06 | 2013-12-12 | Siemens Medical Solutions Usa, Inc. | Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging |
| JP6425438B2 (ja) * | 2014-07-09 | 2018-11-21 | キヤノン株式会社 | 被検体情報取得装置および画像処理方法 |
| CN107004300B (zh) * | 2014-12-08 | 2021-01-22 | 皇家飞利浦有限公司 | 体积形状的虚拟交互式定义 |
| JP6554335B2 (ja) * | 2015-06-11 | 2019-07-31 | 株式会社日立製作所 | 医用画像処理装置、及びそれを用いた医用画像誘導装置 |
| JP5890055B1 (ja) | 2015-07-09 | 2016-03-22 | 株式会社アルム | 血管画像処理装置、血管画像処理プログラム、および血管画像処理方法 |
| JP6890677B2 (ja) * | 2017-03-29 | 2021-06-18 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ３ｄボリューム内に埋め込まれ、ｍｐｒ図の十字線に結合された仮想光源 |
| EP3877956A2 (en) * | 2018-11-09 | 2021-09-15 | Vida Diagnostics, Inc. | Cut-surface display of tubular structures |
| US11875459B2 (en) | 2020-04-07 | 2024-01-16 | Vida Diagnostics, Inc. | Subject specific coordinatization and virtual navigation systems and methods |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4209394C2 (de) * | 1991-03-26 | 1996-07-18 | Hitachi Ltd | Ultraschallabbildungsgerät |
| US5734384A (en) * | 1991-11-29 | 1998-03-31 | Picker International, Inc. | Cross-referenced sectioning and reprojection of diagnostic image volumes |
| JPH05266214A (ja) | 1992-03-17 | 1993-10-15 | Hitachi Ltd | 画像表示方法 |
| JPH05266215A (ja) | 1992-03-18 | 1993-10-15 | Toshiba Corp | 画像表示装置 |
| JPH05266217A (ja) | 1992-03-19 | 1993-10-15 | Japan Radio Co Ltd | 三次元図形表示装置 |
| JPH06215153A (ja) * | 1993-01-13 | 1994-08-05 | Toshiba Medical Eng Co Ltd | 画像処理装置 |
| JPH07114652A (ja) * | 1993-10-18 | 1995-05-02 | Hitachi Medical Corp | 三次元画像の動画表示装置及び動画表示方法 |
| US5694530A (en) | 1994-01-18 | 1997-12-02 | Hitachi Medical Corporation | Method of constructing three-dimensional image according to central projection method and apparatus for same |
| US5920319A (en) | 1994-10-27 | 1999-07-06 | Wake Forest University | Automatic analysis in virtual endoscopy |
| US5782762A (en) | 1994-10-27 | 1998-07-21 | Wake Forest University | Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen |
| JP3770280B2 (ja) | 1996-03-29 | 2006-04-26 | 株式会社日立メディコ | 三次元画像の表示方法及び装置 |
| JPH1063875A (ja) | 1996-08-20 | 1998-03-06 | Hitachi Medical Corp | 中心投影法を用いた疑似三次元画像表示におけるスケール表示方法及び管状部位の切り口面積計測方法 |
| IL119714A0 (en) * | 1996-11-28 | 1997-02-18 | Elscint Ltd | CT system with oblique image planes |
| US6319201B1 (en) * | 1997-10-15 | 2001-11-20 | Peter J. Wilk | Imaging device and associated method |
-
1998
- 1998-06-23 JP JP17597598A patent/JP4200546B2/ja not_active Expired - Lifetime
-
1999
- 1999-03-09 WO PCT/JP1999/001122 patent/WO1999046733A1/ja active Application Filing
- 1999-03-09 US US09/623,630 patent/US6807292B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9135702B2 (en) | 2011-04-20 | 2015-09-15 | Hitachi Medical Corporation | Image display device for medical applications, image display method for medical applications |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11318884A (ja) | 1999-11-24 |
| US6807292B1 (en) | 2004-10-19 |
| WO1999046733A1 (fr) | 1999-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4200546B2 (ja) | 画像表示装置 | |
| US6411298B1 (en) | Method and apparatus for determining visual point and direction of line of sight in three-dimensional image construction method | |
| CN102247165B (zh) | 超声波图像处理装置及方法、超声波诊断装置 | |
| US7639867B2 (en) | Medical image generating apparatus and method, and program | |
| US20100007663A1 (en) | Medical image display control device and method for operating medical image display control device | |
| JP5114121B2 (ja) | 医用画像処理装置 | |
| US7242402B1 (en) | Method of visualization of a part of a three-dimensional image | |
| JP4515615B2 (ja) | 画像表示装置 | |
| JP3632862B2 (ja) | 三次元画像表示方法及び装置 | |
| JPH1176228A (ja) | 三次元画像構成装置 | |
| JPH06292666A (ja) | 超音波診断装置 | |
| JP3654977B2 (ja) | 三次元画像処理装置 | |
| JP2000242766A (ja) | 画像表示装置 | |
| JP2008067915A (ja) | 医用画像表示装置 | |
| JP4010034B2 (ja) | 画像作成装置 | |
| JP4318799B2 (ja) | 画像表示装置 | |
| JP4305991B2 (ja) | 画像表示装置 | |
| JP2001250133A (ja) | 画像表示装置 | |
| JPH11219448A (ja) | 画像表示方法 | |
| JP3851364B2 (ja) | 投影画像表示装置 | |
| JP4429433B2 (ja) | 画像処理方法及び装置 | |
| JP3749322B2 (ja) | 擬似三次元画像上で距離計測をする距離計測装置 | |
| JPH10201755A (ja) | 擬似三次元画像における三次元量計測方法及びその装置 | |
| JP2001014496A (ja) | 画像表示装置 | |
| JP4609967B2 (ja) | 画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050329 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080929 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |