JP2009022411A - Medical image processor - Google Patents
Medical image processor Download PDFInfo
- Publication number
- JP2009022411A JP2009022411A JP2007186733A JP2007186733A JP2009022411A JP 2009022411 A JP2009022411 A JP 2009022411A JP 2007186733 A JP2007186733 A JP 2007186733A JP 2007186733 A JP2007186733 A JP 2007186733A JP 2009022411 A JP2009022411 A JP 2009022411A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- projection plane
- viewpoint
- medical image
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000000056 organ Anatomy 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims description 59
- 238000012800 visualization Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 abstract description 50
- 238000003745 diagnosis Methods 0.000 abstract description 14
- 230000002093 peripheral effect Effects 0.000 abstract description 7
- 210000004204 blood vessel Anatomy 0.000 abstract description 5
- 210000002429 large intestine Anatomy 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 238000002601 radiography Methods 0.000 abstract 1
- 210000003437 trachea Anatomy 0.000 abstract 1
- 208000037062 Polyps Diseases 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005305 organ development Effects 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、医用画像撮影装置から得られた医用画像を表示する医用画像処理装置に関する。詳細には、大腸や血管に代表される管腔臓器の表示を行う医用画像処理装置に関する。 The present invention relates to a medical image processing apparatus that displays a medical image obtained from a medical image photographing apparatus. Specifically, the present invention relates to a medical image processing apparatus that displays a luminal organ represented by a large intestine and blood vessels.
従来、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置等の医用画像撮影装置により得られた被検体の生体組織の画像情報を効率良く観察する方法として、計算機を用いて三次元画像を作成し、表示する方法がある。特に、大腸や血管等の管腔臓器の内壁の画像診断には、内視鏡検査で得られる画像に似た画像を仮想的に作成する仮想内視鏡表示方法がある(「特許文献1」参照)。仮想内視鏡表示方法は、三次元画像中の管腔臓器の中空部分の中心を辿って算出される三次元的な曲線(芯線)上に視点を設定し、視点から放射状に広がる視線方向を設定し、各々の視線方向に向かう仮想光線(レイ)の画素による反射、減衰を計算することで、内視鏡様画像を作成する手法である。 2. Description of the Related Art Conventionally, as a method for efficiently observing image information of a body tissue of a subject obtained by a medical imaging apparatus such as an X-ray CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, or an ultrasonic diagnostic apparatus, a computer There is a method of creating and displaying a three-dimensional image using In particular, for image diagnosis of the inner wall of a luminal organ such as a large intestine or a blood vessel, there is a virtual endoscope display method that virtually creates an image similar to an image obtained by endoscopy ("Patent Document 1"). reference). The virtual endoscope display method sets the viewpoint on a three-dimensional curve (core line) calculated by tracing the center of the hollow part of the luminal organ in the three-dimensional image, and changes the line-of-sight direction radiating from the viewpoint. This is a technique for creating an endoscopic-like image by setting and calculating reflection and attenuation of virtual rays (rays) directed to each line of sight.
仮想内視鏡表示方法は、実際の内視鏡検査と同等の視点での画像が得られるため、内視鏡検査の経験者が経験に基づいて直感的な操作や診断を行うことが可能であり、診断の効率化を図ることができる。 The virtual endoscopy display method can obtain images from the same viewpoint as the actual endoscopy, so that an experienced endoscopy can perform intuitive operations and diagnoses based on experience. Yes, it is possible to improve the efficiency of diagnosis.
また、管腔臓器の他の診断手法として管腔臓器展開表示方法がある(「特許文献2」参照)。管腔臓器展開表示方法は、芯線に垂直な複数の視線方向を設定し、各々の視線方向に向かう仮想光線(レイ)の画素による反射、減衰を計算する手法である。管腔臓器展開表示方法では、仮想光線を芯線上の視点を中心に360度回転させるとともに、視点を所定距離だけ移動して、管腔臓器を展開したような二次元画像が作成される。
Another method for diagnosing a luminal organ is a luminal organ expansion display method (see “
管腔臓器展開表示は、管腔臓器の芯線に対して垂直に投影を行うため、患部が内壁の突起物等に遮られることなく、管腔臓器内壁全体を観察することができる。 In the luminal organ expansion display, projection is performed perpendicularly to the core line of the luminal organ, so that the entire inner wall of the luminal organ can be observed without the affected part being blocked by protrusions on the inner wall.
しかしながら、「特許文献1」による仮想内視鏡表示方法では、例えば大腸内壁のひだが、仮想光線(レイ)の障害物となってポリープ等の病変を表示することができず、病変が操作者(医療従事者)に見落とされるおそれがある。 However, in the virtual endoscope display method according to “Patent Document 1”, for example, a fold on the inner wall of the large intestine cannot be displayed as a lesion such as a polyp due to an obstacle of a virtual ray (ray), and the lesion is not an operator. May be overlooked by (healthcare professionals).
また、「特許文献2」による管腔臓器展開表示方法では、管腔臓器の径又は径の変化情報及び湾曲情報が失われるため、ポリープ等の診断対象の位置関係が把握し難い。また、管腔臓器展開表示方法では、操作者は長い管腔臓器内で視点を移動しながらリアルタイムで診断を行うことが難しいという問題点があった。
In addition, in the luminal organ development display method according to “
本発明は、このような問題を鑑みてなされたもので、その目的とするところは、管腔臓器の診断に有効な三次元画像を表示できる医用画像処理装置を提供することである。 The present invention has been made in view of such problems, and an object of the present invention is to provide a medical image processing apparatus capable of displaying a three-dimensional image effective for diagnosis of a luminal organ.
前述した目的を達成するための本発明の医用画像処理装置は、管腔臓器の画像情報を取得する画像取得部と、前記取得された画像情報に基づいて作成された三次元画像を表示する表示装置と、を備える医用画像処理装置において、前記管腔臓器の内部位置に視点を設定する視点設定手段と、前記視点と所定の関係を持って前記画像情報の投影面を設定する投影面設定手段と、前記投影面の少なくとも一部の領域において、前記視点から前記投影面上の画素位置への画素方向と異なる方向に、前記視点から前記画像情報の位置への投影方向を設定する投影方向設定手段と、前記設定された視点から前記設定された投影方向に位置する前記画像情報を前記投影面上の画素位置に投影して前記三次元画像を作成する三次元画像作成手段と、を具備することを特徴とする。 The medical image processing apparatus of the present invention for achieving the above-described object includes an image acquisition unit that acquires image information of a luminal organ, and a display that displays a three-dimensional image created based on the acquired image information. A medical image processing apparatus comprising: a viewpoint setting unit that sets a viewpoint at an internal position of the luminal organ; and a projection plane setting unit that sets a projection plane of the image information having a predetermined relationship with the viewpoint. And a projection direction setting for setting a projection direction from the viewpoint to the position of the image information in a direction different from a pixel direction from the viewpoint to a pixel position on the projection plane in at least a partial region of the projection plane. And 3D image creation means for creating the 3D image by projecting the image information located in the set projection direction from the set viewpoint onto the pixel position on the projection plane. It is characterized in.
本発明の医用画像処理装置は、管腔臓器の画像情報を取得して、管腔臓器の内部位置に視点と投影面とを設定する。医用画像処理装置は、投影面の少なくとも一部の領域について、画素方向と異なる方向に投影方向を設定し、設定された投影方向に位置する画像情報を投影面上の画素位置に投影し三次元画像を作成して表示装置に表示する。
投影面の少なくとも一部の領域における投影方向と中心線との角度は、画素方向と中心線とがなす角度より大きく設定され、投影方向と中心線との角度を90度やそれ以上の角度としてもよい。尚、中心線は、視点と投影面の中心とを結ぶ線である。
The medical image processing apparatus of the present invention acquires image information of a luminal organ and sets a viewpoint and a projection plane at an internal position of the luminal organ. The medical image processing apparatus sets a projection direction in a direction different from the pixel direction for at least a part of the region on the projection plane, and projects image information positioned in the set projection direction on the pixel position on the projection plane. An image is created and displayed on a display device.
The angle between the projection direction and the center line in at least a partial area of the projection plane is set to be larger than the angle formed by the pixel direction and the center line, and the angle between the projection direction and the center line is 90 degrees or more. Also good. The center line is a line connecting the viewpoint and the center of the projection plane.
これにより、表示画像の内部領域が内視鏡表示と同等に管腔臓器の径情報及び湾曲情報を持って表示されるので、操作者が内視鏡表示観察の経験に基づいて直感的に操作や診断を行うことが可能になり、管腔臓器の診断の効率化を図ることができる。更に、医用画像処理装置は、画素方向と異なる方向に投影方向を設定することにより、管腔臓器内部のひだ等の突起物の影響を受けずに、管腔臓器内部の画像を表示できるので、患部の見落としを防ぐことができる。従って、操作者(医療従事者)による管腔臓器の診断の信頼性を向上させることができる。 As a result, the internal region of the display image is displayed with the diameter information and curvature information of the luminal organ as in the case of the endoscopic display, so that the operator can operate intuitively based on the experience of endoscopic display observation. Diagnosis can be performed, and the efficiency of luminal organ diagnosis can be improved. Furthermore, the medical image processing apparatus can display an image inside the luminal organ without being affected by protrusions such as folds inside the luminal organ by setting the projection direction in a direction different from the pixel direction. The oversight of the affected area can be prevented. Therefore, the reliability of the diagnosis of the luminal organ by the operator (medical worker) can be improved.
また、医用画像処理装置は、投影面の少なくとも一部の領域において、他の領域と異なる可視化手段を用いて画像情報を投影面上の画素位置に投影し、三次元画像を作成してもよい。また、医用画像処理装置は、投影面上の画素位置または投影方向に基づいて、可視化手段を選択して三次元画像を作成してもよい。 Further, the medical image processing apparatus may create a three-dimensional image by projecting image information on pixel positions on the projection plane using visualization means different from other areas in at least a part of the projection plane. . The medical image processing apparatus may create a three-dimensional image by selecting a visualization unit based on the pixel position or the projection direction on the projection plane.
仮想内視鏡表示には、例えばサーフェイスレンダリング法やボリュームレンダリング法の可視化手段を用い、展開表示には投影方向の画素の最大値を投影するMIP(Maximum Intensity Projection)法、画素の最小値を投影するMinIP(Minimum Intensity Projection)法、画素の積算値を投影するRaySum法等の可視化手段を用いることができる。
これにより、各表示領域に適した可視化手段を用いて三次元画像を表示することができる。
For example, a surface rendering method or a volume rendering method is used for virtual endoscope display, and a maximum intensity projection (MIP) method for projecting the maximum value of pixels in the projection direction is used for unfolding display, and a minimum value of pixels is projected. Visualization means such as the MinIP (Minimum Intensity Projection) method and the RaySum method that projects the integrated value of the pixels can be used.
Thereby, a three-dimensional image can be displayed using the visualization means suitable for each display area.
本発明によれば、管腔臓器の診断に有効な三次元画像を表示できる医用画像処理装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the medical image processing apparatus which can display a three-dimensional image effective for the diagnosis of a luminal organ can be provided.
以下添付図面を参照しながら、本発明に係る医用画像処理装置の好適な実施形態について詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of a medical image processing apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
(1.第1実施形態)
図1〜図6を参照しながら第1実施形態について説明する。
(1−1.医用画像処理装置1の構成)
図1は、医用画像処理装置1の構成図である。
医用画像処理装置1は、医用画像撮影装置により撮影された被検体の生体組織の画像情報を読み込み、三次元画像を作成して表示する装置である。
(1. First embodiment)
The first embodiment will be described with reference to FIGS.
(1-1. Configuration of Medical Image Processing Apparatus 1)
FIG. 1 is a configuration diagram of a medical image processing apparatus 1.
The medical image processing apparatus 1 is an apparatus that reads image information of a living tissue of a subject imaged by a medical image imaging apparatus, and creates and displays a three-dimensional image.
医用画像処理装置1は、動作を制御するCPU(Central Processing Unit)15と、被検体の画像データを一時記憶する表示メモリ17と、当該表示メモリ17からの画像データに基づいて画像を表示する表示装置3と、表示装置3上のソフトスイッチを操作するためのマウス5等のポインティングデバイスと、ポインティングデバイスのコントローラ19と、各種パラメータ設定入力用のキーやスイッチを備えたキーボード7と、医用画像処理装置1をネットワーク9に接続するためのネットワークアダプタ23と、プログラム実行時に医用画像処理装置1の制御プログラムを格納する主メモリ25と、制御プログラム、画像データ等を登録する記憶装置27と、上記各構成要素を接続するシステムバス21とから構成される。
The medical image processing apparatus 1 includes a CPU (Central Processing Unit) 15 that controls operations, a
CPU15は、画像情報読込部29と、芯線算出部31と、視点・投影面設定部33と、投影方向設定部35と、三次元画像作成部37と、三次元画像表示部39等を備える。
The
画像情報読込部29は、医用画像撮影装置11によって取得された医用画像情報を記憶装置27や画像データベース13から読み出すものである。
芯線算出部31は、画像情報読込部29が読み込んだ医用画像情報から、診断対象となる管腔臓器の芯線を算出するものである。
視点・投影面設定部33は、芯線算出部31で算出された芯線に基づいて、管腔臓器の内部に視点を設定し、当該視点からの投影方向の画像情報を投影する投影面を設定するもので、例えば、視点を芯線上に設定し、芯線に垂直に投影面を設定するものである。
投影方向設定部35は、設定された視点から、投影面上の画素ごとに、画像情報の投影方向を設定するものである。
The image
The
The viewpoint / projection
The projection
三次元画像作成部37は、投影方向設定部35によって設定された投影方向に従い、画像情報に可視化処理(レンダリング処理)を施して三次元画像を作成するものである。可視化処理とは、物体等の数値データを基にして物体を画像化することである。可視化処理として、サーフェイスレンダリング法、ボリュームレンダリング法、MIP法、MinIP法、RaySum法等を用いることができる。
三次元画像表示部39は、三次元画像作成部37が作成した三次元画像を表示メモリ17を介して表示装置3に表示するものである。表示装置3は、CRTや液晶表示装置等である。
The three-dimensional
The 3D
記憶装置27は、取得した医用画像情報、被検体情報、制御プログラム等を保存するもので、医用画像処理装置1に内蔵又は外付けされたメモリや磁気ディスク等の記憶装置である。
医用画像撮影装置11は、X線CT装置、MRI装置、超音波診断装置等の被検体の生体組織の画像情報を取得する装置である。医用画像処理装置1は、医用画像撮影装置11によって取得された医用画像情報をネットワーク9を介して取得するものである。
画像データベース13は、医用画像撮影装置11等によって取得された医用画像情報を格納するデータベースである。医用画像処理装置1は、画像データベース13に格納された医用画像情報を、ネットワーク9を介して取得するものである。
The
The medical imaging apparatus 11 is an apparatus that acquires image information of a living tissue of a subject such as an X-ray CT apparatus, an MRI apparatus, and an ultrasonic diagnostic apparatus. The medical image processing apparatus 1 acquires medical image information acquired by the medical image photographing apparatus 11 via the
The
(1−2.医用画像処理の手順)
次に、図1乃至図6を参照しながら、医用画像処理装置1が実行する医用画像処理の手順について説明する。
図2は、医用画像処理の手順を示すフローチャートである。
図3は、視点49及び投影面53及び投影方向51の設定を示す図である。
(1-2. Medical Image Processing Procedure)
Next, a procedure of medical image processing executed by the medical image processing apparatus 1 will be described with reference to FIGS. 1 to 6.
FIG. 2 is a flowchart showing the procedure of medical image processing.
FIG. 3 is a diagram illustrating setting of the viewpoint 49, the
医用画像処理装置1の画像情報読込部29は、医用画像撮影装置11によって取得された医用画像情報(以降、「画像情報」と記す。)を記憶装置27又は画像データベース13から読出し、主メモリ25に展開する(ステップ1001)。
The image
医用画像処理装置1の芯線算出部31は、画像情報読込部29が読み込んだ画像情報から、診断対象となる管腔臓器の芯線47を算出する(ステップ1002)。芯線47は、管腔臓器の中空部分の中心を辿って算出される三次元的な曲線である。芯線47を算出する方法として代表的なものでは、管腔臓器の細線化を行うものや、管腔臓器断面の重心を順次算出して求める方法がある。
医用画像処理装置1の視点・投影面設定部33は、管腔臓器内部に視点49と投影面53とを設定する(ステップ1003)。視点・投影面設定部33は、視点49を芯線47上に設け、視点49の前方の所定距離の位置へ投影面53を芯線47に垂直に設定する。
The
The viewpoint / projection
医用画像処理装置1の投影方向設定部35は、投影面53の画素領域「0」、「1」、「2」、「3」、「4」、「5」に対して、それぞれ投影方向51「V0」、「V1」、「V2」、「V3」、「V4」、「V5」を設定する(ステップ1004)。また、投影方向設定部35は、投影方向51「V0」、「V1」、「V2」、「V3」、「V4」、「V5」の投影角度57を、それぞれ、「θ11」、「θ12」、「θ13」、「θ14」、「θ15」に設定する。
投影方向設定部35における投影方向51及び投影角度57の設定は、視点49と投影面53間の距離、投影面53の大きさ(画素サイズ)に応じて算出してもよいし、対象臓器に対応して予めプリセットされた値を用いるようにしてもよい。
The projection
The setting of the projection direction 51 and the
図4は、視点49及び投影面53の移動を示す図である。
尚、図3及び図4は、管腔臓器内壁41の上側半分を示す図である。管腔臓器内壁41の下側半分については上側半分と同様の処理なので図示を省略する。また、図3及び図4は、芯線47を含むある一断面を代表して図示したものであるが、実際には2次元の投影面53全体に配列された各表示画素に対して、投影方向51の設定及び仮想光線の射出及びレンダリング処理が実行される。
FIG. 4 is a diagram illustrating movement of the viewpoint 49 and the
3 and 4 are diagrams showing the upper half of the inner wall 41 of the luminal organ. The lower half of the luminal organ inner wall 41 is the same as the upper half and is not shown. 3 and 4 are representative of one cross section including the core line 47, but in reality, the projection direction is applied to each display pixel arranged on the entire two-
管腔臓器内壁41には、ひだ43やポリープ45が存在する。しかし、視点49及び投影面53が図3に示す位置又は図4に示す視点49−1の位置にあると、ポリープ45は視点49から見てひだ43の陰にあるので、芯線47に対して傾斜を有する投影方向「V3」又は「V4」では投影されない。
A
視点49−1は、次いで視点移動方向55に芯線47に沿って、視点49−2へと移動させられる。この視点49の移動は、例えばマウス5等のポインティングデバイスを操作者が操作して位置情報を入力することで行われる。このとき、投影面53は、視点49に対して初期設定状態を維持して視点49と同時に移動される。また、投影方向51も、視点49からの視線方向(「V0」、「V1」、「V2」、「V3」、「V4」、「V5」)が維持される。同様に、投影方向51「V1」、「V2」、「V3」、「V4」、「V5」と中心線である芯線47とがなす投影角度57も、それぞれ、「θ11」、「θ12」、「θ13」、「θ14」、「θ15」が維持される。視点が図4の視点49−2の位置へ移動されると、ポリープ45は、芯線47に直交する投影方向51「V5」によって投影されることとなる。
The viewpoint 49-1 is then moved along the core line 47 in the
図5は、投影面53の投影面中心からの位置と投影角度57を示す図である。
図3の投影面53の画素領域「0」、「1」、「2」、「3」、「4」、「5」の中心位置は、それぞれ図5の投影面中心からの位置「0%」、「20%」、「40%」、「60%」、「80%」、「100%」に対応する。投影面中心からの位置「〜%」は、投影面中心を「0%」、投影面端部を「100%」とした時の投影面中心からの距離を示す。
FIG. 5 is a diagram showing the position of the
The center positions of the pixel areas “0”, “1”, “2”, “3”, “4”, and “5” on the
従来の医用画像処理装置による内視鏡表示の場合には、視点49から管腔臓器内部へ仮想光線(レイ)を射出する投影方向51と同一方向にある投影面53の画素位置に画像を投影する。従って、従来の医用画像処理装置による内視鏡表示の場合には、視点49から管腔臓器内部への投影方向51と、視点49から投影面53の画素位置への方向は一致している。従って、従来の医用画像処理装置による内視鏡表示の場合には、投影面中心からの位置に係らず、視点49から管腔臓器内部への投影方向51と、視点49から投影面53の画素位置への方向は一致し、投影面中心からの位置と投影角度57との関係は、点201、点202、点206、点207、点208を連結する破線として表される。この破線は、図5を参照すると、上方へゆるい凸形の曲線を成していることが見て取れる。
In the case of endoscopic display by a conventional medical image processing apparatus, an image is projected on the pixel position of the
一方、本実施の形態の医用画像処理装置1の投影方向設定部35では、投影面中心からの位置に応じて、視点49から投影面53の画素位置への方向と異なる方向に、視点49から管腔臓器への投影方向51が設定される。
On the other hand, in the projection
図5では、投影面中心からの位置が「60%」及び「80%」及び「100%」の場合には、投影角度57は、それぞれ「θ13」及び「θ14」及び「θ15」で視点から管腔臓器内部に仮想光線を射出し、この仮想光線上に存在する管腔臓器内面の画像情報をそれぞれ投影面53(図3)の画素領域「3」及び「4」及び「5」の位置に投影する。
投影方向51「V3」、「V4」、「V5」の間隔は、(θ14−θ13)<(θ15−θ14)のように、投影方向51と芯線47との成す角度が大きくなるに従って大きくなるようにする。
In FIG. 5, when the positions from the center of the projection plane are “60%”, “80%”, and “100%”, the projection angles 57 are “θ 13 ”, “θ 14 ”, and “θ 15 ”, respectively. A virtual ray is emitted from the viewpoint to the inside of the luminal organ, and image information of the inner surface of the luminal organ existing on the imaginary ray is converted into pixel areas “3”, “4”, and “5” of the projection surface 53 (FIG. 3), respectively. To the position of "".
The interval between the projection direction 51 “V 3 ”, “V 4 ”, and “V 5 ” is an angle formed by the projection direction 51 and the core wire 47 as (θ 14 −θ 13 ) <(θ 15 −θ 14 ). Increase as the value increases.
投影方向設定部35は、投影方向51の投影角度57を当該投影方向51に対応する画素方向の角度より大きく設定する。尚、画素方向は、視点49から投影面53上の画素位置への方向である。画素方向の角度は、中心線である芯線47と画素方向とがなす角度である。即ち、投影面中心からの位置と投影角度57との関係は、点201、点202、点203、点204、点205を連結する実線として表される。
これらの点203、点204、点205を結ぶ線は、前述の投影方向51の記述により、下側に凸形の曲線となる。そして、これらの点203、点204、点205のうち、点205は投影角度57が90度となっている。
The projection
A line connecting these
図2に戻り、三次元画像作成部37は、投影方向設定部35によって算出された投影方向51にある画像情報に対して可視化処理(レンダリング処理)を行い、実行結果を対応する投影面53上の画素に投影する(ステップ1005)。可視化処理は、画像情報(数値データ)に計算処理を行い、三次元画像化することである。可視化処理として、ボリュームレンダリング法、サーフェイスレンダリング法、MIP法、MinIP法、及びRaySum法等がある。
三次元画像表示部39は、三次元画像作成部37が可視化処理を行って画像化したデータを表示装置3に表示させる(ステップ1006)。
次いで、CPU15の視点・投影面設定部33が、予めプログラムで設定された量だけ視点49と投影面53を視線移動方向55へ芯線47に沿って移動させる(ステップ1007)。そして、前述のステップ1004乃至ステップ1006が実行される。
Returning to FIG. 2, the 3D
The three-dimensional
Next, the viewpoint / projection
以上のステップ1004→ステップ1005→ステップ1006→ステップ1007→ステップ1004が繰り返し実行され、あたかも内視鏡が管腔臓器内を進行しているような仮想内視鏡画像が表示装置3の画面へ表示される。
The above steps 1004 → step 1005 → step 1006 → step 1007 → step 1004 are repeatedly executed, and a virtual endoscopic image as if the endoscope is proceeding in the hollow organ is displayed on the screen of the
図6は、視点49と投影面53の移動によってもたらされる管腔臓器内部の画像59の変化を示す図である。
視点49が図4の視点49−1の位置における画像59−1では、ポリープ45はひだ43の陰に隠れて表示されないが、視点49−1が視線移動方向55へ芯線47に沿って視点49−2の位置へ移動された画像59−2では、管腔臓器内部の管腔臓器内壁41のひだとひだとの狭い間に存在するポリープ45が表示される。
FIG. 6 is a diagram showing a change in the image 59 inside the luminal organ caused by the movement of the viewpoint 49 and the
In the image 59-1 at the position of the viewpoint 49-1 in FIG. 4, the
以上説明したように、第1実施形態に係る医用画像処理装置1は、管腔臓器内部を観測する画像59の画像中心部では、内視鏡で観察する画像と同等な仮想内視鏡画像を表示する。従って、操作者は、画像59を参照して内視鏡表示観察の経験に基づく操作や判断をすることが可能である。
また、第1実施形態に係る医用画像処理装置1は、画像59の画像周辺部では投影方向51の投影角度57を画素方向の角度より大きく設定するので、ひだ43などの陰になっている部位についても表示させることができる。従って、患部の見落としなどによる診断ミスを防ぎ、診断の信頼性を向上させることができる。
As described above, the medical image processing apparatus 1 according to the first embodiment displays a virtual endoscopic image equivalent to the image observed with the endoscope at the center of the image 59 of the image 59 observing the inside of the hollow organ. indicate. Therefore, the operator can refer to the image 59 and perform operations and determinations based on the experience of endoscopic display observation.
In the medical image processing apparatus 1 according to the first embodiment, the
(2.第2実施形態)
次に、図7〜図9を参照しながら、第2実施形態について説明する。
図7は、視点49及び投影面53及び投影方向81の設定を示す図である。
図8は、投影面53の投影面中心からの位置と投影角度87を示す図である。
(2. Second Embodiment)
Next, a second embodiment will be described with reference to FIGS.
FIG. 7 is a diagram illustrating setting of the viewpoint 49, the
FIG. 8 is a diagram showing the position of the
第1実施形態では、画像中心部では管腔臓器内部が仮想内視鏡表示され、画像周辺部の投影角度57を、画素方向と芯線とがなす角度より大きく設定することで、画像周辺部では管腔臓器内部が広角に仮想内視鏡表示される。第2実施形態では、画像中心部では管腔臓器内部が仮想内視鏡表示され、画像周辺部の投影角度87を芯線47に垂直な方向に設定することで、画像周辺部では管腔臓器内部が前述の展開表示法によって投影された画像がリング状に表示される。
In the first embodiment, the inside of the luminal organ is displayed in a virtual endoscope at the center of the image, and the
医用画像処理装置1の投影方向設定部35は、画像周辺部(投影面53の周辺部)の投影角度87を芯線47にほぼ垂直な方向に設定する。即ち、投影面53の中心画素領域「1」「2」については、仮想内視鏡表示の投影角度87「θ21」「θ22」を設定し、投影面53の周辺画素領域「3」「4」「5」については、投影角度87「θ23」「θ24」「θ25」をほぼ90度に設定する。
即ち、図8において、投影面中心からの位置と投影角度87との関係は、点211、点212、点213、点214、点215を連結する実線として表される。
図8の例では、点214、点215の投影角度87が90度とされている。そして、点213の投影角度87は、点212と点214の各々の投影角度87の中間の値とされている。点213の投影角度87をそのように設定しているのは、急激な投影角度の変更によって、画像の連続性に違和感が発生しないようにするためである。
The projection
That is, in FIG. 8, the relationship between the position from the center of the projection plane and the
In the example of FIG. 8, the
図9は、図7及び図8に示す投影角度87を設定して作成された管腔臓器の内部の画像69を示す図である。
画像中心部の領域Aは、内視鏡表示領域71を示す。画像周辺部の領域Bは、展開表示法による投影領域73(以下、展開投影表示領域73と記す。)を示す。展開投影表示領域73(領域B)では、管腔臓器内壁41に垂直な投影方向81による画像が表示されるため、管腔臓器内壁41のひだ43の影響を受けることなくポリープ45等の患部の表示が可能となる。
FIG. 9 is a view showing an internal image 69 of the hollow organ created by setting the
A region A in the center of the image shows an
このように第2実施形態では、画像中心部では画素方向と同一の方向に投影方向81を設定し、画像周辺部では芯線47に垂直な方向に投影方向81を設定することで、画像中心部は仮想内視鏡表示による画像、画像周辺部は管腔臓器内壁41を展開投影表示した画像で構成された三次元画像が得られる。 As described above, in the second embodiment, the projection direction 81 is set in the same direction as the pixel direction in the center of the image, and the projection direction 81 is set in the direction perpendicular to the core line 47 in the periphery of the image. Is a virtual endoscopic display image, and a three-dimensional image composed of an image in which the peripheral portion of the image is developed and displayed on the inner wall 41 of the luminal organ is obtained.
尚、図7では画像周辺部の投影方向81の投影角度87を90度に設定したが、投影方向81の投影角度87を90度から180度の間の任意の角度に設定してもよい。これにより、仮想内視鏡表示における背面方向の表示も可能となり、患部の見落としを更に低減することができる。
In FIG. 7, the
(3.第3実施形態)
次に、図10を参照しながら、第3実施形態について説明する。
図10は、管腔臓器の内部の画像75を示す図である。
画像75の画像中心部の領域Aは、内視鏡表示領域71を示し、画像周辺部の領域Bは、展開投影表示領域73を示す。
(3. Third embodiment)
Next, a third embodiment will be described with reference to FIG.
FIG. 10 is a diagram showing an image 75 inside the hollow organ.
A region A at the center of the image 75 indicates an
図10は、三次元画像作成部37が、内視鏡表示領域71(領域A)に可視化処理としてボリュームレンダリング法を適用し、展開投影表示領域73(領域B)に可視化処理としてMIP法を適用して得られた画像75を示す。操作者は、画像中心部のボリュームレンダリング法による表示領域において、ポリープ45の形状などの管腔臓器内壁41表面の診断を行い、画像周辺部のMIP法による表示領域において、ポリープ45周辺の血管77等の内部構造の診断を行う。
In FIG. 10, the 3D
このように、第3実施形態では、内視鏡表示領域71と展開投影表示領域73の各表示領域に適した可視化処理を施した三次元画像を表示するので、管腔臓器の診断の効率化と、診断の信頼性を向上させることができる。
As described above, in the third embodiment, since the three-dimensional image subjected to the visualization process suitable for the display areas of the
(4.その他)
尚、第1実施形態では、管腔臓器内部の芯線上に視点を設定した三次元画像について説明したが、視点は芯線上に設定されることに限定しなくてもよい。例えば、着目した患部を詳細に観測するために、管腔臓器内部の任意の位置に視点を移動させて、三次元画像を作成して表示させるようにしてもよい。
また、第2実施形態では、可視化処理を切換える境界は、投影角度の大きさに応じて設定してもよい。
また、第3実施形態では、投影面53上の画素位置に基づいて、可視化処理を切換える境界を設定してもよい。また、三次元画像作成部37は、三次元画像作成時の閾値や不透明度を調整し、血管77等の内部構造の強調表示を行うようにしてもよい。
また、第1実施形態〜第3実施形態を適宜組み合わせて医用画像処理装置1を構成するようにしてもよい。
(4. Other)
In the first embodiment, the three-dimensional image in which the viewpoint is set on the core line inside the hollow organ has been described. However, the viewpoint may not be limited to being set on the core line. For example, in order to observe the affected area in detail, a three-dimensional image may be created and displayed by moving the viewpoint to an arbitrary position inside the luminal organ.
In the second embodiment, the boundary for switching the visualization process may be set according to the size of the projection angle.
In the third embodiment, a boundary for switching the visualization process may be set based on the pixel position on the
In addition, the medical image processing apparatus 1 may be configured by appropriately combining the first to third embodiments.
尚、本発明の技術的範囲は、前述した実施の形態に限られるものではない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 The technical scope of the present invention is not limited to the embodiment described above. It will be apparent to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea disclosed in the present application, and these are naturally within the technical scope of the present invention. Understood.
1………医用画像処理装置
3………表示装置
5………マウス
7………キーボード
9………ネットワーク
11………医用画像撮影装置
13………画像データベース
15………CPU
17………表示メモリ
19………コントローラ
21………システムバス
23………ネットワークアダプタ
25………主メモリ
27………記憶装置
29………画像情報読込部
31………芯線算出部
33………視点・投影面設定部
35………投影方向設定部
37………三次元画像作成部
39………三次元画像表示部
41、101………管腔臓器内壁
43、103………ひだ
45、105………ポリープ
47、107………芯線
49、49−1、49−2、109………視点
51、81、111………投影方向
53、113………投影面
55………視点移動方向
57、87………投影角度
69、75、115………画像
71………内視鏡表示領域
73………展開投影表示領域
77………血管
DESCRIPTION OF SYMBOLS 1 ......... Medical
17 .........
Claims (8)
前記管腔臓器の内部位置に視点を設定する視点設定手段と、
前記視点と所定の関係を持って前記画像情報の投影面を設定する投影面設定手段と、
前記投影面の少なくとも一部の領域において、前記視点から前記投影面上の画素位置への画素方向と異なる方向に、前記視点から前記画像情報の位置への投影方向を設定する投影方向設定手段と、
前記設定された視点から前記設定された投影方向に位置する前記画像情報を前記投影面上の画素位置に投影して前記三次元画像を作成する三次元画像作成手段と、
を具備することを特徴とする医用画像処理装置。 In a medical image processing apparatus comprising: an image acquisition unit that acquires image information of a luminal organ; and a display device that displays a three-dimensional image created based on the acquired image information.
Viewpoint setting means for setting a viewpoint at an internal position of the hollow organ;
A projection plane setting means for setting a projection plane of the image information with a predetermined relationship with the viewpoint;
Projection direction setting means for setting a projection direction from the viewpoint to the position of the image information in a direction different from a pixel direction from the viewpoint to a pixel position on the projection plane in at least a partial region of the projection plane; ,
3D image creation means for creating the 3D image by projecting the image information located in the set projection direction from the set viewpoint to the pixel position on the projection plane;
A medical image processing apparatus comprising:
前記投影方向設定手段は、前記設定された芯線方向に前記投影面の中心と前記視点とを配置して前記投影方向を算出することを特徴とする請求項1に記載の医用画像処理装置。 Comprising a core wire calculating means for calculating a core wire of the luminal organ based on the acquired image information,
The medical image processing apparatus according to claim 1, wherein the projection direction setting unit calculates the projection direction by arranging a center of the projection plane and the viewpoint in the set core line direction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007186733A JP5114121B2 (en) | 2007-07-18 | 2007-07-18 | Medical image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007186733A JP5114121B2 (en) | 2007-07-18 | 2007-07-18 | Medical image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009022411A true JP2009022411A (en) | 2009-02-05 |
JP5114121B2 JP5114121B2 (en) | 2013-01-09 |
Family
ID=40394834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007186733A Expired - Fee Related JP5114121B2 (en) | 2007-07-18 | 2007-07-18 | Medical image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5114121B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036600A (en) * | 2009-08-18 | 2011-02-24 | Toshiba Corp | Image processor, image processing program and medical diagnostic system |
JP2011212242A (en) * | 2010-03-31 | 2011-10-27 | Nagoya Univ | Virtual endoscope apparatus with entire sphere type visual field |
WO2012014437A1 (en) * | 2010-07-28 | 2012-02-02 | 富士フイルム株式会社 | Image processor, image processing method and image processing program |
JP2014097236A (en) * | 2012-11-15 | 2014-05-29 | Toshiba Corp | Ultrasonic diagnostic device, image processing device, and program |
JP2014100215A (en) * | 2012-11-19 | 2014-06-05 | Toshiba Corp | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program |
JP2015126927A (en) * | 2015-04-02 | 2015-07-09 | 国立大学法人名古屋大学 | Virtual endoscope apparatus with entire sphere type visual field |
KR20160081478A (en) * | 2014-12-31 | 2016-07-08 | 삼성메디슨 주식회사 | Ultrasonic diagnostic apparatus and operating method for the same |
CN111278362A (en) * | 2017-09-22 | 2020-06-12 | 芝加哥大学 | System and method for low dose multi-spectral X-ray tomography |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816813A (en) * | 1994-06-24 | 1996-01-19 | Hitachi Medical Corp | Image-forming method/device and display method/device |
JPH08212380A (en) * | 1995-02-01 | 1996-08-20 | Hitachi Medical Corp | Projection method using central projection method |
JPH1031761A (en) * | 1996-07-17 | 1998-02-03 | Ge Yokogawa Medical Syst Ltd | Image display method and image display device |
JPH1176228A (en) * | 1997-09-11 | 1999-03-23 | Hitachi Medical Corp | Three-dimensional image construction apparatus |
JP2000048168A (en) * | 1998-07-27 | 2000-02-18 | Ge Yokogawa Medical Systems Ltd | Picture display method and device therefor |
JP2004522464A (en) * | 2000-10-02 | 2004-07-29 | ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク | Improved visualization, navigation and inspection |
WO2005101323A1 (en) * | 2004-04-09 | 2005-10-27 | Siemens Medical Solutions Usa, Inc. | System and method for creating a panoramic view of a volumetric image |
WO2005101314A2 (en) * | 2004-04-12 | 2005-10-27 | The General Hospital Corporation | Method and apparatus for processing images in a bowel subtraction system |
JP2006018606A (en) * | 2004-07-01 | 2006-01-19 | Ziosoft Inc | Projective method, program and device for developed picture |
JP2006068301A (en) * | 2004-09-02 | 2006-03-16 | Ziosoft Inc | Image processing method and image processing program |
WO2006118100A1 (en) * | 2005-04-28 | 2006-11-09 | Hitachi Medical Corporation | Image display device and program |
JP2006346177A (en) * | 2005-06-16 | 2006-12-28 | Toshiba Corp | Image diagnostic apparatus, image processor, and three-dimensional image data display method |
JP2007044121A (en) * | 2005-08-08 | 2007-02-22 | Hitachi Medical Corp | Medical image display method and apparatus |
JP2007135707A (en) * | 2005-11-15 | 2007-06-07 | Ziosoft Inc | Image processing method and image processing program |
-
2007
- 2007-07-18 JP JP2007186733A patent/JP5114121B2/en not_active Expired - Fee Related
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816813A (en) * | 1994-06-24 | 1996-01-19 | Hitachi Medical Corp | Image-forming method/device and display method/device |
JPH08212380A (en) * | 1995-02-01 | 1996-08-20 | Hitachi Medical Corp | Projection method using central projection method |
JPH1031761A (en) * | 1996-07-17 | 1998-02-03 | Ge Yokogawa Medical Syst Ltd | Image display method and image display device |
JPH1176228A (en) * | 1997-09-11 | 1999-03-23 | Hitachi Medical Corp | Three-dimensional image construction apparatus |
JP2000048168A (en) * | 1998-07-27 | 2000-02-18 | Ge Yokogawa Medical Systems Ltd | Picture display method and device therefor |
JP2004522464A (en) * | 2000-10-02 | 2004-07-29 | ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク | Improved visualization, navigation and inspection |
WO2005101323A1 (en) * | 2004-04-09 | 2005-10-27 | Siemens Medical Solutions Usa, Inc. | System and method for creating a panoramic view of a volumetric image |
WO2005101314A2 (en) * | 2004-04-12 | 2005-10-27 | The General Hospital Corporation | Method and apparatus for processing images in a bowel subtraction system |
JP2006018606A (en) * | 2004-07-01 | 2006-01-19 | Ziosoft Inc | Projective method, program and device for developed picture |
JP2006068301A (en) * | 2004-09-02 | 2006-03-16 | Ziosoft Inc | Image processing method and image processing program |
WO2006118100A1 (en) * | 2005-04-28 | 2006-11-09 | Hitachi Medical Corporation | Image display device and program |
JP2006346177A (en) * | 2005-06-16 | 2006-12-28 | Toshiba Corp | Image diagnostic apparatus, image processor, and three-dimensional image data display method |
JP2007044121A (en) * | 2005-08-08 | 2007-02-22 | Hitachi Medical Corp | Medical image display method and apparatus |
JP2007135707A (en) * | 2005-11-15 | 2007-06-07 | Ziosoft Inc | Image processing method and image processing program |
Non-Patent Citations (1)
Title |
---|
JPN6012049806; 國分博人,角村卓是,宮崎靖,林宏光: '"管腔臓器展開表示法の開発と心血管解析への適用-第2報-"' 日本放射線技術学会総会学術大会予稿集 第62回、200, 20060220, p.143, 社団法人日本放射線技術学会 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011036600A (en) * | 2009-08-18 | 2011-02-24 | Toshiba Corp | Image processor, image processing program and medical diagnostic system |
JP2011212242A (en) * | 2010-03-31 | 2011-10-27 | Nagoya Univ | Virtual endoscope apparatus with entire sphere type visual field |
US9723971B2 (en) | 2010-07-28 | 2017-08-08 | Fujifilm Corporation | Image processing apparatus, method, and program |
JP2012024509A (en) * | 2010-07-28 | 2012-02-09 | Fujifilm Corp | Image processor, method, and program |
CN103025227A (en) * | 2010-07-28 | 2013-04-03 | 富士胶片株式会社 | Image processor, image processing method and image processing program |
WO2012014437A1 (en) * | 2010-07-28 | 2012-02-02 | 富士フイルム株式会社 | Image processor, image processing method and image processing program |
JP2014097236A (en) * | 2012-11-15 | 2014-05-29 | Toshiba Corp | Ultrasonic diagnostic device, image processing device, and program |
JP2014100215A (en) * | 2012-11-19 | 2014-06-05 | Toshiba Corp | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program |
KR20160081478A (en) * | 2014-12-31 | 2016-07-08 | 삼성메디슨 주식회사 | Ultrasonic diagnostic apparatus and operating method for the same |
KR102367194B1 (en) * | 2014-12-31 | 2022-02-25 | 삼성메디슨 주식회사 | Ultrasonic diagnostic apparatus and operating method for the same |
JP2015126927A (en) * | 2015-04-02 | 2015-07-09 | 国立大学法人名古屋大学 | Virtual endoscope apparatus with entire sphere type visual field |
CN111278362A (en) * | 2017-09-22 | 2020-06-12 | 芝加哥大学 | System and method for low dose multi-spectral X-ray tomography |
CN111278362B (en) * | 2017-09-22 | 2023-12-05 | 芝加哥大学 | System and method for low dose multispectral X-ray tomography |
Also Published As
Publication number | Publication date |
---|---|
JP5114121B2 (en) | 2013-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4676021B2 (en) | Diagnosis support apparatus, diagnosis support program, and diagnosis support method | |
JP5114121B2 (en) | Medical image processing device | |
JP5078609B2 (en) | Image display apparatus and program | |
JP5417609B2 (en) | Medical diagnostic imaging equipment | |
JP5377153B2 (en) | Image processing apparatus, image processing program, and medical diagnostic system | |
JP5572470B2 (en) | Diagnosis support apparatus, method, and program | |
JP2007195970A (en) | Tomographic system and method of visualization of tomographic display | |
JP4109224B2 (en) | Developed image projecting method, developed image projecting program, developed image projecting apparatus | |
JP5815513B2 (en) | Image processing apparatus and image processing method | |
JP2007044121A (en) | Medical image display method and apparatus | |
JP2007135843A (en) | Image processor, image processing program and image processing method | |
JP4634437B2 (en) | Developed image projecting method, developed image projecting program, developed image projecting apparatus | |
JP4686279B2 (en) | Medical diagnostic apparatus and diagnostic support apparatus | |
CN112150543A (en) | Imaging positioning method, device and equipment of medical imaging equipment and storage medium | |
JP5454841B2 (en) | Medical image processing device | |
JP2010075549A (en) | Image processor | |
JP2009022476A (en) | Image display apparatus, control method of image display apparatus and control program of image display apparatus | |
JP5100041B2 (en) | Image processing apparatus and image processing program | |
JP5631584B2 (en) | Medical image processing apparatus, medical image processing program, and medical image diagnostic apparatus | |
JP2011172692A (en) | Medical image processor and medical image processing program | |
JP2009106634A (en) | Medical image display device | |
JP2014104328A (en) | Operation support system, operation support method, and operation support program | |
JP5683831B2 (en) | Medical image processing apparatus and medical image processing program | |
JP5487339B2 (en) | Medical image processing device | |
JP6702751B2 (en) | Medical image display device, medical image display system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120925 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121015 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |