JP2010104807A - Biological tissue motion trace method and image diagnosis device using the trace method - Google Patents
Biological tissue motion trace method and image diagnosis device using the trace method Download PDFInfo
- Publication number
- JP2010104807A JP2010104807A JP2010003595A JP2010003595A JP2010104807A JP 2010104807 A JP2010104807 A JP 2010104807A JP 2010003595 A JP2010003595 A JP 2010003595A JP 2010003595 A JP2010003595 A JP 2010003595A JP 2010104807 A JP2010104807 A JP 2010104807A
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement
- designated point
- moving
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003745 diagnosis Methods 0.000 title claims description 9
- 238000005259 measurement Methods 0.000 claims description 16
- 238000002059 diagnostic imaging Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 9
- 230000008054 signal transmission Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 210000004165 myocardium Anatomy 0.000 description 18
- 238000012545 processing Methods 0.000 description 12
- 230000002107 myocardial effect Effects 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000004217 heart function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 3
- 208000006029 Cardiomegaly Diseases 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 3
- 210000004351 coronary vessel Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 208000019622 heart disease Diseases 0.000 description 3
- 230000001631 hypertensive effect Effects 0.000 description 3
- 208000028867 ischemia Diseases 0.000 description 3
- 206010003210 Arteriosclerosis Diseases 0.000 description 2
- 208000011775 arteriosclerosis disease Diseases 0.000 description 2
- 210000001715 carotid artery Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000302 ischemic effect Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 208000031225 myocardial ischemia Diseases 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 208000007536 Thrombosis Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 210000001308 heart ventricle Anatomy 0.000 description 1
- 238000007914 intraventricular administration Methods 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、超音波診断画像、磁気共鳴画像又はX線CT画像に適用される生体組織の動きの追跡方法、その追跡方法を用いた画像診断装置の技術に属する。 The present invention belongs to a technique for tracking a movement of a biological tissue applied to an ultrasonic diagnostic image, a magnetic resonance image, or an X-ray CT image, and a technique of an image diagnostic apparatus using the tracking method.
超音波診断装置、磁気共鳴イメージング(MRI)装置、及びX線CT装置等の画像診断装置は、いずれも被検体の検査部位に係る断層像などをモニタに表示して診断に供するものである。例えば、心臓や血管等の循環器系及びその他の動きのある臓器の場合、それらを構成する生体組織(以下、組織と総称する)の動きを断層像により観察して、それら臓器等の機能を診断することが行なわれている。 Image diagnostic apparatuses such as an ultrasonic diagnostic apparatus, a magnetic resonance imaging (MRI) apparatus, and an X-ray CT apparatus are all provided for diagnosis by displaying a tomographic image related to the examination site of the subject on a monitor. For example, in the case of a circulatory system such as the heart and blood vessels and other organs with movement, the movement of living tissues (hereinafter referred to as tissues) constituting them is observed by a tomographic image, and the functions of these organs and the like are observed. Diagnosis is going on.
特に、心臓などの機能を定量的に評価できれば、診断の精度が一層向上することが期待されている。例えば、従来、超音波診断装置により得られた画像から心壁の輪郭を抽出し、その心壁輪郭に基づいて心室等の面積、体積、それらの変化率等から心機能(心臓ポンプ機能)を評価したり、局所の壁運動を評価して診断することが試みられている(特許文献1)。また、ドプラ信号等の計測信号に基づいて組織の変位を計測して、例えば局所的収縮又は弛緩の分布を撮像し、これに基づいて心室の運動が活性化している場所を正確に決定したり、あるいは収縮期の心臓壁の厚さを計測する等、定量的に測定する方法が提案されている(特許文献2)。さらに、時々刻々変化する心房や心室の輪郭を抽出して、その輪郭を画像に重ねて表示するとともに、これに基づいて心室等の容量を求める技術が提案されている(特許文献3)。 In particular, if the function of the heart or the like can be quantitatively evaluated, the accuracy of diagnosis is expected to be further improved. For example, conventionally, the contour of the heart wall is extracted from the image obtained by the ultrasonic diagnostic apparatus, and based on the contour of the heart wall, the heart function (heart pump function) is determined from the area, volume, rate of change thereof, etc. Attempts have been made to evaluate or evaluate local wall motion (Patent Document 1). In addition, the displacement of the tissue is measured based on a measurement signal such as a Doppler signal, and for example, the distribution of local contraction or relaxation is imaged. Based on this, the location where the motion of the ventricle is activated can be accurately determined. Alternatively, a method for quantitative measurement such as measuring the thickness of the heart wall during systole has been proposed (Patent Document 2). Furthermore, a technique has been proposed in which the contours of the atria and ventricles that change from moment to moment are extracted, the contours are superimposed on the image, and the volume of the ventricles and the like is calculated based on the contours (Patent Document 3).
しかしながら、上記の従来技術は、いずれも心臓の全体的な機能を評価するための手法にとどまり、心筋などの各組織の動きである組織動態を計測することについては配慮されていない。特に、心壁の輪郭を画像処理により抽出し、その輪郭に基づいて心壁の厚みなどを計測する従来技術は、必ずしも十分な精度を得るまでには至っていない。 However, all of the above-described conventional techniques are only methods for evaluating the overall function of the heart, and no consideration is given to measuring tissue dynamics, which is the movement of each tissue such as the myocardium. In particular, the conventional technique for extracting the contour of the heart wall by image processing and measuring the thickness of the heart wall based on the contour does not necessarily achieve sufficient accuracy.
一般に、例えば、血栓等によって心筋に血が通わなくなると、心筋の動きが低下する等の因果関係があるといわれている。したがって、心室を構成する心筋の動きや厚みの変化など、心臓の各組織の動態を定量的に計測できれば、治療法などを決定する際の有効な診断情報を提供できる。例えば、虚血の程度がわかれば、冠動脈再生術などの心臓の治療法選択及び治療部位を特定する指標として有効である。また、弁輪部の動態を定量的に計測できれば、高血圧性心肥大などの心疾患において、心機能全体を評価するのに役立つとして研究がなされている。 In general, for example, it is said that there is a causal relationship such as a decrease in the movement of the myocardium when blood cannot pass through the myocardium due to, for example, a thrombus. Therefore, if the dynamics of each tissue of the heart such as the movement of the myocardium constituting the ventricle and the change in thickness can be measured quantitatively, it is possible to provide effective diagnostic information for determining a treatment method and the like. For example, if the degree of ischemia is known, it is effective as an index for selecting a treatment method for the heart such as coronary artery regeneration and specifying a treatment site. In addition, if the dynamics of the valve annulus can be measured quantitatively, research has been conducted to help evaluate the overall cardiac function in heart diseases such as hypertensive cardiac hypertrophy.
このような組織動態を定量的に計測したい対象は、心臓に限らず、血管についても要望されている。つまり、頚動脈などの大血管壁の脈波を定量的に計測できれば、動脈硬化の診断に有効であるとされている。 The target for quantitatively measuring such tissue dynamics is not limited to the heart, but is also demanded for blood vessels. That is, if the pulse wave of a large blood vessel wall such as a carotid artery can be measured quantitatively, it is said that it is effective for diagnosis of arteriosclerosis.
そこで、本発明は、断層像を用いて組織の動きを定量的に計測することを第1の課題とする。 Thus, the first object of the present invention is to quantitatively measure tissue movement using a tomographic image.
また、本発明は、組織の動きに関する種々の情報を定量的に計測することを第2の課題とする。 In addition, a second object of the present invention is to quantitatively measure various information related to tissue movement.
また、本発明は、組織の動きの軌跡を画像上に表示することを第3の課題とする。 The third object of the present invention is to display a trajectory of tissue movement on an image.
本発明の画像診断装置は、被検体の生体組織を含む部位の断層像を撮影してなる動画像又はRF信号が格納される記憶部と、前記動画像又はRF信号を表示可能な表示部と、指令を入力する操作部と、前記表示部に表示される前記動画像又はRF信号の前記生体組織の領域の一部の動きを追跡する自動追跡部と、前記記憶部と前記表示部と前記操作部と前記自動追跡部とを接続してなる信号伝送路とを有してなり、
前記操作部は、前記記憶部に格納された前記動画像又はRF信号の一のフレーム画像を前記表示部に表示させる指令と、該指令に応じて表示された前記一のフレーム画像において前記生体組織の領域の一部に目印を重畳表示させる指令を入力して前記生体組織の領域の一部に複数の指定点を設定する入力手段を備え、
前記自動追跡部は、前記表示部に表示された前記一のフレーム画像の前記目印の位置に対応する前記指定点を含むサイズの前記一のフレーム画像を設定する画像設定手段と、前記記憶部から前記動画像又はRF信号の他のフレーム画像を読み出して、前記一のフレーム画像と画像の一致度が最も高い前記他のフレーム画像を抽出する画像追跡手段と、該一致度が最も高い前記他のフレーム画像と前記一のフレーム画像の座標差を求める移動量演算手段とを備え、前記指定点の移動量の時間変化を前記表示部に表示することを特徴とする。この場合、撮像手段を別に設ける構成としてもよい。また、自動追跡部は、マークにより指定された画像部位の動きを追跡して、マークの表示位置を移動させる表示制御手段を備えてもよい。
The diagnostic imaging apparatus of the present invention includes a storage unit that stores a moving image or an RF signal obtained by capturing a tomographic image of a region including a living tissue of a subject, and a display unit that can display the moving image or the RF signal. An operation unit for inputting a command; an automatic tracking unit for tracking a movement of a part of the living tissue region of the moving image or RF signal displayed on the display unit; the storage unit; the display unit; A signal transmission path formed by connecting the operation unit and the automatic tracking unit;
The operation unit includes a command for causing the display unit to display one frame image of the moving image or RF signal stored in the storage unit, and the living tissue in the one frame image displayed according to the command. An input means for inputting a command for displaying a mark superimposed on a part of the area of the subject and setting a plurality of designated points in a part of the area of the living tissue;
The automatic tracking unit includes: an image setting unit configured to set the one frame image having a size including the designated point corresponding to the position of the mark of the one frame image displayed on the display unit; Image tracking means for reading the moving image or another frame image of the RF signal and extracting the other frame image having the highest degree of matching between the one frame image and the image, and the other frame image having the highest matching degree A moving amount calculating means for obtaining a coordinate difference between the frame image and the one frame image is provided, and a time change of the moving amount of the designated point is displayed on the display unit. In this case, it is good also as a structure which provides an imaging means separately. The automatic tracking unit may include display control means for tracking the movement of the image portion designated by the mark and moving the display position of the mark.
また、本発明の生体組織の動き追跡方法は、被検体の生体組織を動画像又はRF信号として撮像し前記動画像又はRF信号を記憶し、記憶された動画像又はRF信号の一のフレーム画像を表示する第1ステップと、該表示された前記一のフレーム画像において前記生体組織の領域の一部に目印を重畳表示させる指令を入力して前記生体組織の領域の一部に少なくとも1つの指定点を設定する第2ステップと、前記動画像又はRF信号の他のフレーム画像を検索して前記指定点を含む前記一のフレーム画像と画像の一致度が最も高い前記他のフレーム画像を抽出する第3ステップと、抽出された他のフレーム画像と前記一のフレーム画像の座標差に基づいて前記指定点の移動先座標を求める第4ステップと、前記指定点の移動先座標に基づいて前記指定点の移動量を求め、前記指定点の移動量の時間変化を画像表示する第5ステップと、を含んでなることを特徴とする。 Further, the biological tissue motion tracking method of the present invention images a biological tissue of a subject as a moving image or an RF signal, stores the moving image or the RF signal, and stores one frame image of the stored moving image or RF signal. And at least one designation for a part of the biological tissue region by inputting a command to display a mark superimposed on a part of the biological tissue region in the displayed one frame image. A second step of setting a point, and searching for another frame image of the moving image or RF signal to extract the other frame image having the highest degree of matching between the one frame image including the designated point and the image A third step, a fourth step for obtaining a destination coordinate of the designated point based on a coordinate difference between the extracted other frame image and the one frame image, and the designation based on the destination coordinate of the designated point. Point movement And a fifth step of displaying an image of the temporal change in the amount of movement of the designated point.
本発明によれば、断層像を用いて組織の動きを定量的に計測することができる。また、他の発明によれば、組織の動きに関する種々の情報を定量的に計測することができる。さらに他の発明によれば、組織の動きの軌跡を画像上に表示することができる。 According to the present invention, it is possible to quantitatively measure tissue movement using a tomographic image. Moreover, according to another invention, various information regarding the movement of the tissue can be quantitatively measured. According to still another invention, the trajectory of tissue movement can be displayed on an image.
(実施の形態1)
本発明の生体組織の動き追跡方法を適用してなる一実施の形態の画像診断装置について、図1〜図4を用いて説明する。図1は本実施形態の生体組織の動き追跡方法の手順を示し、図2は図1の生体組織の動き追跡方法を適用してなる画像診断装置のブロック構成図である。図2に示すように、画像診断装置は、被検体の断層像を撮影してなる動画像が格納される画像記憶部1と、動画像を表示可能な表示部2と、指令を入力する操作卓3と、表示部2に表示される動画像の生体組織の動きを追跡する自動追跡部4と、自動追跡部4の追跡結果に基づいて各種の計測情報を算出する動態情報算出部5と、これらを接続してなる信号伝送路6を含んで構成されている。画像記憶部1には、破線で示した診断画像撮像装置7から被検体の断層像を撮影してなる動画像がオンライン又はオフラインで格納されるようになっている。診断画像撮像装置7としては、超音波診断装置、磁気共鳴イメージング(MRI)装置及びX線CT装置等の診断装置が適用可能である。
(Embodiment 1)
An image diagnostic apparatus according to an embodiment to which the biological tissue motion tracking method of the present invention is applied will be described with reference to FIGS. FIG. 1 shows the procedure of the biological tissue motion tracking method of this embodiment, and FIG. 2 is a block diagram of an image diagnostic apparatus to which the biological tissue motion tracking method of FIG. 1 is applied. As shown in FIG. 2, the diagnostic imaging apparatus includes an
操作卓3は、画像記憶部1に格納された動画像の一のフレーム画像を表示部2に表示させる指令を入力可能に形成されている。また、その指令に応じて表示された一のフレーム画像において動きを追跡したい生体組織の指定部位に目印を重畳表示させる指令を入力可能に形成されている。
The
自動追跡部4は、画像診断装置全体を制御する制御手段8と、表示部2に表示された一のフレーム画像の前記目印の位置に対応する指定部位を含むサイズの切出し画像を設定する切出し画像設定手段9と、画像記憶部1から動画像の他のフレーム画像を読み出して、切出し画像と画像の一致度が最も高い同一サイズの局所画像を抽出する切出し画像追跡手段10と、一致度が最も高い局所画像と切出し画像の座標差を求める移動量演算手段11と、その座標差に基づいて指定部位の移動先座標を求める移動追跡手段12とを備えて構成されている。また、動態情報算出部5は、自動追跡部4で求められた指定部位の移動先座標に基づいて、指定部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めるとともに、これらの計測情報の変化を線図で表示部2に表示させる機能を有して構成されている。
The
次に、本実施形態の画像診断装置の詳細な機能構成について、図1に示した処理手順に従って動作とともに説明する。まず、生体組織の動き追跡動作は、操作卓3から組織の動き追跡モードを選択する指令が入力されることによって開始する(S1)。自動追跡部4の制御手段8は、画像記憶部1から動画像の最初のフレーム画像ft(t=0)を読み出して表示部2に表示させる(S2)。例えば、最初のフレーム画像f0として図3に示す心臓の心室21の断層像が表示されたものとする。図3において、操作者が動きを追跡したい生体組織の指定部位として、心筋22の特定の部位を選択したい場合、操作者は操作部3のマウスなどを操作してフレーム画像f0に重ねて目印である指定点23を表示させる。そして、その指定点23を移動操作して所望の指定部位に重畳表示させて指定部位を入力設定する。なお、図3において、符号24は僧帽弁である。
Next, the detailed functional configuration of the diagnostic imaging apparatus of the present embodiment will be described along with the operation according to the processing procedure shown in FIG. First, the movement tracking operation of the living tissue starts when a command for selecting the movement tracking mode of the tissue is input from the console 3 (S1). The control means 8 of the
指定点23が入力設定されると、制御手段8はフレーム画像f0上の指定点23の座標を取込み、切出し画像設定手段9に送る(S3)。切出し画像設定手段9は、図4(a)に示す様に、指定点23の画像を中心として、縦横2(A+1)画素(但しAは自然数)のサイズの矩形領域を切出し画像25として設定する(S4)。ここで、切出し画像25のサイズは、指定点23の生体組織とは異なる生体組織を含む大きさの領域に設定することが好ましい。例えば、図3に示す様に、心筋22の境界を越える大きさの領域に設定する。これは、切出し画像25のサイズが小さすぎると一致する局所画像が多く出現し、真の移動先を特定できない場合が生じたり、逆に大きすぎるとフレーム画像f0の画像領域からはみ出して計測できない場合が生ずるからである。
When the designated
切出し画像追跡手段10は、画像記憶部1から動画像の次のフレーム画像f1を読み出し、切出し画像25と画像の一致度が最も高い同一サイズの局所画像を抽出する(S5)。この抽出処理は、いわゆるブロックマッチング法と称される画像相関法を適用する。この抽出処理をフレーム画像f1の全領域について行なうと、処理時間がかかり過ぎる。そこで、抽出処理時間を短縮するため、本実施形態では、フレーム画像f1よりも十分に小さい、図4(b)に示す検索領域26について行なうようにしている。つまり、検索領域26は、切出し画像25に対して上下左右に一定の振り幅の画素数Bを付加した矩形領域とする。この画素数Bは、指定部位に係る組織の移動量よりも大きく、例えば3〜10画素に設定する。これは、心臓などの循環器系の動く範囲は、通常の視野において、狭い領域に限られるからである。このようにして、検索領域26内の同一サイズの局所画像27を順次ずらして切出し画像25との画像の一致度を求める。
The clipped image tracking means 10 reads the next frame image f1 of the moving image from the
次に、検索した複数の局所画像27の内で画像の一致度が最も高い局所画像27maxを抽出し、局所画像27maxを切出し画像25の移動先とし、局所画像27maxの座標を求める(S6)。これらの画像の座標は、中心画素の座標、あるいは矩形領域の何れかの角の座標で代表する。そして、局所画像27maxと切出し画像25の座標差を求め、これに基づいて指定点23の移動先座標を求めて記憶するとともに、表示部2のフレーム画像f1に重ねて表示する(S7)。なお、局所画像27maxと切出し画像25における指定点23の相対位置は変化しないものとして扱っている。
Next, a local image 27max having the highest image matching degree is extracted from the searched plurality of
動態情報算出部5は、S7で求められた指定点23の移動先座標をに基づいて、指定点23の動き、つまり指定部位の組織の動きに関する各種の計測情報を算出する(S8)。
The dynamic information calculation unit 5 calculates various measurement information relating to the movement of the designated
すなわち、移動前後の指定部位の座標に基づいて、移動方向及び移動量を定量的に計測することができる。また、指定部位の移動量、移動速度、移動方向等の動きに関する物理量である計測情報を定量的に求めることができる。 That is, based on the coordinates of the designated part before and after the movement, the movement direction and the movement amount can be quantitatively measured. In addition, measurement information, which is a physical quantity related to movement such as the movement amount, movement speed, and movement direction of the designated part, can be obtained quantitatively.
このようにして求めた計測情報に基づいて、さらに動態情報算出部5は、指定点23の移動に関する各種の計測情報、及びその変化をグラフで表示部に表示させる(S9)。これにより、観者は、指定部位の動きを容易に観察することができる。
Based on the measurement information thus obtained, the dynamic information calculation unit 5 further displays various measurement information regarding the movement of the designated
次に、ステップS10に進み、動画像の全てのフレーム画像について指定点23の追跡が終了したか否か判断し、未処理のフレーム画像があれば、ステップS5に戻ってS5〜S10の処理を繰り返す。全てのフレーム画像について指定点23の追跡が終了した場合は、追跡処理動作を終了する。
Next, the process proceeds to step S10, where it is determined whether or not the tracking of the designated
上述したように、本実施形態によれば、画像相関法を適用することにより、指定点23の移動先の座標を順次求めることができるから、指定部位の動きを定量的に、かつ精度よく簡単に計測することができるから、診断の情報を的確に提供することができる。
As described above, according to the present embodiment, by applying the image correlation method, the coordinates of the movement destination of the designated
ここで、上記実施形態を用いて、生体組織の指定部位の動きを計測してなる具体例について図5〜図9を用いて説明する。図5は、図3に示した指定点23の動きに関する計測情報を表示部2に表示した画像例であり、同図(a)は指定点23の移動軌跡を破線で動画像に重ねて表示する例である。同図(b)、(c)は、それぞれ指定点23の移動量の時間変化と移動速度が表示されている。また、同図(d)、(e)は、指定点23の移動軌跡を動画像に重ねて表示する別の例であり、同図(d)は直前の数フレーム画像分の軌跡を、同図(e)は移動軌跡を実線で表示している。
Here, a specific example obtained by measuring the movement of the designated part of the living tissue using the above embodiment will be described with reference to FIGS. FIG. 5 is an example of an image in which measurement information related to the movement of the designated
一方、図6は、心筋22の心壁を挟んで2つの指定点23を設定し、2つの指定点23間の距離と、その距離の変化を計測し、それらをグラフにして表示部2に表示した例である。これにより、心筋の厚み及び厚み変化を定量的に把握することができる。また、心筋の厚みの変化率を算出して表示することもできる。この変化率は、変化前の心筋の厚みに対する変化前後の心筋の厚みの変化量を、百分率で表すことができる。これらの場合において、それらの心臓に係る計測値のグラフと、ECG波形、心音波形、などの情報を表示部2に時間軸を関連させて表示することにより、一層診断の精度を向上できる。つまり、心筋動態の追跡や心筋厚の変化を定量的に追跡できることから、虚血性心疾患において虚血部位を特定することが可能になる。また、心筋動態を定量化できるから、虚血の程度がわかり、冠動脈再生術などの治療法選択および治療部位特定の指標にできる。さらに、弁輪部24に指定点23を設定して、その動きを追跡すれば、高血圧性心肥大などの心疾患において、心機能全体を評価するのに役立つことが期待できる。
On the other hand, FIG. 6 sets two designated
図7は、心筋22の壁部に複数(図示例は、9点)の指定点23a〜23iを設定し、それらの動きを追跡し、その移動情報に基づいて同図(a)〜(f)の表示を行なった例である。同図(a)は、各指定点23a〜23iの移動方向を求め、心壁の移動方向の基準点を重心とし、その重心に向かう方向とその反対方向の色を代えて、その時間変化を画像表示した例である。これによれば、心筋の動きを画像表示により容易に把握することができる。この場合、移動速度に応じて輝度変調をかけることができる。同図(b)は、各指定点23a〜23iの移動量に応じて、それらの点を結ぶ線の太さを変えて表示した例である。同図(c)は、数フレーム画像前からの各指定点23a〜23iの移動軌跡を表示した例である。同図(d)は、各指定点23a〜23iを線で結ぶとともに、それらの点の移動量を強調して表示した例である。同図(e)は、同図(c)に示すように各指定点23a〜23iで囲まれたそれぞれの4辺形の面積の変化を表示した例であり、同図(f)はその合計面積の時間変化をグラフにして表示した例である。
FIG. 7 shows that a plurality of (9 in the illustrated example) designated points 23a to 23i are set on the wall of the
図8は、心筋22の内部の全体に渡って複数の指定点23を設定した例であり、同図(a)は心筋22の厚み方向の変位合計をグラフ化したものである。同図(b)は、心筋の長さ方向の変位合計をグラフ化したものである。同図(c)は、心筋22の長さ方向に縮むのをプラスとし、厚み方向に膨れる方向をプラスとして変位合計をグラフ化して表示した例である。同図(d)は、複数の指定点23で囲まれた領域の面積変化の合計をグラフ化した例である。
FIG. 8 is an example in which a plurality of designated
図9は、心筋22の内壁に沿って複数の指定点23を設定し、同図(a)は、各指定点23が、各指定点により囲まれた領域(心室内)の重心に向かう方向を例えば「赤」で表示し、離れる方向を例えば「青」で表示し、その移動速度によって輝度変調して表示した例である。また、同図(b)は、指定点23で囲まれた領域の面積の時間変化をグラフ化したものである。これによれば、心室の容積変化などの動態情報(動きの情報)を定量的に、かつ精度よく計測することができる。
FIG. 9 sets a plurality of designated
(実施形態2)
図1の実施形態では、1つのフレーム画像についての指定点の追跡が終了する度に(S7)、その指定点の移動に基づいて組織の動きに関する各種情報を算出するとともに(S8)、それらの情報を表示部に表示する(S9)ようにした例を説明した。本発明はこれに限らず、図10に示すように、図1のステップS10をステップS7の後に配置し、全てのフレーム画像についての指定点の追跡が終了した後に、ステップS8、9の処理を実行するようにしてもよい。
(Embodiment 2)
In the embodiment of FIG. 1, every time tracking of a designated point for one frame image is completed (S7), various information regarding the movement of the tissue is calculated based on the movement of the designated point (S8), and those The example in which information is displayed on the display unit (S9) has been described. The present invention is not limited to this, as shown in FIG. 10, step S10 in FIG. 1 is arranged after step S7, and after the tracking of designated points for all frame images is completed, the processing of steps S8 and S9 is performed. You may make it perform.
ここで、画像相関法による画像追跡処理の具体例を、図11を用いて説明する。図示例は、説明を簡単にするために、切出し画像25のサイズを矩形の9画素領域とし、検索領域26についても矩形の25画素領域として説明する。つまり、同図(a)に示す切出し画像25は、指定点23の画素を中心としてA=1画素に設定した例であり、同図(b)に示す検索領域26はB=1画素に設定した例である。これによれば、同図(b)に示す様に、9個の局所領域27について相関値を求め、相関が最も大きい位置が移動先座標に相当することになる。
Here, a specific example of the image tracking process by the image correlation method will be described with reference to FIG. In the illustrated example, for simplification of description, the size of the cut-out
(実施形態3)
本実施形態は、超音波撮影法により撮影して得られる動画像による生体組織の追跡処理に適用できるものである。特に、動画像に対応するRF信号を記憶しておき、画像相関法により求めた画像の一致度が最も高い局所画像の位置を、RF信号を用いて補正することにより、生体組織の動きを追跡して得られる計測値の変化を滑らかなものとすることにある。
(Embodiment 3)
The present embodiment can be applied to tracking processing of a living tissue by a moving image obtained by imaging by an ultrasonic imaging method. In particular, the RF signal corresponding to the moving image is stored, and the movement of the living tissue is tracked by using the RF signal to correct the position of the local image with the highest degree of image matching obtained by the image correlation method. It is to make the change of the measured value obtained in this way smooth.
図12に示すように、超音波診断装置17から動画像、及びその動画像の再構成に用いたRF信号(超音波エコー信号を受信処理した信号)が、それぞれオンライン又は記録媒体を介して画像記憶部1及びRF信号記憶部18に格納されるようになっている。RF信号記憶部18は、信号伝送路6を介して自動追跡部4に接続されている。また、自動追跡部4に移動量補正部13が設けられている。
As shown in FIG. 12, a moving image from the ultrasonic
図13に、本実施形態の主要部の処理手順を示す。本実施形態の追跡処理の基本は、図10のステップS6で求めた切出し画像の移動先座標を取込み、指定点23の移動先座標を算出する(S21)。次に、切出し画像25の指定点23の座標と、一致度が最も高い局所画像27maxの指定点23の座標の周辺の画像に係るRF信号をRF信号記憶部18から抽出する(S22)。つまり、移動前後の指定点23の周辺画像のRF信号を抽出する。そして、移動前後のRF信号の相互相関をとり、その相関値を求める(S23)。この場合、まず、移動前後の何れかのRF信号を画像相関法で求めた移動量(画素数)に対応する分だけ時間軸をずらし、両者の相互相関(例えば、積和演算)をとりながら、移動前後の何れかのRF信号をずらす。そして、求めた相互相関値が最大値となるずれ量τが、RF信号による移動量の補正値として求められる(S24)。そして、先に画像相関法で求めた指定点の移動量に、RF信号を用いて求めた指定点の移動量の補正値を加算して、指定点の移動量を補正する(S25)。
FIG. 13 shows the processing procedure of the main part of this embodiment. The basis of the tracking process of the present embodiment is to capture the movement destination coordinates of the clipped image obtained in step S6 of FIG. 10, and calculate the movement destination coordinates of the designated point 23 (S21). Next, an RF signal relating to an image around the coordinates of the designated
ここで、移動前後のRF信号の相互相関値の最大値が、指定点の移動量の相関すること、及びそれにより指定点の移動量を補正することにより、位置の計測精度が向上する理由を、図14を用いて説明する。なお、図14(a)においては、移動前の指定点周辺のRF信号41と、移動後の指定点周辺のRF信号42の時間軸を、画像相関法で求めた移動量に基づいてずらした状態で示している。そして、例えば、RF信号41の時間軸を正負何れかの方向にずらしながらRF信号42との相互相関を計算すると、同図(b)に示す最大値を示す相互相関値43が得られる。このRF信号41とRF信号42のずらした位相差をτとすると、この移動量τが画像相関法の移動量に加えて補正すべき移動量に相当する。これにより、画像相関法の移動量の計測精度を向上できる。
Here, the reason that the maximum value of the cross-correlation value of the RF signal before and after the movement correlates with the movement amount of the designated point, and thereby the movement amount of the designated point is corrected, thereby improving the position measurement accuracy. This will be described with reference to FIG. In FIG. 14 (a), the time axes of the
以上説明したように、本発明の各実施形態によれば、次のような効果が得られる。 As described above, according to each embodiment of the present invention, the following effects can be obtained.
まず、心臓の各部の動きを定量的に計測することができることから、例えば心筋動態追跡あるいは心筋厚の変化を定量的に計測することにより、虚血性心疾患において例えば虚血部位を特定することができる。また、心筋動態を定量化できるから、虚血の程度がわかり、冠動脈再生術などの治療法選択および治療部位を特定する際の指標にできる。 First, since the movement of each part of the heart can be measured quantitatively, for example, by tracking myocardial dynamics or changing myocardial thickness quantitatively, for example, an ischemic site can be identified in ischemic heart disease. it can. In addition, since the myocardial dynamics can be quantified, the degree of ischemia can be known and can be used as an index for selecting a treatment method such as coronary artery regeneration and specifying a treatment site.
また、弁輪部の動きを定量的に追跡することにより、高血圧性心肥大などの心疾患において、心機能全体を評価するのに役立つ可能性がある。 In addition, quantitatively tracking the movement of the annulus may help to assess overall cardiac function in heart diseases such as hypertensive cardiac hypertrophy.
また、本発明は、心臓の各部位の動きを計測することに限らず、生体組織の動きを観察したい部位であれば、どのような部位の生体組織にも適用できることは明らかである。例えば、頚動脈などの大血管壁の脈波計測に適用できる。この場合、血管壁の長手方向に複数の指定部位を設定し、それらの指定部位の移動量を定量的に計測して比較することにより、動脈硬化の程度がわかる。 Further, the present invention is not limited to measuring the movement of each part of the heart, but is obviously applicable to any part of the biological tissue as long as the movement of the biological tissue is desired to be observed. For example, it can be applied to pulse wave measurement of a large blood vessel wall such as a carotid artery. In this case, the degree of arteriosclerosis can be determined by setting a plurality of designated sites in the longitudinal direction of the blood vessel wall and quantitatively measuring and comparing the movement amounts of these designated sites.
また、上述の実施形態は、オフラインで行なう例について説明したが、ブロックマッチング法の処理に係る速度を向上すれば、オンラインあるいはリアルタイムの動画像にも適用できる。 Moreover, although the above-mentioned embodiment demonstrated the example performed offline, if the speed concerning the process of a block matching method is improved, it can apply also to an online or real-time moving image.
また、上述の実施形態は、2次元の断層像を例に説明したが、3次元断層像にも適用できることはいうまでもない。 Moreover, although the above-described embodiment has been described by taking a two-dimensional tomographic image as an example, it is needless to say that the embodiment can also be applied to a three-dimensional tomographic image.
また、画像相関法は、切出し画像と局所画像の対応する画像の一致度を算出する方法であれば公知の技術を用いることができる。例えば、一般に知られている切出し画像と局所画像の対応する画素ごとに画素値の積を求め、その絶対値の総和をもって相関値とする2次元相互相関法、切出し画像と局所画像の各画素値の平均値を画素ごとの画素値から引き、その積を求め、その絶対値の総和をもって相関値とする2次元正規化相互相関法、画素ごとに画素値の差の絶対値を求め、その絶対値の総和をもって相関値とするSAD法、画素ごとの画素値の差の二乗値を求め、その二乗値の総和をもって相関値とするSSD法などを適用できる。このとき、相関最大である局所画像を選ぶためには2次元相互相関法と2次元正規化相互相関法では相関値が最大の、また、SAD法、SSD法では相関値が最小の局所画像を画像の一致度が最も高い局所画像とすればよい。この相関最大(相関値が最大又は最小)である局所画像を選び出すことに画像相関法の特徴がある。 As the image correlation method, a known technique can be used as long as it is a method for calculating the degree of coincidence between corresponding images of the cut-out image and the local image. For example, the two-dimensional cross-correlation method that calculates the product of pixel values for each corresponding pixel of the cut-out image and local image that are generally known, and uses the sum of the absolute values as the correlation value, each pixel value of the cut-out image and the local image The two-dimensional normalized cross-correlation method that subtracts the average value of each pixel from the pixel value for each pixel, finds the product, and uses the sum of the absolute values as the correlation value, finds the absolute value of the pixel value difference for each pixel, and calculates the absolute value The SAD method using the sum of the values as the correlation value, the SSD method using the sum of the square values as the correlation value after obtaining the square value of the pixel value difference for each pixel, and the like can be applied. At this time, in order to select the local image having the maximum correlation, the local image having the maximum correlation value in the two-dimensional cross-correlation method and the two-dimensional normalized cross-correlation method, and the minimum correlation value in the SAD method and the SSD method are selected. What is necessary is just to make it a local image with the highest degree of coincidence of images. A feature of the image correlation method is that a local image having the maximum correlation (maximum or minimum correlation value) is selected.
1 画像記憶部、2 表示部、3 操作卓、4 自動追跡部、5 動態情報演算部、6 信号伝送路、7 診断画像撮像装置、8 制御手段、9 切出し画像設定手段、10 切出し画像追跡手段、11 移動量演算手段、12 移動追跡手段 1 Image storage unit, 2 display unit, 3 console, 4 automatic tracking unit, 5 dynamic information calculation unit, 6 signal transmission path, 7 diagnostic imaging device, 8 control unit, 9 cropped image setting unit, 10 cropped image tracking unit , 11 Movement amount calculation means, 12 Movement tracking means
Claims (23)
前記第5ステップは、各指定点の移動方向を求め、各指定点の移動方向が前記指定点が複数設定された局所領域の重心を移動方向の基準点として、各指定点の移動方向の時間変化を前記重心に向かう方向とその反対方向の色を変えて画像表示することを特徴とする請求項1に記載の生体組織の動き追跡方法。 In the second step, a plurality of the designated points are set in a local region where it is desired to track the movement of a part of the moving tissue region.
In the fifth step, the movement direction of each designated point is obtained, and the movement direction of each designated point is determined by using the center of gravity of the local area in which a plurality of designated points are set as the movement direction of each designated point. The method for tracking movement of a living tissue according to claim 1, wherein the change is displayed as an image by changing the color in the direction toward the center of gravity and in the opposite direction.
前記第5ステップは、各指定点の移動量を前記動きのある生体組織の領域の一部の厚み方向と長さ方向の少なくとも一方について求め、前記求めた各指定点の移動量の時間変化を画像表示することを特徴とする請求項1に記載の生体組織の動き追跡方法。 In the second step, a plurality of the designated points are set over the entire region of the living tissue with movement,
In the fifth step, a movement amount of each designated point is obtained for at least one of a thickness direction and a length direction of a part of the moving biological tissue region, and a time change of the obtained movement amount of each designated point is obtained. The method of tracking movement of a living tissue according to claim 1, wherein an image is displayed.
前記第5ステップは、各指定点の移動先座標に基づいて各指定点の移動方向を求め、複数の前記指定点により囲まれた領域の重心を移動方向の基準点として、各指定点の移動方向の時間変化を前記重心に向かう方向とその反対方向の色を変えて画像表示することを特徴とする請求項1に記載の生体組織の動き追跡方法。 In the second step, a plurality of the designated points are set along a boundary of a region of the living tissue that moves.
In the fifth step, the movement direction of each designated point is obtained based on the destination coordinates of each designated point, and the movement of each designated point is performed using the center of gravity of the area surrounded by the plurality of designated points as a reference point in the movement direction. 2. The method for tracking movement of a living tissue according to claim 1, wherein the temporal change in direction is displayed by changing the color in the direction toward the center of gravity and in the opposite direction.
前記第5ステップは、前記動きのある生体組織の厚み、厚み変化、厚み変化速度、厚み変化率の少なくとも1つを算出することを特徴とする請求項1乃至4のいずれか一項に記載の生体組織の動き追跡方法。 In the second step, two designated points are set in a living tissue with movement,
5. The fifth step according to claim 1, wherein at least one of a thickness, a thickness change, a thickness change speed, and a thickness change rate of the moving biological tissue is calculated. A method for tracking the movement of biological tissue.
前記第5ステップは、前記一対の指定点間の距離の時間変化のグラフを画像表示するとともに、該グラフの時間軸に関連させて前記動きのある生体組織の計測情報を画像表示するステップを含んでなる請求項1に記載の生体組織の動き追跡方法。 In the second step, an instruction to superimpose and display a mark on the displayed one frame image is input, and at least a pair of designated points are set across a boundary of a moving biological tissue,
The fifth step includes a step of displaying an image of a time change graph of the distance between the pair of designated points and displaying an image of measurement information of the moving living tissue in relation to the time axis of the graph. The biological tissue motion tracking method according to claim 1, comprising:
前記操作部は、前記記憶部に格納された前記動画像の一のフレーム画像を前記表示部に表示させる指令と、該指令に応じて表示された前記一のフレーム画像において前記動きのある生体組織の領域の一部に目印を重畳表示させる指令を入力して前記動きのある生体組織の領域の一部に複数の指定点を設定する入力手段を備え、
前記自動追跡部は、前記表示部に表示された前記一のフレーム画像の前記目印の位置に対応する前記指定点を含むサイズの前記一のフレーム画像を設定する画像設定手段と、前記記憶部から前記動画像の他のフレーム画像を読み出して、前記一のフレーム画像と画像の一致度が最も高い前記他のフレーム画像を抽出する画像追跡手段と、該一致度が最も高い前記他のフレーム画像と前記一のフレーム画像の座標差を求める移動量演算手段と、前記指定点の移動量の時間変化を前記表示部に表示する画像診断装置。 A storage unit that stores a moving image obtained by capturing a tomographic image of a part including a living tissue in which the subject moves, a display unit that can display the moving image, an operation unit that inputs a command, and the display An automatic tracking unit that tracks the movement of a part of the moving biological tissue region of the moving image displayed on the unit, the storage unit, the display unit, the operation unit, and the automatic tracking unit. And a signal transmission line
The operation unit includes a command for causing the display unit to display one frame image of the moving image stored in the storage unit, and a living tissue that moves in the one frame image displayed according to the command. Input means for setting a plurality of designated points in a part of the region of the living tissue by inputting a command to display a mark superimposed on a part of the region of
The automatic tracking unit includes: an image setting unit configured to set the one frame image having a size including the designated point corresponding to the position of the mark of the one frame image displayed on the display unit; Image tracking means for reading out another frame image of the moving image and extracting the other frame image having the highest matching degree between the one frame image and the image, and the other frame image having the highest matching degree; A moving amount calculating means for obtaining a coordinate difference of the one frame image, and an image diagnostic apparatus for displaying a temporal change in the moving amount of the designated point on the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003595A JP5508035B2 (en) | 2002-09-12 | 2010-01-12 | Diagnostic imaging equipment |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002266864 | 2002-09-12 | ||
JP2002266864 | 2002-09-12 | ||
JP2010003595A JP5508035B2 (en) | 2002-09-12 | 2010-01-12 | Diagnostic imaging equipment |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003311291A Division JP4596759B2 (en) | 2002-09-12 | 2003-09-03 | Image diagnostic apparatus and method of operating image diagnostic apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010104807A true JP2010104807A (en) | 2010-05-13 |
JP5508035B2 JP5508035B2 (en) | 2014-05-28 |
Family
ID=42294799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010003595A Expired - Fee Related JP5508035B2 (en) | 2002-09-12 | 2010-01-12 | Diagnostic imaging equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5508035B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013188300A (en) * | 2012-03-13 | 2013-09-26 | Shinji Kume | Ultrasonic diagnostic apparatus |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017061080A1 (en) | 2015-10-08 | 2017-04-13 | Sony Corporation | Information processing device, information processing method, and information processing system |
JP6720756B2 (en) | 2015-10-08 | 2020-07-08 | ソニー株式会社 | Information processing apparatus, information processing method, and information processing system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001286474A (en) * | 2000-02-14 | 2001-10-16 | Siemens Medical Syst Inc | Dynamic measurement of subject's parameter |
-
2010
- 2010-01-12 JP JP2010003595A patent/JP5508035B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001286474A (en) * | 2000-02-14 | 2001-10-16 | Siemens Medical Syst Inc | Dynamic measurement of subject's parameter |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013188300A (en) * | 2012-03-13 | 2013-09-26 | Shinji Kume | Ultrasonic diagnostic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5508035B2 (en) | 2014-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1543773B1 (en) | Biological tissue motion trace method and image diagnosis device using the trace method | |
JP4389081B2 (en) | Region-of-interest tracking control method, diagnostic imaging apparatus using the method, and region-of-interest tracking control program | |
JP4596759B2 (en) | Image diagnostic apparatus and method of operating image diagnostic apparatus | |
JP4060615B2 (en) | Image processing apparatus and ultrasonic diagnostic apparatus | |
JP5661453B2 (en) | Image processing apparatus, ultrasonic diagnostic apparatus, and image processing method | |
JP4348383B2 (en) | Device for displaying curved anatomical M-mode of biological structures | |
US11278182B2 (en) | Enhanced visualization of blood vessels using a robotically steered endoscope | |
TWI448986B (en) | Automatic analysis of cardiac m-mode views | |
JP2004514526A (en) | Method for capturing, analyzing, and displaying an ultrasonic diagnostic heart image | |
JP5215036B2 (en) | Medical image processing apparatus and medical image processing program | |
JP4321121B2 (en) | Method for tracking movement of biological tissue in diagnostic image and diagnostic imaging apparatus using the method | |
US11393086B2 (en) | Ultrasonic diagnostic apparatus and display method for ultrasonic inspection | |
JP2009072432A (en) | Image display device and image display program | |
JP4359749B2 (en) | Movement display method and diagnostic imaging apparatus for living tissue | |
JP3844799B2 (en) | Ultrasonic diagnostic apparatus, data processing method for ultrasonic diagnosis, and program | |
EP2059173B1 (en) | System and method for measuring left ventricular torsion | |
JP4503238B2 (en) | Movement display method and diagnostic imaging apparatus for living tissue | |
JP2004121834A5 (en) | ||
JP2005087594A (en) | Image diagnostic apparatus | |
JP4847684B2 (en) | Diagnostic imaging equipment | |
JP2007222533A (en) | Ultrasonic diagnostic apparatus and ultrasonic image processing method | |
JP5508035B2 (en) | Diagnostic imaging equipment | |
JP2008104695A (en) | Ultrasonic diagnostic equipment, image processor and image processing program | |
JP2004283583A (en) | Operation method of image forming medical inspection system | |
JP4492107B2 (en) | Diagnostic imaging equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131204 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140320 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5508035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |