JP2011056158A - Ultrasonic diagnostic apparatus - Google Patents
Ultrasonic diagnostic apparatus Download PDFInfo
- Publication number
- JP2011056158A JP2011056158A JP2009211443A JP2009211443A JP2011056158A JP 2011056158 A JP2011056158 A JP 2011056158A JP 2009211443 A JP2009211443 A JP 2009211443A JP 2009211443 A JP2009211443 A JP 2009211443A JP 2011056158 A JP2011056158 A JP 2011056158A
- Authority
- JP
- Japan
- Prior art keywords
- distortion
- image
- target tissue
- diagnostic apparatus
- ultrasonic diagnostic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、周期的に運動する対象組織の表示画像を形成する超音波診断装置に関する。 The present invention relates to an ultrasonic diagnostic apparatus that forms a display image of a target tissue that moves periodically.
心臓などの運動を伴う組織の三次元超音波画像を形成する超音波診断装置が知られている。例えば、三次元空間内において超音波ビームをスキャン(走査)して三次元空間内からエコーデータを収集し、収集したエコーデータに基づいて三次元超音波画像を形成してリアルタイム表示する技術が知られている。但し、リアルタイム表示の場合には、スキャンレートとビーム密度とビーム範囲が互いにトレードオフの関係になるという原理的な制約がある。 2. Description of the Related Art An ultrasonic diagnostic apparatus that forms a three-dimensional ultrasonic image of a tissue that accompanies motion such as the heart is known. For example, there is a technology that scans an ultrasonic beam in a three-dimensional space, collects echo data from the three-dimensional space, forms a three-dimensional ultrasonic image based on the collected echo data, and displays it in real time. It has been. However, in the case of real-time display, there is a principle restriction that the scan rate, the beam density, and the beam range are in a trade-off relationship with each other.
三次元超音波画像のリアルタイム表示における原理的な制約を回避するための技術も提案されている。例えば、特許文献1には、心電信号などに同期させて三次元空間内において走査面を少しずつ移動させながら、走査面の各位置において複数の時相に亘って複数の断層画像データを収集し、収集された複数の断層画像データを並べ替えて再構成して三次元画像データを形成する技術(再構成処理)が記載されている。また、特許文献2には、心電信号を利用せずに、一定の時間間隔ごとに複数の断層画像データを抽出して再構成する技術が記載されている。
Techniques for avoiding the fundamental limitations in real-time display of 3D ultrasound images have also been proposed. For example,
上述した再構成処理では、断層画像データを並べ替える際の時間間隔が心臓などの対象組織の運動に関する周期に一致していることが望ましい。仮に、この時間間隔が運動に関する周期からずれてしまうと、再構成により得られた動画像内において、心臓などの対象組織がゆがんで運動するように見えてしまう。 In the reconstruction process described above, it is desirable that the time interval for rearranging the tomographic image data coincides with the period related to the motion of the target tissue such as the heart. If this time interval deviates from the period related to the movement, the target tissue such as the heart appears to be distorted and moved in the moving image obtained by the reconstruction.
上述した背景技術に鑑み、本願の発明者は、再構成処理により超音波画像を形成する技術について研究開発を重ねてきた。特に、再構成処理により得られる超音波画像の信頼性を高める技術に注目した。 In view of the background art described above, the inventor of the present application has repeatedly researched and developed a technique for forming an ultrasonic image by reconstruction processing. In particular, attention was paid to a technique for improving the reliability of ultrasonic images obtained by reconstruction processing.
本発明は、その研究開発の過程において成されたものであり、その目的は、対象組織に関する運動のゆがみを低減した再構成処理を実現することにある。 The present invention has been made in the course of research and development, and an object of the present invention is to realize a reconstruction process with reduced movement distortion related to a target tissue.
上記目的にかなう好適な超音波診断装置は、周期的に運動する対象組織を含む三次元空間に対して超音波を送受するプローブと、前記運動の複数の周期に亘って走査面を移動させつつ前記三次元空間内で複数の走査面を形成するようにプローブを制御する送受信制御部と、前記複数の走査面に対応した複数の画像の中から、前記運動の周期に対応した走査面間隔で複数の基準画像を探索する基準画像探索部と、前記複数の基準画像の各々を分割の単位とすることにより前記複数の画像を複数の画像群に分割し、複数の画像群の各々から互いに周期的に対応した複数の画像を抽出することにより、対象組織の再構成画像を形成する画像再構成部と、前記再構成画像内で前記走査面の移動方向に沿って並ぶ複数の位置において、前記運動に伴う対象組織の形態の時間変化を計測し、当該複数の位置から得られる複数の時間変化を比較することにより当該再構成画像のゆがみを評価するゆがみ評価部と、を有し、前記ゆがみが小さくなるように前記走査面間隔を調整する、ことを特徴とする。 An ultrasonic diagnostic apparatus suitable for the above object includes a probe that transmits and receives ultrasonic waves to and from a three-dimensional space including a target tissue that moves periodically, and a scanning plane that moves over a plurality of cycles of the movement. A transmission / reception control unit that controls a probe so as to form a plurality of scanning planes in the three-dimensional space, and a scanning plane interval corresponding to the period of motion from among a plurality of images corresponding to the plurality of scanning planes. A reference image search unit for searching for a plurality of reference images, and dividing each of the plurality of images into a plurality of image groups by using each of the plurality of reference images as a unit of division, and periodically repeating each of the plurality of image groups. Extracting a plurality of images corresponding to each other, an image reconstruction unit that forms a reconstructed image of the target tissue, and a plurality of positions aligned in the direction of movement of the scanning plane in the reconstructed image, Pair with exercise A distortion evaluation unit that measures distortions of the reconstructed image by measuring temporal changes in the morphology of the tissue and comparing multiple temporal changes obtained from the multiple positions so that the distortions are reduced. And adjusting the scanning plane interval.
望ましい具体例において、前記ゆがみ評価部は、前記対象組織の形態の時間変化として前記各位置に対応した走査面内における対象組織の径方向に関する長さの時間変化を計測する、ことを特徴とする。 In a desirable specific example, the distortion evaluation unit measures a time change of a length in a radial direction of the target tissue in a scanning plane corresponding to each position as a time change of the form of the target tissue. .
望ましい具体例において、前記ゆがみ評価部は、前記複数の位置から得られる複数の時間変化を同一の時間軸上に揃えて比較することにより前記ゆがみを評価する、ことを特徴とする。 In a preferred embodiment, the distortion evaluation unit evaluates the distortion by comparing a plurality of time changes obtained from the plurality of positions on the same time axis.
望ましい具体例において、前記ゆがみ評価部は、前記複数の時間変化の各々の波形と前記時間軸とに囲まれた複数の領域に関する重なりの程度に基づいて前記ゆがみを評価することを特徴とする。 In a preferred embodiment, the distortion evaluation unit evaluates the distortion based on a degree of overlap with respect to a plurality of regions surrounded by each waveform of the plurality of time changes and the time axis.
望ましい具体例において、前記ゆがみ評価部は、対象組織内の中心点に基づいて対象組織内に基準線を設定し、前記径方向に関する長さの時間変化として、当該基準線から対象組織境界までの長さの時間変化を計測する、ことを特徴とする。 In a desirable specific example, the distortion evaluation unit sets a reference line in the target tissue based on a center point in the target tissue, and as a time change of the length in the radial direction, from the reference line to the target tissue boundary. It measures the time change of length.
望ましい具体例において、前記超音波診断装置は、形成された再構成画像に関するゆがみの評価と、前記走査面間隔の修正と、修正された走査面間隔に基づいた再構成画像の形成と、を順に繰り返すことにより、前記ゆがみが最小となる前記走査面間隔を探索する、ことを特徴とする。 In a preferred embodiment, the ultrasonic diagnostic apparatus sequentially performs distortion evaluation on the formed reconstructed image, correction of the scan plane interval, and formation of a reconstructed image based on the corrected scan plane interval. By repeating the search, the scanning plane interval that minimizes the distortion is searched.
本発明により、対象組織に関する運動のゆがみを低減した再構成処理が実現される。 According to the present invention, reconstruction processing with reduced motion distortion related to the target tissue is realized.
以下に本発明の好適な実施形態を説明する。 Hereinafter, preferred embodiments of the present invention will be described.
図1は、本発明の実施において好適な超音波診断装置の全体構成を示す図である。プローブ10は、対象組織を含む三次元空間内において超音波を送受する。プローブ10は、各々が超音波を送受する複数の振動素子を備えており、複数の振動素子がビームフォーマ12によって送信制御されて送信ビームが形成される。また、複数の振動素子が対象組織から反射された超音波を受波し、これにより得られた信号がビームフォーマ12へ出力され、ビームフォーマ12が受信ビームを形成する。
FIG. 1 is a diagram showing an overall configuration of an ultrasonic diagnostic apparatus suitable for implementing the present invention. The
本実施形態のプローブ10は、超音波ビーム(送信ビームと受信ビーム)を三次元空間内において走査して立体的にエコーデータを収集する3Dプローブである。例えば、一次元的に配列された複数の振動素子(1Dアレイ振動子)によって電子的に形成される走査面を機械的に動かすことにより超音波ビームが三次元的に走査される。また、二次元的に配列された複数の振動素子(2Dアレイ振動子)を電子的に制御して超音波ビームを三次元的に走査してもよい。
The
ビームフォーマ12は、プローブ10が備える複数の振動素子の各々に対応した送信信号を供給することにより超音波の送信ビームを形成する。また、ビームフォーマ12は、プローブ10が備える複数の振動素子の各々から得られる受信信号に対して整相加算処理などを施すことにより超音波の受信ビームを形成し、受信ビームに沿って得られるエコーデータを出力する。本実施形態において、対象組織は、周期的に運動する組織であり、例えば胎児の心臓などである。
The beam former 12 forms an ultrasonic transmission beam by supplying a transmission signal corresponding to each of a plurality of vibration elements included in the
図2は、本実施形態における三次元的な走査を説明するための図である。図2において対象組織を含む三次元空間はXYZ直交座標系で表現されている。本実施形態では、XY平面に対してほぼ平行となるように走査面Sが形成され、その走査面SをZ軸方向にゆっくりと移動させつつ、Z軸方向に沿って複数の走査面Sが形成される。走査面Sは、胎児の心臓などの周期的な運動に関する複数の周期に亘って、例えば約8秒で約20心拍を含む期間に亘って、Z軸方向にゆっくりと移動する。 FIG. 2 is a diagram for explaining three-dimensional scanning in the present embodiment. In FIG. 2, the three-dimensional space including the target tissue is expressed in an XYZ orthogonal coordinate system. In the present embodiment, the scanning surface S is formed so as to be substantially parallel to the XY plane, and a plurality of scanning surfaces S are formed along the Z-axis direction while slowly moving the scanning surface S in the Z-axis direction. It is formed. The scanning plane S moves slowly in the Z-axis direction over a plurality of periods related to periodic movements such as the fetal heart, for example, over a period including about 20 heartbeats in about 8 seconds.
図1に戻り、胎児の心拍の複数の周期に亘ってZ軸方向に沿って複数の走査面が形成されると、各走査面ごとに断層画像データが収集され、複数の走査面に対応した複数の断層画像データが次々に前メモリ14に記憶される。
Returning to FIG. 1, when a plurality of scanning planes are formed along the Z-axis direction over a plurality of periods of the fetal heartbeat, tomographic image data is collected for each scanning plane and corresponds to the plurality of scanning planes. A plurality of tomographic image data is sequentially stored in the
エラー判定部16は、前メモリ14に記憶された複数の断層画像データから得られる画像間の差分量に基づいて、複数の断層画像データが良好か否かを判定する。例えば胎児や母体やプローブの動きにより画像内で胎児の心臓が大きく動いてしまい、良好な画像が得られない可能性がある。そこで、エラー判定部16は、診断のための良好な画像が得られるか否かを判定する。その判定にあたって、エラー判定部16は、次式で定義される断面差分値を利用する。
The
数1式におけるx,y,zは、図2のXYZ直交座標系における各軸上の座標値でありpは断層画像データ内の各座標に対応した画素値である。数1式により、Z軸方向に隣接する2つの断層画像データ間の差分値が算出される。
X, y, and z in
図3は、断面差分値の変化を示す図であり、図3の横軸は、各断層画像データの位置を示している。つまり、図3の横軸は、各走査面の位置と各走査面が得られた時間に対応しており、図2のZ軸(時間の経過に伴う位置の変化方向)に対応している。 FIG. 3 is a diagram showing changes in cross-sectional difference values, and the horizontal axis of FIG. 3 shows the position of each tomographic image data. That is, the horizontal axis in FIG. 3 corresponds to the position of each scanning plane and the time at which each scanning plane is obtained, and corresponds to the Z axis in FIG. 2 (the direction of change in position over time). .
胎児の心臓が大きく移動してしまうことが無ければ、隣接する断層画像データは互いに似たものとなり、数1式により得られる差分値は比較的小さくなる。一方、例えば胎児自身の動き、母体の呼吸動作、プローブの位置の大きなずれなどがあると、断層画像内において胎児の心臓が大きく動いてしまい、隣接する断層画像データ間の差分値が比較的大きくなる。そこで、エラー判定部16は、断面差分値が所定の閾値を超えた場合に、画像内において心臓が大きくずれてしまったと判断する。
If the fetal heart does not move significantly, the adjacent tomographic image data will be similar to each other, and the difference value obtained from
図1に戻り、エラー判定部16により心臓が大きくずれてしまったと判断されると、制御部40は、例えば、ビームフォーマ12などを制御して、断層画像データの収集を中止させる。なお、制御部40は、図1内の各部を集中的に制御しており、例えば、エラー判定部16によりエラーであると判断された場合に、エラーである旨を示す表示や警告などを表示部30に表示させてもよい。エラー判定部16によりエラーの判定が成されなければ、前メモリ14に記憶された複数の断層画像データに基づいて、後述する処理が実行される。
Returning to FIG. 1, when the
基準画像探索部22は、前メモリ14に記憶された複数の断層画像データの中から、対象組織に関する運動の周期に対応したフレーム間隔(画像の間隔)で複数の基準画像を探索する。そして、複数の基準画像が探索されると、再構成処理部20は、複数の基準画像の各々を分割の単位とすることにより、前メモリ14に記憶された複数の断層画像データを複数の画像群に分割し、複数の画像群の各々から互いに周期的に対応した複数の断層画像データを抽出することにより、再構成処理(再構築処理)を実現する。再構成処理部20は、前メモリ14に記憶された複数の断層画像データを再構成して後メモリ26に記憶する。
The reference
図4は、再構成処理部20による処理を説明するための図であり、図4には、前メモリ14に記憶されるデータと後メモリ26に記憶されるデータの対応関係が示されている。図4において、「断層画像Zn(n=1,2,3,・・・,60)」は、Z軸(図2参照)上における座標Znの位置の断層画像データを意味している。
FIG. 4 is a diagram for explaining the processing by the
前メモリ14には、Z軸方向に沿って次々に形成される複数の走査面に対応した複数の断層画像データが形成された順に記憶されている。つまり、前メモリ14には、いくつかの断層画像に続いて、断層画像Z1,断層画像Z2,・・・,断層画像Z60,・・・の順に複数の断層画像データが記憶されている。
The
再構成処理部20は、複数の基準画像の各々を分割の単位とすることにより、前メモリ14に記憶された複数の断層画像データを複数の画像群に分割する。そして、複数の画像群の各々から、互いに周期的に対応した複数の断層画像データが抽出される。
The
図4において、断層画像Z1,断層画像Z15,・・・,断層画像Z51が基準画像探索部22により探索された複数の基準画像である。再構成処理部20は、互いに周期的に対応した複数の断層画像データとして、まず、基準画像である断層画像Z1,断層画像Z15,・・・,断層画像Z51を抽出する。そして、抽出された断層画像Z1,断層画像Z15,・・・,断層画像Z51が一つのデータブロックとなって後メモリ26内に記憶される。
In FIG. 4, the tomographic image Z <b> 1, the tomographic image Z <b> 15,..., The tomographic image Z <b> 51 are a plurality of reference images searched by the reference
次に、再構成処理部20は、互いに周期的に対応した複数の断層画像データとして、複数の基準画像の各々に対してZ軸方向の正方向に隣接する複数の断層画像を抽出する。つまり、断層画像Z2,断層画像Z16,・・・,断層画像Z52が抽出され、これらが一つのデータブロックとなって後メモリ26内に記憶される。
Next, the
さらに、再構成処理部20は、断層画像Z2,断層画像Z16,・・・,断層画像Z52の各々に対してZ軸方向の正方向に隣接する複数の断層画像を抽出する。こうして、複数の基準画像の各々を起点として、互いに周期的に対応した複数の断層画像のデータブロックが次々に抽出されて、後メモリ26内に記憶される。
Furthermore, the
なお、上述した再構成処理において、前メモリ14に記憶された複数の断層画像の中で再構成処理に利用されない断層画像があってもよい。例えば、前メモリ14の中の断層画像Z10と断層画像Z15の間の断層画像(Z11〜Z14)などが再構成処理に利用されなくてもよい。
In the reconstruction process described above, there may be a tomographic image that is not used for the reconstruction process among a plurality of tomographic images stored in the
こうして、上述した再構成処理により、後メモリ26内に、複数のデータブロックが形成される。例えば、断層画像Z1,断層画像Z15,・・・,断層画像Z51が一つのデータブロックとなり、断層画像Z2,断層画像Z16,・・・,断層画像Z52が次の一つのデータブロックとなる。なお、図4に示す例においては、基準画像に対応したデータブロックを複数のデータブロックの先頭としているが、基準画像に対応したデータブロックを中心として、複数のデータブロックを形成してもよい。
Thus, a plurality of data blocks are formed in the
図5は、再構成処理部20による別の好適な処理を説明するための図であり、図4と同様に、図5には、前メモリ14に記憶されるデータと後メモリ26に記憶されるデータの対応関係が示されている。
FIG. 5 is a diagram for explaining another suitable process by the
図5に示す例においても、再構成処理部20は、複数の基準画像の各々を分割の単位とすることにより、前メモリ14に記憶された複数の断層画像データを複数の画像群に分割する。その際、データブロック数をeとした場合に、各基準画像の位置を中心として各基準画像からZ軸の負方向へe/2枚の断層画像とZ軸の正方向へe/2枚の断層画像とを一つの画像群とする。
Also in the example illustrated in FIG. 5, the
例えば、図5に示す前メモリ14内において、基準画像である断層画像Z15を中心として、Z軸の負方向にあるe/2枚の断層画像Z14,断層画像Z13,・・・と、Z軸の正方向にあるe/2枚の断層画像Z16,断層画像Z17,・・・と、により、断層画像Z15を中心としたe枚の断層画像からなる画像群が形成される。同様に、基準画像である断層画像Z32を中心としたe枚の断層画像からなる画像群が形成され、基準画像である断層画像Z51を中心としたe枚の断層画像からなる画像群が形成される。
For example, in the
そして、図5に示す例においても、複数の画像群の各々から、互いに周期的に対応した複数の断層画像データが抽出される。つまり、再構成処理部20は、各画像群の各々から、まず、Z軸上において最も小さい位置にある断層画像を抽出して一つのデータブロックとし、次に、Z軸上において2番目に小さい位置にある断層画像を抽出して一つのデータブロックとする。この抽出処理をZ軸上において最も小さい位置から順に最も大きい位置まで続けることにより、総数e個のデータブロックが後メモリ26内に形成される。
Also in the example shown in FIG. 5, a plurality of tomographic image data periodically corresponding to each other is extracted from each of the plurality of image groups. That is, the
図5には、総数e個のうちの3個のデータブロックが図示されている。つまり、各々が基準画像の一つ前にある断層画像Z14,断層画像31,・・・,断層画像50で構成されるデータブロックと、基準画像である断層画像Z15,断層画像32,・・・,断層画像51で構成されるデータブロックと、各々が基準画像の一つ後にある断層画像Z16,断層画像33,・・・,断層画像52で構成されるデータブロックが図示されている。 FIG. 5 shows three data blocks out of the total number e. That is, a data block composed of a tomographic image Z14, a tomographic image 31,..., A tomographic image 50 each preceding the reference image, and a tomographic image Z15, a tomographic image 32,. , A data block composed of a tomographic image 51, and a data block composed of a tomographic image Z16, a tomographic image 33,.
このように、図5の例においては、複数の基準画像の各々を中心として、互いに周期的に対応した複数の断層画像のデータブロックが次々に抽出されて、後メモリ26内に記憶される。
As described above, in the example of FIG. 5, data blocks of a plurality of tomographic images periodically corresponding to each other around each of the plurality of reference images are sequentially extracted and stored in the
なお、図5に示す例では、各基準画像の位置を中心として各基準画像からZ軸の負方向へe/2枚の断層画像とZ軸の正方向へe/2枚の断層画像とを一つの画像群としているが、各基準画像の位置を中心からずらして一つの画像群を形成してもよい。つまり、各基準画像に対してその前後に異なる枚数の断層画像を加えて一つの画像群を形成してもよい。この場合、後メモリ26内において、基準画像に対応したデータブロックが全データブロックの中心からずれることになる。
In the example shown in FIG. 5, e / 2 tomographic images in the negative direction of the Z axis and e / 2 tomographic images in the positive direction of the Z axis are centered on the position of each reference image. Although one image group is provided, one image group may be formed by shifting the position of each reference image from the center. That is, one image group may be formed by adding different numbers of tomographic images before and after each reference image. In this case, the data block corresponding to the reference image is shifted from the center of all the data blocks in the
図1に戻り、三次元画像形成部28は、後メモリ26に記憶された再構成後の複数の断層画像データに基づいて、胎児の心臓を立体的に映し出す三次元画像データを形成する。三次元画像形成部28は、後メモリ26に記憶された一つのデータブロックに基づいて各時相の三次元画像データを形成する。例えば、図4に示す後メモリ26に記憶された断層画像Z1,断層画像Z15,・・・,断層画像Z51に基づいて時相T1の三次元画像データが形成され、断層画像Z2,断層画像Z16,・・・,断層画像Z52に基づいて時相T2の三次元画像データが形成される。または、図5に示す後メモリ26に形成された総数e個のデータブロックの各々に基づいて各時相の三次元画像データが形成されることにより、時相T1〜Teまでの三次元画像データが形成される。図5を利用して説明した再構成処理においては、心拍などの周期的な運動の時相的な基準となる基準画像に対応した三次元画像データが、時相T1〜Teまでの三次元画像データの中心に配置される。つまり、互いの時相関係が最も一致していると考えられる基準画像による三次元画像データを時相T1〜Teの中心に配置することが可能になる。
Returning to FIG. 1, the three-dimensional
三次元画像形成部28は、例えば、ボリュームレンダリング法や積算法や投影法などの各種の手法を適用して、各時相ごとに複数の時相に亘って三次元画像データを形成する。こうして、複数の時相に亘って形成された三次元画像データに対応した画像が表示部30に表示され、擬似的にリアルタイムの三次元動画像が表示される。例えば、時相T1から最終時相Teまでの三次元画像データに対応した画像が繰り返し表示されてループ再生が実行されてもよい。
The three-dimensional
上述したように、本実施形態においては、対象組織に関する運動の周期に対応したフレーム間隔(画像の間隔)で複数の基準画像を探索し、探索された複数の基準画像に基づいて、前メモリ14に記憶された複数の断層画像データを複数の画像群に分割して再構成処理を実現している。ところが、複数の基準画像の間隔となるフレーム間隔が、対象組織に関する運動の周期、例えば胎児の心拍の周期からずれてしまうと、再構成により得られた動画像内において、心臓などの対象組織がゆがんで運動するように見えてしまう。つまり対象組織内の部分ごとに運動の周期がずれてしまい、本来は全体的に同期されて運動する心臓などが、部分ごとに同期がずれて運動するように見えてしまう可能性がある。
As described above, in the present embodiment, a plurality of reference images are searched at frame intervals (image intervals) corresponding to the period of motion related to the target tissue, and based on the searched plurality of reference images, the
そこで、本実施形態では、ゆがみ評価部24により再構成画像のゆがみが評価され、そのゆがみが小さくなるように、基準画像を抽出する際のフレーム間隔が調整される。ゆがみ評価部24は、再構成処理により得られた再構成画像内で走査面の移動方向に沿って並ぶ複数の位置において、運動に伴う対象組織の形態の時間変化を計測し、さらに、それら複数の位置から得られる複数の時間変化を比較することにより再構成画像のゆがみを評価する。
Therefore, in this embodiment, the
図6は、対象組織の形態に関する時間変化の計測を説明するための図である。図6(I)には、再構成画像に含まれる複数の断層画像Srが図示されている。図6(I)のXYZ座標系は、再構成処理前の図2のXYZ座標系に対応している。図2に示す複数の走査面Sに対応した複数の断層画像から、再構成処理により、互いに周期的に対応した図6の複数の断層画像Srが抽出される。これら複数の断層画像Srは、例えば、図4に示す後メモリ26に記憶された断層画像Z1,断層画像Z15,・・・,断層画像Z51であり、これら複数の断層画像Srにより、ある時相(例えば時相T1)の再構成画像(三次元画像データ)が形成されることは先に説明したとおりである。 FIG. 6 is a diagram for explaining the measurement of the time change related to the form of the target tissue. FIG. 6I shows a plurality of tomographic images Sr included in the reconstructed image. The XYZ coordinate system in FIG. 6I corresponds to the XYZ coordinate system in FIG. 2 before reconstruction processing. A plurality of tomographic images Sr shown in FIG. 6 corresponding to each other periodically are extracted from the plurality of tomographic images corresponding to the plurality of scanning planes S shown in FIG. The plurality of tomographic images Sr are, for example, a tomographic image Z1, a tomographic image Z15,..., A tomographic image Z51 stored in the post-memory 26 shown in FIG. As described above, the reconstructed image (three-dimensional image data) (for example, time phase T1) is formed.
まず、複数の断層画像Srにより構成される再構成画像に対して評価基準面Rが設定される。評価基準面Rは、YZ平面に対して平行な面であり、対象組織の中央部分を含むように設定されることが望ましい。例えば、ユーザが再構成後の表示画像を見ながらその表示画像内に評価基準面Rの位置を指定してもよいし、ゆがみ評価部24が二値化処理などにより再構成画像内の対象組織部分を識別し、その対象組織部分の重心を通るように評価基準面Rを設定してもよい。
First, an evaluation reference plane R is set for a reconstructed image composed of a plurality of tomographic images Sr. The evaluation reference plane R is preferably a plane that is parallel to the YZ plane and includes a central portion of the target tissue. For example, the user may specify the position of the evaluation reference plane R in the display image while viewing the reconstructed display image, or the
図6(II)には、評価基準面Rによる対象組織の断層像が示されている。つまり、評価基準面R内に、対象組織の境界Bが示されている。この評価基準面R内において、対象組織の中心点Pが設定される。例えば、ユーザが対象組織を含んだ評価基準面Rの表示画像を見ながらその表示画像内に中心点Pの位置を指定してもよいし、ゆがみ評価部24が二値化処理などにより対象組織の境界Bを識別し、その境界Bで囲まれる領域の重心位置に中央点Pを設定してもよい。中央点Pが設定されると、ゆがみ評価部24は、中心点Pを通りZ軸に平行な基準線Kを設定する。なお、基準線Kをユーザが設定するようにしてもよい。
FIG. 6 (II) shows a tomographic image of the target tissue on the evaluation reference plane R. That is, the boundary B of the target tissue is shown in the evaluation reference plane R. In this evaluation reference plane R, the center point P of the target tissue is set. For example, the user may specify the position of the center point P in the display image while viewing the display image of the evaluation reference plane R including the target tissue, or the
基準線Kが設定されると、基準線Kに沿って例えば等間隔に並ぶ複数の位置において、基準線Kから対象組織の境界Bまでの長さ(半径)が計測される。つまり、図6(II)に示す線分L1〜L4の各々の長さが計測される。なお、対象組織の境界Bの位置(YZ平面内における座標値)は、例えば二値化処理などを利用して対象組織を抽出し、対象組織とそれ以外の組織とを識別することにより特定される。ちなみに、対象組織が心臓であれば、心臓内(心腔)は他の組織に比べてエコー値が小さいため、二値化処理などによりエコー値の小さい部分を抽出して、他の組織から心臓内(心腔)を識別することができる。もちろん二値化処理に加えて公知のノイズ除去処理やラベリング処理などを利用して抽出の精度を高めてもよい。 When the reference line K is set, the length (radius) from the reference line K to the boundary B of the target tissue is measured at a plurality of positions arranged at equal intervals along the reference line K, for example. That is, the length of each of the line segments L1 to L4 shown in FIG. 6 (II) is measured. The position of the boundary B of the target tissue (coordinate values in the YZ plane) is specified by extracting the target tissue using, for example, binarization processing and identifying the target tissue and other tissues. The By the way, if the target tissue is the heart, the echo value in the heart (heart chamber) is smaller than that in other tissues. Therefore, a portion with a small echo value is extracted by binarization processing, and the heart is extracted from the other tissue. The inside (heart chamber) can be identified. Of course, in addition to the binarization process, a known noise removal process or labeling process may be used to improve the extraction accuracy.
ゆがみ評価部24は、複数の時相に亘って、線分L1〜L4の各々の長さの時間変化を計測する。例えば、図5に示す後メモリ26に形成された総数e個のデータブロックの各々に基づいて形成される時相T1〜Teまでの再構成画像について、各時相ごとに図6(II)に示す線分L1〜L4の各々の長さが計測される。そして、ゆがみ評価部24は、線分L1〜L4の長さの時間変化を比較することにより再構成画像のゆがみを評価する。
The
図7は、ゆがみ評価部24によるゆがみの評価を説明するための図である。図7(A)は、ゆがみが大きい場合の具体例を示しており、図7(B)は、ゆがみが小さい場合の具体例を示している。
FIG. 7 is a diagram for explaining the evaluation of distortion by the
ゆがみが大きい場合における線分L1〜L4の長さの時間変化が(A1)に示されており、(A1)において横軸は時間軸で縦軸は各線分の長さである。ゆがみ評価部24は、(A1)に示すように、線分L1〜L4の長さの時間変化を同一の時間軸上に揃えて計測する。線分L1〜L4の長さの時間変化が計測されると、複数の時間変化の変化量が正規化される。ゆがみ評価部24は、例えば、各時間変化の波形についてピーク値を抽出し、複数の波形のピーク値が同じ値に揃うように、長さ軸方向において各波形を拡大縮小させる。これにより、(A2)に示すように、線分L1〜L4の各波形の高さ(長さ軸方向の大きさ)が揃えられる。
The change with time of the lengths of the line segments L1 to L4 when the distortion is large is shown in (A1). In (A1), the horizontal axis is the time axis and the vertical axis is the length of each line segment. As shown in (A1), the
そして、ゆがみ評価部24は、正規化された線分L1〜L4の各波形と時間軸とに囲まれた複数の領域に関する重なりの程度に基づいてゆがみを評価する。ゆがみ評価部24は各波形と時間軸で囲まれた領域を特定し、複数の波形に関する複数の領域の論理積(AND)の領域部分を抽出する。これにより、(A3)に示すように、線分L1〜L4に対応した4つの領域が全て重なる領域部分が抽出される。ゆがみ評価部24は、(A3)のように抽出された領域部分の面積Sを算出し、算出された面積Sが小さいほど、ゆがみが大きいと評価する。例えば、面積Sに基づいて、ゆがみ値D(=1/S)を算出する。
And the
一方、ゆがみが小さい場合における線分L1〜L4の長さの時間変化が(B1)に示されている。(A1)と比較すると、(B1)では4つの時間変化の波形が時間軸上でほぼ揃っている。(B1)に示す波形に対して、(A2)の場合と同様にピーク値を揃えるように正規化を行うと(B2)に示す波形となる。そして、(B2)に示す4つの波形に関する4つの領域が全て重なる領域部分が抽出されて(B3)に示す領域部分となる。ゆがみ評価部24は、(B3)に示す領域部分の面積Sに基づいて、ゆがみ値D(=1/S)を算出する。
On the other hand, the time change of the length of line segment L1-L4 in case distortion is small is shown by (B1). Compared to (A1), in (B1), the four time-change waveforms are almost aligned on the time axis. When the waveform shown in (B1) is normalized so that the peak values are aligned as in the case of (A2), the waveform shown in (B2) is obtained. Then, a region portion where all the four regions related to the four waveforms shown in (B2) overlap is extracted and becomes a region portion shown in (B3). The
なお、線分L1〜L4に対応した4つの領域の論理和(OR)の領域を抽出し、この領域の面積が大きいほど、ゆがみが大きいと評価してもよい。 Note that a logical sum (OR) region of the four regions corresponding to the line segments L1 to L4 may be extracted, and it may be evaluated that the larger the area, the greater the distortion.
線分L1〜L4は、再構成画像内の対象組織に関する複数の位置(部位)における径方向の長さである(図6参照)。そのため、各線分に対応した位置における対象組織の動きが線分L1〜L4の時間変化に反映される。その線分L1〜L4の時間変化の波形が図7(A)のように時間軸上において互いに大きくずれている場合には、対象組織の複数の位置における運動の周期がずれており、再構成画像の動画内において、対象組織が全体的にゆがんで運動するように見えてしまう。これに対し、線分L1〜L4の時間変化の波形が図7(B)のように時間軸上においてほぼ揃っている場合には、対象組織の複数の位置における運動の周期が揃えられており、再構成画像の動画内において、対象組織が全体的に同期して運動するように見える。 Line segments L1 to L4 are the lengths in the radial direction at a plurality of positions (parts) related to the target tissue in the reconstructed image (see FIG. 6). Therefore, the movement of the target tissue at the position corresponding to each line segment is reflected in the time change of the line segments L1 to L4. When the waveforms of the time changes of the line segments L1 to L4 are greatly deviated from each other on the time axis as shown in FIG. 7A, the period of motion at a plurality of positions of the target tissue is deviated, and reconstruction In the moving image of the image, the target tissue appears to distort and move as a whole. On the other hand, when the time-change waveforms of the line segments L1 to L4 are substantially aligned on the time axis as shown in FIG. 7B, the motion cycles at the plurality of positions of the target tissue are aligned. In the moving image of the reconstructed image, the target tissue appears to move in synchronism as a whole.
そして、本実施形態においては、複数の基準画像の探索のための利用されるフレーム間隔を段階的に変更し、変更された各フレーム間隔ごとに再構成画像を形成し、形成された再構成画像のゆがみを評価し、ゆがみが小さくなるようにフレーム間隔を調整して再構成画像のゆがみを低減させている。 In this embodiment, the frame interval used for searching for a plurality of reference images is changed in stages, and a reconstructed image is formed for each changed frame interval. The distortion of the reconstructed image is reduced by evaluating the distortion and adjusting the frame interval so that the distortion is reduced.
図8は、再構成画像のゆがみを低減する処理を示すフローチャートである。図1に示した部分(構成)については図1の符号を利用し、図8に示す各ステップの処理について説明する。 FIG. 8 is a flowchart showing a process for reducing the distortion of the reconstructed image. With respect to the portion (configuration) illustrated in FIG. 1, the process of each step illustrated in FIG.
まず、図2を利用して説明したように、対象組織の運動に関する複数の周期に亘ってZ軸方向に沿って複数の走査面が形成され、各走査面ごとに断層画像データが収集されて前メモリ14に記憶される(S801)。なお、エラー判定部16により、前メモリ14に記憶された複数の断層画像データから得られる画像間の差分量に基づいて、複数の断層画像データが良好か否かを判定してもよい。
First, as described with reference to FIG. 2, a plurality of scanning planes are formed along the Z-axis direction over a plurality of periods related to the motion of the target tissue, and tomographic image data is collected for each scanning plane. It is stored in the previous memory 14 (S801). Note that the
次に、複数の基準画像を抽出するためのフレーム間隔が設定される(S802)。例えば、予め設定された初期値にフレーム間隔が設定される。そして、設定されたフレーム間隔に基づいて、図4と図5を利用して説明したように、再構成処理が実行されて再構成画像が形成される(S803)。 Next, a frame interval for extracting a plurality of reference images is set (S802). For example, the frame interval is set to a preset initial value. Then, based on the set frame interval, as described with reference to FIGS. 4 and 5, the reconstruction process is executed to form a reconstructed image (S803).
再構成画像が形成されると、図6を利用して説明したように、再構成画像内の対象組織に関する複数の位置に対応した線分L1〜L4が設定され、線分L1〜L4の各々の長さの時間変化が計測される(S804)。そして、図7を利用して説明したように、線分L1〜L4の各々の長さの時間変化が比較されてゆがみが評価される(S805)。このゆがみの評価において、ゆがみが小さいと判断された場合には、その際のフレーム間隔が最適フレーム間隔とされる。本フローチャートの開始後の初回のゆがみ評価においては、初回のフレーム間隔が最適フレーム間隔とされる。 When the reconstructed image is formed, as described with reference to FIG. 6, line segments L1 to L4 corresponding to a plurality of positions related to the target tissue in the reconstructed image are set, and each of the line segments L1 to L4 is set. Is measured over time (S804). Then, as described with reference to FIG. 7, the temporal changes in the lengths of the line segments L1 to L4 are compared to evaluate distortion (S805). In this distortion evaluation, when it is determined that the distortion is small, the frame interval at that time is set as the optimum frame interval. In the first distortion evaluation after the start of this flowchart, the first frame interval is set as the optimum frame interval.
次に、評価の終了が判定される(S806)。ゆがみの評価は、フレーム間隔を段階的に変更させて各段階ごとに行われる。例えば、フレーム間隔に関する上限値と下限値が予め設けられており、その上限値と下限値の間においてフレーム間隔が段階的に変更される。フレーム間隔の変更が終了していなければ、S806からS802に戻り、フレーム間隔が変更されてS803からS805までの処理が実行される。 Next, the end of the evaluation is determined (S806). The evaluation of distortion is performed at each stage by changing the frame interval in stages. For example, an upper limit value and a lower limit value related to the frame interval are provided in advance, and the frame interval is changed stepwise between the upper limit value and the lower limit value. If the change of the frame interval is not completed, the process returns from S806 to S802, the frame interval is changed, and the processes from S803 to S805 are executed.
一方、全てのフレーム間隔に関する評価が終了すると、S806からS807に進み、全てのフレーム間隔のうちでゆがみが最小であると判断された最適フレーム間隔で再構成処理が実行されて再構成画像が形成される。そして、その再構成画像が表示部30に表示される(S808)。こうして、対象組織に関する運動のゆがみを低減した再構成処理が実現される。 On the other hand, when the evaluation for all the frame intervals is completed, the process proceeds from S806 to S807, and the reconstruction process is performed at the optimum frame interval determined to have the smallest distortion among all the frame intervals to form a reconstructed image. Is done. Then, the reconstructed image is displayed on the display unit 30 (S808). In this way, reconstruction processing with reduced motion distortion related to the target tissue is realized.
以上、本発明の好適な実施形態を説明したが、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。 As mentioned above, although preferred embodiment of this invention was described, embodiment mentioned above is only a mere illustration in all the points, and does not limit the scope of the present invention. The present invention includes various modifications without departing from the essence thereof.
10 プローブ、12 ビームフォーマ、16 エラー判定部、20 再構成処理部、22 基準画像探索部、24 ゆがみ評価部、28 三次元画像形成部。 10 probe, 12 beamformer, 16 error determination unit, 20 reconstruction processing unit, 22 reference image search unit, 24 distortion evaluation unit, 28 three-dimensional image formation unit.
Claims (6)
前記運動の複数の周期に亘って走査面を移動させつつ前記三次元空間内で複数の走査面を形成するようにプローブを制御する送受信制御部と、
前記複数の走査面に対応した複数の画像の中から、前記運動の周期に対応した走査面間隔で複数の基準画像を探索する基準画像探索部と、
前記複数の基準画像の各々を分割の単位とすることにより前記複数の画像を複数の画像群に分割し、複数の画像群の各々から互いに周期的に対応した複数の画像を抽出することにより、対象組織の再構成画像を形成する画像再構成部と、
前記再構成画像内で前記走査面の移動方向に沿って並ぶ複数の位置において、前記運動に伴う対象組織の形態の時間変化を計測し、当該複数の位置から得られる複数の時間変化を比較することにより当該再構成画像のゆがみを評価するゆがみ評価部と、
を有し、
前記ゆがみが小さくなるように前記走査面間隔を調整する、
ことを特徴とする超音波診断装置。 A probe for transmitting and receiving ultrasonic waves to and from a three-dimensional space including a target tissue that moves periodically;
A transmission / reception control unit that controls the probe so as to form a plurality of scanning planes in the three-dimensional space while moving the scanning planes over a plurality of cycles of the movement;
A reference image search unit that searches a plurality of reference images at a scan plane interval corresponding to the period of motion from a plurality of images corresponding to the plurality of scan planes;
By dividing each of the plurality of reference images into a plurality of images by dividing each of the plurality of reference images into a plurality of image groups, and extracting a plurality of images periodically corresponding to each other from each of the plurality of image groups, An image reconstruction unit for forming a reconstructed image of the target tissue;
At a plurality of positions arranged in the reconstructed image along the moving direction of the scanning plane, time changes in the form of the target tissue accompanying the movement are measured, and a plurality of time changes obtained from the plurality of positions are compared. A distortion evaluation unit that evaluates the distortion of the reconstructed image,
Have
Adjusting the scan plane spacing so as to reduce the distortion;
An ultrasonic diagnostic apparatus.
前記ゆがみ評価部は、前記対象組織の形態の時間変化として、前記各位置に対応した走査面内における対象組織の径方向に関する長さの時間変化を計測する、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 1,
The distortion evaluation unit measures the time change of the length in the radial direction of the target tissue in the scanning plane corresponding to each position as the time change of the shape of the target tissue.
An ultrasonic diagnostic apparatus.
前記ゆがみ評価部は、前記複数の位置から得られる複数の時間変化を同一の時間軸上に揃えて比較することにより前記ゆがみを評価する、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 2,
The distortion evaluation unit evaluates the distortion by aligning and comparing a plurality of time changes obtained from the plurality of positions on the same time axis.
An ultrasonic diagnostic apparatus.
前記ゆがみ評価部は、前記複数の時間変化の各々の波形と前記時間軸とに囲まれた複数の領域に関する重なりの程度に基づいて前記ゆがみを評価する、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 3.
The distortion evaluation unit evaluates the distortion based on the degree of overlap related to a plurality of regions surrounded by each waveform of the plurality of time changes and the time axis.
An ultrasonic diagnostic apparatus.
前記ゆがみ評価部は、対象組織内の中心点に基づいて対象組織内に基準線を設定し、前記径方向に関する長さの時間変化として、当該基準線から対象組織境界までの長さの時間変化を計測する、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to any one of claims 2 to 4,
The distortion evaluation unit sets a reference line in the target tissue based on a center point in the target tissue, and a time change in length from the reference line to the target tissue boundary as a time change in length in the radial direction Measuring
An ultrasonic diagnostic apparatus.
形成された再構成画像に関するゆがみの評価と、前記走査面間隔の修正と、修正された走査面間隔に基づいた再構成画像の形成と、を順に繰り返すことにより、前記ゆがみが最小となる前記走査面間隔を探索する、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to any one of claims 1 to 5,
The scanning that minimizes the distortion by sequentially repeating the evaluation of the distortion regarding the formed reconstructed image, the correction of the scan plane interval, and the formation of the reconstructed image based on the corrected scan plane interval. Search for surface spacing,
An ultrasonic diagnostic apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009211443A JP5461931B2 (en) | 2009-09-14 | 2009-09-14 | Ultrasonic diagnostic equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009211443A JP5461931B2 (en) | 2009-09-14 | 2009-09-14 | Ultrasonic diagnostic equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011056158A true JP2011056158A (en) | 2011-03-24 |
JP5461931B2 JP5461931B2 (en) | 2014-04-02 |
Family
ID=43944498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009211443A Expired - Fee Related JP5461931B2 (en) | 2009-09-14 | 2009-09-14 | Ultrasonic diagnostic equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5461931B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005074225A (en) * | 2003-08-28 | 2005-03-24 | Ge Medical Systems Global Technology Co Llc | Method and device for obtaining volumetric scan to periodically moving object |
JP2007054635A (en) * | 2005-08-24 | 2007-03-08 | Medison Co Ltd | Apparatus and method for processing three-dimensional ultrasonic image |
JP2008142362A (en) * | 2006-12-12 | 2008-06-26 | Aloka Co Ltd | Ultrasonic diagnostic equipment |
JP2008543481A (en) * | 2005-06-23 | 2008-12-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for 3D ultrasound imaging in which parameters are estimated using a fixed beam |
JP2009119250A (en) * | 2007-10-23 | 2009-06-04 | Aloka Co Ltd | Ultrasonic diagnostic apparatus |
-
2009
- 2009-09-14 JP JP2009211443A patent/JP5461931B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005074225A (en) * | 2003-08-28 | 2005-03-24 | Ge Medical Systems Global Technology Co Llc | Method and device for obtaining volumetric scan to periodically moving object |
JP2008543481A (en) * | 2005-06-23 | 2008-12-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for 3D ultrasound imaging in which parameters are estimated using a fixed beam |
JP2007054635A (en) * | 2005-08-24 | 2007-03-08 | Medison Co Ltd | Apparatus and method for processing three-dimensional ultrasonic image |
JP2008142362A (en) * | 2006-12-12 | 2008-06-26 | Aloka Co Ltd | Ultrasonic diagnostic equipment |
JP2009119250A (en) * | 2007-10-23 | 2009-06-04 | Aloka Co Ltd | Ultrasonic diagnostic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5461931B2 (en) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5576036B2 (en) | Ultrasonic diagnostic equipment | |
US6537217B1 (en) | Method and apparatus for improved spatial and temporal resolution in ultrasound imaging | |
US7758507B2 (en) | Blood flow imaging | |
JP5753798B2 (en) | Ultrasonic diagnostic apparatus and its operating method | |
JP6193124B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic image generation method | |
JP2008080106A (en) | Ultrasonic diagnostic device, and data processing program for ultrasonic diagnostic device | |
JP2012249776A (en) | Ultrasonic diagnosis apparatus | |
JP2012101058A (en) | System and method for ultrasound imaging | |
JP5558931B2 (en) | Ultrasonic diagnostic equipment | |
US20180206827A1 (en) | Ultrasonic diagnostic system and ultrasonic diagnostic method | |
JPWO2012029417A1 (en) | Ultrasonic diagnostic apparatus and evaluation calculation method | |
CN106461766B (en) | Synchronized phased array data acquisition from multiple acoustic windows | |
US20160151046A1 (en) | Method And Device For Mapping Fibrous Media | |
EP2241256B1 (en) | Ultrasound diagnostic apparatus | |
JP5525748B2 (en) | Ultrasonic diagnostic equipment | |
JP5331313B2 (en) | Ultrasonic diagnostic equipment | |
JP5461931B2 (en) | Ultrasonic diagnostic equipment | |
JP5801995B2 (en) | Ultrasonic diagnostic equipment | |
JP5550931B2 (en) | Ultrasonic diagnostic equipment | |
JP5369005B2 (en) | Ultrasonic diagnostic equipment | |
JP5461934B2 (en) | Ultrasonic diagnostic equipment | |
JP5396285B2 (en) | Ultrasonic diagnostic equipment | |
JP5475376B2 (en) | Ultrasonic diagnostic equipment | |
JP6063154B2 (en) | Ultrasonic diagnostic equipment | |
CN114403920A (en) | Time-division multipoint excitation shear wave fusion imaging method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5461931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |