JP2002336249A - Ultrasonic reception beam-shaping device using delay element with multistage structure - Google Patents

Ultrasonic reception beam-shaping device using delay element with multistage structure

Info

Publication number
JP2002336249A
JP2002336249A JP2001168700A JP2001168700A JP2002336249A JP 2002336249 A JP2002336249 A JP 2002336249A JP 2001168700 A JP2001168700 A JP 2001168700A JP 2001168700 A JP2001168700 A JP 2001168700A JP 2002336249 A JP2002336249 A JP 2002336249A
Authority
JP
Japan
Prior art keywords
delay
data
channel
delay element
beam forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001168700A
Other languages
Japanese (ja)
Other versions
JP3559774B2 (en
Inventor
Moo Ho Bae
ム ホ ベ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Medison Co Ltd
Original Assignee
Medison Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020000031894A external-priority patent/KR100355719B1/en
Application filed by Medison Co Ltd filed Critical Medison Co Ltd
Priority to JP2001168700A priority Critical patent/JP3559774B2/en
Publication of JP2002336249A publication Critical patent/JP2002336249A/en
Application granted granted Critical
Publication of JP3559774B2 publication Critical patent/JP3559774B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a beam-shaping device with a multistage structure capable of reducing size of a delay memory. SOLUTION: This device includes plural E-FIFOs 14a1-14d4, G-FIFOs 20a-20d, M-FIFOs 28a and 28b, and L-FIFO 32, applying multistage delay for shaping N reception beams to M-channel data samples supplied from M transducers, adding up the delayed data samples to generate N middle outputs; and adders 24a, 24b, 24c and 24d adding up the middle outputs to output N pieces of reception beam data.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明が属する技術分野】本発明は、ディジタルビーム
焦点合わせ技法を用いる超音波撮像装置に関し、特に、
多段構造の遅延素子を備え、複数の走査線またはビーム
を処理する受信ビーム成形装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an ultrasonic imaging apparatus using a digital beam focusing technique,
The present invention relates to a receiving beam forming apparatus having a multi-stage delay element and processing a plurality of scanning lines or beams.

【0002】[0002]

【従来の技術】公知のように、トランスジューサ列を用
いる超音波撮像システムは、位相、凸状または線形アレ
イをなす多数のトランスジューサを含む。そのようなシ
ステムは、各々が対応するトランスジューサに接続され
る送信器及び受信器を有する複数のチャンネルを備え
る。送信器は人体などの目標物に超音波パルスを送信す
る。そのように送信された超音波エネルギーを目標物の
特定部分上に焦点を合わせるため、パルスに対して順次
的な時間遅延を加える。各パルスに対する時間遅延量は
各送信パルスが目標点に同時に至るように決まる。これ
らのパルスは異なった材料/媒体を通過して目標物上に
焦点を合わせ、それから反射されたパルスは該当材料/
媒体を再び通過してトランスジューサ列に戻る。
2. Description of the Related Art As is well known, an ultrasound imaging system using an array of transducers includes a number of transducers in a phased, convex or linear array. Such a system comprises a plurality of channels each having a transmitter and a receiver connected to a corresponding transducer. The transmitter transmits an ultrasonic pulse to a target such as a human body. In order to focus the ultrasound energy so transmitted on a particular portion of the target, a sequential time delay is applied to the pulses. The amount of time delay for each pulse is determined so that each transmission pulse reaches the target point at the same time. These pulses pass through different materials / mediums and are focused on the target, and the pulses reflected from the material / media
It passes through the medium again and returns to the transducer row.

【0003】目標物から各アレイ素子までの距離が互い
に異なるため、該目標物から反射される超音波エネルギ
ーは相異なる時間にて各アレイ素子に至る。受信ビーム
成形器は各アレイ素子から受信した信号を増幅し、増幅
済みの信号を時間遅延させ、全ての遅延信号を合算す
る。この場合、各遅延素子に対する遅延値は受信走査線
が所定の点で焦点合わせされるよう決まる。また、各遅
延素子に対する遅延値は焦点合わせ点が放射方向に進む
ように一定に変化する。
Since the distances from the target to the respective array elements are different from each other, the ultrasonic energy reflected from the target reaches the respective array elements at different times. The receive beamformer amplifies the signal received from each array element, time-delays the amplified signal, and sums all the delayed signals. In this case, the delay value for each delay element is determined such that the receive scan line is focused at a predetermined point. Also, the delay value for each delay element changes constantly so that the focus point advances in the radial direction.

【0004】体内の望む領域を送信走査線でスキャン
し、それから反射される信号/データを処理することに
よって超音波映像が成形される。この場合、高画質の映
像を得るためには、フレーム率を高めることが肝要であ
る。このフレーム率は、撮像の際用いられた走査線の本
数、超音波の周波数及び映像の成形されるべき領域の深
さによって決まる。フレーム率の向上のための方法とし
ては、超音波パルスを送信して多数の走査線またはビー
ムを同時に成形する多重ビーム焦点合わせ技法がある。
An ultrasound image is formed by scanning a desired area in the body with a transmission scan line and processing signals / data reflected from the scan line. In this case, it is important to increase the frame rate in order to obtain a high-quality video. The frame rate is determined by the number of scanning lines used for imaging, the frequency of ultrasonic waves, and the depth of a region where an image is to be formed. A method for improving the frame rate is a multi-beam focusing technique in which ultrasonic pulses are transmitted to form a large number of scan lines or beams simultaneously.

【0005】多重ビーム成形装置においては、チャンネ
ルごと、ビームごとに相異なる遅延量を適用するため、
単一ビームの場合に比べてシステムの複雑さを増加させ
るという不都合がある。特に、遅延素子として用いられ
るメモリ素子の容量が非常に増えるようになる。従来の
ビーム成形装置における必要なメモリ素子の容量はチャ
ンネルの数、最大遅延量及び一回の送信後に成形された
ビームの数に比例して増加する。例えば、64チャンネ
ル、4重ビーム、1000システムクロック周期の最大
遅延を有し、各データが10ビットで表示されるシステ
ムの場合、64×4×1000×10に対応する相当な
大きさのメモリ空間が要求される。
In a multiple beam forming apparatus, different delay amounts are applied to each channel and each beam.
There is the disadvantage of increasing the complexity of the system compared to the case of a single beam. In particular, the capacity of a memory element used as a delay element is greatly increased. The required capacity of the memory element in the conventional beam forming apparatus increases in proportion to the number of channels, the maximum delay, and the number of beams formed after one transmission. For example, for a system with 64 channels, quad beams, a maximum delay of 1000 system clock periods, and each data is represented by 10 bits, a considerable memory space corresponding to 64 × 4 × 1000 × 10 Is required.

【0006】[0006]

【発明が解決しようとする課題】従って、本発明の目的
は、遅延メモリの大きさを減らし得る新規な構造のビー
ム成形装置を提供することにある。
SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a beam forming apparatus having a novel structure capable of reducing the size of a delay memory.

【0007】本発明の他の目的は、一つの送信走査線を
成形する超音波信号の反射信号から多数の受信走査線を
焦点合わせする多重焦点合わせ方式の超音波撮像装置
で、多数の受信走査線に対するデータを時間多重化して
生成するビーム成形装置を提供することにある。
Another object of the present invention is to provide an ultrasonic imaging apparatus of a multi-focusing system for focusing a plurality of reception scanning lines from a reflection signal of an ultrasonic signal which forms one transmission scanning line, and comprising a plurality of reception scanning lines. It is an object of the present invention to provide a beam forming apparatus for generating time-multiplexed data for a line.

【0008】[0008]

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の好適実施例によれば、超音波トランスジ
ューサ列から受信した信号を処理する超音波受信ビーム
成形装置であって、N及びMがトランスジューサの個数
より小さい正の整数であるとき、各々がM個のトランス
ジューサから供給されるMチャンネルのデータサンプル
に対してN個の受信ビームを成形するための遅延を加
え、Mチャンネルに対して遅延されたデータサンプルを
合算してN個の中間出力を発生する、複数のビーム成形
手段と、前記複数のビーム成形手段からの前記中間出力
を合算して前記N個の受信ビームを表すデータを出力す
る合算手段とを含み、前記複数のビーム成形手段が、前
記Mチャンネルの前記データサンプルに対して第1遅延
を加え、各チャンネル別及び各受信ビーム別の遅延デー
タを発生する、予め決められた個数のチャンネル別遅延
素子と、前記チャンネル別遅延素子からの前記遅延デー
タを少なくとも2つのチャンネルに対して加算する第1
加算器と、前記第1加算器からの出力に対して第2遅延
を加える多チャンネル遅延素子とを備えることを特徴す
る超音波受信ビーム成形装置が提供される。
According to a preferred embodiment of the present invention, there is provided an ultrasonic receive beamforming apparatus for processing signals received from an array of ultrasonic transducers, comprising: And M is a positive integer less than the number of transducers, each adding a delay to shape the N receive beams for the M channel data samples provided by the M transducers, and A plurality of beamforming means for summing the delayed data samples to generate N intermediate outputs, and summing the intermediate outputs from the plurality of beamforming means to represent the N received beams. Summing means for outputting data, wherein the plurality of beamforming means adds a first delay to the data samples of the M channel, and Generating another and each receive beam-delayed data, first adding the channel-by-channel delay element number previously determined, for at least two channels of said delayed data from the channel by a delay element
An ultrasonic receiving beam forming apparatus, comprising: an adder; and a multi-channel delay element that adds a second delay to an output from the first adder.

【0009】[0009]

【発明の実施の形態】以下、本発明の好適実施例につい
て、図面を参照しながらより詳しく説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below in detail with reference to the drawings.

【0010】図1は、本発明の好適実施例による4-チ
ャンネルビーム成形装置の概略的なブロック図であっ
て、4つのチャンネルの超音波トランスジューサ列から
受け取ったデータサンプルを同時に処理する。
FIG. 1 is a schematic block diagram of a four-channel beamforming apparatus according to a preferred embodiment of the present invention, which simultaneously processes data samples received from a four-channel ultrasonic transducer array.

【0011】図1に示したビーム成形装置は互いに異な
る4つの段階にて粗時間遅延を各チャンネルデータサン
プルに適用し、時間遅延された各チャンネルデータをフ
ィルタリングし時間多重化し、多重化された各チャンネ
ルデータに予め決められたアポディゼーション曲線から
求めたアポディゼーション因子を乗算し、その結果デー
タを合算して中間出力を発生する。多数のビーム成形装
置からの中間出力を合算すれば、最大4つの焦点合わせ
ビームを表す時間多重化済みの最終出力が生成され、時
間多重化済みの出力データの各時間間隙は各受信ビーム
に対応する。64チャンネルからのデータを組み合わせ
て1つの受信走査線またはビームを生成する超音波撮像
装置において、図1に示したような16個のビーム成形
装置が要求される 。
The beamforming apparatus shown in FIG. 1 applies a coarse time delay to each channel data sample in four different stages, filters and time-multiplexes each time-delayed channel data, and time-multiplexes each of the multiplexed data. The channel data is multiplied by an apodization factor obtained from a predetermined apodization curve, and the resultant data is summed to generate an intermediate output. Summing the intermediate outputs from multiple beamformers produces a time-multiplexed final output representing up to four focused beams, with each time gap in the time-multiplexed output data corresponding to each received beam. I do. In an ultrasonic imaging apparatus that generates one reception scan line or beam by combining data from 64 channels, 16 beam forming apparatuses as shown in FIG. 1 are required.

【0012】ビーム成形装置が最大4つの受信ビームを
成形するための中間出力を同時に供給することができる
が、1回に形成されるビームの数は、例えば、超音波信
号の中心周波数によって変わり得る。
Although the beamforming device can simultaneously provide intermediate outputs for shaping up to four receive beams, the number of beams formed at one time can vary, for example, depending on the center frequency of the ultrasound signal. .

【0013】ビーム成形装置によって生成された時間遅
延には、粗遅延及び微細遅延がある。粗遅延はシステム
クロック周期の整数倍に該当する遅延であって、図1に
示したように、E_FIFO14a1〜14d4、G_F
IFO20a〜20d、M_FIFO28a及び28
b、及びL_FIFO32の4段に分けられる先入れ先
出し(FIFO)レジスタで具現される。各レジスタまた
は遅延素子は、読出しデータが出力される時間を制御す
ることによってデータ遅延を行う。システムクロック周
期より小さい微細遅延は、各チャンネルにて図1に示し
たような有限インパルス応答(FIR)フィルタ&マルチ
プレクサ(MUX)ブロック18a〜18dによって具現
される。各チャンネルにおいて、データサンプルの大き
さを調整するアポディゼーションは乗算器24a〜24
d及びアポディゼーション生成器22a〜22dによっ
て求められる。合算は異なる3つの段にて4つの加算器
26a、26b、30及び34によって行われる。
The time delays generated by the beamformer include coarse delays and fine delays. The coarse delay is a delay corresponding to an integral multiple of the system clock cycle, and as shown in FIG. 1, the E_FIFOs 14a1 to 14d4, G_F
IFOs 20a to 20d, M_FIFOs 28a and 28
b, and a first-in first-out (FIFO) register divided into four stages of L_FIFO 32. Each register or delay element performs data delay by controlling the time during which read data is output. The fine delay smaller than the system clock period is implemented in each channel by finite impulse response (FIR) filter and multiplexer (MUX) blocks 18a to 18d as shown in FIG. In each channel, the apodization for adjusting the size of the data sample is performed by multipliers 24a to 24a.
d and the apodization generators 22a to 22d. The summation is performed by four adders 26a, 26b, 30 and 34 in three different stages.

【0014】図1を参照すると、各トランスジューサ素
子(図示せず)または各チャンネルからのデータはアナロ
グ-ディジタル(A/D)変換器10a〜10dに入力さ
れサンプリングされる。各A/D変換器10a〜10d
からのサンプルデータは、対応する入力バッファ、即
ち、I_FIFO12a〜12dに供給されて時間遅延
される。即ち、第1チャンネル入力に対する粗遅延は一
連のFIFO14a、20a、28a及び32によって
行われ、第2チャンネル入力に対する粗遅延は一連のF
IFO14b、20b、28a及び32によって行わ
れ、第3チャンネル入力に対する粗遅延は一連のFIF
O14c、20c、28b及び32によって行われ、第
4チャンネル入力に対する粗遅延は一連のFIFO14
d、20d、28b及び32によって行われる。また、
各チャンネル入力に対する微細遅延は対応するFIRフ
ィルタ&MUX18a〜18dによって行われる。
Referring to FIG. 1, data from each transducer element (not shown) or each channel is input to analog-to-digital (A / D) converters 10a to 10d and sampled. Each A / D converter 10a to 10d
Are supplied to the corresponding input buffers, i.e., I_FIFOs 12a to 12d, and time-delayed. That is, the coarse delay for the first channel input is provided by a series of FIFOs 14a, 20a, 28a and 32, and the coarse delay for the second channel input is a series of F
FIFOs 14b, 20b, 28a and 32, and the coarse delay for the third channel input is a series of FIFOs.
O14c, 20c, 28b and 32, and the coarse delay for the fourth channel input is a series of FIFOs 14
d, 20d, 28b and 32. Also,
The fine delay for each channel input is performed by the corresponding FIR filter & MUX 18a-18d.

【0015】各チャンネルにおいて、各I_FIFO1
2a〜12dは4つのE_FIFOを有するE_FIFO
14a1〜14a4、14b1〜14b4、14c1〜
14c4、14d1〜14d4に各々並列に接続され
る。例えば、第1チャンネルからのサンプルデータはE_
FIFO14a1内の4つのE_FIFO0〜3の全体
に同時に記録される。これらの4つのE_FIFO0〜
3は各受信ビームに対応する時間遅延を各々行って、異
なる時刻にて遅延された各出力を発生する。4つのE_
FIFO0〜3からの遅延出力はマルチプレクサ(図3
参照)によって時間多重化され、FIRフィルタによっ
てフィルタリングされることによって、サンプルデータ
に対する微細遅延が行われる。以下、時間多重化及びフ
ィルタリングについて、 図3及び図4を参照しながら
より詳しく説明する。
In each channel, each I_FIFO1
2a to 12d are E_FIFOs having four E_FIFOs
14a1 to 14a4, 14b1 to 14b4, 14c1
14c4, 14d1 to 14d4 are respectively connected in parallel. For example, sample data from the first channel is E_
The four E_FIFOs 0 to 3 in the FIFO 14a1 are simultaneously recorded in the entirety. These four E_FIFO0
3 respectively performs a time delay corresponding to each reception beam and generates each output delayed at a different time. Four E_
The delay output from FIFO0 to FIFO3 is a multiplexer (FIG. 3)
) And filtered by an FIR filter, thereby performing a fine delay on the sample data. Hereinafter, time multiplexing and filtering will be described in more detail with reference to FIGS.

【0016】各チャンネルにおいて、フィルタリングさ
れ時間多重化されたデータは第2段のG_FIFO20
a〜20dに入力される。これらのG_FIFO20a
〜20dは2番目の粗時間遅延を行う。その後、各G_
FIFO20a〜20dからの出力データは対応する乗
算器24a〜24d及びアポディゼーション発生器22
a〜22dによってアポディゼーションされる。詳記す
ると、乗算器24a〜24dの各々は、対応するG_F
IFO20a〜20dからの出力と対応するアポディゼ
ーション発生器22a〜22dにおける予め決められた
アポディゼーション曲線から求められるアポディゼーシ
ョン係数とを乗算する。ここで、各アポディゼーション
発生器22a〜22dはアポディゼーション曲線を格納
するメモリ(図示せず)を備え得る。
In each channel, the filtered and time-multiplexed data is passed through a second stage G_FIFO 20
a to 20d. These G_FIFOs 20a
20d performs a second coarse time delay. After that, each G_
The output data from the FIFOs 20a to 20d are supplied to corresponding multipliers 24a to 24d and an apodization generator 22.
apodized by a to 22d. Specifically, each of the multipliers 24a to 24d has a corresponding G_F
The outputs from the IFOs 20a to 20d are multiplied by the corresponding apodization coefficients obtained from predetermined apodization curves in the apodization generators 22a to 22d. Here, each of the apodization generators 22a to 22d may include a memory (not shown) for storing the apodization curve.

【0017】2つの隣接するチャンネル(乗算器24a
及び24bと、乗算器24c及び24d)からの出力は
各々加算器26a及び26bにて加算される。加算され
たデータは各々M_FIFO28a及び28bに格納さ
れる。これらのM_FIFO28a及び28bは入力デ
ータに対して3番目の粗時間遅延を行う。続いて、M_
FIFO28a及び28bからの時間遅延済みのデータ
は加算器30にて合算され、L_FIFO32に格納さ
れる。このL_FIFO32は加算器30からの入力デ
ータに対して4番目の粗時間遅延を行う。
Two adjacent channels (multiplier 24a)
And 24b and the outputs from multipliers 24c and 24d) are added in adders 26a and 26b, respectively. The added data is stored in the M_FIFOs 28a and 28b, respectively. These M_FIFOs 28a and 28b perform a third coarse time delay on the input data. Then, M_
The time-delayed data from the FIFOs 28 a and 28 b are added together in the adder 30 and stored in the L_FIFO 32. The L_FIFO 32 performs a fourth coarse time delay on the input data from the adder 30.

【0018】粗時間遅延を4つの異なる段階にて施す理
由は次の通りである。多数のビームを成形するために多
数のチャンネルからのデータサンプルに適用される遅延
の差は、チャンネル間及び/またはビーム間の距離によ
って変わる。詳記すると、2つの隣接したチャンネル間
及び/またはビーム間の遅延の差は隣接しないチャンネ
ル間の差より小さい。従って、第1粗遅延を行うE_F
IFO14a1〜14d4は各々対応するチャンネルに
おける4つのビーム間の最大遅延差を処理する。第2粗
遅延を行うG_FIFO20a〜20dは各々、第1段
で処理されなかった2つの隣接するチャンネル間の最大
遅延差を処理する。第3粗遅延を行うM_FIFO28
a及び28bは各々、第1段及び第2段で処理されなか
った4つの隣接するチャンネル間の遅延差を処理する。
第4粗遅延を行うL_FIFO32は、他のビーム成形
装置で処理されたチャンネル間の遅延差を処理する。
The reasons for applying the coarse time delay in four different stages are as follows. The difference in delay applied to data samples from multiple channels to shape multiple beams may vary with distance between channels and / or between beams. Specifically, the difference in delay between two adjacent channels and / or between beams is smaller than the difference between non-adjacent channels. Therefore, E_F for performing the first coarse delay
IFOs 14a1-14d4 handle the maximum delay difference between the four beams in each corresponding channel. Each of the G_FIFOs 20a to 20d performing the second coarse delay processes a maximum delay difference between two adjacent channels not processed in the first stage. M_FIFO 28 for performing third coarse delay
a and 28b each handle the delay difference between four adjacent channels that were not processed in the first and second stages.
The L_FIFO 32 that performs the fourth coarse delay processes a delay difference between channels processed by another beam forming apparatus.

【0019】前述したように、2つのチャンネルからの
遅延サンプルデータは加算器26a及び26b各々にて
加算されるので、第3段では2つのM_FIFO28a
及び28bだけが必要である。同様に、4つのチャンネ
ルからの遅延サンプルデータは加算器30にて加算され
るので、第4段では1つのL_FIFO32だけが必要
である。従って、図1に示したように遅延素子及び加算
器を階層的構造で配置することによって、焦点合わせ遅
延を得るに必要なメモリの大きさを大きく減らすことが
できる。
As described above, since the delay sample data from the two channels is added by the adders 26a and 26b, two M_FIFOs 28a are provided in the third stage.
And 28b only are required. Similarly, since the delay sample data from the four channels is added by the adder 30, only one L_FIFO 32 is required in the fourth stage. Therefore, by arranging the delay elements and the adders in a hierarchical structure as shown in FIG. 1, the size of the memory required to obtain the focusing delay can be greatly reduced.

【0020】本発明の一実施例において、E_FIF
O、G_FIFO、M_FIFO及びL_FIFOによっ
て適用された最大時間遅延量は各々64、256、25
6及び1024クロック周期である。即ち、L_FIF
Oによる時間遅延を通常他のFIFOによる時間遅延よ
り大きいように設定することによって、メモリの大きさ
を出来るだけ大きく減らすことができる。
In one embodiment of the present invention, E_FIF
The maximum time delays applied by O, G_FIFO, M_FIFO and L_FIFO are 64, 256, and 25, respectively.
6 and 1024 clock periods. That is, L_FIF
By setting the time delay due to O to be generally larger than the time delay due to other FIFOs, the size of the memory can be reduced as much as possible.

【0021】図1に示したように、合算過程は3つの互
いに異なる段にて行われる。第1段における加算器26
aは上位2チャンネル(即ち、チャンネル0及びチャン
ネル1)から出力された遅延サンプルデータを合算し、
第1段における加算器26bは下位2チャンネル(即
ち、チャンネル2及びチャンネル3)から出力された遅
延サンプルデータを合算する。第2段における 加算器
30は加算器26a及び26bからの遅延出力を合算す
る。第3段における加算器34は多数のビーム成形装置
(図1では、1つのみ図示)からの中間出力を合算して最
大4つの受信ビームを表す最終結果を生成する。
As shown in FIG. 1, the summation process is performed in three different stages. Adder 26 in first stage
a sums the delayed sample data output from the upper two channels (ie, channel 0 and channel 1),
The adder 26b in the first stage sums the delayed sample data output from the lower two channels (that is, channel 2 and channel 3). The adder 30 in the second stage sums the delayed outputs from the adders 26a and 26b. The adder 34 in the third stage includes a number of beam forming devices.
The intermediate outputs from (only one is shown in FIG. 1) are summed to produce a final result representing up to four receive beams.

【0022】図2は、本発明の好適実施例によるE_F
IFOの動作を説明するための図面である。図2におい
て、Dは各チャンネルから供給されるデータであっ
て、1つずつE_FIFO0〜E_FIFO3各々に書込
まれる。図2に示したようにデータ書込みビット位置を
表す書込みポインタ(Wr_Ptr)は全てのE_FIFO
上で同一の所で位置され、毎データ書込みの際1ビット
ずつ移動する。こうして、4つのチャンネルからのサン
プルデータは同一の時間にて書き込まれる。しかしなが
ら、各E_FIFOに書き込まれたDが読み出されて
後続段のFIRフィルタ&MUXのレジスタ(図3を参
照して後述)に入力される時間は各ビーム(または、各E
_FIFO)に対して相異なる。図2に示したように、デ
ータ読出し位置を表す読出しポインタ(Rd_Ptr)は
相異なる位置を指定し得る。
FIG. 2 shows E_F according to a preferred embodiment of the present invention.
5 is a diagram for explaining an operation of the IFO. In FIG. 2, D i is a data supplied from each channel is written into each one by 1 E_FIFO0~E_FIFO3. As shown in FIG. 2, the write pointer (Wr_Ptr) indicating the data write bit position is set to all E_FIFOs.
It is located at the same place above, and moves one bit at a time for each data write. Thus, sample data from the four channels is written at the same time. However, the time to be input to the FIR filter & MUX registers subsequent stages D i written in each E_FIFO is read (described later with reference to FIG. 3) each beam (or, the E
_FIFO). As shown in FIG. 2, the read pointer (Rd_Ptr) indicating the data read position can specify a different position.

【0023】図2において、E_FIFO0の場合は、
データが書き込まれてから5クロック周期後に読み出さ
れ、E_FIFO2の場合は3クロック周期後に読み出
されて2つのビームに対して異なる遅延を適用する。こ
のように、各チャンネル別、各ビーム別に適用される遅
延量は書込みポインタと読出しポインタとの間の位置の
差によって調整される。これらのポインタの位置は図1
中のFDCU16によって調整される。詳記すると、遅
延量は遅延曲線に基づいて読出しポインタを1クロック
周期当たり1メモリ位置ずつ移動させるか否かによって
調節される。
In FIG. 2, in the case of E_FIFO0,
The data is read out 5 clock cycles after being written, and in the case of E_FIFO2, it is read out 3 clock cycles and different delays are applied to the two beams. As described above, the amount of delay applied to each channel and each beam is adjusted by the difference in position between the write pointer and the read pointer. The location of these pointers is shown in FIG.
Adjusted by the FDCU 16 inside. Specifically, the amount of delay is adjusted by moving the read pointer one memory location per clock cycle based on the delay curve.

【0024】図3は、図1中のFIR&MUX18を詳
しく示した図面である。図3に示したように、シフトレ
ジスタ部110は4組の 16タップレジスタを備え
る。各組のレジスタは対応するE_FIFOから読出さ
れた16個の連続的なデータを格納する。本発明の一実
施例において、E_FIFOからの各データは10個の
ビットを含み、各レジスタは10ビットを格納すること
ができる。
FIG. 3 is a diagram showing the FIR & MUX 18 in FIG. 1 in detail. As shown in FIG. 3, the shift register unit 110 includes four sets of 16-tap registers. Each set of registers stores 16 consecutive data read from the corresponding E_FIFO. In one embodiment of the present invention, each data from the E_FIFO includes 10 bits, and each register can store 10 bits.

【0025】これらの16個の連続的なデータはCij
で表示された16タップフィルタによりフィルタリング
される。各フィルタの係数は8:1MUX120、12
2、124を用いて、予め定められた8つの係数組(C
i0〜Ci7)の中から選択される。本発明の一実施例
において、フィルタ係数Cijは別途のフィルタ係数バ
ンク(図示せず)で予め決められ、FIR&MUX部18
に供給される。 係数選択信号は、8:1MUX120
〜124が8個のフィルタ係数組のうちのいずれか1つ
を選択するように制御するのに用いられる。この係数選
択信号はFIR&MUX部18にて適用された微細遅延
量によって決定される。
These 16 consecutive data are represented by Cij
Is filtered by the 16-tap filter indicated by. The coefficients of each filter are 8: 1 MUX 120, 12
2, 124, a predetermined set of eight coefficients (C
i0 to Ci7). In one embodiment of the present invention, the filter coefficient Cij is predetermined by a separate filter coefficient bank (not shown), and the FIR & MUX unit 18
Supplied to The coefficient selection signal is 8: 1 MUX120
To 124 are used to control to select any one of the eight filter coefficient sets. This coefficient selection signal is determined by the fine delay amount applied in the FIR & MUX unit 18.

【0026】16個の連続的なデータに対するフィルタ
リングは、シフトレジスタ部110における4つの組の
うちの一つの組の16タップレジスタを4:1MUX1
12、114、116を用いて選択し時間多重化方式で
行われる。ビーム選択信号は4:1MUX112、11
4、116の各々に入力され、4つのビームのうちのい
ずれかが処理されるかを表す。その後、8:1MUXに
よって選択されたフィルタ係数は4:1MUX112、
114、116によって選択された16個のデータと乗
算される。フィルタリングはE_FIFO0、E_FIF
O1、E_FIFO2、E_FIFO3から順次的に供給
されるデータに対して行われる。即ち、フィルタリング
は各ビームについて順次的に繰り返されて行われる。
The filtering of 16 consecutive data is performed by setting one of the 16 tap registers of the four sets in the shift register unit 110 to 4: 1 MUX1.
12, 114, and 116 are selected and performed in a time-multiplexed manner. The beam selection signal is 4: 1 MUX 112, 11
4, 116, and indicates which of the four beams will be processed. Thereafter, the filter coefficients selected by the 8: 1 MUX are 4: 1 MUX 112,
Multiplied by 16 data selected by 114 and 116. Filtering is E_FIFO0, E_FIF
This is performed on data sequentially supplied from O1, E_FIFO2, and E_FIFO3. That is, the filtering is sequentially repeated for each beam.

【0027】図3中のシフトイネーブル信号は、各E_
FIFOからのデータが16タップレジスタに入力され
る際、特定クロック周期にてレジスタにおけるデータの
シフトを制御する働きを果たす。図2中の読出しポイン
タが移動するクロック周期において、シフトイネーブル
信号は各レジスタを制御して、データがレジスタでシフ
トされるようにする。遅延値の調整のために読出しポイ
ンタが留まる場合は、レジスタでデータがシフトされな
いようにシフトイネーブル信号はディスエーブルされ
る。このように読出しポインタの移動とシフトレジスタ
におけるデータの移動を同期させることによって同一の
データがレジスタに重複して書き込まれることを防止す
る。同一のデータが重複してレジスタに書き込まれれ
ば、該当データから補間データを求める時にエラーが発
生する恐れがあるためである。
The shift enable signal in FIG.
When data from the FIFO is input to the 16-tap register, it functions to control the shift of data in the register at a specific clock cycle. In the clock cycle in which the read pointer moves in FIG. 2, the shift enable signal controls each register so that data is shifted in the register. If the read pointer remains for adjustment of the delay value, the shift enable signal is disabled so that data is not shifted in the register. By synchronizing the movement of the read pointer and the movement of the data in the shift register in this manner, the same data is prevented from being redundantly written to the register. This is because if the same data is repeatedly written into the register, an error may occur when obtaining the interpolation data from the corresponding data.

【0028】図4は、図3中のFIRフィルタの機能を
説明するための図面である。微細遅延は補間フィルタを
用いて具現される。FIRフィルタ係数を適切に選択
することによって、システムクロック周期より小さな値
の微細遅延を遅延サンプルデータに適用することができ
る。このようにシステムクロック周期より小さな微細遅
延をデータサンプルに適用する ことによって遅延誤差
を除去することができる。
FIG. 4 is a drawing for explaining the function of the FIR filter in FIG. The fine delay is implemented using an interpolation filter. Appropriate selection of FIR filter coefficients
By doing so, a fine delay having a value smaller than the system clock period can be applied to the delay sample data. By applying a fine delay smaller than the system clock period to data samples in this manner, a delay error can be eliminated.

【0029】図4に示した入力波形はE_FIFOから
レジスタ組に入力されるデータを表す。図3中のFIR
フィルタは入力波形でサンプルデータ間の中間値を求め
る補間フィルタである。図4には、便宜上、4タップ補
間フィルタに対する機能に対して例示されている。
The input waveform shown in FIG. 4 represents data input from the E_FIFO to the register set. FIR in FIG.
The filter is an interpolation filter for finding an intermediate value between sample data in the input waveform. FIG. 4 illustrates the function for a 4-tap interpolation filter for convenience.

【0030】上記において、本発明の好適な実施の形態
について説明したが、本発明の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
Although the preferred embodiments of the present invention have been described above, those skilled in the art will be able to make various modifications without departing from the scope of the present invention.

【0031】[0031]

【発明の効果】従って、本発明によれば、多段構造の遅
延素子を用い、その中の一部段の遅延素子を複数のチャ
ンネルに対して共有することによって遅延素子の具現に
必要なメモリの大きさを減らすことができる。さらに、
複数のビームを時間多重化方式に処理することによって
全般的なハードウェアの複雑さをより一層低下させるこ
とができる。
Thus, according to the present invention, a multistage delay element is used, and a part of the delay elements is shared by a plurality of channels, thereby realizing a memory required for realizing the delay element. The size can be reduced. further,
Processing multiple beams in a time multiplexed manner can further reduce overall hardware complexity.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の好適実施例による4-チャンネルビー
ム成形装置の概略的なブロック図である。
FIG. 1 is a schematic block diagram of a 4-channel beamforming apparatus according to a preferred embodiment of the present invention.

【図2】本発明の好適実施例によるE_FIFOの動作
を説明するための図面である。
FIG. 2 is a diagram illustrating an operation of an E_FIFO according to a preferred embodiment of the present invention;

【図3】図1中のFIR&MUXを詳しく示した図面で
ある。
FIG. 3 is a diagram showing FIR & MUX in FIG. 1 in detail.

【図4】図3中のFIRフィルタの機能を説明するため
の図面である。
FIG. 4 is a diagram for explaining a function of an FIR filter in FIG. 3;

【符号の説明】[Explanation of symbols]

14a1〜14d4 第1段の遅延素子 20a〜20d 第2段の遅延素子 28a、28b 第3段の遅延素子 32 第4段の遅延素子 18a、18b、18c、18d FIR&MUX 26a、26b、30、34 加算器 14a1 to 14d4 First-stage delay element 20a to 20d Second-stage delay element 28a, 28b Third-stage delay element 32 Fourth-stage delay element 18a, 18b, 18c, 18d FIR & MUX 26a, 26b, 30, 34 Addition vessel

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ベ ム ホ 大韓民国 ソウル トクビョルシ ソンパ ク ザムシル6ドン ザンミアパート19ド ン808ホ Fターム(参考) 2G047 BA03 CA01 DB02 EA14 GB02 GF17 GF20 GF22 GG09 GG17 GG34 4C301 AA02 BB23 EE15 GB02 HH33 HH37 HH38 HH39 HH43 JB02 JB29 JB35 5J083 AA02 AB17 AC28 AC31 AD13 AE10 BA01 BC02 BE56 BE57 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Bemho South Korea Seoul Tokbyulsi Songpak Zamsil 6-dong Zangmi apartment 19-dong 808-ho F-term (reference) 2G047 BA03 CA01 DB02 EA14 GB02 GF17 GF20 GF22 GG09 GG17 GG34 4C301 AA02 BB23 EE15 GB02 HH33 HH37 HH38 HH39 HH43 JB02 JB29 JB35 5J083 AA02 AB17 AC28 AC31 AD13 AE10 BA01 BC02 BE56 BE57

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】超音波トランスジューサ列から受信した信
号を処理する超音波受信ビーム成形装置であって、 N及びMがトランスジューサの個数より小さい正の整数
であるとき、各々がM個のトランスジューサから供給さ
れるMチャンネルのデータサンプルに対してN個の受信
ビームを成形するための遅延を加え、Mチャンネルに対
して遅延されたデータサンプルを合算してN個の中間出
力を発生する、複数のビーム成形手段と、 前記複数のビーム成形手段からの前記中間出力を合算し
て前記N個の受信ビームを表すデータを出力する合算手
段とを含み、 前記複数のビーム成形手段が、 前記Mチャンネルの前記データサンプルに対して第1遅
延を加え、各チャンネル別及び各受信ビーム別の遅延デ
ータを発生する、予め決められた個数のチャンネル別遅
延素子と、 前記チャンネル別遅延素子からの前記遅延データを少な
くとも2つのチャンネルに対して加算する第1加算器
と、 前記第1加算器からの出力に対して第2遅延を加える多
チャンネル遅延素子とを備えることを特徴とする超音波
受信ビーム成形装置。
An ultrasonic receive beamforming apparatus for processing signals received from an array of ultrasonic transducers, wherein each of N and M is a positive integer less than the number of transducers and is supplied from M transducers. A plurality of beams that add a delay to shape the N receive beams for the M channel data samples to be generated and sum the delayed data samples for the M channel to generate N intermediate outputs. Shaping means, and summing means for summing the intermediate outputs from the plurality of beam shaping means and outputting data representing the N received beams, wherein the plurality of beam shaping means comprises A predetermined number of channels for adding a first delay to the data samples to generate delay data for each channel and each receive beam. A delay element for each channel; a first adder for adding the delay data from the delay element for each channel to at least two channels; and a multi-channel for adding a second delay to an output from the first adder. An ultrasonic receiving beam forming apparatus, comprising: a delay element.
【請求項2】 前記各ビーム成形手段が前記N個の受信
ビームに対する前記N個の中間出力を時間多重化方式に
て供給し、前記合算手段が前記N個の受信ビームを表す
データを時間多重化方式にて出力することを特徴とする
請求項1記載の超音波受信ビーム成形装置。
2. Each of said beam forming means supplies said N intermediate outputs for said N received beams in a time multiplexed manner, and said summing means time multiplexes data representing said N received beams. 2. The ultrasonic receiving beam forming apparatus according to claim 1, wherein the output is performed by a conversion method.
【請求項3】 前記チャンネル別遅延素子が、 システムクロック周期の整数倍に対応する遅延を加える
粗遅延素子と、 前記システムクロック周期より小さい遅延を加える微細
遅延素子とを備えることを特徴とする請求項1記載の超
音波受信ビーム成形装置。
3. The delay element for each channel includes a coarse delay element for adding a delay corresponding to an integral multiple of a system clock cycle, and a fine delay element for adding a delay smaller than the system clock cycle. Item 2. An ultrasonic receiving beam forming apparatus according to Item 1.
【請求項4】 前記微細遅延素子が複数の補間フィルタ
を備え、前記補間フィルタの各々がチャンネルからのデ
ータサンプル組を用いて該当データサンプル間の補間デ
ータを決定することを特徴とする請求項3記載の超音波
受信ビーム成形装置。
4. The apparatus according to claim 3, wherein said fine delay element comprises a plurality of interpolation filters, each of said interpolation filters using a set of data samples from a channel to determine interpolated data between corresponding data samples. An ultrasonic receiving beam forming apparatus as described in the above.
【請求項5】 前記微細遅延素子が、 各組が各チャンネルからのL個の連続的なデータサンプ
ルを格納するL個のシフトレジスタを有するM個のシフ
トレジスタ組と、 前記M個の組のうちのいずれか1つを選択し、選択され
た組に格納された前記L個のデータを供給するM:1多
重化手段と、 前記微細遅延素子にて加える遅延値に基づいて、各組が
L個のフィルタ係数を有する複数の予め定められたフィ
ルタ係数組のうちのいずれか1つを選択する選択手段
と、 前記M:1多重化手段から供給される前記L個のデータ
サンプルに前記選択手段からの前記L個のフィルタ係数
を乗算して、L個の乗算結果を合算する手段とを備える
ことを特徴とする請求項3記載の超音波受信ビーム成形
装置。
5. The fine delay element comprises: M sets of shift registers, each set having L shift registers storing L consecutive data samples from each channel; and M sets of the M sets. Based on the M: 1 multiplexing means for selecting one of them and supplying the L data stored in the selected set, and the delay value added by the fine delay element, each set is Selecting means for selecting any one of a plurality of predetermined filter coefficient sets having L filter coefficients; and selecting the L data samples supplied from the M: 1 multiplexing means. 4. An ultrasonic receiving beam forming apparatus according to claim 3, further comprising means for multiplying said L filter coefficients from said means and summing up the L multiplication results.
【請求項6】 前記粗遅延素子が、 各々が各ビームの成形の際に用いられるべきデータサン
プルを格納するN個のチャンネル別先入れ先出し格納手
段と、 各チャンネルにおける前記N個の先入れ先出し格納手段
のデータ書込みポインタを同じく制御する手段と、 各チャンネルにおける前記N個の先入れ先出し格納手段
のデータ読出しポインタを独立的に制御する手段とを備
え、 前記先入れ先出し格納手段の各々に格納されたデータが
粗遅延量によって決定される時刻にて読出されることを
特徴とする請求項3記載の超音波受信ビーム成形装置。
6. A coarse delay element comprising: N first-in first-out storage means for each of N channels each storing a data sample to be used in shaping each beam; and data of the N first-in first-out storage means in each channel. Means for controlling the write pointers, and means for independently controlling the data read pointers of the N first-in, first-out storage means for each channel, wherein the data stored in each of the first-in, first-out storage means is determined by a coarse delay amount. 4. The ultrasonic receiving beam forming apparatus according to claim 3, wherein the reading is performed at the determined time.
JP2001168700A 2000-06-10 2001-06-04 Ultrasonic receiving beam forming apparatus using multi-stage delay elements Expired - Fee Related JP3559774B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001168700A JP3559774B2 (en) 2000-06-10 2001-06-04 Ultrasonic receiving beam forming apparatus using multi-stage delay elements

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020000031894A KR100355719B1 (en) 2000-06-10 2000-06-10 Ultrasound receive beamforming apparatus using multi-tier delay devices
JP2001-68492 2001-03-12
JP2001068492 2001-03-12
JP2000-31894 2001-03-12
JP2001168700A JP3559774B2 (en) 2000-06-10 2001-06-04 Ultrasonic receiving beam forming apparatus using multi-stage delay elements

Publications (2)

Publication Number Publication Date
JP2002336249A true JP2002336249A (en) 2002-11-26
JP3559774B2 JP3559774B2 (en) 2004-09-02

Family

ID=27346213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001168700A Expired - Fee Related JP3559774B2 (en) 2000-06-10 2001-06-04 Ultrasonic receiving beam forming apparatus using multi-stage delay elements

Country Status (1)

Country Link
JP (1) JP3559774B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242620A (en) * 2005-03-01 2006-09-14 Proassist:Kk Ultrasonic sensor signal processing system
JP2008055087A (en) * 2006-09-04 2008-03-13 Toshiba Corp Ultrasonic diagnostic apparatus
JP2008149139A (en) * 2006-12-15 2008-07-03 Industry-Univ Cooperation Foundation Sogang Univ Device and method for forming beam based on fractional delay filter using post filtering
JP2008259863A (en) * 2007-04-13 2008-10-30 Medison Co Ltd Ultrasound imaging system and scan line data forming method
WO2013121842A1 (en) 2012-02-15 2013-08-22 株式会社日立製作所 Ultrasonic imaging device
JP2019501577A (en) * 2015-11-30 2019-01-17 レイセオン カンパニー Beam forming engine

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5534665B2 (en) * 2008-10-21 2014-07-02 キヤノン株式会社 Ultrasonic diagnostic equipment

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242620A (en) * 2005-03-01 2006-09-14 Proassist:Kk Ultrasonic sensor signal processing system
JP2008055087A (en) * 2006-09-04 2008-03-13 Toshiba Corp Ultrasonic diagnostic apparatus
JP2008149139A (en) * 2006-12-15 2008-07-03 Industry-Univ Cooperation Foundation Sogang Univ Device and method for forming beam based on fractional delay filter using post filtering
JP2008259863A (en) * 2007-04-13 2008-10-30 Medison Co Ltd Ultrasound imaging system and scan line data forming method
US8968202B2 (en) 2007-04-13 2015-03-03 Medison Co., Ltd. System of forming ultrasound image and method of forming scan line data
WO2013121842A1 (en) 2012-02-15 2013-08-22 株式会社日立製作所 Ultrasonic imaging device
JP2019501577A (en) * 2015-11-30 2019-01-17 レイセオン カンパニー Beam forming engine

Also Published As

Publication number Publication date
JP3559774B2 (en) 2004-09-02

Similar Documents

Publication Publication Date Title
US6494842B2 (en) Ultrasound receive beamforming apparatus using multi stage delay devices
JP4802234B2 (en) Receive beamformer
US5345426A (en) Delay interpolator for digital phased array ultrasound beamformers
US5844139A (en) Method and apparatus for providing dynamically variable time delays for ultrasound beamformer
US5544128A (en) Multi-beam digital beamforming method and apparatus
US5469851A (en) Time multiplexed digital ultrasound beamformer
US4974211A (en) Digital ultrasound system with dynamic focus
US5369624A (en) Digital beamformer having multi-phase parallel processing
KR101118515B1 (en) The apparatus of beamforming the ultrasound signal and the method using it
EP0691021A1 (en) Partial beamforming
US6122223A (en) Ultrasonic transmit waveform generator
JP2004516123A (en) Multi-line ultrasonic beamformer
WO1996027152A1 (en) Transmit beamformer with frequency dependent focus
CN101194846A (en) Beam synthesizing method and device for time division multiplex
JPH10179585A (en) Device and method for forming transmitting or receiving beam
US5088496A (en) Ultrasonic echography apparatus utilizing a digital device for forming channels, in the receiving mode
US7993270B2 (en) Digital receive-focusing apparatus using analogue multiplexers
JP2001099913A (en) Method of forming reception beam, device for forming reception beam, and matched filter
KR100890376B1 (en) Ultrasound diagnostic system and method for forming multiple receiving scan lines
JP3559774B2 (en) Ultrasonic receiving beam forming apparatus using multi-stage delay elements
KR100886932B1 (en) Multi Channel Beamformer using Single Interpolation
JP3697328B2 (en) Ultrasonic diagnostic equipment

Legal Events

Date Code Title Description
A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20031209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040524

R150 Certificate of patent or registration of utility model

Ref document number: 3559774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120528

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120528

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees