JP5681141B2 - Tomographic image generating apparatus, method, and program - Google Patents
Tomographic image generating apparatus, method, and program Download PDFInfo
- Publication number
- JP5681141B2 JP5681141B2 JP2012098320A JP2012098320A JP5681141B2 JP 5681141 B2 JP5681141 B2 JP 5681141B2 JP 2012098320 A JP2012098320 A JP 2012098320A JP 2012098320 A JP2012098320 A JP 2012098320A JP 5681141 B2 JP5681141 B2 JP 5681141B2
- Authority
- JP
- Japan
- Prior art keywords
- acoustic wave
- image
- range
- light irradiation
- photoacoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims description 34
- 239000013307 optical fiber Substances 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 9
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 239000000523 sample Substances 0.000 description 45
- 239000000835 fiber Substances 0.000 description 15
- 238000005070 sampling Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010011732 Cyst Diseases 0.000 description 3
- 208000031513 cyst Diseases 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 2
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000002033 PVDF binder Substances 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000010895 photoacoustic effect Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
Description
本発明は、断層画像生成装置及び方法に関し、更に詳しくは、反射超音波に基づく超音波画像と、光音響信号に基づく光音響画像とを生成する断層画像生成装置及び方法に関する。 The present invention relates to a tomographic image generation apparatus and method, and more particularly to a tomographic image generation apparatus and method for generating an ultrasonic image based on reflected ultrasonic waves and a photoacoustic image based on photoacoustic signals.
生体内部の状態を非侵襲で検査できる画像検査法の一種として、超音波検査法が知られている。超音波検査では、超音波の送信及び受信が可能な超音波探触子を用いる。超音波探触子から被検体（生体）に超音波を送信させると、その超音波は生体内部を進んでいき、組織界面で反射する。超音波探触子でその反射音波を受信し、反射超音波が超音波探触子に戻ってくるまでの時間に基づいて距離を計算することで、内部の様子を画像化することができる。 An ultrasonic inspection method is known as a kind of image inspection method capable of non-invasively examining the state inside a living body. In the ultrasonic inspection, an ultrasonic probe capable of transmitting and receiving ultrasonic waves is used. When ultrasonic waves are transmitted from the ultrasonic probe to the subject (living body), the ultrasonic waves travel inside the living body and are reflected at the tissue interface. By receiving the reflected sound wave with the ultrasonic probe and calculating the distance based on the time until the reflected ultrasonic wave returns to the ultrasonic probe, the internal state can be imaged.
また、光音響効果を利用して生体の内部を画像化する光音響イメージングが知られている。一般に光音響イメージングでは、パルスレーザ光を生体内に照射する。生体内部では、生体組織がパルスレーザ光のエネルギーを吸収し、そのエネルギーによる断熱膨張により超音波（光音響信号）が発生する。この光音響信号を超音波プローブなどで検出し、検出信号に基づいて光音響画像を構成することで、光音響信号に基づく生体内の可視化が可能である。 In addition, photoacoustic imaging is known in which the inside of a living body is imaged using a photoacoustic effect. In general, in photoacoustic imaging, a living body is irradiated with pulsed laser light. Inside the living body, the living tissue absorbs the energy of the pulsed laser light, and ultrasonic waves (photoacoustic signals) are generated by adiabatic expansion due to the energy. By detecting this photoacoustic signal with an ultrasonic probe or the like and constructing a photoacoustic image based on the detection signal, in-vivo visualization based on the photoacoustic signal is possible.
光音響画像と超音波画像とを生成可能な装置が、例えば特許文献１に記載されている。特許文献１では、超音波探触子が、超音波の送信及び受信が可能な第１のアレイ素子と、光音響波の受信が可能な第２のアレイ素子とを有する。第１のアレイ素子は、超音波探触子を移動させて走査する際の超音波探触子の移動方向（走査方向）と垂直な方向に配列した機械電気変換素子を複数有し、第２のアレイ素子は、２次元に配列した機械電気変換素子を複数有する。第１のアレイ素子と第２のアレイ素子とは、同一平面上で、かつ走査方向に並んで配置されている。特許文献１では、第１のアレイ素子の幅は、第２のアレイ素子の幅よりも広くなっており、超音波画像と光音響画像とを同じ範囲で生成している。 An apparatus capable of generating a photoacoustic image and an ultrasonic image is described in Patent Document 1, for example. In Patent Document 1, an ultrasonic probe includes a first array element that can transmit and receive ultrasonic waves, and a second array element that can receive photoacoustic waves. The first array element includes a plurality of electromechanical transducer elements arranged in a direction perpendicular to the moving direction (scanning direction) of the ultrasonic probe when scanning by moving the ultrasonic probe. The array element has a plurality of electromechanical transducer elements arranged in two dimensions. The first array element and the second array element are arranged on the same plane and aligned in the scanning direction. In Patent Document 1, the width of the first array element is wider than the width of the second array element, and the ultrasonic image and the photoacoustic image are generated in the same range.
ところで、光音響用のレーザの使用にあたっては、ファイバへのダメージや省電力低減を考慮すると、可能な限りレーザ光の照射範囲を抑制できることが好ましい。しかしながら、光音響信号はレーザ光の照射により生じることから、レーザ光の照射範囲が狭いと、光音響画像で画像化できる範囲が狭くなる。光音響画像において所望の観察対象（関心領域）が画像化されているかは光音響画像を生成してみないとわからず、所望の観察対象が画像化の範囲に入っていないときには、超音波探触子を移動しながら、観察対象が光照射範囲に入るまで、レーザ光の照射と光音響画像の生成とを繰り返し行う必要があった。 By the way, when using the laser for photoacoustics, it is preferable that the irradiation range of the laser beam can be suppressed as much as possible in consideration of damage to the fiber and reduction in power saving. However, since a photoacoustic signal is generated by laser light irradiation, if the laser light irradiation range is narrow, the range that can be imaged by a photoacoustic image is narrowed. Whether or not the desired observation target (region of interest) is imaged in the photoacoustic image cannot be known unless a photoacoustic image is generated. If the desired observation target is not within the imaging range, an ultrasonic search is performed. While moving the touch element, it was necessary to repeatedly irradiate the laser beam and generate the photoacoustic image until the observation target entered the light irradiation range.
本発明は、上記に鑑み、ある所定の範囲で光音響画像を生成する際に、不要なレーザ発光を抑制できる断層画像生成装置、方法、及びプログラムを提供することを目的とする。 In view of the above, it is an object of the present invention to provide a tomographic image generation apparatus, method, and program capable of suppressing unnecessary laser emission when generating a photoacoustic image within a certain predetermined range.
上記目的を達成するために、本発明は、光源ユニットと、光源ユニットから出射した光を、被検体に向けて所定の光照射範囲で照射する光照射部と、被検体に対して音響波の送信を行う音響波送信手段と、光の照射により被検体内で生じた光音響波、及び送信された音響波に対する反射音響波を検出する音響波検出手段と、音響波検出手段が検出した反射音響波に基づいて、光照射範囲よりも広い範囲で反射音響波画像を生成する反射音響波画像生成手段と、反射音響波画像生成手段が生成した反射音響波中に、光音響画像を生成すべき範囲を設定する光照射範囲設定手段と、光照射部から、光照射範囲設定手段が設定した範囲に向けて光が照射されるように光照射部を制御する光照射範囲制御手段と、音響波検出手段が検出した光音響波に基づいて、光照射範囲設定手段が設定した範囲で光音響画像生成する光音響画像生成手段とを備えたことを特徴とする断層画像生成装置を提供する。 In order to achieve the above object, the present invention provides a light source unit, a light irradiation unit for irradiating light emitted from the light source unit toward a subject in a predetermined light irradiation range, and an acoustic wave for the subject. Acoustic wave transmitting means for transmitting, photoacoustic wave generated in the subject by light irradiation, and acoustic wave detecting means for detecting reflected acoustic wave with respect to the transmitted acoustic wave, and reflection detected by the acoustic wave detecting means Based on the acoustic wave, a reflected acoustic wave image generation unit that generates a reflected acoustic wave image in a range wider than the light irradiation range, and a photoacoustic image is generated in the reflected acoustic wave generated by the reflected acoustic wave image generation unit. A light irradiation range setting unit for setting a power range, a light irradiation range control unit for controlling the light irradiation unit so that light is emitted from the light irradiation unit toward the range set by the light irradiation range setting unit, and an acoustic The photoacoustic wave detected by the wave detection means Zui and provides a tomographic image generating apparatus according to claim in a range where the light irradiation range setting means has set that a photoacoustic image generating means for generating photoacoustic images.
本発明では、光照射範囲設定手段が、反射音響波画像生成手段が生成した反射音響波画像に、光照射部から光が照射される所定の光照射範囲を重ねて表示し、ユーザに、光音響画像を生成すべき範囲の設定を促すものとすることができる。この場合、光照射範囲設定手段は、ユーザが光音響画像を生成すべき範囲を移動させる操作を行うと、該操作に応じて、表示する光照射範囲の位置を移動させてもよい。 In the present invention, the light irradiation range setting unit displays a predetermined light irradiation range irradiated with light from the light irradiation unit on the reflected acoustic wave image generated by the reflected acoustic wave image generation unit. The setting of the range in which the acoustic image should be generated can be prompted. In this case, when the user performs an operation of moving the range in which the photoacoustic image is to be generated, the light irradiation range setting unit may move the position of the light irradiation range to be displayed according to the operation.
上記に代えて、光照射範囲設定手段が、反射音響波画像生成手段が生成した反射音響波画像に基づいて、光音響画像を生成すべき範囲を設定する構成を採用することができる。この場合、光照射範囲設定手段は、観察対象と該観察対象の反射音響波画像からの抽出条件とを対応付けて記憶するテーブルを参照し、ユーザが指定した観察対象に対応する抽出条件に基づいて反射音響波画像から観察対象を抽出し、該抽出した観察対象の位置を含む範囲を光音響画像を生成すべき範囲として設定することとしてもよい。 Instead of the above, it is possible to adopt a configuration in which the light irradiation range setting unit sets a range in which a photoacoustic image is to be generated based on the reflected acoustic wave image generated by the reflected acoustic wave image generation unit. In this case, the light irradiation range setting means refers to a table that stores the observation target and the extraction condition from the reflected acoustic wave image of the observation target in association with each other, and based on the extraction condition corresponding to the observation target specified by the user Then, an observation target may be extracted from the reflected acoustic wave image, and a range including the extracted position of the observation target may be set as a range where a photoacoustic image is to be generated.
反射音響波画像生成手段が、セクタ走査を行って検出された反射音響波に基づいて反射音響波画像を生成するものであり、光音響画像生成手段が、光照射範囲設定手段が設定した範囲内で走査線を走査して光音響画像を生成するものである構成とすることができる。 The reflected acoustic wave image generation unit generates a reflected acoustic wave image based on the reflected acoustic wave detected by performing sector scanning, and the photoacoustic image generation unit falls within the range set by the light irradiation range setting unit. Thus, the scanning line is scanned to generate a photoacoustic image.
光照射部が、光源ユニットからの光を導光する光ファイバの出射端で構成されており、光照射範囲制御手段が、光ファイバの出射端を変位させることで光制御部を制御してもよい。 The light irradiating unit is composed of an output end of an optical fiber that guides light from the light source unit, and the light irradiation range control means controls the light control unit by displacing the output end of the optical fiber. Good.
本発明においては、生成された光音響画像と反射音響波画像とを、並べて又は合成して表示してもよい。 In the present invention, the generated photoacoustic image and the reflected acoustic wave image may be displayed side by side or synthesized.
音響波検出手段の検出器素子が、音響波送信手段の送信器素子を兼ねることとしてもよい。 The detector element of the acoustic wave detection means may also serve as the transmitter element of the acoustic wave transmission means.
本願発明の断層画像生成装置は、音響波検出手段の位置を検出するための位置センサと、位置センサからの信号に基づいて音響波検出手段の位置を測定する位置測定手段とを更に含む構成とすることができる。 The tomographic image generation apparatus of the present invention further includes a position sensor for detecting the position of the acoustic wave detection means, and a position measurement means for measuring the position of the acoustic wave detection means based on a signal from the position sensor. can do.
上記構成を採用した場合、位置測定手段で測定された音響波検出時の音響波検出手段の位置を用いて、光音響画像生成手段及び超音波画像生成手段のうちの少なくとも一方が、三次元画像データを生成することとしてもよい。 When the above configuration is adopted, at least one of the photoacoustic image generation unit and the ultrasonic image generation unit uses the position of the acoustic wave detection unit at the time of acoustic wave detection measured by the position measurement unit, and the three-dimensional image Data may be generated.
光源が、相互に異なる複数の波長の光を出射可能としてもよい。 The light source may be capable of emitting light having a plurality of different wavelengths.
本発明は、また、被検体に対して音響波の送信を行い、該送信された音響波に対する反射音響波を検出するステップと、
検出された反射音響波に基づいて反射音響波画像を生成するステップと、
生成された反射音響波画像中に、該反射音響波画像よりも狭い範囲で光音響画像を生成すべき範囲を設定するステップと、
被検体に対し、設定された範囲に向けて光を照射するステップと、
光の照射により被検体内で生じた光音響波を検出するステップと、
検出された光音響波に基づいて、設定された範囲で光音響画像を生成するステップとを有する断層画像生成方法を提供する。
The present invention also includes a step of transmitting an acoustic wave to the subject and detecting a reflected acoustic wave with respect to the transmitted acoustic wave;
Generating a reflected acoustic wave image based on the detected reflected acoustic wave;
In the generated reflected acoustic wave image, setting a range in which a photoacoustic image should be generated in a narrower range than the reflected acoustic wave image;
Irradiating the subject with light toward a set range;
Detecting a photoacoustic wave generated in the subject by light irradiation;
And a step of generating a photoacoustic image in a set range based on the detected photoacoustic wave.
更に、本発明は、被検体内に送信された音響波に対する反射音響波の検出結果に基づいて反射音響波画像を生成する工程と、生成された反射音響波画像中に、該反射音響波画像よりも狭い範囲で光音響画像を生成すべき範囲を設定する工程と、被検体に対して設定された範囲で光が照射されるように、被検体に対する光照射を制御する工程と、光の照射により被検体内で生じた光音響信号の検出結果に基づいて、設定された範囲で光音響画像を生成する工程とをコンピュータに実行させるためのプログラムを提供する。 The present invention further includes a step of generating a reflected acoustic wave image based on a detection result of the reflected acoustic wave with respect to the acoustic wave transmitted into the subject, and the reflected acoustic wave image is generated in the generated reflected acoustic wave image. A step of setting a range in which a photoacoustic image should be generated in a narrower range, a step of controlling light irradiation on the subject so that light is irradiated in the range set on the subject, There is provided a program for causing a computer to execute a step of generating a photoacoustic image in a set range based on a detection result of a photoacoustic signal generated in a subject by irradiation.
本発明の断層画像生成装置、方法、及びプログラムは、超音波画像中に、超音波画像の画像範囲よりも狭い光照射範囲を設定し、設定した範囲にレーザ光の照射を行って光音響画像を生成する。超音波画像を用いることで、被検体内の関心領域の位置を特定することができ、その関心領域が光照射範囲に入るにように光照射部を制御することで、関心領域部分を光音響画像で画像化できる。本発明では、関心領域が光照射範囲に入るまで、超音波探触子を移動しながらレーザ光の照射と光音響画像の生成とを繰り返し行う必要がないため、不要なレーザ発光を抑制することができる。 The tomographic image generation apparatus, method, and program of the present invention set a light irradiation range narrower than the image range of the ultrasonic image in the ultrasonic image, and irradiate the set range with laser light to produce a photoacoustic image. Is generated. By using the ultrasound image, the position of the region of interest in the subject can be specified, and the region of interest is photoacoustic by controlling the light irradiation unit so that the region of interest enters the light irradiation range. Can be imaged with images. In the present invention, it is not necessary to repeat the irradiation of the laser beam and the generation of the photoacoustic image while moving the ultrasonic probe until the region of interest enters the light irradiation range, thereby suppressing unnecessary laser emission. Can do.
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の断層画像生成装置を示す。断層画像生成装置１０は、プローブ１１、光源（光源ユニット）１２、送信回路１３、受信回路１４、ＡＤコンバータ１５、超音波画像生成手段１６、光音響画像生成手段１７、画像合成手段１８、画像表示手段１９、光照射範囲設定手段２０、ファイバ位置制御手段２１、ファイバ位置制御モータ２２、ＣＰＵ２４、タイミング制御手段２５、及び操作部２６を備える。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows a tomographic image generation apparatus according to a first embodiment of the present invention. The tomographic image generation apparatus 10 includes a probe 11, a light source (light source unit) 12, a transmission circuit 13, a reception circuit 14, an AD converter 15, an ultrasonic image generation unit 16, a photoacoustic image generation unit 17, an image synthesis unit 18, and an image display. Means 19, light irradiation range setting means 20, fiber position control means 21, fiber position control motor 22, CPU 24, timing control means 25, and operation unit 26 are provided.
光源１２は、例えばレーザ光源として構成され、被検体に照射すべき光を出射する。レーザ光の波長は、観察対象物に応じて適宜設定すればよい。光源１２から出射したレーザ光は、例えば光ファイバ２３などの導光手段を用いて被検体の表面付近にまで導光される。光ファイバ２３の端部は、被検体に対してレーザ光を照射する光照射部を構成し、導光されたレーザ光は、光ファイバ２３の出射端から所定の光照射範囲で被検体に照射される。言い換えれば、光ファイバ２３の出射端から出射したレーザ光は、所定の広がりを持って被検体に照射される。ファイバ位置制御モータ２２は、光ファイバ２３の出射端の向きを変位させ、レーザ光の出射方向を変化させる。 The light source 12 is configured as a laser light source, for example, and emits light to be irradiated on the subject. What is necessary is just to set the wavelength of a laser beam suitably according to an observation target object. The laser light emitted from the light source 12 is guided to the vicinity of the surface of the subject using light guiding means such as an optical fiber 23, for example. The end of the optical fiber 23 constitutes a light irradiating unit that irradiates the subject with laser light, and the guided laser light irradiates the subject within a predetermined light irradiation range from the emission end of the optical fiber 23. Is done. In other words, the laser beam emitted from the emission end of the optical fiber 23 is irradiated to the subject with a predetermined spread. The fiber position control motor 22 displaces the direction of the emission end of the optical fiber 23 to change the emission direction of the laser light.
プローブ（音響波検出手段）１１は、被検体に対して音響波（典型的には超音波）を出力（送信）する音響波送信手段と、被検体からの音響波を検出（受信）する音響波検出手段とを含む。音響波検出手段の検出器素子は、音響波送信手段の送信器素子を兼ねていてもよい。すなわち、１つの素子を、音響波の送信と受信との双方に用いてもよい。音響波検出手段と音響波送信手段とは、必ずしも同一のプローブに設けられている必要はなく、音響波検出手段と音響波送信手段とが別の位置に置かれる構成も可能である。 The probe (acoustic wave detecting means) 11 outputs (transmits) an acoustic wave (typically, an ultrasonic wave) to the subject, and acoustics for detecting (receiving) the acoustic wave from the subject. Wave detecting means. The detector element of the acoustic wave detecting means may also serve as the transmitter element of the acoustic wave transmitting means. That is, one element may be used for both transmission and reception of acoustic waves. The acoustic wave detecting means and the acoustic wave transmitting means are not necessarily provided in the same probe, and a configuration in which the acoustic wave detecting means and the acoustic wave transmitting means are placed at different positions is possible.
プローブ１１は、例えば、音響波検出手段の検出器素子及び音響波送信手段の送信器素子として、一次元的に配列された複数の超音波振動子を有する。各超音波振動子は、被検体へのレーザ光の照射後に、被検体内の測定対象物が光源１２からのレーザ光を吸収することで生じた光音響波を検出する。また、各超音波振動子は、被検体内に向けて超音波を出力し、送信した超音波に対する反射超音波（反射音響波）を検出する。プローブ１１には、例えばセクタ走査型の超音波探触子を用いることができる。プローブ１１のタイプには特に制限はなく、プローブ１１は、経膣用や経直腸用のプローブでもよく、或いは、超音波内視鏡用に使用されるマイクロコンベックスタイプの探触子でもよい。 The probe 11 includes, for example, a plurality of ultrasonic transducers arranged one-dimensionally as a detector element of the acoustic wave detection unit and a transmitter element of the acoustic wave transmission unit. Each ultrasonic transducer detects a photoacoustic wave generated when the measurement object in the subject absorbs the laser light from the light source 12 after the subject is irradiated with the laser beam. Each ultrasonic transducer outputs an ultrasonic wave toward the inside of the subject and detects a reflected ultrasonic wave (reflected acoustic wave) with respect to the transmitted ultrasonic wave. As the probe 11, for example, a sector scanning type ultrasonic probe can be used. The type of the probe 11 is not particularly limited, and the probe 11 may be a transvaginal or transrectal probe, or may be a microconvex type probe used for an ultrasonic endoscope.
送信回路１３は、プローブ１１の複数の超音波振動子を駆動し、プローブ１１から被検体に向けて超音波を送信させる。受信回路１４は、プローブ１１が検出した音響波（光音響波又は反射音響波）の検出信号を受信する。ＡＤコンバータ１５は、受信回路１４が受信した音響波の検出信号をサンプリングしてデジタル信号に変換する。ＡＤコンバータ１５は、例えばＡＤクロック信号に同期して、所定のサンプリング周期で超音波信号をサンプリングする。 The transmission circuit 13 drives a plurality of ultrasonic transducers of the probe 11 to transmit ultrasonic waves from the probe 11 toward the subject. The receiving circuit 14 receives a detection signal of an acoustic wave (a photoacoustic wave or a reflected acoustic wave) detected by the probe 11. The AD converter 15 samples the acoustic wave detection signal received by the receiving circuit 14 and converts it into a digital signal. The AD converter 15 samples the ultrasonic signal at a predetermined sampling period in synchronization with the AD clock signal, for example.
超音波画像生成手段１６は、プローブ１１が検出した反射音響波の検出信号（以下、反射音響信号とも呼ぶ）に基づいて、反射音響波画像（超音波画像）を生成する。光音響画像生成手段１７は、プローブ１１が検出した光音響波の検出信号（以下、光音響信号とも呼ぶ）信号に基づいて、光音響画像を生成する。超音波画像生成手段１６は、光音響画像の生成の際に光照射部から照射されるレーザ光の照射範囲よりも広い範囲で超音波画像を生成する。光音響画像生成手段１７は、レーザ光の照射範囲に相当する範囲で光音響画像を生成する。光音響画像で画像化する範囲は、超音波画像で画像化する範囲よりも狭い。 The ultrasonic image generation means 16 generates a reflected acoustic wave image (ultrasonic image) based on a reflected acoustic wave detection signal (hereinafter also referred to as a reflected acoustic signal) detected by the probe 11. The photoacoustic image generation means 17 generates a photoacoustic image based on a photoacoustic wave detection signal (hereinafter also referred to as a photoacoustic signal) detected by the probe 11. The ultrasonic image generation unit 16 generates an ultrasonic image in a wider range than the irradiation range of the laser light irradiated from the light irradiation unit when generating the photoacoustic image. The photoacoustic image generation means 17 generates a photoacoustic image in a range corresponding to the irradiation range of the laser light. The range imaged by the photoacoustic image is narrower than the range imaged by the ultrasonic image.
超音波画像生成手段１６は、位相整合手段１６１と画像構築手段１６２とを含む。位相整合手段１６１は、プローブ１１の複数の超音波振動子で検出された反射音響信号を位相整合加算する。位相整合手段１６１は、例えばプローブ１１が有する６４ｃｈ分の超音波振動子からの反射音響信号を、超音波振動子の位置に応じた遅延時間だけ遅延させつつ加算する。位相整合加算を行うことで、走査線１ライン分の画像信号が生成される。画像構築手段１６２は、位相整合加算された各ラインの画像信号に対して例えば検波・対数変換などを行った上で超音波画像を生成する。 The ultrasonic image generation unit 16 includes a phase matching unit 161 and an image construction unit 162. The phase matching unit 161 performs phase matching addition of the reflected acoustic signals detected by the plurality of ultrasonic transducers of the probe 11. For example, the phase matching unit 161 adds the reflected acoustic signals from the 64ch ultrasonic transducers of the probe 11 while delaying them by a delay time corresponding to the position of the ultrasonic transducers. By performing the phase matching addition, an image signal for one scanning line is generated. The image construction unit 162 generates an ultrasonic image after performing, for example, detection and logarithmic conversion on the image signal of each line subjected to phase matching addition.
光音響画像生成手段１７は、位相整合手段１７１と画像構築手段１７２とを含む。位相整合手段１７１は、プローブ１１の複数の超音波振動子で検出された光音響信号を位相整合加算する。位相整合手段１７１は、例えばプローブ１１が有する６４ｃｈ分の超音波振動子からの光音響信号を、超音波振動子の位置に応じた遅延時間だけ遅延させつつ加算する。位相整合加算を行うことで、走査線１ライン分の画像信号が生成される。画像構築手段１７２は、各ラインの画像信号に対して例えば検波・対数変換などを行った上で、光音響画像を生成する。 The photoacoustic image generation unit 17 includes a phase matching unit 171 and an image construction unit 172. The phase matching unit 171 performs phase matching addition of the photoacoustic signals detected by the plurality of ultrasonic transducers of the probe 11. For example, the phase matching unit 171 adds the photoacoustic signals from the ultrasonic transducers for 64 channels included in the probe 11 while delaying them by a delay time corresponding to the position of the ultrasonic transducers. By performing the phase matching addition, an image signal for one scanning line is generated. The image construction unit 172 generates a photoacoustic image after performing, for example, detection and logarithmic conversion on the image signal of each line.
画像合成手段１８は、超音波画像生成手段１６で生成された超音波画像と、光音響画像生成手段１７で生成された光音響画像と合成する。画像合成手段１８は、例えば超音波画像に対して光音響画像を重畳することで、画像合成を行う。画像表示手段１９は、画像合成手段１８で合成された画像を、表示モニタなどに表示する。あるいは画像合成を行わずに、画像表示手段１９に、超音波画像と光音響画像とを切り替えて表示してもよいし、光音響画像と超音波画像とを同時に並べて表示してもよい。 The image synthesis unit 18 synthesizes the ultrasonic image generated by the ultrasonic image generation unit 16 and the photoacoustic image generated by the photoacoustic image generation unit 17. The image composition unit 18 performs image composition by superimposing a photoacoustic image on an ultrasonic image, for example. The image display means 19 displays the image synthesized by the image synthesis means 18 on a display monitor or the like. Alternatively, the ultrasonic image and the photoacoustic image may be switched and displayed on the image display means 19 without performing image synthesis, or the photoacoustic image and the ultrasonic image may be displayed side by side at the same time.
光照射範囲設定手段２０は、超音波画像生成手段１６が生成した超音波画像中に、光音響画像を生成すべき範囲を設定する。光照射範囲設定手段２０は、例えば超音波画像生成手段１６が生成した超音波画像に、光照射部からレーザ光が照射される光照射範囲を重ねて表示し、ユーザに、光音響画像を生成すべき範囲の設定を促す。ユーザは、例えば操作部２６が有するトラックボールなどのポインティングデバイスなどを操作し、光照射範囲（光音響画像を生成する範囲）を移動させる。光照射範囲設定手段２０は、ユーザの操作に応じて、表示する光照射範囲の位置を移動させる。 The light irradiation range setting unit 20 sets a range in which a photoacoustic image is to be generated in the ultrasonic image generated by the ultrasonic image generation unit 16. For example, the light irradiation range setting unit 20 displays the light irradiation range irradiated with the laser light from the light irradiation unit on the ultrasonic image generated by the ultrasonic image generation unit 16 and generates a photoacoustic image to the user. Encourage the setting of the range to be performed. For example, the user operates a pointing device such as a trackball included in the operation unit 26 to move the light irradiation range (a range where a photoacoustic image is generated). The light irradiation range setting means 20 moves the position of the light irradiation range to be displayed in accordance with a user operation.
ファイバ位置制御手段２１は、光照射範囲制御手段であり、光照射部から、光照射範囲設定手段２０が設定した範囲に向けてレーザ光が照射されるように、光照射部を制御する。ファイバ位置制御手段２１は、例えばファイバ位置制御モータ２２を駆動することで光照射部である光ファイバ２３の出射端を変位させ、光照射部から出射するレーザ光の進行方向を制御する。 The fiber position control unit 21 is a light irradiation range control unit, and controls the light irradiation unit so that the laser beam is irradiated from the light irradiation unit toward the range set by the light irradiation range setting unit 20. The fiber position control means 21 drives the fiber position control motor 22, for example, to displace the emission end of the optical fiber 23 that is the light irradiation unit, and controls the traveling direction of the laser light emitted from the light irradiation unit.
ＣＰＵ（Central Processing Unit）２４は、断層画像生成装置１０内の各部を制御する。タイミング制御手段２５は、レーザ光の発光タイミングや、プローブ１１から被検体に超音波を送信するタイミング、及びＡＤコンバータ１５におけるサンプリング開始タイミングなどを制御する。超音波画像生成手段１６、光音響画像生成手段１７、画像合成手段１８、光照射範囲設定手段２０、ファイバ位置制御手段２１、及びタイミング制御手段２５は、ＣＰＵ２４とは異なるハードウェアによって実現されている必要はなく、それら手段の機能を、ＣＰＵ２４が所定のプログラムに従って処理を実行することで実現することとしてもよい。 A CPU (Central Processing Unit) 24 controls each unit in the tomographic image generation apparatus 10. The timing control means 25 controls the emission timing of the laser light, the timing of transmitting ultrasonic waves from the probe 11 to the subject, the sampling start timing in the AD converter 15, and the like. The ultrasonic image generation unit 16, the photoacoustic image generation unit 17, the image synthesis unit 18, the light irradiation range setting unit 20, the fiber position control unit 21, and the timing control unit 25 are realized by hardware different from the CPU 24. There is no need, and the functions of these means may be realized by the CPU 24 executing processing according to a predetermined program.
タイミング制御手段２５は、例えば超音波画像を生成するフレームでは、送信回路に対して超音波の送信を指示すると共に、ＡＤコンバータ１５に反射音響信号のサンプリング開始を指示する。また、反射音響信号の検出後、超音波画像生成手段１６に、超音波画像生成を指示する。一方、光音響画像を生成するフレームでは、光源１２に対してレーザ光照射を指示すると共に、レーザ光の発光タイミングに合わせてＡＤコンバータ１５に光音響信号のサンプリング開始を指示する。また、光音響信号の検出後、光音響画像生成手段１７に、光音響画像生成を指示する。 For example, in a frame for generating an ultrasonic image, the timing control unit 25 instructs the transmission circuit to transmit ultrasonic waves, and also instructs the AD converter 15 to start sampling the reflected acoustic signal. Further, after detecting the reflected acoustic signal, the ultrasonic image generating means 16 is instructed to generate an ultrasonic image. On the other hand, in the frame for generating the photoacoustic image, the light source 12 is instructed to irradiate the laser beam, and the AD converter 15 is instructed to start sampling of the photoacoustic signal in accordance with the emission timing of the laser beam. Further, after the photoacoustic signal is detected, the photoacoustic image generation unit 17 is instructed to generate a photoacoustic image.
図２（ａ）及び（ｂ）は、超音波画像の生成範囲と光音響画像の生成範囲とを示す。図２（ａ）は正面図であり、（ｂ）は側面図である。プローブ１１は、例えば一次元配列されたＣＨ０からＣＨ６３までの６４個の超音波振動子を有する。超音波画像の生成では、各超音波振動子に対して時間差を与えて超音波送信を行わせることで、セクタ走査を行う。超音波画像生成手段１６は、セクタ走査を行って検出された反射音響信号に基づいて、図２に画像範囲３０として示す範囲について、超音波画像を生成する。 2A and 2B show an ultrasonic image generation range and a photoacoustic image generation range. 2A is a front view, and FIG. 2B is a side view. The probe 11 has, for example, 64 ultrasonic transducers CH0 to CH63 arranged one-dimensionally. In the generation of an ultrasonic image, sector scanning is performed by causing each ultrasonic transducer to transmit ultrasonic waves with a time difference. The ultrasonic image generation means 16 generates an ultrasonic image for a range shown as an image range 30 in FIG. 2 based on the reflected acoustic signal detected by performing sector scanning.
光照射部を構成する光ファイバ２３の先端（出射端）は、ファイバ位置制御モータ２２を駆動することで向きが変位可能になっており、出射端の向きに応じて、レーザ光の照射範囲を変えることができる。レーザ光が照射される範囲は、図２に光照射範囲３１として示すように、超音波画像の画像範囲３０よりも狭い。本実施形態においては、レーザ光を照射する範囲と、光音響画像を生成する範囲とが一致しているものとする。すなわち、光照射範囲３１は、光音響画像の画像範囲を表しているものとする。 The direction of the tip (outgoing end) of the optical fiber 23 that constitutes the light irradiating portion can be displaced by driving the fiber position control motor 22, and the irradiation range of the laser light can be changed according to the orientation of the emitting end. Can be changed. The range irradiated with the laser light is narrower than the image range 30 of the ultrasonic image as shown as a light irradiation range 31 in FIG. In the present embodiment, it is assumed that the range in which the laser beam is irradiated matches the range in which the photoacoustic image is generated. That is, the light irradiation range 31 represents the image range of the photoacoustic image.
ユーザは、例えば表示された超音波画像を参照することで、光音響画像により観察したい部位の位置を特定する。例えば図２では、関心領域である測定対象物の領域３２が、一部、現在の光照射範囲３１から外れている。このような場合、ユーザは、例えば操作部２６のトラックボールを操作し、関心領域にレーザ光が照射されるように、光照射範囲３１を移動させる。 For example, the user specifies the position of the part to be observed from the photoacoustic image by referring to the displayed ultrasonic image. For example, in FIG. 2, the region 32 of the measurement object that is the region of interest is partly out of the current light irradiation range 31. In such a case, for example, the user operates the trackball of the operation unit 26 to move the light irradiation range 31 so that the region of interest is irradiated with the laser light.
図３は、光照射範囲の設定時の表示画面例を示す。ユーザは、光照射範囲を移動させたい方向に応じてトラックボールなどを操作する。光照射範囲設定手段２０は、ユーザ操作に応じて、ファイバ位置制御手段２１を介してファイバ位置制御モータ２２を駆動し、光照射範囲を変化させる。また、光照射範囲設定手段２０は、光照射範囲の移動に対応させて、超音波画像上に表示する光照射範囲３１を表すグラフィック表示を移動する。ユーザは、表示画面上で光照射範囲３１内に関心領域３２が入ることを確認して、所定のキーを操作し、光照射範囲を確定する。 FIG. 3 shows an example of a display screen when setting the light irradiation range. The user operates a trackball or the like according to the direction in which the light irradiation range is desired to be moved. The light irradiation range setting means 20 drives the fiber position control motor 22 via the fiber position control means 21 according to the user operation, and changes the light irradiation range. Further, the light irradiation range setting means 20 moves the graphic display representing the light irradiation range 31 displayed on the ultrasonic image in correspondence with the movement of the light irradiation range. The user confirms that the region of interest 32 enters the light irradiation range 31 on the display screen, and operates a predetermined key to determine the light irradiation range.
光照射範囲設定手段２０は、ユーザが確定した光照射範囲の空間位置情報をＣＰＵ２４に通知する。ＣＰＵ２４は、光音響画像生成手段１７に対して、確定した光照射範囲の空間位置情報、言い換えれば光音響画像を生成すべき範囲の空間位置情報を通知する。光音響画像生成手段１７は、例えば光照射範囲設定手段２０が設定した範囲内で走査線を走査し、光音響画像を生成する。 The light irradiation range setting means 20 notifies the CPU 24 of the spatial position information of the light irradiation range determined by the user. The CPU 24 notifies the photoacoustic image generation means 17 of the spatial position information of the determined light irradiation range, in other words, the spatial position information of the range where the photoacoustic image is to be generated. The photoacoustic image generation means 17 scans a scanning line within the range set by the light irradiation range setting means 20, for example, and generates a photoacoustic image.
図４は、動作例を示すタイミングチャートである。タイミング制御手段２５は、ＣＰＵ２４からの制御で、フレーム同期信号（ａ）を生成する。タイミング制御手段２５は、フレーム同期信号（ａ）に同期して、超音波画像又は光音響画像を生成させる。超音波画像を生成するフレームと、光音響画像を生成するフレームとの比率は、任意でよい。タイミング制御手段２５は、超音波画像を生成するフレームでは、送信回路１３に対して超音波送信を指示し、受信回路１４に対して反射超音波の受信を指示する。また、ＡＤコンバータ１５に対して、受信回路１４が受信する反射超音波のサンプリング開始を指示する。ＡＤコンバータ１５が所定の期間だけ反射超音波のサンプリングを行うことで、図示しない素子データメモリに、反射超音波のサンプリングデータが格納される（ｂ）。超音波画像生成手段１６は、プローブ１１の各素子で検出された反射超音波を位相整合加算し、超音波画像を生成する。 FIG. 4 is a timing chart showing an operation example. The timing control means 25 generates a frame synchronization signal (a) under the control of the CPU 24. The timing control means 25 generates an ultrasonic image or a photoacoustic image in synchronization with the frame synchronization signal (a). The ratio between the frame that generates the ultrasonic image and the frame that generates the photoacoustic image may be arbitrary. The timing control unit 25 instructs the transmission circuit 13 to transmit an ultrasonic wave and instructs the reception circuit 14 to receive a reflected ultrasonic wave in a frame for generating an ultrasonic image. In addition, the AD converter 15 is instructed to start sampling of reflected ultrasonic waves received by the receiving circuit 14. When the AD converter 15 samples the reflected ultrasound for a predetermined period, the reflected ultrasound sampling data is stored in an element data memory (not shown) (b). The ultrasonic image generation unit 16 adds the reflected ultrasonic waves detected by each element of the probe 11 in phase matching and generates an ultrasonic image.
一方、タイミング制御手段２５は、光音響画像を生成するフレームの直前のフレームのフレーム同期信号の立ち上がりタイミングで、光源１２にレーザ光照射を指示する（ｃ）。光源１２は、レーザ光照射の指示を受けてから、所定の時間後にレーザ光を出射する（ｄ）。タイミング制御手段２５は、受信回路１４に対して光音響信号の受信を指示する。また、レーザ光の実際の出射タイミングに合わせて、ＡＤコンバータ１５に対して光音響信号のサンプリング開始を指示する。ＡＤコンバータ１５が所定の期間だけ光音響信号のサンプリングを行うことで、図示しない素子データメモリに、光音響信号のサンプリングデータが格納される（ｅ）。光音響画像生成手段１７は、プローブ１１の各素子で検出された光音響信号を位相整合加算し、光音響画像を生成する。 On the other hand, the timing control means 25 instructs the light source 12 to irradiate laser light at the rising timing of the frame synchronization signal of the frame immediately before the frame for generating the photoacoustic image (c). The light source 12 emits the laser beam after a predetermined time after receiving the laser beam irradiation instruction (d). The timing control means 25 instructs the reception circuit 14 to receive a photoacoustic signal. Further, the AD converter 15 is instructed to start sampling of the photoacoustic signal in accordance with the actual emission timing of the laser light. When the AD converter 15 samples the photoacoustic signal only for a predetermined period, the photoacoustic signal sampling data is stored in an element data memory (not shown) (e). The photoacoustic image generation means 17 phase-match-adds the photoacoustic signals detected by each element of the probe 11 to generate a photoacoustic image.
図５は、光音響画像生成の際の走査線を示す。プローブ１１は、例えば６４個の超音波振動子有している。紙面向って一番右側がＣＨ０で、一番左側がＣＨ６３であるとする。光音響画像生成手段１７は、例えば６４個の超音波振動子の中央を通る走査線を光照射範囲３１内に設定し、各走査線において、６４ｃｈ分の光音響信号を位相整合加算する。 FIG. 5 shows scanning lines when generating a photoacoustic image. The probe 11 has, for example, 64 ultrasonic transducers. It is assumed that the rightmost side is CH0 and the leftmost side is CH63. The photoacoustic image generation means 17 sets, for example, a scanning line passing through the center of 64 ultrasonic transducers within the light irradiation range 31, and adds 64 ch of photoacoustic signals in phase matching for each scanning line.
図６に、光音響信号の位相整合加算を示す。位相整合加算は、時刻をｔ、超音波振動子の位置に応じた遅延量をｔｄｌｙｉ（ｉはｃｈ番号で０〜６３）として、
図７は、動作手順を示す。送信回路１３は、プローブ１１が有する複数の超音波振動子を駆動し、プローブ１１から被検体内に超音波を送信させる（ステップＳ１）。受信回路１４は、プローブ１１の各超音波振動子が検出した反射超音波を受信し、ＡＤコンバータ１５は、受信された反射超音波をＡＤ変換する（ステップＳ２）。超音波画像生成手段１６は、位相整合手段１６１により、ＡＤ変換された反射超音波のサンプリングデータに対して位相整合加算を行い（ステップＳ３）、画像構築手段１６２により、位相加算された反射超音波から超音波画像を生成する（ステップＳ４）。 FIG. 7 shows an operation procedure. The transmission circuit 13 drives a plurality of ultrasonic transducers included in the probe 11 to transmit ultrasonic waves from the probe 11 into the subject (step S1). The receiving circuit 14 receives the reflected ultrasonic waves detected by the respective ultrasonic transducers of the probe 11, and the AD converter 15 performs AD conversion on the received reflected ultrasonic waves (step S2). The ultrasonic image generation unit 16 performs phase matching addition on the sampling data of the reflected ultrasonic wave that has been AD converted by the phase matching unit 161 (step S3), and the reflected ultrasonic wave that has been phase-added by the image construction unit 162. An ultrasonic image is generated from (Step S4).
光照射範囲設定手段２０は、超音波画像に、レーザ光の照射範囲を重ねて表示し、ユーザに光照射範囲の設定を促す。ユーザは、超音波画像を見ながら操作部２６を操作し、所望の観察対象（関心領域）が光照射範囲内に入るように、光照射範囲を設定する（ステップＳ５）。ファイバ位置制御手段２１は、ファイバ位置制御モータ２２を駆動し、ユーザが設定した光照射範囲にレーザ光が照射されるように、光照射部である光ファイバ２３の出射端の向きを制御する（ステップＳ６）。光照射範囲設定手段２０は、ユーザが光照射範囲の設定を確定する操作を行うと、光照射範囲の空間情報をＣＰＵ２４に通知する（ステップＳ７）。 The light irradiation range setting means 20 superimposes and displays the laser light irradiation range on the ultrasonic image, and prompts the user to set the light irradiation range. The user operates the operation unit 26 while viewing the ultrasonic image, and sets the light irradiation range so that a desired observation target (region of interest) falls within the light irradiation range (step S5). The fiber position control means 21 drives the fiber position control motor 22 and controls the direction of the emission end of the optical fiber 23 that is a light irradiation unit so that the laser light is irradiated to the light irradiation range set by the user ( Step S6). When the user performs an operation to confirm the setting of the light irradiation range, the light irradiation range setting unit 20 notifies the CPU 24 of the spatial information of the light irradiation range (step S7).
光照射範囲の設定後、タイミング制御手段２５は、ＣＰＵ２４からの指示により、光源１２に発光指令を送る。光源１２は、発光指令を受け取ると、所定時間の経過後にレーザ光を出射する。出射したレーザ光は、光ファイバ２３の出射端から被検体に照射される（ステップＳ８）。受信回路１４は、プローブ１１の各超音波振動子が検出した光音響信号を受信し、ＡＤコンバータ１５は、受信された光音響信号をＡＤ変換する（ステップＳ９）。光音響画像生成手段１７は、位相整合手段１７１により、ＡＤ変換された光音響信号のサンプリングデータに対して位相整合加算を行い（ステップＳ１０）、画像構築手段１７２により、位相加算された光音響信号から光音響画像を生成する（ステップＳ１１）。 After setting the light irradiation range, the timing control means 25 sends a light emission command to the light source 12 according to an instruction from the CPU 24. When receiving the light emission command, the light source 12 emits a laser beam after a predetermined time has elapsed. The emitted laser light is applied to the subject from the emission end of the optical fiber 23 (step S8). The receiving circuit 14 receives the photoacoustic signal detected by each ultrasonic transducer of the probe 11, and the AD converter 15 performs AD conversion on the received photoacoustic signal (step S9). The photoacoustic image generation means 17 performs phase matching addition on the sampling data of the photoacoustic signal AD-converted by the phase matching means 171 (step S10), and the photoacoustic signal phase-added by the image construction means 172. A photoacoustic image is generated from (step S11).
本実施形態では、光音響画像の生成の前に超音波画像の生成を行い、超音波画像中に、超音波画像の画像範囲よりも狭い光照射範囲を設定する。光音響画像の生成では、超音波画像を用いて設定した光照射範囲にレーザ光を照射し、その範囲で光音響画像を生成する。超音波画像を観察して、光音響画像で観察したい関心領域の位置を確認し、その関心領域が光照射範囲内に含まれるように光照射範囲を設定することで、関心領域部分を光音響画像で画像化することができる。特に、超音波画像に光照射範囲を重ねて表示し、ユーザ操作に従って重ねて表示する光照射範囲を移動させることで、ユーザは、光照射範囲と関心領域との位置関係を把握しながら、光照射範囲の調整を行うことができる。 In the present embodiment, an ultrasonic image is generated before generating a photoacoustic image, and a light irradiation range narrower than the image range of the ultrasonic image is set in the ultrasonic image. In the generation of the photoacoustic image, laser light is irradiated to the light irradiation range set using the ultrasonic image, and the photoacoustic image is generated within the range. Observe the ultrasound image, confirm the position of the region of interest to be observed with the photoacoustic image, and set the light irradiation range so that the region of interest is included in the light irradiation range. Can be imaged with images. In particular, by displaying the light irradiation range in an overlapping manner on the ultrasonic image and moving the light irradiation range to be displayed in accordance with the user operation, the user can grasp the positional relationship between the light irradiation range and the region of interest while The irradiation range can be adjusted.
ここで、光音響画像の画像範囲を超音波画像の画像範囲と同様な範囲まで広げることを考えると、十分な強度で光音響信号を検出するためには、光源１２が出射するレーザ光のレーザパワーを増大させる必要がある。光ファイバ２３へのダメージや消費電力を考慮すると、大パワーのレーザ光の使用は好ましくない。本実施形態では、光照射範囲を超音波画像の画像範囲よりも狭くしているため、大パワーのレーザ光を光ファイバ２３に入射する必要がなく、光ファイバ２３の損傷を抑えることができると共に消費電力低減が可能である。 Here, in consideration of extending the image range of the photoacoustic image to a range similar to the image range of the ultrasonic image, in order to detect the photoacoustic signal with sufficient intensity, the laser of the laser light emitted from the light source 12 is used. It is necessary to increase power. Considering damage to the optical fiber 23 and power consumption, it is not preferable to use a high-power laser beam. In the present embodiment, since the light irradiation range is narrower than the image range of the ultrasonic image, it is not necessary to enter high-power laser light into the optical fiber 23, and damage to the optical fiber 23 can be suppressed. Power consumption can be reduced.
一方で、光照射範囲を狭めると、光音響画像の画像範囲が狭くなる。超音波画像の画像範囲に比して光音響画像の画像範囲が狭くなると、適切に光照射範囲を設定しないと、超音波画像では観察可能な関心領域が、光音響画像で観察できなくなる。本実施形態では、超音波画像を用いて光照射範囲を設定しているため、超音波探触子を移動しながらレーザ光の照射と光音響画像の生成とを繰り返し行わなくても、関心領域にレーザ光を照射することができる。本実施形態では、簡易に関心領域にレーザ光を照射することができるため、関心領域を光音響画像で画像化する際の不要なレーザ発光を抑制することができる。 On the other hand, when the light irradiation range is narrowed, the image range of the photoacoustic image is narrowed. If the image range of the photoacoustic image is narrower than the image range of the ultrasonic image, the region of interest that can be observed in the ultrasonic image cannot be observed in the photoacoustic image unless the light irradiation range is set appropriately. In this embodiment, since the light irradiation range is set using the ultrasonic image, the region of interest can be obtained without repeatedly performing laser light irradiation and photoacoustic image generation while moving the ultrasonic probe. Can be irradiated with laser light. In the present embodiment, since the region of interest can be easily irradiated with laser light, unnecessary laser emission when the region of interest is imaged with a photoacoustic image can be suppressed.
なお、上記実施形態では、光照射範囲設定手段２０が、ユーザ操作に応じて光照射範囲を設定することとして説明したが、これに代えて、光照射範囲設定手段２０が、超音波画像又はその生成元の反射超音波に基づいて、光照射範囲（光音響画像を生成すべき範囲）を設定することとしてもよい。例えば、光照射範囲設定手段２０は、超音波画像の画素値（輝度値）に基づいて関心領域を抽出し、抽出した関心領域の位置を含む範囲を光照射範囲として設定してもよい。これに代えて、又は加えて、光照射範囲設定手段２０が、反射超音波からドプラー成分検出し、大きいドプラー成分が検出される領域を含む範囲を光照射範囲として設定してもよい。ユーザは、光照射範囲設定手段２０が、超音波画像に基づいてどのように光照射範囲を設定するかを、設定（選択）することができる。 In the above-described embodiment, the light irradiation range setting unit 20 has been described as setting the light irradiation range in accordance with a user operation. Instead, the light irradiation range setting unit 20 includes an ultrasonic image or an image thereof. A light irradiation range (a range in which a photoacoustic image is to be generated) may be set based on the reflected ultrasound of the generation source. For example, the light irradiation range setting unit 20 may extract a region of interest based on the pixel value (luminance value) of the ultrasound image, and set a range including the extracted position of the region of interest as the light irradiation range. Instead of or in addition to this, the light irradiation range setting means 20 may detect a Doppler component from the reflected ultrasonic wave and set a range including a region where a large Doppler component is detected as the light irradiation range. The user can set (select) how the light irradiation range setting means 20 sets the light irradiation range based on the ultrasonic image.
光照射範囲設定手段２０は、超音波画像から関心領域を抽出する際に、観察対象と、その観察対象の超音波画像からの抽出条件とを対応付けて記憶するテーブルを用いてもよい。例えば、観察対象「嚢胞」に対して、「中輝度組織部における低エコー部」を抽出条件としてテーブルに登録しておき、観察対象「腫瘍」に対して、「中輝度組織部における高エコー部」を抽出条件としてテーブルに登録しておく。ユーザが観察対象を指定すると、光照射範囲設定手段２０は、指定された観察対象に対応する抽出条件をテーブルから読み出し、読み出した抽出条件に従って超音波画像から観察対象を抽出する。例えばユーザが「嚢胞」を観察対象として指定したときは、それに対応する抽出条件「中輝度組織部における低エコー部」を読み出し、その抽出条件に従って超音波画像から「嚢胞」部分を抽出すればよい。光照射範囲設定手段２０が自動設定した光照射範囲に対し、更にユーザが任意に光照射範囲を調整できるようにしてもよい。 When extracting the region of interest from the ultrasonic image, the light irradiation range setting unit 20 may use a table that stores the observation target and the extraction condition from the ultrasonic image of the observation target in association with each other. For example, for the observation target “cyst”, “low echo part in medium luminance tissue part” is registered in the table as an extraction condition, and for the observation target “tumor”, “high echo part in medium luminance tissue part” "Is registered in the table as an extraction condition. When the user designates the observation target, the light irradiation range setting unit 20 reads out the extraction condition corresponding to the designated observation target from the table, and extracts the observation target from the ultrasonic image according to the read out extraction condition. For example, when the user designates “cyst” as an observation target, the corresponding extraction condition “low echo part in medium luminance tissue part” is read, and the “cyst” part is extracted from the ultrasound image according to the extraction condition . The user may arbitrarily adjust the light irradiation range with respect to the light irradiation range automatically set by the light irradiation range setting means 20.
図８は、本発明の第２実施形態の断層画像生成装置を示す。本実施形態の断層画像生成装置１０ａは、図１に示す第１実施形態の断層画像生成装置１０の構成に加えて、位置センサ２７及び位置測定手段２８を更に有する。位置センサ２７は、プローブ１１の位置を検出するためのセンサである。位置センサ２７には磁気センサを用いることができる。位置測定手段２８は、位置センサ２７からの信号に基づいて、音響波（光音響波又は反射音響波）の検出時のプローブ１１の位置を測定する。 FIG. 8 shows a tomographic image generation apparatus according to the second embodiment of the present invention. The tomographic image generation apparatus 10a of the present embodiment further includes a position sensor 27 and a position measurement unit 28 in addition to the configuration of the tomographic image generation apparatus 10 of the first embodiment shown in FIG. The position sensor 27 is a sensor for detecting the position of the probe 11. A magnetic sensor can be used as the position sensor 27. The position measuring unit 28 measures the position of the probe 11 when detecting an acoustic wave (photoacoustic wave or reflected acoustic wave) based on a signal from the position sensor 27.
プローブ１１は、音響波検出手段１１ａと音響波送信手段１１ｂをと含んでいる。音響波検出手段１１ａには、光音響用に受信帯域が広いＰＶＤＦ（ポリフッ化ビニリデン）などの素子が用いられる。一方、音響波送信手段１１ｂには、ＰＺＴ（チタン酸ジルコン酸鉛）などの素子が用いられる。例えば音響波検出手段１１ａと音響波送信手段１１ｂとが分離している場合、位置センサ２７は、音響波検出手段１１ａに取り付けられていればよい。 The probe 11 includes an acoustic wave detection unit 11a and an acoustic wave transmission unit 11b. For the acoustic wave detection means 11a, an element such as PVDF (polyvinylidene fluoride) having a wide reception band for photoacoustics is used. On the other hand, an element such as PZT (lead zirconate titanate) is used for the acoustic wave transmitting means 11b. For example, when the acoustic wave detection unit 11a and the acoustic wave transmission unit 11b are separated, the position sensor 27 may be attached to the acoustic wave detection unit 11a.
本実施形態では、超音波画像生成手段１６及び光音響画像生成手段２７の少なくとも一方が、位置測定手段２８で測定された音響波検出時の音響波検出手段１１ａの位置情報を用いて三次元画像データ（ボリュームデータ）を生成することができる。例えば、位置測定手段２８で測定された位置情報はＣＰＵ２４に入力され、ＣＰＵ２４は、超音波画像生成手段１６及び光音響画像生成手段１７を、複数の超音波画像及び光音響画像を音響波検出時の音響波検出手段１１ａの位置に応じて結合させるように制御する。このようにすることで、光音響画像及び超音波画像の三次元画像データが生成できる。超音波画像生成手段１６及び光音響画像生成手段１７は、プローブ１１の走査に同期してリアルタイムで三次元画像データを生成してもよい。あるいは、検出対象空間の走査が終わった後に、三次元画像データを生成するようにしてもよい。 In the present embodiment, at least one of the ultrasonic image generation unit 16 and the photoacoustic image generation unit 27 uses a position information of the acoustic wave detection unit 11a at the time of acoustic wave detection measured by the position measurement unit 28 to obtain a three-dimensional image. Data (volume data) can be generated. For example, the position information measured by the position measuring unit 28 is input to the CPU 24. The CPU 24 causes the ultrasonic image generating unit 16 and the photoacoustic image generating unit 17 to detect a plurality of ultrasonic images and photoacoustic images at the time of acoustic wave detection. The acoustic wave detection means 11a is controlled to be coupled according to the position. By doing in this way, the three-dimensional image data of a photoacoustic image and an ultrasonic image can be produced | generated. The ultrasonic image generation unit 16 and the photoacoustic image generation unit 17 may generate three-dimensional image data in real time in synchronization with the scanning of the probe 11. Alternatively, the three-dimensional image data may be generated after the detection target space has been scanned.
本実施形態では、光源１２は、相互に異なる複数の波長のレーザ光を出射可能に構成されている。操作部２６には、例えば波長選択の操作を受け付けるための波長選択スイッチが設けられている。ユーザは、例えば操作部２６に設けられた波長選択スイッチを操作することで、光源１２が出射可能な複数の波長の中から、被検体に照射されるレーザ光の波長を選択することができる。ユーザは、例えば観察対象部位や使用したい機能画像種類に応じてレーザ波長を選択する。複数波長の光を被検体に照射する場合、光照射範囲設定手段２０は、波長ごとに、光照射範囲を設定してもよい。 In the present embodiment, the light source 12 is configured to be able to emit laser beams having a plurality of different wavelengths. The operation unit 26 is provided with a wavelength selection switch for receiving, for example, a wavelength selection operation. For example, the user can select the wavelength of the laser beam irradiated on the subject from a plurality of wavelengths that can be emitted by the light source 12 by operating a wavelength selection switch provided in the operation unit 26. The user selects a laser wavelength according to, for example, the observation target region and the type of functional image desired to be used. When irradiating a subject with light of a plurality of wavelengths, the light irradiation range setting unit 20 may set a light irradiation range for each wavelength.
本実施形態では、位置センサ２７を設け、位置測定手段２８によりプローブ１１の位置を測定する。音響波検出時のプローブ１１の位置を測定することで、検出された音響波に基づいて生成された超音波画像及び光音響画像と被検体における位置とを対応付けることができる。そのような位置情報を用いることで、超音波画像及び光音響画像の三次元画像データを構築することができる。また、本実施形態では、光源１２が複数の波長の光を出射可能に構成されており、ユーザは、任意の波長を選択して被検体に対する光照射を行わせることができる。 In the present embodiment, a position sensor 27 is provided, and the position measuring means 28 measures the position of the probe 11. By measuring the position of the probe 11 at the time of acoustic wave detection, the ultrasonic image and photoacoustic image generated based on the detected acoustic wave can be associated with the position in the subject. By using such position information, three-dimensional image data of an ultrasonic image and a photoacoustic image can be constructed. Further, in the present embodiment, the light source 12 is configured to be able to emit light of a plurality of wavelengths, and the user can select an arbitrary wavelength and perform light irradiation on the subject.
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の断層画像生成装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。 Although the present invention has been described based on the preferred embodiment, the tomographic image generation apparatus, method, and program according to the present invention are not limited to the above embodiment, and various configurations are possible from the configuration of the above embodiment. Those modified and changed as described above are also included in the scope of the present invention.
１０：断層画像生成装置
１１：プローブ
１２：光源
１３：送信回路
１４：受信回路
１５：ＡＤコンバータ
１６：超音波画像生成手段
１７：光音響画像生成手段
１８：画像合成手段
１９：画像表示手段
２０：光照射範囲設定手段
２１：ファイバ位置制御手段
２２：ファイバ位置制御モータ
２３：光ファイバ
２４：ＣＰＵ
２５：タイミング制御手段
２６：操作部
２７：位置センサ
２８：位置測定手段
３０：超音波画像の画像範囲
３１：光照射範囲（光音響画像の画像範囲）
３２：関心領域
１６１、１７１：位相整合手段
１６２、１７２：画像構築手段
10: tomographic image generation device 11: probe 12: light source 13: transmission circuit 14: reception circuit 15: AD converter 16: ultrasonic image generation means 17: photoacoustic image generation means 18: image composition means 19: image display means 20: Light irradiation range setting means 21: fiber position control means 22: fiber position control motor 23: optical fiber 24: CPU
25: Timing control means 26: Operation unit 27: Position sensor 28: Position measurement means 30: Image range 31 of ultrasonic image 31: Light irradiation range (image range of photoacoustic image)
32: Region of interest 161, 171: Phase matching means 162, 172: Image construction means
Claims (14)
前記光源ユニットから出射した光を、被検体に向けて所定の光照射範囲で照射する光照射部と、
被検体に対して音響波の送信を行う音響波送信手段と、
前記光の照射により被検体内で生じた光音響波、及び前記送信された音響波に対する反射音響波を検出する音響波検出手段と、
前記音響波検出手段が検出した反射音響波に基づいて、前記光照射範囲よりも広い範囲で反射音響波画像を生成する反射音響波画像生成手段と、
前記反射音響波画像生成手段が生成した反射音響波中に、光音響画像を生成すべき範囲を設定する光照射範囲設定手段と、
前記光照射部から、前記光照射範囲設定手段が設定した範囲に向けて光が照射されるように前記光照射部を制御する光照射範囲制御手段と、
前記音響波検出手段が検出した光音響波に基づいて、前記光照射範囲設定手段が設定した範囲で光音響画像生成する光音響画像生成手段とを備えたことを特徴とする断層画像生成装置。 A light source unit;
A light irradiation unit that emits light emitted from the light source unit toward a subject in a predetermined light irradiation range;
An acoustic wave transmitting means for transmitting an acoustic wave to the subject;
An acoustic wave detecting means for detecting a photoacoustic wave generated in the subject by the irradiation of light and a reflected acoustic wave with respect to the transmitted acoustic wave;
Based on the reflected acoustic wave detected by the acoustic wave detecting means, a reflected acoustic wave image generating means for generating a reflected acoustic wave image in a range wider than the light irradiation range;
In the reflected acoustic wave generated by the reflected acoustic wave image generating means, a light irradiation range setting means for setting a range in which a photoacoustic image is to be generated;
A light irradiation range control means for controlling the light irradiation section so that light is emitted from the light irradiation section toward the range set by the light irradiation range setting means;
A tomographic image generation apparatus comprising: a photoacoustic image generation unit configured to generate a photoacoustic image within a range set by the light irradiation range setting unit based on a photoacoustic wave detected by the acoustic wave detection unit.
前記位置センサからの信号に基づいて前記音響波検出手段の位置を測定する位置測定手段とを更に含むことを特徴とする請求項１から９何れかに記載の断層画像生成装置。 A position sensor for detecting the position of the acoustic wave detection means;
The tomographic image generation apparatus according to claim 1, further comprising a position measurement unit that measures a position of the acoustic wave detection unit based on a signal from the position sensor.
前記検出された反射音響波に基づいて反射音響波画像を生成するステップと、
前記生成された反射音響波画像中に、該反射音響波画像よりも狭い範囲で光音響画像を生成すべき範囲を設定するステップと、
被検体に対し、前記設定された範囲に向けて光を照射するステップと、
前記光の照射により被検体内で生じた光音響波を検出するステップと、
前記検出された光音響波に基づいて、前記設定された範囲で光音響画像を生成するステップとを有する断層画像生成方法。 Transmitting acoustic waves to the subject and detecting reflected acoustic waves with respect to the transmitted acoustic waves;
Generating a reflected acoustic wave image based on the detected reflected acoustic wave;
In the generated reflected acoustic wave image, setting a range in which a photoacoustic image is to be generated in a narrower range than the reflected acoustic wave image;
Irradiating the subject with light toward the set range;
Detecting a photoacoustic wave generated in the subject by the light irradiation;
A tomographic image generation method comprising: generating a photoacoustic image in the set range based on the detected photoacoustic wave.
前記生成された反射音響波画像中に、該反射音響波画像よりも狭い範囲で光音響画像を生成すべき範囲を設定する工程と、
被検体に対して前記設定された範囲で光が照射されるように、被検体に対する光照射を制御する工程と、
前記光の照射により被検体内で生じた光音響信号の検出結果に基づいて、前記設定された範囲で光音響画像を生成する工程とをコンピュータに実行させるためのプログラム。 Generating a reflected acoustic wave image based on the detection result of the reflected acoustic wave with respect to the acoustic wave transmitted into the subject;
In the generated reflected acoustic wave image, setting a range for generating a photoacoustic image in a range narrower than the reflected acoustic wave image;
A step of controlling light irradiation on the subject so that light is irradiated on the subject in the set range; and
A program for causing a computer to execute a step of generating a photoacoustic image in the set range based on a detection result of a photoacoustic signal generated in a subject by the irradiation of light.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012098320A JP5681141B2 (en) | 2011-05-13 | 2012-04-24 | Tomographic image generating apparatus, method, and program |
| PCT/JP2012/003059 WO2012157221A1 (en) | 2011-05-13 | 2012-05-10 | Tomographic image generating device, method, and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011107766 | 2011-05-13 | ||
| JP2011107766 | 2011-05-13 | ||
| JP2012098320A JP5681141B2 (en) | 2011-05-13 | 2012-04-24 | Tomographic image generating apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012254284A JP2012254284A (en) | 2012-12-27 |
| JP5681141B2 true JP5681141B2 (en) | 2015-03-04 |
Family
ID=47176573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012098320A Active JP5681141B2 (en) | 2011-05-13 | 2012-04-24 | Tomographic image generating apparatus, method, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5681141B2 (en) |
| WO (1) | WO2012157221A1 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5896812B2 (en) | 2012-04-05 | 2016-03-30 | キヤノン株式会社 | Subject information acquisition device |
| JP6184146B2 (en) * | 2013-03-26 | 2017-08-23 | キヤノン株式会社 | Subject information acquisition apparatus and control method thereof |
| JP6388360B2 (en) * | 2013-12-27 | 2018-09-12 | キヤノン株式会社 | SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE |
| US10539675B2 (en) * | 2014-10-30 | 2020-01-21 | Seno Medical Instruments, Inc. | Opto-acoustic imaging system with detection of relative orientation of light source and acoustic receiver using acoustic waves |
| WO2017138459A1 (en) | 2016-02-08 | 2017-08-17 | 富士フイルム株式会社 | Acoustic wave image generation device and acoustic wave image generation method |
| WO2018008661A1 (en) * | 2016-07-08 | 2018-01-11 | キヤノン株式会社 | Control device, control method, control system, and program |
| JP2018068749A (en) * | 2016-10-31 | 2018-05-10 | キヤノン株式会社 | Information acquisition apparatus and information acquisition method |
| JP2018089346A (en) * | 2016-11-25 | 2018-06-14 | キヤノン株式会社 | Photoacoustic apparatus, image display method and program |
| JP6305587B2 (en) * | 2017-02-09 | 2018-04-04 | キヤノン株式会社 | Photoacoustic wave receiving device, apparatus, and photoacoustic wave receiving method |
| US20210275040A1 (en) * | 2020-03-05 | 2021-09-09 | Koninklijke Philips N.V. | Ultrasound-based guidance for photoacoustic measurements and associated devices, systems, and methods |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL138073A0 (en) * | 2000-08-24 | 2001-10-31 | Glucon Inc | Photoacoustic assay and imaging system |
| JP2008079835A (en) * | 2006-09-27 | 2008-04-10 | Toshiba Corp | Tumor detection device |
| JP4763095B2 (en) * | 2009-06-08 | 2011-08-31 | オリンパスメディカルシステムズ株式会社 | Biological observation device |
-
2012
- 2012-04-24 JP JP2012098320A patent/JP5681141B2/en active Active
- 2012-05-10 WO PCT/JP2012/003059 patent/WO2012157221A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012254284A (en) | 2012-12-27 |
| WO2012157221A1 (en) | 2012-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5681141B2 (en) | Tomographic image generating apparatus, method, and program | |
| JP5655021B2 (en) | Photoacoustic imaging method and apparatus | |
| JP6177530B2 (en) | Doppler measuring device and doppler measuring method | |
| JP5777394B2 (en) | Photoacoustic imaging method and apparatus | |
| JP5683383B2 (en) | Photoacoustic imaging apparatus and method of operating the same | |
| US20160324423A1 (en) | Photoacoustic measurement apparatus and signal processing device and signal processing method for use therein | |
| US20160150973A1 (en) | Subject information acquisition apparatus | |
| JP2015054056A (en) | Ultrasonic diagnostic device and ultrasonic imaging program | |
| US11337674B2 (en) | Ultrasonography apparatus and control method | |
| JP2013027481A (en) | Photoacoustic imaging system and apparatus, and probe unit used therefor | |
| WO2013161289A1 (en) | Acoustic wave diagnosis device and image display method | |
| JP2012223367A (en) | Photoacoustic image generation apparatus and method | |
| JP5936559B2 (en) | Photoacoustic image generation apparatus and photoacoustic image generation method | |
| WO2012114695A1 (en) | Photoacoustic image generation device | |
| JP2013111432A (en) | Photoacoustic image generation apparatus and photoacoustic image generation method | |
| JP6328778B2 (en) | Method of operating photoacoustic image generation apparatus and photoacoustic image generation apparatus | |
| JP2015173922A (en) | Ultrasonic diagnostic device and ultrasonic diagnostic device controlling method | |
| CN111727013A (en) | Imaging method and imaging system | |
| JP6318587B2 (en) | Ultrasonic diagnostic apparatus and control method of ultrasonic diagnostic apparatus | |
| JP5946230B2 (en) | Photoacoustic imaging method and apparatus | |
| JP2010082268A (en) | Ultrasonograph | |
| JP2013172810A (en) | Photoacoustic image processing device and method | |
| JP2009284941A (en) | Ultrasonic device | |
| JP2024025865A (en) | Control method for ultrasonic diagnostic equipment and ultrasonic diagnostic equipment | |
| WO2019111552A1 (en) | Ultrasonic diagnostic device and method of controlling ultrasonic diagnostic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5681141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |