JP2011120765A - 画像生成装置、画像生成方法、及び、プログラム - Google Patents
画像生成装置、画像生成方法、及び、プログラム Download PDFInfo
- Publication number
- JP2011120765A JP2011120765A JP2009281452A JP2009281452A JP2011120765A JP 2011120765 A JP2011120765 A JP 2011120765A JP 2009281452 A JP2009281452 A JP 2009281452A JP 2009281452 A JP2009281452 A JP 2009281452A JP 2011120765 A JP2011120765 A JP 2011120765A
- Authority
- JP
- Japan
- Prior art keywords
- image
- speed
- subject
- detection
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 150
- 239000000523 sample Substances 0.000 claims description 18
- 230000001902 propagating effect Effects 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 24
- 239000006185 dispersion Substances 0.000 abstract description 3
- 238000003325 tomography Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 9
- 239000006096 absorbing agent Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 2
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229920001817 Agar Polymers 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 239000008272 agar Substances 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 229940028435 intralipid Drugs 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4312—Breast evaluation or disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8965—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using acousto-optical or acousto-electronic conversion techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52046—Techniques for image enhancement involving transmitter or receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/523—Details of pulse systems
- G01S7/526—Receivers
- G01S7/527—Extracting wanted echo signals
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Acoustics & Sound (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Gynecology & Obstetrics (AREA)
- Reproductive Health (AREA)
- Artificial Intelligence (AREA)
- Power Engineering (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
【解決手段】本発明の画像生成装置は、被検体内の一部分に注目領域を設定し、各検出素子から注目領域までの距離と、仮定の速度とに基づいて各検出信号の位相を調整し、該位相が調整された複数の検出信号の強度のばらつきを算出する処理を、複数の仮定の速度に対して実行し、複数の仮定の速度のうち、強度のばらつきが最小となる速度を伝播速度に決定する決定手段を有することを特徴とする。
【選択図】図1
Description
ある。光音響トモグラフィー装置では、被検体内を伝播し、拡散した光のエネルギーを吸収した生体組織から発生される音響波(典型的に超音波である)を、被検体を取り囲む複数の個所で検出する。そして、得られた信号を数学的に解析処理し、被検体内部の光学特性値、特に吸収係数分布に関連した情報を可視化する。近年、この光音響トモグラフィー装置を用いて、小動物の血管像をイメージングする前臨床研究や、この原理を乳がんなどの診断に応用する臨床研究が積極的に進められている。
する決定手段と、決定手段で決定された伝播速度と、複数の検出素子から得られる複数の検出信号とを用いて被検体内部の情報を表す画像を再構成する画像生成手段と、を有し、決定手段は、被検体内の一部分に注目領域を設定し、各検出素子から注目領域までの距離と、仮定の速度とに基づいて各検出信号の位相を調整し、該位相が調整された複数の検出信号の強度のばらつきを算出する処理を、複数の仮定の速度に対して実行し、複数の仮定の速度のうち、強度のばらつきが最小となる速度を伝播速度に決定することを特徴とする。
以下、本発明の原理について説明する。
図1は本発明の原理を示す模式図である。図1において、符号1は(被検体内部の)音源、符号2はボクセル(あるいはピクセル)、符号3は検出素子を示す。各検出素子は、時間分割測定により被検体内部から伝播してくる音響波を検出して、検出信号を出力する。なお、検出素子3の数はN(Nは2以上の整数)個とする。
一般的に、音響波(超音波)を利用した画像生成装置では、複数の検出素子iから得られる複数の検出信号S(i,t)を用いて被検体内部の情報を表す画像を再構成する。こ
のような画像は再構成画像と呼ばれ、再構成画像が3次元画像(ボクセルの集合体)の場合にはボリュームデータとも呼ばれる。再構成画像が2次元画像の場合にはピクセルデータとも呼ばれる。再構成画像の各画素(ボクセルあるいはピクセル)は、一般的には各検出素子からその画素に対応する位置までの距離と伝播速度(被検体内部における音響波の伝播速度)に基づいて位相が調整された検出信号から算出される。ただし、フーリエドメイン法などでは、周波数空間での演算により、画像が再構成される。なお、図1においてiは検出素子の番号(0からN−1の範囲の整数)、tは時間を示す。
以下、一般的な画像再構成法であるタイムドメイン法について具体的に説明する。まず、検出素子毎に、i番目の検出素子から再構成画像内の或る画素に対応する位置までの距離を伝播速度で除算する。それにより、その画素位置で音響波が発生した場合において、該音響波が検出素子iに到達するまでの時間τi(遅延時間)を算出する(発生時刻をt=0とする)。そして、検出素子毎に、時間τiのときの検出信号の強度S(i,τi)を算出し、それらを足し合わせることにより、再構成画像の画素を生成する(同様に複数の位置について画素を生成することにより、再構成画像が生成される)。このような再構成画像の生成方法において、各ボクセル(またはピクセル)のデータが最大になるように伝播速度、すなわち時間τiを決定するのが特許文献1に開示の技術である。なお、強度S(i,τi)は時間τiでの検出信号S(i,t)の強度(位相が調整された検出信号の強度)を示す。
ここで、S(i)は、検出素子iから出力され、位相が調整された検出信号の強度、即ち、ある速度に基づいて算出された時間τiでの検出信号の強度S(i,τi)である。S(i)が検出素子によらず同じ値となる場合、指標CF=1となり、S(i)の値のばらつきが大きいほど、指標CFは0に近づく。つまり、強度S(i,τi)のばらつきが大きいほど、指標CFは0に近い値となり、ばらつきが小さいほど1に近い値となる。本発明では、強度S(i,τi)のばらつきが最小、すなわち指標CFが最大となる速度を伝播速度に決定する。なお、指標はCFに限らない。分散値や標準偏差値など統計分野で使われる尺度を用いてばらつきを評価しても良い。
能となる。また、本発明では、強度S(i,τi)のばらつきを最小とする領域を制限することにより、バックグラウンドノイズの増加を抑制することができる。また、本発明では、強度S(i,τi)のばらつきが最小となる速度を伝播速度とするため、検出信号にノイズがランダム含まれていたとしても、そのノイズを平均化することができる(即ち、ノイズの影響を小さくすることができる)。その結果、検出信号にノイズが含まれていても、実際の伝播速度を精度良く推測することができる。
そのため、本発明によれば、ノイズおよび画像生成時に用いた速度と実際の伝播速度との不一致による画質劣化が抑制された、被検体内部の情報を表す画像を再構成することができる。
次に、本実施形態に係る画像生成装置及び画像生成方法について説明する。図2は、本実施形態に係る画像生成装置の構成の一例を示す。ここでは、被検体内部から伝播してくる音響波を検出し、生体情報を可視化する光音響トモグラフィー技術を用いた画像生成装置(光音響トモグラフィー装置)の場合を例にして説明する。なお、本発明は音響波探触子から音響波(超音波)を送信し、被検体内で反射した反射音響波(超音波)を検出することで被検体内部を表す情報を画像化する超音波診断技術を用いた画像生成装置(超音波診断装置)にも適用できる。
に利用される。そのため、被検体15としては、人体や動物の乳房や指・手足などの診断の対象部位が想定される。光音響トモグラフィー装置では、光吸収体(あるいは音源)14は、被検体内の吸収係数が高い部分である。例えば、人体が測定対象である場合には、酸化ヘモグロビン、還元ヘモグロビン、それらを多く含む血管、及び、新生血管を多く含む悪性腫瘍などが光吸収体となる。また、超音波診断装置では、音源14は、周囲との音響インピーダンスが異なる組織界面である。
Array)チップなどで構成される。なお、複数の検出信号を同時に処理できることが望ましい。それにより、画像を生成するまでの時間を短縮できる。
画像再構成処理部19に接続される信号処理器20は、被検体内部における音響波の伝播速度を決定する(決定手段)。本実施形態では、信号収集器18から出力される複数のデジタル信号と画像再構成処理部19で得られた画像を用いて伝播速度を決定する。
まず、画像再構成処理部19が、被検体の予想される伝播速度(所定の速度)に基づいて仮の再構成画像(ボリュームデータ)を生成する(ステップ301)。仮の再構成画像の生成方法としては、光音響トモグラフィー装置や超音波診断装置で従来から用いられている手法を用いることができる。例えば、タイムドメインあるいはフーリエドメインでの逆投影法などである。
なお、ステップ301では、超音波診断装置や光音響トモグラフィー装置などのような、音響波を検出して再構成画像を生成する画像生成装置を用いることが好ましい。但し、これに限らず、X線CTやMRIなど、別原理の画像生成装置を用いて、生体情報にかかわるボリュームデータ(再構成画像)を生成してもよい。
む領域を注目領域に決定する(ステップ302)。注目画素は、光音響トモグラフィー装置の場合、吸収体を構成する画素であり、超音波再構成画像の場合、超音波の反射が大きい領域の画素である。
そのため、注目画素の周りの式(102)で得られる幅Mの範囲に対応する領域を注目領域に設定すればよい。即ち、3次元画像を生成する場合には、注目画素を中心として、M×M×M個のボクセルを含む範囲に対応する領域を注目領域とすればよい。2次元画像を生成する場合には、注目画素を中心として、M×M個のピクセルを含む範囲に対応する領域を注目領域とすればよい。それにより、吸収体などの音源を含む領域を注目領域とすることができる。
そして、信号処理器20が、複数の仮定の速度のうち、強度のばらつきが最小となる速度を伝播速度に決定する(ステップ304)。また、画像再構成処理部19が、該決定された伝播速度に基づいて再構成画像を生成する。
以上の処理により、ノイズおよび画像再構成時に用いた速度と実際の伝播速度との不一致による画質劣化が抑制された、被検体内部の情報を表す画像を再構成することができる。
ここで、検出素子の形状は正方形とする。式(103)において、dは検出素子の幅、θは処理対象位置と検出素子を結ぶ直線と、検出素子の向きとの間の角度、kは2π/λ、λは音響波の波長である。
なお、画像再構成処理部19、信号処理器20の処理は、ソフトウェアではなく、ハードウェアで実現されていてもよい。
シミュレーションにより本発明を実施し、その効果を検証した。以下、図5,6を用いて説明する。
被検体として、図5(A)に示すように、X方向:4cm、Y方向:4cm、Z方向:4cmの立方体ファントム43を用いた。立方体ファントム43の中心には、直径が0.05cm、高さが2cmの円柱形状の音源41を、その軸方向がX方向と平行になるように設置した。ここで、音源41は、光音響トモグラフィーでは光吸収体、超音波診断装置では超音波反射体のことを示す。なお、被検体内部における音響波の伝播速度を1500m/秒、音源41で発生する初期発生音圧を3000Pa(パスカル)とした。
画像Bは、伝播速度として1580m/秒の速度を用いたときに得られる再構成画像である。このように実際の伝播速度1500m/秒と異なる速度を用いると、画像にボケが生じ、解像度が低下することが分かる。
以上の結果を表1に示す。
なお、実際の伝播速度が1500m/秒であるのに対し、本実施例では伝播速度が1492m/秒と推定されたのは、ノイズと検出素子の指向性の影響による。
なお、本実施例では、注目領域内の位置毎に検出信号の強度のばらつきを算出するものとしたが、注目領域内の一部の位置についてばらつきを算出する構成であってもよい。例えば、注目領域の中心位置のみについてのばらつきを算出する構成であってもよい。
次に、光音響トモグラフィー装置に本発明を適用した例について、図2を用いて説明する。本実施例では、光源11として波長1064nmで約10ナノ秒のパルス光を発生するQスイッチYAGレーザーを用いた。パルスレーザー光(光12)のエネルギーは0.6Jであり、そのパルス光をミラーとビームエキスパンダーなどの光学機器13を用いて、半径約2cm程度まで広げた。被検体15としては生体を模擬したファントムを用いた。ファントムは1%のイントラリピッドを寒天で固めたものを利用した。ファントムの大きさは幅:12cm、高さ:8cm、奥行き:4cmとした。また、このファントム内には直径0.03cmのゴム製の黒色ワイヤが中心付近に光吸収体14として埋め込まれている。このようなファントムに、半径2cmまで広げた光12を照射した。音響波探触子
17としてはPZT(ジルコン酸チタン酸鉛)で作られた超音波トランスデューサーを用いた。このトランスデューサーは2次元アレイ型で、素子数は18×18個、各素子の形状は正方形形状、素子ピッチは2mmである。また、素子の幅は約2mmである。なお、この音響波探触子は光照射領域と同期して、XY方向に移動可能になっており、大きな領域を画像化できるように構成されている。
このように、本実施例では、被検体内部における音響波の伝播速度を正確に推定することができ、ひいては、再構成画像の解像度を向上させることができる。
5 注目領域
15 被検体
16 音響波
17 音響波探触子
19 画像再構成処理部
20 信号処理器
Claims (9)
- 被検体内部から伝播してくる音響波を検出して、検出信号を出力する複数の検出素子を有する探触子と、
前記被検体内部における音響波の伝播速度を決定する決定手段と、
前記決定手段で決定された伝播速度と、複数の検出素子から得られる複数の検出信号とを用いて前記被検体内部の情報を表す画像を再構成する画像生成手段と、
を有し、
前記決定手段は、
被検体内の一部分に注目領域を設定し、
各検出素子から前記注目領域までの距離と、仮定の速度とに基づいて各検出信号の位相を調整し、該位相が調整された複数の検出信号の強度のばらつきを算出する処理を、複数の仮定の速度に対して実行し、
前記複数の仮定の速度のうち、前記強度のばらつきが最小となる速度を前記伝播速度に決定する
ことを特徴とする画像生成装置。 - 前記画素に対応する位置と、検出素子との相対的な位置関係に応じて、該検出素子の指向性による検出信号の強度の低下を補正する補正手段をさらに有しており、
前記決定手段は、前記強度が補正された検出信号を用いて前記伝播速度を決定する
ことを特徴とする請求項1に記載の画像生成装置。 - 前記決定手段は、所定の速度に基づいて生成された前記被検体内部の情報を表す画像の各画素の内、輝度値またはコントラストが最も高い注目画素に対応する位置を含む領域を前記注目領域として設定する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像生成装置。 - 前記画像生成手段は、前記画像の各画素を、各検出素子からその画素に対応する位置までの距離と前記決定された伝播速度に基づいて位相が調整された検出信号から算出する
ことを特徴とする請求項1〜5のいずれか1項に記載の画像生成装置。 - 前記被検体内部から伝播してくる音響波は、光源から被検体に照射された強度変調光により発生する音響波である
ことを特徴とする請求項1〜6のいずれか1項に記載の画像生成装置。 - 複数の検出素子のそれぞれを用いて被検体内部から伝播してくる音響波を検出して、検出信号を生成するステップと、
前記被検体内部における音響波の伝播速度を決定する決定ステップと、
前記決定ステップで決定された伝播速度と、複数の検出素子から得られる複数の検出信号とを用いて前記被検体内部の情報を表す画像を再構成する画像生成ステップと、
を有し、
前記決定ステップでは、
被検体内の一部分に注目領域を設定し、
各検出素子から前記注目領域までの距離と、仮定の速度とに基づいて各検出信号の位相を調整し、該位相が調整された複数の検出信号の強度のばらつきを算出する処理を、複数の仮定の速度に対して実行し、
前記複数の仮定の速度のうち、前記強度のばらつきが最小となる速度を前記伝播速度に決定する
ことを特徴とする画像生成方法。 - コンピュータに、
前記被検体内部における音響波の伝播速度を決定する決定ステップと、
複数の検出素子が被検体内部から伝播してくる音響波を検出し、生成した複数の検出信号と、前記決定手段で決定された伝播速度とを用いて前記被検体内部の情報を表す画像を再構成する画像生成ステップと、
を実行させるためのプログラムであって、
前記決定ステップでは、
被検体内の一部分に注目領域を設定し、
各検出素子から前記注目領域までの距離と、仮定の速度とに基づいて各検出信号の位相を調整し、該位相が調整された複数の検出信号の強度のばらつきを算出する処理を、複数の仮定の速度に対して実行し、
前記複数の仮定の速度のうち、前記強度のばらつきが最小となる速度を前記伝播速度に決定する
ことを特徴とするプログラム。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009281452A JP5528083B2 (ja) | 2009-12-11 | 2009-12-11 | 画像生成装置、画像生成方法、及び、プログラム |
PCT/JP2010/007150 WO2011070778A1 (en) | 2009-12-11 | 2010-12-08 | Image generating apparatus, image generating method, and program |
CN201410266998.XA CN104013438B (zh) | 2009-12-11 | 2010-12-08 | 图像生成装置和图像生成方法 |
US13/498,192 US8687868B2 (en) | 2009-12-11 | 2010-12-08 | Image generating apparatus, image generating method, and program |
EP10795071.9A EP2510382B1 (en) | 2009-12-11 | 2010-12-08 | Image generating apparatus, image generating method, and program |
CN201080055219.1A CN102640014B (zh) | 2009-12-11 | 2010-12-08 | 图像生成装置和图像生成方法 |
US14/171,337 US9579085B2 (en) | 2009-12-11 | 2014-02-03 | Image generating apparatus, image generating method, and program |
US15/361,615 US10136821B2 (en) | 2009-12-11 | 2016-11-28 | Image generating apparatus, image generating method, and program |
US16/176,693 US20190059740A1 (en) | 2009-12-11 | 2018-10-31 | Image generating apparatus, image generating method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009281452A JP5528083B2 (ja) | 2009-12-11 | 2009-12-11 | 画像生成装置、画像生成方法、及び、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014083739A Division JP5940109B2 (ja) | 2014-04-15 | 2014-04-15 | 画像生成装置、伝播速度決定方法、及び、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011120765A true JP2011120765A (ja) | 2011-06-23 |
JP2011120765A5 JP2011120765A5 (ja) | 2013-03-14 |
JP5528083B2 JP5528083B2 (ja) | 2014-06-25 |
Family
ID=43718662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009281452A Expired - Fee Related JP5528083B2 (ja) | 2009-12-11 | 2009-12-11 | 画像生成装置、画像生成方法、及び、プログラム |
Country Status (5)
Country | Link |
---|---|
US (4) | US8687868B2 (ja) |
EP (1) | EP2510382B1 (ja) |
JP (1) | JP5528083B2 (ja) |
CN (2) | CN102640014B (ja) |
WO (1) | WO2011070778A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013056032A (ja) * | 2011-09-08 | 2013-03-28 | Canon Inc | 被検体情報取得装置および被検体情報取得方法 |
JPWO2013108375A1 (ja) * | 2012-01-18 | 2015-05-11 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
WO2016072525A1 (en) | 2014-11-07 | 2016-05-12 | Canon Kabushiki Kaisha | Photoacoustic imaging apparatus |
WO2016072080A1 (en) | 2014-11-07 | 2016-05-12 | Canon Kabushiki Kaisha | Object information acquiring apparatus and method using a photoacoustic effect |
JP2016093539A (ja) * | 2016-01-14 | 2016-05-26 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
WO2017006542A2 (en) | 2015-07-06 | 2017-01-12 | Canon Kabushiki Kaisha | Apparatus, method, and program of acquiring optical coefficient information |
JP2017094169A (ja) * | 2017-01-25 | 2017-06-01 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
US9955952B2 (en) | 2014-05-19 | 2018-05-01 | Toshiba Medical Systems Corporation | Ultrasonic diagnostic device and correction method |
US10429233B2 (en) | 2012-12-28 | 2019-10-01 | Canon Kabushiki Kaisha | Object information obtaining device, display method, and non-transitory computer-readable storage medium |
JP7479684B2 (ja) | 2020-08-19 | 2024-05-09 | 株式会社Luxonus | 画像生成方法、画像生成プログラムおよび画像生成装置 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9052268B2 (en) * | 2011-03-22 | 2015-06-09 | Fujifilm Corporation | Ultrasound diagnostic apparatus and method of producing ultrasound image |
JP5281107B2 (ja) * | 2011-03-25 | 2013-09-04 | 富士フイルム株式会社 | 超音波診断装置および超音波画像生成方法 |
JP5850633B2 (ja) | 2011-04-12 | 2016-02-03 | キヤノン株式会社 | 被検体情報取得装置 |
JP6071260B2 (ja) | 2012-06-13 | 2017-02-01 | キヤノン株式会社 | 被検体情報取得装置および情報処理方法 |
EP2914984B1 (en) * | 2012-11-02 | 2019-02-20 | Exxonmobil Upstream Research Company | Analyzing seismic data |
JP6222936B2 (ja) | 2013-02-19 | 2017-11-01 | キヤノン株式会社 | 装置および画像生成方法 |
JP2015167789A (ja) * | 2014-03-10 | 2015-09-28 | キヤノン株式会社 | 被検体情報取得装置および信号処理方法 |
EP3126969A4 (en) | 2014-04-04 | 2017-04-12 | Microsoft Technology Licensing, LLC | Expandable application representation |
EP3129847A4 (en) | 2014-04-10 | 2017-04-19 | Microsoft Technology Licensing, LLC | Slider cover for computing device |
JP6362420B2 (ja) * | 2014-05-26 | 2018-07-25 | キヤノン株式会社 | 被検体情報取得装置、被検体情報取得方法、および、プログラム |
JP6371847B2 (ja) * | 2014-06-30 | 2018-08-08 | 富士フイルム株式会社 | 光音響画像生成装置、信号処理装置、及び光音響画像生成方法 |
WO2016018648A1 (en) * | 2014-07-28 | 2016-02-04 | Intuitive Surgical Operations, Inc. | Systems and methods for planning multiple interventional procedures |
WO2016065568A1 (en) | 2014-10-30 | 2016-05-06 | Microsoft Technology Licensing, Llc | Multi-configuration input device |
JP6456129B2 (ja) * | 2014-12-15 | 2019-01-23 | キヤノン株式会社 | 被検体情報取得装置およびその制御方法ならびに光量制御方法 |
JP6521761B2 (ja) | 2015-06-23 | 2019-05-29 | キヤノン株式会社 | 情報処理装置および表示制御方法 |
JP6632368B2 (ja) | 2015-12-21 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、光音響装置、情報処理方法、及びプログラム |
WO2018043193A1 (ja) | 2016-08-30 | 2018-03-08 | キヤノン株式会社 | 情報取得装置および信号処理方法 |
JP6400068B2 (ja) * | 2016-12-20 | 2018-10-03 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP7239275B2 (ja) * | 2018-04-27 | 2023-03-14 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置及び穿刺支援プログラム |
CN110840484B (zh) * | 2019-11-27 | 2022-11-11 | 深圳开立生物医疗科技股份有限公司 | 自适应匹配最优声速的超声成像方法、装置及超声设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59171542A (ja) * | 1983-03-18 | 1984-09-28 | 三菱電機株式会社 | 超音波診断装置 |
JPH03146039A (ja) * | 1989-11-02 | 1991-06-21 | Toshiba Corp | 超音波診断装置 |
JPH08317926A (ja) * | 1995-05-26 | 1996-12-03 | Hitachi Medical Corp | 超音波断層装置 |
JPH11235341A (ja) * | 1998-02-23 | 1999-08-31 | Toshiba Corp | 超音波診断装置 |
JP2003070786A (ja) * | 2001-09-06 | 2003-03-11 | Hitachi Medical Corp | 超音波撮像装置 |
JP2007301154A (ja) * | 2006-05-11 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 成分濃度測定装置 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61154651A (ja) | 1984-12-28 | 1986-07-14 | 株式会社東芝 | 超音波診断装置 |
JPH09133655A (ja) | 1995-11-10 | 1997-05-20 | Hitachi Ltd | 光音響分光分析装置及び光音響分光分析方法 |
JP2000139914A (ja) | 1998-11-04 | 2000-05-23 | Aloka Co Ltd | 超音波診断装置 |
KR20000038847A (ko) | 1998-12-09 | 2000-07-05 | 이민화 | 초음파영상화시스템에서의 집속방법 |
JP4416256B2 (ja) | 2000-03-10 | 2010-02-17 | 株式会社日立メディコ | 超音波撮像装置 |
IL138073A0 (en) * | 2000-08-24 | 2001-10-31 | Glucon Inc | Photoacoustic assay and imaging system |
US6705994B2 (en) * | 2002-07-08 | 2004-03-16 | Insightec - Image Guided Treatment Ltd | Tissue inhomogeneity correction in ultrasound imaging |
JP4406226B2 (ja) | 2003-07-02 | 2010-01-27 | 株式会社東芝 | 生体情報映像装置 |
JP4643153B2 (ja) | 2004-02-06 | 2011-03-02 | 株式会社東芝 | 非侵襲生体情報映像装置 |
US7862508B2 (en) * | 2004-09-20 | 2011-01-04 | Innervision Medical Technologies Inc. | Systems and methods for ultrasound imaging |
US20070083110A1 (en) | 2005-10-09 | 2007-04-12 | Sonowise, Inc. | Programmable phase velocity in an ultrasonic imaging system |
JP2009538418A (ja) | 2006-05-25 | 2009-11-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 光音響撮像方法 |
JP4820239B2 (ja) * | 2006-08-28 | 2011-11-24 | 公立大学法人大阪府立大学 | 光トモグラフィ装置用プローブ |
EP1935346A1 (en) * | 2006-12-21 | 2008-06-25 | Stichting voor de Technische Wetenschappen | Imaging apparatus and method |
US20080173093A1 (en) * | 2007-01-18 | 2008-07-24 | The Regents Of The University Of Michigan | System and method for photoacoustic tomography of joints |
EP1974672B9 (en) | 2007-03-28 | 2014-04-16 | Kabushiki Kaisha Toshiba | Ultrasonic imaging apparatus and ultrasonic velocity optimization method |
JP4739363B2 (ja) | 2007-05-15 | 2011-08-03 | キヤノン株式会社 | 生体情報イメージング装置、生体情報の解析方法、及び生体情報のイメージング方法 |
EP2002784B1 (en) | 2007-06-11 | 2018-07-11 | Canon Kabushiki Kaisha | Intravital-information imaging apparatus |
JP2009066110A (ja) * | 2007-09-12 | 2009-04-02 | Canon Inc | 測定装置 |
JP2009089940A (ja) * | 2007-10-10 | 2009-04-30 | Toshiba Corp | 超音波診断装置 |
WO2010048258A1 (en) * | 2008-10-23 | 2010-04-29 | Washington University In St. Louis | Reflection-mode photoacoustic tomography using a flexibly-supported cantilever beam |
CN101214156B (zh) | 2008-01-10 | 2010-12-15 | 复旦大学 | 声速不均匀介质热声成像的重建算法 |
JP5284129B2 (ja) | 2008-02-06 | 2013-09-11 | キヤノン株式会社 | イメージング装置、及び解析方法 |
JP5065153B2 (ja) | 2008-05-21 | 2012-10-31 | 日本電産トーソク株式会社 | 電磁弁 |
CN101336832A (zh) * | 2008-08-12 | 2009-01-07 | 福建师范大学 | 脉冲式光声扫描软组织成像方法与装置 |
JP5460000B2 (ja) | 2008-08-20 | 2014-04-02 | キヤノン株式会社 | イメージング装置およびイメージング方法 |
WO2010024290A1 (ja) | 2008-08-27 | 2010-03-04 | キヤノン株式会社 | 生体の光音響情報処理装置および生体の光音響情報処理方法 |
JP4900979B2 (ja) | 2008-08-27 | 2012-03-21 | キヤノン株式会社 | 光音響装置および光音響波を受信するための探触子 |
JP5451014B2 (ja) * | 2008-09-10 | 2014-03-26 | キヤノン株式会社 | 光音響装置 |
US20100081912A1 (en) * | 2008-09-30 | 2010-04-01 | Nellcor Puritan Bennett Llc | Ultrasound-Optical Doppler Hemometer and Technique for Using the Same |
JP2010088627A (ja) | 2008-10-07 | 2010-04-22 | Canon Inc | 生体情報処理装置および生体情報処理方法 |
JP2011005042A (ja) | 2009-06-26 | 2011-01-13 | Canon Inc | 光音響イメージング装置及び光音響イメージング方法 |
JP5675390B2 (ja) | 2010-02-09 | 2015-02-25 | キヤノン株式会社 | 測定装置 |
JP5574927B2 (ja) | 2010-11-19 | 2014-08-20 | キヤノン株式会社 | 測定装置 |
-
2009
- 2009-12-11 JP JP2009281452A patent/JP5528083B2/ja not_active Expired - Fee Related
-
2010
- 2010-12-08 US US13/498,192 patent/US8687868B2/en active Active
- 2010-12-08 CN CN201080055219.1A patent/CN102640014B/zh active Active
- 2010-12-08 CN CN201410266998.XA patent/CN104013438B/zh active Active
- 2010-12-08 EP EP10795071.9A patent/EP2510382B1/en active Active
- 2010-12-08 WO PCT/JP2010/007150 patent/WO2011070778A1/en active Application Filing
-
2014
- 2014-02-03 US US14/171,337 patent/US9579085B2/en active Active
-
2016
- 2016-11-28 US US15/361,615 patent/US10136821B2/en active Active
-
2018
- 2018-10-31 US US16/176,693 patent/US20190059740A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59171542A (ja) * | 1983-03-18 | 1984-09-28 | 三菱電機株式会社 | 超音波診断装置 |
JPH03146039A (ja) * | 1989-11-02 | 1991-06-21 | Toshiba Corp | 超音波診断装置 |
JPH08317926A (ja) * | 1995-05-26 | 1996-12-03 | Hitachi Medical Corp | 超音波断層装置 |
JPH11235341A (ja) * | 1998-02-23 | 1999-08-31 | Toshiba Corp | 超音波診断装置 |
JP2003070786A (ja) * | 2001-09-06 | 2003-03-11 | Hitachi Medical Corp | 超音波撮像装置 |
JP2007301154A (ja) * | 2006-05-11 | 2007-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 成分濃度測定装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9995717B2 (en) | 2011-09-08 | 2018-06-12 | Canon Kabushiki Kaisha | Object information acquiring apparatus and object information acquiring method |
US9116110B2 (en) | 2011-09-08 | 2015-08-25 | Canon Kabushiki Kaisha | Object information acquiring apparatus and object information acquiring method |
JP2013056032A (ja) * | 2011-09-08 | 2013-03-28 | Canon Inc | 被検体情報取得装置および被検体情報取得方法 |
JPWO2013108375A1 (ja) * | 2012-01-18 | 2015-05-11 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
US10429233B2 (en) | 2012-12-28 | 2019-10-01 | Canon Kabushiki Kaisha | Object information obtaining device, display method, and non-transitory computer-readable storage medium |
US9955952B2 (en) | 2014-05-19 | 2018-05-01 | Toshiba Medical Systems Corporation | Ultrasonic diagnostic device and correction method |
WO2016072525A1 (en) | 2014-11-07 | 2016-05-12 | Canon Kabushiki Kaisha | Photoacoustic imaging apparatus |
WO2016072080A1 (en) | 2014-11-07 | 2016-05-12 | Canon Kabushiki Kaisha | Object information acquiring apparatus and method using a photoacoustic effect |
JP2016087220A (ja) * | 2014-11-07 | 2016-05-23 | キヤノン株式会社 | 被検体情報取得装置 |
WO2017006542A2 (en) | 2015-07-06 | 2017-01-12 | Canon Kabushiki Kaisha | Apparatus, method, and program of acquiring optical coefficient information |
JP2017012692A (ja) * | 2015-07-06 | 2017-01-19 | キヤノン株式会社 | 光音響装置、情報取得装置、情報取得方法、およびプログラム |
JP2016093539A (ja) * | 2016-01-14 | 2016-05-26 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
JP2017094169A (ja) * | 2017-01-25 | 2017-06-01 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
JP7479684B2 (ja) | 2020-08-19 | 2024-05-09 | 株式会社Luxonus | 画像生成方法、画像生成プログラムおよび画像生成装置 |
Also Published As
Publication number | Publication date |
---|---|
US10136821B2 (en) | 2018-11-27 |
US8687868B2 (en) | 2014-04-01 |
CN102640014A (zh) | 2012-08-15 |
EP2510382A1 (en) | 2012-10-17 |
CN104013438A (zh) | 2014-09-03 |
US9579085B2 (en) | 2017-02-28 |
US20140148683A1 (en) | 2014-05-29 |
CN102640014B (zh) | 2014-07-02 |
JP5528083B2 (ja) | 2014-06-25 |
CN104013438B (zh) | 2016-09-07 |
EP2510382B1 (en) | 2018-04-11 |
US20190059740A1 (en) | 2019-02-28 |
US20170071476A1 (en) | 2017-03-16 |
US20120183190A1 (en) | 2012-07-19 |
WO2011070778A1 (en) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5528083B2 (ja) | 画像生成装置、画像生成方法、及び、プログラム | |
JP6440140B2 (ja) | 被検体情報取得装置、処理装置、および信号処理方法 | |
EP3427645B1 (en) | Display data obtaining apparatus and display data obtaining method | |
JP6525565B2 (ja) | 被検体情報取得装置および被検体情報取得方法 | |
JP6544910B2 (ja) | 情報処理装置、被検体情報取得装置及び音速決定方法 | |
EP3143391B1 (en) | Photoacoustic apparatus | |
JP6946307B2 (ja) | 情報取得装置および信号処理方法 | |
JP6742734B2 (ja) | 被検体情報取得装置および信号処理方法 | |
JP6742745B2 (ja) | 情報取得装置および表示方法 | |
JP6656229B2 (ja) | 光音響装置 | |
JP5645637B2 (ja) | 被検体情報取得装置および被検体情報取得方法 | |
US20180228377A1 (en) | Object information acquiring apparatus and display method | |
JP5940109B2 (ja) | 画像生成装置、伝播速度決定方法、及び、プログラム | |
JP6562800B2 (ja) | 処理装置および処理方法 | |
JP2018126389A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6469133B2 (ja) | 処理装置、光音響装置、処理方法、およびプログラム | |
JP6381718B2 (ja) | 装置および画像生成方法 | |
JP6113330B2 (ja) | 装置および画像生成方法 | |
US20160206246A1 (en) | Object information acquiring apparatus and object information acquisition method | |
US20200085345A1 (en) | Object information acquisition apparatus and method of controlling the same | |
JP6942847B2 (ja) | 被検体情報取得装置および信号処理方法 | |
JP6512969B2 (ja) | 処理装置、光音響装置、処理方法、及びプログラム | |
JP2016013189A (ja) | 光音響装置 | |
JP2018161467A (ja) | 画像処理装置および画像処理方法 | |
JP2016104230A (ja) | 被検体情報取得装置及び被検体情報取得方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140415 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5528083 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |