JP2012135462A - 被検体情報取得装置及び被検体情報取得方法 - Google Patents

被検体情報取得装置及び被検体情報取得方法 Download PDF

Info

Publication number
JP2012135462A
JP2012135462A JP2010290254A JP2010290254A JP2012135462A JP 2012135462 A JP2012135462 A JP 2012135462A JP 2010290254 A JP2010290254 A JP 2010290254A JP 2010290254 A JP2010290254 A JP 2010290254A JP 2012135462 A JP2012135462 A JP 2012135462A
Authority
JP
Japan
Prior art keywords
absorbing member
subject
light
light absorbing
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010290254A
Other languages
English (en)
Other versions
JP5661451B2 (ja
Inventor
Kazuhiko Fukutani
和彦 福谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010290254A priority Critical patent/JP5661451B2/ja
Priority to US13/990,528 priority patent/US9560973B2/en
Priority to PCT/JP2011/079280 priority patent/WO2012090742A1/en
Publication of JP2012135462A publication Critical patent/JP2012135462A/ja
Application granted granted Critical
Publication of JP5661451B2 publication Critical patent/JP5661451B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

【課題】光音響トモグラフィーにおいて、予め探触子のインパルス応答を計測していなくても、探触子特性による画像劣化を低減すること。
【解決手段】本発明の被検体情報取得装置は、被検体の外部に設けられる光吸収部材と、前記被検体及び前記光吸収部材にパルス光を照射するための光源と、前記パルス光により前記被検体及び前記光吸収部材において発生する音響波を検出する検出器と、前記検出器から取得される検出信号を用いて、被検体情報を取得する信号処理部と、を有し、該信号処理部は、前記検出器により取得される第一の検出信号のうち、前記光吸収部材で発生した音響波に起因する信号を特定し、該特定された信号を用いてインパルス応答データを取得した後に、該インパルス応答データを用いて該第一の検出信号をデコンボリューションした第二の検出信号を算出し、前記第二の検出信号を用いて、前記被検体情報を取得することを特徴とする。
【選択図】図1

Description

本発明は、被検体情報取得装置及び被検体情報取得方法に関する。特に、光を被検体に照射することで被検体内から発生する音響波を検出して、被検体内部の情報を画像データとして取得する被検体情報取得装置及び被検体情報取得方法に関する。
レーザーなどの光源から生体に光を照射し、入射した光に基づいて得られる生体内の情報を画像化する光イメージング装置の研究が医療分野で積極的に進められている。この光イメージング技術の一つとして、Photo Acoustic Tomography(PAT:光音響トモグラフィー)がある。光音響トモグラフィーでは、光源から発生したパルス光を生体に照射し、生体内で伝播・拡散したパルス光のエネルギーを吸収した生体組織から発生した音響波(典型的には超音波である)を検出・解析し、被検体内部情報を可視化する。すなわち、腫瘍などの被検部位とそれ以外の組織との間の光エネルギーの吸収率の差を利用し、被検部位が照射された光エネルギーを吸収して瞬間的に膨張する際に発生する弾性波を音響波検出器(探触子やトランスデューサーとも言われる)で受信する。この検出信号を数学的に解析処理することにより初期音圧分布、あるいは生体内の光学特性分布、特に、吸収係数分布を得ることができる。これらの情報は、様々な波長の光で計測することにより、被検体内の特定物質、例えば血液中に含まれるヘモグロビン濃度や血液の酸素飽和度などの定量的計測にも利用できる。近年、この光音響トモグラフィーを用いて、小動物の血管像をイメージングする前臨床研究や、この原理を乳がんなどの診断に応用する臨床研究が積極的に進められている(非特許文献1)。
光音響トモグラフィー装置で通常用いられる音響波探触子は、検出できる音響波の周波数に制限(帯域制限)がある。そのため、理想的な音響波探触子特性を仮定している通常の画像再構成手法を用いると、得られる画像が劣化するという課題がある。この課題に対して、音響波探触子のインパルス応答(素子固有の応答特性データ)を予め測定し、そのインパルス応答で検出信号を補正(デコンボリューションなど)することで、画像劣化に対する探触子の影響を低減する手法が提案されている(非特許文献2)。
"Photoacoustic imaging in biomedicine"、M.Xu、L.V.Wang、REVIEW OF SCIENTIFIC INSTURUMENT、77、041101、2006 "Thermoacoustic computed tomography−technical consideration"、R.A.Kruger、D.R.Reinecke、G.A.Kruger、Medical Physics、Vol.26、No.9、1382、1999
しかしながら、これまでの方法では、予め計測により求めた探触子のインパルス応答を常に利用しつづけるため、探触子の経年特性変化などには対応できなかった。なお、ここで言う経年特性変化とは周波数特性や受信感度の変化である。また、探触子の変更があると、そのたびに新しい探触子が検出できる周波数や探触子の大きさに応じたインパルス応答を取り直さなければならず、手間がかかっていた。
本発明は、このような課題認識に基づいてなされたものである。本発明の目的は、予め探触子のインパルス応答を計測していなくても、あるいは、探触子特性が経年劣化しても、測定時に得られる探触子のインパルス応答と等価なデータを用いて検出信号の補正を行うことにより、探触子特性による画像劣化を低減することである。
上記課題に鑑み、本発明の被検体情報取得装置は、被検体の外部に設けられる光吸収部材と、前記被検体及び前記光吸収部材にパルス光を照射するための光源と、前記パルス光により前記被検体及び前記光吸収部材において発生する音響波を検出する検出器と、前記検出器から取得される検出信号を用いて、被検体情報を取得する信号処理部と、を有し、該信号処理部は、前記検出器により取得される第一の検出信号のうち、前記光吸収部材で発生した音響波に起因する信号を特定し、該特定された信号を用いてインパルス応答データを取得した後に、該インパルス応答データを用いて該第一の検出信号をデコンボリューションした第二の検出信号を算出し、前記第二の検出信号を用いて、前記被検体情報を取得することを特徴とする
本発明によれば、予め探触子のインパルス応答を計測していなくても、あるいは、探触子特性が経年劣化しても、測定時に得られる探触子のインパルス応答と等価なデータを用いて検出信号の補正を行うことにより、探触子特性による画像劣化を低減することが可能となる。
本発明の実施形態による被検体情報取得装置の構成を模式的に示した図である。 (a)は理想的な音響波探触子の周波数特性の一例を示した図であり、(b)は理想的でない音響波探触子の周波数特性の一例を示した図である。 本発明の実施形態において、検出信号の処理の一例を説明するフロー図である。 (a)は本発明において、デジタル信号である検出信号の一例を示す模式図であり、(b)は本発明において、インパルス応答データの一例を示す模式図であり、(c)は本発明で取得したインパルス応答を利用して、検出信号をデコンボリューションした信号の一例を示す模式図である。 (a)は本発明の第1の実施例による被検体情報取得装置の構成を模式的に示した図であり、(b)は第1の実施例において得られる検出信号の一例であり、(c)は第1の実施例において得られるインパルス応答データである。 (a)は第1の実施例において得られるインパルス応答補正を行った画像であり、(b)は第1の実施例において得られるインパルス応答補正を行わない画像である。
以下、図面を参照しつつ本発明をより詳細に説明する。なお、同一の構成要素には原則として同一の参照番号を付して、説明を省略する。また、本発明は単一の装置のみに限定されるものではなく、例えば、以下の実施形態に説明される被検体情報の取得方法、及びこの方法をコンピュータに実行させるためのプログラムも本発明には包含される。
(被検体情報取得装置)
図1を参照しながら本実施形態にかかる被検体情報取得装置の構成を説明する。本実施形態の被検体情報取得装置は、被検体の内部の光学特性値に関する被検体情報を画像データとして取得する装置である。本発明において、音響波とは、典型的には超音波であり、音波、超音波、音響波、光音響波、光超音波と呼ばれる弾性波を含む。本発明の被検体情報取得装置とは、被検体に光(電磁波)を照射することにより被検体内で発生した音響波(典型的には超音波)を受信して、被検体情報を画像データとして取得する光音響効果を利用した装置を含む。取得される被検体情報とは、光照射によって生じた音響波の発生源分布や、被検体内の初期音圧分布、あるいは初期音圧分布から導かれる光エネルギー吸収密度分布や、吸収係数分布、組織を構成する物質の濃度情報分布を示す。物質の濃度情報分布とは、例えば、酸素飽和度分布や酸化・還元ヘモグロビン濃度分布などである。
本実施形態の被検体情報取得装置は、基本的なハード構成として、光源11、光吸収部材18、音響波の検出器としての音響波探触子17、信号処理部20を有する。光源11から発せられたパルス光12は例えばレンズ、ミラー、光ファイバ、拡散板などの光学系13により所望の光分布形状に加工されながら導かれ、生体などの被検体15に照射される。被検体15の内部を伝播した光のエネルギーの一部が血管などの光吸収体(結果的に音源となる)14や光吸収部材18に吸収されると、その光吸収体14や光吸収部材18の熱膨張により音響波(典型的には超音波)16が発生する。これは「光音響波」と呼ばれることもある。音響波16は音響波探触子17により検出され、信号収集器19で増幅やデジタル変換された後、信号処理器20で被検体情報の画像データに変換される。
(光源11)
被検体が生体の場合、光源11からは生体を構成する成分のうち検出対象となる特定の成分に吸収される特定の波長の光を照射する。光源は、本実施形態の被検体情報取得装置と一体として設けられていても良いし、光源を分離して別体として設けられていても良い。光源としては数ナノから数百ナノ秒オーダーのパルス光を発生可能なパルス光源が好ましい。具体的には効率的に光音響波を発生させるため、10ナノ秒程度のパルス幅が使われる。光源としては大出力が得られるためレーザーが好ましいが、レーザーのかわりに発光ダイオードなどを用いることも可能である。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。照射のタイミング、波形、強度などは不図示の光源制御部によって制御される。
本発明において、使用する光源の波長は、被検体が生体の場合、被検体内部まで光が伝搬する波長を使うことが望ましい。具体的には500nm以上1300nm以下である。
(光学系13)
光源11から照射された光12は、典型的にはレンズやミラーなどの光学部品により、所望の光分布形状に加工されながら被検体に導かれるが、光ファイバなどの光導波路などを用いて伝搬させることも可能である。光学系13は、例えば、光を反射するミラーや、光を集光したり拡大したり形状を変化させるレンズ、光を拡散させる拡散板、光ファイバなどからなる。このような光学部品は、光源から発せられた光12が被検体15に所望の形状で照射されれば、どのようなものを用いてもかまわない。なお、光はレンズで集光させるより、ある程度の面積に広げる方が生体への安全性ならびに診断領域を広げられるという観点で好ましい。
本発明では被検体に効率よく光エネルギーを伝播させるため、音響波探触子17の検出面直下にある被検体表面22に光照射を行うことが可能な光学系13を用いることが好ましい。また、図示してはいないが、被検体により多くの光エネルギーを伝播させるために、音響波探触子17とは対向側の被検体表面方向から被検体に光照射することが可能な光学系13を用いることも好ましい。さらに、光を被検体に照射する領域は移動可能であることが好ましい。言い換えると、本発明の被検体情報取得装置は、光学系13を移動させることにより光源から発生した光が被検体上の複数の領域を照射することができるように構成されていることが好ましい。光学系13が移動可能であることにより、より広範囲に光を照射することができる。また、光が被検体に照射される領域(被検体に照射される光)は、音響波探触子17と同期して移動されるとさらに好ましい。これにより広範囲の領域を画像化できるようになる。なお、光が被検体に照射される領域を移動させる方法としては、可動式ミラー等を用いる方法、光源自体を機械的に移動させる方法などがある。
(被検体15及び光吸収体14)
これらは本発明の被検体情報取得装置の一部を構成するものではないが、以下に説明する。本発明の被検体情報取得装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを主な目的とする。よって、被検体15としては生体、具体的には人体や動物の乳房や指、手足などの診断の対象部位が想定される。動物においては、マウス又はラットなどの小動物の場合は特定の部位だけではなく、小動物全体が対象となってもよい。被検体内部の光吸収体14としては、被検体内で相対的に吸収係数が高いものを示し、使用する光の波長にもよるが、例えば、人体が測定対象であれば酸化あるいは還元ヘモグロビンやそれらを含む多く含む血管あるいは新生血管を多く含む悪性腫瘍が該当する。また、被検体表面22の光吸収体としては皮膚表面付近にあるメラニンなどが挙げられる。
(音響波探触子17)
パルス光により被検体表面及び被検体内部などで発生する音響波を検出する検出器である音響波探触子17は、音響波を検知し、アナログ信号である電気信号に変換するものである。以後、単に探触子あるいはトランスデューサということもある。圧電現象を用いたトランスデューサ、光の共振を用いたトランスデューサ、容量の変化を用いたトランスデューサなど音響波信号を検知できるものであれば、どのような音響波検出器を用いてもよい。本実施形態の探触子17は、典型的には複数の受信素子が1次元あるいは2次元に配置されたものが良い。このような多次元配列素子を用いることで、同時に複数の場所で音響波を検出することができ、計測時間を短縮できる。その結果、被検体の振動などの影響を低減できる。
なお、音響波探触子は図2(a)のように様々な周波数の音響波に対して同じような感度を持つことが望ましいが、通常、市販されている多くの音響波探触子は、図2(b)のように特定の周波数の音響波にしか感度がない(帯域制限とも言われる)。つまり、理想的でない。本発明では、このような帯域制限がある理想的でない音響波探触子を用いても、音響波探触子のこのような特性による画像劣化を低減するものである。また、音響波探触子17は被検体15から発生する音響波を様々な角度で検出できるように設置されていることが好ましい。例えば、被検体15を360°取り囲む球体表面上を音響波探触子が移動できるように設置することである。ただし、被検体15を360°囲むように音響波探触子17を設置できない場合は、図1のようにある方向のみの音響波を受信できるように音響波探触子を設置しても良い。
(光吸収部材18)
本発明においては、光吸収部材18を被検体15の外部に設けるのが特徴である。光吸収部材18は光源11から発せられるパルス光12を吸収し、平面波的な光音響波(例えば、図1のA)を発生させる。そのため、光吸収部材は平板形状であることが望まれる。また、光吸収部材は平面波を発生させるために平面内において光を均一に吸収し、かつ、光音響波探触子の検出面に対して大きいサイズであることが望まれる。なお、光吸収部材は光源から発せられるパルス光を直接吸収してもよいし、被検体情報取得装置内における光吸収部材の設置の態様によっては、被検体で反射されたパルス光や、被検体を透過してきたパルス光を吸収してもよい。本発明において、光源からパルス光を光吸収部材に照射するという場合は、上記のいかなる態様であるかに関わらず、光源から発せられたパルス光を光吸収部材が吸収することを意味する。さらに、光吸収部材18に照射されるパルス光12の強度分布は均一、かつ、音響波探触子17の検出面よりも十分に大きな領域に光照射されることが望ましい。また、音響波探触子の検出素子の大きさによる効果を低減するために、光吸収部材18は光音響波探触子の検出面に対してほぼ平行であることが望ましい。
光吸収部材18はパルス光12を吸収し、インパルス的でかつ、平面波的な音響波を発生できれば、どのようなものを用いてもかまわない。ただし、光吸収部材はインパルス的な光音響波を発生するために、光吸収長が十分薄いことが望まれる。この光吸収部材の光吸収厚さdは、光吸収部材自体の音速cと音響波探触子17の最大検出可能周波数fmaxで決まり、以下の式で表現される。
d≦c/(k×fmax
ここでkは比例定数であり、典型的には1-10の範囲である。例えば、光吸収部材の音速を2500m/sec.、音響波探触子の最大受信周波数を5MHz、kを2とすると、光吸収部材の吸収厚さdは250μm以下となる。このように材質にもよるが光吸収部材はシート状(平板状)になる。光吸収部材18は図1のように音響波探触子17と被検体15の間に設置することが望ましい。その理由は、光吸収部材で発生した光音響波が被検体などを伝播してから検出されると、被検体により一部の周波数成分の吸収が起こり、インパルス的な音響波にはならなくなってしまうからである。また、光吸収部材18は音響波探触子17に直接光が照射されるのを防ぐ役割を同時に果たすことが望ましい。その理由は、探触子表面に直接、光照射されると照射された探触子表面から光音響波が発生し、画像劣化の原因となるからである。そのため、音響波探触子とは対向側の被検体表面方向から被検体に光照射する場合や、光吸収部材と被検体との間に光を照射する場合のように、光吸収部材が被検体側の面で光を吸収する場合は、吸収される光以外は光吸収部材により被検体方向へ反射されることが望ましい。そのため、光の反射率の高いアルミ箔や金箔などの金属薄膜を使用することが望ましい。
(信号収集器19)
本実施形態の被検体情報取得装置は、音響波探触子17より得られた電気信号を増幅し、その電気信号をアナログ信号からデジタル信号に変換する信号収集器19を有することが好ましい。信号収集器19は、典型的には増幅器、A/D変換器、FPGA(Field Programmable Gate Array)チップなどで構成される。音響波探触子から得られる検出信号が複数の場合は、同時に複数の信号を処理できることが望ましい。それにより、画像データを生成するまでの時間を短縮できる。なお、本明細書において「検出信号」とは、探触子17から取得されるアナログ信号及び、その後AD変換されたデジタル信号のいずれをも含む概念である。本発明は光音響トモグラフィーを対象としているため、検出信号は照射された光のエネルギーを吸収した生体組織から発生される音響波による「光音響波信号」である。また、本発明では、検出信号のうち、後述のデコンボリューションをする以前の検出信号を第一の検出信号と、デコンボリューションを行った後の検出信号を第二の検出信号とする。
(信号処理部20)
信号処理部20は、本発明の特徴的処理である検出信号から各音響波検出素子のインパルス応答を算出する処理を行う。上記光吸収部材が発生するインパルス的でかつ平面波的な音響波に対する音響波検出素子の応答は、インパルス応答と等価なものであると考えられる。本発明においては、音響波検出素子が上記音響波に対して応答し算出するデータをインパルス応答データという。そして、算出されたインパルス応答データを利用して、検出信号に対してデコンボリューション処理を行い、探触子特性による信号劣化を回復する。さらに、探触子特性による信号劣化を回復したデータを用いて、被検体内部の画像データを取得する(画像再構成)。詳細は後述するが、光吸収部材18から発生したインパルス的光音響波を音響波探触子で受信し、その光音響波検出信号をインパルス応答として利用することが本発明の特徴である。なお、本発明において、デコンボリューション処理とは図2(b)のような周波数特性の音響波探触子で受信された信号を信号処理により、図2(a)のような周波数特性の音響波探触子で受信された信号のようにすることである。
信号処理部20には典型的にはワークステーションなどが用いられ、被検体表面で生じた光音響波に起因する信号(光音響波信号)の低減処理や画像再構成処理などがあらかじめプログラミングされたソフトウェアにより行われる。例えば、ワークステーションで使われるソフトウェアは探触子特性による検出信号の劣化を補正する処理(本発明におけるデコンボリューションもこれに含まれる)を行う信号処理モジュール20aと、画像再構成を行う画像再構成モジュール20bとの2つのモジュールからなる。ただし、通常は一つのプログラムとして扱われるため、共通となることが多い。なお、光音響トモグラフィーにおいては、通常、画像再構成前の前処理として、ノイズ低減処理などが各位置で受信された信号に対して行われるが、それらは信号処理モジュールで行われることが好ましい。このとき、デコンボリューションの効率を上げるため、ノイズ低減処理はデコンボリューションの前に行われることが好ましい。また、画像再構成モジュールでは、画像再構成による画像データの形成が行われ、画像再構成アルゴリズムとして、例えば、トモグラフィー技術で通常に用いられるタイムドメインあるいはフーリエドメインでの逆投影などが使われる。なお、再構成の時間に多くを有することが可能な場合は、繰り返し処理による逆問題解析法(iterative method)などの画像再構成手法も利用することができる。PATの画像再構成手法には、非特許文献1に記載されているように、代表的なものとして、フーリエ変換法、ユニバーサルバックプロジェクション法やフィルタードバックプロジェクション法などがある。
なお、場合によっては、信号収集器19、信号処理部20は一体化される場合もある。この場合、ワークステーションで行うようなソフトウェア処理ではなく、ハードウェア処理により被検体の画像データを生成することもできる。
(表示装置21)
表示装置21は信号処理部20で出力される画像データを画像として表示する装置であり、典型的には液晶ディスプレイなどが利用される。なお、本発明の被検体情報取得装置とは別に提供されていても良い。
(検出信号の処理)
次に、本発明の特徴である信号処理部20で行う検出信号における探触子特性効果の低減処理について、図3、4,5も参照しつつ説明する。下記の番号は図3における処理の番号と一致する。
処理I(S301):検出信号において光吸収部材18から発生した光音響波に起因する信号(光吸収部材起因の光音響波信号)を特定する工程
図1に示された信号収集器19から得られるデジタル信号から、光吸収部材18起因の光音響波信号を特定する。図4(a)は、音響波探触子17のある検出素子で得られたデジタル信号の例を示したものである。この図において、横軸は受信時間で縦軸は受信音圧である。通常、被検体15にパルス光照射を行うと、図4(a)に示されたように、信号として複数の音圧信号が観測される。なお、図1に示した実施例の場合、被検体内部にある光吸収体14(例えば生体の場合は血液など)、被検体表面(例えば生体の場合は皮膚表面の色素など)及び、光吸収部材18から発生した光音響波が受信される。図4(a)においては、Aが光吸収部材18、Bが被検体表面、Cが被検体内部にある光吸収体14から発生した光音響波による検出信号を示している。ただし、受信時間ゼロの点はパルス光照射時間とする。なお、図2(a)のような理想的な音響波探触子を用いた場合、理論上、球音源からの検出信号としてはA、B及びCのそれぞれにおいて単一のN型形状の信号が受信されるはずであるが、本実施例のように理想的でない音響波探触子を用いた場合は、図4(a)のように、A、B及びCのいずれもN型信号ではなく、複数のN型信号が重なったようなN型ライク形状となる。これは上述したが図2(b)のように探触子が特定の領域の周波数成分しか応答しないことによるものである。つまり、実際の理想的でない探触子により検出される音響波信号p(t)は理想的な音響波探触子で検出される音響波preal(t)と探触子特性であるインパルス応答h(t)のコンボリューションとなる。式に示すと以下のように表すことができる。
ここで「*」はコンボリューション(畳み込み)を表す記号である。この式は、理想的でない音響波探触子で受信される信号は理想的な音響波探触子で受信される場合に比べて信号が歪むことを示している。また、図4(a)のようにA,B,Cの受信時間がそれぞれ異なるのは、音響波検出器17に近いところにある光音響波発生源の方が早く受信されるからである。つまり、それぞれの検出信号は時間的に異なる位置で検出されるため、それを利用することで光吸収部材18から発生した光音響波の検出信号を特定することができる。図1に示した実施例においては、最初に受信されるN型ライク信号が音響波検出器からの位置が最も近い光吸収部材18から発生した光音響波であることが、受信時間により容易に特定できる。つまり、光吸収部材18と音響波検出器17の距離とその間の音速が分かれば、光吸収部材から発生した光音響波が信号として観測される時間がわかるため、光吸収部材による信号を特定できる。以上のような処理を行うことで、検出信号において光吸収部材18起因の光音響波信号を特定する。
処理II(S302):S301で特定したデータのみを抜き出し、各検出素子のインパルス応答データを作成する工程
例えば、上記の処理で特定された光吸収部材による信号以外のデータをゼロとし、さらに、特定した信号の最初の受信時間をゼロとしたデータ(インパルス応答データ:h(t))を作成する。図4(b)に作成したインパルス応答データの例を示す。この図から分かるように図4(a)におけるAの信号のみをデータとして切り出し、他の時間のデータ値をゼロとする。さらに、次の信号処理のため、Aの受信開始時間を受信時間ゼロの点とする。その結果、図4(b)のようなデータを作成することができる。次に、上記のデータ処理をすべての検出素子の検出信号において行う。つまり、受信素子の数が100ならば、100個の図4(b)のようなデータ群が作成される。なお、信号処理の関係で検出信号の数とインパルス応答データのサンプリング点数とは同じであることが望ましい。以上のような処理を行うことで、各検出素子のインパルス応答データを作成することができる。
処理III(S303):上記で得られたインパルス応答データを用いて、検出信号をデコンボリューションする工程
処理IIで得られた検出素子ごとのインパルス応答データh(t)を用いて、各検出信号を補正する。例えば、同じ受信素子に対応する検出信号p(t)と処理IIで作成されたインパルス応答データh(t)をそれぞれフーリエ変換し、周波数データP(ω)とH(ω)に変換したデータを用いる方法である。前述の方法は、以下の式に従って、デコンボリューションを行う。
ここでifftは逆高速フーリエ変換のことであり、preal(t)はデコンボリューション後の検出信号である。なお、デコンボリューションは上記の式に限られたものではなく、ウィーナーデコンボリューション法や繰り返し計算を用いるデコンボリューションなど様々な方式を利用することができる。デコンボリューション後の検出信号preal(t)の一例を図4(c)に示す。このように、デコンボリューションにより探触子特性による信号劣化を回復することで、N型に近い光音響波信号に変換できる。なお、この図において、Aが光吸収部材18、Bが被検体表面、Cが被検体内部にある光吸収体14から発生した光音響波によるN型検出信号を示している。
処理IV(S304):処理IIIで補正された検出信号を用いて、被検体内部の画像データを形成する工程
処理IIIで得られたデコンボリューション後の検出信号を用いて画像再構成処理を行い、被検体の光学特性値分布に関連した被検体情報の画像データを形成する。図4(c)のような探触子特性による信号劣化を低減した信号を使えるため、画像劣化の少ない診断画像データを形成できる。なお、どのような画像再構成方法を用いてもよいが、通常は、一般的な光音響トモグラフィーで利用されるタイムドメインあるいはフーリエドメインでの逆投影などが適応される(非特許文献1参照)。
以上の工程を行うことで、測定時にインパルス応答データがなくても、検出信号のみを解析処理することで、探触子特性に影響を受けた検出信号からその影響を低減でき、その低減処理された検出信号を画像再構成に用いることで、被検体内部にある光吸収体の光学特性値分布を劣化させること無く画像化できる。
本実施形態を適用した光音響トモグラフィーを用いた被検体情報取得装置の一例について説明する。図1と図5(a)の装置概略図を用いて説明する。本実施例においては、光源11として波長1064nmで約10ナノ秒のパルス光を発生するQスイッチYAGレーザーを用いた。パルスレーザー光12から発せられる光パルスのエネルギーは0.6Jであり、そのパルス光をミラーとビームエキスパンダーなどの光学システム13を用いて、半径約1cm程度まで広げたあと、ビームスプリッターで2つに分離し、ミラーやプリズムを用いて光を探触子直下の被検体に照射できるように光学系13をセッティングした。被検体15としては生体を模擬した図5(a)のような長方形ファントムを用いた。ファントムは1%のイントラリピッドを寒天で固めたものを利用した。ファントムの大きさは幅:6cm、高さ:6cm、奥行き:5cmとした。また、このファントム内には図5(a)に示されているように、直径1mmの円柱状に固めたインクで着色した物体が光吸収体14として4本、音響波探触子側に埋め込まれている。このファントムと探触子の間には光吸収部材18として、アルミニウム箔が置かれている。このアルミニウム箔の厚さは100μmであり、大きさは用いた探触子17よりも大きい5cm×5cmである。また、このアルミニウム箔は図1及び図5(a)のように探触子17の検出面と平行に、かつ、ファントム表面で反射した光が探触子17に入射せず、光をファントム方向に反射するよう設置されている。なお、ファントムや音響波探触子は音響マッチングのため、水で充たされた水槽の中に置かれている。このようにセッティングされたファントムに対して、探触子17の直下のファントム表面にパルス光12を照射した。なお、音響波探触子17としてはPZT(ジルコン酸チタン酸鉛)で作られた超音波トランスデューサを用いた。この音響波探触子は2次元アレイ型で、素子数は345(15×23)の素子、素子ピッチは2mmである。また、素子の幅は約2mmである。
図1及び図5(a)のように、パルス光12を探触子17直下のファントム表面に照射すると、光吸収部材18であるアルミニウム箔の光吸収により発生した光音響波、光照射側のファントム表面による光吸収による光音響波と、ファントム内に拡散した光が円柱状の光吸収体14で吸収されることにより生じる光音響波の3つが発生する。それらの光音響波を音響波探触子17で、345チャンネル同時に受信し、その検出信号をアンプ、ADコンバーター、FPGAからなる信号収集器19を用いて、全チャンネルでの光音響波信号のデジタルデータを取得した。なお、信号のS/N比を向上させるために、30回レーザーを照射し、得られたすべての検出信号を時間平均化した。その後、得られたデジタルデータを信号処理器20であるワークステーション(WS)へ転送し、WS内に保存した。
図5(b)に実際に受信された信号の一例を示す。この図において、横軸は受信時間、縦軸は受信された音響波の強度を示している。図5(b)において、Aがアルミニウム箔より発生した光音響波に起因する光音響波信号、Bがファントム表面で発生した光音響波に起因する光音響波信号、Cがファントム内に設置した4つの柱状光吸収体から発生した光音響波に起因する光音響波信号をそれぞれ示している。この信号において、A信号の受信時間データ以外の時間データをゼロとし、Aの最初の受信時間をゼロ秒としたインパルス応答データを345チャンネルのすべての検出信号に対して作成した。その一例が、図5(c)である。この図においても、横軸は受信時間、縦軸は受信された音響波の強度を示している。それぞれの検出素子ごとに作成した図5(c)のようなインパルス応答データをPC上のメモリに保管した。次に、保管したそれぞれのインパルス応答データを用いて、周波数空間で全検出信号をデコンボリューションし、補正された新しい検出信号データを作成した。その後、このデータを用いて画像再構成を行った。ここではタイムドメイン方式であるユニバーサルバックプロジェクション法を用いて3次元のボリュームデータを形成した。このとき使用したボクセル間隔は0.05cmとした。画像化範囲は3.0cm×4.6cm×5.0cmである。そのときに得られた画像の一例を図6(a)に示す。図6(a)は3次元のボリュームデータを各方向へ投影し、最大値を示したMIP(Maximum Intensity Projection)画像である。
次に、検出信号のインパルス応答補正を行わず、WSに保存した検出信号データをそのまま用いて再び画像再構成を行った。そのときの得られた画像の一例を図6(b)に示す。なお、図6(b)も図6(a)同様にMIP画像を示している。
図6(a)と(b)を比較する。図6(b)では探触子特性の影響を受けた検出信号をそのまま利用しているため、柱状の光吸収体像以外のアーティファクト(図中の矢印の部分)が目立つ。一方、図6(a)においては、探触子特性による検出信号の劣化を低減した結果、理想的に近い光音響波信号を用いて画像再構成できるため、4本の柱状光吸収体以外の目立ったコントラスト像(アーティファクト)は見られない、つまり、画像が大きく改善さえていることが分かる。このように、検出信号から得られたインパルス応答データを用いて、検出信号を補正することで、被検体内部にある光吸収体の画像を劣化させること無く画像化できた。
本実施形態を適用した光音響トモグラフィーを用いた被検体情報取得装置の一例について説明する。本実施例においては、実施例1と同様なファントム及び測定系を用いた。ただし、探触子の特性変化を模擬するために、2次元アレイ検出器の345チャンネルの約1/4素子に当る80素子の後段アンプの受信感度を50%低減し、受信感度特性を変化させた。次に、実施例1と同様にファントムに光照射を行い、得られたデジタルデータを信号処理器20であるワークステーション(WS)へ転送し、WS内に保存した。その後、実施例1と同様に光吸収部材起因の光音響波信号を用いて、各受信素子のインパルス応答を算出し、それを用いて検出信号を補正した。さらに、その補正した検出信号を用いて、画像再構成を行い、画像データを形成した。その結果、図6(a)とほぼ同様な劣化のない画像を得ることができた。
以上のことから、本発明により、探触子特性が変化しても、探触子特性による画像劣化を低減することができる。
本実施形態を適用した光音響トモグラフィーを用いた被検体情報取得装置の一例について説明する。本実施例においては、実施例1と同様なファントム及び測定系を用いた。まず、実施例1で用いた探触子のインパルス応答を計測に組み込む前に測定してデータとしてWSに保存した。次に、探触子特性を変化させるために、別の日に作製された探触子(実施例1で使われたのとは別の探触子)を測定系に組み込んだ。実施例1と同様にファントムに光照射を行い、得られたデジタルデータを信号処理器20であるワークステーション(WS)へ転送し、WS内に保存した。その後、実施例1と同様に光吸収部材起因の光音響波信号を用いて補正した検出信号を用いて、画像を得た。その結果、図6(a)とほぼ同様な劣化のない画像を得ることができた。次に、比較のため、予め計測された実施例1で用いた探触子のインパルス応答を用いて、検出信号の補正を行い、その補正信号を用いて画像を得た。これら二つの画像を比較した。予め計測された探触子のインパルス応答で補正した検出信号を用いて得られた画像は、本発明の光吸収部材起因の光音響波信号を用いて補正した検出信号を用いて得られた画像と比べると、アーティファクトが多く、また、光吸収体の像もぼやけていた。
以上のことから、本発明により、使用する探触子を変更しても、そのたびに新しい探触子のインパルス応答を取り直すことなく、探触子特性による画像劣化を低減することが可能となる。
11 光源
17 音響波探触子
18 光吸収部材
20 信号処理部

Claims (9)

  1. 被検体の外部に設けられる光吸収部材と、
    前記被検体及び前記光吸収部材にパルス光を照射するための光源と、
    前記パルス光により前記被検体及び前記光吸収部材において発生する音響波を検出する検出器と、
    前記検出器から取得される検出信号を用いて、被検体情報を取得する信号処理部と、を有し、
    該信号処理部は、
    前記検出器により取得される第一の検出信号のうち、前記光吸収部材で発生した音響波に起因する信号を特定し、該特定された信号を用いてインパルス応答データを取得した後に、該インパルス応答データを用いて該第一の検出信号をデコンボリューションした第二の検出信号を算出し、
    前記第二の検出信号を用いて、前記被検体情報を取得することを特徴とする被検体情報取得装置。
  2. 前記光吸収部材は平板形状であることを特徴とする請求項1に記載の被検体情報取得装置。
  3. 前記光吸収部材の光吸収厚さdは、前記音響波を検出する検出器の最大検出可能周波数をfmax、該光吸収部材の音速をcとしたとき、少なくともc/fmax以下であることを特徴とする請求項1又は2に記載の被検体情報取得装置。
  4. 前記光吸収部材は少なくとも前記音響波を検出する検出器の検出面のサイズよりも大きいことを特徴とする請求項1〜3のいずれか1項に記載の被検体情報取得装置。
  5. 前記光吸収部材は前記音響波を検出する検出器の検出面に平行であることを特徴とする請求項1〜4のいずれか1項に記載の被検体情報取得装置。
  6. 前記光吸収部材は前記音響波を検出する検出器と前記被検体との間に設けられていることを特徴とする請求項1〜5のいずれか1項に記載の被検体情報取得装置。
  7. 前記光吸収部材は該パルス光を前記被検体の方向に反射させることを特徴とする請求項1〜6のいずれか1項に記載の被検体情報取得装置。
  8. 被検体及び該被検体の外部に設けられた光吸収部材へのパルス光の照射により、前記被検体及び前記光吸収部材で発生した音響波を検出器で検出し、検出信号を用いて被検体情報を取得する被検体情報取得方法であって、
    前記検出信号において前記光吸収部材から発生した音響波に起因する信号を特定する工程と、
    前記特定した信号を前記検出信号から取り出してインパルス応答データを取得する工程と、
    前記インパルス応答データを用いて前記検出信号をデコンボリューションする工程と、
    前記デコンボリューションにより得られた信号を用いて、前記被検体情報を取得する工程と、
    を有することを特徴とする被検体情報取得方法。
  9. コンピュータに、
    請求項8に記載の被検体情報取得方法の各工程を実行させることを特徴とするプログラム。
JP2010290254A 2010-12-27 2010-12-27 被検体情報取得装置及び被検体情報取得方法 Expired - Fee Related JP5661451B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010290254A JP5661451B2 (ja) 2010-12-27 2010-12-27 被検体情報取得装置及び被検体情報取得方法
US13/990,528 US9560973B2 (en) 2010-12-27 2011-12-13 Subject information acquiring device and subject information acquiring method
PCT/JP2011/079280 WO2012090742A1 (en) 2010-12-27 2011-12-13 Photoacoustic device and method for acquiring subject information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010290254A JP5661451B2 (ja) 2010-12-27 2010-12-27 被検体情報取得装置及び被検体情報取得方法

Publications (2)

Publication Number Publication Date
JP2012135462A true JP2012135462A (ja) 2012-07-19
JP5661451B2 JP5661451B2 (ja) 2015-01-28

Family

ID=45401142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010290254A Expired - Fee Related JP5661451B2 (ja) 2010-12-27 2010-12-27 被検体情報取得装置及び被検体情報取得方法

Country Status (3)

Country Link
US (1) US9560973B2 (ja)
JP (1) JP5661451B2 (ja)
WO (1) WO2012090742A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013188461A (ja) * 2012-02-13 2013-09-26 Fujifilm Corp 光音響画像化方法および装置
JP2014094225A (ja) * 2012-11-12 2014-05-22 Canon Inc 被検体情報取得装置およびその制御方法
JP2014158548A (ja) * 2013-02-19 2014-09-04 Canon Inc 被検体情報取得装置およびその制御方法
JP2014233415A (ja) * 2013-05-31 2014-12-15 セイコーエプソン株式会社 超音波測定装置、超音波画像装置及び超音波画像の処理方法
JP2016144523A (ja) * 2015-02-06 2016-08-12 キヤノン株式会社 手持ち式プローブ
JP2017131482A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 被検体情報取得装置および信号処理方法
JP2017131560A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 超音波装置
US10429233B2 (en) 2012-12-28 2019-10-01 Canon Kabushiki Kaisha Object information obtaining device, display method, and non-transitory computer-readable storage medium
JP2020014728A (ja) * 2018-07-26 2020-01-30 Cyberdyne株式会社 光音響画像化装置及び光音響画像化方法
JP2021501306A (ja) * 2017-10-27 2021-01-14 フンボルト‐ウニヴェルズィテート ズ ベルリンHumboldt−Universitat Zu Berlin 干渉信号抑制を改善した光音響センサヘッドおよび光音響測定装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5441781B2 (ja) * 2010-03-25 2014-03-12 キヤノン株式会社 光音響イメージング装置、光音響イメージング方法及びプログラム
JP5850633B2 (ja) 2011-04-12 2016-02-03 キヤノン株式会社 被検体情報取得装置
JP6053265B2 (ja) 2011-09-01 2016-12-27 キヤノン株式会社 情報処理装置および情報処理方法
US20130289381A1 (en) * 2011-11-02 2013-10-31 Seno Medical Instruments, Inc. Dual modality imaging system for coregistered functional and anatomical mapping
JP5762995B2 (ja) * 2012-02-28 2015-08-12 富士フイルム株式会社 光音響画像生成装置及び方法
US20170265748A1 (en) * 2014-05-14 2017-09-21 Canon Kabushiki Kaisha Photoacoustic apparatus
CN104007089B (zh) * 2014-05-23 2017-02-01 华南师范大学 一种散射光声探测方法及光声探测器
JP6152136B2 (ja) * 2014-08-27 2017-06-21 プレキシオン株式会社 光音響画像化装置
JP2017047056A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 被検体情報取得装置
JP2017047177A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 被検体情報取得装置および被検体情報取得装置の制御方法
JP2017047178A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 被検体情報取得装置
WO2022141117A1 (zh) * 2020-12-29 2022-07-07 深圳市汇顶科技股份有限公司 指纹识别装置、显示屏模组和电子设备
CN113476076B (zh) * 2021-05-19 2024-05-14 深圳腾跃企业技术服务有限公司 一种提高超声图像质量的装置及使用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03156362A (ja) * 1989-08-16 1991-07-04 Hitachi Ltd 光音響信号検出方法及び装置
JP2002536041A (ja) * 1999-02-02 2002-10-29 オプトソニクス,インコーポレイテッド 改良型の熱音響式コンピュータ断層撮影スキャナ
JP2003144432A (ja) * 2001-11-12 2003-05-20 Aloka Co Ltd 超音波診断装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043884A (en) * 1997-08-08 2000-03-28 Bio-Rad Laboratories, Inc. DSP technique for photoacoustic spectroscopy (PAS) sample pulse response for depth profiling
US7322972B2 (en) * 2002-04-10 2008-01-29 The Regents Of The University Of California In vivo port wine stain, burn and melanin depth determination using a photoacoustic probe
JP4739363B2 (ja) 2007-05-15 2011-08-03 キヤノン株式会社 生体情報イメージング装置、生体情報の解析方法、及び生体情報のイメージング方法
JP5675142B2 (ja) * 2010-03-29 2015-02-25 キヤノン株式会社 被検体情報取得装置、被検体情報取得方法、および被検体情報取得方法を実行するためのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03156362A (ja) * 1989-08-16 1991-07-04 Hitachi Ltd 光音響信号検出方法及び装置
JP2002536041A (ja) * 1999-02-02 2002-10-29 オプトソニクス,インコーポレイテッド 改良型の熱音響式コンピュータ断層撮影スキャナ
JP2003144432A (ja) * 2001-11-12 2003-05-20 Aloka Co Ltd 超音波診断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014046166; Tao Lu et al.: 'Deconvolution Algorithm with LTI Wiener Filter in Photoacousic Tomography' Symposium on Photonics and Optoelectronics , 20090814, pp.1-4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013188461A (ja) * 2012-02-13 2013-09-26 Fujifilm Corp 光音響画像化方法および装置
JP2014094225A (ja) * 2012-11-12 2014-05-22 Canon Inc 被検体情報取得装置およびその制御方法
US10429233B2 (en) 2012-12-28 2019-10-01 Canon Kabushiki Kaisha Object information obtaining device, display method, and non-transitory computer-readable storage medium
JP2014158548A (ja) * 2013-02-19 2014-09-04 Canon Inc 被検体情報取得装置およびその制御方法
JP2014233415A (ja) * 2013-05-31 2014-12-15 セイコーエプソン株式会社 超音波測定装置、超音波画像装置及び超音波画像の処理方法
JP2016144523A (ja) * 2015-02-06 2016-08-12 キヤノン株式会社 手持ち式プローブ
JP2017131482A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 被検体情報取得装置および信号処理方法
JP2017131560A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 超音波装置
JP2021501306A (ja) * 2017-10-27 2021-01-14 フンボルト‐ウニヴェルズィテート ズ ベルリンHumboldt−Universitat Zu Berlin 干渉信号抑制を改善した光音響センサヘッドおよび光音響測定装置
JP7242075B2 (ja) 2017-10-27 2023-03-20 フンボルト‐ウニヴェルズィテート ズ ベルリン 干渉信号抑制を改善した光音響センサヘッドおよび光音響測定装置
JP2020014728A (ja) * 2018-07-26 2020-01-30 Cyberdyne株式会社 光音響画像化装置及び光音響画像化方法
JP7044305B2 (ja) 2018-07-26 2022-03-30 Cyberdyne株式会社 光音響画像化装置及び光音響画像化方法

Also Published As

Publication number Publication date
US20130245420A1 (en) 2013-09-19
WO2012090742A1 (en) 2012-07-05
JP5661451B2 (ja) 2015-01-28
US9560973B2 (en) 2017-02-07

Similar Documents

Publication Publication Date Title
JP5661451B2 (ja) 被検体情報取得装置及び被検体情報取得方法
JP5709399B2 (ja) 被検体情報取得装置およびその制御方法、ならびにプログラム
US9615751B2 (en) Object information acquiring apparatus and object information acquiring method
JP5586977B2 (ja) 被検体情報取得装置及び被検体情報取得方法
JP5777358B2 (ja) 被検体情報取得装置及び信号処理方法
JP6012386B2 (ja) 被検体情報取得装置およびその制御方法
JP6238539B2 (ja) 処理装置、被検体情報取得装置、および、処理方法
US20140360271A1 (en) Object information acquiring apparatus and method of controlling object information acquiring apparatus
EP2740410B1 (en) Subject information acquisition device, method for controlling subject information acquisition device, and program therefor
JP6222936B2 (ja) 装置および画像生成方法
JP5885437B2 (ja) 光音響装置及び処理方法
JP5645637B2 (ja) 被検体情報取得装置および被検体情報取得方法
JP6300977B2 (ja) 被検体情報取得装置及び被検体情報取得方法
JP2015092914A (ja) 被検体情報取得装置および音響波受信装置
JP6109359B2 (ja) 被検体情報取得装置及び被検体情報取得方法

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120730

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20120731

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120831

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141203

R151 Written notification of patent or utility model registration

Ref document number: 5661451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees