JP5725720B2 - 被検体情報処理装置 - Google Patents

被検体情報処理装置 Download PDF

Info

Publication number
JP5725720B2
JP5725720B2 JP2010031171A JP2010031171A JP5725720B2 JP 5725720 B2 JP5725720 B2 JP 5725720B2 JP 2010031171 A JP2010031171 A JP 2010031171A JP 2010031171 A JP2010031171 A JP 2010031171A JP 5725720 B2 JP5725720 B2 JP 5725720B2
Authority
JP
Japan
Prior art keywords
data
acoustic
reception
frequency
digital signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010031171A
Other languages
English (en)
Other versions
JP2011167228A (ja
Inventor
長永 兼一
兼一 長永
慶貴 馬場
慶貴 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010031171A priority Critical patent/JP5725720B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to PCT/JP2011/000791 priority patent/WO2011102105A1/en
Priority to US13/518,243 priority patent/US20120259198A1/en
Priority to CN201180009267.1A priority patent/CN102762153B/zh
Priority to EP11706365.1A priority patent/EP2536338B1/en
Priority to EP17155970.1A priority patent/EP3199973A1/en
Publication of JP2011167228A publication Critical patent/JP2011167228A/ja
Application granted granted Critical
Publication of JP5725720B2 publication Critical patent/JP5725720B2/ja
Priority to US15/201,777 priority patent/US20160331241A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52034Data rate converters

Description

本発明は、被検体から受信した音響波を用いて被検体内の情報を取得する被検体情報処理装置に関する。
被検体内へ光や音響波(超音波)を送信し、被検体から放出された音響波を受信して電気信号に変換し、画像データを取得する手法として、超音波エコーや光音響トモグラフィがある。超音波エコーとは、被検体に音響波である超音波を送信しその反射波を受信し、画像化する方法である。光音響トモグラフィは、光エネルギーを被検体内に送信し、光エネルギーの吸収によって断熱膨張した結果生じた音響波(典型的には超音波)を受信し、画像化する方法である。このとき生じた音響波を光音響波とも呼ぶ。
超音波エコーは医用分野で生体を対象として一般的に用いられており、生体内の音響インピーダンスの違いを画像化することが出来るだけでなく、その安全性、簡便性、リアルタイム性などから非常に有用な診断手段として広まっている。一方で、光エネルギーを送信し光音響波を受信する光音響トモグラフィも、その安全性や組織の光吸収係数の違いを描出できる可能性などから、注目を浴びている。
超音波エコーと光音響トモグラフィとにおいて、複数の音響変換素子によって電気信号(受信信号)に変換されたそれぞれの信号に対して、注目位置に応じた時間ずれを与えて加算する。この加算された信号に対して、さらにフィルタリングなどの処理を行うことでそれぞれの受信信号を画像化することが可能となる。
このように超音波エコーと光音響トモグラフィとはそれぞれ生体内の異なった特性を画像化でき、さらにいずれの技術も受信に関しては生体から放出された音響波を複数の音響変換素子で受信し処理する点で共通している。そのため、この2つの技術を一つのシステムにおいてリアルタイムに実現する試みがなされている。例えば、特許文献1では、共通の回路で超音波エコーと光音響トモグラフィとを測定するシステムが開示されている。また、非特許文献1では、1MHzの中心周波数を有する音響変換素子を用いて15mm程度の深
さにおける組織の光吸収係数の差を検出している。
特開2005−21380号公報
Srirang Manohar, Susanne E. Vaartjes, Johan C. G. van Hespen, Joost M. Klaase, Frank M. van den Engh, Wiendelt Steenbergen, and Ton G. van Leeuwen, "Initial results of in vivo non-invasive cancer imaging in the human breast using near-infrared photoacoustics," Opt. Express 15, 12277-12285 (2007)
前述したように超音波エコーと光音響トモグラフィとの受信処理においては、複数の音響変換素子を用いて電気信号に変換された信号に対し、注目点に応じた時間ずれを与え加算する。このような処理によって、注目点から音響変換素子に届いた音響波の信号を選択的に取り出すことが可能となる。
超音波エコーの送信時には、目標とする収束点に応じた時間ずれをそれぞれの音響変換素子に出力される電気信号(送信信号)に与え、超音波を送信することで、目標とする点
もしくは方向に収束された超音波送信ビームを形成することが可能である。このように超音波エコーにおいては、送信、受信ともに注目点もしくは方向に収束した超音波の送受信が出来る。そのため、送信受信の注目点もしくは方向を揃えることで、送信した超音波エネルギーを効率良く被検体内の画像化に活用することが出来る。
一方、光音響トモグラフィにおいては、光を被検体に照射することで光エネルギーの送信を行う。しかしながら、被検体が例えば生体のような強散乱体である場合、光を被検体内の任意の位置において収束させることは非常に困難である。そのため光トモグラフィにおいては、超音波エコーの送信のように送信した光エネルギーを収束させることができず、入射された位置から散乱され広がってゆく光エネルギーが送信範囲となる。
このように光エネルギーが被検体内で散乱され広がった送信範囲になる状況で、従来の超音波エコーのように送信方向と受信方向を揃えて受信処理する手法では、送信された光エネルギーの広がる範囲に対して受信処理の際に注目する領域が狭くなってしまう。そのため送信した光エネルギーを画像化に効率よく活用できない。
このように送信した光エネルギーを画像化に効率よく活用できない場合、その効率の低下と共に画像のSN比が低下してしまう。低下してしまう画像のSN比を向上させるためには、送信する光エネルギーを増大させる、送信範囲全体をカバーするように受信の注目点や方向を増やすなどの手法が考えられる。しかし、例えば生体などに光を照射する場合には、安全上の理由から最大許容照度が決められており、際限なく送信する光エネルギーを増大させていくことは出来ない。また、単純に受信の注目点や方向の数を増加させていくと受信信号の処理回路の規模が増大してゆく。
次に、超音波エコーと光音響トモグラフィとにおいて受信される音響波と信号処理について述べる。
超音波エコーでは送信した超音波が被検体内の音響インピーダンスの違う界面や散乱体で反射してくる。超音波は被検体内を伝播するに従って周波数依存減衰を受けるため、送信した超音波の周波数に対して中心周波数が低い超音波を受信することになる。例えば生体内の画像化において、典型的には10cm以上の深さを観察する場合は3MHzから5MHz程度、5cm未満の浅い部分を観察する場合には7MHzから15MHz程度の中心周波数を有する超音波を受信する。
一方、光音響トモグラフィでは、光の吸収係数の違う物体から光音響波が発生する。この物体のサイズが大きい場合は中心周波数の低い光音響波が、物体のサイズが小さい場合は中心周波数の高い光音響波が発生する。また同じ吸収係数の物体であれば、物体のサイズが大きい場合発生する光音響波の振幅は大きくなり、物体のサイズが小さい場合は光音響波の振幅が小さくなる。つまり小さい物体は中心周波数が高く、振幅が小さい光音響波を発生するため音響変換素子まで伝播することが難しくなる。例えば、5cm程度の深さを
観察する場合、光音響トモグラフィによって受信される光音響波は中心周波数が1MHzから3MHzである。さらに深い部分を観察する場合、さらに中心周波数が低い信号が受信される。例えば非特許文献1では、1cm〜5cm程度の深さを観察するのに1MHzの中心周波数を有する音響変換素子を採用している。このように光音響トモグラフィと超音波エコーとで被検体内の同じ深さを画像化する場合、受信される音響波の中心周波数は大きく異なる。
信号処理においては、処理する信号が含む周波数の倍以上のサンプリング周波数でサンプリングすることで元の情報を保持できる。すなわち有意な信号成分が20MHz付近まで含
まれている超音波信号を処理する場合、サンプリング周波数は40MHz以上である必要があ
る。例えば、20MHzまで有意な信号成分を含む64CH分の入力に対してリアルタイムに加算
処理を行う場合、40MHz以上で加算処理が行える加算回路が63個、1秒当り2,520,000,000回の加算処理を行う処理能力を有する回路が必要となる。また例えば、3MHzまで有意な信号成分を含む64CH分の光音響信号を処理する場合を考えると、必要な加算処理能力は6MHz以上で加算処理が行える加算回路が63個、1秒当り189,000,000回の処理能力となる。こ
のように信号の周波数によって最低限必要な加算処理能力が大きく変化する。中心周波数の高い超音波エコーの信号を加算する回路と中心周波数の低い光音響信号を加算する回路をそのまま共通化した場合、高い処理能力を必要とする超音波エコーの信号に合わせて回路が構成される。そのため、より低い処理能力で構わない光音響信号の処理時には必要以上な処理を行うことになり、非効率である。
発明者の検討により、上記のように、光音響波の信号と超音波エコーによる信号とが異なる周波数を有すること、そのことによって加算処理回路の効率が低下しているという課題が明らかになった。そのため、デジタルデータの処理回路の動作が変化することで、受信信号の特性に応じた効率的な処理を実施できる生体情報装置を提供する必要がある。
なお、特許文献1ではアナログ回路によって加算処理を行い、その後デジタル信号へ変換しており、加算処理回路を含む処理回路における受信信号の特性に応じた効率的な処理は開示されていない。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、超音波エコーと光音響トモグラフィとを実施可能な生体情報処理装置において、処理回路の規模を抑制するための技術を提供することである。
上述した課題を解決するために、本発明は以下の構成を採用する。すなわち、音響波送信部から送信され被検体内で反射した第1の周波数を有する音響波を受信して第1アナログ信号に変換する複数の第1の音響変換素子と、光源から発せられた光が被検体に照射されたときに発生する第2の周波数を有する音響波を受信して第2アナログ信号に変換する複数の第2の音響変換素子と、前記複数の第1の音響変換素子から出力される複数の前記第1アナログ信号をサンプリングして複数の第1デジタル信号に変換し、前記複数の第2音響変換素子から出力される複数の第2アナログ信号をサンプリングして複数の第2デジタル信号に変換するA/D変換部と、前記A/D変換部から出力される前記複数の第1及び第2デジタル信号を保持するデータ保持部と、前記データ保持部から出力された第1デジタル信号に基づいて第1画像データを生成し、前記データ保持部から出力された第2デジタル信号に基づいて第2画像データを生成する処理部とを備え、前記第1の周波数は前記第2の周波数よりも高く、前記A/D変換部は、前記第1アナログ信号と前記第2アナログ信号とが共通に入力されるチャネルを有し、前記データ保持部は、前記第1デジタル信号と前記第2デジタル信号とが共通に入力されるチャネルを有し、前記データ保持部から出力される第1デジタル信号について、前記第2画像データ上における1つの空間軸に関する単位時間あたりの前記第2デジタル信号のサンプル数が、前記第1画像データ上における1つの空間軸に関する単位時間あたりの前記第1デジタル信号のサンプル数よりも少ないものであって、前記A/D変換部は、前記第2アナログ信号と前記第1アナログ信号とを同じサンプリング周波数でデジタル変換し、前記データ保持部は、前記第2デジタル信号を前記第1デジタル信号よりも疎らに出力することを特徴とする被検体情報処理装置である。
本発明によれば、超音波エコーと光音響トモグラフィとを実施可能な生体情報処理装置において、処理回路の規模を抑制することが可能になる。
第1の実施形態のシステム概要図。 第1の実施形態の処理タイミングを示す図。 第1の実施形態の観察領域を示す図。 第1の実施形態のデータ読み出し位置を説明する図。 第1の実施形態のデータ読み出し位置を説明する図。 第1の実施形態の加算前データを説明する図。 第2の実施形態のシステム概要図。 第2の実施形態の加算前データを説明する図。 第2の実施形態のデータ読み出し位置を説明する図。 第3の実施形態のシステム概要図。 第3の実施形態の切換スイッチのタイミングを示す図。
以下、図面を用いて本発明による生体情報処理装置の実施形態を詳細に説明する。なお、本発明において「音響波」とは、音波、超音波、光音響波と呼ばれるものを含む。以降の説明においては、光音響トモグラフィを用いて、被検体内部に光を照射することで被検体内部で発生する音響波を「光音響波」と呼び、超音波エコーを用いて、音響変換素子により被検体に送受信する音響波を「超音波」と呼ぶ。
(第1の実施形態)
図1は本発明の第1の実施形態にかかる生体情報処理装置のシステム構成を示す図である。
本システムは、複数の音響変換素子002を含む探触子001、システム制御部003、送信機能ブロック004、A/D変換ブロック005、データ保持ブロック006を備える。さらに、加算ブロック007、後段処理ブロック008、画像処理ブロック009、画像表示装置012、受信データ制御部011、光源013を備える。
まず図2を用いて光音響トモグラフィと超音波エコーとを行うタイミングについて説明する。1回目の光照射をPA-Tx1で示すタイミングで行い、被検体から出てくる光音響波をPA-Rx1の期間で受信し処理する。次にUS-Tx1からUS-Tx4で示すタイミングで超音波を被検体へ送信し、それぞれUS-Rx1からUS-Rx4の期間で受信し処理する。さらに次の光照射をPA-Tx2で示すタイミングで行い、上記の処理を繰り返す。
図3は1回の光照射と複数回の超音波エコーで取得する被検体内の範囲を模式的に示した図である。図3(a)は、図2のPA-Tx1で光照射された領域301に関して、PA-Rx1-1か
らPA-Rx1-4で示す受信軸毎に矢印で示す方向で画像化を行うことを表している。受信軸とは、ピクセルデータ又はボクセルデータを生成する画像再構成(画像データの生成)の際に、画像再構成を行う空間軸上の点の軌跡であり、図3においては、音響変換素子の位置に対して被検体の深さ方向に移動させる注目点の軌跡を示している。また、領域301は便宜上、探触子001に近い順に302〜305と区切られる場合がある。図3(b)は図
2のUS-Tx1で送信した超音波によりUS-Rx1の期間で受信した超音波の受信軸をUS-TR1として、受信軸US-TR1からUS-TR4の計4回の超音波送受信によって画像化を行うことを表している。なお、図3(a)で示した領域と図3(b)で示した領域は同じ広さの領域である。超音波エコーにおける送信は音響変換素子からタイミングをずらした超音波を送信することで収束できるが、光を強散乱体内で収束することは難しいため、光照射された領域301は光音響信号の受信軸を複数含む広さとなる。また、本実施形態では超音波エコーで得られる受信信号の中の有意な信号はFUSHzまで含まれており、光音響トモグラフィで得られる
光音響波の中の有意な信号はFPAHzまで含まれているとする。一例として本実施形態ではFUSは20MHz、FPAは5MHzとして説明を行うが、本発明の効果はFUS>FPAの条件を満たせば得
られる。
本実施形態では、音響変換素子が超音波送信部(音響波送信部)であり、第1の音響変換素子(超音波を受信する音響変換素子)および第2の音響変換素子(光音響波を受信する音響変換素子)も兼ねている。ただし、第1の音響波変換素子と第2の音響波変換素子を別々に用意してもよく、本発明は上述の例に限らない。また、超音波エコーで送信する超音波の周波数が第1の周波数であり、光音響波の周波数が第2の周波数である。また、A/D変換ブロックは本発明のA/D変換部にあたり、データ保持ブロックがデータ保持部にあたる。また、加算ブロック、後段処理ブロックおよび画像処理ブロックが画像データを生成する処理部であり、受信データ制御部が制御部である。
ここで図1に戻り、超音波エコーを実施する場合の動作を、図2のUS-Tx1で示すタイミ
ングの送信とUS-Rx1で示す期間での動作を例にとって説明する。
まず、システム制御部003から送信機能ブロック004に送信トリガが出力される。送信機能ブロック004は、超音波を送信する方向US-TR1内の焦点位置に対するそれぞれの音響変換素子002からの距離と被検体内の音速を用いて、送信に与える遅延時間を音響変換素子ごとに算出する。そして、この遅延時間だけずらされた電気信号である電圧信号を、それぞれの音響変換素子002へ送信する。なお、超音波エコーにおいて超音波を送信する送信ビームや反射した超音波の受信ビームは受信軸と一致している。例えば、図3(b)のUS-TR1で表す受信軸などが送信ビームならびに受信ビームに相当する。
音響変換素子002は、入力された電圧信号を超音波に変換し被検体内へ送信する。被検体内で反射された超音波は音響変換素子002で受信されアナログ電気信号(アナログ信号)に変換され、それぞれA/D変換ブロック005に入力される。A/D変換ブロック005は、入力された、超音波に由来するアナログ電気信号をデジタルデータ(デジタル信号)に変換し、データ保持ブロック006に送信する。データ保持ブロック006は、入力された、超音波に由来するデジタルデータを内部に有するメモリ内に保持する。
受信データ制御部011は、システム制御部003から指示された受信軸US-TR1に関する情報に基づいて、データ保持ブロック006に対してメモリ内のデータ読み出し位置を出力する。データ保持ブロック006は、保持したデジタルデータの中から、受信データ制御部011から指示されたデータを加算前データとして加算ブロック007へ出力する。
ここで図5を用いてメモリ内のデータ読み出しについて説明する。図5はデータ保持ブロック006内の個々の音響変換素子にそれぞれ対応するメモリ401から405を模式的に示している。図1の加算ブロック007では入力が8CH分存在するが、ここでは簡略化してデータ保持ブロック006内のメモリを5CH分として表記している。なお受信時間が早いデジタルデータが図中の右側に保持されている。図では受信データ制御部011内から指示された加算前データのうち、同じタイミングで出力するよう指示されたデータを同じ色で示し、さらに線501で繋いで示している。
本実施形態における超音波エコーには有意な信号成分が20MHz(FUS)まで含まれているため、40MHz(2×FUS)以上のサンプリング周波数が必要となる。40MHzのサンプリング周波数は、メモリ401から405の時間方向の刻み25ナノ秒(1/(2×FUS))に対応する。データ保持ブロック006から出力されるデータは、メモリ401から405のそれぞれで、時間方向に連続して、スキップせずに読み出される必要がある。その結果として本実施形態では、加算前データの受信軸US-TR1に関する単位時間当りのデータ数はサンプリング周波数と同じ値、つまり40,000,000個となる。
図1に戻って、加算ブロック007では必要に応じて重みを各入力された加算前データに乗じた後、入力された加算前データを総加算し、後段処理ブロック008へ出力する。後段処理ブロックでは入力データの包絡線を求め、結果を画像処理ブロック009へ出力する。画像処理ブロック009では入力されたデータに対して、観察領域に合わせたデータの並べ替えやスムージング、エッジ強調などの各種画像処理を行い、画像表示装置012に輝度値データとして送信する。最終的に画像表示装置012で画像が表示される。
次に光音響トモグラフィを実施する場合の動作を、図2のPA-Tx1で示すタイミングの送信とPA-Rx1で示す期間での動作を例にとって説明する。システム制御部003から送信機能ブロック004に送信トリガが出力される。送信機能ブロックは光源013を駆動する信号を生成し、光源013は被検体に光エネルギーを送信する。光エネルギーは領域301に広がり、その光エネルギーで発生した光音響波は複数の音響変換素子002で受信されアナログ電気信号に変換され、それぞれA/D変換ブロック005に入力される。A/D変換ブロック005においては、入力された、光音響波に由来するアナログ電気信号をデジタルデータに変換しデータ保持ブロック006に送信する。データ保持ブロック00
6は内部に有するメモリ内に、入力された、光音響波に由来するデジタルデータを保持する。
受信データ制御部011はシステム制御部003から指示された受信軸PA-Rx1-1、PA-Rx1-2、PA-Rx1-3、PA-Rx1-4に関する情報に基づいて、データ保持ブロック006に対してメモリ内のデータ読み出し位置を出力する。データ保持ブロック006は保持したデジタルデータの中から、受信データ制御部011から指示されたデータを加算前データとして加算ブロック007へ出力する。
ここで図4を用いてメモリ内のデータ読み出しについて説明する。図4はデータ保持ブロック006内の、個別の音響変換素子に対応するそれぞれのメモリ401から405を模式的に示している。なお、受信時間が早いデジタルデータが図中の右側に保持されている。受信軸PA-Rx1-1に対応するのが図4(a)、受信軸PA-Rx1-2に対応するのが図4(b)、受信軸PA-Rx1-3に対応するのが図4(c)、受信軸PA-Rx1-4に対応するのが図4(d)である。図で受信データ制御部011内から指示された加算前データのうち、同じタイミング(時刻)で出力するデータを同じ色で示し、さらに線410等で示すように同じ時刻で出力するデータを線で繋いで示している。
本実施形態における光音響トモグラフィで受信される光音響波には有意な信号成分が5MHz(FPA)まで含まれているため、10MHz(2×FPA)以上のサンプリング周波数が必要となる。ここで、本システムは超音波エコーの受信信号に合わせて40MHz(2×FUS)のサンプ
リングを行っている。そのため、メモリ401から405内で、時間方向に4サンプル中の3サンプルをスキップして、加算前データとして読み出せば、光音響トモグラフィによる受信信号の情報を失わずに処理することができる。そのため、PA-Rx1-1の受信軸に関しては、線410から413で示すように、連続する4サンプル中3サンプルをスキップしたデータを加算前データとして読み出しても、光音響トモグラフィにより受信した情報を失うことなく処理できる。同様に、PA-Rx1-2の受信軸に関しては線420から423で示すメモリ内の4サンプルごとのデータを加算前データとして読み出せば良い。また、PA-Rx1-3の受信軸に関しては線430から433で示すメモリ内の4サンプルごとのデータを加算前データとして読み出せば良い。また、PA-Rx1-4の受信軸に関しては線440から
443で示すメモリ内の4サンプルごとのデータを加算前データとして読み出せば良い。
このように光音響トモグラフィの処理では、データを時間方向にスキップしながら読み出すことで、それぞれの受信軸に関する単位時間当りの加算前データのデータ数はサンプリング周波数よりも小さくなる。つまり、超音波エコーにおける受信データの受信軸に関する単位時間当りのデータ数よりも少なくすることができる。
次に、加算ブロック007では必要に応じて重みを各入力された加算前データに乗じた後、入力された加算前データを総加算し、後段処理ブロック008へ出力する。後段処理ブロック008では入力データの包絡線を求める、もしくは以下の数式1で表す演算を行って、結果を画像処理ブロック009へ出力する。なおSinは入力データ、Soutは出力、tは光音響波の受信開始から経過した時間を示す。
Figure 0005725720

画像処理ブロック009では入力されたデータに対して、観察領域に合わせたデータの並べ替えやスムージング、エッジ強調などの各種画像処理を行い、画像表示装置012に輝度値データとして送信する。最終的に画像表示装置012で画像が表示される。
このように光照射領域301の中で複数の受信軸を設定し画像化することで、照射した光エネルギーを効率よく利用して被検体内の画像化を行うことが出来る。そのため光エネルギーの利用効率の低下による画像のSN比の低下を抑制することが可能となる。
次に図6を用いて超音波エコーと光音響トモグラフィとにおける加算前データについて述べる。図6(b)は超音波エコーによる受信信号の加算前データ605を示している。図
中、右側にある加算前データほど、データ保持ブロック006から先に出力されたデータである。加算前データ605が上下方向に8段に分離しているのは、それぞれ図1における加算ブロック007への8CH分の入力を示している。本実施形態の加算ブロック007は40MHz毎に8CH分のデータを入力として処理できるよう設計されている。すなわち、図
中の加算前データ605はそのまま40MHzごと、つまり受信軸US-TR1に関する単位時間あ
たりのサンプル数を40,000,000として入力されていく。
図6(a)は光音響トモグラフィによる受信信号の加算前データを示しており、加算前デ
ータ601は、受信軸PA-Rx1-1に関する加算前データである。同様に、受信軸PA-Rx1-2に関する加算前データ602、受信軸PA-Rx1-3に関する加算前データ603、受信軸PA-Rx1-4に関する加算前データ604が示されている。それぞれの受信軸に関する加算前データは先ほど図5で説明したように、それぞれの受信軸においてはメモリから4サンプル毎に読み出されたデータ、言い換えれば10MHzでサンプリングされたデータである。
以上より、超音波エコーの受信処理において、受信軸US-TR1に関する単位時間当りの加算前データのデータ数は(40,000,000)である。また、光音響トモグラフィの受信処理において、受信軸PA-Rx1-1からPA-Rx1-4に関する単位時間当りの加算前データのデータ数は(10,000,000)である。したがって、超音波エコーの受信処理よりも、光音響トモグラフィの受信処理の方が、単位時間当たりのデータ数が少ないことになる。
ここで、加算ブロック007に注目すると、超音波エコーと光音響トモグラフィとのいずれにおいても、40MHzで8CH分のデータが連続して入力されることになる。その結果、加算ブロック007を含む回路の共有化だけでなく、加算能力を効率よく利用した小規模な処理回路が実現できる。
このようなシステムの構成と動作を行うことで、光照射領域301へ照射された光エネルギーを効率よく画像化に利用できるだけでなく、加算ブロック007の加算能力を効率よく利用することができる。その結果、画像のSN比の低下がない上に、超音波エコーと光音響トモグラフィとを共通の回路によりリアルタイムに処理可能で、かつ小規模な処理回路のシステムを得ることができる。
なお、本実施形態では8CHの入力を有する加算ブロックを示したが、実際はこれに限るものではなく、64CH、128CH、256CHなどの多CHの入力でも実施可能である。
また本実施形態では超音波エコーでの送受信は送信1回に対して受信軸を1方向になるように説明したが、実際はこれに限るものではない。超音波エコーの送信1回に対してN方向の受信軸の処理を実施可能な規模の回路であれば、光音響トモグラフィの処理の受信軸もN倍増加させることができ、同様の効果が得られる。
また本実施形態ではリニアスキャンの例で説明したが、セクタスキャン、コンベックススキャンなどのスキャン方法にも、同様の処理により効果を得ることができる。
(第2の実施形態)
図7は本発明の第2の実施形態にかかる生体情報処理装置のシステム構成の概略を示す図である。
本システムの、第1の実施形態のシステム概略図(図1)との差異は、受信データ制御部011がA/D変換ブロック005へ接続している点である。また加算ブロック007は加算機能を有する回路であり、Σの記号で表記してある。
光音響トモグラフィと超音波エコーとを行うタイミングは、第1の実施形態で示した図2と同じである。本実施形態においても、超音波エコーで得られる受信信号の中の有意な
信号はFUSHzまで含まれており、光音響トモグラフィで得られる光音響波の中の有意な信
号はFPAHzまで含まれているとする。一例として本実施形態ではFUSは20MHz、FPAは5MHzとして説明を行うが、本発明の効果はFUS>FPAの条件を満たせば得られる。
1回の光照射と複数回の超音波エコーで取得する被検体内の範囲は図3で示した通りである。図3の中の番号302から305は深さの範囲を示す。
また、超音波エコーによる画像化の時のシステム動作は第1の実施形態と同様であるため省略する。
次に光音響トモグラフィを実施する場合の動作を説明する。まず光エネルギーを被検体に送信する前に、受信データ制御部011からの指示によって、A/D変換ブロック005のサンプリング周波数が変更される。本実施形態では変更されたサンプリング周波数は10MHz(2×FPA)として説明を行うが、超音波エコーを取得する際のサンプリング周波数よ
りも低く、光音響波に含まれる有意な信号の倍の周波数よりも高ければ本発明の効果は得られる。
その後、光源013から光エネルギーを被検体に送信し、発生した光音響波を複数の音響変換素子002が受信する。複数の音響変換素子002では光音響波がアナログ電気信号に変換され、それぞれA/D変換ブロック005に入力される。A/D変換ブロック005においては、先ほど変更された10MHzのサンプリング周波数で、入力されたアナログ
電気信号をデジタルデータに変換しデータ保持ブロック006に送信する。データ保持ブロック006は、内部に有するメモリ内に入力されたデジタルデータを保持する。
受信データ制御部011はシステム制御部003から指示された受信軸PA-Rx1-1、PA-Rx1-2、PA-Rx1-3、PA-Rx1-4に関する情報に基づいて、データ保持ブロック006に対してメモリ内のデータ読み出し位置を出力する。データ保持ブロック006は保持したデジタルデータの中から、受信データ制御部011から指示されたデータを加算前データとして加算ブロック007へ出力する。
ここで図9を用いてメモリ内のデータ読み出しについて説明する。図9はデータ保持ブロック006内の個別の音響変換素子に対応するそれぞれのメモリ401から405を模式的に示している。なお、受信時間が早いデジタルデータが図中の右側に保持されている。本実施形態では10MHzでサンプリングしているため、100ナノ秒ごとの信号が保持されている。受信軸PA-Rx1-1に対応するのが図9(a)、受信軸PA-Rx1-2に対応するのが図9(b)、受信軸PA-Rx1-3に対応するのが図9(c)、受信軸PA-Rx1-4に対応するのが図9(d)である。図で受信データ制御部011内から指示された加算前データのうち、同じタイミングで出力するデータを同じ色で示し、さらに線910から913、920から923、930から933、940から943で繋いで示している。本実施形態における光音響トモグラフィで受信される光音響波には有意な信号成分が5MHz(FPA)まで含まれているため、10MHz(2×FPA)以上のサンプリング周波数が必要となる。ここで本実施形態では上記のように、A/D変換ブロック005において既に10MHz(2×FPA)でサンプリングしている。そ
のため、時間軸方向のスキップなどを行う必要がなく、そのまま加算前データとして出力しても、複数の受信軸のデータを情報を失うことなく処理できる。
次に図8を用いて加算前データについて説明する。図8は光音響トモグラフィにおける受信信号の加算前データを示している。図中、右側にある加算前データほど、データ保持ブロック006から先に出力されたデータである。図9における同時に出力する加算前データを繋いだ線の番号(910−943)と、図8内の点線で表された線は同じデータを示す。つまり、一つの受信軸のデータを全て出力した後に、次の受信軸のデータを出力するのではなく、受信軸を順次変更しながらデータを送信することになる。
図3を参照しつつ詳細を説明する。第1の実施形態では受信軸PA-Rx1-1のデータを加算前データとして出力した後、受信軸PA-Rx1-2のデータを送信していた。本実施形態では、まず、受信軸PA-Rx1-1の深さ302の受信エリアのデータを出力する。続いて、受信軸PA
-Rx1-2の深さ302の受信エリアのデータ、受信軸PA-Rx1-3の深さ302の受信エリアのデータ、受信軸PA-Rx1-4の深さ302の受信エリアのデータ、という順に出力する。そして次の深さに移り、受信軸PA-Rx1-1の深さ303の受信エリアのデータ、といった順序で加算前データを出力してゆく。つまり、被検体内部の領域のうち、音響変換素子に近い領域に関するデジタルデータから順に出力する。なお、受信エリアとは、ある受信軸で所定の距離範囲(音響変換素子から被検体の深さ方向への所定の距離範囲)で規定できる範囲を意味する。
このような順序で加算前データを出力する場合、深さ302に関する加算前データを出力した後は深さ302に関するデジタルデータは不要となる。そのため深さ302に関する加算前データを出力した後すぐに、そのメモリ領域に新たなデジタルデータを書き込むことが可能となる。このような動作を行うことでシステムに必要なメモリサイズを抑制することができ、より低コストな生体情報処理装置を提供可能となる。
このようにして出力された加算前データを加算ブロック007に入力した後は第1の実施形態と同様のため、省略する。
このようにA/D変換ブロック005のサンプリング周波数を変化させることで、光音響トモグラフィの処理時の単位時間当りのデータ数を、超音波エコーの処理時の単位時間当りのデータ数よりも少なくできる。また、加算ブロック007に入力されるデータは、超音波エコーと光音響トモグラフィとのいずれにおいても、40MHzで8CH分のデータが連続して入力されることになる。その結果、加算ブロック007を含む回路の共有化だけでなく、加算能力を効率よく利用した小規模な処理回路が実現できる。
本実施形態ではさらに、A/D変換ブロックの動作周波数を下げることで、ADC(アナログデジタル変換機)の発熱を要因とするノイズが低減され、システムの消費電力も抑制される。つまり画像のSN比が高く消費電力の小さい生体情報処理装置を得ることができる。
(第3の実施形態)
図10は本発明の第3の実施形態にかかる生体情報処理装置のシステム構成の概略を示す図である。
本システムは、第1の複数の音響変換素子014を含む第1の探触子017、第2の複数の音響変換素子015を含む第2の探触子018、システム制御部003、送信機能ブロック004、A/D変換ブロック005を備える。さらに、データ保持ブロック006、加算ブロック007、後段処理ブロック008、画像処理ブロック009、画像表示装置012、受信データ制御部011、光源013、切換スイッチ016を備える。
探触子が2種類に増加した点、切換スイッチが加わった点以外はこれまでの実施形態と同様である。
光音響トモグラフィによる光音響波と超音波エコーによる反射超音波との中心周波数が違うことはここまでで述べた通りである。また、音響変換素子も受信可能な帯域幅ならびに中心周波数の特性を有する。そのため、光音響トモグラフィと超音波エコーに用いる最適な音響変換素子が異なる場合がある。例えばPZTを用いた音響変換素子であれば中心周波数1MHzや20MHz程度のものが存在し、その比帯域は80%程度が実現されている。また半導体技術を用いたCMUTなどでは比帯域が100%を超えるものも存在する。対象とする被検体の観察深さや希望する空間分解能などによって、光音響トモグラフィと超音波エコーに用いる音響変換素子の組み合わせが異なることがある。
特に超音波エコーによる反射超音波を受ける第1の音響変換素子の中心周波数が、光音響トモグラフィによる光音響波を受ける第2の音響変換素子の中心周波数よりも高いことが、高い効率で超音波を受信するためには好ましい。
そこで、本実施形態の音響変換素子014は音響変換素子015よりも高い中心周波数
特性を有するものとする。例えば音響変換素子014は12MHz、音響変換素子015は
3MHzの中心周波数となる。
信号処理の流れはこれまでの実施形態と同様であるため省略し、これまでの実施形態と異なる動作の部分のみ説明を行う。
切換スイッチ016は音響変換素子014と音響変換素子015と、A/D変換ブロックとの接続を切り換える機能を有しており、音響変換素子のいずれかとA/D変換ブロックとを接続することができる。光音響トモグラフィを行う場合は切換スイッチ016を音響変換素子015に接続するよう動作し、超音波エコーを行う場合は切換スイッチ017を音響変換素子014に接続するように動作する。図11はその動作タイミングを示した図である。PA-Tx1のタイミングで光エネルギーを送信した場合には、音響変換素子015に切り換えた状態(SW1)である。その後US-Tx1からUS-Tx4までの超音波エコーを実施している期間は、音響変換素子14に切り換えた状態(SW2)を保持するよう、切換スイッチ016は動作する。
このような動作を行うことで、光音響ならびに超音波エコーそれぞれで受信する信号をより効率的にアナログ電気信号に変換することが可能となり、よりSN比の高い画質が向上した生体情報処理装置を提供することができる。
001:探触子,002:音響変換素子,003:システム制御部,004:送信機能ブロック,005:A/D変換ブロック,006:データ保持ブロック,007:加算ブロック,011:受信データ制御部,013:光源

Claims (6)

  1. 音響波送信部から送信され被検体内で反射した第1の周波数を有する音響波を受信して第1アナログ信号に変換する複数の第1の音響変換素子と、
    光源から発せられた光が被検体に照射されたときに発生する第2の周波数を有する音響波を受信して第2アナログ信号に変換する複数の第2の音響変換素子と、
    前記複数の第1の音響変換素子から出力される複数の前記第1アナログ信号をサンプリングして複数の第1デジタル信号に変換し、前記複数の第2音響変換素子から出力される複数の第2アナログ信号をサンプリングして複数の第2デジタル信号に変換するA/D変換部と、
    前記A/D変換部から出力される前記複数の第1及び第2デジタル信号を保持するデータ保持部と、
    前記データ保持部から出力された第1デジタル信号に基づいて第1画像データを生成し、前記データ保持部から出力された第2デジタル信号に基づいて第2画像データを生成する処理部と
    を備え、
    前記第1の周波数は前記第2の周波数よりも高く、
    前記A/D変換部は、前記第1アナログ信号と前記第2アナログ信号とが共通に入力されるチャネルを有し、
    前記データ保持部は、前記第1デジタル信号と前記第2デジタル信号とが共通に入力されるチャネルを有し、
    前記データ保持部から出力される第1デジタル信号について、前記第2画像データ上における1つの空間軸に関する単位時間あたりの前記第2デジタル信号のサンプル数が、前記第1画像データ上における1つの空間軸に関する単位時間あたりの前記第1デジタル信号のサンプル数よりも少ないものであって、
    前記A/D変換部は、前記第2アナログ信号と前記第1アナログ信号とを同じサンプリング周波数でデジタル変換し、
    前記データ保持部は、前記第2デジタル信号を前記第1デジタル信号よりも疎らに出力する
    ことを特徴とする被検体情報処理装置。
  2. 前記複数の第1の音響変換素子は前記音響波送信部を兼ねている
    ことを特徴とする請求項1に記載の被検体情報処理装置。
  3. 前記複数の第1の音響変換素子は前記複数の第2の音響変換素子を兼ねている
    ことを特徴とする請求項1または2に記載の被検体情報処理装置。
  4. 前記第1の周波数を有する音響波を受信する期間においては前記複数の第1の音響変換素子を用いて受信を行い、前記第2の周波数を有する音響波を受信する期間においては前記複数の第2の音響変換素子を用いて受信を行うように切換えを行う切換えスイッチをさらに備える
    ことを特徴とする請求項1または2に記載の被検体情報処理装置。
  5. 前記A/D変換部に対して前記第1及び第2アナログ信号を所定のサンプリング周波数でデジタル変換するための指示、又は、前記データ保持部に対して前記第1及び第2デジタル信号を所定の周波数で出力するための指示を行う制御部をさらに備える
    ことを特徴とする請求項1〜のいずれか1項に記載の被検体情報処理装置。
  6. 前記制御部は、前記音響変換素子からの距離で規定される受信エリアごとに、受信軸を順次変更して前記データ保持部からデジタル信号を出力する
    ことを特徴とする請求項に記載の被検体情報処理装置。
JP2010031171A 2010-02-16 2010-02-16 被検体情報処理装置 Active JP5725720B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2010031171A JP5725720B2 (ja) 2010-02-16 2010-02-16 被検体情報処理装置
US13/518,243 US20120259198A1 (en) 2010-02-16 2011-02-14 Subject information processing apparatus
CN201180009267.1A CN102762153B (zh) 2010-02-16 2011-02-14 使用从对象接收的声波的对象信息处理装置
EP11706365.1A EP2536338B1 (en) 2010-02-16 2011-02-14 Subject information processing apparatus using acoustic waves received from the subject
PCT/JP2011/000791 WO2011102105A1 (en) 2010-02-16 2011-02-14 Subject information processing apparatus using acoustic waves received from the subject
EP17155970.1A EP3199973A1 (en) 2010-02-16 2011-02-14 Subject information processing apparatus using acoustic waves received from the subject
US15/201,777 US20160331241A1 (en) 2010-02-16 2016-07-05 Subject information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010031171A JP5725720B2 (ja) 2010-02-16 2010-02-16 被検体情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014259201A Division JP5901739B2 (ja) 2014-12-22 2014-12-22 被検体情報処理装置

Publications (2)

Publication Number Publication Date
JP2011167228A JP2011167228A (ja) 2011-09-01
JP5725720B2 true JP5725720B2 (ja) 2015-05-27

Family

ID=44025234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010031171A Active JP5725720B2 (ja) 2010-02-16 2010-02-16 被検体情報処理装置

Country Status (5)

Country Link
US (2) US20120259198A1 (ja)
EP (2) EP2536338B1 (ja)
JP (1) JP5725720B2 (ja)
CN (1) CN102762153B (ja)
WO (1) WO2011102105A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009052293A1 (en) * 2007-10-16 2009-04-23 Zymogenetics, Inc. Combination of blys inhibition and anti-cd 20 agents for treatment of autoimmune disease
JP5725720B2 (ja) 2010-02-16 2015-05-27 キヤノン株式会社 被検体情報処理装置
JP5637725B2 (ja) 2010-04-12 2014-12-10 キヤノン株式会社 音響波イメージング装置
US9289191B2 (en) * 2011-10-12 2016-03-22 Seno Medical Instruments, Inc. System and method for acquiring optoacoustic data and producing parametric maps thereof
JP5814556B2 (ja) 2011-02-04 2015-11-17 キヤノン株式会社 信号処理装置
JP5796896B2 (ja) * 2011-03-10 2015-10-21 富士フイルム株式会社 断層画像生成装置及び方法
JP5847490B2 (ja) 2011-08-25 2016-01-20 キヤノン株式会社 被検体情報取得装置
JP5865050B2 (ja) 2011-12-15 2016-02-17 キヤノン株式会社 被検体情報取得装置
US20140182383A1 (en) * 2012-12-28 2014-07-03 Canon Kabushiki Kaisha Object information obtaining device, display method, and non-transitory computer-readable storage medium
CN103919536B (zh) * 2013-01-15 2018-05-01 飞比特公司 便携式生物计量监测装置及其操作方法
JP2015073577A (ja) * 2013-10-04 2015-04-20 キヤノン株式会社 光音響装置、光音響装置の作動方法、およびプログラム
JP6173159B2 (ja) * 2013-10-04 2017-08-02 キヤノン株式会社 光音響装置
EP2868279A1 (en) * 2013-10-31 2015-05-06 Canon Kabushiki Kaisha Subject information acquisition apparatus
JP6366356B2 (ja) 2014-05-14 2018-08-01 キヤノン株式会社 光音響装置、信号処理方法、及びプログラム
JP6366355B2 (ja) * 2014-05-14 2018-08-01 キヤノン株式会社 光音響装置、信号処理方法、及びプログラム
JP6351365B2 (ja) * 2014-05-14 2018-07-04 キヤノン株式会社 光音響装置、情報処理方法、プログラム
JP6166708B2 (ja) * 2014-10-15 2017-07-19 プレキシオン株式会社 光音響波信号変換機および光音響波信号変換機内蔵プローブ
JP7195759B2 (ja) 2018-04-20 2022-12-26 キヤノン株式会社 光音響装置および被検体情報取得方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5685308A (en) * 1994-08-05 1997-11-11 Acuson Corporation Method and apparatus for receive beamformer system
JP3584328B2 (ja) * 1995-07-04 2004-11-04 株式会社日立メディコ 超音波診断装置
US5891041A (en) * 1996-11-27 1999-04-06 Hitachi Medical Corporation Ultrasonic imaging system adapted for use with ultrasonic probes having different center frequencies
JPH11216138A (ja) * 1998-02-05 1999-08-10 Matsushita Electric Ind Co Ltd 超音波診断装置のビームフォーマ
JP4406226B2 (ja) * 2003-07-02 2010-01-27 株式会社東芝 生体情報映像装置
US20070276236A1 (en) * 2003-12-16 2007-11-29 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic imaging system with automatic control of penetration, resolution and frame rate
US8137280B2 (en) * 2005-02-09 2012-03-20 Surf Technology As Digital ultrasound beam former with flexible channel and frequency range reconfiguration
WO2007072490A1 (en) * 2005-12-23 2007-06-28 Ultraview Ltd. An operating mode for ultrasound imaging systems
CN101472520B (zh) * 2006-06-23 2015-06-03 皇家飞利浦电子股份有限公司 组合光声和超声成像仪的时序控制器
JP5294998B2 (ja) * 2008-06-18 2013-09-18 キヤノン株式会社 超音波探触子、該超音波探触子を備えた光音響・超音波システム並びに検体イメージング装置
JP5243135B2 (ja) 2008-07-30 2013-07-24 帝人デュポンフィルム株式会社 太陽電池裏面保護膜用ポリエステルフィルムおよび太陽電池裏面保護膜
JP2008259891A (ja) * 2008-08-04 2008-10-30 Hitachi Medical Corp 超音波診断装置
JP5725720B2 (ja) * 2010-02-16 2015-05-27 キヤノン株式会社 被検体情報処理装置

Also Published As

Publication number Publication date
US20120259198A1 (en) 2012-10-11
CN102762153B (zh) 2015-05-13
EP2536338A1 (en) 2012-12-26
EP2536338B1 (en) 2017-04-12
US20160331241A1 (en) 2016-11-17
CN102762153A (zh) 2012-10-31
WO2011102105A1 (en) 2011-08-25
JP2011167228A (ja) 2011-09-01
EP3199973A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP5725720B2 (ja) 被検体情報処理装置
JP5174010B2 (ja) 統合ビーム化が行われる方法および変換器アレイ
TWI743411B (zh) 具有高頻細節的超音波系統
JP2008229096A (ja) 超音波診断装置
JP2002034976A (ja) 超音波診断装置及び超音波イメージング方法
Hemmsen et al. Tissue harmonic synthetic aperture ultrasound imaging
US11119199B2 (en) Acoustic wave image generation apparatus and acoustic wave image generation method
Assef et al. A flexible multichannel FPGA and PC-Based ultrasound system for medical imaging research: initial phantom experiments
JP4690537B2 (ja) 超音波診断装置
JP5901739B2 (ja) 被検体情報処理装置
JP2004073620A (ja) 超音波診断装置
JP5580524B2 (ja) 超音波探触子及び超音波診断装置
JP7273519B2 (ja) 超音波診断装置、及び学習プログラム
KR102324390B1 (ko) 휴대용 하이브리드 초음파 진단장치
JP7302972B2 (ja) 超音波診断装置、及び学習プログラム
JP2010268945A (ja) 超音波診断装置
JP4568080B2 (ja) 超音波診断装置
CN115735138A (zh) 用于连续波多普勒的基于超声换能器探头的模数转换以及相关联的设备、系统和方法
EP2698113B1 (en) Apparatus for diagnosing ultrasound image and method for diagnosing same
JP2019025247A (ja) 超音波撮像装置、および、画像処理装置
Qiu et al. Open system for micro-ultrasound
JPH03222945A (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150331

R151 Written notification of patent or utility model registration

Ref document number: 5725720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151