JP2018183610A - 被検体情報取得装置、被検体情報取得方法およびプログラム - Google Patents

被検体情報取得装置、被検体情報取得方法およびプログラム Download PDF

Info

Publication number
JP2018183610A
JP2018183610A JP2018120769A JP2018120769A JP2018183610A JP 2018183610 A JP2018183610 A JP 2018183610A JP 2018120769 A JP2018120769 A JP 2018120769A JP 2018120769 A JP2018120769 A JP 2018120769A JP 2018183610 A JP2018183610 A JP 2018183610A
Authority
JP
Japan
Prior art keywords
image data
intensity
projection
subject
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018120769A
Other languages
English (en)
Other versions
JP6556300B2 (ja
Inventor
卓司 大石
Takuji Oishi
卓司 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018120769A priority Critical patent/JP6556300B2/ja
Publication of JP2018183610A publication Critical patent/JP2018183610A/ja
Application granted granted Critical
Publication of JP6556300B2 publication Critical patent/JP6556300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)

Abstract

【課題】輝度非依存情報の三次元データから適切なボクセル選択し二次元平面上に投影した画像データを作成する。【解決手段】被検体内部から伝播する音響波を複数の測定位置で受信する受信手段と、被検体内部の測定対象に関する特性情報の分布を二次元平面に投影した投影画像データを生成する処理手段とを有し、処理手段は、被検体内部の強度依存三次元画像データを、音響波に基づいて作成するとともに、被検体内部の強度非依存三次元画像データを作成し、強度非依存三次元画像データから二次元平面に投影するボクセル座標を、強度依存三次元画像データに基づいて決定して、投影画像データを生成する被検体情報取得装置を用いる。【選択図】図2

Description

本発明は、被検体情報取得装置に関する。
医療分野において、生体内部を非侵襲的にイメージングすることができる装置の一つとして、近年、光と超音波を用いて生体機能情報が得られるPhotoacoustic Tomography(PAT:光音響トモグラフィー)の開発が進んでいる。
光音響トモグラフィーとは、光源から発生したパルス光を被検体に照射し、被検体内で伝播・拡散した光の吸収によって音響波(典型的には超音波)が発生するという光音響効果を用いて、音響波の発生源となる内部組織を画像化する技術である。受信された音響波の時間による変化を複数の個所で検出し、得られた信号を数学的に解析処理、すなわち再構成し、被検体内部の吸収係数など光学特性に関連した情報を三次元で可視化する。
例えば、パルス光として近赤外光を用いた場合、近赤外光は生体の大部分を構成する水を透過しやすく、血液中のヘモグロビンで吸収されやすい性質を持つ。そのため、近赤外光により発生した音響波に基づき計算された吸収係数を可視化することで、血管像をイメージングできる。これにより、腫瘍の周辺に多い新生血管の画像化および検出が期待されている。
さらに、異なる波長のパルス光による血管像を比較演算することによって、血液中の全ヘモグロビンに対する酸素化ヘモグロビンの比率、つまり酸素飽和度を測定できる。悪性腫瘍周辺の血液は良性腫瘍周辺の血液より酸素飽和度が低いと考えられているので、酸素飽和度を知ることによって腫瘍の良悪鑑別が可能になると期待されている。また同様の原理で、最適なパルス光の波長を選択することによって、吸収体を構成する物質の割合、つまり分光情報を知ることができる。
また、光音響トモグラフィーと同様に音響波を受信して生体機能情報を画像化するものとして、超音波検査装置がある。超音波検査装置は、生体に音響波を送信し、生体内で反射した音響波を受信し、画像化する。画像化は二次元画像と三次元画像を作成するものがあるが、ここでは三次元画像を得る超音波検査装置を考える。音響波は、音響波が伝播する速度と密度の積である音響インピーダンスの異なる界面で反射する性質があり、超音波検査装置では生体の音響インピーダンスの分布を可視化できる。
また、血流など動きがある被検体を超音波で測定する際に、反射波の周波数を解析することによって流速とその方向を知ることができる。この手法はカラードプラ法と呼ばれるので、得られる流速、方向のことを、カラードプラ情報と呼ぶことにする。
吸収係数情報や音響インピーダンス情報においては、測定対象像は大きな値をとり、ノイズ成分は小さな値をとるので、測定対象像とノイズ成分の判別は容易である。これら吸収係数情報や音響インピーダンス情報のように、測定が十分なシグナルノイズ比(SN比)であれば、測定対象とノイズをボクセルの値(画素値の強度)で判別することが一般的に可能なものを、「強度依存情報」と呼ぶことにする。ボクセルの値として代表的なものは輝度値であるので、指標として輝度を用いた場合の強度依存情報は「輝度依存情報」とも呼べる。一方、分光情報やカラードプラ情報のように、測定が十分なSN比だったとしても、原理的に測定対象値とノイズの値が大まかには同じ値域になり、両者をボクセルの値(画素値の強度)で判別することができないものを「強度非依存情報」と呼ぶことにす
る。指標として輝度を用いた場合の強度非依存情報は、「輝度非依存情報」とも呼べる。これ以降、ボクセル地の強度の代表例として輝度を用いて説明する。
装置で得られた三次元データを二次元ディスプレイ上に表示するための方法として、二次元平面上に三次元データを投影するMaximum Intensity projection(MIP)が挙げられる。これは、投影方向の軸上にあるボクセルの中の最大値を投影面に表示する方法である。血管のように三次元的に複雑な形状を持っているものの場合、ある断面だけで表示しても、全体の構造が理解しにくいが、MIPで表示させることによって血管の三次元形状を二次元ディスプレイ上で理解しやすくなる。
しかし、測定対象を可視化した測定対象像が、ノイズに起因する像であるノイズ成分によって不鮮明である場合、MIPを用いて表示させると、測定対象ではないボクセルが投影される。また、MIP以外の投影方法として、投影方向のボクセル中の平均値、中央値、最頻値、最小値などを投影面に表示する方法が挙げられる。しかし、いずれの方法も輝度に基づいているので、MIPと同様に、測定対象像がノイズ成分によって不鮮明な場合、測定対象ではないボクセルが投影される。
このような問題に対して特許文献1では、測定で得られた第1の三次元データから構造情報を強調した第2の三次元データを作成している。そして、第2の三次元データを二次元平面上に投影した際に寄与するボクセルと同じ座標にある第1の三次元データのボクセルを用いて二次元平面上に投影を行っている。
米国特許第6205350号明細書
しかし、特許文献1の方法では、第1の三次元データから構造を強調している。そのため、第1の三次元データが構造情報をほとんど含まない場合、第2の三次元データも測定対象の構造を反映したものにならない。その結果、所望しない、診断に寄与しないボクセルが投影される可能性がある。分光情報やカラードプラ情報の三次元データを二次元平面上に投影することを考えると、分光情報やカラードプラ情報は、測定対象像、ノイズ成分にかかわらず、同程度の値が得られ、測定対象像とノイズ成分の判別は困難である。つまり、分光情報やカラードプラ情報では構造情報がほとんど失われている。したがって特許文献1の方法では、構造を強調することは難しく、所望したボクセルが投影されない。
さらに、測定対象像とノイズ成分の輝度値があまり変わらない輝度非依存情報の三次元データを二次元に投影した場合、輝度だけで判別する従来のMIPではノイズ成分のボクセルも投影してしまう。その結果、観測対象像の値を反映していないので、意味のない画像となってしまう。このことはMIPだけに限らず、輝度に基づいた投影方法であれば同様である。
以上のように、三次元の輝度非依存情報を二次元に投影する際に、輝度非依存情報を含めた投影画像を作成することが難しかった。例えば、測定対象が血管の場合、血管の構造を把握するために投影画像を作成する際、血管の特性を示す分光情報やカラードプラ情報を反映することが難しかった。
本発明は、このような課題認識に基づいてなされたものである。本発明の目的は、輝度非依存情報の三次元データから適切なボクセル選択し二次元平面上に投影した画像データ
を作成することである。
本発明は、以下の構成を採用する。すなわち、
被検体内部から伝播する音響波を複数の測定位置で受信する受信手段と、
前記被検体内部の前記測定対象に関する特性情報の分布を二次元平面に投影した投影画像データを生成する処理手段と、
を有し、
前記処理手段は、
前記被検体内部の強度依存三次元画像データを、前記音響波に基づいて作成するとともに、前記被検体内部の強度非依存三次元画像データを作成し、
前記強度非依存三次元画像データから二次元平面に投影するボクセル座標を、前記強度依存三次元画像データに基づいて決定して、前記投影画像データを生成する
ことを特徴とする被検体情報取得装置である。
本発明によれば、輝度非依存情報の三次元データから適切なボクセル選択し二次元平面上に投影した画像データを作成することができる。
実施形態1に係る装置の構成を示す模式図。 実施形態1の画像作成方法を説明するための模式図。 実施形態1の実施方法を示すフローチャート。 実施形態2に係る装置の構成を示す模式図。 実施形態3に係る装置の構成を示す模式図。 実施形態4の実施方法を示すフローチャート。 実施形態5に係る装置の構成を示す模式図。 実施形態5の実施方法を示すフローチャート。
以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
本発明は、被検体内部の特性情報を反映する三次元データを二次元上に表示する際に利用できる。例えば、被検体から伝播する音響波を検出し、被検体内部の特性情報を生成し、取得する際に利用できる。よって本発明は、被検体情報取得装置またはその制御方法、あるいは被検体情報取得方法や信号処理方法として捉えられる。本発明はまた、これらの方法をCPU等のハードウェア資源を備える情報処理装置に実行させるプログラムや、そのプログラムを格納した記憶媒体としても捉えられる。
本発明の被検体情報取得装置は、被検体に光(電磁波)を照射し、光音響効果に従って被検体内部または被検体表面で発生して伝搬した音響波を、複数の測定位置で受信(検出)する、光音響トモグラフィー技術を利用した装置を含む。このような被検体情報取得装置は、光音響測定に基づき被検体内部の特性情報を画像データ等の形式で得ることから、光音響イメージング装置や、光音響画像形成装置と呼べる。このような被検体情報取得装置のことを、光音響トモグラフィー装置と呼んでも良い。
光音響装置における特性情報とは、光照射によって生じた音響波の発生源分布、被検体
内の初期音圧分布、あるいは初期音圧分布から導かれる光エネルギー吸収密度分布や吸収係数分布、組織を構成する物質の濃度分布を示す。具体的には、酸化・還元ヘモグロビン濃度分布や、それらから求められる酸素飽和度分布などの血液成分分布、あるいは脂肪、コラーゲン、水分の分布などである。また、特性情報は、数値データとしてではなく、被検体内の各位置の分布情報として求めてもよい。すなわち、吸収係数分布や酸素飽和度分布などの分布情報を被検体情報としてもよい。
本発明でいう音響波とは、典型的には超音波であり、音波、音響波と呼ばれる弾性波を含む。光音響効果により発生した音響波のことを、光音響波または光超音波と呼ぶ。探触子により音響波から変換された電気信号を音響信号とも呼ぶ。
なお、本明細書では、MIPを求めるためのボクセル値の強度として輝度情報を用いる。よって以下の説明においては、輝度依存情報をもって本発明の強度依存情報の代表例とし、輝度非依存情報を持って本発明の強度非依存情報の代表例とする。ただし強度依存情報および強度非依存情報の種類はこれに限られず、診断に利用しようとする特性情報の強度を表示状態に反映するなんらかのボクセル値であれば構わない。強度依存情報を構成する画像データを、強度依存三次元画像データと呼ぶ。強度非依存情報を構成する画像データを、強度非依存三次元画像データと呼ぶ。
本発明は、光音響効果により得られる特性情報の他にも、測定が十分なSN比であったとしても、測定対象とノイズは原理的に同じ値域になり、両者をボクセルの値(輝度)で判別することが困難な輝度非依存情報を二次元表示する際に有効である。例えば血管走行を示す画像、カラードプラ画像などが挙げられる。一方、輝度依存情報では、両者を輝度で判別可能である。
[実施形態1](基本的な実施形態)
本発明の基本的な実施形態について説明する。本発明は、吸収係数情報や音響インピーダンス分布情報、つまり、輝度依存情報に基づいて投影するボクセルを選択し、そのボクセルの分光情報やカラードプラ情報、つまり輝度非依存情報の値を二次元平面上に投影するものである。まず、構成要素について述べ、次に、実施方法、最後に効果について述べる。
<装置構成>
本発明の構成要素について図1を用いて説明する。本発明の装置の構成要素は、光源1、音響検出器2、信号取得装置3、画像作成装置4、表示装置10である。画像作成装置4は、初期音圧分布算出部5、吸収係数分布算出部6、分光情報分布算出部7、投影ボクセル座標取得部8、投影画像作成部9を含む。
(光源)
光源1はパルス光を発生させる装置である。光源としては大出力を得るため、レーザーが望ましいが、発光ダイオードなどでもよい。光音響波を効果的に発生させるためには、被検体の熱特性に応じて十分短い時間に光を照射させなければならない。被検体が生体の場合、光源から発生するパルス光のパルス幅は数十ナノ秒以下にすることが望ましい。また、パルス光の波長は生体の窓と呼ばれる近赤外領域であり、700nm〜1200nm程度が望ましい。この領域の光は比較的生体深部まで到達するので、深部の情報を取得できる。さらに、パルス光の波長は観測対象に対して吸収係数が高いことが望ましい。また、酸素飽和度を算出する場合、異なるタイミングで、複数の異なる波長のパルス光を照射する必要がある。パルス光が被検体に照射されると、血液など被検体中の吸収体から光音響効果によって音響波が生じる。
(音響検出器)
音響検出器2は、被検体内部で発生し伝播した音響波を電気信号に変換する音響検出素子を含む。光音響トモグラフィーでは、複数の場所からの音響波を受信することによって、三次元イメージングを行うので、単一の音響検出素子を走査させ複数の測定位置に移動させるか、複数の音響検出素子を別々の場所に設置して、複数の測定位置での音響波を受信する。音響検出器2は感度が高く、周波数帯域が広いものが望ましい。具体的にはPZT、PVDF、cMUT、ファブリペロー干渉計を用いた音響検出器などが挙げられる。ただし、伝播してきた音響波を検出する機能を満たすものであれば、ここに挙げたものに限定されない。音響検出器は、本発明の受信手段に相当する。
(信号取得装置)
信号取得装置3は、音響検出器2で得られた電気信号を増幅、デジタル信号へと変換する。信号取得装置3は、具体的には電気回路から成るアンプやAnalog−digital Converter(ADC)などを含む。効率的にデータを取得するため、音響検出器2の受信素子数と同じだけアンプ及びADCがあることが望ましい。ただし、一つずつ用意したアンプ及びADCを順々につなぎ換えて使用してもよい。
(画像作成装置)
画像作成装置4は、信号取得装置3で得られたデジタル信号から、被検体内部の特性情報を示すデータを二次元平面状に投影した画像を作成する。ここではデータとして、三次元酸素飽和度データを用いる。画像作成装置4は、具体的にはコンピューターやFPGAなどのデジタル信号処理装置などからなり、計算回路やCPUがプログラムに従って動作して情報処理を行う。画像作成装置4は、初期音圧分布算出部5、吸収係数分布算出部6、分光情報分布算出部7、投影ボクセル座標取得部8、投影画像作成部9から構成される。画像作成装置は、本発明の処理手段に相当する。
(初期音圧分布算出部)
初期音圧分布算出部8は、デジタル化された信号を再構成して、音源での初期音圧を示す三次元画像である初期音圧分布を作成する。初期音圧分布は光源の波長ごとに一つずつ作成される。再構成の処理方法は、微分処理した信号を、信号を得た位置から逆伝搬させ、重ね合わせるユニバーサルバックプロジェクション法が望ましいが、画像を再構成できる方法ならどのような方法であってもよい。初期音圧分布は、SN比が十分に高ければ、測定対象像とノイズ成分の値域が異なり、両者を見分けることができるので、輝度依存情報である。
(吸収係数分布算出部)
吸収係数分布算出部6は被検体に入射した光の減衰を計算し、初期音圧分布を光分布で除算することによって、吸収体の吸収係数分布を作成する。光音響波の初期音圧pは式(1)の関係で表わされるように、光強度φに依存する。

p=Γ・φ・μ …(1)

ここでΓはグリューナイゼン定数、μは吸収係数である。
被検体に光が入射すると、被検体の母材で光が散乱、吸収され、伝播距離に応じて指数関数的に光強度が低下する。被検体に照射された光の強度分布と被検体の形状から、被検体内分での光強度分布が得られる。被検体内の光強度分布は光の波長によって異なるので、光源ごとに計算する必要がある。また、グリューナイゼン定数は生体の場合、一定と見なすことができる。従って、吸収係数分布は、初期音圧分布を光強度分布とグリューナイゼン定数Γで除算することによって得られる。吸収係数分布の相対値だけであればグリュ
ーナイゼン定数で除算しなくても得られる。吸収係数分布は、SN比が十分に高ければ、測定対象像とノイズ成分の値域が異なり、両者を見分けることができるので、輝度依存情報である。
(分光情報分布算出部)
分光情報分布算出部7は、複数の波長によって得られた吸収係数分布を比較処理することによって、吸収体の割合である分光情報の分布を作成する。酸素飽和度を求める場合、複数の吸収係数分布がそろってから演算する必要がある。そこで、第1の波長による測定で吸収係数分布を算出したら、そのデータを装置内部または外部のメモリに格納しておくことが好ましい。そして、第2の波長による測定で得られた吸収係数分布と合わせて演算する。
分光情報分布の算出方法について説明する。N種類の吸収体が存在する場合、波長λのパルス光によって得られる座標Xの吸収係数分布μ(λ,X)は、式(2)のように表される。

μ(λ,X)=ε(λ)・C(X)+ε(λ)・C(X)+…+ε(λ)・C(X) …(2)

ここで、ε(λ)は波長λにおける吸収体nの吸収係数、C(X)は座標Xにおける吸収体nの存在量である。ε(λ)は決まった物性なので、事前に調査しておくことによって得られる。μ(λ,X)は吸収係数分布算出部6によって得られ、C(X)は未知数である。N種類の波長のパルス光を用いてそれぞれ吸収係数分布を得ることによって、式(2)がN種類得られ、未知数もN種類なので、連立方程式を解くことによってN種類のC(X)を取得でき、これが分光情報分布となる。
分光情報分布は上記の原理によって算出されるので、吸収体が存在する座標だけでなく、吸収体が存在しない座標においても算出される。酸素飽和度など全吸収体に対する吸収体kの存在比率は、以下のように表される。
Figure 2018183610

この存在比率は、SN比が十分高かったとしても、吸収体が存在しない座標の値と吸収体が存在する座標の値が原理的に同じ値域となる。そのため、分光情報分布だけに基づいて吸収体の存在する座標と存在しない座標を見分けるのは困難である。したがって、光音響トモグラフィーにおいて、分光情報は輝度非依存情報である。
また、ここでは吸収係数分布から分光情報分布を算出するため、両者のスケール、オフセット、向きなど座標系は一致しているが、一般的には輝度依存情報と輝度非依存情報の座標系が一致するとは限らない。両者のスケールや座標が異なる場合には、輝度依存情報か輝度非依存情報に対して画像処理を施し、座標系を一致させる必要がある。座標系を一致させた画像を、投影ボクセル座標取得部8と投影画像作成部9で用いる。これによって、投影画像データに正しく輝度依存情報か輝度非依存情報を反映させられるようになる。
(投影ボクセル座標取得部)
投影ボクセル座標取得部8は、三次元画像である吸収係数分布を二次元平面上に投影した際に、寄与したボクセルの座標を取得する。吸収係数分布算出部6では各波長のパルス
光について吸収係数分布が得られており、投影ボクセル座標取得部8で使用する吸収係数分布は一つであるので、得られた吸収係数分布のうち、ここで使用する吸収係数分布を一つに決める必要がある。各吸収体の吸収係数が同じである場合、各吸収体の存在比率によらず得られる吸収係数分布は同じであるので、各吸収体の吸収係数ができるだけ近くなるような波長を選択し、その波長に対する吸収係数分布を用いることが望ましい。また、各吸収体の吸収係数の波長依存性を考慮して、投影させたい波長を選択し、その波長に対する吸収係数分布を用いてもよい。
以上の選択は、ユーザーが手動で選択してもよいし、条件にしたがって、自動的に決定してもよい。また、投影に寄与するボクセル座標の取得を行いやすくするために、吸収係数分布にノイズ除去や強調処理などの画像処理を施して、それを用いて投影に寄与するボクセル座標を決定してもよい。
図2(a)、(b)はMIPによる投影画像データの作成方法を表す図である。図中には、XY方向に3×3ボクセル、Z方向に2ボクセルの、合計18ボクセルを示す。各ボクセルの色は濃い方が高い値であることを示している。投影方向はZ方向である。すなわち、Z方向に重なる各ボクセル値に基づいて、2次元画像のピクセルの輝度を1つ定める。
図2(a)で投影方法としてMIPを用いた場合、投影方向であるZ方向における複数のボクセルのうち、吸収係数が最大のボクセルが投影される。したがって、MIPを用いると図2(b)のような投影画像が得られる。図2(b)の色は投影された画像の色を示し、各ボクセル中の文字は寄与したボクセルの座標を示している。投影ボクセル座標取得部8は、投影画像データの作成に寄与したボクセル座標を取得する。
ここでは説明のためにMIPを作成したが、投影に寄与する座標だけ得られれば良いので、必ずしもMIPを作成する必要はない。また、投影方法は最大値を投影するMIPに限られず、投影方向にある複数のボクセルの最小値、中央値、最頻値などを投影する方法でも良い。MIPではなくこれらの値を用いた場合でも、投影ボクセル座標取得部8は、寄与したボクセル座標を取得する。
また、投影方向にあるボクセルのうち、最大値等を持つボクセルが複数ある場合、どれか一つのボクセルに決定する必要がある。この場合、吸収体は空間的に連続に存在することから、選択されるボクセルは空間的に連続であることが望ましい。そこで、投影方向をZ方向とすると、各候補ボクセルとXY平面内で近接するボクセルを確認し、近傍に投影に寄与しているボクセルが存在するボクセルを選択することが望ましい。また、ボクセルの近傍に同程度の値を持つボクセルがあるボクセルを選択してもよい。また、最大値などを持つ複数のボクセルのうち、投影方向に最初に現れるものや最後に現れるものなど、現れる場所によって決定してもよい。
(投影画像作成部)
投影画像作成部9は、分光情報分布算出部7で得られた分光情報分布のうち、投影ボクセル座標取得部8で得られた座標に該当するボクセルの値を取得する。図2(c)に示すような分光情報分布が得られた場合、図2(b)で示されたボクセルの座標に該当する分光情報分布の値を参照し、投影方向に直行するXY平面上の各座標に参照した値を割り当てる。図2(d)が、これにより得られた投影画像である。このような手法によって、観測対象像の分光情報を反映した画像が得られ、測定対象像の三次元の分光情報分布を二次元平面上で把握しやすくなる。
さらに、吸収係数分布において観測対象像とノイズ成分を分離できる閾値を設けて観測
対象像とノイズ成分のボクセルをラベル付けし、観測対象像のボクセルのみを用いて分光情報分布の投影画像を作成することが望ましい。例えば、図2(e)では、図2(a)において最も濃い色に対応するボクセル値(吸収係数値)を所定の閾値としている。そして、所定の閾値より大きい値を持つボクセルを投影画像に使用し、それより低い値をもつボクセルの分光情報値を投影に用いなかった場合の2次元画像である。このとき、分光情報の値をある色分布で表し、観測対象像ではないボクセルは分光情報で使用されていない色に割り当てて画像を作成する。これによって、吸収係数分布の構造に分光情報分布の値を反映させることができ、三次元の構造と特性を二次元上で理解できるようになる。また、ラベル付けは、観測対象像とノイズ成分を分離しやすくなるように画像処理を施した吸収係数分布を用いてもよい。また、ラベル付けは、閾値を用いる方法でなくてもよく、領域分割できる方法であれば何であってもよい。
(表示装置)
表示装置10は、投影画像作成部9によって得られた投影画像を表示する装置である。具体的にはディスプレイなどである。画像の表示はカラーであることが望ましいが、白黒であってもよい。表示装置は、情報分布の強度を輝度の強弱として表現できる。
<処理フロー>
本発明の実施方法について、図3のフローチャートの各ステップに沿って説明する。
まず、光源が、ある波長のパルス光を照射する(S1)。このときの波長λ=λとする。そのとき被検体から発生した音響波を、音響検出器が受信し、音響信号(電気信号)に変換する(S2)。次いで、初期音圧分布算出部が、再構成を行って、波長λ=λでの初期音圧分布を作成する(S3)。吸収係数分布算出部において光分布補正を行って、波長λに対する吸収係数分布を作成する(S4)。
あらかじめ決めてある波長すべてに対して、吸収係数分布が得られたかどうかを判定する(S5)。まだ得られていなければ、パルス光の波長を変更し(例えば波長λをλからλにする)、ステップS1〜S4を行う。すべての波長に対して吸収係数分布が得られている場合、分光情報分布算出部が、得られた吸収係数分布を用いて分光情報分布を作成する(S6)。次に、投影ボクセル座標取得部が、投影画像に寄与するボクセル座標を決定する際に用いる吸収係数分布を決めて(S7)、決められた吸収係数分布に対し、投影した際に寄与するボクセルの座標を取得する(S8)。投影画像作成部は、分光情報分布の値を用いて投影画像を作成する(S9)そして表示装置は、投影画像を表示する(S10)。
本実施形態の装置によれば、分光情報分布のような構造を反映していない輝度非依存情報であっても、測定対象像の構造を考慮した投影像を作成することができ、三次元情報を二次元画像上で理解することができるようになる。また、輝度非依存情報の値がそのまま投影されるので、正確に輝度非依存情報を把握することができる。したがって、血管が測定対象であった場合、三次元構造を二次元に投影した投影画像に、血管の特性を示す分光情報を反映することができ、三次元の血管構造と血管特性を同時に把握できる。
[実施形態2](スライスMIPの作成)
本実施形態では、細かい立体構造を把握しやすくするために、三次元画像のうち一部を投影した投影画像を、投影領域を変化させて複数枚作成する方法について述べる。
本実施形態の装置は、図4に示すように、実施形態1の構成要素に、投影量指定装置11が加わったものである。投影量指定装置は、三次元画像を投影する際に、投影する方向の厚さ(投影量)を指定するものである。具体的には、ユーザーが投影量を手動で入力する場合、キーボード、マウス、ダイヤルなどの入力装置である。また、ここでは投影量は
手動で指定する方法について述べるが、投影量はあらかじめ決めておいてもよいし、三次元データの大きさに合わせて自動的に決めてもよい。
本実施形態の投影ボクセル座標取得部8と投影画像作成部9は、決定された投影量tに基づいて処理を行う。なお、ここでの投影方向はZ方向とする。投影ボクセル座標取得部8は、まず、三次元画像である吸収係数分布から、Z=1からt−1の範囲を投影した際に寄与するボクセルの座標を取得する。投影ボクセル座標取得部は、次に、Z=2からtの範囲を投影した際に寄与するボクセルの座標を取得する。さらに、Z=3からt+1の範囲についても寄与ボクセル座標を取得する。このように、範囲を1ボクセルずつずらしながら、それぞれの範囲で、三次元画像を二次元平面に投影した際に寄与するボクセルの座標を取得する。以上の操作をZ方向の終端座標が範囲に含まれるまで繰り返す。
投影画像作成部9も同様に、各範囲における分光情報分布中から投影ボクセル座標取得部8で得られたボクセル座標の値を取得して投影し、各範囲につき一枚の投影画像を作成する。これによって、吸収係数分布や分光情報分布の投影方向のボクセル量から1ボクセル少なくなった枚数の投影画像が作成される。これらの投影画像を投影方向に並べれば、三次元画像となる。表示装置10は二次元平面なので、三次元画像のうち任意の一枚の投影画像を選び出して表示する。投影画像はユーザーが選定できるようになっていることが望ましい。
本実施形態のフローは、実施形態1と比べ、投影量を指定するステップが加わる。このステップは図3のS8より前であれば、どこで行ってもよい。
本実施形態の装置によれば、一部の範囲の投影を行うことにより、重なり合う構造物が少なくなるので、輝度非依存情報の細かい立体構造を把握しやすくなる。
[実施形態3](グラデーション表示)
本実施形態では、輝度非依存情報の立体構造に加え、その信頼性を把握しやすくなるような表示方法について述べる。
本実施形態の装置は、構成要素自体は実施形態1と同じである。ただし、図5に示すように、吸収係数算出部6から投影画像作成部9への矢印が加わり、投影画像作成部9での処理内容が異なる。
本実施形態の投影画像作成部9は、実施形態1と同様に、投影ボクセル座標取得部8で得られた座標における分光情報分布の値を投影して投影画像を作成するが、その際に同じ座標における吸収係数分布の値も参照して、画像作成を行う。吸収係数分布は輝度依存情報であるので、値が大きければ大きいほど測定対象像である可能性が高まる。また吸収係数分布は、分光情報分布の元となるデータであり、値が大きければ分光情報分布の信頼度も高いといえる。したがって、吸収係数分布、つまり輝度非依存情報の元なる輝度依存情報を考慮することによって、分光情報分布、つまり輝度非依存情報の信頼度を示すことができる。
投影画像の作成方法は、投影する座標に対応する分光情報と吸収係数を、色の色相、明度、彩度のいずれか二つに割り当てて、その座標の色とし、画像を作成する。分光情報の値を色相に割り当て、吸収係数を明度に割り当てて色を作成することが望ましく、これによって二つの情報を一つの色で分かりやすく表現できる。
本実施形態の装置によれば、分光情報とその信頼度を示す吸収係数が一目でわかるような投影画像を作成でき、分光情報を理解しやすくなる。
[実施形態4](血管走行、角度、太さなど)
本実施形態では、光音響装置において、分光情報以外の輝度非依存情報を扱う場合につ
いて述べる。
光音響装置において、血液が主な吸収を占める近赤外領域のパルス光を用いた場合、得られる吸収係数分布は、血管の構造を示している。この吸収係数分布に対して、三次元ヘッセ行列を用いた血管構造を解析する処理を行うことで、血管の角度、太さなど血管走行情報を抽出できる。三次元ヘッセ行列を用いて血管構造を解析する処理は、血管部、ノイズ部にかかわらず行われ、血管の角度、太さなどの血管走行情報は、十分なSN比であったとしても、血管部とノイズでは同じ値域を持つ。したがって、血管走行情報は輝度非依存情報である。
本実施形態の構成要素は、実施形態1〜3の分光情報分布算出部7を血管走行情報算出部に代えたものである。血管走行情報算出部は、注目ボクセルと周りのボクセルの輝度勾配からヘッセ行列を作成し、その固有値、固有ベクトルから注目ボクセルがどのような構造を成すものであるかを解析する。この解析をすべてのボクセルについて行うことで、線の角度、線の太さなどの分布が得られる。線の角度、線の太さは輝度非依存情報である。これらの輝度非依存情報を実施形態1〜3の分光情報分布の代わりに用いることによって、3次元の血管走行についても投影画像を作成できる。
さらに、血管走行情報を得る過程で、注目ボクセルのヘッセ行列の固有値を用いて演算することで、注目ボクセルが線構造の一部である可能性を示す線らしさを取得できる。線らしさは、十分なSNであった場合、測定対象像とノイズ成分の値域が異なる輝度依存情報である。したがって、投影ボクセル座標取得部8は、吸収係数分布を用いるのではなく、血管構造を解析した結果得られる線らしさ分布を用いてもよい。これによって、線構造を成していないボクセルが小さい値になるので、線構造を強調したSNの高い輝度依存情報に基づいて、輝度非依存情報の投影画像を作成することができる。
本実施形態では、パルス光は1種類で十分であるため、実施方法は図6のフローチャートに示すようになる。図3との相違点を中心に説明する。吸収係数分布算出部は、ある所定の波長のパルス光を用いて吸収係数分布を作成する(S4)。上述した血管走行情報算出部は、その吸収係数分布から血管走行情報分布を作成する(S11)。投影ボクセル座標取得部は、吸収係数分布から投影ボクセル座標を取得する(S8)。投影画像作成部は、血管走行情報分布を用いて投影画像を作成する(S9)。投影ボクセル座標の取得(S8)には、血管走行情報分布の作成と同時に得られた線らしさ分布を用いてもよい。
本実施形態の装置によれば、三次元の血管走行情報を二次元に投影した投影画像を作成でき、定量的な血管の走行情報を理解しやすくなる。
[実施形態5](カラードプラ)
超音波診断装置において、輝度依存情報として音響インピーダンス分布を示す三次元Bモード画像を用い、輝度非依存情報として血液の流れを示すカラードプラ画像を用いる場合について述べる。
本実施形態の構成要素を図7に示す。音響送受信器11は超音波を送受信する。音響送受信器は、被検体に向けて超音波を送信し、被検体内から反射してきた超音波を受信して電気信号に変換する。本実施形態でも光音響トモグラフィーと同様に、複数の場所からの音響波を受信することによって、三次元イメージングを行う。そのために、単一の音響送受信素子を走査させ複数の場所に移動させるか、複数の音響送受信素子を別々の場所に設置して、複数の場所での音響波を受信する。
音響送受信器11は、感度が高く、周波数帯域が広いものが望ましく、具体的にはPZ
T、PVDF、cMUT、ファブリペロー干渉計を用いた音響送受信器などが挙げられる。ただし、ここに挙げたものだけに限定されず、機能を満たすものであれば、どのようなものでもよい。信号取得装置3は、実施形態1と同様に、受信した電気信号を増幅し、デジタル信号へと変換する。
本実施形態の画像作成装置4は、特徴的な構成要素として、Bモード画像算出部13、カラードプラ情報算出部14を含む。Bモード画像算出部12では、信号取得装置3で得られたデジタル信号を用いて、三次元Bモード画像を作成する。三次元Bモード画像の作成方法としては、複数の位置で得られた信号を用いて、遅延と重ね合わせ処理を用いて画像を生成する、整相遅延法(Delay and Sum法)を用いることが望ましい。ただしこの方法に限らず、三次元Bモード画像を作成できる方法であれば、何であってもよい。Bモード画像はすべてのボクセルで値が得られるが、十分なSN比であれば、ノイズ成分と測定対象像は異なる値域を持つので、輝度依存情報である。
カラードプラ情報算出部13は、信号取得装置3で得られたデジタル信号を用いて、三次元カラードプラ画像を作成する。カラードプラ画像は、一定の時間間隔で複数回音響波の送受信を行って得られた各信号の自己相関関数と送受信の繰り返し時間を用いて、信号の周波数の差を算出することにより得られる。カラードプラ画像を生成する際には複数の信号の相対的な位相差を見ている。そのため、個々の測定において十分なSN比が得られたとしても、ノイズ成分と測定対象像は同じ値域を持つので、カラードプラ画像は輝度非依存情報である。このとき、Bモード画像とカラードプラ画像のスケール、座標が異なる場合は、一致させる処理を行う。
投影ボクセル座標取得部8、投影画像作成部9、表示装置10は、実施形態1〜4と同じである。すなわち、投影ボクセル座標取得部8は、三次元Bモード画像を投影した際に寄与するボクセル座標を取得する。投影画像作成部9は、得られた座標のカラードプラ画像の値を用いて投影画像を生成する。そして、生成された投影画像は表示装置10に表示される。
本実施形態の実施方法を、図8のフローチャートを用いて説明する。
まず音響送受信器11は、第1の送信音響波を送信し(S12)、被検体から反射してきた第1の反射音響波を受信する(S13)。Bモード画像算出部は、第1の反射音響波を用いてBモード画像を作成する(S14)。次に音響送受信器11は、第1の送信音響波の送信(S12)から一定時間後に第2の送信音響波を送信し(S15)、被検体から反射してきた第2の反射音響波を受信する(S16)。
カラードプラ情報算出部は、第1の反射音響波および第2の反射音響波と、S12からS15までの時間間隔を用いてカラードプラ画像を作成する(S17)。投影ボクセル座標取得部は、Bモード画像から投影ボクセル座標を取得する(S18)。投影画像作成部は、投影ボクセル座標とカラードプラ画像を用いて投影画像を作成する(S19)。そして表示装置は、投影画像を表示する(S20)。
本実施形態の装置によれば、三次元の血流情報を二次元に投影した投影画像を作成でき、血管構造および血流情報を把握しやすくなる。
2:音響検出器,3:信号取得装置,4:画像作成装置,5:初期音圧分布算出部,6:吸収係数分布算出部,7:分光情報分布算出部,8:投影ボクセル座標取得部,9:投影画像作成部
本発明は、被検体情報取得装置、被検体情報取得方法およびプログラムに関する。
本発明は、以下の構成を採用する。すなわち、
被検体から発生した音響波に基づいた三次元の第一画像データを取得し、
前記第一画像データとは異なる、前記被検体から発生した音響波に基づいた三次元の第二画像データを取得し、
投影方向に並ぶ前記第一画像データの値を比較することにより、前記投影方向に存在するボクセルのうち、投影対象とする投影ボクセルを決定し、
前記投影ボクセルに対応する前記第二画像データを投影することにより、投影画像データを取得する、処理手段を備える
ことを特徴とする被検体情報取得装置である。
本発明はまた、以下の構成を採用する。すなわち、
被検体から発生した音響波に基づいた三次元の第一画像データを取得するステップと、
前記第一画像データとは異なる、前記被検体から発生した音響波に基づいた三次元の第二画像データを取得するステップと、
投影方向に並ぶ前記第一画像データの値を比較することにより、投影方向に存在するボクセルのうち、投影対象とする投影ボクセルを決定するステップと、
前記投影ボクセルに対応する前記第二画像データを投影することにより、投影画像データを取得するステップと、
を有することを特徴とする被検体情報取得方法である。
本発明はまた、以下の構成を採用する。すなわち、
被検体から発生した音響波に基づいた三次元の第一画像データを取得するステップと、
前記第一画像データとは異なる、前記被検体から発生した音響波に基づいた三次元の第二画像データを取得するステップと、
投影方向に並ぶ前記第一画像データの値を比較することにより、投影方向に存在するボクセルのうち、投影対象とする投影ボクセルを決定するステップと、
前記投影ボクセルに対応する前記第二画像データを投影することにより、投影画像データを取得するステップと、
を情報処理装置に実行させることを特徴とするプログラム。

Claims (11)

  1. 被検体内部から伝播する音響波を複数の測定位置で受信する受信手段と、
    前記被検体内部の測定対象に関する特性情報の分布を二次元平面に投影した投影画像データを生成する処理手段と、
    を有し、
    前記処理手段は、
    前記被検体内部の強度依存三次元画像データを、前記音響波に基づいて作成するとともに、前記被検体内部の強度非依存三次元画像データを作成し、
    前記強度非依存三次元画像データから二次元平面に投影するボクセル座標を、前記強度依存三次元画像データに基づいて決定して、前記投影画像データを生成する
    ことを特徴とする被検体情報取得装置。
  2. 前記処理手段は、前記投影画像データを生成するときの投影方向にあるボクセルから、値の大きさが最大となるものを選択することにより、前記ボクセル座標を決定する
    ことを特徴とする請求項1に記載の被検体情報取得装置。
  3. 前記処理手段は、前記被検体内部の測定対象の像に対応するボクセルについて前記強度非依存三次元画像データを投影する
    ことを特徴とする請求項2に記載の被検体情報取得装置。
  4. 前記処理手段は、前記強度依存三次元画像データにおける値の大きさが所定の閾値より大きいボクセルについて、前記強度非依存三次元画像データを投影する
    ことを特徴とする請求項3に記載の被検体情報取得装置。
  5. 前記処理手段は、決定された前記ボクセル座標について、前記強度依存三次元画像データに、色相、明度、および、彩度のいずれかを割り当て、前記強度非依存三次元画像データに、色相、明度、および、彩度のうち前記強度依存三次元画像データに用いられていないもののうちいずれかを割り当てて前記投影画像データを生成する
    ことを特徴とする請求項1ないし4のいずれか1項に記載の被検体情報取得装置。
  6. 前記投影画像データを生成するときの投影方向におけるボクセルの範囲を決定する投影量指定手段をさらに有する
    ことを特徴とする請求項1ないし5のいずれか1項に記載の被検体情報取得装置。
  7. 前記処理手段は、前記投影量指定手段により決定されたボクセルの範囲を1ボクセルずつずらしながら複数の投影画像データを生成することにより、三次元画像データを生成する
    ことを特徴とする請求項6に記載の被検体情報取得装置。
  8. 前記処理手段は、前記強度依存三次元画像データを前記強度非依存三次元画像データの座標系を一致させる処理を行う
    ことを特徴とする請求項1ないし7のいずれか1項に記載の被検体情報取得装置。
  9. 前記強度依存三次元画像データは、値の大きさによって前記被検体内部の測定対象の像とノイズを判別可能なデータであり、前記強度非依存三次元画像データは、値の大きさによって前記測定対象の像とノイズを判別することが困難なデータである
    ことを特徴とする請求項1ないし8のいずれか1項に記載の被検体情報取得装置。
  10. 前記強度依存三次元画像データは、初期音圧分布、吸収係数分布、音響インピーダンス
    分布のいずれかであり、前記強度非依存三次元画像データは、分光情報、カラードプラ情報のいずれかである
    ことを特徴とする請求項1ないし9のいずれか1項に記載の被検体情報取得装置。
  11. 前記投影画像データを表示する表示手段をさらに有する
    ことを特徴とする請求項1ないし9のいずれか1項に記載の被検体情報取得装置。
JP2018120769A 2018-06-26 2018-06-26 被検体情報取得装置、被検体情報取得方法およびプログラム Active JP6556300B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018120769A JP6556300B2 (ja) 2018-06-26 2018-06-26 被検体情報取得装置、被検体情報取得方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018120769A JP6556300B2 (ja) 2018-06-26 2018-06-26 被検体情報取得装置、被検体情報取得方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014108040A Division JP6362420B2 (ja) 2014-05-26 2014-05-26 被検体情報取得装置、被検体情報取得方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2018183610A true JP2018183610A (ja) 2018-11-22
JP6556300B2 JP6556300B2 (ja) 2019-08-07

Family

ID=64356777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018120769A Active JP6556300B2 (ja) 2018-06-26 2018-06-26 被検体情報取得装置、被検体情報取得方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6556300B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313802A (ja) * 1998-02-18 1999-11-16 Koninkl Philips Electronics Nv 構造の二次元画像化用の医療診断方法
JP2000157540A (ja) * 1998-11-25 2000-06-13 Ge Yokogawa Medical Systems Ltd 投影画像表示方法および装置並びに超音波撮像装置
JP2001276066A (ja) * 2000-03-29 2001-10-09 Toshiba Corp 三次元画像処理装置
US20080208053A1 (en) * 2007-02-23 2008-08-28 Hiroshi Hashimoto Ultrasound image displaying method and ultrasound diagnostic apparatus
JP2008259696A (ja) * 2007-04-12 2008-10-30 Fujifilm Corp 三次元画像処理装置および方法並びにプログラム
JP2012217554A (ja) * 2011-04-06 2012-11-12 Canon Inc 光音響装置およびその制御方法
JP2013226401A (ja) * 2012-03-26 2013-11-07 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313802A (ja) * 1998-02-18 1999-11-16 Koninkl Philips Electronics Nv 構造の二次元画像化用の医療診断方法
JP2000157540A (ja) * 1998-11-25 2000-06-13 Ge Yokogawa Medical Systems Ltd 投影画像表示方法および装置並びに超音波撮像装置
JP2001276066A (ja) * 2000-03-29 2001-10-09 Toshiba Corp 三次元画像処理装置
US20080208053A1 (en) * 2007-02-23 2008-08-28 Hiroshi Hashimoto Ultrasound image displaying method and ultrasound diagnostic apparatus
JP2008200441A (ja) * 2007-02-23 2008-09-04 Ge Medical Systems Global Technology Co Llc 超音波画像表示方法および超音波診断装置
JP2008259696A (ja) * 2007-04-12 2008-10-30 Fujifilm Corp 三次元画像処理装置および方法並びにプログラム
JP2012217554A (ja) * 2011-04-06 2012-11-12 Canon Inc 光音響装置およびその制御方法
US20140018645A1 (en) * 2011-04-06 2014-01-16 Canon Kabushiki Kaisha Photoacoustic apparatus and control method thereof
JP2013226401A (ja) * 2012-03-26 2013-11-07 Toshiba Corp 超音波診断装置、画像処理装置及び画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
前田信治: "教育講座:血液のレオロジーと生理機能 第1回:血行力学の基礎と血液粘度", 日生誌, vol. Vol.66, No.7・8, JPN7019000781, 2004, JP, pages 234 - 244, ISSN: 0003998240 *
渡辺恵人: "領域拡張法を用いた多時相腹部X線CT像からの肝臓領域自動抽出手順", コンピュータ支援画像診断学会論文誌, vol. VOL.7 No.4-4, JPN7019000782, June 2003 (2003-06-01), JP, pages 59 - 66, ISSN: 0003998239 *

Also Published As

Publication number Publication date
JP6556300B2 (ja) 2019-08-07

Similar Documents

Publication Publication Date Title
JP6362420B2 (ja) 被検体情報取得装置、被検体情報取得方法、および、プログラム
JP6320594B2 (ja) 被検体情報取得装置及び被検体情報取得方法
US9032800B2 (en) Photoacoustic imaging apparatus and photoacoustic imaging method
JP4469903B2 (ja) 生体情報イメージング装置
JP6071260B2 (ja) 被検体情報取得装置および情報処理方法
JP6226523B2 (ja) 被検体情報取得装置、表示方法、およびデータ処理装置
JP2015164517A (ja) 光音響装置および信号処理方法
EP2799006B1 (en) Object information acquiring apparatus and control method of object information acquiring apparatus
JP2013188311A (ja) 被検体情報取得装置に用いる信号処理装置および被検体情報取得方法
CN106618489A (zh) 用于获取被检体信息的装置和处理方法
WO2018043193A1 (ja) 情報取得装置および信号処理方法
WO2012160776A1 (en) Subject information obtaining apparatus and subject information obtaining method
JP6296759B2 (ja) 被検体情報取得装置
WO1989012223A1 (en) A method of imaging a random medium
JP6562800B2 (ja) 処理装置および処理方法
JP6490171B2 (ja) データ処理装置およびデータ処理方法
JP6556300B2 (ja) 被検体情報取得装置、被検体情報取得方法およびプログラム
KR101862354B1 (ko) 단층 영상 생성 방법 및 그 방법을 수행하는 단층 영상 생성 장치
JP6776115B2 (ja) 処理装置および処理方法
JP2008527321A (ja) 混濁媒質の光学特性を決定するための方法
JP2017164222A (ja) 処理装置および処理方法
JP6391249B2 (ja) 被検体情報取得装置および信号処理方法
Kavuri et al. Hierarchical clustering method for improved prostate cancer imaging in diffuse optical tomography
JP2017086173A (ja) 被検体情報取得装置およびその制御方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190709

R151 Written notification of patent or utility model registration

Ref document number: 6556300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151