JP2018192309A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2018192309A
JP2018192309A JP2018166949A JP2018166949A JP2018192309A JP 2018192309 A JP2018192309 A JP 2018192309A JP 2018166949 A JP2018166949 A JP 2018166949A JP 2018166949 A JP2018166949 A JP 2018166949A JP 2018192309 A JP2018192309 A JP 2018192309A
Authority
JP
Japan
Prior art keywords
information
acoustic wave
display
subject
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018166949A
Other languages
English (en)
Inventor
椀田 浩一郎
Koichiro Wanda
浩一郎 椀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018166949A priority Critical patent/JP2018192309A/ja
Publication of JP2018192309A publication Critical patent/JP2018192309A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】音響波信号に基づいて生成された再構成画像の領域ごとの画質をユーザーに識別可能にするための技術を提供する。【解決手段】被検体内を伝播した音響波を検出した検出素子から出力される音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、音響波信号を用いて被検体内の各注目点における特性情報を取得する特性情報取得部と、音響波の検出に関する条件である音響波検出情報を用いて複数の特性情報の精度の違いを示す情報を生成する精度情報生成部と、各注目点における特性情報および精度の違いを示す情報を用いて複数の特性情報の精度の違いを識別可能な表示情報を生成し表示部に表示させる表示情報生成部と、を有する被検体情報取得装置を用いる。【選択図】図1

Description

本発明は、被検体情報取得装置、表示制御方法およびプログラムに関する。
レーザーなどの光源から照射した光を用いて生体などの被検体内の情報を得る光画像化装置の研究が医療分野で積極的に進められている。
このような光画像化技術の一つとして、Photoacoustic Tomography(PAT:光音響トモグラフィー)がある。光音響トモグラフィーとは、光音響効果により被検体内で伝播・拡散した光のエネルギーを吸収した生体組織から発生した音響波に基づき、被検体内部の光学特性値に関連した情報を可視化する技術である。光学特性値に関連した情報取得の一例としては、音響波を、被検体を取り囲む複数の個所で検出し、得られた信号を数学的に解析処理する方法がある。
この技術で得られる、光照射によって生じた初期音圧分布あるいは光エネルギー吸収密度分布などの情報は、新生血管の増殖を伴う悪性腫瘍場所の特定などに利用できる。以降の説明では光エネルギー吸収密度分布の記述を省略するが、初期音圧分布の説明に含まれるものとする。このような初期音圧分布に基づく3次元再構成画像の生成と表示は生体組織の内部の把握に有用であり、医療分野における診断に役立つことが期待されている。ただし、発展途上の技術であるため、より一層ノイズやアーチファクトが低減された画質の良い画像の生成が望まれている。
ここで、光音響効果とは、物体にパルス光を照明すると、被測定物内の吸収係数が高い領域で体積膨張により音響波(疎密波であり、典型的には超音波)が発生する現象である。パルス光を照射することによる体積膨張によって発生した音響波を、本発明において「光音響波」という。
一般に光音響トモグラフィーでは、被検体全体を取り囲む閉じられた空間表面(特に球面状測定表面)の様々な点で、音響波の時間変化を理想的な音響検出器(広帯域・点検出)で測定すれば、理論的には光照射により生じた初期音圧分布を完全に可視化できる。また、閉じられた空間でなくとも、被検体に対して円柱状あるいは平板状に測定可能であれば、光照射により生じた初期音圧分布をほぼ再現できることが数学的に知られている(非特許文献1参照)。
下記式(1)は、PATの基本となる偏微分方程式であり、「光音響波動方程式」と言われる。この式を解けば、初期音圧分布からの音波伝播を記述でき、どの場所で音響波がどのように検出できるかを理論的に求めることができる。
Figure 2018192309

ここで、rは位置、tは時間であり、p(r,t)は音圧の時間変化、p(r)は初期音圧分布、cは音速である。δ(t)は光パルスの形状をあらわすデルタ関数である。
一方、PATの画像再構成とは、検出点で得られた音圧pd(r,t)から初期音圧
分布p(r)を導き出すことであり、数学的には逆問題と呼ばれる。以下にPATの画像再構成手法で代表的に使われているUniversal Back Projection(UBP)法に関して
説明する。式(1)の光音響波動方程式を周波数空間上で解析することで、p(r)を求める逆問題を正確に解くことができる。その結果を時間空間上で表したのがUBPである。最終的に以下のような式(2)が導かれる。
Figure 2018192309

ここで、Ωは任意の再構成ボクセル(あるいはフォーカス点)に対する全体の測定エリアSの立体角である。
さらに、式を分かりやすく変形すると、以下の式(3)となる。
Figure 2018192309

ここでb(r,t)は投影データ、dΩは任意の観測点Pに対する検出器dSの立体角である。この投影データを式(3)の積分に従って逆投影することで初期音圧分布p(r)を得ることができる。
なお、b(r,t)とdΩは、以下の式(4)、式(5)で表わされる。
Figure 2018192309

ここで、θは検出器と任意の観測点Pとがなす角度である。
音源の大きさに比べて、音源と測定位置の距離が十分大きい場合(遠距離音場近似)、以下の式(6)となる。
Figure 2018192309

このときb(r,t)は、以下の式(7)となる。
Figure 2018192309
このようにPATの画像再構成では、検出器で得られた検出信号p(r,t)を時間微分することで投影データb(r,t)を得て、式(3)に従って逆投影することで、初期音圧分布p(r)が求まることが知られている(非特許文献1及び2参照)。
ただし、式(3)を求めるために利用した光音響波動方程式である式(1)は、「音速一定」、「全方位からの測定」、「インパルス的光励起」、「広帯域での音響波検出」、「ポイントでの音響波検出」、「連続的な音響波のサンプリング」を仮定している。現実的には、これらの仮定を満たす装置の実現は容易ではない。
例えば、現実の被検体では、被検体全体を囲む、閉じた空間表面全体で、音響波検出情報を得ることは困難である。また、音響波の測定領域を大きくするには、音響検出器のサイズや素子数、および各素子の信号処理、制御部を増大させる必要があり、製造コストの増加につながる。このような事情から、PATの技術を用いた実用的な測定装置は、被検体の特定の方向から、限られた大きさの探触子(検出器)を用いて音響波を検出する装置として構成されることが多い。
このような装置の一例として、特許文献1で開示されているように、平板型測定系の光音響トモグラフィーが考案されている。この光音響トモグラフィーでは、平板で挟まれた被検体に光を照射し、平板上に配置された音響波検出器で音響波を検出する。ここで、光の照射数と音響波受信の回数は、複数回行われる場合もある。複数回の光の照射と音響波受信を元に、音響波信号、または、音響波信号に基づいて算出された各値を平均化した値を算出して用いることもある。
平板に限らず、被検体に接する、または、被検体の表面と平行な面などのように被検体との相対的な位置関係が明白な平面、または曲面上に移動可能な機構で探触子を配置して音響波を取得する場合もある。このような面上を、探触子に配置された素子の位置に関する情報を記録しながら音響波を受信した領域をここでは受信領域と呼ぶと、受信領域全体で検出した音響波を用いて画像再構成することもできる。
ここで、受信領域とは、探触子の移動により、素子が配置された探触子の受信面の占める領域であり、時刻は異なるが探触子の素子で音響波を受信しうる領域でもある。受信領
域は探触子の受信面の形状や配置された素子位置により、平面に限定されず、曲面においても同様に扱える。
受信領域内で探触子を移動しながら音響波を受信すると、探触子の素子の位置が変化する。しかし、素子ごとに検出される音響波を、検出時の受信領域上の素子位置で検出された音響波であると捉えると、受信領域上の各位置で検出された音響波とみなせる。すなわち、受信領域サイズの受信面に素子が配置された探触子で検出された音響波とみなして扱うこともできる。光音響波の場合は光の照射位置や照射時刻に応じて探触子を移動し、受信領域上の各素子位置で検出された音響波信号群を集めることで、受信領域全体の音響波信号を検出することができる。
なお、平板の探触子を被検体に密着させて音響波を検出する方法には、ノイズの少ない音響波の検出ができる点や、検出を繰り返す間、被検体や探触子の位置の固定や、探触子の移動の制御等が容易になる、といった利点がある。
ここで、音響波検出器の素子の指向性に応じた有効な音響波信号について説明する。
本明細書における有効な音響波信号とは、探触子の素子の特性や感度により定まる実用的な値以上で検出された音響波に基づいた音響波信号のことである。一般的な超音波探触子では、素子の中心軸の音圧から1/2の音圧になる指向角で定まる円錐状の範囲に収まる音源からの音響波を有効とする。そのため、本発明の実施においてもこのような素子の指向性の範囲の音源による音響波を検出した場合に有効な音響波信号として説明する。ただし、指向角は、必ずしも、音圧が1/2になる角度に限定しなくてもよい。本明細書の説明においては、素子ごとの特性や感度から、素子ごとに有効とみなして定まる範囲を音源とする音響波の検出に基づいた音響波信号を有効な音響波信号とし、その場合の指向角により定まる範囲を素子の指向性の範囲として説明する。
平板に沿って音響波検出器を移動して音響波を検出する場合、探触子が被検体に対して取り得る方位は限定されてしまうので、撮影対象とする領域の全周囲に探触子を接触させることはできない。その結果、被検体に対して限定された方位にある探触子の受信領域上の素子位置で検出した音響波に基づいた信号を使用するため、光音響波動方程式の仮定とは異なる音響波信号群による画像再構成となる。
さらに、撮影対象とする領域を画像再構成する領域、すなわち、再構成領域と言い換えれば、再構成領域の各点において、有効な音響波信号の数や、検出位置との相対的な位置の条件が、必ずしも同じ条件にはならない。すなわち、再構成領域内において有効な音響波信号に関する条件が異なる領域が存在し、この条件の相違から再構成画像の画質が異なる領域が生じる。
超音波画像の表示においては、例えば、特許文献2に、探触子の素子ごとの信号強度を判定し、所定の値以上の信号強度の素子のマップや、3次元画像を生成した場合にCモード画像を表示する例が開示されている。ただし、送受信した超音波信号の強度を判定して表示するものであり、光音響波の再構成画像の画質の異なる領域を識別できるような表示は行われていない。
米国特許第5840023号公報 特開2007−312980号公報
PHYSICAL REVIEW E 71, 016706(2005)
しかしながら、従来の技術のように、再構成処理の対象とする領域の1点において再構成処理に用いる音響波は、前述の受信領域上の素子位置で検出された音響波に限定される。受信領域上の素子は、その特性により再構成処理の対象とする1点からの相対的な位置によっては、再構成処理に有効な音響波を検出できない位置がある。一般に、探触子(検出器)の素子で検出された音響波信号は、素子ごとの指向性に基づく範囲に収まる領域に音源が存在する場合に有効な音響波信号として扱う。そのため、画像再構成においては、再構成対象領域内の1点に対する受信領域上の音響波信号の検出位置情報、各点に有効な音響波信号群を抽出することになる。
例えば、受信領域が平面の場合、再構成領域内の各点から、受信領域に下ろした垂線の足を中心として、指向角の直線と受信領域と平行な面との交点で定まる円形の領域が定まる。この領域内が、有効な音響波を検出する素子の存在しうる領域である有効音響波検出領域である。この有効音響波検出領域が、受信領域に収まるような位置にあるような再構成領域内の点では、受信領域上の検出位置ごとの有効な音響波信号数が多くなる。しかし、受信領域の端部に近い位置にある再構成領域内の点は、受信領域に収まり切らないため、検出位置ごとの有効な音響波信号数が限定され、画質の差を生じてしまう。
また、再構成領域内の点から、有効な音響波信号の数が同じであっても、再構成に用いる音響波信号の検出位置が偏った方位にある場合は、偏った向きにアーチファクトを生じやすい。非対称な位置の素子で受信した音響波信号群を用いた画像再構成処理となるため、光音響波動方程式の仮定との相違が大きくなるのである。
そのため、従来の技術を適用したPATの画像再構成では、光音響波の音源が、受信領域の中心付近から外れた端部の法線上にある場合にアーチファクトを生じやすい。受信領域の外縁部付近や受信領域のさらに外側の平行な面に対する法線上にある光音響波の音源の再構成画像については、さらに大きなアーチファクトが生じる。
また、これらの条件は、探触子の受信面と被検体内の画像再構成を行う空間上の1点との距離により異なる条件となる。すなわち、受信領域から近い位置にある空間上の1点からは、受信素子の指向角の範囲に入る点の数が少なくなる。
以上より、光音響波動方程式の仮定とは一致しない位置で検出された音響波信号群を用いて再構成された再構成画像には、画質の異なる領域が存在するが、従来の技術による再構成画像の表示では、この領域の識別は困難であった。再構成画像の表示では識別できないような再構成処理に用いた音響波信号に基づいた画質の異なる領域の識別をできる情報を表示することが、本発明の課題である。
本発明は上記の課題に鑑みてなされたものであり、音響波信号に基づいて生成された再構成画像の領域ごとの画質をユーザーに識別可能にするための技術を提供することを目的とする。
本発明は以下の構成を採用する。すなわち、被検体内を伝播した音響波を検出した検出素子から出力される音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、前記音響波信号を用いて、被検体内の各注目点における特性情報を取得する特性情報取得部と、前記音響波の検出に関する条件である音響波検出情報を用いて複数の
前記特性情報の精度の違いを示す情報を生成する精度情報生成部と、前記各注目点における特性情報と、前記精度の違いを示す情報と、を用いて前記複数の特性情報の精度の違いを識別可能な表示情報を生成し表示部に表示させる表示情報生成部と、を有することを特徴とする被検体情報取得装置である。
本発明はまた、以下の構成を採用する。すなわち、被検体内の特性情報を表示する表示制御方法であって、被検体内を伝播した音響波を検出した検出素子から出力される音響波信号を用いて、被検体内の各注目点における特性情報を取得するステップと、前記音響波の検出に関する条件である音響波検出情報を用いて複数の前記特性情報の精度の違いを示す情報を生成する精度情報生成ステップと、前記各注目点における特性情報と、前記精度の違いを示す情報と、を用いて前記複数の特性情報の精度の違いを識別可能な表示情報を生成する表示情報生成ステップと、前記表示情報を表示させるステップと、を有することを特徴とする表示制御方法である。
本発明によれば、音響波信号に基づいて生成された再構成画像の領域ごとの画質をユーザーに識別可能にするための技術を提供することができる。
画像情報取得装置の機能ブロックを示す図。 情報処理部をソフトウェアにより実現する際の構成を示す図。 実施例における音響波信号計測部の構成例を示す図。 音響波計測、画質判定および表示処理のフローチャート。 再構成と音響波検出情報保存処理のフローチャート。 注目点と受信領域上の有効信号検出領域の関係を示す図。 情報表示の一例を示す図。
以下、添付図面に従って本発明に係る画像再構成方法、及び被検体情報取得装置である画像情報取得装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。本発明では、画像として被検体内の特性情報を示す画像を取得するため、本発明の画像情報取得装置は、被検体情報取得装置であると言える。
本実施形態に係る画像再構成方法は、検出した音響波から初期音圧分布を求めて3次元再構成画像を生成する画像再構成方法である。また、本実施形態に係る画像再構成方法を実施する画像情報取得装置は、光音響波診断装置である。光音響波診断装置は、光を照射して発生させた音響波を検出して得られる音響波信号に基づき3次元再構成画像を生成する。本実施形態では、1回の撮影で検出された音響波信号より、素子ごとの音響波信号の数や位置の異なる複数の音響波信号群を抽出して、複数の3次元再構成画像を生成する。
本発明において、撮影とは、被検体内から伝播した音響波を受信し、被検体内の特性情報を取得することを示す。特性情報とは、音響波の音圧や、音圧から導かれる光エネルギー吸収密度や、吸収係数、組織を構成する物質の濃度等の被検体情報を反映した情報を示す。物質の濃度とは、例えば、酸素飽和度やオキシ・デオキシヘモグロビン濃度などである。また、特性情報としては、数値データとして取得してもよく、被検体内の各位置(各注目点)の分布情報(特性情報分布)を示す画像データとして取得しても良い。つまり、被検体内の吸収係数分布や酸素飽和度分布等を反映した分布情報を示す画像データとして特性情報を取得しても良い。
なお、被検体内の特性情報を取得する1回の撮影の中で、複数回の光照射を行うことも
ある。その際、特性情報分布を示す3次元再構成画像を生成する領域内の各点の特性情報の取得(再構成)に使用した音響波信号群の数や位置等の音響波検出情報を記録する。そして、音響波検出情報をもとに、各点における再構成画像の画質の優劣を判定する。そして、その判定結果に基づいた領域情報を認識できるようにして再構成画像と共に表示する。本発明において画質とは、取得された特性情報の精度を意味する。「特性情報の精度」は、取得した特性情報の全て、または、一部に基づいて、被検体内の所定の特徴に相関した特徴を持つ画像データを生成した場合に、その画像の特徴の特徴量と、被検体内の特徴の特徴量との相関の精度も含まれる。
(概略機能ブロック図)
図1は、本実施形態に係る光音響波診断装置の機能構成を示している。図1に示すように、本実施形態に係る光音響波診断装置は、情報処理部1000、音響波信号計測部1100によって構成されている。本発明の光音響波診断装置は、被検体内を伝播した音響波を受信して被検体内の特性情報を取得する被検体情報取得システムである。各機能ブロックを実施するための機器構成の例を図2、図3に示している。図2は、本実施形態に係る光音響波診断装置の情報処理部1000(被検体情報取得装置)を実施する機器構成の一例である。また、図3は、音響波信号計測部1100を実施する機器構成の一例である。
(音響波検出情報)
音響波信号計測部1100は、音響波検出器1105(図3)の各素子で検出された音響波検出情報を情報処理部1000に送信する。
ここで、音響波検出器1105は、例えば、超音波を検出する探触子である。また、音響波検出情報とは、音響波を受信した音響波検出器の検出素子から出力される受信信号(音響波信号)や、音響波検出器1105の受信面上に配置された素子の位置に関する情報や、感度、指向性に関する情報のような素子の情報が該当する。さらに、音響波取得の撮影パラメータや他の計測情報のような音響波信号取得時の条件に関わる情報も含まれる。光音響波診断装置では、音響波を発生させる光の光源の制御や、被検体を圧迫する場合の圧迫に関する情報も、音響波信号取得時の条件として取得する。
ここで、素子の位置に関する情報とは、被検体や、画像再構成の対象とする再構成領域と素子との位置関係が特定できる情報であれば、どのような情報でもよい。例えば、各素子の数、素子配列のピッチ、受信面上における素子位置等の情報と、音響波検出器の位置、被検体の位置やサイズ、画像再構成を行う再構成領域の位置やサイズ、それぞれの相対的な位置関係などの情報がある。特に音響波検出器を移動させた場合、音響波検出器の受信面上の素子が移動しながら音響波を受信した時の、受信領域上の素子位置に関する情報として扱うこともできる。
素子ごとに取得される情報は、音響波検出器1105の素子の識別子、または、受信領域上の位置情報等と関連付けられた情報として送信される。音響波検出器が移動しない場合は、素子の識別子と受信領域上の位置とは1対1で対応する。音響波検出器が移動しながら音響波を受信した場合は、音響波検出器の素子は複数の位置で受信するため、音響波を検出した受信領域上の素子位置ごとに関連づけられる。
音響波検出情報は、音響波信号を送信してもよいし、素子の感度補正、ゲイン補正等の補正を施した後の音響波信号の情報を送信してもよい。光音響波診断装置では、1回の撮影処理で複数回の光を照射し、得られた音響波信号の平均を音響波信号として送信する方法であっても、本発明を実施することができる。
なお、音響波検出情報の中には、実施形態の構成に応じて静的な定数としても本発明の実施に支障のない情報も含まれる。このような情報は、情報処理部1000の主メモリ1
02や、磁気ディスク103(いずれも図2)に、あらかじめ記憶しておいて、画像再構成処理の実行時に利用してもよい。一方、撮影の度に動的に定まる情報は音響波検出情報の一部として、音響波信号計測部1100から情報処理部1000に送信する。
例えば、音響波検出器1105の受信面上における素子の位置に関する情報が送信される場合について考える。この場合、素子の識別子と音響波検出器の位置情報が、音響波信号計測部1100から情報処理部1000に送信された後、あらかじめ情報処理部1000に記憶されている音響波検出器と素子の相対的な位置情報を参照して本発明を実施することも可能である。
(情報処理部)
情報処理部1000は、音響波信号計測部1100から得られた音響波検出情報を用いて、3次元画像再構成処理を行う。また、生成された3次元再構成画像と音響波検出情報を生成し、本発明における判定結果情報と領域情報を生成する。さらに、これらを用いて表示情報を生成する。そして、判定結果を認識できるような形で、表示情報に基づいて再構成画像の表示を行うことで、画質の異なる領域を識別可能な表示を行う。つまり取得した特性情報の精度(被検体の特徴と画像上の特徴との相関の度合いを含む)の違いを識別可能な表示を行う。
次に情報処理部1000の機能ブロックについて説明する。
図1において、情報処理部1000は、音響波情報取得部1001、再構成処理部1002、画質判定部1003、領域情報生成部1004、表示情報生成部1005、表示部1006によって構成される。
音響波情報取得部1001は、音響波信号計測部1100から送信された音響波検出情報を取得し、再構成処理部1002に音響波検出情報を送信する。
本実施例では、音響波信号計測部1100から送信された音響波検出情報を用いて画像再構成を行う手順で説明する。しかし、本発明の実施形態は、音響波情報取得部1001が音響波検出情報を取得する手段を限定せず実施可能である。必ずしも、音響波信号計測部1100を必要とせず、例えば、音響波信号計測部1100が送信するデータと同等の音響波検出情報をサーバ装置からネットワークを介して取得してもよい。また、音響波情報取得部1001内の記憶装置や記憶媒体から読み出して実施することも可能である。
再構成処理部1002は、画像再構成を行う領域内の注目点ごとに、注目点からの音響波に起因する選択された音響波信号のみを用いて3次元画像再構成を行い、特性情報を示す3次元画像を生成する。そして注目点ごとの特性情報から音響波検出情報に基づく3次元再構成画像(ボリュームデータ)を生成する。つまり本発明において再構成処理部は特性情報取得部として機能する。
ここで、再構成処理部1002の画像再構成処理は、解析解による3次元画像再構成であれば、タイムドメイン法であっても、フーリエドメイン法であっても本発明の第1の実施形態を適用することができる。
光音響波診断装置の場合は、被検体内における光の吸収係数分布を示す値を特性情報として算出し、再構成された3次元画像を生成する。照射する光の波長に応じて、被検体内で光の吸収の度合いが異なることから、被検体内の組成の相違を3次元画像として表示することができる。
なお、再構成処理で用いる各情報は、音響波検出情報として、音響波信号計測部1100から送信される情報に含めてもよいし、あらかじめ、磁気ディスク103に格納されている情報を使用してもよい。さらに、オペレータの指示により入力部106(図2)から
の操作指示で指定することも可能である。再構成処理で用いる情報の例としては、再構成処理のアルゴリズムの選択や、再構成処理で出力するボクセルの数、ピッチのような再構成処理のパラメータにあたる情報があげられる。
生成された再構成画像は、再構成処理部1002から表示情報生成部1005に送られる。また、必要に応じて、画質判定部1003にも送られる。
また、再構成処理部1002は、再構成処理に用いた音響波検出情報を生成する。
音響波検出情報は、再構成処理に用いた音響波検出情報を再構成領域内の各点に対応付けて記録される。音響波検出情報は、再構成処理で生成される再構成画像の画質に影響する音響波検出情報であれば、どのような情報も含めることができる。例えば、再構成処理を行う各点に用いる音響波信号の数、受信位置、音響波検出器の素子の指向性の範囲内で受信された音響波信号数、音響波信号の受信条件等があげられる。画質判定部1003で再構成画像品質(つまり特性情報の精度の優劣の度合いなど)の判定に利用可能な情報であれば、音響波検出情報に含めることができる。さらに、光音響波の場合は、音響波を生じさせた光の波長や照明条件等も含めることができる。
音響波検出情報の記録方法の一例としては、再構成処理で出力するボリュームデータ内のボクセルと対応づけられた情報として記録する方法がある。ボリュームデータのサイズや形状に関する情報や、ボリュームデータ内部の各ボクセルの位置情報に対応付けて、音響波検出情報を記録すればよい。
生成された音響波検出情報は、再構成処理部1002から画質判定部1003に送られる。
画質判定部1003は、再構成処理部1002で生成された再構成画像の画質を判定する。本発明において画質判定部1003は、特性情報の精度判定部であり、本発明における画質の判定とは、再構成処理部1002が音響波信号に基づいて生成した被検体内の特性情報(再構成画像)の精度を判定することに当たる。また、再構成処理で出力されたボリュームデータであればボクセル値の良否や有効性のレベルを判定することで特性情報の精度を判定する。そのため、再構成画像を表示する場合は画質の判定である。しかし、再構成処理の算出値であるボクセル値の良否等を判定した場合は、目的に応じて、ボクセル値で示された特性情報の良否や有効性のレベルを判定することと同義である。本実施例では、これらを含めて、特性情報の精度の判定を画質の判定として説明する。
ここで、音響波を検出した領域が3次元領域であっても、任意の平面上の領域のみに再構成処理を実施した場合は、2次元の再構成画像上のピクセル値の有効性を判定することになる。本実施例では、3次元領域を対象とした説明であるが、本発明の実施形態については、2次元領域においても実施可能である。
画質判定部1003は、再構成処理部1002が記録した再構成領域の各点の音響波検出情報に基づいて画質の判定を行う。ただし、必要に応じて、再構成画像を参照する判定方法を実施してもよい。
音響波検出情報に基づいた画質の判定方法としては、再構成処理に用いた音響波信号数に基づく判定方法がある。再構成処理アルゴリズムにおいては音響波信号数が多い方がアーチファクトが低減され、画質がよくなる。また、再構成領域の各点において、素子の指向性を考慮した最大数の音響波信号を画質のよい領域として判定することもできる。さらに、再構成領域の各点が素子の指向性に基づいて受信領域内で利用可能な音響波信号を受信領域上で対称な位置にある音響波信号を選択して用いることで偏った位置のアーチファ
クトを抑制することができる。再構成領域内において、このような位置にある点の占める領域を画質の良い領域として判定することもできる。
再構成画像を参照する判定方法の例としては、再構成画像における画素値や再構成画像から抽出される特徴量を判定に用いる方法がある。画質判定に用いる再構成画像の特徴量の例としては、画素値の分布や、あらかじめ定められた閾値以上の画素値による形状の特徴を利用できる。また、3次元再構成画像を断面画像で分割した場合の各断面画像上の各点において、隣接する断面画像の各点との相関の度合いなどを用いることもできる。画質判定部1003が再構成画像を参照する判定方法を実施する場合は、再構成処理部1002から画質判定部1003に対し、音響波検出情報と再構成画像の両方が送られる。
画質判定部1003の判定結果は、再構成画像内の各点に対応づけられた判定結果情報として領域情報生成部1004に送られる。
判定結果情報の例としては、再構成画像内の各点の画質の良否を2値で記録する方法や、重みづけをした数値で段階的に記録する方法がある。また、再構成画像の形状やサイズの情報と再構成画像中の判定結果の分布を示す数式のような情報で各点の画質を示すことでも実施できる。判定結果情報は、領域情報生成部1004が、再構成画像における画質の相違を識別できる領域情報の生成に利用できる情報であればよい。
領域情報生成部1004は、画質判定部1003から送られた判定結果情報に基づいて、領域情報を生成する。領域情報は、再構成画像内の画質の異なる領域を識別する情報である。つまり領域情報は、特性情報の精度(被検体の特徴と画像上の特徴との相関の度合いを含む)の違いを示す精度情報であり、領域情報生成部は、精度情報生成部であると言える。領域情報生成部1004は、判定結果情報に含まれる判定結果を参照し、再構成画像内で画質が同等である領域ごとに領域を分割する。
領域情報は、再構成画像内の画質が異なる領域を識別可能な情報であれば、どのような形式の情報でもよいが、画質のレベルと対応付けた情報となる。例えば、画質の異なる領域の境界を示す位置情報や数式でもよい。この場合は、境界に関する情報と境界で区切られる領域の画質のレベルを示す情報が含まれる。
再構成画像がボリュームデータである場合には、画質が同等であるボクセル群の識別子をグルーピングし、画質のレベルに対応づけた情報でもよい。また、境界付近にあるボクセルを特定する情報と区切られた領域の画質のレベルを示す情報であってもよい。
生成された領域情報は、領域情報生成部1004から表示情報生成部1005に送られる。
表示情報生成部1005は、再構成処理部1002から送られた再構成画像と領域情報生成部1004から送られた領域情報に基づいて、画質判定部1003が判定した画質の相違を識別できる表示情報を生成する。例えば、再構成画像のボリュームデータ内における画質の良い領域の分布のみを示すような表示画像を再構成画像の表示情報とは、別に生成して、画質の良否を識別する表示情報としてもよい。
また、再構成画像に基づいた表示情報を表示する場合に、領域情報に基づいて画質の異なる領域を色分けしたり、透明度を変更したり、境界線を特性情報分布を示す画像に重畳し表示情報として生成することもできる。さらに、再構成画像に基づいた画像内における領域の境界や形状を示す座標や数式、領域の識別を促進するアノテーションや文字列と断面画像を表示情報として生成する方法もある。
ここで、表示情報生成部1005が生成する再構成画像に基づいた表示情報とは、3次元画像情報に基づいて生成される表示情報であれば、どのような表示情報でも実施できる。表示情報の例としては、ボリュームレンダリング、多断面変換表示法、最大値投影法などで得られる2次元画像がある。また、3次元画像情報から得られる情報を統計情報などの別の表示情報を生成することもできる。
光音響波に基づく画像再構成を行う光音響波診断装置では、照射光の波長に応じた被検体内の吸収係数分布値に基づく3次元画像情報を得ることができる。これらの値に、生体組織を構成する物質(グルコース、コラーゲン、酸化・還元ヘモグロビンなど)固有の波長依存性を比較することによって、生体を構成する物質の濃度分布を画像化することができる。さらには各値の統計情報を数値、グラフやヒストグラム等で表示することも可能である。表示情報生成部1005が生成する表示情報は、これらの情報の生成も含まれる。
生成された表示情報は、表情情報生成部1005から表示部1006に送られる。
表示部1006は、生成した表示情報を表示するためのグラフィックカード、および、液晶やCRTディスプレイのような、情報表示装置であり、表示情報生成部1005から送られた表示情報を表示する。表示部については音響波計測部の機能ブロックに含めても良いし、外部の情報表示装置に表示情報を送信し表示させても良い。
なお、本発明の画像再構成方法を実施する画像情報装置の説明では、音響波信号計測部1100と情報処理部1000を分けて説明している。具体的には、デジタルマンモグラフィのような計測装置と制御装置(PCでもよい)のような機器構成が一例として挙げられる。しかし、音響波信号計測部1100と情報処理部1000を含む1つの画像情報取得装置としても実施可能である。例えば、一般的な超音波診断装置に、本発明の音響波信号計測部1100と情報処理部1000に相当する機能を併せ持つモダリティのような装置構成で実施することも可能である。
図2は、情報処理部1000の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。
CPU101は、主として情報処理部1000の各構成要素の動作を制御する。主メモリ102は、CPU101が実行する制御プログラムを格納したり、CPU101によるプログラム実行時の作業領域を提供したりする。磁気ディスク103は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述するフローチャートの処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ104は、モニタ105のための表示用データを一時記憶する。モニタ105は、例えばCRTディスプレイや液晶モニタ等であり、表示メモリ104からのデータに基づいて画像を表示する。
入力部106は、マウス、キーボードなどのオペレータによるポインティング入力及び文字等の入力を行う。本発明の実施形態におけるオペレータの操作は入力部106より行われる。I/F107は、情報処理部1000と外部との間で各種データのやりとりを行うためのものであり、IEEE1394やUSB、イーサネットポート(イーサネットは登録商標)等によって構成される。I/F107を介して取得したデータは、主メモリ102に取り込まれる。
音響波信号計測部1100の機能は、I/F107を介して実現される。なお、上記各構成要素は共通バス108により互いに通信可能に接続されている。
(音響波信号計測部)
図3は、音響波信号計測部1100の構成の一例を示す図である。
光源1101は、レーザーや発光ダイオード等のような被検体に照射する照射光の光源である。照射光には、被検体を構成する成分のうち特定の成分で吸収の度合いが強いと予想される波長の光を用いる。
制御部1102は、光源1101、光学装置1104や音響波検出器1105、位置制御手段1106の制御を行う。制御部1102はまた、音響波検出器1105で得られた光音響波の電気信号(音響波信号)を増幅し、アナログ信号からデジタル信号に変換する。また、各種信号処理、各種補正処理を行う。また、不図示のインターフェースを介して、音響波信号計測部1100から、例えば情報処理部1000のような外部機器に音響波信号を送信する。
レーザー等の光源の制御の内容としては、レーザー照射のタイミング、波形、強度などの制御がある。音響波検出器の位置制御手段1106の制御については、音響波検出器1105の位置を適切な位置に移動する。
制御部1102はまた、音響波検出器1105が検出した光音響波の信号をレーザー照射のタイミングと同期をとって計測するための各制御を行う。さらに、複数回のレーザーを照射して得られる素子ごとの音響波信号を加算平均して素子ごとの音響波信号の平均値を算出するような信号処理も行う。
光学装置1104は、例えば光を反射するミラーや、光を集光したり拡大したり形状を変化させるレンズなどである。このような光学部品は、光源から発せられた光1103が被検体1107に所望の形状で照射されれば、どのようなものを用いてもかまわない。このような光学部品は、光源から発せられた光1103が被検体1107に所望の形状で照射されれば、どのようなものを用いてもかまわない。光源1101、光学装置1104は、複数用いることも可能である。
なお、光源1101から照射された光1103は、光導波路などを用いて伝搬させることも可能である。光導波路としては、光ファイバが好ましい。複数の光源があり、かつ、光ファイバを用いる場合は、それぞれの光源に対して複数の光ファイバを使用して、生体表面に光を導くことも可能である。あるいは、複数の光源からの光を一本の光ファイバに導き、一本の光ファイバのみを用いて、すべての光を生体に導いても良い。
このような構成で制御部1102の制御の元、光源1101で発生させた光1103を、光学装置1104を介して被検体1107に照射すると、被検体内の光吸収体1108が光を吸収し、光音響波1109を発生する。そして発生した光音響波1109は被検体内を伝播し被検体外に放出される。この場合、光吸収体1108が音源に該当する。
音響波検出器1105は、圧電現象を用いたトランスデューサー、光の共振を用いたトランスデューサー、容量の変化を用いたトランスデューサーなどで構成される。音響波を検知できるものであれば、どのような音響波検出器を用いてもよい。音響波検出器1105は、被検体1107に直に接触して音響波を検出してもよいし、平板1110のような板で被検体を圧迫し、圧迫された被検体の光音響波1109を平板越しに検出してもよい。
本実施形態の音響波検出器は、複数の素子(検出素子)が2次元的に配置されたものを前提に説明する。このような2次元配列素子を用いることで、同時に複数の場所で音響波を検出することができ、検出時間を短縮できると共に、被検体の振動などの影響を低減できる。また、音響波検出器1105と被検体との間には、音響波の反射を抑えるための不
図示のジェルや水などの音響インピーダンスマッチング剤を使用してもよい。
ここで、光を被検体に照射する領域や音響波検出器1105は移動可能であってよい。光源から発生した光が被検体上を移動可能となるように光学装置1104を構成することができる。光を被検体に照射する領域を移動させる方法としては、可動式ミラー等を用いる方法、光源自体を機械的に移動させる方法などがある。さらに、音響波検出器1105の位置を移動する位置制御手段1106を設けて、音響波検出器を移動できるように構成する。位置制御手段1106の一例としては、位置センサの情報に基づき平板1110上をモーターで移動する方法がある。
光を照射する領域や音響波検出器1105の位置の制御は制御部1102が行う。また、制御部1102は、光を被検体1107に照射する領域(被検体に照射される光)と、音響波検出器1105とを同期して移動するように制御することもできる。光の照射領域が移動可能であることにより、より広範囲に光を照射し、かつ、照射領域に対して適切な位置にある音響波検出器で光音響波を検出することができるようになる。
ここで、音響波検出器を移動させる方法は、受信領域上の各位置の素子で検出された音響波信号を、その位置に素子を配置した音響波検出器で検出した音響波信号とみなせれば、どのような移動方法でもよい。例えば、音響波検出器の素子が配置された面が長方形の場合は、音響波検出器の移動方向に応じて、音響波検出器の素子の配置された面の縦、または、横サイズ分ずつ、間をあけずに音響波検出器を移動した後、各位置で静止して音響波を検出する方法で実施できる。
この音響波信号群を受信領域上の素子の位置ごとの音響波信号として扱うことにより、あたかも、同じ素子ピッチで、移動数倍の素子が配置されたサイズの音響波検出器のようにみなすことができる。
なお、音響波検出器の移動量は、音響波検出器の素子の配置された面のサイズと必ずしも、同じサイズでなくてもよい。また、素子の配置された面が、他の形状であっても、素子の配置された面の移動前の領域と移動後の領域が接する、あるいは重なるような移動量とする方法でもよい。さらには、音響波検出器の移動方法は、受信領域内において、隙間があるような移動方法でも本発明の実施は可能である。たとえば、音響波を受信した受信領域上の各位置の音響波信号の代表値を抽出、または、平均値を算出する等の方法で決定し、最終的に、受信領域上の各位置の音響波検出情報が揃うような音響波検出器の移動であればよい。この場合は、受信領域サイズの受信面を持つ音響波検出器とみなした場合の素子ピッチに相当する各位置ごとに音響波信号が揃えばよい。
さらに、音響波検出器を静止せずに移動しながら音響波の検出を継続するような音響波検出器の移動方法でもよい。音響波検出器の移動範囲に相当する受信領域において、音響波検出器の位置および素子位置ごとに検出された音響波信号群から代表値となる信号を抽出する、または平均値をとる等の方法で、受信領域上の各位置における音響波信号を決定する。音響波検出器の速度や移動範囲を調整することで、任意のサイズの受信領域に任意のピッチで素子が配置された音響波検出器のようにみなすことができる。また、走査の制御が容易になり、走査時間も短縮できる。なお、見掛け上の音響波検出器の素子のピッチ、すなわち、受信領域で音響波を検出する素子位置のピッチは、音響波検出器上に配置されている素子のピッチと異なる任意のピッチで実施することもできる。
本発明における音響波信号計測部1100の構成を持つ光音響波診断装置で撮影を実施する場合には、入力部106を介してユーザーにより撮影領域の指示が行われる。そして撮影領域に必要な音響波信号の取得を行う。撮影領域は、装置ごとの仕様で定まる、被検体内の特性情報を取得しうる特性情報の取得領域であり、目的とする撮影ごとに指定され
る3次元領域である。
撮影領域の入力方法は、目的とする撮影領域を音響波信号計測部1100が特定できる方法であれば、どのような方法でもよい。装置内で撮影可能な範囲内で直方体の各頂点の座標や、数式を入力されてもよい。ユーザーが被検体を捉えたカメラ画像上にマウスで矩形領域を指定し、その領域を被検体上に投影した領域と被検体の奥行方向を計測して特定される3次元領域を撮影領域とする方法なども実施できる。この場合は、透明な平板越しに被検体をカメラ撮影し、被検体の平板からの厚さを計測することで、撮影領域とする直方体を特定することができる。なお、3次元データとしてボリュームデータとして扱うには直方体の領域である場合が一般的であるが、撮影領域は、必ずしも、直方体でなくとも、実施可能である。
本発明の実施において、基本的には、3次元領域の情報を表示するために、撮影領域が、そのまま、再構成領域に相当するとして、音響波の受信領域、すなわち音響波検出器を走査して音響波を取得する走査領域を決定する。しかし、取得した音響波検出情報に基づいて、異なる領域の再構成領域を設定し、異なる領域の再構成画像に対して実施することも可能である。さらに、再構成画像に対する、本発明の画質判定処理と領域情報生成処理を実施する領域も、再構成画像内の異なる領域に対して実施することもできる。
なお、3次元画像を2次元の表示を行うディスプレイに表示する場合には、表示情報生成部においてなんらかの領域の限定、または画像処理を施した後、画像を表示部に表示させる。そのため、撮影領域、再構成領域、および、再構成画像、画質判定および領域情報の各領域とは異なる領域に対する画像および、画像情報を表示できる。
(実施手順)
次に、図4、図5のフローチャートを用いて、本発明の被検体情報取得装置である情報処理部が実行する具体的な表示制御方法の処理の手順を説明する。以下の実施形態では、音響波信号計測部1100で音響波を計測する。そして、情報処理部1000で計測した音響波に基づいた再構成画像の生成および画質判定を行い、領域情報、表示情報を生成し、再構成画像における断面画像と境界線を表示する表示制御方法の例について説明する。
(音響波計測)
図4(a)は、本発明の実施における音響波信号計測部1100が音響波を計測して、音響波信号と音響波検出情報を取得する手順をしたフローチャートである。本実施例では図3で示した光音響波計測装置で音響波と音響波検出情報を取得する例について説明する。しかし、本発明の適用は光音響波計測装置に限定されるものではない。音響波に基づいた情報を生成するために音響波を取得して音響波信号と音響波検出情報を取得できる装置であれば、どのような装置であっても適用することができる。
ステップS401において、音響波信号計測部1100が光音響波の計測処理を開始すると、制御部1102の制御により、光源1101が、光学装置1104を介して被検体1107にレーザー光を照射する。
ステップS402において、被検体1107が放出した光音響波を音響波検出器1105で検出する。光音響波を検出すると、S403に進む。
ステップS403において、制御部1102は、撮影時のパラメータや音響波検出器1105の素子ごとに検出された音響波信号等を含む音響波検出情報を生成する。
ここで、音響波検出情報には、音響波の計測に関連する情報ならどのような情報を含めてもよい。また、1回の撮影でレーザー光を複数回照射する場合は、レーザー照射回数や照射時刻等の情報と共に、検出された複数の音響波信号を含めてもよい。または、ノイズ
を軽減するために、各照射時の音響波信号の平均値を音響波検出情報とするように、信号処理を加えた情報としてもよい。さらに、被検体に対する音響波検出器や素子の位置情報を受信した音響波信号に対応づける情報等も含めることができる。
生成された音響波検出情報は、情報処理部1000に送信されて、本実施例における音響波検出情報の取得手順を終了する。
(再構成と音響波検出情報の保存)
図5は、情報処理部1000で音響波情報取得部1001が音響波検出情報を取得し、再構成処理部1002が、再構成処理に用いた音響波検出情報を記録しながら、音響波検出情報に基づいた再構成画像を生成する手順を示したフローチャートである。
図5のフローチャートは、情報処理部1000の音響波情報取得部1001が音響波検出情報を取得した時から開始される。
ステップS501において、音響波情報取得部1001は音響波信号計測部1100から取得した音響波検出情報を主メモリ102、または、磁気ディスク103等の記憶装置に記憶し、再構成処理部1002が利用できるようにする。そして、再構成処理部1002に音響波検出情報、または、記憶したアドレスに関する情報を送信する。
ステップS502において、再構成処理部1002は、被検体内部において再構成処理を実行する領域である再構成領域内の未抽出の空間上の1点を注目点として抽出する。ここで、再構成領域は、音響波信号計測部1100で音響波を取得する時の撮影領域と異なる領域を再構成することもできる。撮影領域より小さい領域を再構成領域としてもよい。あるいは、取得した音響波信号は、撮影領域以外の領域を音源とする音響波も含まれていることから、撮影領域より大きい領域を再構成領域としても、本発明の表示方法を実施することができる。
ステップS503において、再構成処理部1002は、注目点に対する受信領域上の有効な音響波を検出しうる領域である有効音響波検出領域を算出する。有効音響波検出領域は、注目点と受信領域の位置関係と有効な音響波信号の検出に関する素子の特性(例えば指向角)に基づいて定まる領域である。有効音響波検出領域の例を、図6の有効音響波検出領域604に示す。
ステップS504において、再構成処理部1002は、ステップS503で抽出した被検体内部の注目点に対して再構成処理に用いる有効な音響波信号群を抽出する。抽出される有効な音響波検出情報群は、ステップS503で算出された有効音響波検出領域で検出された音響波信号群から抽出される。
ここで、注目点ごとに抽出される音響波信号群の数は、必ずしも、同数ではない。例えば、音響波検出器の全素子で検出された音響波信号群を用いることもあれば、一部の素子で検出された音響波信号群を抽出する場合もある。
注目点と音響波信号受信時の素子の相対的な位置関係と素子の指向性の範囲により、各注目点で有効に利用できる音響波信号数は異なる。注目点が指向性の範囲に入らない位置の素子で受信した音響波信号は、同じ音響波であっても著しく感度が下がった音響波信号しか取得できない。そのため、再構成処理に有効な音響波信号として扱えず、注目点ごとの有効な音響波信号数は異なる場合がある。例えば、図6の注目点(ボクセル)602と注目点(ボクセル)605は、各注目点から受信領域に下ろした垂線603との距離が等距離であっても、有効信号検出領域604と606のように、受信領域601上に重なる領域が異なる。そのため、垂線と受信領域の交点を中心とする所定の半径の円内に含まれる、有効な音響波信号を検出しうる素子数が異なるため、注目点ごとの有効な音響波信号
数が異なる。
また、音響波信号を受信する受信領域の素子群は限定された領域内に存在し、注目点との相対的な位置は、必ずしも対称性のない位置で検出された音響波信号群が存在する。この対称性とは、例えば、受信領域601上に注目点602から下ろした垂線603の足を中心として、点対称の位置にある1対の音響波信号がある場合は対称な位置の音響波信号とみなす。限定された方位にある受信領域で被検体の領域内の画像再構成を行うと、光音響波動方程式の過程から外れているが、同じ受信領域上で受信した音響波信号に対称性がないと、さらに偏りのある再構成画像となり、アーチファクトが増大する。そのため、音響波信号が同数であっても対称性のない音響波信号群で再構成する領域と、対称性のある音響波信号群で再構成する領域との画質に差がでてくる。結果として、対称性のある位置に他の検出素子があるものの割合が多いほど、画質は良くなる。
そこでステップS504の処理において、再構成処理部1002は、この画質の差を軽減するために、有効な音響波信号から、さらに、対称性のある音響波検出情報を選別して再構成する場合もある。
また、装置固有の条件で、有効な音響波信号を制限する場合もある。撮影可能な位置にある被検体であっても、装置の内壁、部品等の音響波特性に影響する要因が把握できる場合は、有効な音響波信号群を制限する場合もある。
さらに、画像再構成に要する処理時間の短縮のために、再構成処理に用いる音響波信号数をあえて少なくすることもある。
ステップS505において、再構成処理部1002は、ステップS504で抽出された音響波検出情報群を用いて、再構成処理を行う。再構成処理部1002が実行する再構成処理アルゴリズムは、主メモリ102、または、磁気ディスク103等に記憶されているものとする。また、再構成アルゴリズムの選択や、再構成処理に関するパラメータは、ユーザーにより、あらかじめ、入力部106を介して設定され、主メモリ102、または、磁気ディスク103等に記憶されているものとする。
ここで、再構成処理部1002の処理手順として、まずステップS504において有効な音響波検出情報を抽出し、次いでステップS505で再構成処理を行うように説明した。しかし、あらかじめ再構成処理アルゴリズムやパラメータが決定されていれば、ステップS505に必要な音響波検出情報群を、ステップS504の有効な音響波検出情報として抽出するようにしても実施可能である。
ステップS506において、再構成処理部1002は、再構成処理で算出された値を注目点ごとの再構成画像として保存する。3次元の再構成画像をボリュームデータとして算出する場合は、算出された値をボクセル値として保存する。
ここで、本実施例では、再構成処理の算出値を再構成画像として説明した。しかし、ボリュームデータにボクセル値として格納される再構成処理により算出された情報は、必ずしも、一般的なビットマップのような画像データのように、表示装置の階調で、直接表示しうる値域の値でなくてもよい。再構成処理で算出された情報がボクセル空間に分布する値として格納され、表示処理で、表示装置の仕様に応じて適切なウインドウ処理を実施し、表示画像が表示されるような、再構成処理による算出値も含めて再構成画像としている。
ステップS507において、再構成処理部1002は、注目点ごとの音響波検出情報を保存する。保存される音響波検出情報は、注目点、ボリュームデータであれば、各ボクセルに関連づけられる保存方法であれば、どのような方法であってもよい。
ここで、音響波検出情報には、音響波信号計測部1100で取得した音響波検出情報は、音響波の検出位置情報と関連づけられた音響波信号や、例えば、音響波検出器の素子の特性や計測装置の音響特性等の音響波の取得条件に関する情報が含まれる。さらに光音響波の場合は、光音響波を生じさせた照明に関する条件、さらに、音響波検出器や光の照射等の制御に関する情報を含めることもできる。
ステップS508において、再構成処理部1002は、再構成領域内の注目点のうち、未処理の注目点の有無を判定する。未処理の注目点が存在する場合は、ステップS502からステップS507までの処理を繰り返し実行する。
ステップS508において、未処理の注目点が存在しない場合は、再構成処理部1002は、記録情報のファイルのクローズ等、再構成処理の終了に必要な処理を実行する。その後、画質判定部1003に音響波検出情報を送信して、本発明の実施例における再構成処理を終了する。
(画質判定と領域情報生成)
図4(b)は、本発明の実施例における画質の判定と判定結果に基づいた領域情報を生成する手順を示したフローチャートである。以下に、本実施例の判定処理について図4(b)のフローチャートを用いて説明する。
ステップS801は、本発明の実施例の再構成処理の終了後、画質判定部1003の音響波検出情報を画質判定部1003が取得した時から開始される。
ステップS801において、画質判定部1003は、再構成処理部1002から送られた音響波検出情報に関する情報と、あらかじめ、ユーザーに設定された画質判定設定情報に基づいて、画質の判定を行う。画質判定設定情報は、画質判定方法、および、再構成画像の画質判定の基準、または、段階を特定できる設定情報を指定する情報であればよい。特に、音響波検出情報をパラメータとして指定する場合は、どのような情報であっても設定できる。
判定方法の一例としては、3次元再構成画像のボリュームデータの各ボクセルの位置情報と音響波の検出素子の特性や位置情報から、素子の指向性の範囲で検出された有効な信号群が揃うボクセルであるか否かで画質を判定する方法がある。ボクセルごとの指向性の範囲に収まる音響波信号数と、各ボクセルと受信領域の位置関係から、受信領域上に指向性の範囲で検出可能な音響波信号数の最大数を算出する。ボクセルごとに再構成処理で使用した音響波信号数が、最大数であれば、画質の良い領域とみなす。本実施例では、この判定方法による画質の判定結果に基づいて表示する例を示す。この判定方法の場合の画質判定設定情報には、判定方法を指定する。
また、再構成画像を構成するボリュームデータの各ボクセル値の算出に用いた有効な音響波信号数に閾値と判定方法の識別情報を画質判定設定情報として設定し、画質判定部1003は、この閾値に基づいて、画質の良否を判定する方法も実施できる。
さらに、再構成画像における画素に生じるアーチファクトの偏りを問題にする場合は、各ボクセル値の算出に用いた音響波信号が対称性のある位置の音響波信号群か否かで判定してもよい。
ここで、一般的な音響波検出器の素子の特性から、受信領域より遠い位置であるほど、指向性の範囲で検出できる素子位置は増加し、有効な音響波検出信号数も増加する傾向がある。検出できる有効な音響波信号数としては、最大数であっても、再構成領域における
受信領域との相対的な位置によっては、画質に差が生じる。そのため、再構成領域内の各注目点と受信領域からの距離を閾値として上記の判定方法と併用してもよい。
また、ステップS801で説明した3次元再構成画像は、音響波信号計測部1100で音響波を計測した際の撮影領域に相当する。受信領域と再構成領域の各注目点との距離と同様、撮影領域の音響特性を考慮して、再構成領域内の各注目点の画質判定に適用してもよい。
これらの判定方法の判定結果は、良否の判定だけでなく段階を設けてもよいし、複数の基準を組み合わせた判定方法の場合は、複数の判定結果を列挙する方法でもよい。
なお、本発明の実施における画質判定設定情報の入力は、ユーザーが入力部106を介して、主メモリ102、または、磁気ディスク103に記憶されるものとする。
画質判定部1003は、判定された判定結果に、必要に応じて、画質判定の判定方法に関する情報を加えた情報を判定結果情報として、領域情報生成部1004に送信する。判定結果情報に含まれる各判定結果の位置に関する情報は個別のボクセルに関する位置情報を列挙する情報で実施できる。または、目的とする表示画像に対し、表示領域の精度が十分な場合は、画質のよい領域を含む数式に近似した情報に変換した情報のいずれでもよい。本実施例においては、各注目点における有効な音響波検出情報数の揃う画質の良いボクセル群の領域の境界面を近似した領域情報と、判定方法を識別するIDなどの情報を判定結果情報とする。
ここで、本実施例における領域情報について説明する。本実施例における画質のよい注目点は、図6の有効信号検出領域606に対応する注目点605のように、受信領域上で検出できる有効な音響波信号数が最大となるような注目点である。従って本実施例における画質のよい領域とは、このような画質のよい注目点605と同等な注目点からなる点群の占める領域となる。かかる点群が存在するのは、画像再構成領域内において、受信領域側が大きな四角錐台のような形状の領域となる。そのため、画質の良否の境界面は四角錐台の表面を示す式で近似することができる。
ステップS802において、領域情報生成部1004は、画質判定部1003から送られた判定結果情報に基づいて特性情報の精度の違いを示す精度情報として領域情報を生成する。本ステップで生成する領域情報は、判定結果情報に基づいて、特性情報の精度の違いを、再構成画像の領域を分割することで示す。ただし、領域情報としては、再構成処理部1002が生成した再構成画像に基づく情報を表示する際に、特性情報の精度の違いを識別可能にする情報であれば、どのような情報でもよい。
領域情報の例としては、例えば、再構成画像内の領域を点群や、多面体の頂点の情報で示すことができる。ボリュームデータであれば、点群や多面体の頂点を示すボクセルの位置情報が相当する。また、再構成画像内の領域を区切る数式や、ボクセルの位置情報をグループ化した情報や、位置情報の規則性のような情報であってもよい。これらの情報は判定結果情報に基づいて算出された値であるため、領域情報と判定結果情報の内容が関連づけられることもできる。例えば、再構成画像内を領域情報に基づいて分割した特定の領域の各点における判定結果を参照することができる。
さらに、領域情報は、必ずしも、判定結果情報と厳密に一致する情報でなくてもよい。再構成画像内の個々のボクセルの判定結果を忠実に反映させることは、必ずしも必要ない場合には、領域情報の精度は粗いものであっても構わない。例えば、再構成画像の解像度が高く、表示画像の解像度が低い場合には、ユーザーの識別の度合いは変わらないのに、
表示速度が低下するため、粗い精度の領域情報が必要となる場合がある。
粗い精度の領域情報を生成する方法の例としては、次のような方法がある。すなわち、判定結果情報と表示設定情報に基づいて、表示に必要程度の解像度相当の代表的な点のみを対象とする方法や、判定結果に基づいて分割された領域の境界に近似した境界線、または、境界面に関する数式などの情報で方法などである。なお、領域情報生成時に近似せずに、判定結果情報に含まれる分割された領域の境界面の情報をそのまま、領域情報としてもよい。
ここで、本発明の実施においては、領域情報の実体が、別のステップで生成された情報をそのまま利用する場合でも領域情報として扱う。すなわち、本発明の実施時に明確に領域情報を生成するステップがなくとも、画質判定部の判定結果に基づいて再構成画像内の領域を分割した領域に基づいた表示情報を生成するための領域に関する情報であれば、本発明の領域情報といえる。
本実施例においては、判定結果情報と、画質のよいボクセル群の境界に近似された境界面を示す式を領域情報とする。
領域情報生成部1004は、生成した領域情報を表示情報生成部1005に送信して、本実施例における画質判定処理を終了する。
(表示情報生成と表示手順)
図4(c)は、本実施例における表示情報生成部1005が表示情報を生成し、表示部1006が表示する表示手順を示したフローチャートである。表示情報生成部1005が領域情報を取得した時から開始される。
ステップS901において、表示情報生成部1005は、再構成処理部1002が生成した再構成画像と、画像判定部1003が生成した判定結果情報と、領域情報生成部1004が生成した領域情報に基づいて表示画像情報を生成する。
表示画像情報の例としては、再構成画像をMPR(Multi Planner Reconstruction)で表示するような場合の、再構成画像に、画質の良否により分割された領域の境界線を重畳表示する方法がある。この方法による本発明の情報表示方法における表示部の表示の一例について図7を用いて説明する。
図7は、本発明の表示情報を表示の一例として、表示部に表示された3次元の再構成画像を3断面表示するウインドウの一例を示した図である。表示ウインドウ701は、表示処理を実行するOSにより生成された表示ウインドウである。Axial画像表示領域702
、Coronal画像表示領域703、Sagittal画像表示領域704はそれぞれ、再構成画像のAxial断面、Coronal断面、Sagittal断面を表示する表示ウインドウ701上の表示領域の
例である。斜線の領域として表わされたAxial画像705、Coronal画像706、Sagittal画像707は、それぞれ、被検体の再構成画像のAxial断面、Coronal断面、Sagittal断面の各画像表示の例である。
そして、点線で表わされた境界線708が、本発明の実施例における表示情報に基づいて表示される、画質の良否を識別可能とする境界線表示の一例である。境界線は、表示情報生成時に表示する断面画像ごとに、断面画像の位置に応じて領域情報の境界面(四角錐台の表面を表す式)との交線により算出される。また、本実施例においては、表示画像上の境界線708に囲まれた領域として、画質のよい領域709を識別することができる。
なお、3つの断面図における各画像の表示位置や表示の向き、断面画像を決定する再構成画像内の位置は任意に変更できるため、必ずしも図7の位置や向きのとおりの表示でなくても本発明の実施には支障はない。
また、同じ領域情報に基づいて、境界線や境界面ではなく、領域ごとの色や濃度、透明度を変更して断面画像を表示するように表示情報を生成する方法もある。
ボリュームレンダリングにより表示画像を生成した場合には、ボリュームレンダリングの表示画像に投影される各ボクセルの値に領域情報で定まる領域が識別可能となるように反映させることもできる。一例としては、画質のよい領域のボクセル値と画質の悪い領域のボクセル値の透明度に差をつける方法や、色情報や濃度を異なる値にして、領域の相違の影響を反映させるような方法も実施できる。
さらに、3次元画像との重畳表示以外の方法で、画質の異なる領域を識別可能な表示情報として生成することもできる。例えば、再構成画像内の画質の良否に応じた領域の境界線や境界面を示す数式を表示するような表示情報としてもよい。また、再構成画像内の画質の良い領域、あるいは悪い領域、または、段階的な相違のある領域ごとに、平面や多角形の頂点の座標や点群の情報を表示することもできる。再構成画像内の特定の座標の点、または領域に対する、画質の判定結果に基づいたメッセージやテキストの情報を特性情報の精度の違いを識別可能な表示情報として生成してもよい。
表示情報生成部1005は、生成した表示情報を表示部1006に送信する。
ステップS902において、表示部1006は、表示情報に基づいた表示を行う。表示情報生成部がビットマップのような画像を生成した場合は、そのまま、ディスプレイに表示する。JPEG等の圧縮、または、符号化された画像データの場合は、解凍、および複合化して表示してもよい。
以上の手順により、図4(c)で示した本実施例の表示手順を終了する。
以上、説明した手順を実施する本発明の情報表示装置、または、情報表示方法により、再構成画像内における画質の異なる領域を識別可能な情報を表示することができる。
なお、本実施例では、音響波信号計測部1100の音響波検出情報取得手順では、情報処理部1000に音響波検出情報を送信した。しかしながら、音響波検出情報を記録可能なサーバ等の他の装置に送信してもよいし、音響波信号計測部1100が記憶部を設けて記録してもよい。
また、本実施例では、情報処理部1000において、音響波情報取得部1001が音響波信号計測部の計測後に音響波信号計測部1100から送信された音響波検出情報を取得する処理として説明した。しかしながら、音響波情報取得部1001は、音響波信号計測部以外のサーバ等の装置や、記憶されたファイルなどから音響波情報を取得しても、本発明の再構成処理以降の実施例を実施することができる。
さらに、本実施例では、再構成処理部1002が生成した再構成画像と音響波検出情報を画質判定部1003に送られる例として説明した。しかしながら、再構成画像と音響波検出情報を記憶装置に保存し、本実施例の表示手順の実施前に画質判定方法を指定して、画質の判定処理以降の処理を実施する手順で実施してもよい。この場合は、再構成処理は終了しているため、本発明の実施において、短い処理時間で、様々な画質判定方法を適用した表示情報の表示を行うことができる効果もある。
加えて、本実施例では、画質判定部1003が生成した判定結果情報、領域情報生成部
1004が生成した領域情報を記憶装置に保存しておく方法も実施できる。あらかじめ保存されていた判定結果情報を領域情報生成部1004が取得して以降の手順を実施する手順や、あらかじめ保存されていた領域情報を表示情報生成部1005が取得して表示情報を生成する手順であっても、同様に実施することができる。本発明の画質の異なる領域を識別可能な表示情報を表示するまでの処理時間が、さらに短縮される。また、情報処理部1000の必要な機能ブロックのみを具備したソフトウェアのような簡単な構成のソフトウェアでも実施可能となる、といった効果もある。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
1000:情報処理部,1001:音響波情報取得部,1002:再構成処理部,1003:画質判定部,1004:領域情報生成部,1005:表示情報生成部,1100:音響波信号計測部
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
本発明は、以下の構成を採用する。すなわち、
被検体における撮影領域の特性情報の精度を示す精度情報と、光が前記被検体に照射されることにより発生した前記撮影領域からの音響波に基づいて生成された前記撮影領域の特性情報とが対応付けられたデータをメモリから取得する取得手段と、
前記データを用いて、前記特性情報に当該特性情報に対応付けられた前記精度情報を付与した表示情報を表示手段に表示させる表示制御手段と、
を有することを特徴とする情報処理装置である。
本発明はまた、以下の構成を採用する。すなわち、
光が被検体に照射されることにより発生した音響波に基づいて生成された画像データと、当該画像データの画質を示す画質情報とが対応付けられたデータをメモリから取得する取得手段と、
前記データを用いて、前記画像データに当該画像データに対応付けられた前記画質情報を付与した表示情報を表示手段に表示させる表示制御手段と、
を有することを特徴とする情報処理装置である。
本発明はまた、以下の構成を採用する。すなわち、
被検体における撮影領域の特性情報の精度を示す精度情報と、光が前記被検体に照射されることにより発生した前記撮影領域からの音響波に基づいて生成された前記撮影領域の特性情報とが対応付けられたデータをメモリから取得し、
前記データを用いて、前記特性情報に当該特性情報に対応付けられた前記精度情報を付与した表示情報を表示手段に表示させる
ことを特徴とする情報処理方法である。
本発明はまた、以下の構成を採用する。すなわち、
光が被検体に照射されることにより発生した音響波に基づいて生成された画像データと、当該画像データの画質を示す画質情報とが対応付けられたデータをメモリから取得し、
前記データを用いて、前記画像データに当該画像データに対応付けられた前記画質情報を付与した表示情報を表示手段に表示させる
ことを特徴とする情報処理方法である。

Claims (17)

  1. 被検体内を伝播した音響波を検出した検出素子から出力される音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、
    前記音響波信号を用いて、被検体内の各注目点における特性情報を取得する特性情報取得部と、
    前記音響波の検出に関する条件である音響波検出情報を用いて複数の前記特性情報の精度の違いを示す情報を生成する精度情報生成部と、
    前記各注目点における特性情報と、前記精度の違いを示す情報と、を用いて前記複数の特性情報の精度の違いを識別可能な表示情報を生成し表示部に表示させる表示情報生成部と、
    を有することを特徴とする被検体情報取得装置。
  2. 前記音響波検出情報を用いて前記特性情報の精度を判定する判定部をさらに有し、
    前記精度情報生成部は、前記判定部での判定結果を用いて前記特性情報の精度の違いを示す情報を生成する
    ことを特徴とする請求項1に記載の被検体情報取得装置。
  3. 前記特性情報取得部は、前記被検体内部の注目点からの音響波に起因する音響波信号群を注目点ごとに抽出し、当該音響波信号群を用いて前記各注目点における特性情報を求める
    ことを特徴とする請求項1又は2に記載の被検体情報取得装置。
  4. 前記表示情報生成部は、前記精度の違いを示す情報に基づいて前記複数の特性情報からなる特性情報分布を複数の領域に分割することで前記複数の特性情報の精度の違いを識別可能な表示情報を生成する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の被検体情報取得装置。
  5. 前記表示情報生成部は、前記特性情報分布に前記複数の領域の境界線が重畳表示されるような前記表示情報の生成を行う
    ことを特徴とする請求項4に記載の被検体情報取得装置。
  6. 前記音響波検出情報には、前記検出素子の位置に関する情報が含まれる
    ことを特徴とする請求項1乃至5のいずれか1項に記載の被検体情報取得装置。
  7. 前記音響波検出情報には、前記検出素子の感度および指向性に関する情報がさらに含まれる
    ことを特徴とする請求項6に記載の被検体情報取得装置。
  8. 前記特性情報取得部は、前記音響波検出情報に基づいて、前記注目点ごとに、有効な音響波を検出しうる領域である有効音響波検出領域を算出し、当該有効音響波検出領域に含まれる検出素子の位置に関する情報を用いて前記音響波信号群を抽出する
    ことを特徴とする請求項3に記載の被検体情報取得装置。
  9. 被検体内の特性情報を表示する表示制御方法であって、
    被検体内を伝播した音響波を検出した検出素子から出力される音響波信号を用いて、被検体内の各注目点における特性情報を取得するステップと、
    前記音響波の検出に関する条件である音響波検出情報を用いて複数の前記特性情報の精度の違いを示す情報を生成する精度情報生成ステップと、
    前記各注目点における特性情報と、前記精度の違いを示す情報と、を用いて前記複数の
    特性情報の精度の違いを識別可能な表示情報を生成する表示情報生成ステップと、
    前記表示情報を表示させるステップと、
    を有することを特徴とする表示制御方法。
  10. 前記音響波検出情報を用いて前記特性情報の精度を判定する判定ステップをさらに有し、
    前記精度情報生成ステップでは、前記判定ステップにおける判定結果を用いて前記特性情報の精度の違いを示す情報を生成する
    ことを特徴とする請求項9に記載の表示制御方法。
  11. 前記取得するステップでは、前記被検体内部の注目点からの音響波に起因する音響波信号群を注目点ごとに抽出し、当該音響波信号群を用いて前記各注目点における特性情報を求める
    ことを特徴とする請求項9又は10に記載の表示制御方法。
  12. 前記表示情報生成ステップでは、前記精度の違いを示す情報に基づいて前記複数の特性情報からなる特性情報分布を複数の領域に分割することで前記複数の特性情報の精度の違いを識別可能な表示情報を生成する
    ことを特徴とする請求項9乃至11のいずれか1項に記載の表示制御方法。
  13. 前記表示情報生成ステップでは、前記特性情報分布に前記複数の領域の境界線が重畳表示されるような前記表示情報の生成を行う
    ことを特徴とする請求項12に記載の表示制御方法。
  14. 前記音響波検出情報には、前記検出素子の位置に関する情報が含まれる
    ことを特徴とする請求項9乃至13のいずれか1項に記載の表示制御方法。
  15. 前記音響波検出情報には、前記検出素子の感度および指向性に関する情報がさらに含まれる
    ことを特徴とする請求項14に記載の表示制御方法。
  16. 前記取得するステップでは、前記音響波検出情報に基づいて、前記注目点ごとに、有効な音響波を検出しうる領域である有効音響波検出領域を算出し、当該有効音響波検出領域に含まれる検出素子の位置に関する情報を用いて前記音響波信号群を抽出する
    ことを特徴とする請求項11に記載の表示制御方法。
  17. 請求項9乃至16のいずれか1項に記載の表示制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2018166949A 2018-09-06 2018-09-06 情報処理装置、情報処理方法およびプログラム Pending JP2018192309A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018166949A JP2018192309A (ja) 2018-09-06 2018-09-06 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018166949A JP2018192309A (ja) 2018-09-06 2018-09-06 情報処理装置、情報処理方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016246423A Division JP6400068B2 (ja) 2016-12-20 2016-12-20 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
JP2018192309A true JP2018192309A (ja) 2018-12-06

Family

ID=64571100

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018166949A Pending JP2018192309A (ja) 2018-09-06 2018-09-06 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2018192309A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112842264A (zh) * 2020-12-31 2021-05-28 哈尔滨工业大学(威海) 多模态成像中数字滤波方法、装置和多模态成像技术系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259604A (ja) * 2009-05-01 2010-11-18 Canon Inc 画像診断装置、画像診断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259604A (ja) * 2009-05-01 2010-11-18 Canon Inc 画像診断装置、画像診断方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112842264A (zh) * 2020-12-31 2021-05-28 哈尔滨工业大学(威海) 多模态成像中数字滤波方法、装置和多模态成像技术系统

Similar Documents

Publication Publication Date Title
JP6192297B2 (ja) 被検体情報取得装置、表示制御方法、およびプログラム
JP5917037B2 (ja) 被検体情報取得装置および被検体情報取得方法
JP5761935B2 (ja) 被検体情報取得装置、被検体情報取得方法および被検体情報取得プログラム
JP5496031B2 (ja) 音響波信号処理装置ならびにその制御方法および制御プログラム
JP5984547B2 (ja) 被検体情報取得装置およびその制御方法
JP6253323B2 (ja) 被検体情報取得装置およびその制御方法
JP5847454B2 (ja) 被検体情報取得装置、表示制御方法およびプログラム
US10064556B2 (en) Photoacoustic apparatus, signal processing method of photoacoustic apparatus, and program
JP2013255697A (ja) 被検体情報取得装置およびその制御方法
JP6742734B2 (ja) 被検体情報取得装置および信号処理方法
WO2018043193A1 (ja) 情報取得装置および信号処理方法
JP6072206B2 (ja) 被検体情報取得装置および表示方法
JP6234518B2 (ja) 情報処理装置および情報処理方法
JP2018192309A (ja) 情報処理装置、情報処理方法およびプログラム
JP6400068B2 (ja) 情報処理装置および情報処理方法
JP6645693B2 (ja) 被検体情報取得装置およびその制御方法
JP2017164222A (ja) 処理装置および処理方法
JP2018012027A (ja) 記録データのデータ構造
JP6625182B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7077384B2 (ja) 被検体情報取得装置
JP2022034766A (ja) 画像生成方法、画像生成プログラムおよび画像生成装置
JP2020171813A (ja) 被検体情報取得装置および信号処理方法
JP2019155004A (ja) 光音響装置および被検体情報取得方法
JP2017086173A (ja) 被検体情報取得装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181004

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190726

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191105