JP2018192309A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2018192309A JP2018192309A JP2018166949A JP2018166949A JP2018192309A JP 2018192309 A JP2018192309 A JP 2018192309A JP 2018166949 A JP2018166949 A JP 2018166949A JP 2018166949 A JP2018166949 A JP 2018166949A JP 2018192309 A JP2018192309 A JP 2018192309A
- Authority
- JP
- Japan
- Prior art keywords
- information
- acoustic wave
- display
- subject
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
このような光画像化技術の一つとして、Photoacoustic Tomography(PAT:光音響トモグラフィー)がある。光音響トモグラフィーとは、光音響効果により被検体内で伝播・拡散した光のエネルギーを吸収した生体組織から発生した音響波に基づき、被検体内部の光学特性値に関連した情報を可視化する技術である。光学特性値に関連した情報取得の一例としては、音響波を、被検体を取り囲む複数の個所で検出し、得られた信号を数学的に解析処理する方法がある。
ここで、rは位置、tは時間であり、p(r,t)は音圧の時間変化、p0(r)は初期音圧分布、cは音速である。δ(t)は光パルスの形状をあらわすデルタ関数である。
分布p0(r)を導き出すことであり、数学的には逆問題と呼ばれる。以下にPATの画像再構成手法で代表的に使われているUniversal Back Projection(UBP)法に関して
説明する。式(1)の光音響波動方程式を周波数空間上で解析することで、p0(r)を求める逆問題を正確に解くことができる。その結果を時間空間上で表したのがUBPである。最終的に以下のような式(2)が導かれる。
ここで、Ω0は任意の再構成ボクセル(あるいはフォーカス点)に対する全体の測定エリアS0の立体角である。
ここでb(r0,t)は投影データ、dΩ0は任意の観測点Pに対する検出器dS0の立体角である。この投影データを式(3)の積分に従って逆投影することで初期音圧分布p0(r)を得ることができる。
域は探触子の受信面の形状や配置された素子位置により、平面に限定されず、曲面においても同様に扱える。
本明細書における有効な音響波信号とは、探触子の素子の特性や感度により定まる実用的な値以上で検出された音響波に基づいた音響波信号のことである。一般的な超音波探触子では、素子の中心軸の音圧から1/2の音圧になる指向角で定まる円錐状の範囲に収まる音源からの音響波を有効とする。そのため、本発明の実施においてもこのような素子の指向性の範囲の音源による音響波を検出した場合に有効な音響波信号として説明する。ただし、指向角は、必ずしも、音圧が1/2になる角度に限定しなくてもよい。本明細書の説明においては、素子ごとの特性や感度から、素子ごとに有効とみなして定まる範囲を音源とする音響波の検出に基づいた音響波信号を有効な音響波信号とし、その場合の指向角により定まる範囲を素子の指向性の範囲として説明する。
前記特性情報の精度の違いを示す情報を生成する精度情報生成部と、前記各注目点における特性情報と、前記精度の違いを示す情報と、を用いて前記複数の特性情報の精度の違いを識別可能な表示情報を生成し表示部に表示させる表示情報生成部と、を有することを特徴とする被検体情報取得装置である。
ある。その際、特性情報分布を示す3次元再構成画像を生成する領域内の各点の特性情報の取得(再構成)に使用した音響波信号群の数や位置等の音響波検出情報を記録する。そして、音響波検出情報をもとに、各点における再構成画像の画質の優劣を判定する。そして、その判定結果に基づいた領域情報を認識できるようにして再構成画像と共に表示する。本発明において画質とは、取得された特性情報の精度を意味する。「特性情報の精度」は、取得した特性情報の全て、または、一部に基づいて、被検体内の所定の特徴に相関した特徴を持つ画像データを生成した場合に、その画像の特徴の特徴量と、被検体内の特徴の特徴量との相関の精度も含まれる。
図1は、本実施形態に係る光音響波診断装置の機能構成を示している。図1に示すように、本実施形態に係る光音響波診断装置は、情報処理部1000、音響波信号計測部1100によって構成されている。本発明の光音響波診断装置は、被検体内を伝播した音響波を受信して被検体内の特性情報を取得する被検体情報取得システムである。各機能ブロックを実施するための機器構成の例を図2、図3に示している。図2は、本実施形態に係る光音響波診断装置の情報処理部1000(被検体情報取得装置)を実施する機器構成の一例である。また、図3は、音響波信号計測部1100を実施する機器構成の一例である。
音響波信号計測部1100は、音響波検出器1105(図3)の各素子で検出された音響波検出情報を情報処理部1000に送信する。
ここで、音響波検出器1105は、例えば、超音波を検出する探触子である。また、音響波検出情報とは、音響波を受信した音響波検出器の検出素子から出力される受信信号(音響波信号)や、音響波検出器1105の受信面上に配置された素子の位置に関する情報や、感度、指向性に関する情報のような素子の情報が該当する。さらに、音響波取得の撮影パラメータや他の計測情報のような音響波信号取得時の条件に関わる情報も含まれる。光音響波診断装置では、音響波を発生させる光の光源の制御や、被検体を圧迫する場合の圧迫に関する情報も、音響波信号取得時の条件として取得する。
02や、磁気ディスク103(いずれも図2)に、あらかじめ記憶しておいて、画像再構成処理の実行時に利用してもよい。一方、撮影の度に動的に定まる情報は音響波検出情報の一部として、音響波信号計測部1100から情報処理部1000に送信する。
情報処理部1000は、音響波信号計測部1100から得られた音響波検出情報を用いて、3次元画像再構成処理を行う。また、生成された3次元再構成画像と音響波検出情報を生成し、本発明における判定結果情報と領域情報を生成する。さらに、これらを用いて表示情報を生成する。そして、判定結果を認識できるような形で、表示情報に基づいて再構成画像の表示を行うことで、画質の異なる領域を識別可能な表示を行う。つまり取得した特性情報の精度(被検体の特徴と画像上の特徴との相関の度合いを含む)の違いを識別可能な表示を行う。
図1において、情報処理部1000は、音響波情報取得部1001、再構成処理部1002、画質判定部1003、領域情報生成部1004、表示情報生成部1005、表示部1006によって構成される。
本実施例では、音響波信号計測部1100から送信された音響波検出情報を用いて画像再構成を行う手順で説明する。しかし、本発明の実施形態は、音響波情報取得部1001が音響波検出情報を取得する手段を限定せず実施可能である。必ずしも、音響波信号計測部1100を必要とせず、例えば、音響波信号計測部1100が送信するデータと同等の音響波検出情報をサーバ装置からネットワークを介して取得してもよい。また、音響波情報取得部1001内の記憶装置や記憶媒体から読み出して実施することも可能である。
ここで、再構成処理部1002の画像再構成処理は、解析解による3次元画像再構成であれば、タイムドメイン法であっても、フーリエドメイン法であっても本発明の第1の実施形態を適用することができる。
の操作指示で指定することも可能である。再構成処理で用いる情報の例としては、再構成処理のアルゴリズムの選択や、再構成処理で出力するボクセルの数、ピッチのような再構成処理のパラメータにあたる情報があげられる。
また、再構成処理部1002は、再構成処理に用いた音響波検出情報を生成する。
クトを抑制することができる。再構成領域内において、このような位置にある点の占める領域を画質の良い領域として判定することもできる。
再構成画像がボリュームデータである場合には、画質が同等であるボクセル群の識別子をグルーピングし、画質のレベルに対応づけた情報でもよい。また、境界付近にあるボクセルを特定する情報と区切られた領域の画質のレベルを示す情報であってもよい。
音響波信号計測部1100の機能は、I/F107を介して実現される。なお、上記各構成要素は共通バス108により互いに通信可能に接続されている。
図3は、音響波信号計測部1100の構成の一例を示す図である。
光源1101は、レーザーや発光ダイオード等のような被検体に照射する照射光の光源である。照射光には、被検体を構成する成分のうち特定の成分で吸収の度合いが強いと予想される波長の光を用いる。
図示のジェルや水などの音響インピーダンスマッチング剤を使用してもよい。
この音響波信号群を受信領域上の素子の位置ごとの音響波信号として扱うことにより、あたかも、同じ素子ピッチで、移動数倍の素子が配置されたサイズの音響波検出器のようにみなすことができる。
る3次元領域である。
次に、図4、図5のフローチャートを用いて、本発明の被検体情報取得装置である情報処理部が実行する具体的な表示制御方法の処理の手順を説明する。以下の実施形態では、音響波信号計測部1100で音響波を計測する。そして、情報処理部1000で計測した音響波に基づいた再構成画像の生成および画質判定を行い、領域情報、表示情報を生成し、再構成画像における断面画像と境界線を表示する表示制御方法の例について説明する。
図4(a)は、本発明の実施における音響波信号計測部1100が音響波を計測して、音響波信号と音響波検出情報を取得する手順をしたフローチャートである。本実施例では図3で示した光音響波計測装置で音響波と音響波検出情報を取得する例について説明する。しかし、本発明の適用は光音響波計測装置に限定されるものではない。音響波に基づいた情報を生成するために音響波を取得して音響波信号と音響波検出情報を取得できる装置であれば、どのような装置であっても適用することができる。
ステップS402において、被検体1107が放出した光音響波を音響波検出器1105で検出する。光音響波を検出すると、S403に進む。
ステップS403において、制御部1102は、撮影時のパラメータや音響波検出器1105の素子ごとに検出された音響波信号等を含む音響波検出情報を生成する。
を軽減するために、各照射時の音響波信号の平均値を音響波検出情報とするように、信号処理を加えた情報としてもよい。さらに、被検体に対する音響波検出器や素子の位置情報を受信した音響波信号に対応づける情報等も含めることができる。
図5は、情報処理部1000で音響波情報取得部1001が音響波検出情報を取得し、再構成処理部1002が、再構成処理に用いた音響波検出情報を記録しながら、音響波検出情報に基づいた再構成画像を生成する手順を示したフローチャートである。
ステップS501において、音響波情報取得部1001は音響波信号計測部1100から取得した音響波検出情報を主メモリ102、または、磁気ディスク103等の記憶装置に記憶し、再構成処理部1002が利用できるようにする。そして、再構成処理部1002に音響波検出情報、または、記憶したアドレスに関する情報を送信する。
ここで、注目点ごとに抽出される音響波信号群の数は、必ずしも、同数ではない。例えば、音響波検出器の全素子で検出された音響波信号群を用いることもあれば、一部の素子で検出された音響波信号群を抽出する場合もある。
数が異なる。
また、装置固有の条件で、有効な音響波信号を制限する場合もある。撮影可能な位置にある被検体であっても、装置の内壁、部品等の音響波特性に影響する要因が把握できる場合は、有効な音響波信号群を制限する場合もある。
さらに、画像再構成に要する処理時間の短縮のために、再構成処理に用いる音響波信号数をあえて少なくすることもある。
図4(b)は、本発明の実施例における画質の判定と判定結果に基づいた領域情報を生成する手順を示したフローチャートである。以下に、本実施例の判定処理について図4(b)のフローチャートを用いて説明する。
ステップS801において、画質判定部1003は、再構成処理部1002から送られた音響波検出情報に関する情報と、あらかじめ、ユーザーに設定された画質判定設定情報に基づいて、画質の判定を行う。画質判定設定情報は、画質判定方法、および、再構成画像の画質判定の基準、または、段階を特定できる設定情報を指定する情報であればよい。特に、音響波検出情報をパラメータとして指定する場合は、どのような情報であっても設定できる。
受信領域との相対的な位置によっては、画質に差が生じる。そのため、再構成領域内の各注目点と受信領域からの距離を閾値として上記の判定方法と併用してもよい。
表示速度が低下するため、粗い精度の領域情報が必要となる場合がある。
図4(c)は、本実施例における表示情報生成部1005が表示情報を生成し、表示部1006が表示する表示手順を示したフローチャートである。表示情報生成部1005が領域情報を取得した時から開始される。
、Coronal画像表示領域703、Sagittal画像表示領域704はそれぞれ、再構成画像のAxial断面、Coronal断面、Sagittal断面を表示する表示ウインドウ701上の表示領域の
例である。斜線の領域として表わされたAxial画像705、Coronal画像706、Sagittal画像707は、それぞれ、被検体の再構成画像のAxial断面、Coronal断面、Sagittal断面の各画像表示の例である。
また、同じ領域情報に基づいて、境界線や境界面ではなく、領域ごとの色や濃度、透明度を変更して断面画像を表示するように表示情報を生成する方法もある。
以上、説明した手順を実施する本発明の情報表示装置、または、情報表示方法により、再構成画像内における画質の異なる領域を識別可能な情報を表示することができる。
1004が生成した領域情報を記憶装置に保存しておく方法も実施できる。あらかじめ保存されていた判定結果情報を領域情報生成部1004が取得して以降の手順を実施する手順や、あらかじめ保存されていた領域情報を表示情報生成部1005が取得して表示情報を生成する手順であっても、同様に実施することができる。本発明の画質の異なる領域を識別可能な表示情報を表示するまでの処理時間が、さらに短縮される。また、情報処理部1000の必要な機能ブロックのみを具備したソフトウェアのような簡単な構成のソフトウェアでも実施可能となる、といった効果もある。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した各実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
被検体における撮影領域の特性情報の精度を示す精度情報と、光が前記被検体に照射されることにより発生した前記撮影領域からの音響波に基づいて生成された前記撮影領域の特性情報とが対応付けられたデータをメモリから取得する取得手段と、
前記データを用いて、前記特性情報に当該特性情報に対応付けられた前記精度情報を付与した表示情報を表示手段に表示させる表示制御手段と、
を有することを特徴とする情報処理装置である。
本発明はまた、以下の構成を採用する。すなわち、
光が被検体に照射されることにより発生した音響波に基づいて生成された画像データと、当該画像データの画質を示す画質情報とが対応付けられたデータをメモリから取得する取得手段と、
前記データを用いて、前記画像データに当該画像データに対応付けられた前記画質情報を付与した表示情報を表示手段に表示させる表示制御手段と、
を有することを特徴とする情報処理装置である。
本発明はまた、以下の構成を採用する。すなわち、
被検体における撮影領域の特性情報の精度を示す精度情報と、光が前記被検体に照射されることにより発生した前記撮影領域からの音響波に基づいて生成された前記撮影領域の特性情報とが対応付けられたデータをメモリから取得し、
前記データを用いて、前記特性情報に当該特性情報に対応付けられた前記精度情報を付与した表示情報を表示手段に表示させる
ことを特徴とする情報処理方法である。
本発明はまた、以下の構成を採用する。すなわち、
光が被検体に照射されることにより発生した音響波に基づいて生成された画像データと、当該画像データの画質を示す画質情報とが対応付けられたデータをメモリから取得し、
前記データを用いて、前記画像データに当該画像データに対応付けられた前記画質情報を付与した表示情報を表示手段に表示させる
ことを特徴とする情報処理方法である。
Claims (17)
- 被検体内を伝播した音響波を検出した検出素子から出力される音響波信号を用いて被検体内の特性情報を取得する被検体情報取得装置であって、
前記音響波信号を用いて、被検体内の各注目点における特性情報を取得する特性情報取得部と、
前記音響波の検出に関する条件である音響波検出情報を用いて複数の前記特性情報の精度の違いを示す情報を生成する精度情報生成部と、
前記各注目点における特性情報と、前記精度の違いを示す情報と、を用いて前記複数の特性情報の精度の違いを識別可能な表示情報を生成し表示部に表示させる表示情報生成部と、
を有することを特徴とする被検体情報取得装置。 - 前記音響波検出情報を用いて前記特性情報の精度を判定する判定部をさらに有し、
前記精度情報生成部は、前記判定部での判定結果を用いて前記特性情報の精度の違いを示す情報を生成する
ことを特徴とする請求項1に記載の被検体情報取得装置。 - 前記特性情報取得部は、前記被検体内部の注目点からの音響波に起因する音響波信号群を注目点ごとに抽出し、当該音響波信号群を用いて前記各注目点における特性情報を求める
ことを特徴とする請求項1又は2に記載の被検体情報取得装置。 - 前記表示情報生成部は、前記精度の違いを示す情報に基づいて前記複数の特性情報からなる特性情報分布を複数の領域に分割することで前記複数の特性情報の精度の違いを識別可能な表示情報を生成する
ことを特徴とする請求項1乃至3のいずれか1項に記載の被検体情報取得装置。 - 前記表示情報生成部は、前記特性情報分布に前記複数の領域の境界線が重畳表示されるような前記表示情報の生成を行う
ことを特徴とする請求項4に記載の被検体情報取得装置。 - 前記音響波検出情報には、前記検出素子の位置に関する情報が含まれる
ことを特徴とする請求項1乃至5のいずれか1項に記載の被検体情報取得装置。 - 前記音響波検出情報には、前記検出素子の感度および指向性に関する情報がさらに含まれる
ことを特徴とする請求項6に記載の被検体情報取得装置。 - 前記特性情報取得部は、前記音響波検出情報に基づいて、前記注目点ごとに、有効な音響波を検出しうる領域である有効音響波検出領域を算出し、当該有効音響波検出領域に含まれる検出素子の位置に関する情報を用いて前記音響波信号群を抽出する
ことを特徴とする請求項3に記載の被検体情報取得装置。 - 被検体内の特性情報を表示する表示制御方法であって、
被検体内を伝播した音響波を検出した検出素子から出力される音響波信号を用いて、被検体内の各注目点における特性情報を取得するステップと、
前記音響波の検出に関する条件である音響波検出情報を用いて複数の前記特性情報の精度の違いを示す情報を生成する精度情報生成ステップと、
前記各注目点における特性情報と、前記精度の違いを示す情報と、を用いて前記複数の
特性情報の精度の違いを識別可能な表示情報を生成する表示情報生成ステップと、
前記表示情報を表示させるステップと、
を有することを特徴とする表示制御方法。 - 前記音響波検出情報を用いて前記特性情報の精度を判定する判定ステップをさらに有し、
前記精度情報生成ステップでは、前記判定ステップにおける判定結果を用いて前記特性情報の精度の違いを示す情報を生成する
ことを特徴とする請求項9に記載の表示制御方法。 - 前記取得するステップでは、前記被検体内部の注目点からの音響波に起因する音響波信号群を注目点ごとに抽出し、当該音響波信号群を用いて前記各注目点における特性情報を求める
ことを特徴とする請求項9又は10に記載の表示制御方法。 - 前記表示情報生成ステップでは、前記精度の違いを示す情報に基づいて前記複数の特性情報からなる特性情報分布を複数の領域に分割することで前記複数の特性情報の精度の違いを識別可能な表示情報を生成する
ことを特徴とする請求項9乃至11のいずれか1項に記載の表示制御方法。 - 前記表示情報生成ステップでは、前記特性情報分布に前記複数の領域の境界線が重畳表示されるような前記表示情報の生成を行う
ことを特徴とする請求項12に記載の表示制御方法。 - 前記音響波検出情報には、前記検出素子の位置に関する情報が含まれる
ことを特徴とする請求項9乃至13のいずれか1項に記載の表示制御方法。 - 前記音響波検出情報には、前記検出素子の感度および指向性に関する情報がさらに含まれる
ことを特徴とする請求項14に記載の表示制御方法。 - 前記取得するステップでは、前記音響波検出情報に基づいて、前記注目点ごとに、有効な音響波を検出しうる領域である有効音響波検出領域を算出し、当該有効音響波検出領域に含まれる検出素子の位置に関する情報を用いて前記音響波信号群を抽出する
ことを特徴とする請求項11に記載の表示制御方法。 - 請求項9乃至16のいずれか1項に記載の表示制御方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018166949A JP2018192309A (ja) | 2018-09-06 | 2018-09-06 | 情報処理装置、情報処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018166949A JP2018192309A (ja) | 2018-09-06 | 2018-09-06 | 情報処理装置、情報処理方法およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016246423A Division JP6400068B2 (ja) | 2016-12-20 | 2016-12-20 | 情報処理装置および情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018192309A true JP2018192309A (ja) | 2018-12-06 |
Family
ID=64571100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018166949A Pending JP2018192309A (ja) | 2018-09-06 | 2018-09-06 | 情報処理装置、情報処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018192309A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112842264A (zh) * | 2020-12-31 | 2021-05-28 | 哈尔滨工业大学(威海) | 多模态成像中数字滤波方法、装置和多模态成像技术系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010259604A (ja) * | 2009-05-01 | 2010-11-18 | Canon Inc | 画像診断装置、画像診断方法 |
-
2018
- 2018-09-06 JP JP2018166949A patent/JP2018192309A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010259604A (ja) * | 2009-05-01 | 2010-11-18 | Canon Inc | 画像診断装置、画像診断方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112842264A (zh) * | 2020-12-31 | 2021-05-28 | 哈尔滨工业大学(威海) | 多模态成像中数字滤波方法、装置和多模态成像技术系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6192297B2 (ja) | 被検体情報取得装置、表示制御方法、およびプログラム | |
JP5917037B2 (ja) | 被検体情報取得装置および被検体情報取得方法 | |
JP5761935B2 (ja) | 被検体情報取得装置、被検体情報取得方法および被検体情報取得プログラム | |
JP5496031B2 (ja) | 音響波信号処理装置ならびにその制御方法および制御プログラム | |
JP5984547B2 (ja) | 被検体情報取得装置およびその制御方法 | |
JP6253323B2 (ja) | 被検体情報取得装置およびその制御方法 | |
JP5847454B2 (ja) | 被検体情報取得装置、表示制御方法およびプログラム | |
US10064556B2 (en) | Photoacoustic apparatus, signal processing method of photoacoustic apparatus, and program | |
JP2013255697A (ja) | 被検体情報取得装置およびその制御方法 | |
JP6742734B2 (ja) | 被検体情報取得装置および信号処理方法 | |
WO2018043193A1 (ja) | 情報取得装置および信号処理方法 | |
JP6072206B2 (ja) | 被検体情報取得装置および表示方法 | |
JP6234518B2 (ja) | 情報処理装置および情報処理方法 | |
JP2018192309A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6400068B2 (ja) | 情報処理装置および情報処理方法 | |
JP6645693B2 (ja) | 被検体情報取得装置およびその制御方法 | |
JP2017164222A (ja) | 処理装置および処理方法 | |
JP2018012027A (ja) | 記録データのデータ構造 | |
JP6625182B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7077384B2 (ja) | 被検体情報取得装置 | |
JP2022034766A (ja) | 画像生成方法、画像生成プログラムおよび画像生成装置 | |
JP2020171813A (ja) | 被検体情報取得装置および信号処理方法 | |
JP2019155004A (ja) | 光音響装置および被検体情報取得方法 | |
JP2017086173A (ja) | 被検体情報取得装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181004 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181004 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190726 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191105 |