JP2016135232A - 超音波画像の処理方法及び超音波画像の処理装置 - Google Patents

超音波画像の処理方法及び超音波画像の処理装置 Download PDF

Info

Publication number
JP2016135232A
JP2016135232A JP2015226187A JP2015226187A JP2016135232A JP 2016135232 A JP2016135232 A JP 2016135232A JP 2015226187 A JP2015226187 A JP 2015226187A JP 2015226187 A JP2015226187 A JP 2015226187A JP 2016135232 A JP2016135232 A JP 2016135232A
Authority
JP
Japan
Prior art keywords
image
tissue
ultrasonic image
ultrasonic
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015226187A
Other languages
English (en)
Other versions
JP6560597B2 (ja
Inventor
ナヴニース・スブラマニアン
Subramanian Navneeth
ハスナイン・ハック
Hasnine Haque
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Publication of JP2016135232A publication Critical patent/JP2016135232A/ja
Application granted granted Critical
Publication of JP6560597B2 publication Critical patent/JP6560597B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】超音波画像にアーティファクトを含んでいても、操作者が何もインプットすることなく、画像上の血管を鮮明に観察することができる装置を提供する。【解決手段】入力された超音波画像からヘシアン行列を用いて線状組織及び板状組織を特定する段階S12と、特定された線状組織に対して固有値分解して線状組織の局所の方向及び形状を特定する段階S13と、特定された板状組織に対して板状組織と合致する面を超音波画像上でフィッティングする段階S14と、フィッティングされた面を基準として当該基準から一方の領域側の非関心部位を超音波画像から取り除く段階S15とを備える超音波画像の処理方法である。【選択図】図2

Description

本発明は、超音波画像において鮮明に血管領域を検出する技術に関する。
血管は、腹部イメージング、特に肝臓などの変形する臓器のイメージングにおいて、非常に重要な生体ランドマークの一つである。そして、超音波診断装置による血管の画像化には2つの大きな課題がある。第一に、超音波診断装置による血管構造の視認性は、血管構造の体内での深さに伴って悪くなることがある。そのため、末梢血管が体内の深い位置に存在する場合、血管の視認性向上のため撮像パラメータの最適化が必要となる。第二に、血管近くの構造又は嚢胞からのシャドウアーティファクトのエコー強度が血管からのエコー強度と似ていることがあり、これが識別力の低下につながっている。
例えば、特許文献1には、超音波画像において、血管が体内深くに存在する場合に血管の位置及び配向を追尾する方法が開示されている。
特表2003−523250
しかしながら、特許文献1の方法では、操作者がまず検査される血流上にレンジ・ゲートを配置しなければならないという不便さがあった。また特許文献1には、血管の分岐部の特定については何ら開示されていない。
このような事情により、超音波画像に固有のスペックルノイズ、低コントラスト及びシャドウアーティファクトを含んでいても、操作者が何もインプットすることなく、画像上の血管及び血管の分岐部を鮮明に観察することができる技術が望まれている。
第1の観点の超音波画像の処理方法は、入力された超音波画像においてヘシアン行列を用いて線状組織及び板状組織を特定する段階と、特定された線状組織に対して固有値分解して線状組織の局所の方向及び形状を特定する段階と、特定された板状組織に対して板状組織と合致する面を超音波画像上でフィッティングする段階と、フィッティングされた面を基準として当該基準から一方の領域側の非関心部位を超音波画像から取り除く段階と、を備える。
上記の超音波画像の処理方法は、局所の方向及び形状が特定された線状組織を表す画像と非関心部位が取り除かれた画像とを合成する段階をさらに備えてもよい。
第2の観点の超音波画像の処理装置は、入力された超音波画像においてヘシアン行列を用いて線状組織及び板状組織を特定する第1の特定部と、特定された線状組織に対して固有値分解して線状組織の局所の方向及び形状を特定する第2の特定部と、特定された板状組織に対して板状組織と合致する面を超音波画像上でフィッティングする面フィッティング部と、フィッティングされた面を基準として該基準から一方の領域側の非関心部位を超音波画像から取り除く除去部と、を備える。
上記の超音波画像の処理装置は、局所の方向及び形状が特定された線状組織を表す画像と非関心部位が取り除かれた画像とを合成する合成部をさらに備えてもよい。
上記超音波画像の処理装置は、例えば、コンピュータに所定のプログラムを実行させることにより実現させることができる。
なお、上記超音波画像は、Bモード画像が好ましい。
また、上記線状組織は、例えば血管であり、上記板状組織は、例えば横隔膜である。
また、上記フィッティングには、例えばRANSAC(Random Sample Consensus)法を用いることができる。
また、上記非関心部位は、フィッティングされた面を基準として肝臓とは反対側の領域の部位である。
本発明によれば、操作者の入力が無くても、超音波画像で血管を特定できるようにし、血管セグメンテーション(segmentation)を実行できる。また本発明は、超音波画像の各ピクセルまたはボクセルに対してヘシアン行列の値を分析し、血管及び横隔膜を特定する。そして、横隔膜の位置を基準にして関心部位(肝臓等)以外の非関心部位を除去することができる。これにより、操作者は、不要な部位のシャドウアーティファクト又はスペックルノイズ等の影響を受けること無く、鮮明な血管を観察することができる。
本実施形態に係る超音波診断システムの構成を示す概略図である。 本実施形態に係る超音波画像処理のフローチャートである。 (a)は、線状組織物の固有値を説明するための図、(b)は板状組織物の固有値を説明するための図である。 固有値分解して得られた血管候補画像である。 RANSAC法を用いた面フィッティングの概念を示す図である。 (a)はBモード画像に示される推定パラメータepによる平面を描いた図、(b)は当該平面を基準に肝臓とは反対側の部位及び横隔膜を除去した図である。 合成された三次元超音波画像3Dと任意断面の画像とを示した図である。
以下、発明の実施形態について説明する。
図1は、超音波診断システム100の構成を示す概略図である。本実施形態に用いられる超音波診断システム100は、超音波プローブ11、送信部21、受信部22及びビームフォーマー(beam former)23、画像処理部30及びモニタ42を含む。
超音波プローブ11は、多数の変換素子で構成された超音波変換器アレイを備え、被検体に超音波を送信し且つその超音波のエコーを受信する。送信部21はビームフォーマー23で形成された伝送信号を超音波測定部10の超音波プローブ11に供給し、受信部22は超音波プローブ11から伝達された信号を受信してビームフォーマー23に伝達する。ビームフォーマー23は送信ビーム及び受信ビームを形成する。
画像処理部30は、ビームフォーマー23を経由して受信したエコー信号を画像処理する。そしてモニタ42は、この画像処理部30で処理された超音波画像を表示する。また、画像処理部30は、コンピュータのCPU、メモリ、メモリに記憶されたプログラムによって実現される。
画像処理部30は、Bモード処理部31、血管・横隔膜の特定部32、血管局所の方向&形状特定部33、横隔膜の面フィッティング部35、不要部位除去部37及び合成・再構成部39を有する。
Bモード処理部31は、ビームフォーマー23から入力された受信ビームを受けてBモード画像に画像処理する。管及び板特定部である血管・横隔膜の特定部32は、ヘシアン行列を用いてBモード画像上の各構造物を線状組織物、又は板状組織物に分類し、線状組織物を血管として特定し、板状組織物を横隔膜として特定する。
管の局所の方向及び形状特定部、つまり血管局所の方向&形状特定部33は、特定された血管を固有値分解(Eigen Decomposition)し、局所的に血管の方向を特定するとともに、局所的な血管の形状を特定しそれを強調した血管候補画像を作成する。これにより血管に分岐部があるとその分岐部が明確になり且つ太い血管はより太く強調される。
横隔膜の面フィッティング部35は、RANSAC法を使って、特定された横隔膜すなわち肝臓と横隔膜との境界に面をフィッティングする。肝臓の一部は横隔膜と接している。
なお、ここでは、特定された横隔膜に対して平面をフィッティングする。
不要部位除去部37は、フィッティングされた面を基準にして、関心のない不要な部位の画像を除去する。本実施形態では、肝臓周辺の血管をモニタ42で観察しやすくするため、肝臓と横隔膜との境界を基準として肝臓とは反対側の領域及び境界面に近い領域の画像を除去(又は輝度を低減)する。
合成・再構成部39は、血管局所の方向&形状特定部33で明確にされた血管を表す画像と、不要部位除去部37で不要な部位が除去された画像とを合成する。また合成・再構成部39は、三次元超音波による任意断面表示を行うとともに、血管を色付けしたりする。
以上説明したように、本実施形態は、Bモード画像の各ピクセルを画像処理して血管の形態的特徴を強調して画像化し、この時、関心のない不要な部位を効果的に除去しながら血管の三次元超音波画像を改善する。なお、本実施形態は、Bモード画像だけでなく、Aモード画像、Mモード画像等にも適用できる。
次に、本実施形態に係る超音波診断システム100による超音波画像処理のフローについて説明する。
図2は、本実施形態に係る超音波画像処理によるフローチャートである。また、図3(a)は線状組織物の固有値を説明するための図、図3(b)は板状組織物の固有値を説明するための図である。
ステップS11において、Bモード処理部31はエコー信号からBモード画像を作成する。例えば、肝臓領域の超音波画像である。
ステップS12では、血管・横隔膜の特定部32が、Bモード画像の各ピクセル(又はボクセル)に対してヘシアン行列(Hessian matrix)を用いて、線状組織(管)及び板状組織(板)を特定する。ピクセル(又はボクセル空間)を関数I(x,y,z)とみなしたとき、ヘシアン行列は各方向の2階偏微分を要素として持つ数式1及び数式2で表わされる。


…数式1

…数式2
ヘシアン行列からは3つの固有値λ,λ,λが得られる。ここで、固有値に対応する固有ベクトルe1,e2,e3は互いに直交する。
線状組織(管)は、図3(a)に示されるように、3つの固有値うち2つの固有値の値が大きく、1つの固有値の値が0に近いという特徴を持つ。
このため、線状組織は以下の数式3を満たす。
|λ1|≧|λ2|≧|λ3|
|λ3|≒0 …数式3
本実施形態では、このような固有値|λ3|に対応した固有ベクトルe3を有する線状組織(管)を血管とみなす。つまり血管は、走行方向には値が小さい固有ベクトルe3を有し、断面方向には値が大きい固有ベクトルe1,e2を有する。
板状組織(板)は、図3(b)に示されるように、3つの固有値のうち1つの固有値の値が大きく、2つの固有値が0に近いという特徴を持つ。このため、板状組織は以下の数式4を満たす。
|λ1| ≫ 0
|λ2|≒|λ3|≒0 …数式4
本実施形態では、このような固有値|λ2|及び|λ3|に対応した固有ベクトルe2及びe3を有する板状組織(板)を横隔膜とみなす。つまり横隔膜は、膜の厚さ方向には値が大きい固有ベクトルe1を有し、広がり方向には値が小さい固有ベクトルe2,e3を有する。
図2のステップS13では、血管局所の方向&形状特定部33が、特定された血管を固有値分解する。血管局所の方向&形状特定部33は、まず、ヘシアン行列を固有値分解し、3つの固有値λ1,λ2,λ3(ただし、|λ1|≧|λ2|≧|λ3|とする)を算出する。そして、局所的に血管の方向を特定するとともに、局所的な血管の形状を特定する。具体的には、血管局所の方向&形状特定部33は、下記の数式5から数式8において、固有値λ1,λ2,λ3を使用し、これにより算出した値Ra,Rb及びSを用いて3次元超音波画像の各画素における血管構造L0の方向及び大きさ(Ra,Rb及びS)を算出する。
…数式5
…数式6
…数式7
…数式8
なお、数式5におけるa〜cは定数である。
これら数式5から数式8の結果を超音波画像に適用すると、血管に分岐部があるとその分岐部が明確になり、且つ太い血管はより太く強調される超音波画像が得られる。図4は、上記数式5から数式8を適用した場合の血管候補画像を示している。
ステップS14において、面フィッティング部35は、ステップS12で特定された横隔膜すなわち肝臓と横隔膜との境界に、平面をフィッティングする。
ここでは、RANSAC法を用いて以下に示すステップを実行することにより、面フィッティングを行う。
S141: 特定された横隔膜を表す画像の総ピクセルデータから、ランダムでn個のピクセルデータpを取り出す。
S142: 取り出したn個のピクセルデータpから、平面を規定するパラメータを求める。パラメータは、例えば最小二乗法等により求めることができる。
S143: 求めたパラメータを、上記総ピクセルデータからS141で取り出したn個のピクセルデータを除いたものに、求めたパラメータによる平面の式を当てはめ、観測されたデータとステップS142で求めたパラメータの誤差を計算する。
S144: 誤差が許容範囲内であれば、そのパラメータに投票する。
S145: S141〜S144を複数回繰り返す。そして、投票数が一番多かったパラメータをひとまず採用する。これを仮パラメータhpと呼ぶことにする。図5は、ステップS141からステップS145が実施された場合に、仮パラメータhpを決めた概念図である。仮パラメータhpの近くの破線は、RANSAC法で設定される境界条件で、許容範囲を示す。
S146: 仮パラメータhpを使って、総ピクセルデータに再度式を適用し、誤差が許容範囲内のものを抽出する。
S147: 抽出したデータを基に、再度パラメータを求める。
S148: S147で求めたパラメータをもっともらしいパラメータとして決定する。このパラメータを推定パラメータepと呼ぶことにする。
ステップS148で決められた推定パラメータepによる平面をBモード画像に当てはめると、図6(a)に示すようになる。例えば、x軸,y軸,z軸からなる三次元のBモード画像に当てはめると、この推定パラメータepは、Ax+By+Cz+D=0で表現できる平面の式における係数A,B,C,Dとなる。
再び図2に戻り、ステップS15において、不要部位除去部37は、肝臓及びその肝臓周辺の血管の観察に不要な部位を除去(又は輝度を低減)する。
図6(b)は、ステップS14でフィッティングされた、肝臓と横隔膜との境界に対応する面を基準に、肝臓と反対側の部位及び横隔膜を除去した図である。この境界に対応する面を基準に、肝臓と反対側の画像は血管も含めて除去される。
三次元のBモード画像では、肝臓が推定パラメータepによる平面より上側にある。このためステップS15において、不要部位除去部37は、Ax+By+Cz+D<0の領域を除去することになる。
ステップS16において、合成・再構成部39は、ステップS13で明確にかつ強調された血管の画像と、ステップS15で不要な部位が除去された画像とを合成する。
ステップS17において、合成・再構成部39は、合成された三次元超音波画像を画像再構成して、操作者が観察したい任意断面を表示する。また、合成・再構成部39は、操作者が観察したい血管を容易に区別できるように色付けしたりする。
図7は、合成された三次元超音波画像3Dと任意断面の画像とを示した図である。図7の右下の図が三次元超音波画像3Dであり、その画像にA面、B面及びC面が重ねて表示されている。図7の右上の図が超音波画像のA面の断面画像であり、左上の図がB面の断面画像であり、左下の図がC面の断面画像である。また図7では、血管は色付けされている。
なお、発明は本実施形態に限定されず、発明の趣旨を逸脱しない範囲において、種々の実施形態が考えられる。例えば、ヘシアン行列からは、線状組織及び板状組織以外にも、点状組織を特定することが可能であるため、さらに点状組織を特定してもよい。
11 超音波プローブ
21 送信部
22 受信部
23 ビームフォーマー
30 画像処理部
31 Bモード処理部
32 血管・横隔膜の特定部
33 血管局所の方向&形状特定部
35 横隔膜の面フィッティング部
37 不要部位除去部
39 合成・再構成部
42 モニタ
100 超音波診断システム

Claims (9)

  1. 入力された超音波画像においてヘシアン行列を用いて線状組織及び板状組織を特定する段階と、
    特定された前記線状組織に対して固有値分解して前記線状組織の局所の方向及び形状を特定する段階と、
    特定された前記板状組織に対して前記板状組織と合致する面を前記超音波画像上でフィッティングする段階と、
    前記フィッティングされた面を基準として該基準から一方の領域側の非関心部位を前記超音波画像から取り除く段階と、を備える超音波画像の処理方法。
  2. 前記超音波画像は、Bモード画像であり、
    前記非関心部位は、前記フィッティングされた面を基準として肝臓とは反対側の領域の部位である、請求項1に記載の超音波画像の処理方法。
  3. 前記フィッティングする段階は、RANSAC法により前記面を前記超音波画像上でフィッティングする、請求項1又は請求項2に記載の超音波画像の処理方法。
  4. 局所の方向及び形状が特定された前記線状組織を表す画像と前記非関心部位が取り除かれた画像とを合成する段階を備える、請求項1から請求項3のいずれか一項に記載の超音波画像の処理方法。
  5. 入力された超音波画像においてヘシアン行列を用いて線状組織及び板状組織を特定する第1の特定部と、
    特定された前記線状組織に対して固有値分解して前記線状組織の局所の方向及び形状を特定する第2の特定部と、
    前記板状組織に対して前記板状組織と合致する面を前記超音波画像上でフィッティングする面フィッティング部と、
    前記フィッティングされた面を基準として該基準から一方の領域側の部位を前記超音波画像から取り除く除去部と、を備える超音波画像の処理装置。
  6. 前記超音波画像は、Bモード画像であり、
    前記不要な部位は、前記フィッティングされた面を基準として、肝臓と反対側の部位である請求項5に記載の超音波画像の処理装置。
  7. 前記面フィッティング部は、RANSAC法により前記面を前記超音波画像上でフィッティングする、請求項5又は請求項6に記載の超音波画像の処理装置。
  8. 局所の方向及び形状が特定された前記線状組織を表す画像と前記非関心部位が取り除かれた画像とを合成する合成部を備える、請求項5から請求項7のいずれか一項に記載の超音波画像の処理装置。
  9. コンピュータを、請求項5から請求項8のいずれか一項に記載の超音波画像の処理装置として機能させるためのプログラム。
JP2015226187A 2014-11-28 2015-11-19 超音波画像の処理方法及び超音波画像の処理装置 Active JP6560597B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN5964/CHE/2014 2014-11-28
IN5964CH2014 2014-11-28

Publications (2)

Publication Number Publication Date
JP2016135232A true JP2016135232A (ja) 2016-07-28
JP6560597B2 JP6560597B2 (ja) 2019-08-14

Family

ID=56512816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015226187A Active JP6560597B2 (ja) 2014-11-28 2015-11-19 超音波画像の処理方法及び超音波画像の処理装置

Country Status (1)

Country Link
JP (1) JP6560597B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009291618A (ja) * 2008-06-05 2009-12-17 Medison Co Ltd 超音波−ct映像整合のための3次元超音波肝臓映像の解剖学的特徴を抽出するシステム及び方法
JP2011031042A (ja) * 2009-07-31 2011-02-17 Medison Co Ltd 超音波システムおよびセンサ座標校正方法
JP2011206531A (ja) * 2010-03-11 2011-10-20 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2012075702A (ja) * 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
WO2013107649A1 (en) * 2012-01-19 2013-07-25 Carl Zeiss Meditec Ag Systems and methods for enhanced accuracy in oct imaging of the cornea
JP2013192569A (ja) * 2012-03-15 2013-09-30 Fujifilm Corp 画像処理装置、方法及びプログラム
WO2014175853A1 (en) * 2013-03-12 2014-10-30 Lightlab Imaging, Inc. Vascular data processing and image registration systems, methods, and apparatuses

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009291618A (ja) * 2008-06-05 2009-12-17 Medison Co Ltd 超音波−ct映像整合のための3次元超音波肝臓映像の解剖学的特徴を抽出するシステム及び方法
JP2011031042A (ja) * 2009-07-31 2011-02-17 Medison Co Ltd 超音波システムおよびセンサ座標校正方法
JP2011206531A (ja) * 2010-03-11 2011-10-20 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2012075702A (ja) * 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
WO2013107649A1 (en) * 2012-01-19 2013-07-25 Carl Zeiss Meditec Ag Systems and methods for enhanced accuracy in oct imaging of the cornea
JP2013192569A (ja) * 2012-03-15 2013-09-30 Fujifilm Corp 画像処理装置、方法及びプログラム
WO2014175853A1 (en) * 2013-03-12 2014-10-30 Lightlab Imaging, Inc. Vascular data processing and image registration systems, methods, and apparatuses

Also Published As

Publication number Publication date
JP6560597B2 (ja) 2019-08-14

Similar Documents

Publication Publication Date Title
US9782151B2 (en) Sensor coordinate calibration in an ultrasound system
CN110325119B (zh) 卵巢卵泡计数和大小确定
EP1684232A1 (en) Method of improving the quality of a three-dimensional ultrasound doppler image
US9342922B2 (en) Medical imaging apparatus and method of constructing medical images
KR101984824B1 (ko) 초음파를 이용하여 조직의 탄성을 분석하는 방법 및 장치
JP6547612B2 (ja) 画像処理装置、画像処理方法、および、画像処理装置を備える超音波診断装置
RU2016102134A (ru) Система и способ эластографических измерений
JP5265810B2 (ja) 超音波診断装置、及び体内観察方法
US9761041B2 (en) Diagnostic image generation apparatus and diagnostic image generation method
CN110072468A (zh) 胎儿超声成像
JP2022515810A (ja) コントラスト強調画像のためのシステム及び方法
US20120078101A1 (en) Ultrasound system for displaying slice of object and method thereof
JP5139143B2 (ja) 超音波診断装置
JP6560597B2 (ja) 超音波画像の処理方法及び超音波画像の処理装置
JP2013141515A (ja) 医用画像装置及び医用画像構成方法
JP2009061182A (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP2007222264A (ja) 超音波診断装置
KR102321853B1 (ko) 교차 평면 초음파 이미지로 움직이는 구조의 시각화를 향상시키는 방법 및 시스템
JP6150922B1 (ja) 超音波診断装置
JP4286890B2 (ja) 医用画像診断装置
WO2021230230A1 (ja) 超音波診断装置、医用画像処理装置、及び、医用画像処理方法
KR102106542B1 (ko) 초음파를 이용하여 조직의 탄성을 분석하는 방법 및 장치
Zhang et al. A Preprocess Method of External Disturbance Suppression for Carotid Wall Motion Estimation Using Local Phase and Orientation of B-Mode Ultrasound Sequences
Jang et al. Industrial mathematics in ultrasound imaging
Le Ruyet et al. Development and Evaluation of a Landmark‐Based Method to Estimate Displacements and Strains in Soft Tissues Imaged During an Impact Using Ultrafast Ultrasound

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190719

R150 Certificate of patent or registration of utility model

Ref document number: 6560597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250