JP2021108965A - 標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム - Google Patents

標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム Download PDF

Info

Publication number
JP2021108965A
JP2021108965A JP2020002946A JP2020002946A JP2021108965A JP 2021108965 A JP2021108965 A JP 2021108965A JP 2020002946 A JP2020002946 A JP 2020002946A JP 2020002946 A JP2020002946 A JP 2020002946A JP 2021108965 A JP2021108965 A JP 2021108965A
Authority
JP
Japan
Prior art keywords
brain
standard brain
standard
model generation
brain model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020002946A
Other languages
English (en)
Other versions
JP7323893B2 (ja
Inventor
生馬 佐藤
Ikuma Sato
生馬 佐藤
雄一 藤野
Yuichi Fujino
雄一 藤野
一真 大島
Kazuma Oshima
一真 大島
善浩 村垣
Yoshihiro Muragaki
善浩 村垣
賢 正宗
Masaru Masamune
賢 正宗
学 田村
Manabu Tamura
学 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Womens Medical University
Future University Hakodate
Original Assignee
Tokyo Womens Medical University
Future University Hakodate
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Womens Medical University, Future University Hakodate filed Critical Tokyo Womens Medical University
Priority to JP2020002946A priority Critical patent/JP7323893B2/ja
Publication of JP2021108965A publication Critical patent/JP2021108965A/ja
Application granted granted Critical
Publication of JP7323893B2 publication Critical patent/JP7323893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】患者によって異なる脳機能位置などの情報を標準脳に統合する。【解決手段】標準脳モデル生成システム100は、脳機能位置取得部10と、非剛体変形前処理部20と、術中MRI画像変形部30と、標準脳モデル生成部40と、を備える。【選択図】図1

Description

本発明は、標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラムに関する。
脳腫瘍摘出手術において、摘出予定範囲に応じた術後生存率・術後合併症発生確率を予測・提示し、術者の意思決定を支援する未来予測手術が提案されている(例えば、非特許文献1参照)。
正宗賢, 岡本淳, 南部恭一郎, 田村学, 小西良幸, 堀瀬友貴, 楠田佳織, 丸山隆志, 生田聡子, 伊関洋, 村垣善浩. "術中の迅速な判断・意思決定を実現するスマート治療室SCOTのさらなる展開." MEDIX 67: 4-7. (2017). J. Ashburner, et al., "A fast diffeomorphic image registration algorithm", NeuroImage, vol.38(1):95-113, 2007. Y. Liu, et al., "An ITK implementation of a physics-based non-rigid registration method for brain deformation in image-guided neurosurgery", Frontiers in neuroinformatics, vol.8, no.33, pp.1-10, 2014. ICBM 152 Nonlinear atlases version 2009:http://www.bic.mni.mcgill.ca/ServicesAtlases/ICBM152NLin2009
未来予測手術を実現するためには、多くの過去症例を解析し、科学的根拠となる過去症例などの情報に関するデータベースを構築する必要がある。しかしながら、このような情報の蓄積はまだ十分とはいえない。特に、既存の手法によるデータベースの構築は、人手による脳機能位置等のデータ収集と、それらの統計処理(例えば、単純な平均化)に頼るところが大きかった。未来予測手術に十分なデータベースを構築するためには、患者によって異なる脳機能位置などの情報を、標準脳に統合する手法が望まれる。
本発明はこうした状況に鑑みてなされたものであり、その目的は、患者によって異なる脳機能位置を標準脳に統合した標準脳モデルを生成することにある。
上記課題を解決するために、本発明のある態様の標準脳モデル生成システムは、脳機能位置を標準脳に統合する標準脳モデル生成システムであって、脳機能位置取得部と、非剛体変形前処理部と、術中MRI画像変形部と、標準脳モデル生成部と、を備える。
本発明の別の態様は、標準脳モデル生成方法である。この方法は、コンピュータによって実行される、脳機能位置を標準脳に統合する標準脳モデル生成方法であって、脳機能位置取得ステップと、非剛体変形前処理ステップと、術中MRI画像変形ステップと、標準脳モデル生成ステップと、を備える。
本発明のさらに別の態様は、標準脳モデル生成プログラムである。このプログラムは、脳機能位置取得ステップと、非剛体変形前処理ステップと、術中MRI画像変形ステップと、標準脳モデル生成ステップと、をコンピュータに実行させる。
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記録した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
本発明によれば、患者によって異なる脳機能位置を標準脳に統合することができる。
第1の実施の形態に係る標準脳モデル生成システムの機能ブロック図である。 図1の標準脳モデル生成システムによって生成された標準脳モデルを示す図である。 第2の実施の形態に係る標準脳モデル生成システムの機能ブロック図である。 第3の実施の形態に係る標準脳生成方法の処理を示すフローチャートである。
以下、本発明を好適な実施の形態をもとに各図面を参照しながら説明する。実施の形態および変形例では、同一または同等の構成要素、部品には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部品の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない要素の一部は省略して表示する。また、第1、第2などの序数を含む用語は多様な構成要素を説明するために用いられるが、この用語は1つの構成要素を他の構成要素から区別する目的でのみ用いられ、この用語によって構成要素が限定されるものではない。
具体的な実施の形態を説明する前に、基礎的な知見を説明する。脳腫瘍摘出手術では、摘出率と生存期間との間に正の相関関係があることから、最大摘出が理想とされる。一方、言語や運動機能に関わるEloquent領域に隣接する腫瘍摘出では、過度に積極的な摘出を行うと、マヒや失語症といった術後合併症を発症するおそれがある。従って患者の予後を考慮するにあたっては、最大限の腫瘍摘出と最小限の術後合併症とすることが望ましい。このためには、患者ごとに異なる腫瘍の位置や大きさ、脳の構造や機能の位置を正確に確認する必要がある。これを実現するための設備として、インテリジェント手術室が構築されている。インテリジェント手術室は、「オープンMRI」「手術ナビゲーションシステム」「手術顕微鏡」などの高度医療機器を導入した手術室である。これらの医療機器が取得したデータが手術室内LAN経由でサーバに送信されることにより、術中の情報を記録することができる。すなわち、過去の手術における術具の動きや動画を蓄積することが可能である。以下、インテリジェント手術室に設置される高度医療機器について説明する。
[オープンMRI]
オープンMRIは、開放型・低磁場のMRI撮像器である。従来の脳腫瘍摘出手術では、手術前に撮像したMRI画像をもとに開頭部位を確認し、腫瘍摘出後、再度MRIを撮像することで残存腫瘍を確認する、といった手順が取られていた。しかしながら脳腫瘍摘出のために脳を開頭すると、髄液の漏洩や圧力の変化に伴い脳の形状が変化するブレインシフトと呼ばれる現象が発生する。ブレインシフトによって脳の形状が変化してしまうため、術前に撮像されたMRIにおける脳の形状と、処置を行う脳の形状とが異なるという問題が発生する。しかし、開放型のMRI撮像器であるオープンMRIは、開頭後の変形した脳を術中に撮像することが可能である。これにより、変形後の脳の形状と腫瘍摘出後の残存腫瘍の確認が可能となる。
[手術ナビゲーションシステム]
手術ナビゲーションシステムは、術中MRI上に術具の3次元位置を表示することで、術具と脳との相対位置関係を呈示することのできるシステムである。現在主流となっている手術ナビゲーションシステムは、赤外線ステレオカメラと反射球を用いて術具の3次元位置を取得している。ここで得られた3次元位置をオープンMRIで撮像された術中MRI上に表示することで、術中の脳と術具の相対位置関係を可視化することができる。
[手術顕微鏡]
手術顕微鏡は、術野を細部まで鮮明に映しだす手術専用の顕微鏡である。脳神経外科では、繊細な処置が要求されるため術野を拡大観察して手術することが多く、手術顕微鏡は多くの脳腫瘍摘出術で用いられる。手術顕微鏡には精密さが要求されるため高解像度であり、視野を明瞭にする補助システムが搭載されている。また手術顕微鏡で撮影した画像は動画として記録される。手術顕微鏡には光線力学的療法に用いられるレーザー照射機能を持つものもある。
[覚醒下脳腫瘍摘出手術]
次に、脳腫瘍摘出手術において実行される覚醒下脳腫瘍摘出手術について説明する。覚醒下脳腫瘍摘出術は、開頭後に患者を麻酔状態から覚まし、脳に電気刺激を与えて脳機能位置を確認しながら脳腫瘍の摘出を行う手術である。前述のように、Eloquent領域に隣接する腫瘍摘出の場合、正常組織が損傷されることにより術後合併症が発症する恐れがある。術後合併症の発生を低下させるため、執刀医は術中に患者の脳機能局在を得る必要がある。このため、インテリジェント手術では、覚醒下開頭術と呼ばれる術式が導入されている。これは、脳の開頭後、術中に患者を麻酔から覚まし、患者にタスクを与えることや手足を動かしてもらうことを行いながら、手術を行う。一例として、言語野に腫瘍がある手術において、熟練医との会話や患者に見えるモニタにイラスト(馬や鉛筆、漢字文字、ひらがな文字、動詞生成)を表示し、何が映っているかを答えてもらう言語タスクがある。これらのタスク中に電気刺激を行うことにより、患者の脳機能の局在を調査することができる。すなわち、言語タスク中に電気刺激を行うことで、患者が間違った回答や失語を発生する陰性反応が起こった場所を脳機能局在として記録する。このように、術中に患者を覚醒させ、電気刺激を与えるにより、患者ごとの脳機能を調査することができ、脳機能を考慮した腫瘍摘出を実現することができる。
インテリジェント手術室で行われる覚醒下脳腫瘍摘出手術においては、様々な情報を取得することができる。これらの中には、オープンMRIから得られる術中・術前MRI画像、手術ナビゲーションシステムで得られる術具ログ情報、電気刺激時間などの情報が含まれる。また執刀医が行った手術記録の中には、患者のタスク、電気刺激強度などの情報が含まれる。
標準脳は、個人ごとに形状や大きさやの異なる人の脳を、画面上で同じ形状・大きさに変形させ、形態の個人差をなくして標準化した脳である。
[第1の実施の形態]
図1に、第1の実施の形態に係る標準脳モデル生成システム100の機能ブロック図を示す。標準脳モデル生成システム100は、脳機能位置取得部10、非剛体変形前処理部20、術中MRI画像変形部30、標準脳モデル生成部40を備える。
脳機能位置取得部10は、術中・術前MRI画像、術具ログ情報および電気刺激時間を含む術中情報と、患者のタスクおよび電気刺激強度を含む手術記録情報とから脳機能位置情報を取得する。脳機能位置取得部10は、取得した脳機能位置を術中MRI画像と同じ座標系の画像空間にプロットする。これにより脳機能位置などの情報は画像化される。脳機能位置取得部10は、プロットした脳機能位置を非剛体変形前処理部20に出力する。
非剛体変形前処理部20は、脳機能位置取得部10から受信したプロット画像に対し、後段の処理に必要な前処理を施す。具体的には非剛体変形前処理部20は以下の処理を行う。
・術中・術前MRI画像に対する剛体変換による、標準脳への大まかな位置合わせ
・術中・術前MRI画像のバイアス補正
・術中MRI画像のノイズ除去
・非剛体変形の変形領域を決定するための脳領域のセグメンテーション
非剛体変形前処理部20は、前処理を施した画像データを術中MRI画像変形部30に送信する。
術中MRI画像変形部30は、非剛体変形前処理部20から受信した術中MRI画像から標準脳への変位を算出し、これを非剛体変形させる。非剛体変形は既知の技術を用いてよく、例えばDARTEL(Diffeomorphic Anatomical Registration using Exponentiated Lie algebra)を用いることができる(例えば、非特許文献2参照)。術中MRI画像変形部30は、非剛体変形させたMRI画像を標準脳モデル生成部40に送信する。
標準脳モデル生成部40は、術中MRI画像変形部30から受信した変形したMRI画像から標準脳への変位を算出し、これを非剛体変形させて標準脳に統合して標準脳モデルを生成する。変形は既知の技術を用いてよく、例えば有限要素法による非剛体変形手法を用いることができる(例えば、非特許文献3参照)。標準脳は、既存のモデルを使用することができる。脳の形状や大きさは人種により異なるため、複数の標準脳モデルが提案されている。例えば日本人の標準脳の場合、SPM(Statistical Prametric Mapping)を用いて、50人分の日本人健常脳を平均化した画像(JP50NMI_template)を使用することができる。また欧米人の場合、やはり健常脳を平均化した画像を使用することができる(例えば、非特許文献4参照)。この様に本実施の形態は、様々な人種の脳に対して適用可能である。標準脳モデル生成部40は、生成した標準脳モデルを出力する。
図2に、標準脳モデル生成システム100が生成した標準脳モデルを示す。この例では、前方言語野、後方言語野および運動野が標準脳に統合されている。図2に示される各点は、発話の停止、発話の阻害、身体各部位の運動といった症例に関する脳機能位置が、標準脳上にマッピングされている。このように本実施の形態によれば、患者によって異なる脳機能位置を標準脳に統合することができる。
[第2の実施の形態]
図3に、第2の実施の形態に係る標準脳モデル生成システム110の機能ブロック図を示す。標準脳モデル生成システム110は、脳機能位置取得部10、非剛体変形前処理部20、術中MRI画像変形部30、標準脳モデル生成部40、個人脳投影部50を備える。すなわち標準脳モデル生成システム110は、図1の標準脳モデル生成システム100の構成に加えて、個人脳投影部50を備える。
個人脳投影部50は、標準脳モデル生成部40が生成した標準脳モデルを、非剛体変形を用いて患者個人の脳のMRI画像に投影する。患者個人の脳のMRI画像は、術中MRI画像であっても術前MRI画像であってもよい。本実施の形態によれば、標準脳モデルに統合された脳機能位置情報から患者個人ごとの脳機能局在を可視化することができる。
[第3の実施の形態]
図4は、第3の実施の形態に係る標準脳生成方法の処理を示すフローチャートである。この方法は、脳機能位置情報を取得するステップS10と、非剛体変形前処理を行うステップとS20と、術中MRI画像を変形するステップS30と、標準脳モデルを生成するステップS40とを備える。
ステップS10で本方法は、術中・術前MRI画像、術具ログ情報および電気刺激時間を含む術中情報と、患者のタスクおよび電気刺激強度を含む手術記録情報とから脳機能位置情報を取得する。さらに取得した脳機能位置を術中MRI画像と同じ座標系の画像空間にプロットする。これにより脳機能位置などの情報は画像化される。
ステップS20で本方法は、ステップS10でプロットされた画像に対し、ステップS30以降の処理に必要な前処理を施す。具体的には、ステップS20で以下の処理が実行される。
・術中・術前MRI画像に対する剛体変換による、標準脳への大まかな位置合わせ
・術中・術前MRI画像のバイアス補正
・術中MRI画像のノイズ除去
・非剛体変形の変形領域を決定するための脳領域のセグメンテーション
ステップS30で本方法は、ステップS20で前処理の施された術中MRI画像から標準脳への変位を算出し、これを非剛体変形させる。
ステップS40で本方法は、ステップS30で変形されたMRI画像から標準脳への変位を算出し、これを非剛体変形させて標準脳に統合して標準脳モデルを生成し、出力する。
本実施の形態によれば、患者によって異なる脳機能位置を標準脳に統合することができる。
[第4の実施の形態]
第3の実施の形態に係るコンピュータプログラムは、図4に示されるフローをコンピュータに実行させる。すなわち本プログラムは、脳機能位置情報を取得するステップS10と、非剛体変形前処理を行うステップとS20と、術中MRI画像を変形するステップS30と、標準脳モデルを生成するステップS40とをコンピュータに実行させる。
本実施の形態によれば、患者によって異なる脳機能位置を標準脳に統合するプログラムをソフトウェアに実装できるので、コンピュータを用いて高い精度で標準脳モデルを生成することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
第1の実施の形態および第2の実施の形態において、非剛体変形を用いて行われる処理は、非剛体変形に代えて、機械学習を用いて行われてもよい。
100…標準脳モデル生成システム、110…標準脳モデル生成システム、10…脳機能位置取得部、20…非剛体変換前処理部、30…術中MRI画像変形部、40…標準脳モデル生成部、50…個人脳投影部。

Claims (4)

  1. 脳機能位置を標準脳に統合する標準脳モデル生成システムであって、
    脳機能位置取得部と、
    非剛体変形前処理部と、
    術中MRI画像変形部と、
    標準脳モデル生成部と、を備えることを特徴とする標準脳モデル生成システム。
  2. 個人脳投影部をさらに備えることを特徴とする請求項1に記載の標準脳モデル生成システム。
  3. コンピュータによって実行される、脳機能位置を標準脳に統合する標準脳モデル生成方法であって、
    脳機能位置取得ステップと、
    非剛体変形前処理ステップと、
    術中MRI画像変形ステップと、
    標準脳モデル生成ステップと、を備えることを特徴とする標準脳モデル生成方法。
  4. 脳機能位置を標準脳に統合する標準脳モデル生成プログラムであって、
    脳機能位置取得ステップと、
    非剛体変形前処理ステップと、
    術中MRI画像変形ステップと、
    標準脳モデル生成ステップと、をコンピュータに実行させることを特徴とする標準脳モデル生成プログラム。
JP2020002946A 2020-01-10 2020-01-10 標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム Active JP7323893B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020002946A JP7323893B2 (ja) 2020-01-10 2020-01-10 標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020002946A JP7323893B2 (ja) 2020-01-10 2020-01-10 標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム

Publications (2)

Publication Number Publication Date
JP2021108965A true JP2021108965A (ja) 2021-08-02
JP7323893B2 JP7323893B2 (ja) 2023-08-09

Family

ID=77058519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020002946A Active JP7323893B2 (ja) 2020-01-10 2020-01-10 標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム

Country Status (1)

Country Link
JP (1) JP7323893B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002102249A (ja) * 2000-09-29 2002-04-09 Olympus Optical Co Ltd 手術ナビゲーション装置および手術ナビゲーション方法
JP2005278992A (ja) * 2004-03-30 2005-10-13 Hamamatsu Univ School Of Medicine 手術支援装置、方法及びプログラム
JP2016193222A (ja) * 2010-12-21 2016-11-17 レニショウ (アイルランド) リミテッド 画像を分析するための方法および装置
US20190090749A1 (en) * 2017-09-26 2019-03-28 Washington University Supervised classifier for optimizing target for neuromodulation, implant localization, and ablation
JP2019069169A (ja) * 2010-12-22 2019-05-09 ビューレイ・テクノロジーズ・インコーポレイテッドViewRay Technologies, Inc. 医学的処置中のイメージガイダンスのためのシステムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002102249A (ja) * 2000-09-29 2002-04-09 Olympus Optical Co Ltd 手術ナビゲーション装置および手術ナビゲーション方法
JP2005278992A (ja) * 2004-03-30 2005-10-13 Hamamatsu Univ School Of Medicine 手術支援装置、方法及びプログラム
JP2016193222A (ja) * 2010-12-21 2016-11-17 レニショウ (アイルランド) リミテッド 画像を分析するための方法および装置
JP2019069169A (ja) * 2010-12-22 2019-05-09 ビューレイ・テクノロジーズ・インコーポレイテッドViewRay Technologies, Inc. 医学的処置中のイメージガイダンスのためのシステムおよび方法
US20190090749A1 (en) * 2017-09-26 2019-03-28 Washington University Supervised classifier for optimizing target for neuromodulation, implant localization, and ablation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柴田 光: "多種画像・術中情報を標準脳に統合した術後合併症予測のための解析データの提案", ライフサポート, vol. 28(1), JPN6023020109, 2016, JP, pages 13, ISSN: 0005063739 *

Also Published As

Publication number Publication date
JP7323893B2 (ja) 2023-08-09

Similar Documents

Publication Publication Date Title
JP6875559B2 (ja) 映像整合装置及び映像整合方法
CN109416841B (zh) 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
JP5244319B2 (ja) 画像のマルチモーダルレジストレーションのための装置及び方法
US6533455B2 (en) Method for determining a coordinate transformation for use in navigating an object
US20060050988A1 (en) Fluoroscopy image verification
Selesnick et al. Image-guided surgical navigation in otology and neurotology
CN108430376B (zh) 提供投影数据集
Alam et al. A review on extrinsic registration methods for medical images
CN115245384A (zh) 骨骼注册方法及系统、机器人系统及存储介质
Bucholz et al. Automated rejection of contaminated surface measurements for improved surface registration in image guided neurosurgery
JP7323893B2 (ja) 標準脳モデル生成システム、標準脳モデル生成方法および標準脳モデル生成プログラム
US11406346B2 (en) Surgical position calibration method
US20230154018A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
Barber New navigation approaches for endoscopic lateral skull base surgery
US20220354579A1 (en) Systems and methods for planning and simulation of minimally invasive therapy
US20230215059A1 (en) Three-dimensional model reconstruction
RU2792552C1 (ru) Способ проекционной разметки хирургического доступа в нейрохирургии
TWI836491B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
TWI842001B (zh) 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統
TWI785645B (zh) 基於擴增實境的手術輔助方法
US20220156928A1 (en) Systems and methods for generating virtual images
WO2023089566A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
CN117481756A (zh) 穿刺引导方法、设备及机器人系统
Williamson et al. Image-guided microsurgery
KR20240067034A (ko) 기계적으로 획득된 조직 표면 데이터에 기초하여 표면 정합을 결정하기 위한 기술

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230720

R150 Certificate of patent or registration of utility model

Ref document number: 7323893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150