JP2020156562A - 動体追跡装置とそれを備えた放射線治療システム、プログラム、および動体の追跡方法 - Google Patents

動体追跡装置とそれを備えた放射線治療システム、プログラム、および動体の追跡方法 Download PDF

Info

Publication number
JP2020156562A
JP2020156562A JP2019056069A JP2019056069A JP2020156562A JP 2020156562 A JP2020156562 A JP 2020156562A JP 2019056069 A JP2019056069 A JP 2019056069A JP 2019056069 A JP2019056069 A JP 2019056069A JP 2020156562 A JP2020156562 A JP 2020156562A
Authority
JP
Japan
Prior art keywords
target
image
dimensional
moving object
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019056069A
Other languages
English (en)
Other versions
JP7311859B2 (ja
Inventor
徹 梅川
Toru Umekawa
徹 梅川
康一 宮崎
Koichi Miyazaki
康一 宮崎
藤井 孝
Takashi Fujii
孝 藤井
伸一 清水
Shinichi Shimizu
伸一 清水
聖心 ▲高▼尾
聖心 ▲高▼尾
Seishin Takao
梅垣 菊男
Kikuo Umegaki
菊男 梅垣
宮本 直樹
Naoki Miyamoto
直樹 宮本
徳雄 加藤
Tokuo Kato
徳雄 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido University NUC
Hitachi Ltd
Original Assignee
Hokkaido University NUC
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido University NUC, Hitachi Ltd filed Critical Hokkaido University NUC
Priority to JP2019056069A priority Critical patent/JP7311859B2/ja
Priority to US16/783,206 priority patent/US11282244B2/en
Priority to CN202010102815.6A priority patent/CN111729210B/zh
Priority to EP20158275.6A priority patent/EP3714939A1/en
Publication of JP2020156562A publication Critical patent/JP2020156562A/ja
Application granted granted Critical
Publication of JP7311859B2 publication Critical patent/JP7311859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1042X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy with spatial modulation of the radiation beam within the treatment head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1061Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/100764D tomography; Time-sequential 3D tomography

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

【課題】治療時間を短縮することに寄与する動体追跡装置とそれを備えた放射線治療システム、およびプログラム、ならびに動体の追跡方法を提供する。【解決手段】少なくとも2以上の方向から標的2を含む透視画像を取得する透視装置と、透視装置によって取得した透視画像から標的2の位置を求める動体追跡制御装置30Aと、を備え、動体追跡制御装置30Aは、標的2を含むCT画像から模擬透視画像を作成し、模擬透視画像から標的2を含む2次元領域をテンプレートとして作成し、少なくとも2以上の透視画像の各々とテンプレートとをマッチングして、複数のマッチング結果から標的2の3次元位置を求める。【選択図】 図1

Description

本発明は、標的の位置を認識して照射を制御する放射線治療システムに好適な動体追跡装置や動体追跡用のプログラム、ならびに動体の追跡方法に関する。
特許文献1には、人体の呼吸により位置が周期的に変化する腫瘍等の治療対象部分に対して治療用放射線ビームを精度良く照射させる放射線治療システムが記載されている。特許文献1では、人体内撮像装置と治療用放射線ビーム照射装置とを備え、人体内の腫瘍等の治療対象部分の治療を行う際に、人体内撮像装置によって人体の内部の透視画像を経時的に生成し、この経時的に生成される透視画像の画像情報が、予め生成された特定の呼吸位相における基準透視画像の画像情報と略一致したときに、治療用放射線ビーム照射装置によって人体内の治療対象部分に対して治療用放射線ビームを照射する。
特開2008−154861号公報
体内の標的に対して治療放射線を照射する放射線治療において、標的に精密に治療放射線を照射するためには、呼吸等による標的の移動へ対応することが必要になる。
移動に対応する方法として、リアルタイムにX線透視画像を撮像し、撮像された画像から標的の位置を求め、求めた標的位置に応じて治療放射線を制御する方法が知られており、例えば特許文献1に記載された方法がある。
特許文献1では、治療前に治療放射線を照射する状態の3次元CT画像を撮像し、CT画像から投影画像を作成し、治療中に撮像したX線透視画像と投影画像が一致した時に、治療放射線を照射する。これにより、標的が治療放射線を照射するべき位置にある時のみ治療放射線が照射されることから、標的に対して精密に治療放射線を照射することができる。
また特許文献1の方法では、標的がX線透視画像中での視認が困難な場合にも適用可能である。特許文献1では、治療直前に3次元CT画像を撮像しているため、標的と周辺構造の位置関係はCT画像撮像時と治療中は一致していると期待できる。このため、投影画像とX線透視画像との双方で標的が視認困難な状態でも、周辺構造が一致した時には標的位置も一致していることが期待される。
X線装置画像中では腫瘍は視認困難であることからマーカ等を刺入して可視化している。これに対し、上記方法を用いると、マーカ無しで腫瘍位置を決定することができる。
ここで、特許文献1に記載の技術では、投影画像とX線透視画像との一致度で標的が照射するべき位置にあるかどうかを判断している。そのため、完全に一致した際には一致したと判断できるが、標的が移動してずれが生じた場合にどれだけ画像の一致度が下がるかを知る手段は無い、との問題がある。
また、逆に画像の一致度が下がった際にどれだけ標的がずれているかを知る手段がないため、標的に精密に治療放射線を照射するためには、標的のずれが極めて小さくなるよう、一致度の許容幅を狭く設定する必要がある。しかしながら、この場合は呼吸周期において治療放射線を照射できるタイミングが極めて少なくなり、多数の呼吸周期にわたって照射する必要がある。つまり治療時間が長くなる、との課題があった。
本発明の目的は、治療時間を短縮することに寄与する動体追跡装置とそれを備えた放射線治療システム、および動体追跡用のプログラム、ならびに動体の追跡方法を提供することである。
本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、標的の3次元位置を求め、その動きを追跡する動体追跡装置であって、少なくとも2以上の方向から前記標的を含む透視画像を取得する透視装置と、前記透視装置によって取得した前記透視画像から前記標的の位置を求める動体追跡制御装置と、を備え、前記動体追跡制御装置は、前記標的を含むCT画像から模擬透視画像を作成し、前記模擬透視画像から前記標的を含む2次元領域をテンプレートとして作成し、少なくとも2以上の前記透視画像の各々と前記テンプレートとをマッチングして、複数の前記マッチングの結果から前記標的の3次元位置を求めることを特徴とする。
本発明によれば、治療時間を短縮することに寄与することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
本発明の実施形態の放射線治療システムや動体追跡装置の概略構成を示す図である。 実施形態の動体追跡装置による2次元テンプレート作成の処理の流れを説明するフロー図である。 実施形態の動体追跡装置の2次元テンプレート作成の概要を説明する図である。 実施形態の動体追跡装置の2次元テンプレート作成の概要を説明する図である。 実施形態の動体追跡装置による2次元テンプレート作成の処理の他の一例の流れを説明するフロー図である。 実施形態の動体追跡装置が透視画像を取得する概念図である。 実施形態の動体追跡装置が透視画像から標的の位置を計算する概略図である。 実施形態の動体の追跡方法を含む放射線治療システムによる放射線の処理手順を示すフローチャートである。
本発明の動体追跡装置とそれを備えた放射線治療システム、プログラムならびに動体の追跡方法の実施形態について図1乃至図8を用いて説明する。
最初に、放射線治療システム100の全体構成について図1を用いて説明する。図1は、本実施形態における放射線治療システムの概略構成を示す図である。
図1において、放射線治療システム100は、患者(以下、被験体1と記載)内の患部(以下、標的2と記載)に対して治療放射線を照射するための装置である。用いられる治療放射線には、例えば、炭素等の重粒子や陽子からなる粒子線や、治療X線、治療γ線、治療電子線等がある。以下の説明では治療放射線として粒子線を用いる場合について説明する。
なお、本発明においては、被験体1内には、標的2を追跡するために被験体1に追跡用のマーカを事前に埋めないこととする。
この放射線治療システム100は、被験体1の位置決めが可能なベッド60、CT撮像装置20、動体追跡装置30、粒子線を発生させ、被験体1内の標的2に照射する治療放射線照射装置50、照射制御装置40等を備えている。
治療放射線照射装置50は、加速器、ビーム輸送系、照射装置から構成される(いずれも図示省略)。治療粒子線は、治療室とは別室に備えた加速器にて必要なエネルギーまで加速された後、ビーム輸送装置によりまで導かれる。加速器は、シンクロトロン型加速器やサイクロトロン型加速器、他の様々な加速器とすることができる。
治療放射線照射装置50内の照射装置は2対の走査電磁石と、線量モニタと、位置モニタとを備えている(いずれも図示省略)。2対の走査電磁石は、互いに直交する方向に設置されており、標的の位置においてビーム軸に垂直な面内の所望の位置に粒子線が到達するように粒子線を偏向することができる。線量モニタは照射された粒子線の量を計測する。位置モニタは粒子線が通過した位置を検出することができる。治療放射線照射装置50からの粒子線は標的2に到達する。
粒子線の照射方法は特に限定されず、細い粒子線が形成する線量分布を並べて標的2の形状に合わせた線量分布を形成するスポットスキャニング法の他、粒子線を停止することなく細い粒子線を照射するラスタースキャニング法やラインスキャニング法を用いることができる。
また、上述のようなスキャニング法の他、ワブラー法や二重散乱体法など粒子線の分布を広げた後、コリメータやボーラスを用いて標的の形状に合わせた線量分布を形成する照射方法にも本発明を適用することができる。
更に、標的2の動きに合わせて照射位置を変更する追尾照射にも本発明を適用することができる。
なお、治療放射線として炭素線や陽子線などの粒子線の替わりにX線を用いる場合には、加速器やビーム輸送装置の代わりに治療X線を発生させる治療X線照射装置を設ける。γ線を用いる場合は、加速器やビーム輸送装置の代わりに治療γ線を発生させるγ線照射装置を設ける。電子線を用いる場合は、加速器やビーム輸送装置の代わりに治療電子線を発生させる電子線照射装置を設ける。
CT撮像装置20は、被験体1がベッド60に寝たまた3次元CT画像を撮像可能な構成とする。好適にはベッド60が設置される治療室内に設置される。このCT撮像装置20によって異なる時間位相においてCTを撮像することによって4次元CT画像を取得する。CT撮像装置20が放射線治療システム100に備えられている事から、治療直前の3次元CT撮像や4次元CT撮像が可能となっている。
動体追跡装置30は、標的2の3次元位置を求め、その動きを追跡する装置であり、少なくとも2以上の方向から標的2を含むX線透視画像を取得する透視装置と、透視装置によって取得したX線透視画像から標的2の位置を求める動体追跡制御装置30Aと、を備えている。
透視装置は、第1方向から被験体1内の標的2に向けて透視用X線を発生させるX線管10Aと、X線管10Aから発生して被験体1を透過した透視用X線の2次元線量分布を検出する検出器11Aと、第1方向とは異なる第2方向から被験体1に向けて透視用X線を発生させるX線管10Bと、X線管10Bから発生して被験体1を透過した透視用X線の2次元線量分布を検出する検出器11Bと、信号処理回路を含むX線撮像装置31と、を備えている。
検出器11A,11Bは、2次元的に配置された検出素子からアナログ信号を出力する。
X線撮像装置31は、X線管10A,10Bに対して透過用X線の照射を指示するとともに、検出器11A,11Bからアナログ信号を処理してX線透視画像のデータを生成し、動体追跡制御装置30Aの2次元マッチング装置32へ送信する。
なお、本実施形態では、透視装置のX線による撮像方向を2方向としているが、これに限定されず、2方向以上であれば何方向であってもよく、X線管と検出器を適宜追加設置することができる。
動体追跡制御装置30Aは、透視装置から入力されるX線透視画像の信号に基づいて標的2の位置を演算して、演算した標的2の位置を照射制御装置40に対して出力する装置である。
図1に示すように、動体追跡制御装置30Aは、テンプレート作成装置34、2次元マッチング装置32、3次元位置検出装置33から構成される。
テンプレート作成装置34は、標的2を含むCT画像から模擬X線透視画像を作成するとともに、模擬X線透視画像から標的2を含む2次元領域の画像をテンプレート画像とする処理を実行する。
より具体的には、テンプレート作成装置34はCT撮像装置20で撮像された2以上の3次元CT画像(4次元CT画像)の入力を受けて、X線撮像装置31により動作が制御されるX線管10A,10B、及び検出器11A,11Bの配置に従って、これらの装置で撮像されるX線透視画像を模擬する投影画像を2以上の3次元CT画像の各々から計算によって求める。
この時、複数のX線管10A,10B、及び検出器11A,11Bに対応して、複数の投影画像が作成される。得られた投影画像において、被験体1の体内にある治療すべき標的2が写っている場所を特定し、その周辺部を、マッチング時の標的2のリファレンス画像となるテンプレート画像として抽出する。
以下、図2乃至図5を用いてテンプレート作成装置34によるテンプレートの作成の流れについて説明する。図2は2次元テンプレート作成の処理の流れを説明するフロー図である。図3および図4は2次元テンプレート作成処理の概要を説明する図である。図5は2次元テンプレート作成の処理の流れの他の一例を説明するフロー図である。
図2に示すように、最初に、テンプレート作成装置34は、2つの異なる呼吸位相で取得された3次元CT画像(4次元CT画像)の入力を受ける(ステップS200)。
その後、テンプレート作成装置34は、2つの3次元CT画像の基準位置を対応付け、2つの呼吸位相の間の3次元CT画像を補間する、変形位置合わせを行う(ステップS210)。補間方法は特に限定されず、公知の様々な手法を用いることができる。
次いで、テンプレート作成装置34は、基準画像を基に標的2や周辺構造を抽出し、標的2および周辺構造の移動量を求める(ステップS220)。
先のステップS220により標的2および周辺構造の移動量が分かったので、テンプレート作成装置34は、周辺構造のうち、標的2と同程度の動きをしているもの、例えば、求めた標的2の移動量と周辺構造の移動量との差が予め指定された値以下となった周辺構造を追跡周辺構造として抽出する(ステップS230)。抽出する周辺構造は、極力、標的2の周辺に存在する構造とすることが望ましい。
より具体的には、ある呼吸位相における3次元CT画像から、図3に示すような模擬X線透視画像13Aを作成する。この模擬X線透視画像13Aからは、標的2と、周辺構造3A,3B,3C,3Dが抽出される。
また、模擬X線透視画像13Aが作成された3次元CT画像とは呼吸位相が異なる3次元CT画像から、図4に示すような模擬X線透視画像13Bを作成する。この模擬X線透視画像13Bからは、同様に標的2と、周辺構造3A,3B,3C,3Dとが抽出される。
これら2つの模擬X線透視画像13A,13Bを比較し、標的2の移動量、および周辺構造3A,3B,3C,3Dの各々の移動量を求める。
なお、本発明においては、模擬X線透視画像13A,13Bにて抽出される周辺構造3A,3B,3C,3Dには、標的2を追跡するために標的2を有する被験体1に事前に埋める追跡用のマーカは含まれない。
周辺構造3A,3B,3C,3Dの一例として考えられるのは、被験体1内の骨などであることが想定されるが、3次元CT画像を撮像した、あるいは模擬透視X線画像を作成して初めて決定されるものであり、骨に限られない。
また、2つの模擬X線透視画像のうち、いずれか一方で抽出されなかった周辺構造については、移動量を求めることなく、存在しなかったものとして取り扱うことが望ましい。
図4に示すように、標的2の移動量に対して周辺構造3A、3Dはその移動量が大きい。これに対し、周辺構造3B,3Cの移動量は標的2の移動量と同じ程度となっており、差分が小さい。このような周辺構造3B,3Cを追跡周辺構造として抽出し、これら追跡周辺構造を含む2次元領域を投影した画像をテンプレート画像とする。
テンプレート画像は、2以上の3次元CT画像や、補間で作成した3次元CT画像から各々作成する。
なお、標的2の位置は、治療計画CT画像上に設定された標的2の位置を治療計画CT画像と治療直前に取得した模擬X線透視画像抽出用の3次元CT画像のマッチングの結果から対応付けて決定しても良いし、手動で3次元CT画像中から設定しても良い。
また、テンプレートとして抽出する範囲は、手動で設定しても良いし、予め設定されたサイズから自動で決定しても良い。
作成されたテンプレート画像は2次元マッチング装置32に送信され、そこで保持される。
テンプレート作成装置34によるテンプレート画像の作成処理方法は上述のような流れに限られない。以下、図5を用いて他の一例について説明する。
図5に示すように、最初に、テンプレート作成装置34は、2つの異なる呼吸位相で取得された3次元CT画像(4次元CT画像)の入力を受ける(ステップS300)。
その後、テンプレート作成装置34は、2以上の異なる3次元CT画像から標的2および周辺構造3A,3B,3C,3Dを抽出する(ステップS310)。
その後、テンプレート作成装置34は、2つの3次元CT画像の基準位置を対応付け、2つの呼吸位相の間の3次元CT画像を補間する、変形位置合わせを行う(ステップS320)。補間方法は特に限定されず、公知の様々な手法を用いることができる。
次いで、テンプレート作成装置34は、補間された3次元CT画像に基づいて標的2および周辺構造3A,3B,3C,3Dの移動量を求める(ステップS330)。
その後、テンプレート作成装置34は、周辺構造3A,3B,3C,3Dのうち、標的2と同程度の動きをしている周辺構造3B,3Cを追跡周辺構造として抽出する(ステップS340)。抽出の基準は図3で説明したステップS230と同じとすることが望ましい。
なお、追跡周辺構造が周辺構造3B,3Cとの2つの場合について説明したが、追跡周辺構造は少なくとも1つ以上であればよく、その数に特に制限はない。
また、抽出された標的2の移動量との差が予め指定された値以下となった周辺構造3B,3Cを追跡周辺構造と見做す場合について説明したが、抽出された標的2の移動量と周辺構造の移動量との差が最も小さい周辺構造や、小さい方から任意の数の周辺構造を追跡周辺構造と見做してもよい。
また、抽出された標的2の移動量と周辺構造の移動量との差が予め指定された値以下となった追跡周辺構造が存在しないときは、差が最も小さいものを追跡周辺構造とすることができる。これにより、追跡周辺構造が抽出されない事態を避けることができる。
更に、抽出された標的2の移動量と周辺構造の移動量との差が予め指定された値以下となった追跡周辺構造が存在しないときは、異なる呼吸位相の3次元CT画像から標的2の移動量と周辺構造の移動量を再度抽出し直してもよい。これによっても、追跡周辺構造が抽出されない事態を避けることができる。
また、治療粒子線の照射段階において、図6に示すように、X線撮像装置31によりX線管10Aから発生させた透視用X線を標的2に向けて照射し、標的2を通過した透視用X線の2次元線量分布を検出器11Aによって測定することで標的2を撮像する。これとともに、X線管10Bから発生させた透視用X線を標的2に向けて照射し、標的2を通過した透視用X線の2次元線量分布を検出器11Bによって測定することで標的2を撮像する。なお、図6はX線透視画像を取得する概念図である。
この透視用X線によるX線透視画像の取得は、例えば30Hzの一定間隔で間欠的に実施される。
動体追跡制御装置30Aの2次元マッチング装置32および3次元位置検出装置33は、X線撮像装置31を介して取得した2つのX線透視画像から標的2の3次元位置を演算し、その結果に基づいて治療粒子線の出射を許可するか否かを判定する。
具体的には、2次元マッチング装置32は、X線撮像装置31を介して取得した2つのX線透視画像中の周辺構造3B,3Cが、テンプレート作成装置34で作成されたテンプレートと最も一致するタイミングを特定し、標的2の検出器11A,11B上への投影位置を特定する。
評価する方法としては、規格化相関係数等の画像類似度を用いる。探索は画面全探索や設定された探索領域内のみ探索する方法を用いる。
マッチングで得られた各々のX線透視画像中での標的2の投影位置は3次元位置検出装置33に送信される。
3次元位置検出装置33は、2次元マッチング装置32によるマッチングで得られた各々のX線透視画像中での標的2の投影位置から標的2の3次元位置を求める。得られた3次元位置は照射制御装置40に送信する。
図7に検出した標的2の検出器11A上における位置とX線管10Aとを結ぶ線12A、および標的2の検出器11B上における位置とX線管10Bとを結ぶ線12Bを示す。3次元位置検出装置33による処理で得られるこの2本の線は、理想的には1点で交わり、その交点が標的2の存在する位置である。
しかし、実際には、検出の誤差や透視用X線検出器の設置誤差などの影響から、2本の線は通常は交わらず、ねじれの関係にある。このねじれの関係にある2本の線が最も接近する位置には共通の垂線を引くことができる。この共通の垂線を共通垂線4と呼ぶ。そして、通常は、3次元位置検出装置33はこの共通垂線4の中点を標的2の3次元位置として求めている。
図1に戻り、照射制御装置40は、治療放射線照射装置50および動体追跡装置30と接続されており、治療放射線照射装置50を構成する各機器の動作を制御する。本実施例の照射制御装置40は、動体追跡装置30からの信号を基に標的2への治療放射線の照射を制御する。
照射制御装置40は得られた標的2の3次元位置を元に治療放射線照射装置50による治療放射線の照射動作を制御する。
例えば、照射制御装置40は、標的2の位置が予め指定したゲート範囲に入っているか否かを判定し、標的の位置がゲート範囲に入っていると判定された場合はゲートオン信号を照射制御装置40に対して送信して標的2に対する粒子線の出射を許可する。これに対し標的2の位置がゲート範囲に入っていないと判定された場合は、ゲートオフ信号を送信して出射を許可しない。
また、上述の特許文献1のように治療計画時の標的2の位置が治療放射線を照射すべき位置に完全に一致した状態の時のみ治療放射線を照射するように制御すると、治療時間が非常に増大する。
本発明では標的2の空間的位置ずれ量を定量的に把握可能であるため、照射制御装置40は、治療計画位置から±2mm程度の領域を設定し、その領域内にある時のみ治療放射線を照射するゲート照射を行う。上記領域の分だけ計画から標的位置がずれうるが、そのずれ量を評価、及び、制御可能であるため、その領域分を補償するように治療放射線の照射範囲を広げることで、照射精度を担保する。
以上のようにして標的2の3次元位置をリアルタイムに取得し、3次元ゲート照射をすることで、標的への高い照射精度と、短い照射時間を両立できる。
この照射制御装置40や上述した動体追跡制御装置30A内の各装置、X線撮像装置31は、CPUやメモリ、インターフェース等を備えたコンピュータやFPGA(Field−Programmable Gate Array)にプログラムを読み込ませて計算を実行させることで実現できる。これらのプログラムは各構成内の内部記録媒体や外部記録媒体(図示省略)に格納されており、CPUによって読み出され、実行される。
なお、照射制御装置40や動体追跡制御装置30A内の各装置、X線撮像装置31の動作の制御処理は、1つのプログラムにまとめられていても、それぞれが複数のプログラムに別れていてもよく、それらの組み合わせでもよい。また、プログラムの一部または全ては専用ハードウェアで実現してもよく、モジュール化されていても良い。更には、各種プログラムは、プログラム配布サーバや内部記憶媒体や外部記録媒体から各装置にインストールされてもよい。
また、照射制御装置40や動体追跡制御装置30Aの各装置、X線撮像装置31は独立している必要はなく、2つ以上を一体化,共通化して、処理のみを分担してもよい。また、少なくとも一部の構成が有線もしくは無線のネットワークを介して接続されているものとすることができる。
例えば、照射制御装置40側で治療放射線の照射可,不可を判定する場合について説明したが、動体追跡制御装置30A側で治療放射線の照射可,不可を判定して照射許可信号,不許可信号を照射制御装置40に対して出力し、照射制御装置40において照射制御を行うことができる。
次に、本実施形態に係る動体の追跡方法を含む放射線治療システムによる放射線の照射処理の手順について図8を用いて説明する。図8は放射線治療システムの処理手順を示すフローチャートである。
まず、オペレータの指示に基づいて、治療放射線照射のためにベッド60上に寝かされた被験体1の3次元CT画像がCT撮像装置20によって撮像される(ステップS90)。この際、2以上の異なるタイミングで、できれば異なる呼吸位相の3次元CT画像を撮像する。撮像された3次元CT画像はテンプレート作成装置34に送信される。
その後、テンプレート作成装置34は、ステップS90で撮像された2以上の3次元CT画像から各X線撮像装置31の撮像を模擬するような模擬投影画像を計算する。また、テンプレート作成装置34は、模擬投影画像上で標的2の投影位置を計算し、その周辺をテンプレートとして抽出する(ステップS100)。
なお、ここで模擬投影画像は、2以上の異なる3次元CT画像の呼吸位相間の内挿画像から作成することで、より細かい位相数で作成することもできる。ここで内挿画像とは、2以上の異なる3次元CT画像の呼吸位相間における標的2及び周辺構造3A,3B,3C,3D等の変形量を含む変形情報を利用して、撮像した呼吸位相ともう1つの呼吸位相との間の呼吸位相におけるCT画像を再現した3次元画像である。そして、この細かい位相数で作成した模擬投影画像から最適なものをテンプレート作成に利用することも可能である。
抽出されたテンプレートは2次元マッチング装置32に送信される。
本ステップS100におけるテンプレートの作成方法は上述した図2や図5のような流れによることが望ましい。このステップS100が、標的2を含むCT画像から模擬X線透視画像を作成する工程、および模擬X線透視画像から標的2を含む2次元領域をテンプレートとして作成する工程に相当する。
その後、オペレータにより、透視X線撮像開始が指示されると、動体追跡装置30のX線撮像装置31は間欠的にX線の撮像を開始する(ステップS110)。X線撮像は治療が終了するか、オペレータが停止操作を行うまで継続する。
その後、X線画像が撮像され、取得されたX線透視画像は2次元マッチング装置32に送信される(ステップS120)。
これらのステップS110およびステップS120が、少なくとも2以上の方向から標的2を含むX線透視画像を取得する工程に相当する。
その後、2次元マッチング装置32により、ステップS110,S120で撮像されたX線透視画像とステップS100で作成されたテンプレート画像とで2次元のマッチングを行い、X線透視画像中の標的2の位置を特定する(ステップS130)。特定された標的2の位置は3次元位置検出装置33に送られる。
このステップS130が少なくとも2以上のX線透視画像の各々とテンプレートとをマッチングする工程に相当する。
その後、3次元位置検出装置33により、ステップS130で特定された複数の2次元マッチング位置を元に、標的2の3次元位置を算出する(ステップS140)。得られた3次元位置は照射制御装置40に送信される。
このステップS140が複数のマッチング結果から標的2の3次元位置を求める工程に相当する。
その後、照射制御装置40は、オペレータから治療照射が開始の操作をされているか否かを判定する(ステップS145)。開始操作がなされていないと判定された場合には何もせず、処理をX線撮像ステップのステップS120に戻す。これに対し、治療照射開始操作がなされていると判定された場合には、処理をステップS150に進める。
その後、照射制御装置40は、ステップS140で得られた標的2の3次元位置を元にゲート領域に入っている場合にのみ治療放射線を照射する(ステップS150)。
その後、照射制御装置40は、予め設定された治療ビームの照射が終了しているか否かを判定する(ステップS160)。予め設定された治療ビームの照射が終了していないと判定された場合には処理をステップS120に戻す。これに対し、治療ビームの照射が終了したと判定された場合には、透視X線撮像を終了させ、手順を終了させる。
次に、本実施形態の効果について説明する。
上述した本実施形態の放射線治療システム100は、放射線を発生、照射する治療放射線照射装置50と、標的2の3次元位置を求め、その動きを追跡する動体追跡装置30と、動体追跡装置30からの信号を基に治療放射線照射装置50を制御することで標的への治療放射線の照射を制御する照射制御装置40と、を備えている。
このうち動体追跡装置30は、少なくとも2以上の方向から標的2を含むX線透視画像を取得する透視装置と、透視装置によって取得したX線透視画像から標的2の位置を求める動体追跡制御装置30Aと、を備え、動体追跡制御装置30Aは、標的2を含むCT画像から模擬X線透視画像を作成し、模擬X線透視画像から標的2を含む2次元領域をテンプレートとして作成し、少なくとも2以上のX線透視画像の各々とテンプレートとをマッチングして、複数のマッチング結果から標的2の3次元位置を求める。
一般に、放射線治療における標的はX線透視画像上ではコントラストがつかず、直接視認することが困難である。結果としてテンプレート画像として標的2のみの画像で用いると、マッチングで精度よく位置検出することが困難である。
これに対し、本発明のように、標的2の周辺の2次元領域をテンプレートとして用いることによって、標的2と比べてコントラストの高い周辺構造3A,3B,3C,3Dを元にマッチングすることができる。周辺構造3A,3B,3C,3Dと標的2との位置関係が維持されていれば、周辺構造3A,3B,3C,3Dがマッチングした状態は、標的2もマッチした状態である。このようにして、X線透視画像からは視認が困難な標的2の3次元位置を周辺構造3A,3B,3C,3Dを元にリアルタイムに検出することができる。
このような効果が得られることから、特に、照射可能な時間を増やす方法である、標的2の位置に対して照射許容範囲を設け、照射許容範囲に入った時に治療放射線を照射するゲート照射を行う放射線治療システムに適用することによって、精密に標的2に照射しつつ、短時間で治療を終えることが可能となる。
また、動体追跡制御装置30Aは、2以上の3次元CT画像から4次元CT画像を作成し、4次元CT画像から標的2の移動量および周辺構造3A,3B,3C,3Dの移動量を求め、求めた標的2の移動量と周辺構造3A,3B,3C,3Dの移動量との差が予め指定された値以下となった周辺構造3A,3B,3C,3Dを追跡周辺構造として抽出し、追跡周辺構造を含む2次元領域をテンプレートとする。これにより、標的2との位置関係の少ない周辺構造3B,3Cのみがテンプレート上に存在することになることから、それらの周辺構造3B,3Cから決定される標的2の3次元位置をより高精度に求まる。これにより、より精密に標的2に照射しつつ、短時間で治療を終えることが可能となる。
更に、動体追跡制御装置30Aは、2以上の3次元CT画像の各々から標的2および周辺構造3A,3B,3C,3Dを抽出し、抽出された標的2および周辺構造3A,3B,3C,3Dの移動量を2以上の3次元CT画像から求め、標的2の移動量との移動量の差が予め指定された値以下となった周辺構造3A,3B,3C,3Dを追跡周辺構造として抽出し、追跡周辺構造を含む2次元領域をテンプレートとすることによっても、より精密に標的2に照射しつつ、短時間で治療を終えることが可能となる。
また、周辺構造3A,3B,3C,3Dには、標的2を追跡するために標的2を有する被験体1に事前に埋める追跡用のマーカは含まれないため、マーカを埋め込む手間、負担を削減することができ、更なる治療時間の短縮を図ることができる。
更に、動体追跡制御装置30Aは、2以上の異なる位相の3次元CT画像から変形量を算出し、複数の3次元CT画像間の内挿画像を作成し、内挿画像に基づいて模擬透視画像を作成することにより、細かい位相数で作成した模擬投影画像から最適なものをテンプレート作成に利用することができるようになるため、マッチングの精度の更なる向上を図ることができる。
また、標的2を有する被験体1を載置するベッド60と、ベッド60が収容される治療室に設置され、模擬透視画像を作成する基となるCT画像を撮像するCT撮像装置20と、を更に備え、動体追跡装置30は、治療放射線の照射直前にCT撮像装置20によって撮像された3次元CT画像から模擬透視画像を作成する。
図8のステップ100に示すように、治療直前にCT画像の撮像とテンプレートの作成が行われると、そのテンプレート中での標的2の位置と周辺構造3B,3Cの位置関係が変わるようなことは生じにくく、治療中に維持されると考えられる。
そこで、治療直前のCTから作成した投影画像を基に作成したテンプレートによって標的2の位置を判定することによって、標的2がX線透視画像上で視認困難な場合にも、周辺構造を元に標的の3次元位置を更に高い精度で決定することが可能である。特に、その3次元位置に応じてゲート照射を行うことで、標的2への高精度な治療放射線照射、かつ、短時間の治療が可能となる。
<その他>
なお、本発明は上記の実施形態に限られず、種々の変形、応用が可能なものである。上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。
1…被験体
2…標的
3A,3D…周辺構造
3B,3C…周辺構造(追跡周辺構造)
4…共通垂線
10A,10B…X線管(透視装置)
11A,11B…検出器(透視装置)
20…CT撮像装置
30…動体追跡装置
30A…動体追跡制御装置
31…X線撮像装置(透視装置)
32…2次元マッチング装置
33…3次元位置検出装置
34…テンプレート作成装置
40…照射制御装置
50…治療放射線照射装置(照射装置)
60…ベッド
100…放射線治療システム

Claims (10)

  1. 標的の3次元位置を求め、その動きを追跡する動体追跡装置であって、
    少なくとも2以上の方向から前記標的を含む透視画像を取得する透視装置と、
    前記透視装置によって取得した前記透視画像から前記標的の位置を求める動体追跡制御装置と、を備え、
    前記動体追跡制御装置は、
    前記標的を含むCT画像から模擬透視画像を作成し、
    前記模擬透視画像から前記標的を含む2次元領域をテンプレートとして作成し、
    少なくとも2以上の前記透視画像の各々と前記テンプレートとをマッチングして、
    複数の前記マッチングの結果から前記標的の3次元位置を求める
    ことを特徴とする動体追跡装置。
  2. 請求項1に記載の動体追跡装置において、
    前記動体追跡制御装置は、2以上の3次元CT画像から4次元CT画像を作成し、前記4次元CT画像から前記標的の移動量および周辺構造の移動量を求め、求めた前記標的の移動量と前記周辺構造の移動量との差が予め指定された値以下となった周辺構造を追跡周辺構造として抽出し、前記追跡周辺構造を含む前記2次元領域を前記テンプレートとする
    ことを特徴とする動体追跡装置。
  3. 請求項1に記載の動体追跡装置において、
    前記動体追跡制御装置は、2以上の3次元CT画像の各々から前記標的および周辺構造を抽出し、抽出された前記標的および前記周辺構造の移動量を2以上の3次元CT画像から求め、前記標的の移動量との移動量の差が予め指定された値以下となった周辺構造を追跡周辺構造として抽出し、前記追跡周辺構造を含む前記2次元領域を前記テンプレートとする
    ことを特徴とする動体追跡装置。
  4. 請求項2または3に記載の動体追跡装置において、
    前記周辺構造には、前記標的を追跡するために前記標的を有する被験体に事前に埋める追跡用のマーカは含まれない
    ことを特徴とする動体追跡装置。
  5. 請求項2または3に記載の動体追跡装置において、
    前記動体追跡制御装置は、2以上の異なる位相の前記3次元CT画像から変形量を算出し、複数の前記3次元CT画像間の内挿画像を作成し、前記内挿画像に基づいて前記模擬透視画像を作成する
    ことを特徴とする動体追跡装置。
  6. 放射線を発生、照射する照射装置と、
    請求項1に記載の動体追跡装置と、
    前記動体追跡装置からの信号を基に前記照射装置を制御することで前記標的への治療放射線の照射を制御する照射制御装置と、を備えた
    ことを特徴とする放射線治療システム。
  7. 請求項6に記載の放射線治療システムにおいて、
    前記標的を有する被験体を載置するベッドと、
    前記ベッドが収容される治療室に設置され、前記模擬透視画像を作成する基となるCT画像を撮像するCT撮像装置と、を更に備え、
    前記動体追跡装置は、前記治療放射線の照射直前に前記CT撮像装置によって撮像された3次元CT画像から前記模擬透視画像を作成する
    ことを特徴とする放射線治療システム。
  8. 少なくとも2以上の方向から標的を含む透視画像を取得するステップと、
    前記標的を含むCT画像から模擬透視画像を作成するステップと、
    前記模擬透視画像から前記標的を含む2次元領域をテンプレートとして作成するステップと、
    少なくとも2以上の前記透視画像の各々と前記テンプレートとをマッチングするステップと、
    複数の前記マッチングの結果から前記標的の3次元位置を求めるステップと、をコンピュータに実行させる
    ことを特徴とするプログラム。
  9. 標的の動きを追跡する動体の追跡方法であって、
    少なくとも2以上の方向から前記標的を含む透視画像を取得する工程と、
    前記標的を含むCT画像から模擬透視画像を作成する工程と、
    前記模擬透視画像から前記標的を含む2次元領域をテンプレートとして作成する工程と、
    少なくとも2以上の前記透視画像の各々と前記テンプレートとをマッチングする工程と、
    複数の前記マッチングの結果から前記標的の3次元位置を求める工程と、を有する
    ことを特徴とする動体の追跡方法。
  10. 請求項9に記載の動体の追跡方法において、
    前記標的を含むCT画像を取得する工程を、前記標的の3次元位置を求める工程の直前に行う
    ことを特徴とする動体の追跡方法。
JP2019056069A 2019-03-25 2019-03-25 動体追跡装置とそれを備えた放射線治療システム、プログラム、および動体の追跡方法 Active JP7311859B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019056069A JP7311859B2 (ja) 2019-03-25 2019-03-25 動体追跡装置とそれを備えた放射線治療システム、プログラム、および動体の追跡方法
US16/783,206 US11282244B2 (en) 2019-03-25 2020-02-06 Moving body tracking apparatus, radiation therapy system including the same, program, and moving body tracking method
CN202010102815.6A CN111729210B (zh) 2019-03-25 2020-02-19 移动体追踪装置及方法、放射线治疗系统、存储介质
EP20158275.6A EP3714939A1 (en) 2019-03-25 2020-02-19 Moving body tracking apparatus, radiation therapy system including the same, program, and moving body tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019056069A JP7311859B2 (ja) 2019-03-25 2019-03-25 動体追跡装置とそれを備えた放射線治療システム、プログラム、および動体の追跡方法

Publications (2)

Publication Number Publication Date
JP2020156562A true JP2020156562A (ja) 2020-10-01
JP7311859B2 JP7311859B2 (ja) 2023-07-20

Family

ID=69845023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019056069A Active JP7311859B2 (ja) 2019-03-25 2019-03-25 動体追跡装置とそれを備えた放射線治療システム、プログラム、および動体の追跡方法

Country Status (4)

Country Link
US (1) US11282244B2 (ja)
EP (1) EP3714939A1 (ja)
JP (1) JP7311859B2 (ja)
CN (1) CN111729210B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008000456A (ja) * 2006-06-23 2008-01-10 Mitsubishi Heavy Ind Ltd 放射線治療装置制御装置および放射線照射方法
JP2017144000A (ja) * 2016-02-16 2017-08-24 株式会社東芝 医用画像処理装置、方法、プログラム及び放射線治療装置
JP2018089065A (ja) * 2016-12-01 2018-06-14 株式会社島津製作所 X線透視装置
JP2018153277A (ja) * 2017-03-16 2018-10-04 株式会社島津製作所 X線透視装置
JP2019037350A (ja) * 2017-08-23 2019-03-14 株式会社島津製作所 放射線治療用追跡装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154861A (ja) 2006-12-25 2008-07-10 Univ Of Tokyo 放射線治療システム
JP6181459B2 (ja) * 2013-08-05 2017-08-16 株式会社日立製作所 放射線治療システム
JP6351017B2 (ja) * 2014-02-24 2018-07-04 国立研究開発法人量子科学技術研究開発機構 放射線治療用動体追跡装置、放射線治療用照射領域決定装置および放射線治療装置
JP6490417B2 (ja) * 2014-12-18 2019-03-27 株式会社東芝 動体追跡治療装置及び動体追跡治療プログラム
US11045663B2 (en) * 2016-11-02 2021-06-29 Shimadzu Corporation X-ray fluoroscopy device and x-ray fluoroscopy method
US11446520B2 (en) 2017-03-14 2022-09-20 National Univ. Corporation Hokkaido Univ. Radiation therapy apparatus configured to track a tracking object moving in an irradiation object
US10699448B2 (en) * 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008000456A (ja) * 2006-06-23 2008-01-10 Mitsubishi Heavy Ind Ltd 放射線治療装置制御装置および放射線照射方法
JP2017144000A (ja) * 2016-02-16 2017-08-24 株式会社東芝 医用画像処理装置、方法、プログラム及び放射線治療装置
JP2018089065A (ja) * 2016-12-01 2018-06-14 株式会社島津製作所 X線透視装置
JP2018153277A (ja) * 2017-03-16 2018-10-04 株式会社島津製作所 X線透視装置
JP2019037350A (ja) * 2017-08-23 2019-03-14 株式会社島津製作所 放射線治療用追跡装置

Also Published As

Publication number Publication date
EP3714939A1 (en) 2020-09-30
CN111729210B (zh) 2023-10-03
US20200311988A1 (en) 2020-10-01
US11282244B2 (en) 2022-03-22
JP7311859B2 (ja) 2023-07-20
CN111729210A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US11318328B2 (en) Presenting a sequence of images associated with a motion model
US20210049764A1 (en) Manipulation of a respiratory model via adjustment of parameters associated with model images
EP3503972B1 (en) Offline angle selection in rotational imaging and tracking systems
US10143431B2 (en) Medical image processing apparatus and method, and radiotherapeutic apparatus
US9393445B2 (en) Radiation therapy device controller, processing method and program for same
JP6757583B2 (ja) 粒子線線量評価システム、計画装置および粒子線照射システムならびに線量評価方法
US11446520B2 (en) Radiation therapy apparatus configured to track a tracking object moving in an irradiation object
JP2015029793A (ja) 放射線治療システム
JP6565080B2 (ja) 放射線治療装置、その作動方法及びプログラム
JP6742153B2 (ja) 放射線照射システムおよび動体追跡装置
US9393444B2 (en) Treatment planning device, treatment planning method, and program therefor
JP2021010650A (ja) 動体追跡装置および放射線治療システム、ならびに動体の追跡方法
JP2016144573A (ja) 画像処理装置および粒子線治療装置
CN110381838B (zh) 使用体积成像的无视图分次间处置靶运动管理
WO2020137234A1 (ja) 粒子線治療システムおよび線量分布評価システム、ならびに粒子線治療システムの作動方法
JP7311859B2 (ja) 動体追跡装置とそれを備えた放射線治療システム、プログラム、および動体の追跡方法
WO2017188079A1 (ja) 追跡対象認識シミュレータ、若しくはマーカ認識シミュレータおよび動体追跡装置ならびに放射線照射システム
JP7057934B2 (ja) 放射線治療システム
JP2023008382A (ja) 動体追跡装置、放射線照射システム及び動体追跡方法
JP2021168824A (ja) 位置決め装置、放射線治療装置、位置決め方法及びコンピュータプログラム
KR20230117404A (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능한 기억 매체, 및 방사선 치료 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230629

R150 Certificate of patent or registration of utility model

Ref document number: 7311859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350