JP2017143872A - 放射線撮像装置、画像処理方法及びプログラム - Google Patents

放射線撮像装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2017143872A
JP2017143872A JP2016025624A JP2016025624A JP2017143872A JP 2017143872 A JP2017143872 A JP 2017143872A JP 2016025624 A JP2016025624 A JP 2016025624A JP 2016025624 A JP2016025624 A JP 2016025624A JP 2017143872 A JP2017143872 A JP 2017143872A
Authority
JP
Japan
Prior art keywords
image
dimensional
imaging apparatus
pseudo
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016025624A
Other languages
English (en)
Other versions
JP6637781B2 (ja
Inventor
和喜 松崎
Kazuyoshi Matsuzaki
和喜 松崎
隆志 飯村
Takashi Iimura
隆志 飯村
馬場 理香
Rika Baba
理香 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016025624A priority Critical patent/JP6637781B2/ja
Publication of JP2017143872A publication Critical patent/JP2017143872A/ja
Application granted granted Critical
Publication of JP6637781B2 publication Critical patent/JP6637781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】2次元画像を用いて、処置具等の特徴部位の3次元位置を3次元画像上にリアルタイムに表示にすること。
【解決手段】X線撮像装置101において、事前に撮像された3次元画像と事3次元画像から求めた処置具の通過ルートを取得し、模擬構造付加部110が処置具の模擬構造を3次元画像に付加し、疑似投影画像作成部111が模擬構造を付加した3次元画像から疑似投影画像を作成し、画像比較部/探索部112が撮像された2次元X線画像と疑似投影画像を比較し、処置が具最も適合する位置から処置具の3次元位置を決定、3次元画像上に表示する処理を2次元画像撮影毎に実施することで、リアルタイムに処置具位置を表示可能とする。
【選択図】図1

Description

本発明は、放射線撮像装置(以下、最も一般的な例として、X線撮像装置と呼ぶ)、画像処理方法及びプログラムに係り、特に、撮像画像から得られる情報と、別装置にて撮像された画像を利用するための放射線撮像装置、放射線撮像装置における画像処理方法及びプログラムに関する。
従来より、X線源と2次元X線検出器を対向するように設置したX線撮像装置がある。また、支柱の両端にX線源と2次元X線検出器を対向するように設置したX線撮像装置がある。支柱の形状としてはC字形、U字形、コ字形などがあり、支柱を天井から吊るす形状や、支柱を床から支える形状や、支柱を床に立てた別の支柱に取り付ける形状などがある。また、ガントリ上にX線源と2次元X線検出器を対向するように設置したX線撮像装置がある。これらの装置において、X線源と2次元X線検出器と被検体を固定あるいは移動させながら、X線による被検体の静止画像や動画像を得ることが可能である。また、支柱あるいはガントリを移動させることにより、X線源と2次元X線検出器の対を被検体の周囲で回転させながらX線計測を行うことが可能である。あるいは、X線源と検出器を固定し、被検体を回転させながらX線計測を行うことが可能である。これらの回転計測により得られた一連の計測像に対して再構成演算処理を行い、再構成像を得るコーンビームCT(computed tomography)計測が可能である。
また、被検体にX線を照射するX線源と被検体を透過したX線を検出する検出器との対を被検体の周囲で回転させながら計測(回転計測)を行い、得られた一連の計測データに再構成演算処理を施して3次元画像を得るCT(computed tomography)装置がある。CT装置と前述のX線撮像装置との相違は、CT装置は、例えば、X線源と検出器が筺体の中に格納され、被検体の周囲を高速に回転可能な構造となっているため、撮像時間が短く高速に3次元画像を取得可能な点である。このCT装置は、様々ながんを診断するために、広く用いられている。
一方、体内に器具を挿入し検査、治療を行う場合があり、その際に用いられる器具として、例えば気管支内の検査においては内視鏡、心臓のインターベンションにおいてはカテーテルなどがある。これら器具を気管支や血管内に挿入する際、X線撮像装置の透視X線画像が広く用いられている。透視X線画像は2次元画像であるものの、画像がリアルタイムに取得可能であることから、器具の2次元の位置や向きがリアルタイムに確認可能である。これら器具の3次元位置の認識能を向上させるために、特許文献1には、器具の深さ方向情報を取得するX線撮像装置、及び方法が提案されている。
また、肺がん等の確定診断を行うために、気管支内視鏡を用いた生検による検査が広く行われている。この検査は、肺末梢部へ向けて、まず気管支内視鏡下でガイドシースと呼ばれる内腔を持つ筒状の処置具を挿入する。さらに気管支内視鏡が挿入出来ない肺末梢の気管支では、X線撮像装置の透視X線画像下でガイドシースを肺末梢病変部に誘導、留置し、このガイドシースの内腔に生検用の鉗子や細胞診用のブラシを挿入し、病変部へガイドして検体を採取する。
特許第5587861号公報
透視X線画像である2次元X線画像は、X線が通過する体内物質の吸収量の違いを画像化しているため、一般的に、吸収量の高い骨等は、画像上に描出されやすく、吸収量が低い軟組織等は、画像上に描出されにくい。つまり2次元X線画像では、骨等は高いコントラストを持つが、腫瘍等を含む軟組織は低いコントラストとなり識別が簡単ではない場合が想定される。肺がんにおいてもすりガラス陰影(Ground Glass Opacity:GGO)と呼ばれる種類のがんは、2次元X線画像上では認識が容易ではない場合が想定される。
また、処置具を通す血管や気管支等も、同様の理由により2次元X線画像上での認識は容易ではない場合が想定される。
さらに、X線撮像装置下、特に2次元X線画像を用いた生検において、前述した通り、生検鉗子や細胞診ブラシなどの処置具がリアルタイムで認識可能である。しかし、2次元X線画像は、2次元の透視画像であることから、X線源と検出器(中心)を結ぶ軸を考えた場合、軸に垂直な方向での処置具の位置や向きの処置具の位置や向きは認識可能ではあるが、軸と平行な方向(以下、奥行き方向)では、投影方向となってしまうことから、処置具の位置を認識することは容易ではない場合が想定される。
また、2次元X線画像を用いた生検において、病変部から検体を正確に採取するためには、患部と処置具の位置関係が正しく認識される必要がある。しかし、前述した通り、2次元X線画像では、奥行き方向の位置を認識することは容易ではない場合が想定される。仮に2次元X線画像上で、病変部と処置具が重なって描出されていたとしても、必ずしも病変部に処置具が到達しているとは限らないことが想定される。
このように、2次元X線画像上における処置具の3次元位置情報、特に深さ方向の情報の曖昧さが想定される点に対し、前述した特許文献1は、X線撮像装置のX線源及びX線検出器を揺動運動(装置回転方向にわずかに動かす)させ、処置具の深さ方向の情報を取得する手法を開示している。
しかし、このような手法では、X線源とX線検出器を揺動運動させることにより、原理的には複数方向の2次元投影画像が取得可能なため、それらから処置具の3次元位置、特に深さ方向(奥行き方向)の情報が取得可能であるが、揺動運動の大きさによっては、深さ方向の情報の精度が低下する場合が想定される。また、前述した通り揺動運動は、X線源とX線検出器を回転方向に動かす必要があり、その時間分のずれが必ず生じるため、処置具の位置をリアルタイムに取得することが必ずしもできないことが想定される。
本発明は、以上の点に鑑み、X線撮像装置による2次元画像を用いて、処置具等の特徴部位の3次元位置を3次元画像上にリアルタイムに表示にすることを目的とする。
本発明の第1の解決手段によると、
放射線撮像装置であって、
放射線源及び検出器により撮像された、特徴部位の画像を含む処理対象の2次元X線画像と、予め撮像された処理対象の3次元画像と、前記3次元画像から取得された管領域であって特徴部位を挿入するためのルートと、を取得する画像取得部と、
前記3次元画像に、前記ルートに沿った位置に特徴部位の模擬構造を付加する模擬構造付加部と、
前記3次元画像に模擬構造を付加した3次元付加画像から、前記2次元X線画像の撮像配置による、模擬構造を付加した2次元の疑似投影画像を作成する疑似投影画像作成部と、
前記2次元X線画像と疑似投影画像とを比較し、疑似投影画像上の模擬構造を前記ルートに沿って移動させることにより前記2次元X線画像上の特徴部位の位置と疑似投影画像上の模擬構造の位置とが予め定められた類似度以上になったときの模擬構造の位置を特徴部位の位置として前記3次元画像上に表示部により表示させる、及び/又は、特徴部位の位置が表示された前記3次元画像を記憶部に記憶させる画像比較/探索部と、
を備えた放射線撮像装置が提供される。
本発明の第2の解決手段によると、
画像処理方法であって、
放射線源及び検出器により撮像された、特徴部位の画像を含む処理対象の2次元X線画像と、予め撮像された処理対象の3次元画像と、前記3次元画像から取得された管領域であって特徴部位を挿入するためのルートと、を取得するステップと、
前記3次元画像に、前記ルートに沿った位置に特徴部位の模擬構造を付加するステップと、
前記3次元画像に模擬構造を付加した3次元付加画像から、前記2次元X線画像の撮像配置による、模擬構造を付加した2次元の疑似投影画像を作成するステップと、
前記2次元X線画像と疑似投影画像とを比較し、疑似投影画像上の模擬構造を前記ルートに沿って移動させることにより前記2次元X線画像上の特徴部位の位置と疑似投影画像上の模擬構造の位置とが予め定められた類似度以上になったときの模擬構造の位置を特徴部位の位置として前記3次元画像上に表示部により表示させる、及び/又は、特徴部位の位置が表示された前記3次元画像を記憶部に記憶させるステップと、
を含む画像処理方法が提供される。
本発明の第3の解決手段によると、
画像処理プログラムであって、
処理部が、放射線源及び検出器により撮像された、特徴部位の画像を含む処理対象の2次元X線画像と、予め撮像された処理対象の3次元画像と、前記3次元画像から取得された管領域であって特徴部位を挿入するためのルートと、を取得するステップと、
前記処理部が、前記3次元画像に、前記ルートに沿った位置に特徴部位の模擬構造を付加するステップと、
前記処理部が、前記3次元画像に模擬構造を付加した3次元付加画像から、前記2次元X線画像の撮像配置による、模擬構造を付加した2次元の疑似投影画像を作成するステップと、
前記処理部が、前記2次元X線画像と疑似投影画像とを比較し、疑似投影画像上の模擬構造を前記ルートに沿って移動させることにより前記2次元X線画像上の特徴部位の位置と疑似投影画像上の模擬構造の位置とが予め定められた類似度以上になったときの模擬構造の位置を特徴部位の位置として前記3次元画像上に表示部により表示させる、及び/又は、特徴部位の位置が表示された前記3次元画像を記憶部に記憶させるステップと、
をコンピュータに実行させるための画像処理プログラムが提供される。
本発明によると、2次元画像を用いて、処置具等の特徴部位の3次元位置を3次元画像上にリアルタイムに表示にすることができる。
本発明の放射線撮像装置の実施形態の構成の一例を示す概要図である。 本発明の放射線撮像装置の実施形態における処理の流れの一例を示す図である。 本発明の放射線撮像装置の実施形態におけるX線投影画像及びX線投影画像上の処置具の一例を示す図である。 本発明の放射線撮像装置の実施形態における処置具の模擬構造を3次元画像に付加、疑似投影画像を作成、画像を比較する手法の一例を示す図である。 本発明の放射線撮像装置の実施形態における処置具の位置を3次元画像上に配置し表示する画面の一例を示す図である。 本発明の放射線撮像装置の実施形態における処置具ルート候補が複数存在する場合に、処置具の模擬構造を3次元画像に付加、疑似投影画像を作成、画像を比較する手法の一例を示す図である。 本発明の放射線撮像装置の実施形態における体動の補正を実施する構成の一例を示す概要図である。 本発明の放射線撮像装置の実施形態における体動補正処理の流れの一例を示す図である。 本発明の放射線撮像の実施形態における体動移動量の一例、及び画像位置合せ/変換の概要を示す図である。 本発明の放射線撮像装置の実施形態における処置具模擬構造を高精度に付加する構成の一例を示す概要図である。 本発明の放射線撮像装置の実施形態における処置具模擬構造を高精度に付加する手順の一例を示す図である。 本発明の放射線撮像の実施形態における処置具先端位置を逆投影する方帆の概要を示す図である。
1.放射線撮像装置及び画像処理

以下、放射線撮像装置の一例として、特に、X線撮像装置の実施形態を図面を用いて説明する。本発明及び/本実施形態は、これに限らず適宜の放射線撮像装置に適用することができ、また、X線源やX線検出器、2次元X線画像等に限らず、X線以外の適宜の測定源や検出器、透視画像や反射画像等に適宜適用することができる。
図1は、本発明のX線撮像装置の実施形態の構成の一例を示す図である。X線撮像装置101は、X線源102、検出器103、装置制御部104、データ処理部105、表示部106、記憶部107、入力部116を備え、X線撮像装置101は、有線又は無線のネットワークを介して又は直接医用画像サーバ113と接続されている。また、医用画像サーバ113は、画像処理システム115と接続されている。
医用画像サーバ113は、例えば、CT画像、MRI画像、PET画像、超音波画像と言った様々な医用画像を保存する。これら画像及び情報のネットワークを介した通信や保存は、例えば、医療分野にて一般的に使用されているDICOMフォーマットを用いることにより実現可能である。
X線撮像装置101において、装置制御部104は、X線源102及び検出器103を駆動するための駆動部108を備え、またX線源からX線を照射し、検出器103で検出してデータを収集するデータ収集部109を備える。さらにX線撮像装置101は、データ収集部109が収集したデータを表示及びデータ処理部105が処理した結果等を表示するための表示部106、各データ及び処理した結果等を記憶するための記憶部107、各データ等を入力する入力部116を備える。なお、表示部106及び入力部116は、タッチパネル等の一体型のデバイスを用いてもよい。
データ処理部105は、処置具等の特徴部位の構造を模擬した領域を3次元画像に付加する模擬構造付加部110、3次元画像から疑似投影画像(後述)を作成する疑似投影画像作成部111、画像の一致度を比較する画像比較/探索部112、データ収集部109から2次元X線画像を取得し、医用画像サーバ113から3次元画像を取得する画像取得部114を備える。
なお、ここでは、一例として、X線源102及び検出器103による2次元X線画像について説明するが、本発明及び/又は本実施形態は、これに限らず、適宜の2次元画像に適用することができる。
図2は、本発明のX線撮像装置の実施形態における処理の流れの一例を示す図である。
X線撮像装置101は、まず装置制御部104の駆動部108によりX線源102及び検出器103を駆動、例えば回転させ所望の位置へ移動する。更にデータ収集部109により、X線源102のX線管等からX線を照射し、検出器103のパネル等での検出データを収集し、2次元X線画像を作成する。2次元X線画像は、データ収集部109からデータ処理部105へ送られる。さらに、医用画像サーバ113には、被検体を事前に撮像した3次元画像、例えばCT画像が保存されており、CT画像を画像取得部114によりデータ処理部105が取得する。
また、CT画像において、被検体の内部に処置具を挿入する管領域、例えば肺野であれば気管支が描出される。画像処理システム115は、これら3次元画像中の気管支等の管領域を画像処理により認識し、処置具を挿入するルートとしてデータ化し、処置具ルートデータとして作成し、内部及び/又は医用画像サーバ113に保存する。画像処理システム115は、例えば、事前に撮像した血管造影されたCT画像を用いて、血管領域を抽出する、もしくは気管支や大腸のように管領域の内腔に空気が存在する領域を抽出し、その内腔に処置具を挿入する。このように処置具が通過する処置具ルートを生成及び保存するためのワークステーション(WS)が既に市販されている。データ処理部105は、医用画像サーバ113に保存された前述の処置具ルートデータ及びデータの元となる3次元画像データを画像取得部114を用いて取得する。
さらに、X線撮像装置101により被検体を撮像する際の被検体位置は、事前に撮像する3次元画像の撮像位置と合わせることが可能である。例えば、被検体の体表にマーキングをし、それらを基準に被検体位置を合せることが可能である。また一般的な放射線治療における、投影X線画像を用いた位置合せ法を用いることによっても位置合せすることは可能である。
図2において、データ処理部105では、画像取得部114が、上述のように、撮像された予め挿入された処置具を含む2次元X線画像を、データ収集部109から取得する(ステップ201)。
画像取得部114は、上述のように、事前撮像されたCT画像等の3次元画像を医用画像サーバ113から取得する(ステップ202)。
画像取得部114は、上述のように、3次元画像から事前に画像処理システム115で処理された処置具ルートデータが表す処置具ルートを、医用画像サーバ113から取得する(ステップ203)。
次に、取得した処置具ルートは、3次元構造、かつ管構造であるため、模擬構造付加部110は、これら内部に処置具を模擬した構造を3次元画像に手動又は自動で付加する(ステップ204)。
図3は、2次元X線画像及び2次元X線画像上の処置具の一例を示す図である。図3に示す通り、処置具はX線の高吸収領域であるため、2次元X線画像上では他の人体構造物と比較し、コントラストを持って描出される。このような処置具を模擬するために、前述した3次元画像の処置具ルート内に、処置具の大きさや太さを模擬し、かつ被検体内の人体構造物が持つ画素値よりも高い画素値を付加することは可能である。処置具の模擬構造は、マニュアルより表示部106及び入力部116を用いて付加してもよい。あるいは、自動により模擬構造付加部110が、例えば、処置具ルートの管構造の領域を画像処理により抽出し、それら管状領域の中心線を抽出し、その中心線に沿って処置具の大きさや太さを模擬した模擬構造を付加することが出来る。
前述した処置具ルート、及び処置具ルートに処置具の模擬構造を含む事前撮像された3次元画像に対し、2次元X線画像を取得したX線撮像装置101のX線源102及び検出器103と同様の撮像条件にて、疑似投影画像作成部111は、疑似投影画像を作成する(ステップ205)。
ここで、疑似投影画像とは、実際のX線撮像装置101におけるX線源102及び検出器103の空間的な配置に、事前に撮像した3次元画像(例えばCT画像、MRI画像、PET画像等)を配置した模擬体系で、X線源101から検出器102に模擬X線(レイ)を投影し、模擬X線による検出器102での検出画像(例えば、通過距離と画素値等)を算出(レイトレース)した画像である。なお、計算投影画像は、例えば、DRR(Digital Reconstructed Radiograph)画像とも呼ばれる。
図4は、本発明の放射線撮像装置の実施形態における処置具の模擬構造を3次元画像に付加、疑似投影画像を作成、画像を比較する手法の一例を示す図である。以下にその手順を説明する。
X線撮像装置101で撮影した2次元X線画像と、処置具と模擬構造を含む事前撮像された3次元画像から作成した疑似投影画像とを、画像比較/探索部112は比較する(ステップ206)。
画像比較/探索部112は、画像類似度、例えば、この例では2次元X線画像及び疑似投影画像は、画素値がX線の吸収量が数値化されたものであるから、その画素値傾向は類似しているため、2次元X線画像と疑似投影画像の差分値、もしくは相関係数を求めることにより、計算することが可能である。
前述した通り2次元X線画像を取得した際の被検体位置と、事前撮像された3次元画像の被検体位置は位置合せされた状態であるため、2次元X線画像と疑似投影画像に描出される被検体は、ほぼ一致している。一方、2次元X線画像と疑似投影画像で異なって描出されるものは処置具の位置であるため、前述した画像類似度は、処置具の位置の違いが反映された値となる、つまり理想的には、2次元X線画像と疑似投影画像の処置具の一致度が画像類似度に最も影響のある要素のひとつと言える。
画像比較/探索部112は、処置具の位置の違いを反映した画像類似度を用い、処置具の一致度が十分であるかどうかを判断する(ステップ207)。
前述した通り、画像類似度が例えば差分の場合には、処置具の位置が一致している場合には、差分値は小さくなり、画像類似度が相関係数であれば、相関値が大きくなるため、類似度により処置具の一致度を判断することは可能である。
画像類似度が不十分である場合、画像比較/探索部112は、処置具の位置を変更する(ステップ208)。
処置具の位置は、前述した通り処置具ルートに沿って処置具を模擬した構造を移動させることにより変更することが出来る。処置具の位置の変更は表示部106及び入力部116を用いてマニュアルで行ってもよいし、あるいは画像比較/探索部112により自動に行ってもよい。例えば、処置具ルートに沿って予め定められた一定量を移動する、一定長さを付加する、もしくは一定長さを削除することにより、構造を変化することは可能である。これら長さは、任意の長さで良い。なお、処置具の太さ、先端形状等を模擬した構造を変化させるようにしてもよい。
ステップ208で処置具の位置を変更した3次元画像に対して、ステップ205で先と同様に疑似投影画像を作成し、ステップ207で、2次元X線画像との類似度の計算を繰り返すことにより、画像比較/探索部112が、処置具の3次元画像上での位置を算出する。
画像比較/探索部112は、2次元X線画像と疑似投影画像との類似度、つまり処置具の一致度が十分であると判断すると、処置具の位置、例えば先端位置をその位置が存在する3次元画像の断面上に、また3次元画像から作成されたボリュームレンダリング画像上に表示する(ステップ209)。また、画像比較/探索部112は、処置具の位置が表示された3次元画像及び/又はボリュームレンダリング画像を記憶部107に記憶してもよい。
図5は、本発明の放射線撮像装置の実施形態における処置具の位置を3次元画像上に配置し表示する画面の一例を示す図である。X線撮像装置101により現在の被検体を撮像した2次元X線画像を表示し、被検体内の処置具の位置、例えば先端位置を、事前撮像した3次元画像上に表示し、また、3次元画像から作成した気管支のボリュームレンダリング画像上に表示している。
データ処理部105は、実際の処置による処置具の移動をX線画像撮影にてモニタする間、これら処理を繰り返す(ステップ210)。これにより1方向のみの投影画像である2次元X線画像から、処置具の3次元位置を3次元画像上にリアルタイムに表示することが可能となる。
以上の処理は、事前撮像した3次元画像上の処置具ルートが一つの場合を説明したが、処置具ルートは複数存在する場合もあり得る。それは、疾患部位が存在する位置、例えば肺の場合では気管支と気管支の間に疾患部位が存在すると処置具が疾患部位へ至るルートは必ずしも一つではなく、複数存在する場合が想定される。以下にその場合の処理を記載する。
図6は、本発明の放射線撮像装置の実施形態における処置具ルート候補が複数存在する場合に、処置具の模擬構造を3次元画像に付加、疑似投影画像を作成、画像を比較する手法の一例を示す図である。
図6に示すように、疾患部位へ至るルート候補として候補1(図中実線)と候補2(図中点線)の二つ存在し、ルート候補間に疾患部位が存在している場合、実際に処置具を操作する場合には、どちらかの気管支へ挿入される可能性がある。このような場合には、前述した処置具の模擬構造を設定し疑似投影画像を作成する際、疑似投影画像作成部111が複数のルート候補に関して疑似投影画像を作成し、画像比較/探索部112が実際に撮像された2次元X線画像と各疑似投影画像を比較することで、最も類似度の高いもの(又は予め定められた閾値以上の類似度の高いもの)を選択することにより、処置具の3次元位置を決定することが可能である。
処置具ルート候補は、2つに限らず、それ以上であっても、同様の処理を各ルート候補毎に行うことで可能である。
以上の処理により、例えば、従来2次元X線画像のみでは認識が必ずしも簡単ではない場合があった、病変部と鉗子先端と言った処置具の位置関係を一層明確にすることが可能となる。また、3次元画像上には、例えば、2次元X線画像では認識が必ずしも簡単ではない場合が想定される病変部周辺の構造も明瞭に描出されているため、病変部へ向かう鉗子のルートを確認することも可能となる。
このように、本実施形態によると、X線撮像装置による2次元X線画像と事前に撮像された3次元画像とを用い、病変部及び処置具等の特徴部位の相対位置関係が高精度に認識可能となり、また病変を含む処置具等の特徴部位周辺の構造が高精度に認識可能とすることができる。
2.移動量を補正する放射線機能装置及び画像処理

(体動による移動量を補正する方法)
X線撮像装置で取得された2次元X線画像と、事前に撮像された3次元画像は、撮像装置が異なるため全く同じ時刻に撮像されたものではなく、撮像時の体勢、環境等が異なる場合もある。また被検体の体動、例えば心臓の動きや、呼吸等により人体は非剛体的に変形するため、撮像時刻が異なる画像には、それら体動による相違が含まれる場合がある。これらを考慮した本発明の実施形態を以下に示す。
図7は、本発明のX線撮像装置の実施形態における体動による移動量を補正する構成の一例を示す概要図である。
体動による移動量の補正するためのX線撮像装置は、図1に示したX線撮像装置101の構成におけるデータ処理部105に画像位置合せ/変換部701を付加した構成になっており、構成の共通部分は、同様の動作をする。以下に、画像位置合せ/変換部701の動作について説明する。
また、画像処理については、図2と同様であるが、ステップ201及び203とステップ204との間に処理が追加される。図2において、画像位置合せ/変換部701が加わることによる動作は、X線画像と3次元CT画像から作成した疑似投影画像の位置合せ処理である。したがって、その追加される処理の詳細を図8を用いて以下に説明する。
図8は、本発明の放射線撮像装置の実施形態における体動補正処理の流れの一例を示す図である。
また、図9は、本発明の放射線撮像の実施形態における体動移動量の一例、及び画像位置合せ/変換の概要を示す図である。以下にその処理を説明する。
まず、データ処理部105は、疑似投影画像作成部111を用いて事前撮像された3次元画像から求まる疑似投影画像を作成する(ステップ801)。
ここで作成される疑似投影画像は、前述したような処置具の模擬構造を付加することなく、3次元画像からのみ作成する。
データ処理部105は、X線撮像装置により取得された2次元X線画像と、作成した疑似投影画像に対して、画像位置合せ/変換部701を用いて画像位置合せパラメータを計算する。(ステップ802)。
さらに、データ処理部105は、算出した画像位置合せパラメータを2次元X線画像に適用し、画像位置合せ/変換部701を用いて変換する(ステップ803)。
上記以降の処理については、前述した通り図2に示した処理を行うことにより、処置具の3次元位置を求め、表示部106に表示、もしくは記憶部107に記憶する。
以上の処理により、被検体の撮像時の体勢、環境等の違い、さらに心臓や呼吸と言った体動による、求められる処置具の3次元位置を補正が可能となり、高精度な処置具3次元位置をリアルタイムに表示可能となる。
3.処置具の疑似構造付加探索を高速化する方法

処置具が通過する可能性のあるルートを含む3次元画像に対し、処置具の模擬構造を付加する際、ルート内の任意の位置に模擬構造を付加することが可能である。前述した通り、これら付加する位置を変化させながら探索することを記載したが、処置具等の特徴部位の部分、特に先端位置を用いることにより、位置の探索に関する繰り返し数を簡略化することが可能である。その方法について以下に示す。
図10は、本発明の放射線撮像装置の実施形態における処置具模擬構造付加の探索を高速にする構成の一例を示す概要図である。
処置具模擬構造を付加繰り返す探索を高速化するX線撮像装置は、図7に示したX線撮像装置101の構成におけるデータ処理部105に取得された2次元X線画像上の処置具先端を抽出する処置具先端抽出部1001、処置具先端位置をX線撮像装置101のX線源102方向へ逆投影する逆投影演算部1002、逆投影した処置具先端とルート候補が一致する3次元位置を判定する処置具先端−ルート一致判定部1003を加えた構成となっており、構成の共通部分については同様の動作をする。以下に追加された構成の動作について説明する。
画像処理手順については、図2、及び図2に図8を付加した処理と同様であるが、図8の処理の後、処置具の模擬構造を付加するステップ204の前に処理が追加される。処置具先端抽出部1001、逆投影演算部1002、及び処置具先端−ルート一致判定部1003が加わることによる手順について図11を用い、また処理の概要について図12を用いて以下に説明する。
まず、処置具先端抽出部1001が、X線撮像装置101にて取得された2次元X線画像上に描出された処置具先端を抽出する(ステップ1101)。
図3に示した通り、2次元X線画像上の処置具は、高画素値で線状構造の物体として描出されるため、例えば画素値の閾値処理により処置具領域を抽出し、さらに線状構造の端を、処置具の先端として認識することは可能である。
次に、逆投影演算部1002が、、処置具前端位置を、2次元X線画像を撮像した際のX線源102に向けて逆投影する(ステップ1102)。
図12に示す通り、2次元X線画像上の処置具先端は、そもそもX線源から検出器パネルに向け投影されたものであるため、X線源と2次元X線画像上の処置具先端とを結ぶ直線上の3次元位置に処置具先端があることを意味している。したがって、抽出した処置具先端を逆投影する演算をすることは可能である。
さらに、処置具先端−ルート一致判定部1003が、処置具先端を逆投影して求めた直線と3次元画像の処置具ルートが交差する位置を算出する(ステップ1103)。
前述した通り2次元X線画像上の処置具先端を逆投影した直線上に処置具先端が存在するものの、3次元位置は明瞭ではない。一方、処置具は被検体内の通過ルート上、すなわち前述した3次元画像の処置具ルート候補上に存在する。したがって、処置具先端を逆投影した直線と、処置具ルートが交わる位置を求めることにより、処置具先端の3次元位置とすることは可能である。また、計算した処置具の3次元位置を、処置具の模擬構造を付加する処置具先端とし、さらにその周辺を探索することは可能である。
以上の処理により、処置具の模擬構造を付加する位置の探索する繰り返し数を削減し、処置具の3次元位置を高速に算出し、処置具の3次元位置をリアルタイムに表示することが可能となる。
4、付記

本発明及び/又は本文献は、処置具以外にも適宜の特徴部位に適用可能であり、また、処置具先端以外にも適宜の特徴部位の部分に適用可能である。本発明及び/又は本実施形態は、気管(気管支)の他、循環器であれば、血管、やリンパ管、神経、腸等の適宜の管領域の適用可能である。
上述の実施形態では、画像のフォーマット(データ形式)にDICOMフォーマットを使用しているが、もちろん他のフォーマット、例えばJPEG画像やビットマップ画像等のフォーマットを用いることができる。
更に、画像サーバ102にデータファイルを保存するような構成を取っているが、治療計画装置101と位置決めシステム104とが直接通信し、データファイルを交換しても良い。
また、ネットワークによるデータファイル等の通信を用いる形態を説明したが、データファイルの交換手段として他の記憶媒体、例えばフレキシブルディスクやCD−R等の大容量記憶媒体を用いても良い。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の画像処理方法は、その各手順をコンピュータに実行させるための画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。
101・・・X線撮像装置、
102・・・X線源、
103・・・検出器パネル、
104・・・装置制御部
105・・・データ処理部、
106・・・表示部、
107・・・記憶部、
108・・・駆動部、
109・・・データ収集部、
110・・・模擬構造付加部、
111・・・疑似投影画像作成部、
112・・・画像比較/探索部、
113・・・医用画像サーバ、
114・・・画像取得部、
115・・・画像処理システム(ワークステーション)
116・・・入力部
701・・・画像位置合せ/変換部、
1001・・・処置具先端抽出部
1002・・・逆投影演算部
1003・・・処置具先端−ルート一致判定部

Claims (15)

  1. 放射線撮像装置であって、
    放射線源及び検出器により撮像された、特徴部位の画像を含む処理対象の2次元X線画像と、予め撮像された処理対象の3次元画像と、前記3次元画像から取得された管領域であって特徴部位を挿入するためのルートと、を取得する画像取得部と、
    前記3次元画像に、前記ルートに沿った位置に特徴部位の模擬構造を付加する模擬構造付加部と、
    前記3次元画像に模擬構造を付加した3次元付加画像から、前記2次元X線画像の撮像配置による、模擬構造を付加した2次元の疑似投影画像を作成する疑似投影画像作成部と、
    前記2次元X線画像と疑似投影画像とを比較し、疑似投影画像上の模擬構造を前記ルートに沿って移動させることにより前記2次元X線画像上の特徴部位の位置と疑似投影画像上の模擬構造の位置とが予め定められた類似度以上になったときの模擬構造の位置を特徴部位の位置として前記3次元画像上に表示部により表示させる、及び/又は、特徴部位の位置が表示された前記3次元画像を記憶部に記憶させる画像比較/探索部と、
    を備えた放射線撮像装置。
  2. 請求項1に記載された放射線撮像装置において、
    前記2次元X線画像と、前記3次元画像から作成した疑似投影画像との画像位置合せを行って画像位置合せパラメータを算出し、模擬構造を付加した疑似投影画像を画像位置合せパラメータにより変換する画像位置合せ/変換部を、
    さらに備え、
    前記画像比較/探索部が、前記2次元X線画像と、変換した疑似投影画像とを比較することを特徴とする放射線撮像装置。
  3. 請求項1に記載された放射線撮像装置において、
    前記2次元X線画像から、特徴部位の先端又は他の部分を検出する抽出部と、
    特徴部位の先端又は他の部分を放射線源へ向け逆投影する逆投影演算部と、
    を備え、
    逆投影した直線を、模擬構造を付加する際に利用することを特徴とする放射線撮像装置。
  4. 請求項3に記載された放射線撮像装置において、
    特徴部位の先端又は他の部分を逆投影して求めた直線と前記ルートが交差する位置を算出し、交差する位置を特徴部位の先端又は他の部分の3次元位置として求め、該3次元位置を表示部に表示する及び/又は記憶部に記憶するための一致判定部をさらに備えたことを特徴とする放射線撮像装置。
  5. 請求項1に記載された放射線撮像装置において、
    前記模擬構造付加部は、特徴部位の模擬構造を、入力部からの入力に従い付加することを特徴とする放射線撮像装置。
  6. 請求項1に記載された放射線撮像装置において、
    前記模擬構造付加部が、前記ルートの管領域を抽出し、管領域の中心線に沿って特徴部位の大きさ及び/又は太さを模擬した予め定められた構造を模擬構造として付加することを特徴とする放射線撮像装置。
  7. 請求項1に記載された放射線撮像装置において、
    前記画像比較/探索部は、類似度が予め定められた閾値より小さい場合、入力部からの入力に従い、模擬構造の位置、太さ、形状のいずれかひとつ又は複数を変更することを特徴とする放射線撮像装置。
  8. 請求項1に記載された放射線撮像装置において、
    前記画像比較/探索部は、類似度が予め定められた閾値より小さい場合、前記ルートに沿って、予め定められた量を移動すること、予め定められた長さを付加すること、予め定められた長さを削除すること、のいずれかひとつ又は複数により、模擬構造を変化させることを特徴とする放射線撮像装置。
  9. 請求項8に記載された放射線撮像装置において、
    前記画像比較/探索部は、さらに、特徴部位の太さ、先端形状を、予め定められた模擬した構造により変化させることを特徴とする放射線撮像装置。
  10. 請求項1に記載された放射線撮像装置において、
    前記画像比較/探索部は、前記2次元X線画像と疑似投影画像との類似度が予め定められた閾値以上であると判断すると、特徴部位及び/又は特徴部位の先端若しくは他の部分が表示された前記3次元画像の断面画像並びに/若しくはボリュームレンダリング画像を表示部により表示すること及び/又は記憶部に記憶することを特徴とする放射線撮像装置。
  11. 請求項1に記載された放射線撮像装置において、
    前記疑似投影画像作成部は、特徴部位の模擬構造を設定した疑似投影画像を、複数の前記ルートに関してそれぞれ作成し、
    前記画像比較/探索部は、撮像された前記2次元X線画像と複数の疑似投影画像とを比較することで、最も類似度の高い又は予め定められた閾値より類似度の高い疑似投影画像を選択することにより、特徴部位の3次元位置を決定する、
    ことを特徴とする放射線撮像装置。
  12. 請求項1に記載された放射線撮像装置において、
    特徴部位は、処置具であることを特徴とする放射線撮像装置。
  13. 請求項1に記載された放射線撮像装置において、
    管領域は、血管領域若しくはその他の内腔に液体が存在する領域、気管支領域若しくは大腸領域若しくはその他の内腔に空気が存在する領域、又は、神経領域を表した画像領域であることを特徴とする放射線撮像装置。
  14. 画像処理方法であって、
    放射線源及び検出器により撮像された、特徴部位の画像を含む処理対象の2次元X線画像と、予め撮像された処理対象の3次元画像と、前記3次元画像から取得された管領域であって特徴部位を挿入するためのルートと、を取得するステップと、
    前記3次元画像に、前記ルートに沿った位置に特徴部位の模擬構造を付加するステップと、
    前記3次元画像に模擬構造を付加した3次元付加画像から、前記2次元X線画像の撮像配置による、模擬構造を付加した2次元の疑似投影画像を作成するステップと、
    前記2次元X線画像と疑似投影画像とを比較し、疑似投影画像上の模擬構造を前記ルートに沿って移動させることにより前記2次元X線画像上の特徴部位の位置と疑似投影画像上の模擬構造の位置とが予め定められた類似度以上になったときの模擬構造の位置を特徴部位の位置として前記3次元画像上に表示部により表示させる、及び/又は、特徴部位の位置が表示された前記3次元画像を記憶部に記憶させるステップと、
    を含む画像処理方法。
  15. 画像処理プログラムであって、
    処理部が、放射線源及び検出器により撮像された、特徴部位の画像を含む処理対象の2次元X線画像と、予め撮像された処理対象の3次元画像と、前記3次元画像から取得された管領域であって特徴部位を挿入するためのルートと、を取得するステップと、
    前記処理部が、前記3次元画像に、前記ルートに沿った位置に特徴部位の模擬構造を付加するステップと、
    前記処理部が、前記3次元画像に模擬構造を付加した3次元付加画像から、前記2次元X線画像の撮像配置による、模擬構造を付加した2次元の疑似投影画像を作成するステップと、
    前記処理部が、前記2次元X線画像と疑似投影画像とを比較し、疑似投影画像上の模擬構造を前記ルートに沿って移動させることにより前記2次元X線画像上の特徴部位の位置と疑似投影画像上の模擬構造の位置とが予め定められた類似度以上になったときの模擬構造の位置を特徴部位の位置として前記3次元画像上に表示部により表示させる、及び/又は、特徴部位の位置が表示された前記3次元画像を記憶部に記憶させるステップと、
    をコンピュータに実行させるための画像処理プログラム。

JP2016025624A 2016-02-15 2016-02-15 放射線撮像装置及び画像処理プログラム Active JP6637781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016025624A JP6637781B2 (ja) 2016-02-15 2016-02-15 放射線撮像装置及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016025624A JP6637781B2 (ja) 2016-02-15 2016-02-15 放射線撮像装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017143872A true JP2017143872A (ja) 2017-08-24
JP6637781B2 JP6637781B2 (ja) 2020-01-29

Family

ID=59680483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016025624A Active JP6637781B2 (ja) 2016-02-15 2016-02-15 放射線撮像装置及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6637781B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020058637A (ja) * 2018-10-11 2020-04-16 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置、および医用画像処理システム
CN111093505A (zh) * 2017-10-10 2020-05-01 株式会社日立制作所 放射线拍摄装置、图像处理方法以及图像处理程序
KR102396620B1 (ko) * 2020-11-20 2022-05-12 울산대학교 산학협력단 방사선 영상을 사용하여 카테터의 위치를 추적하는 방법 및 장치
KR102464400B1 (ko) * 2022-03-04 2022-11-09 제이피아이헬스케어 주식회사 말의 의료영상을 획득하기 위한 의료영상장치 및 동작 방법
WO2023168682A1 (zh) * 2022-03-11 2023-09-14 常州锦瑟医疗信息科技有限公司 用于确定手术器械在空间中的姿态的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269334A (ja) * 2000-02-26 2001-10-02 Koninkl Philips Electronics Nv 介入放射線医学における対象を測位する方法
US20070189457A1 (en) * 2005-08-22 2007-08-16 Frank Deinzer Method for displaying a devise in a 3-D image of a volumetric data set
WO2012011036A1 (en) * 2010-07-19 2012-01-26 Koninklijke Philips Electronics N.V. 3d-originated cardiac roadmapping
DE102012215001A1 (de) * 2012-08-23 2014-02-27 Siemens Aktiengesellschaft Verfahren zur 2D-3D-Registrierung eines Modells mit einem Röntgenbild
WO2016083275A1 (en) * 2014-11-27 2016-06-02 Koninklijke Philips N.V. Apparatus for determining positions of an interventional instrument in a projection image
JP2016534811A (ja) * 2013-10-30 2016-11-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 位置及び形状決定装置に対する撮像装置の位置合せを支援するための支援機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269334A (ja) * 2000-02-26 2001-10-02 Koninkl Philips Electronics Nv 介入放射線医学における対象を測位する方法
US20070189457A1 (en) * 2005-08-22 2007-08-16 Frank Deinzer Method for displaying a devise in a 3-D image of a volumetric data set
WO2012011036A1 (en) * 2010-07-19 2012-01-26 Koninklijke Philips Electronics N.V. 3d-originated cardiac roadmapping
DE102012215001A1 (de) * 2012-08-23 2014-02-27 Siemens Aktiengesellschaft Verfahren zur 2D-3D-Registrierung eines Modells mit einem Röntgenbild
JP2016534811A (ja) * 2013-10-30 2016-11-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 位置及び形状決定装置に対する撮像装置の位置合せを支援するための支援機器
WO2016083275A1 (en) * 2014-11-27 2016-06-02 Koninklijke Philips N.V. Apparatus for determining positions of an interventional instrument in a projection image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093505A (zh) * 2017-10-10 2020-05-01 株式会社日立制作所 放射线拍摄装置、图像处理方法以及图像处理程序
CN111093505B (zh) * 2017-10-10 2023-06-27 富士胶片医疗健康株式会社 放射线拍摄装置以及图像处理方法
JP2020058637A (ja) * 2018-10-11 2020-04-16 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置、および医用画像処理システム
JP7187247B2 (ja) 2018-10-11 2022-12-12 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置、および医用画像処理システム
KR102396620B1 (ko) * 2020-11-20 2022-05-12 울산대학교 산학협력단 방사선 영상을 사용하여 카테터의 위치를 추적하는 방법 및 장치
KR102464400B1 (ko) * 2022-03-04 2022-11-09 제이피아이헬스케어 주식회사 말의 의료영상을 획득하기 위한 의료영상장치 및 동작 방법
WO2023168682A1 (zh) * 2022-03-11 2023-09-14 常州锦瑟医疗信息科技有限公司 用于确定手术器械在空间中的姿态的方法和装置

Also Published As

Publication number Publication date
JP6637781B2 (ja) 2020-01-29

Similar Documents

Publication Publication Date Title
JP7093801B2 (ja) 手術中の位置調整および誘導を容易にするシステム
US11707241B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
JP5345947B2 (ja) 対象物を撮像する撮像システム及び撮像方法
US8942455B2 (en) 2D/3D image registration method
JP4374234B2 (ja) 医療的侵襲処置計画の方法及び装置
JP7322039B2 (ja) 撮像デバイスのポーズ推定、およびターゲットに対する医療デバイスの位置を判定するためのシステムおよび方法
JP2022517581A (ja) 冠動脈の動的ロードマップを提供するための方法およびシステム
RU2627147C2 (ru) Отображение в реальном времени видов сосудистой сети для оптимального перемещения устройства
RU2479038C2 (ru) Трехмерная реконструкция тела и контура тела
CN108289651B (zh) 用于跟踪身体部位中的超声探头的系统
US10229516B2 (en) Method and apparatus to improve a 3D + time reconstruction
JP6637781B2 (ja) 放射線撮像装置及び画像処理プログラム
JP6503373B2 (ja) 気管マーキング
US10702226B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
JP2008537691A (ja) 診断用精密検査におけるイメージング・ソフトウエアの領域を拡張する方法
JP6349278B2 (ja) 放射線撮像装置、画像処理方法及びプログラム
CN110301883B (zh) 用于导航管状网络的基于图像的向导
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
KR20220124166A (ko) 방사선 파라미터 결정을 위한 시스템 및 방법
US20230172574A1 (en) System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
US20230138666A1 (en) Intraoperative 2d/3d imaging platform
JP6703470B2 (ja) データ処理装置及びデータ処理方法
US20230316550A1 (en) Image processing device, method, and program
EP4202828A1 (en) Systems and methods for radiographic evaluation of a nodule for malignant sensitivity
JP2023172310A (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160603

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170313

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R150 Certificate of patent or registration of utility model

Ref document number: 6637781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250