JP7246952B2 - 医用情報処理装置、x線診断装置及びプログラム - Google Patents

医用情報処理装置、x線診断装置及びプログラム Download PDF

Info

Publication number
JP7246952B2
JP7246952B2 JP2019022267A JP2019022267A JP7246952B2 JP 7246952 B2 JP7246952 B2 JP 7246952B2 JP 2019022267 A JP2019022267 A JP 2019022267A JP 2019022267 A JP2019022267 A JP 2019022267A JP 7246952 B2 JP7246952 B2 JP 7246952B2
Authority
JP
Japan
Prior art keywords
image
ray image
region
ray
calcification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019022267A
Other languages
English (en)
Other versions
JP2020127669A (ja
Inventor
真吾 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2019022267A priority Critical patent/JP7246952B2/ja
Publication of JP2020127669A publication Critical patent/JP2020127669A/ja
Application granted granted Critical
Publication of JP7246952B2 publication Critical patent/JP7246952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、医用情報処理装置、X線診断装置及びプログラムに関する。
X線診断装置は、検査に加え、治療にも利用されている。例えば、心臓冠動脈又は下肢などの血管の狭窄に対する治療として、IVR(Interventional Radiology)と呼ばれる方法が知られている。IVRでは、操作者がリアルタイムで表示されるX線画像を視認しながら、カテーテル及びガイドワイヤを血管内に挿入して病変部まで治療器具を進めて治療を行う。このとき、血管の狭窄をもたらす一因である石灰化がX線画像では視認しづらいため、石灰化の視認し易いCT(Computed Tomography)画像又はMRI(Magnetic Resonance Imaging)画像をX線画像に重ね合わせてIVRをガイドする技術が併用される場合がある。
しかしながら、この種の技術は、多くの場合、被検体の心拍・呼吸による血管の動きや変形、デバイスの挿入による血管の変形などにより、実際の位置とは異なる位置にCT画像等がX線画像に重ね合わされてしまう。従って、この種の技術は、表示されるX線画像において、石灰化の大まかな位置しか提示できない点で改善の余地がある。
米国特許出願公開第2014/0275946号明細書
本発明が解決しようとする課題は、表示されるX線画像において、石灰化の位置をより正確に提示することである。
実施形態に係るX線診断装置は、領域特定部、情報取得部及び強調画像生成部を備えている。
前記領域特定部は、被検体のボリュームデータ上の石灰化位置に基づいて、前記被検体のX線画像上の領域を特定する。
前記情報取得部は、前記X線画像の前記特定された領域の画像又は前記X線画像と当該X線画像における前記特定された領域の位置とに基づいて、前記X線画像における石灰化位置を特定するための特定情報を取得する。
前記強調画像生成部は、前記特定情報に基づいて、前記X線画像における石灰化位置を強調した強調画像を生成する。
図1は、第1の実施形態に係るX線診断装置及び医用情報処理装置を含む医用情報処理システムの構成を示すブロック図である。 図2は、第1の実施形態に係るX線診断装置の構成を示すブロック図である。 図3は、第1の実施形態に係るX線診断装置及び医用情報処理装置のデータ作成機能を説明するための模式図である。 図4は、第1の実施形態に係るX線診断装置及び医用情報処理装置の学習制御機能を説明するための模式図である。 図5は、第1の実施形態に係るX線診断装置及び医用情報処理装置の実行機能を説明するための模式図である。 図6は、第1の実施形態に係るX線診断装置及び医用情報処理装置の取得機能を説明するための模式図である。 図7は、第1の実施形態に係る医用情報処理装置の構成を示すブロック図である。 図8は、第1の実施形態における動作を説明するためのフローチャートである。 図9は、第1の実施形態におけるステップST10の動作を説明するための模式図である。 図10は、第1の実施形態におけるステップST20の動作を説明するための模式図である。 図11は、第1の実施形態における強調処理の動作を説明するための模式図である。 図12は、第1の実施形態におけるオーバーレイの動作を説明するための模式図である。 図13は、第1の実施形態における閾値に応じた強調処理の動作を説明するための模式図である。 図14は、第1の実施形態における対象血管に応じた強調処理の動作を説明するための模式図である。 図15は、第2の実施形態における動作を説明するためのフローチャートである。 図16は、第3の実施形態に係るX線診断装置及び医用情報処理装置のデータ作成機能を説明するための模式図である。 図17は、第3の実施形態に係るX線診断装置及び医用情報処理装置の学習制御機能を説明するための模式図である。 図18は、第3の実施形態に係るX線診断装置及び医用情報処理装置の実行機能を説明するための模式図である。 図19は、第3の実施形態における動作を説明するためのフローチャートである。 図20は、第4の実施形態に係るX線診断装置及び医用情報処理装置の学習制御機能を説明するための模式図である。 図21は、第4の実施形態に係るX線診断装置及び医用情報処理装置の実行機能を説明するための模式図である。 図22は、第4の実施形態における動作を説明するためのフローチャートである。
以下、図面を参照して各実施形態について説明する。
<第1の実施形態>
図1は、第1の実施形態に係るX線診断装置及び医用情報処理装置を含む医用情報処理システムの構成を示すブロック図であり、図2は、X線診断装置の構成を示すブロック図である。図3乃至図6は、X線診断装置及び医用情報処理装置のデータ作成機能、学習制御機能、実行機能及び取得機能を説明するための模式図であり、図7は、医用情報処理装置の構成を示すブロック図である。図1に示す医用情報処理システムは、互いにネットワークNwを介して通信可能なX線診断装置1、医用情報処理装置90、X線CT装置200及びMRI装置210を備えている。なお、この医用情報処理システムは、これに限らず、X線診断装置1の他に、医用情報処理装置90、X線CT装置200及びMRI装置210のうちの少なくとも1台を含む構成に変形可能である。
ここで、X線診断装置1は、撮像装置10、心電計30、インジェクタ40、寝台装置50及びコンソール装置70を備えている。撮像装置10は、高電圧発生装置11、X線発生部12、X線検出器13、Cアーム14、状態検出器141及びCアーム駆動装置142を備えている。
高電圧発生装置11は、X線管の陰極から発生する熱電子を加速するために、陽極と陰極の間に印加する高電圧を発生させてX線管へ出力する。
X線発生部12は、被検体Pに対してX線を照射するX線管と、X線の照射野を限定するX線絞りとを備えている。
X線管は、X線を発生する。具体的には、X線管は、熱電子を発生する陰極と、陰極から飛翔する熱電子を受けてX線を発生する陽極とを保持する真空管である。例えば、X線管には回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。X線管は高圧ケーブルを介して高電圧発生装置11に接続されている。陰極と陽極との間には、高電圧発生装置11により管電圧が印加される。管電圧の印加により陰極から陽極に向けて熱電子が飛翔する。陰極から陽極に向けて熱電子が飛翔することにより管電流が流れる。高電圧発生装置11からの高電圧の印加及びフィラメント電流の供給により、陰極から陽極に向けて熱電子が飛翔し、熱電子が陽極に衝突することによりX線が発生される。
X線絞りは、X線管とX線検出器13の間に位置し、一般的には、絞り羽根、付加フィルタ及び補償フィルタを備えている。X線絞りは、開口領域外のX線を遮蔽することにより、X線管が発生したX線を、被検体Pの関心領域にのみ照射されるように絞り込む。例えば、X線絞りは4枚の鉛板からなる絞り羽根を有し、これらの絞り羽根をスライドさせることで、X線の遮蔽される領域を任意のサイズに調節する。X線絞りの絞り羽根は、操作者が入力インタフェース73から入力した関心領域に応じて、図示しない駆動装置により駆動される。また、X線絞りは、X線の総ろ過を調整するための付加フィルタがスリットから挿入可能となっている。また、X線絞りは、X線検査時に使用される鉛マスクや補償フィルタがアクセサリ挿入口から挿入可能となっている。なお、X線管とX線絞りとの間に、照射X線量を減衰或いは低減させる機能を有するROI(Region Of Interest)フィルタを更に備えてもよい。
X線検出器13は、被検体Pを透過したX線を検出する。このようなX線検出器13としては、X線を直接電荷に変換するものと、光に変換した後、電荷に変換するものとが使用可能であり、ここでは前者を例に説明するが後者であっても構わない。すなわち、X線検出器13は、例えば、被検体Pを透過したX線を電荷に変換して蓄積する平面状のFPD(Flat Panel Detector)と、このFPDに蓄積された電荷を読み出すための駆動パルスを生成するゲートドライバとを備えている。FPDの大きさは一般的に8~12インチであるが、12×16インチの長方形タイプも一般的である。FPDは微小な検出素子を列方向及びライン方向に2次元的に配列して構成される。各々の検出素子はX線を感知し、入射X線量に応じて電荷を生成する光電膜と、この光電膜に発生した電荷を蓄積する電荷蓄積コンデンサと、電荷蓄積コンデンサに蓄積された電荷を所定のタイミングで出力するTFT(薄膜トランジスタ)を備えている。蓄積された電荷はゲートドライバが供給する駆動パルスによって順次読み出される。
X線検出器13の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、FPDから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するA/D変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して2次元投影データを生成する。この2次元投影データは、メモリ71に保存される。
Cアーム14は、X線発生部12とX線検出器13とを被検体P及び天板53を挟んで対向するように保持することで、天板53上の被検体PのX線撮影を行うことができる構成を有する。
具体的にはCアーム14は、天板53の長軸方向及び短軸方向に沿って移動可能となっている。また、Cアーム14は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Cアーム14は、天板53に垂直なY方向と、天板53の長軸方向に沿ったZ方向との両者に直交するX方向の軸を中心に回転可能に保持部に保持されている。また、Cアーム14は、Z方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Cアーム14は、Z方向の軸を回転中心としたスライド動作を行うことができる。また、Cアーム14は、保持部を中心としてX方向の軸を中心とした回転動作(以下、「主回転動作」と称する。)をすることができ、スライドとこの回転の組み合わせにより様々な角度方向からX線画像を観察することを可能とする。さらに、Cアーム14は、Y方向の軸を中心にも回転することができ、これにより、例えば、上述のスライド動作の回転中心軸をX方向とすることができる。なお、X線発生部12のX線焦点と、X線検出器13の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Cアーム14が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位が位置した場合、Cアーム14のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。
このようなCアーム14は、レール下の支持アーム、X方向の軸、Y方向の軸及びZ方向の軸に係る動作を実現するための複数の動力源が該当する適当な箇所に備えられている。これらの動力源はCアーム駆動装置142を構成する。Cアーム駆動装置142は、駆動制御機能742からの駆動信号を読み込んでCアーム14をスライド運動、回転運動、直線運動させる。さらに、Cアーム14には、その角度または姿勢や位置の情報を検出する状態検出器141がそれぞれ備えられている。状態検出器141は、例えば回転角や移動量を検出するポテンショメータや、位置検出センサであるエンコーダ等で構成される。エンコーダとしては、例えば磁気方式、刷子式、あるいは光電式等の、いわゆるアブソリュートエンコーダが使用可能となっている。また、状態検出器141としては、回転変位をデジタル信号として出力するロータリエンコーダあるいは直線変位をデジタル信号として出力するリニアエンコーダなど、様々な種類の位置検出機構が適宜、使用可能となっている。
心電計30は、被検体Pに取り付けられた電極(図示せず)を介して当該被検体Pの心電波形(Electrocardiogram:ECG)を取得する。心電計30は、取得した心電波形及び時間情報を含む心電図データをコンソール装置70の処理回路74及びメモリ71と、医用情報処理装置90の処理回路94及びメモリ91へと出力する。「心位相」の用語は、通常は、心電図データによって検出されたR波を目印にし、R波からR波までの時間を100%で規格化し、現在のフレームの時刻を%で表現したものを指している。例えば、心臓収縮末期の心位相は25%付近である。
インジェクタ40は、被検体Pの造影血管X線画像を撮影する際に、撮影制御機能743から通信された注入量及び注入速度に応じて、被検体Pに造影剤を注入する。
寝台装置50は、被検体Pを載置、移動させる装置であり、基台51と、寝台駆動装置52と、天板53と、支持フレーム54とを備えている。
基台51は、床面に設置され、支持フレーム54を鉛直方向(Y方向)に移動可能に支持する筐体である。
寝台駆動装置52は、寝台装置50の筐体内に収容され、被検体Pが載置された天板53を天板53の長手方向(Z方向)に移動するモータあるいはアクチュエータを含んでいる。寝台駆動装置52は、駆動制御機能742からの駆動信号を読み込んで、天板53を床面に対して水平方向や垂直方向に移動させる。
天板53は、支持フレーム54の上面に設けられ、被検体Pが載置される板である。
支持フレーム54は、被検体Pが載置される天板53を移動可能に支持する。詳しくは、支持フレーム54は、基台51の上部に設けられ、天板53をその長手方向に沿ってスライド可能に支持する。
コンソール装置70は、メモリ71、ディスプレイ72、入力インタフェース73、処理回路74及びネットワークインタフェース76を備えている。
メモリ71は、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ71は、例えば、処理回路74に実行されるプログラムと、X線検出器13から受けた検出データ(投影データ)、処理回路74により生成された医用画像、機械学習モデル、学習済みモデル、処理回路74の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、CT画像(ボリュームデータ)、MRI画像(ボリュームデータ)、X線画像(X線透視画像)、造影血管X線画像(DSA画像)、重畳画像などがある。学習済みモデルは、被検体のX線画像上で特定された領域の画像又は当該X線画像と当該X線画像における特定された領域の位置とに基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力するように機能付けられている。プログラムは、例えば、コンピュータに、被検体のボリュームデータ上の石灰化位置に基づいて、当該被検体のX線画像上の領域を特定する領域特定機能、当該X線画像の当該特定された領域の画像又は当該X線画像と当該X線画像における特定された領域の位置とに基づいて、当該X線画像における石灰化位置を特定するための特定情報を取得する情報取得機能、当該特定情報に基づいて、当該X線画像における石灰化位置を強調した強調画像を生成する強調画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用情報処理装置77の各機能を当該コンピュータに実現させるプログラムが用いられる。メモリ71は、記憶部の一例である。
ディスプレイ72は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路74から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しD/A変換とTVフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ72は、処理回路74によって生成された医用画像や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ72は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。また、ディスプレイ72は、表示部の一例である。また、ディスプレイ72は、デスクトップ型でもよいし、コンソール装置70本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ72は表示部の一例である。
入力インタフェース73は、被検体情報の入力、X線条件の設定、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ID、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース73は、例えば、Cアーム14の移動指示、関心領域(ROI)の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース73は、処理回路74に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路74へと出力する。また、入力インタフェース73は、コンソール装置70本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース73はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路74へ出力する電気信号の処理回路も入力インタフェース73の例に含まれる。
処理回路74は、メモリ71内のプログラムを呼び出し実行することにより、プログラムに対応するシステム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、データ作成機能745、学習制御機能746、実行機能747、強調処理機能748及び表示制御機能749を実現するプロセッサである。なお、図2においては単一の処理回路74にてシステム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、データ作成機能745、学習制御機能746、実行機能747、強調処理機能748及び表示制御機能749が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、データ作成機能745、学習制御機能746、実行機能747、強調処理機能748及び表示制御機能749は、それぞれシステム制御回路、駆動制御回路、撮影制御回路、画像処理回路、データ作成回路、学習制御回路、実行回路、強調処理回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。
システム制御機能741は、例えば、入力インタフェース73から入力された操作者によるコマンド信号、及び各種初期設定条件等の情報を一旦記憶した後、これらの情報を処理回路74の各処理機能に送信する。
駆動制御機能742は、例えば、入力インタフェース73から入力されたCアーム14及び天板53の駆動に関する情報を用いて、Cアーム駆動装置142及び寝台駆動装置52の制御を行う。例えば、駆動制御機能742は、撮像装置10の移動や回転、及び寝台装置50の移動やチルトなどを制御する。
撮影制御機能743は、例えば、システム制御機能741からの情報を読み込んで、高電圧発生装置11における管電圧、管電流、照射時間などのX線条件の制御を行う。X線条件は、管電流と照射時間の積(mAs)を含んでもよい。
画像処理機能744は、例えば、メモリ71内の投影データに対してフィルタリング処理等の画像処理を行ってX線画像データを生成し、X線画像データをメモリ71に保存する。更に、画像処理機能744は、得られた複数のX線画像データに対し合成処理や減算(サブトラクション)処理等を行ない、得られたX線画像データをメモリ71に保存する。なお、造影剤を用いて得られたX線画像から、造影剤を用いずに得られたX線画像を減算処理して得られたX線画像データについては、造影血管X線画像データ又はDSA(Digital Subtraction Angiography)画像ともいう。
データ作成機能745は、被検体のX線画像上の特定された領域の画像又は当該X線画像と当該X線画像における特定された領域の位置と、当該X線画像における石灰化位置を特定するための特定情報とを含む学習用データを作成する。なお、特定された領域は、X線画像内の石灰化した部分を含んでおり、当該X線画像全体よりも小さい領域である。特定された領域は、特定領域、部分領域、小領域又は関心領域などのように読み替えてもよい。なお、以下の説明は、「特定された領域の画像」及び「当該X線画像と当該X線画像における特定された領域の位置」のうち、「特定された領域の画像」を用いる場合を代表例に挙げて述べる。このようなデータ作成機能745は、例えば図3に示すように、領域特定機能745a、情報作成機能745b、学習用データ出力機能745cを有している。領域特定機能745aは、被検体Pのボリュームデータ上の石灰化位置に基づいて、被検体PのX線画像上の領域を特定する。詳しくは、領域特定機能745aは、被検体Pに関して医用画像診断装置で撮影されたボリュームデータ上の石灰化位置(石灰化位置座標)に基づいて、被検体Pに関してX線診断装置1で撮像されたX線画像上の領域を特定する。医用画像診断装置で撮影されたボリュームデータとしては、例えば、X線CT装置で撮影されたCT画像としてもよく、MRI装置で撮影されたMRI画像としてもよい。
情報作成機能745bは、操作者の操作に応じて、特定された領域の画素毎に石灰化の指標を設定することにより、石灰化位置を特定するための特定情報を作成する。この指標(以下、スコアともいう)は、例えば、石灰化らしさ(石灰化の性状、硬い度合い)を0乃至1の範囲で示す値としてもよい。特定情報は、画素毎に石灰化の指標を示す情報であり、石灰化マップ又は石灰化スコアなどと呼んでもよい。なお、情報作成機能745bは、被検体Pに関してX線診断装置1で撮像された造影血管X線画像のうちの特定された領域と同じ位置の領域の画像を、特定された領域の画像(又はX線画像における特定された領域)にオーバーレイし、当該オーバーレイされた領域の画素毎に特定情報を作成してもよい。すなわち、操作者の操作に応じて、オーバーレイされた領域の画素毎に石灰化のスコアを設定してもよい。ここで、オーバーレイする造影血管X線画像は、X線画像の特定された領域が心臓冠動脈の場合、画像間のズレを小さくする観点から、特定された領域と同じ心位相の造影血管X線画像であることが好ましい。なお、本実施形態及び以下の各実施形態は、心臓冠動脈の場合を例に挙げて述べるが、これに限らず、下肢などの血管のように、体動のない血管を対象としてもよい。
学習用データ出力機能745cは、領域特定機能745aにより特定された領域の画像(又はX線画像と当該特定された領域の位置)と、情報作成機能745bにより作成された特定情報とを、入力された当該特定された領域の画像(又はX線画像と当該特定された領域の位置と)を受け付けて当該特定情報を出力する学習済みモデルに使用するための学習用データとして出力する。なお、領域特定機能745a、情報作成機能745b及び学習用データ出力機能745cは、領域特定部、情報作成部及び学習用データ出力部の一例である。
学習制御機能746は、図4に示すように、データ作成機能745により得られた学習用データに基づいて、機械学習モデルM1に機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルM2を作成する。学習制御機能746は、学習済みモデルM2をメモリ71に書き込む。これにより、学習済みモデルM2はメモリ71に記憶される。学習済みモデルM2は、X線画像における特定された領域の画像(又は当該X線画像と当該特定された領域の位置と)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力するように機能付けられている。この場合、学習用データは、X線画像における特定された領域の画像である入力データと、当該特定情報である出力データとを含んでいる。但し、入力データとしては、X線画像における特定された領域の画像に代えて、X線画像と当該特定された領域の位置とを用いてもよい。機械学習モデルは、X線画像における特定された領域の画像(又は当該X線画像と当該特定された領域の位置と)を入力として、当該X線画像における石灰化位置を特定するための特定情報を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル(以下、多層化ネットワークと呼ぶ)であるとする。多層化ネットワークを用いる学習済みモデルM2は、X線画像における特定された領域の画像(又は当該X線画像と当該特定された領域の位置と)を入力する入力層と、当該X線画像における石灰化位置を特定するための特定情報を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有する。なお、入力層は、例えば、特定された領域の画像の画素数に応じたユニットを有してもよく、当該X線画像の画素数に応じたユニット及び当該特定された領域の位置を示す値の個数に応じたユニットを有してもよい。出力層は、例えば、特定された領域の画像の画素毎の石灰化スコアを出力するため、特定された領域の画像の画素数に応じたユニットを有してもよい。また、入力層は、出力信号及び付帯情報を入力してもよく、特定情報は、当該特定された領域及び付帯情報に対応した情報としてもよい。当該学習済みモデルM2は、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。このような多層化ネットワークとしては、例えば、深層学習(Deep Learning)の対象となる多層ニューラルネットワークである深層ニューラルネットワーク(Deep Neural Network:DNN)を用いている。DNNとしては、例えば、動画に対して再帰型ニューラルネットワーク(Recurrent Neural Network:RNN)を用いてもよく、静止画に対して畳込みニューラルネットワーク(Convolutional Neural Network:CNN)を用いてもよい。RNNは、長・短期記憶(Long Short-Term Memory:LSTM)を含んでもよい。以下の説明は、主に、X線画像における特定された領域の画像が動画である場合を例に挙げて述べる。以上の当該多層化ネットワークに関する説明は、以下の全ての機械学習モデル及び学習済みモデルにも該当する。
実行機能747は、被検体のボリュームデータ上の石灰化位置に基づいて、被検体のX線画像上の領域を特定し、X線画像の当該特定された領域の画像(又は当該X線画像と当該X線画像における特定された領域の位置と)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を取得する。このような実行機能747は、例えば、ボリュームデータをアンギオグラフィックビュー表示した画像とX線画像との位置合わせの実行、又は学習済みモデルM2の実行などにより実現可能である。以下の説明は、学習済みモデルM2を実行する場合を代表例に挙げて述べる。例えば、実行機能747は、メモリ71内の学習済みモデルM2を実行することにより、X線画像の特定された領域に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力する。このような実行機能747は、例えば図5に示すように、領域特定機能747a及び情報取得機能747bを有している。
ここで、領域特定機能747aは、被検体Pのボリュームデータ上の石灰化位置に基づいて、被検体PのX線画像上の領域を特定する。詳しくは、領域特定機能747aは、被検体Pに関して医用画像診断装置で撮影されたボリュームデータ上の石灰化位置に基づいて、被検体Pに関してX線診断装置1で撮像されたX線画像上の領域を特定する。なお、「石灰化位置」の用語は、「石灰化の位置」ともいう。また、この領域特定機能747aは、図6に示すように、X線画像g1に関して、被検体Pの心拍及び呼吸に対応する石灰化の位置p1の移動に追従して、当該位置p1を含む領域a1を特定してもよい。あるいは、領域特定機能747aは、被検体Pの心拍及び呼吸に対応する石灰化の位置p1の移動範囲を含む領域a2を特定してもよい。また、図6中、X線画像g1の左上方の直線は、血管に挿入されたカテーテルk1を示している。カテーテルk1の先端が位置する血管から少し下流側の一つの血管において、石灰化した位置p1が被検体Pの心拍及び呼吸に応じて周期的に移動している。
情報取得機能747bは、領域特定機能747により特定された領域の画像(又はX線画像と当該X線画像における特定された領域の位置)と学習済みモデルM2とに基づいて、当該X線画像における特定された領域の石灰化位置を特定するための特定情報を取得する。ここで、特定情報は、当該特定された領域の画素毎の石灰化に関するスコアでもよい。このスコアは、例えば、石灰化らしさ(石灰化の性状、硬い度合い)を0乃至1の範囲で示す値としてもよい。なお、領域特定機能747a及び情報取得機能747bは、領域特定部及び情報取得部の一例である。
強調処理機能748は、実行機能747により取得された特定情報に基づいて、X線画像における石灰化位置を強調した強調画像を生成する。なお、強調処理機能748は、操作者の操作に応じて、石灰化位置の強調に用いる閾値を設定してもよい。また、強調処理機能748は、特定情報が、当該特定された領域の画素毎の石灰化に関するスコアである場合に、特定された領域の画素毎に当該スコアと当該閾値とを比較し、当該比較した結果に基づいて、特定された領域の画素毎に、X線画像の石灰化位置を強調するようにしてもよい。また、強調処理機能748は、撮像されたX線画像がデバイスの画像を含むとき、デバイスの進行先の血管のみに関する特定画像に基づいてX線画像の石灰化位置を強調してもよい。デバイスとしては、例えば、ガイドワイヤやカテーテルのように被検体の血管に挿入されてX線撮像される医療器具であれば、適宜、使用可能となっている。また、強調処理機能748としては、撮像されたX線画像の時間変化に基づいて、特定情報で特定される石灰化位置が常に当該進行先の血管上にあるか否かを判定し、当該判定した結果に応じてX線画像の石灰化位置を強調してもよい。強調処理機能748は、強調画像生成部及び設定部の一例である。
表示制御機能749は、例えば、システム制御機能741からの信号を読み込んで、メモリ71から所望の医用画像データを取得してディスプレイ72に表示する制御などを行う。また、表示制御機能749は、強調処理機能748により生成された強調画像をディスプレイ72に表示させる。表示制御機能749は、表示制御部の一例である。
ネットワークインタフェース76は、コンソール装置70をネットワークNwに接続して医用情報処理装置90、X線CT装置200又はMRI装置210等の他の装置と通信するための回路である。ネットワークインタフェース76としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース76が介在する旨の記載を省略する。
これらメモリ71、ディスプレイ72、入力インタフェース73、処理回路74のデータ作成機能745、学習制御機能746、実行機能747、強調処理機能748及び表示制御機能749は、医用情報処理装置77を構成している。医用情報処理装置77は、画像処理機能744を更に含んでもよい。医用情報処理装置77は、X線診断装置1に内蔵されてもよく、X線診断装置1とは別の装置として、X線診断装置1の外部に設けてもよい。
一方、医用情報処理装置90は、図7に示すように、メモリ91、ディスプレイ92、入力インタフェース93、処理回路94及びネットワークインタフェース96を備えている。
メモリ91は、ROM、RAM、HDD及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ91は、例えば、処理回路94に実行されるプログラム、処理回路94により生成された医用画像、機械学習モデル、学習済みモデル、処理回路94の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、CT画像、MRI画像、X線画像(X線透視画像)、造影血管X線画像(DSA画像)、重畳画像などがある。学習済みモデルは、被検体のX線画像上の特定された領域の画像(又はX線画像と当該X線画像における当該特定された領域の位置と)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力するように機能付けられている。プログラムは、例えば、コンピュータに、被検体のボリュームデータ上の石灰化位置に基づいて、当該被検体のX線画像上の領域を特定する領域特定機能、当該X線画像の当該特定された領域の画像又は当該X線画像と当該X線画像における当該特定された領域の位置とに基づいて、当該X線画像における石灰化位置を特定するための特定情報を取得する情報取得機能、当該特定情報に基づいて、当該X線画像における石灰化位置を強調した強調画像を生成する強調画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用情報処理装置90の各機能を当該コンピュータに実現させるプログラムが用いられる。メモリ91は、記憶部の一例である。
ディスプレイ92は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路94から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しD/A変換とTVフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ92は、処理回路94によって強調された医用画像や、操作者からの各種操作を受け付けるためのGUI等を出力する。例えば、ディスプレイ92は、液晶ディスプレイやCRTディスプレイである。また、ディスプレイ92は、表示部の一例である。また、ディスプレイ92は、デスクトップ型でもよいし、医用情報処理装置90本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ92は表示部の一例である。
入力インタフェース93は、被検体情報の入力、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ID、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース93は、例えば、機械学習や画像処理といった医用情報処理に関する指示、関心領域(ROI)の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース93は、処理回路94に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路94へと出力する。また、入力インタフェース93は、医用情報処理装置90本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース93はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路94へ出力する電気信号の処理回路も入力インタフェース93の例に含まれる。
処理回路94は、メモリ91内のプログラムを呼び出し実行することにより、プログラムに対応するデータ作成機能945、学習制御機能946、実行機能947、強調処理機能948及び表示制御機能949を実現するプロセッサである。なお、図7においては単一の処理回路94にてデータ作成機能945、学習制御機能946、実行機能947、強調処理機能948及び表示制御機能949が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、データ作成機能945、学習制御機能946、実行機能947、強調処理機能948及び表示制御機能949は、それぞれデータ作成回路、学習制御回路、実行回路、強調処理回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。また、医用情報処理装置90内のデータ作成機能945、学習制御機能946、実行機能947、強調処理機能948及び表示制御機能949は、X線診断装置1内のデータ作成機能745、学習制御機能746、実行機能747、強調処理機能748及び表示制御機能749と同様の機能である。このため、以下のデータ作成機能945、学習制御機能946、実行機能947、強調処理機能948及び表示制御機能949に関する説明は、適宜、重複する部分などを省略して述べる。
データ作成機能945は、被検体のX線画像上の特定された領域の画像又は当該X線画像と当該X線画像における特定された領域の位置と、当該X線画像における石灰化位置を特定するための特定情報とを含む学習用データを作成する。このようなデータ作成機能945は、例えば図3に示したように、領域特定機能945a、情報作成機能945b、学習用データ出力機能945cを有している。領域特定機能945aは、被検体Pのボリュームデータ上の石灰化位置に基づいて、被検体PのX線画像上の領域を特定する。詳しくは、領域特定機能945aは、被検体Pに関して医用画像診断装置で撮影されたボリュームデータ上の石灰化位置(石灰化位置座標)に基づいて、被検体Pに関してX線診断装置1で撮像されたX線画像上の領域を特定する。
情報作成機能945bは、X線画像の特定された領域の画像(又はX線画像と当該X線画像における特定された領域の位置と)に基づき、操作者の操作に応じて当該X線画像における石灰化位置を特定するための特定情報を作成する。例えば、情報作成機能945bは、操作者の操作に応じて、特定された領域の画素毎に石灰化の指標を設定することにより、石灰化位置を特定するための特定情報を作成する。なお、情報作成機能945bは、被検体Pに関してX線診断装置1で撮像された造影血管X線画像のうちの特定された領域と同じ位置の領域の画像を、特定された領域の画像(又はX線画像における特定された領域)にオーバーレイし、当該オーバーレイされた領域の画素毎に特定情報を作成してもよい。すなわち、操作者の操作に応じて、オーバーレイされた領域の画素毎に石灰化のスコアを設定してもよい。ここで、オーバーレイする造影血管X線画像は、X線画像の特定された領域が心臓冠動脈の場合、画像間のズレを小さくする観点から、特定された領域と同じ心位相の造影血管X線画像であることが好ましい。また、情報作成機能945bは、操作者の操作に応じて、オーバーレイする造影血管X線画像の濃度又は透過度を調整する機能を有してもよい。
学習用データ出力機能945cは、領域特定機能945aにより特定された領域の画像(又はX線画像と当該特定された領域の位置)と、情報作成機能945bにより作成された特定情報とを、入力された当該特定された領域の画像(又はX線画像と当該特定された領域の位置と)を受け付けて当該特定情報を出力する学習済みモデルに使用するための学習用データとして出力する。なお、領域特定機能945a、情報作成機能945b及び学習用データ出力機能945cは、領域特定部、情報作成部及び学習用データ出力部の一例である。
学習制御機能946は、図4に示したように、データ作成機能945により得られた学習用データに基づいて、機械学習モデルM1に機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルM2を作成する。学習制御機能946は、学習済みモデルM2をメモリ91に書き込む。これにより、学習済みモデルM2はメモリ91に記憶される。学習済みモデルM2は、X線画像における特定された領域の画像(又は当該X線画像と当該特定された領域の位置と)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力するように機能付けられている。この場合、学習用データは、X線画像における特定された領域の画像である入力データと、当該特定情報である出力データとを含んでいる。但し、入力データとしては、X線画像における特定された領域の画像に代えて、X線画像と当該特定された領域の位置とを用いてもよい。機械学習モデルは、X線画像における特定された領域の画像(又は当該X線画像と当該特定された領域の位置と)を入力として、当該X線画像における石灰化位置を特定するための特定情報を出力する、複数の関数が合成されたパラメータ付き合成関数である。
実行機能947は、ボリュームデータ上の石灰化位置に基づいてX線画像上の領域を特定し、X線画像の当該特定された領域の画像(又は当該X線画像と当該X線画像における特定された領域の位置と)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を取得する。このような実行機能947は、例えば、ボリュームデータをアンギオグラフィックビュー表示した画像とX線画像との位置合わせの実行、又は学習済みモデルM2の実行などにより実現可能である。以下の説明は、学習済みモデルM2を実行する場合を代表例に挙げて述べる。例えば、実行機能947は、メモリ91内の学習済みモデルM2を実行することにより、X線画像上の特定された領域の画像に基づいて、当該X線画像における石灰化位置を特定するための特定情報を取得する。このような実行機能947は、例えば図5に示したように、領域特定機能947a及び情報取得機能947bを有している。
ここで、領域特定機能947aは、被検体Pのボリュームデータ上の石灰化位置に基づいて、被検体PのX線画像上の領域を特定する。詳しくは、領域特定機能947aは、被検体Pに関して医用画像診断装置で撮影されたボリュームデータ上の石灰化位置に基づいて、被検体Pに関してX線診断装置1で撮像されたX線画像上の領域を特定する。ここで、医用画像診断装置で撮影されたボリュームデータとしては、例えば、X線CT装置200で撮影されたCT画像、及びMRI装置210で撮影されたMRI画像が適宜、使用可能となっている。なお、この領域特定機能947aは、図6に示したように、X線画像g1に関して、被検体Pの心拍及び呼吸に対応する石灰化の位置p1の移動に追従して、当該位置p1を含む領域a1を特定してもよい。あるいは、領域特定機能947aは、被検体Pの心拍及び呼吸に対応する石灰化の位置p1の移動範囲を含む領域a2を特定してもよい。
情報取得機能947bは、領域特定機能947aにより特定された領域の画像(又はX線画像と当該X線画像における特定された領域の位置と)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を取得する。例えば、情報取得機能947bは、領域特定機能947aにより特定された領域の画像(又はX線画像と当該X線画像における特定された領域の位置)と学習済みモデルM2とに基づいて、当該X線画像における石灰化位置を特定するための特定情報を取得する。ここで、特定情報は、当該特定された領域の画素毎の石灰化に関するスコアでもよい。このスコアは、例えば、石灰化らしさ(石灰化の性状、硬い度合い)を0乃至1の範囲で示す値としてもよい。なお、領域特定機能947a及び情報取得機能947bは、領域特定部及び情報取得部の一例である。
強調処理機能948は、実行機能947により取得された特定情報に基づいて、X線画像における石灰化位置を強調した強調画像を生成する。なお、強調処理機能748は、操作者の操作に応じて、石灰化位置の強調に用いる閾値を設定してもよい。また、強調処理機能748は、特定情報が、当該特定された領域の画素毎の石灰化に関するスコア(指標)である場合に、特定された領域の画素毎に当該スコアと当該閾値とを比較し、当該比較した結果に基づいて、特定された領域の画素毎に、X線画像の石灰化位置を強調するようにしてもよい。また、強調処理機能948は、撮像されたX線画像がデバイスの画像を含むとき、デバイスの進行先の血管のみに関する特定画像に基づいてX線画像の石灰化位置を強調してもよい。デバイスとしては、例えば、ガイドワイヤやカテーテルのように被検体の血管に挿入されてX線撮像される医療器具であれば、適宜、使用可能となっている。また、強調処理機能948としては、撮像されたX線画像の時間変化に基づいて、特定情報で特定される石灰化位置が常に当該進行先の血管上にあるか否かを判定し、当該判定した結果に応じてX線画像の石灰化位置を強調してもよい。強調処理機能948は、強調処理部及び設定部の一例である。
表示制御機能949は、例えば、入力インタフェース93からの信号を読み込んで、メモリ91から所望の医用画像データを取得してディスプレイ92に表示する制御などを行う。また、表示制御機能949は、強調処理機能948により生成された強調画像をディスプレイ92に表示させる。表示制御機能949は、表示制御部の一例である。
ネットワークインタフェース96は、医用情報処理装置90をネットワークNwに接続してX線診断装置1、X線CT装置200又はMRI装置210等の他の装置と通信するための回路である。ネットワークインタフェース96としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース96が介在する旨の記載を省略する。
なお、医用情報処理装置90内のデータ作成機能945、学習制御機能946、実行機能947、強調処理機能948及び表示制御機能949は、X線診断装置1内のデータ作成機能745、学習制御機能746、実行機能747、強調処理機能748及び表示制御機能749と同様の機能である。すなわち、医用情報処理システムとしては、医用情報処理装置90内の各機能945~949、又はX線診断装置1内の各機能745~749、のいずれかの動作が実行される。なお、医用情報処理装置90の処理回路94は、X線診断装置1内の画像処理機能744と同様の画像処理機能を更に実現してもよい。
X線CT装置200は、被検体Pに関して医用画像を撮影する医用画像診断装置の一例である。X線CT装置200は、被検体PをCT撮影し、得られたCT画像(ボリュームデータ)をX線診断装置1又は医用情報処理装置90に送信する。
MRI装置210は、被検体Pに関して医用画像を撮影する医用画像診断装置の他の一例である。MRI装置210は、被検体PをMRI撮影し、得られたMRI画像(ボリュームデータ)をX線診断装置1又は医用情報処理装置90に送信する。
次に、以上のように構成された医用情報処理装置の動作について図8のフローチャート及び図9乃至図14の模式図を用いて説明する。なお、X線診断装置1の処理回路74、及び医用情報処理装置90の処理回路94は、データ作成機能、学習制御機能、実行機能、強調処理機能及び表示制御機能に関し、ほぼ同様の動作を実行する。これに伴い、重複した文言の繰り返しを避けて理解を容易にする観点から、以下の説明では、当該各機能の動作について、医用情報処理装置90の処理回路94を代表例に挙げて述べる。このような代表例の説明は、適宜、装置名及び参照符号などを読み替えることにより、X線診断装置1の処理回路74の動作の説明に適用することができる。このことは、以下の各実施形態でも同様である。また、医用情報処理装置90のメモリ91は、X線診断装置1で撮像されたX線画像における特定された領域に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力するように機能付けられた学習済みモデルM2を記憶した状態であるとする。
始めに、X線CT装置200は、被検体PをCT撮影し、得られた三次元のCT画像(ボリュームデータ)を医用情報処理装置90に送信する。医用情報処理装置90の処理回路94は、受信したCT画像をメモリ91に保存する。なお、CT画像に代えて、MRI装置210が送信した三次元のMRI画像(ボリュームデータ)をメモリ91に保存してもよい。以下の説明は、CT画像を保存した場合を代表例に挙げて述べる。
ステップST10において、X線診断装置1の処理回路74は、操作者による入力インタフェース73の操作に応じて、撮像装置10を制御し、X線透視撮像を開始する。これにより、被検体PのX線画像が動画として得られる。このX線画像は、X線透視撮像中、X線診断装置1から医用情報処理装置90に送信される。医用情報処理装置90の処理回路94は、受信したX線画像をメモリ91に保存する一方、ディスプレイ92に表示させる。このとき、例えば図9に示すように、時刻t1において、石灰化した位置p1~p3と、血管に挿入されたカテーテルk1とを視認可能なX線画像g1が得られる。また、インジェクタ40からカテーテルk1を通して血管v1に造影剤を注入した場合、時刻t2~t4に一例を示すように、造影撮像が行われる。例えば、時刻t2において血管v1が造影され始める。時刻t3において血管v1内を造影剤が進行していく。時刻t4において血管v1から造影剤が流出していく。時刻t5において血管v1から造影剤が流出し、時刻t1と同様に、石灰化した位置p1~p3と、カテーテルk1とを視認可能なX線画像g1が得られる。なお、時刻t2~t4の間、被検体Pの心拍及び呼吸により、X線画像g1内において、血管v1等の位置が移動している。ステップST10で開始したX線透視撮像は、ステップST50の終了まで継続して行われる。また、X線透視撮像中、必要により、時刻t2~t4に示した如き、造影剤を用いた造影撮像が行われる。
ステップST10の後、ステップST20において、医用情報処理装置90の処理回路94は、被検体Pに関してX線CT装置200で撮影されたCT画像の石灰化位置に基づいて、被検体Pに関してX線診断装置で撮像されたX線画像における特定した領域を取得する。このようなステップST20においては、例えば、ステップST21~ST23の処理が半自動又は自動で行われる。以下の説明では、手動の場合を例に挙げて述べる。
ステップST21において、処理回路94は、図10に示すように、操作者による入力インタフェース93の操作に応じて、被検体PのCT画像ct1をディスプレイ92に表示させ、CT画像ct1上の血管v1内の石灰化の位置p1~p3を指定する。詳しくは、処理回路94は、操作者の操作により指定された点及びその点の周囲にある同様のCT値をもつ領域を、石灰化の位置として指定する。なお、処理回路94は、このような半自動の指定に代えて、石灰化に対応するCT値に基づいて石灰化の位置を自動で指定してもよい。このCT画像ct1は、例えば、アンギオグラフィックビューという表示方法を用い、冠動脈のみをMIP(maximum intensity projection)で表示した画像であり、冠動脈の石灰化の位置p1~p3が白く表示されている。但し、CT画像ct1は、これに限らず、ボリュームレンダリングやcMPR(curved multi planar reformat)といった他の表示方法を用いた画像としてもよい。
ステップST21の後、ステップST22において、処理回路94は、CT画像ct1上で指定された石灰化の位置p1~p3に基づいて、X線画像g1上の石灰化の位置p1~p3を特定する。例えば、処理回路94は、CT画像ct1とX線画像g1との位置合わせ又は位置座標の関連付けを行うことにより、CT画像ct1上の位置p1~p3を、X線画像g1上の位置p1~p3に対応付ける。
ステップST22の後、ステップST23において、処理回路94は、特定した石灰化の位置p1~p3を含む領域a1を特定する。これにより、処理回路94は、X線画像に含まれる石灰化の位置を含む領域を特定する。この例では、処理回路94は、被検体Pの心拍及び呼吸に対応する石灰化の位置の移動に追従して、当該位置を含む領域a1を特定する。但し、これに限らず、処理回路94は、被検体Pの心拍及び呼吸に対応する石灰化の位置の移動範囲を含む領域a2を特定してもよい。しかる後、処理回路94は、当該特定した領域の画像をX線画像g1から切り出す。いずれにしても、このようなステップST21~ST23の実行により、ステップST20が終了する。
ステップST20の終了後、ステップST30において、処理回路94は、切り出された特定された領域a1の画像と、メモリ71内の学習済みモデルM2とに基づいて、当該領域a1の石灰化位置を特定するための特定情報を取得する。例えば、処理回路94は、当該領域a1の画素毎の石灰化に関するスコアを取得する。このスコアは、例えば、石灰化らしさ(石灰化の性状、硬い度合い)を0乃至1の範囲で示す値とする。この場合、スコアは、血管内壁が柔らかいほど0に近い値となり、血管内壁が硬いほど1に近い値となる。なお、スコアは、0と1の関係を逆にしてもよい。いずれにしても、処理回路94は、領域a1の石灰化位置を特定するための特定情報を取得する。
ステップST30の後、ステップST40~ST50において、処理回路94は、当該取得された特定情報に基づいて、撮像されたX線画像g1における石灰化位置を強調処理して強調画像を生成し、当該強調画像をディスプレイ72に表示させる。
これにより、例えば、図11の左側に示す如き、強調処理前のX線画像g1が、図11の右側に示すように強調処理後のX線画像g1(強調画像)として表示される。強調処理前のX線画像g1では、カテーテルk1と、石灰化の位置p1とが明瞭に視認可能であり、石灰化の位置p2,p3が微かに視認可能であったのに対し、強調処理後のX線画像g1では、石灰化の位置p1~p3が強調されて視認可能となっている。強調処理としては、例えば、着色処理や濃淡の変更処理などが適宜、使用可能となっている。着色処理に関しては、例えば、石灰化に関するスコア毎に、カラー画像の色(例、赤から青まで、黄色、緑、水色を介して、連続的に変化するグラデーション)を定めてもよい。濃淡の変更処理としては、例えば、石灰化に関するスコア毎に、白黒画像の階調(例、黒から白まで、濃淡の異なる灰色を介して、連続的に変化するグラデーション)を定めてもよい。なお、濃淡は、白黒の階調に限らず、特定色の階調を用いてもよい。このようなグラデーションを用いる場合、石灰化の位置・形状に加え、石灰化の性状を強調表示することができる。
また例えば、図12に示すように、X線画像g1上に石灰化の位置p1~p3を強調表示する際に、参考までに血管v1の画像をオーバーレイしてもよい。図12の右上側に、心電同期させた造影血管X線画像をオーバーレイしたX線画像g1aを示し、図12の右下側に、CT画像をオーバーレイしたX線画像g1bを示す。
但し、このような強調処理は、過度に施すと、X線撮像された石灰化の状態を視認しにくくするので、適宜、調整可能とすることが好ましい。このような調整手法としては、例えば、(a)度合いを調整する手法、(b)時間を調整する手法、及び(c)領域を調整する手法、が適宜、実行可能である。
上記(a)の手法としては、例えば、(a1)着色処理の閾値を変更する手法、及び(a2)着色又は濃淡の透過度(若しくは濃度)を変更する手法がある。上記(a1)の方法としては、例えば図13に示すように、処理回路94が、操作者の操作に応じて、強調処理に用いる閾値をカラースケールcs1に設定する。この閾値は、カラースケールcs1に応じて着色処理が施されるスコアsc1の下限値を示しており、カラースケールcs1の下限値に相当する。このため、閾値の調整により、着色処理(強調処理)の有無や色変化の細かさを変更可能となっている。例えば、閾値「0.6」の場合、スコアsc1が0.6~1の範囲でカラー画像の色(例、赤から青までの前述したグラデーション)が定められる。同様に、閾値「0.3」の場合、スコアsc1が0.3~1の範囲でカラー画像の色(例、前述したグラデーション)が定められる。なお、小さい範囲の方が色変化が細かい。これにより、処理回路94は、特定された領域a1の画素毎にスコアsc1と閾値とを比較し、比較した結果に基づいて、特定された領域a1の画素に対応するX線画像g1の画素毎に強調処理を実行して、当該X線画像g1をディスプレイ92に表示させる。例えば閾値「0.3」の場合、図13の右上側に示すように、位置p1の画素毎に、赤のグラデーションで着色処理が施され、位置p2の画素毎に、黄色のグラデーションで着色処理が施され、位置p3の画素毎に、緑のグラデーションで着色処理が施される。閾値「0.6」の場合、位置p1の画素毎に、赤のグラデーションで着色処理が施されるが、位置p2,p3の画素毎のスコアが閾値「0.6」未満のため、着色処理が施されない。なお、これに限らず、カラースケールcs1の0乃至1の範囲で色のグラデーションを定めておき、スコアsc1が閾値を超えた位置の画素のみ着色処理を施すようにしてもよい。また、上記(a2)の手法としては、例えば、処理回路94が、操作者の操作に応じて、強調処理に用いる着色又は濃淡の透過度(若しくは濃度)を設定し、当該設定した透過度に基づいて強調処理を実行する。
上記(b)の手法としては、例えば、(b1)色を点滅させる手法、及び(b2)強調処理のオン/点滅/オフを制御する手法がある。上記(b1)の手法としては、例えば、心電計30の出力に基づいて、ある心位相だけ強調処理を施す手法を用いてもよく、強調処理の有無の間で透過度を1心拍よりも長周期で変動させる手法を用いてもよい。あるいは、上記(b1)の手法としては、例えば、心位相とは独立して間欠的に強調処理を施す手法を用いてもよい。また、上記(b2)の手法としては、処理回路94が、操作者の操作に応じて、強調処理のオン、点滅、オフを切り替えてもよい。なお、ここでいう「強調処理の点滅」は、上記(b1)の手法を用いることを意味する。
上記(c)の手法としては、(c1)デバイス先端付近の石灰化のみ強調表示する手法、(c2)対象血管の石灰化のみ強調表示する手法、(c3)手動で指定した領域の石灰化のみ強調表示する手法がある。上記(c1)の手法としては、例えば、X線画像g1がカテーテルk1の画像を含むとき、カテーテルk1の先端から所定範囲の領域内にある石灰化の位置のみを強調処理する。このとき、カテーテルk1の移動に応じて強調処理の領域を移動させる。上記(c2)の手法としては、例えば、X線画像g1がカテーテルk1の画像を含むとき、カテーテルk1の進行先の血管(対象血管)のみに関する特定情報に基づいてX線画像の石灰化位置を強調する。例えば心臓の場合、右冠動脈(RCA)、左前下行枝(LAD)及び左回旋枝(LCX)のうち、デバイスの進行先である対象血管のみを強調処理の対象にする。ここで、対象血管は、例えば、ステップST20で用いたCT画像上で指定される。このとき、処理回路94は、撮像されたX線画像の時間変化に基づいて、特定情報で特定される石灰化位置が常に進行先の血管上にあるか否かを判定し、判定した結果に応じてX線画像の石灰化位置を強調してもよい。図14に一例を示すように、時刻t21において、X線画像g2内の対象血管v2上に石灰化の位置p4,p5があるとする。ここで、石灰化の位置p5は、対象血管v2が、奥行き方向の異なる他の血管と交差した位置にあるので、二次元のX線画像g2だけでは対象血管v2上にあるか否かを識別できない状況にあるとする。続いて、時刻t21から時間変化した時刻t22において、被検体の心拍及び呼吸に応じて、X線画像g2内の対象血管v2上に石灰化の位置p4がある一方、対象血管v2から石灰化の位置p5が外れたとする。これにより、処理回路94は、例えば、少なくとも1回の呼吸期間において、強調処理の対象となる石灰化の位置p4,p5が常に進行先の対象血管v2上にあるか否かを判定し、判定した結果、常に進行先の対象血管v2にある石灰化の位置p4のみを強調処理する。また、上記(c3)の手法としては、表示中のX線画像g1において、操作者による入力インタフェース93の操作により指定した領域内にある石灰化の位置のみ強調処理する。
いずれにしても、ステップST40~ST50において、処理回路94は、当該取得された特定情報に基づいて、撮像されたX線画像g1における石灰化位置を強調した強調画像を生成し、当該強調画像をディスプレイ92に表示させる。このため、医師は、リアルタイムに表示された強調画像(強調処理が実行されたX線画像)を視認しながらカテーテルk1を進行させ、狭窄した血管を治療することができる。なお、リアルタイムでの表示は、厳密に、撮像された瞬間に表示する処理を意味するのではなく、X線診断装置1側でX線画像が順次取得される処理に並行して、医用情報処理装置90側で当該X線画像から生成された強調画像が順次表示される処理を意味する。
上述したように第1の実施形態によれば、ボリュームデータ上の石灰化位置に基づいてX線画像上の領域を特定する。X線画像の特定された領域の画像又はX線画像と当該X線画像における特定された領域の位置とに基づいて、X線画像における石灰化位置を特定するための特定情報を取得する。特定情報に基づいて、X線画像における石灰化位置を強調した強調画像を生成する。これにより、表示されるX線画像において、石灰化の位置をより正確に提示することができる。
補足すると、X線診断装置1のX線画像において、石灰化位置は、視認しにくいが、X線画像データ上には存在する。このため、ボリュームデータ上の石灰化位置から、X線画像上の石灰化位置を含む領域を特定する。その特定した領域の画像又は特定した領域の位置に基づいて、X線画像上の石灰化位置やその形状・性状を色等の方法で強調表示する。これにより、患者の心拍・呼吸による血管の動きや変形、デバイスの挿入による血管の変形などがあっても、石灰化位置をより正確に提示でき、もって、IVRを支援することができる。
また、第1の実施形態によれば、特定された領域の画像又はX線画像と特定された領域の位置とに基づいて、特定情報を出力するように機能付けられた学習済みモデルを記憶する。また、特定された領域の画像又はX線画像と特定された領域の位置と学習済みモデルとに基づいて、特定情報を取得する。このように、学習済みモデルから出力された特定情報により、石灰化位置を強調するので、表示されるX線画像において、石灰化の位置をより正確に提示することができる。また、特定した領域の画像又は特定された領域の位置を用いることで、X線画像から明らかに不要な領域(特定された領域以外の領域)を省くことができるため、誤検出の抑制や処理時間の短縮を行うことができる。
また、第1の実施形態によれば、被検体の心拍及び呼吸に対応する石灰化の位置の移動に追従して、領域の位置を特定する。この場合、石灰化の位置の移動範囲を含む領域に比べ、特定される領域の大きさをより小さくできるので、学習済みモデルから出力される特定情報の精度の向上を期待することができる。
また、第1の実施形態によれば、被検体の心拍及び呼吸に対応する石灰化の位置の移動範囲を含む領域を特定してもよい。この場合、位置の移動に追従した領域に比べ、追従させる処理を省略できるので、より高速な特定処理を期待することができる。
また、第1の実施形態によれば、操作者の操作に応じて、石灰化位置の強調に用いる閾値を設定する。また、特定情報は、当該特定された領域の画素毎の石灰化に関する指標である。また、当該特定された領域の画素毎に当該指標と当該閾値とを比較し、当該比較した結果に基づいて、特定された領域の画素毎に、X線画像の石灰化位置を強調する。これにより、石灰化位置の強調に用いる閾値を変更できるので、石灰化位置の強調後に表示されるX線画像(強調画像)の視認性の向上を図ることができる。
また、第1の実施形態によれば、X線画像がデバイスの画像を含むとき、当該デバイスの進行先の血管のみに関する特定情報に基づいてX線画像の石灰化位置を強調する。これにより、デバイスの進行先の血管とは異なる血管の石灰化に関する強調表示を阻止できるので、デバイスの進行先の血管上にある石灰化の視認性を向上させることができる。
また、第1の実施形態によれば、X線画像の時間変化に基づいて、特定情報で特定される石灰化位置が常に進行先の血管上にあるか否かを判定し、判定した結果に応じてX線画像の石灰化位置を強調する。これにより、デバイスの進行先の血管とは異なる血管(進行先の対象血管に交差した血管であって、奥行き方向が異なる血管)の石灰化に関する強調表示を阻止できるので、デバイスの進行先の血管上にある石灰化の視認性を向上させることができる。
<第2の実施形態>
次に、第2の実施形態に係る医用情報処理装置について説明する。以下の説明は、前述した図面と同一部分については同一符号を付してその詳しい説明を省略し、主に、異なる部分について述べる。このことは、以下の各実施形態についても同様である。
第2の実施形態は、第1の実施形態に対応する学習用データの作成及び機械学習モデルの学習に関する形態である。
これに伴い、処理回路94は、図3及び図4に示したように、前述したデータ作成機能945、及び前述した学習制御機能946の動作を実行する。
他の構成は、第1の実施形態と同様である。
次に、第2の実施形態に係る医用情報処理装置の動作について図15のフローチャートを用いて説明する。以下の説明は、学習用データの作成に関する動作(図15)、及び機械学習モデルの学習制御に関する動作、の順に述べる。
(学習用データの作成に関する動作)
ステップST1において、X線診断装置1の処理回路74は、操作者による入力インタフェース73の操作に応じて、撮像装置10を制御し、X線透視撮像を実行する。これにより、被検体PのX線画像が動画として得られる。このX線画像は、X線診断装置1から医用情報処理装置90に送信される。医用情報処理装置90の処理回路94は、受信したX線画像をメモリ91に保存する。
ステップST1の後、ステップST2において、処理回路94は、被検体Pに関してX線CT装置200で撮影されたCT画像(ボリュームデータ)上の石灰化位置に基づいて、被検体Pに関してX線診断装置で撮像されたX線画像における特定した領域を取得する。例えば、処理回路94は、CT画像内で石灰化を示す位置に基づいて、X線画像から領域を特定して取得する。また、ステップST2は、例えば、前述したステップST21~ST23と同様に、ステップST2-1~ST2-3の処理が半自動又は自動で行われる。ステップST2-1~ST2-3の実行により、ステップST2が終了する。このようなステップST2は、図3に示した第1の前処理に対応する。
ステップST2の後、ステップST3において、処理回路94は、被検体Pに関してX線診断装置1で撮像されて医用情報処理装置90に送信された造影血管X線画像を特定した領域にオーバーレイする。詳しくは、処理回路94は、ステップST2で特定した領域に対し、同じ心位相で同じ位置の領域(以下、同じ領域ともいう)の造影血管X線画像をオーバーレイする。これにより、処理回路94は、特定された領域の重畳画像を作成する。また、処理回路94は、操作者の操作に応じて、オーバーレイする造影血管X線画像の濃度または透過度を調節可能なことが好ましい。また、造影血管X線画像をオーバーレイすることは、任意の付加的事項であり、省略してもよい。このようなステップST3は、図3に示した第2の前処理に対応する。
ステップST3の後、ステップST4において、処理回路94は、操作者の操作に応じて、特定した領域の画素毎に石灰化のスコアを設定することにより、石灰化位置を特定するための特定情報を作成する。例えば、処理回路94は、操作者の操作に応じて、ステップST3でオーバーレイされた特定された領域の画素毎に石灰化のスコアを設定する。このスコアは、前述同様に、石灰化らしさ(石灰化の性状、硬い度合い)を0乃至1の範囲で示す値とする。なお、処理回路94は、石灰化のスコアを設定する前に、画素毎の石灰化を視認し易くする観点から、操作者の操作に応じて、動画像であるX線画像の特定された領域を再生、逆再生、コマ送り、コマ戻し可能なことが好ましい。補足すると、石灰化は、静止画より動画の方が視認し易く、動画についても、再生方向や再生速度を変更することにより、視認し易くなる傾向がある。
ステップST4の後、ステップST5において、処理回路94は、ステップST2で特定された領域の画像と、ステップST4で作成された特定情報とを、学習済みモデルに使用するための学習用データとして出力する。学習用データは、X線画像における特定された領域の画像である入力側データと、X線画像の石灰化位置を特定するための特定情報である出力側データとを含んでおり、例えば、メモリ91に保存される。これにより、ステップST5が終了する。以下同様に、ステップST1で取得された動画像のX線画像のうち、任意の時間長のX線画像に対し、ステップST2~ST5を繰り返し実行することにより、機械学習に用いる量の学習用データが作成される。
(学習制御に関する動作)
処理回路94は、図4に示したように、機械学習に用いる量の学習用データを順次、用いて機械学習モデルM1に機械学習を行わせる。このとき、機械学習モデルM1は、学習用データのうち、入力された特定された領域の画像に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力する。また、処理回路94は、機械学習モデルM1から出力された特定情報が、学習用データ内の当該特定情報に近づくように、機械学習モデルM1のパラメータ等を調整し、機械学習モデルM1に機械学習を行う。
機械学習の終了により、処理回路94は、パラメータ等を調整済みの機械学習モデルM1として、学習済みモデルM2を作成する。作成された学習済みモデルM2は、特定された領域の画像に基づいて、当該特定された領域の石灰化位置を特定するための特定情報を出力するように機能付けられている。処理回路94は、作成した学習済みモデルM2をメモリ91に保存する。
上述したように第2の実施形態によれば、ボリュームデータ上の石灰化位置に基づいてX線画像上の領域を特定する。X線画像の特定された領域の画像又はX線画像と当該X線画像における特定された領域の位置とに基づき、操作者の操作に応じてX線画像における石灰化位置を特定するための特定情報を作成する。特定された領域の画像又はX線画像と特定された領域の位置と、特定情報とを、入力された当該特定された領域の画像又はX線画像と当該特定された領域の位置とを受け付けて特定情報を出力する学習済みモデルに使用するための学習用データとして出力する。このように、X線画像のうちの特定された領域について、石灰化位置を特定するための特定情報を作成するので、操作者による石灰化特定作業(石灰化のスコアを設定する作業)の負荷を軽減することができる。詳しくは、X線画像から明らかに不要な領域を省いて、領域を特定することで、誤設定の抑制や作業時間の短縮を図ることができる。
また、第2の実施形態によれば、造影血管X線画像のうちの特定された領域と同じ位置の領域の画像を、当該特定された領域の画像又はX線画像における当該特定された領域にオーバーレイし、当該オーバーレイされた領域の画素毎に特定情報を作成する。このように、造影血管X線画像がオーバーレイされた領域の画素毎に、特定情報を作成するので、特定された領域の画素のうち、造影血管X線画像がオーバーレイされない画素に対しては、特定情報を作成せずに済むので、より一層、石灰化特定作業の負荷を軽減することができる。すなわち、オーバーレイされた血管位置を参考にして、確認する領域を更に狭めることができ、人による石灰化特定作業の労力を軽減することができる。
<第3の実施形態>
第3の実施形態は、第1及び第2の実施形態の変形例であり、石灰化位置を特定するための特定情報の精度の向上を図るため、学習用データが、特定された領域と同じ領域の造影血管X線画像(血管走行情報)を更に含む構成となっている。
これに伴い、処理回路94のデータ作成機能945としては、図16に示すように、学習用データ出力機能945cが、前述した特定された領域の画像(又はX線画像と当該X線画像における特定された領域の位置)や特定情報に加え、情報作成機能945bにより得られた造影血管X線画像における、当該特定された領域と同じ位置の領域の画像を、学習用データとして出力する。
また、処理回路94の学習制御機能946は、図17に示すように、前述した学習用データに比べ、さらに、造影血管X線画像における同じ位置の領域の画像を含む学習用データに基づいて、機械学習モデルM1に機械学習を行わせることにより、学習済みモデルM2を作成する。すなわち、学習済みモデルM2は、X線画像の特定された領域の画像と、当該特定された領域と同じ位置の領域(の造影血管X線画像)とに基づいて、X線画像の石灰化位置を特定するための特定情報を出力するように機能付けられている。なお、学習済みモデルM2は、X線画像と当該特定された領域の位置と、当該特定された領域と同じ位置の領域の造影血管X線画像とに基づいて、X線画像の石灰化位置を特定するための特定情報を出力するように機能付けられていてもよい。
また、処理回路94の実行機能947としては、図18に示すように、領域特定機能947aが、被検体に関してX線診断装置1で撮像された造影血管X線画像から、特定された領域と同じ位置の領域の画像を更に取得する。
また、実行機能947としては、情報取得機能947bが、特定された領域の画像(又はX線画像と当該X線画像における特定された領域の位置)と、造影血管X線画像における同じ位置の領域の画像と、学習済みモデルM2とに基づいて、当該X線画像の特定された領域の石灰化位置を特定するための特定情報を出力する。
他の構成は、第1及び第2の実施形態と同様である。
次に、以上のように構成された医用情報処理装置の動作について図19のフローチャートを用いて説明する。以下の説明は、学習済みモデルM2の実行に関する動作(図19)、学習用データの作成に関する動作、及び機械学習モデルの学習制御に関する動作、の順に述べる。
(学習済みモデルM2の実行に関する動作)
いま、前述同様に、ステップST10、ST21~ST23が実行されたとする。ステップST23の後、ステップST24において、処理回路94は、ステップST23で切り出された領域a1と同じ心位相で同じ位置の領域を、被検体Pの造影血管X線画像から切り出す。これにより、処理回路94は、X線画像に含まれる石灰化の位置を含む領域a1に加え、被検体Pの造影血管X線画像において、当該領域a1と同じ位置の領域を取得する。このようなステップST21~ST24の実行により、ステップST20が終了する。
ステップST20の後、ステップST30において、処理回路94は、取得された領域a1のX線画像と、当該同じ位置の領域の造影血管X線画像と、学習済みモデルM2とに基づいて、当該領域a1の石灰化位置を特定するための特定情報を出力する。例えば、処理回路94は、前述同様に、当該領域a1の画素毎の石灰化に関するスコアを出力する。
ステップST30の後、前述同様に、ステップST40~ST50が実行される。
(学習用データの作成に関する動作)
いま、前述同様に、ステップST1~ST4が実行されたとする。ステップST4の後、ステップST5において、図16に示したように、処理回路94は、ステップST2で取得された領域のX線画像と、ステップST3でオーバーレイした領域の造影血管X線画像と、ステップST4で作成された特定情報とを、学習用データとして出力する。学習用データは、X線画像における特定された領域の画像及び同じ領域の造影血管X線画像である入力側データと、特定情報である出力側データとを含んでおり、例えば、メモリ91に保存される。これにより、ステップST5が終了する。以下同様に、ステップST1で取得された動画像のX線画像のうち、任意の時間長のX線画像に対し、ステップST2~ST5を繰り返し実行することにより、機械学習に用いる量の学習用データが作成される。
(学習制御に関する動作)
処理回路94は、図17に示したように、機械学習に用いる量の学習用データを順次、用いて機械学習モデルM1に機械学習を行わせる。このとき、機械学習モデルM1は、学習用データのうち、入力された特定された領域の画像と、当該特定された領域に対して同じ領域の画像とを受け付けて当該特定された領域の石灰化位置を特定するための特定情報を出力する。また、処理回路94は、機械学習モデルM1から出力された情報が、学習用データ内の特定情報に近づくように、機械学習モデルM1のパラメータ等を調整し、機械学習モデルM1に機械学習を行う。
機械学習の終了により、処理回路94は、パラメータ等を調整済みの機械学習モデルM1として、学習済みモデルM2を作成する。作成された学習済みモデルM2は、X線画像における特定された領域の画像及び同じ領域の造影血管線画像に基づいて、当該特定された領域の石灰化位置を特定するための特定情報を出力するように機能付けられている。処理回路94は、作成した学習済みモデルM2をメモリ91に保存する。
上述したように第3の実施形態によれば、被検体に関してX線診断装置で撮像された造影血管X線画像から、特定された領域と同じ位置の領域の画像を更に取得する。学習済みモデルは、特定された領域の画像又はX線画像と特定された領域の位置と、当該同じ位置の領域の画像とに基づいて、特定情報を出力するように機能付けられている。また、特定された領域の画像又はX線画像と当該X線画像における特定された領域の位置と、同じ位置の領域の画像と、学習済みモデルとに基づいて、特定情報を出力する。このように、学習済みモデルが、X線画像の特定された領域に加え、造影血管X線画像の同じ位置の領域に基づいて情報を出力するので、精度の向上を図ることができる。
(第1変形例)
第3の実施形態は、石灰化位置を特定する特定情報における精度の向上を図るため、学習用データ及び学習済みモデルM2の入力側データを、X線画像における特定された領域の画像と、同じ領域の造影血管X線画像(血管走行情報)としていた。すなわち、第3の実施形態は、当該入力側データを、X線画像の特定された領域と、血管走行情報との両者としていた。
これに対し、第3の実施形態の第1変形例は、学習用データ及び学習済みモデルM2の入力側データを、X線画像の特定された領域の画像を造影血管X線画像の同じ領域内の造影血管領域でトリミングした画像(以下、トリミング画像ともいう)に変形している。すなわち、第1変形例は、当該入力側データを、血管走行情報に対応する領域のX線画像に変形している。
これに伴い、処理回路94のデータ作成機能945としては、学習用データ出力機能945cが、X線画像のトリミング画像と、当該トリミング画像の石灰化位置を特定するための特定情報とを学習用データとして出力する。
また、処理回路94の学習制御機能946は、当該トリミング画像を含む学習用データに基づいて、機械学習モデルM1に機械学習を行わせることにより、学習済みモデルM2を作成する。すなわち、学習済みモデルM2は、当該トリミング画像に基づいて、特定情報を出力するように機能付けられている。
また、処理回路94の実行機能947としては、領域特定機能947aが、被検体に関してX線診断装置1で撮像された造影血管X線画像から、X線画像の特定された領域と同じ領域内の造影血管領域の画像を更に取得する。
また、実行機能947としては、情報取得機能947bが、X線画像の特定された領域の画像を、取得された造影血管領域の画像でトリミングしたトリミング画像と、学習済みモデルM2とに基づいて、当該トリミング画像の石灰化位置を特定するための特定情報を出力する。
他の構成は、第3の実施形態と同様である。
以上のような構成によれば、学習済みモデルが、X線画像の特定された領域の画像を造影血管領域の画像でトリミングした画像に基づいて特定情報を出力するので、第3の実施形態と同様に、精度の向上を図ることができる。
(第2変形例)
第3の実施形態の第2変形例は、第3の実施形態に用いる造影血管X線画像の同じ領域、又は第1変形例に用いる造影血管X線画像の同じ領域内の造影血管領域を、システム上の移動による画像変化に対応して移動させる構成となっている。例えば、図9の時刻t3~t4にかけて、X線画像g1内の下方の血管を視認するため、システム上で天板53を移動させたことにより、X線画像g1の変化が生じている。このような場合に、第2変形例は、造影血管X線画像の同じ領域、又は当該同じ領域内の造影血管領域を、天板53の移動に対応して移動させる。なお、システム上の移動としては、天板53の移動に加え、SID(source image distance)の長短の調整、Cアーム14の回動や平行移動、FOV(field of view)の拡大/縮小などのように、画像変化を生じるような、システム上の幾何学的条件の変化を意味する。
これに伴い、X線診断装置1の処理回路74は、前述した機能に加え、駆動制御機能742から受ける幾何学的条件の情報を医用情報処理装置90に送信する。
医用情報処理装置90の処理回路94は、受信した幾何学的条件の情報に基づいて、取得するX線画像の特定された領域と、造影血管X線画像の同じ領域又は造影血管X線画像の同じ領域内の造影血管領域とを移動させる。
他の構成は、第3の実施形態やその第1変形例と同様である。
以上のような構成によれば、システム上の幾何学的条件を変化させた場合でも、第3の実施形態やその第1変形例と同様に、精度の向上を図ることができる。
<第4の実施形態>
第4の実施形態は、第1及び第2の実施形態の変形例であり、石灰化位置を特定するための特定情報の精度の向上を図るため、被検体の心位相毎に学習を行う構成となっている。ここで、心位相毎とは、0~100%で規格化した心位相のうちの1%毎でもよく、数%~数十%毎でもよい。1%毎の場合には、入力側データである特定された領域の画像として静止画を用いればよく、数%~数十%毎の場合には、特定された領域の画像として動画を用いればよい。
これに伴い、処理回路94のデータ作成機能945としては、被検体の心位相毎に、当該被検体のX線画像における特定された領域の画像(又は心位相毎の当該X線画像と当該特定された領域の位置)と、当該X線画像における石灰化位置を特定するための特定情報とを含む学習用データを作成する。
処理回路94の学習制御機能946としては、図20に示すように、データ作成機能945により得られた学習用データに基づいて、心位相毎に、機械学習モデルM1に機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルM2を作成する。ここで、学習済みモデルM2は、被検体の心位相毎のX線画像の特定された領域の画像(又は心位相毎の当該X線画像と当該特定された領域の位置)と、当該X線画像における石灰化位置を特定するための特定情報を出力するように個別に機能付けられた複数の心位相毎学習済みモデルを含んでいる。
処理回路94の実行機能947は、図21に示すように、心位相毎に、メモリ71内の学習済みモデルM2を実行することにより、X線画像の特定された領域の画像(又は心位相毎の当該X線画像と当該特定された領域の位置)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力する。例えば、実行機能947のうちの領域特定機能947aは、被検体Pのボリュームデータ上の石灰化位置に基づいて、被検体PのX線画像上の領域を心位相毎に特定する。実行機能947のうちの情報取得機能947bは、被検体Pの心位相に基づいて複数の心位相毎学習済みモデルのいずれかを選択し、当該選択された心位相毎学習済みモデルと、特定された領域の画像(又はX線画像と当該X線画像における当該特定された領域の位置)とに基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力する。
他の構成は、第1及び第2の実施形態と同様である。
次に、以上のように構成された医用情報処理装置の動作について図22のフローチャートを用いて説明する。以下の説明は、学習済みモデルM2の実行に関する動作(図22)、学習用データの作成に関する動作、及び機械学習モデルの学習制御に関する動作、の順に述べる。
(学習済みモデルM2の実行に関する動作)
いま、前述同様に、ステップST10が実行されたとする。ステップST10の後、ステップST20において、処理回路94は、被検体Pに関してX線CT装置200で撮影されたCT画像(ボリュームデータ)上の石灰化位置に基づいて、被検体Pに関してX線診断装置1で撮像されたX線画像上の領域を心位相毎に特定し、当該特定した領域を取得する。
ステップST20の後、ステップST30において、処理回路94は、心位相毎に、メモリ71内の学習済みモデルM2を実行することにより、X線画像の特定された領域の画像(又は心位相毎の当該X線画像と当該特定された領域の位置)に基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力する。このようなステップST30においては、例えば、ステップST31~ST33の処理が行われる。ステップST31において、処理回路94は、心電計30の出力に基づいて、被検体Pの心位相を取得する。なお、ステップST31は、ステップST10~ST50においても同様に実行される。ステップST32において、処理回路94は、被検体Pの心位相に基づいて複数の心位相毎学習済みモデルのいずれかを選択する。ステップST33において、処理回路94は、当該選択された心位相毎学習済みモデルと特定された領域の画像とに基づいて、当該X線画像における石灰化位置を特定するための特定情報を出力する。例えば、処理回路94は、前述同様に、当該特定された領域a1の画素毎の石灰化に関するスコアを出力する。
ステップST30の後、前述同様に、ステップST40~ST50が実行される。
(学習用データの作成に関する動作)
いま、前述同様に、ステップST1~ST4が実行されたとする。ステップST4の後、ステップST5において、処理回路94は、被検体Pの心位相毎に、ステップST2で取得された特定された領域の画像と、ステップST4で作成された石灰化位置を特定するための特定情報とを、学習用データとして出力する。以下同様に、ステップST1で取得された動画像のX線画像のうち、他の心位相のX線画像に対し、ステップST2~ST5を繰り返し実行することにより、心位相毎の学習用データが作成される。
(学習制御に関する動作)
処理回路94は、図20に示したように、機械学習に用いる量の心位相毎の学習用データを順次、用いて、心位相毎に機械学習モデルM1に機械学習を行わせる。このとき、機械学習モデルM1は、学習用データのうち、例えば、入力された特定された領域の画像を受け付けて当該特定された領域の石灰化位置を特定するための特定情報を出力する。また、処理回路94は、心位相毎の機械学習モデルM1から出力された特定情報が、学習用データ内の特定情報に近づくように、心位相毎の機械学習モデルM1のパラメータ等を調整し、心位相毎の機械学習モデルM1に機械学習を行う。
機械学習の終了により、処理回路94は、パラメータ等を調整済みの、心位相毎の機械学習モデルM1を含む学習済みモデルM2を作成する。作成された学習済みモデルM2は、例えば、被検体Pの心位相毎のX線画像の特定された領域の画像と、当該X線画像における石灰化位置を特定するための特定情報を出力するように個別に機能付けられた複数の心位相毎学習済みモデルを含んでいる。処理回路94は、作成した学習済みモデルM2をメモリ91に保存する。
上述したように第4の実施形態によれば、学習済みモデルが、被検体の心位相毎に特定された領域の画像又は心位相毎のX線画像と特定された領域の位置とに基づいて、特定情報を出力するように個別に機能付けられた複数の心位相毎学習済みモデルを含んでいる。また、被検体の心位相に基づいて複数の心位相毎学習済みモデルのいずれかを選択し、当該選択された心位相毎学習済みモデルと当該特定された領域の画像又は当該X線画像と当該特定された領域の位置とに基づいて、当該特定情報を出力する。このように、心位相毎の学習済みモデルを用いて、特定情報を出力するので、特定情報の精度の向上を図ることができる。
なお、第4の実施形態は、第1及び第2の実施形態に限らず、第3の実施形態に適用してもよい。この場合、第3の実施形態の効果に加え、第4の実施形態の効果を得ることができる。
以上説明した少なくとも一つの実施形態によれば、ボリュームデータ上の石灰化位置に基づいてX線画像上の領域を特定する。X線画像の特定された領域の画像又はX線画像と当該X線画像における特定された領域の位置とに基づいて、X線画像における石灰化位置を特定するための特定情報を取得する。特定情報に基づいて、X線画像における石灰化位置を強調した強調画像を生成する。これにより、表示されるX線画像において、石灰化の位置をより正確に提示することができる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図2又は図7における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 X線診断装置
10 撮像装置
11 高電圧発生装置
12 X線発生部
13 X線検出器
14 Cアーム
141 状態検出器
142 Cアーム駆動装置
30 心電計
40 インジェクタ
50 寝台装置
51 基台
52 寝台駆動装置
53 天板
54 支持フレーム
70 コンソール装置
71,91 メモリ
72,92 ディスプレイ
73,93 入力インタフェース
74,94 処理回路
741 システム制御機能
742 駆動制御機能
743 撮影制御機能
744 画像処理機能
745,945 データ作成機能
745a,747a,945a,947a 領域特定機能
745b,945b 情報作成機能
745c,945c 学習用データ出力機能
746,946 学習制御機能
747,947 実行機能
747b,947b 情報取得機能
748,948 強調処理機能
749,949 表示制御機能
76,96 ネットワークインタフェース
90 医用情報処理装置
M1 機械学習モデル
M2 学習済みモデル
g1,g1a,g1b,g2 X線画像
a1,a2 特定された領域
ct1 CT画像
k1 カテーテル
p1~p5 石灰化の位置
v1,v2 血管
cs1 カラースケール
sc1 石灰化のスコア

Claims (11)

  1. 被検体のボリュームデータ上の石灰化位置に基づいて、前記被検体のX線画像上の領域を特定する領域特定部と、
    前記X線画像の前記特定された領域の画像又は前記X線画像と当該X線画像における前記特定された領域の位置とに基づいて、前記X線画像における石灰化位置を特定するための特定情報を取得する情報取得部と、
    前記特定情報に基づいて、前記X線画像における石灰化位置を強調した強調画像を生成する強調画像生成部と、
    を備え
    前記強調画像生成部は、前記被検体に取り付けられた電極を介して当該被検体の心電波形を取得する心電計の出力に基づいて、ある心位相だけ前記強調画像を生成する、医用情報処理装置。
  2. 前記特定された領域の画像又は前記X線画像と前記特定された領域の位置とに基づいて、前記特定情報を出力するように機能付けられた学習済みモデルを記憶する記憶部を更に備え、
    前記情報取得部は、前記特定された領域の画像又は前記X線画像と前記特定された領域の位置と前記学習済みモデルとに基づいて、前記特定情報を取得する、
    請求項1に記載の医用情報処理装置。
  3. 前記領域特定部は、前記被検体の心拍及び呼吸に対応する石灰化の位置の移動に追従して、前記領域の位置を特定する、請求項1又は2に記載の医用情報処理装置。
  4. 前記領域特定部は、前記被検体の心拍及び呼吸に対応する石灰化の位置の移動範囲を含む前記領域の位置を特定する、請求項1又は2に記載の医用情報処理装置。
  5. 前記情報取得部は、造影血管X線画像から前記特定された領域と同じ位置の領域の画像を更に取得し、
    前記学習済みモデルは、前記特定された領域の画像又は前記X線画像と前記特定された領域の位置と、前記同じ位置の領域の画像とに基づいて、前記特定情報を出力するように機能付けられており、
    前記情報取得部は、前記特定された領域の画像又は前記X線画像と当該X線画像における前記特定された領域の位置と、前記同じ位置の領域の画像と、前記学習済みモデルとに基づいて、前記特定情報を出力する、請求項2に記載の医用情報処理装置。
  6. 前記学習済みモデルは、被検体の心位相毎に前記特定された領域の画像又は前記心位相毎の前記X線画像と前記特定された領域の位置とに基づいて、前記特定情報を出力するように個別に機能付けられた複数の心位相毎学習済みモデルを含んでおり、
    前記情報取得部は、前記被検体の心位相に基づいて前記複数の心位相毎学習済みモデルのいずれかを選択し、前記選択された心位相毎学習済みモデルと前記特定された領域の画像又は前記X線画像と前記特定された領域の位置とに基づいて、前記特定情報を出力する、請求項2に記載の医用情報処理装置。
  7. 操作者の操作に応じて、前記石灰化位置の強調に用いる閾値を設定する設定部を更に備え、
    前記特定情報は、前記特定された領域の画素毎の石灰化に関する指標であり、
    前記強調画像生成部は、前記特定された領域の画素毎に前記指標と前記閾値とを比較し、前記比較した結果に基づいて、前記特定された領域の画素毎に、前記X線画像の石灰化位置を強調する、請求項1乃至6のいずれか一項に記載の医用情報処理装置。
  8. 前記強調画像生成部は、前記X線画像がデバイスの画像を含むとき、前記デバイスの進行先の血管のみに関する前記特定情報に基づいて前記X線画像の石灰化位置を強調する、請求項1乃至7のいずれか一項に記載の医用情報処理装置。
  9. 前記強調画像生成部は、前記X線画像の時間変化に基づいて、前記特定情報で特定される石灰化位置が常に前記進行先の血管上にあるか否かを判定し、前記判定した結果に応じて前記X線画像の石灰化位置を強調する、請求項8に記載の医用情報処理装置。
  10. 被検体のボリュームデータ上の石灰化位置に基づいて、前記被検体のX線画像上の領域を特定する領域特定部と、
    前記X線画像の前記特定された領域の画像又は前記X線画像と当該X線画像における前記特定された領域の位置とに基づいて、前記X線画像における石灰化位置を特定するための特定情報を取得する情報取得部と、
    前記特定情報に基づいて、前記X線画像における石灰化位置を強調した強調画像を生成する強調画像生成部と、
    を備え
    前記強調画像生成部は、前記被検体に取り付けられた電極を介して当該被検体の心電波形を取得する心電計の出力に基づいて、ある心位相だけ前記強調画像を生成する、X線診断装置。
  11. コンピュータに、
    被検体のボリュームデータ上の石灰化位置に基づいて、前記被検体のX線画像上の領域を特定する領域特定機能、
    前記X線画像の前記特定された領域の画像又は前記X線画像と当該X線画像における前記特定された領域の位置とに基づいて、前記X線画像における石灰化位置を特定するための特定情報を取得する情報取得機能、
    前記特定情報に基づいて、前記X線画像における石灰化位置を強調した強調画像を生成する強調画像生成機能、
    を実現させ
    前記強調画像生成機能は、前記被検体に取り付けられた電極を介して当該被検体の心電波形を取得する心電計の出力に基づいて、ある心位相だけ前記強調画像を生成する、プログラム。
JP2019022267A 2019-02-12 2019-02-12 医用情報処理装置、x線診断装置及びプログラム Active JP7246952B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019022267A JP7246952B2 (ja) 2019-02-12 2019-02-12 医用情報処理装置、x線診断装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019022267A JP7246952B2 (ja) 2019-02-12 2019-02-12 医用情報処理装置、x線診断装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020127669A JP2020127669A (ja) 2020-08-27
JP7246952B2 true JP7246952B2 (ja) 2023-03-28

Family

ID=72175161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019022267A Active JP7246952B2 (ja) 2019-02-12 2019-02-12 医用情報処理装置、x線診断装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7246952B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008229161A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2008541904A (ja) 2005-06-02 2008-11-27 ノルディック・ビオサイエンス・エー/エス 大動脈の石灰化の度合いの定量的測度を取得する方法
JP2015188532A (ja) 2014-03-27 2015-11-02 株式会社東芝 X線診断装置及び画像処理方法
JP2015217020A (ja) 2014-05-15 2015-12-07 株式会社島津製作所 X線撮影装置およびx線画像の生成方法
JP2016158890A (ja) 2015-03-02 2016-09-05 国立大学法人 東京大学 生体内運動追跡装置
JP2016525893A5 (ja) 2014-03-07 2017-06-22
JP2018000776A (ja) 2016-07-07 2018-01-11 東芝メディカルシステムズ株式会社 X線診断装置及び画像処理装置
JP2018130141A (ja) 2017-02-13 2018-08-23 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像診断システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2965263B1 (en) 2013-03-07 2022-07-20 Bernhard Sturm Multimodal segmentation in intravascular images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008541904A (ja) 2005-06-02 2008-11-27 ノルディック・ビオサイエンス・エー/エス 大動脈の石灰化の度合いの定量的測度を取得する方法
JP2008229161A (ja) 2007-03-22 2008-10-02 Fujifilm Corp 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2016525893A5 (ja) 2014-03-07 2017-06-22
JP2015188532A (ja) 2014-03-27 2015-11-02 株式会社東芝 X線診断装置及び画像処理方法
JP2015217020A (ja) 2014-05-15 2015-12-07 株式会社島津製作所 X線撮影装置およびx線画像の生成方法
JP2016158890A (ja) 2015-03-02 2016-09-05 国立大学法人 東京大学 生体内運動追跡装置
JP2018000776A (ja) 2016-07-07 2018-01-11 東芝メディカルシステムズ株式会社 X線診断装置及び画像処理装置
JP2018130141A (ja) 2017-02-13 2018-08-23 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像診断システム

Also Published As

Publication number Publication date
JP2020127669A (ja) 2020-08-27

Similar Documents

Publication Publication Date Title
US7283614B2 (en) X-ray diagnosis apparatus and method for creating image data
JP4854137B2 (ja) 医用画像診断装置
JP5274757B2 (ja) 撮影計画支援方法およびx線ct装置
US8971601B2 (en) Medical image diagnosis device and medical image processing method
US8649480B2 (en) X-ray CT apparatus and tomography method
US9330481B2 (en) Medical image processing apparatus and medical image processing method
JP6466132B2 (ja) 医用画像処理装置及びx線画像診断装置
US20030108154A1 (en) Medical imaging examination facility
CN108697401B (zh) 放射线装置
US10537293B2 (en) X-ray CT system, image display device, and image display method
JP2016198262A (ja) X線診断装置
JP2004073578A (ja) 医用画像診断装置及び撮影支援装置
JP7242397B2 (ja) 医用画像処理装置及びx線診断装置
JP2011240178A (ja) 医用画像診断装置
JPH09276264A (ja) X線診断システムおよび撮影位置決め方法、並びにx線ctスキャナ
JP7246952B2 (ja) 医用情報処理装置、x線診断装置及びプログラム
JP4939743B2 (ja) X線撮像装置
EP0463533A1 (en) Device for aiding a radiologist during percutaneous transluminal coronary angioplasty
JP7309377B2 (ja) X線診断装置、医用情報処理装置及びプログラム
JP7187247B2 (ja) 医用画像処理装置、x線診断装置、および医用画像処理システム
JP7233850B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP7438834B2 (ja) 医用画像処理装置、x線診断装置及びプログラム
JP2002238884A (ja) X線装置の自動条件設定機構
JP2009082470A (ja) 画像表示装置及び画像表示方法
JP7262968B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R150 Certificate of patent or registration of utility model

Ref document number: 7246952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150