JP2020168361A - 医用画像処理装置およびプログラム - Google Patents

医用画像処理装置およびプログラム Download PDF

Info

Publication number
JP2020168361A
JP2020168361A JP2020050665A JP2020050665A JP2020168361A JP 2020168361 A JP2020168361 A JP 2020168361A JP 2020050665 A JP2020050665 A JP 2020050665A JP 2020050665 A JP2020050665 A JP 2020050665A JP 2020168361 A JP2020168361 A JP 2020168361A
Authority
JP
Japan
Prior art keywords
blood vessel
medical image
analysis
image processing
blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020050665A
Other languages
English (en)
Other versions
JP7434008B2 (ja
Inventor
石井 秀明
Hideaki Ishii
秀明 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to CN202010235891.4A priority Critical patent/CN111803101B/zh
Priority to DE102020108698.9A priority patent/DE102020108698A1/de
Priority to US16/833,732 priority patent/US11481957B2/en
Priority to DE202020101691.1U priority patent/DE202020101691U1/de
Publication of JP2020168361A publication Critical patent/JP2020168361A/ja
Application granted granted Critical
Publication of JP7434008B2 publication Critical patent/JP7434008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • A61B6/0407Supports, e.g. tables or beds, for the body or parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/40Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/503Clinical applications involving diagnosis of heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/504Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Abstract

【課題】血管の解析を、より短時間に行うことである。【解決手段】実施形態の医用画像処理装置は、取得部と、生成部と、解析部とを持つ。取得部は、複数の時点で少なくとも一方向から透視撮影した、被検体の血管を含む時系列の医用画像を取得する。生成部は、前記取得部により取得された前記時系列の医用画像に基づいて、前記血管の解析領域における前記血管に関する時系列の変化情報を含む血管形状モデルを生成する。解析部は、前記生成部により生成された血管形状モデルに基づいて、前記血管を流れる血液の流体解析を行う。【選択図】図3

Description

本発明の実施形態は、医用画像処理装置およびプログラムに関する。
従来、画像を用いて血管の機能や構造の解析を行う技術が知られている。血管の解析では、血管の物理指標と血行状態に関する血管の機能指標との相関情報に基づいて、被検体の血管を含む時系列の画像から被検体の血管の機能指標を同定する技術が知られている。
また、従来では、時系列の形態指標と、形状変形指標と、医用画像とに基づいて、解析対象領域の構造流体解析に関する力学モデルを暫定的に構築し、構築された力学モデルに基づく血管形態指標の予測値および血液流量指標の予測値が、予め計測された血管形態指標の観測値および血液流量指標の観測値の少なくとも一方に整合するように潜在変数同定領域に関する潜在変数を同定する技術が知られている。しかしながら、上述した技術は、測定に手間がかかったり、解析手法そのものに手間がかかるため、急性期等での血管の解析ができない場合があった。
特開2015−231524号公報 特開2014−113264号公報 特表2015−531264号公報
本発明が解決しようとする課題は、血管の解析を、より短時間に行うことである。
実施形態の医用画像処理装置は、取得部と、生成部と、解析部とを持つ。取得部は、複数の時点で少なくとも一方向から透視撮影した、被検体の血管を含む時系列の医用画像を取得する。生成部は、前記取得部により取得された前記時系列の医用画像に基づいて、前記血管の解析領域における前記血管に関する時系列の変化情報を含む血管形状モデルを生成する。解析部は、前記生成部により生成された血管形状モデルに基づいて、前記血管を流れる血液の流体解析を行う。
第1の実施形態の医用画像処理装置を含む医用画像処理システム1の一例を示す図。 第1の実施形態に係る医用画像生成装置100の一例を示す図。 第1の実施形態に係る医用画像処理装置200の一例を示す図。 第1撮影系統SAおよび第2撮影系統SBにより画像を撮影することについて説明するための図。 生成機能243について説明するための図。 二つの血管を結合させることについて説明するための図。 二つの血管が結合しているとみなすことができる場合の一例を示す図。 末端部の位置を取得することについて説明するための図。 血管関連情報を取得することについて説明するための図。 血管内にステントが留置された場合について説明するための図。 医用画像生成装置100で撮影された画像に解析結果が重畳して表示させた画像の一例を示す図。 再構成画像データ254に解析結果の画像が重畳されている画像IFB2−2の一例を示す図。 第1の実施形態の処理回路240の処理の一連の流れを示すフローチャート。 第2の実施形態に係る医用画像処理装置200Aの一例を示す図。 第2の実施形態の処理回路240の処理の一連の流れを示すフローチャート。 第3の実施形態に係る医用画像処理装置200Bの一例を示す図。 第3の実施形態の処理回路240の処理の一連の流れを示すフローチャート。
以下、実施形態の医用画像処理装置およびプログラムを、図面を参照して説明する。
(第1の実施形態)
図1は、第1の実施形態の医用画像処理装置を含む医用画像処理システム1の一例を示す図である。医用画像処理システム1は、医用画像生成装置100と、医用画像処理装置200とを備える。医用画像生成装置100および医用画像処理装置200は、ネットワークNWを介して接続される。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダ等を含む。
医用画像生成装置100は、例えば、X線等を用いて被検体を診断するための医用画像を生成するX線診断装置である。より具体的には、医用画像生成装置100は、例えば、造影剤を被検体の血管に注入して血管撮影を行う血管造影検査装置(アンギオグラフィー装置)である。以下では、医用画像生成装置100が血管造影検査装置である場合を例に挙げて説明するが、これに限定されるものではない。
医用画像処理装置200は、一つまたは複数のプロセッサにより実現される。例えば、医用画像処理装置200は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータ(スタンドアローンのコンピュータ)であってもよい。医用画像処理システム1は、図1の例では医用画像生成装置100と医用画像処理装置200とがそれぞれ1台ずつ設けられているが、これに限定されるものではなく、一方または双方が複数台設けられていてもよい。また、医用画像生成装置100と医用画像処理装置200とは、医用画像診断装置として一体に構成されていてもよい。
[医用画像生成装置の構成]
図2は、第1の実施形態に係る医用画像生成装置100の一例を示す図である。医用画像生成装置100は、例えば、撮影装置110と、コンソール装置140とを有する。図2の例において、撮影装置110は、複数の撮影系統(具体的には二つの撮影系統)を備えるが、これに限定されるものではなく、少なくとも一以上の撮影系統を備えていればよい。つまり、第1の実施形態における撮影装置110は、複数の時点で少なくとも一方向から、後述する被検体の血管を含む医用画像を透視撮影するものである。
撮影装置110は、例えば、高電圧発生器111と、第1アーム部112Aと、第2アーム部112Bと、第1X線発生器113Aと、第2X線発生器113Bと、第1X線検出器114Aと、第2X線検出器114Bと、アーム移動機構115と、寝台116と、寝台移動機構117と、インジェクター118と、心電計119とを備える。以下、第1アーム部112A、第1X線発生器113A、および第1X線検出器114Aを合わせたものを「第1撮影系統SA」と称し、第2アーム部112B、第2X線発生器113B、および第2X線検出器114Bを合わせたものを「第2撮影系統SB」と称する場合がある。
高電圧発生器111は、処理回路150の制御により、高電圧を発生し、発生した高電圧を第1X線発生器113Aおよび第2X線発生器113Bに供給する。第1X線発生器113Aおよび第2X線発生器113Bに供給する電圧値は、同一値でもよく、異なる値でもよい。
第1アーム部112Aおよび第2アーム部112Bは、例えば一部または全部にC字等の湾曲形状または屈曲形状を有する保持装置である。第1アーム部112Aおよび第2アーム部112Bは、後述の機構制御回路146の制御に従って、アーム移動機構115が駆動されることにより、それぞれが個別に回転および移動が可能となる。
第1アーム部112Aは、一端に第1X線発生器113Aを保持し、他端に第1X線発生器113Aと対向するように第1X線検出器114Aを保持する。第1X線発生器113Aは、例えば、第1X線管(図示せず)と第1コリメータ(図示せず)とを備える。第1X線管は、高電圧発生器111からの高電圧(管電圧)の印加および管電流の供給を受けて、X線焦点からX線を発生する。第1コリメータは、第1X線管の放射窓に取り付けられ、第1X線検出器114Aの検出面上のX線照射野を調整する。第1コリメータにより、X線照射野が調整されることで、被検体Pへの不要な被曝を低減できる。第1X線検出器114Aは、例えば、複数のX線検出素子を備える。複数のX線検出素子は、2次元のアレイ状に配列される。2次元のアレイ状の検出器はFPD(Flat Panel Display:平面検出器)と呼ばれる。FPDの各素子は、第1X線発生器113Aから放射され、被検体を透過したX線を検出する。FPDの各素子は、検出したX線強度に対応した電気信号を出力する。なお、第1X線検出器114Aは、前述したFPDに代えて、イメージインテンシファイアとTVカメラとの組み合わせから構成されてもよい。第1X線管の焦点と第1X線検出器114Aの検出面の中心とを結ぶ線を「第1撮影軸AX1」と称する。
第2アーム部112Bは、一端に第2X線発生器113Bを保持し、他端に第2X線発生器113Bと対向するように第2X線検出器114Bを保持する。第2X線発生器113Bは、例えば、第2X線管(図示せず)と第2コリメータ(図示せず)とを備える。第2X線発生器113Bの説明は、前述の第1X線発生器113Aの説明と同様である。第2X線検出器114Bの説明は、前述の第1X線検出器114Aの説明と同様である。第2X線管の焦点と第2X線検出器114Bの検出面の中心とを結ぶ線を「第2撮影軸AX2」と称する。
アーム移動機構115は、後述する機構制御回路146の制御により第1アーム部112Aおよび第2アーム部112Bを三次元座標(XYZ座標)上における所定の位置に回転や移動を行う。なお、アーム移動機構115は、第1撮影系統SAのX線照射野に対応した撮影範囲と、第2撮影系統SBのX線照射野に対応した撮影範囲とが同一の範囲を含むようにそれぞれのアーム部の回転や移動が行われる。また、アーム移動機構115は、第1撮影軸AX1と、第2撮影軸AX2とが交わるとともに、二つ軸の交点によってなす角が所定角度以上となるように、それぞれのアーム部の回転や移動が行われる。
寝台116は、被検体Pを載置する天板を移動可能に支持する。天板は、機構制御回路146の制御により、寝台移動機構117が駆動することで移動される。図2の例において、被検体Pは、天板に仰向けで載置されている。
インジェクター118は、例えば、被検体Pに挿入されたカテーテルから造影剤を注入するための装置である。ここで、インジェクター118からの造影剤注入は、処理回路150からの注入指示に従って実行される。具体的には、インジェクター118は、処理回路150から得た造影剤の注入開始指示や、注入停止指示、更に注入速度等を含む造影剤注入条件に応じた造影剤注入を実行する。なお、インジェクター118は、利用者(操作者)が直接インジェクター118に対して入力した注入指示に従って注入開始や、注入停止を実行することも可能である。
心電計119は、図示しない端子が取り付けられた被検体Pの心電波形(ECG:Electrocardiogram)を取得し、取得した心電波形と時間情報とを対応付けた心電データを処理回路150に出力する。
コンソール装置140は、例えば、メモリ141と、通信インターフェース142と、入力インターフェース143と、ディスプレイ144と、絞り制御回路145と、機構制御回路146と、処理回路150とを備える。メモリ141は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ141は、例えば、第1撮影系統SAおよび第2撮影系統SBによって撮影された画像(医用画像の一例)、プログラム、その他の各種情報等を記憶する。これらのデータは、メモリ141ではなく(或いはメモリ141に加えて)、医用画像生成装置100が通信可能な外部メモリに記憶されてもよい。外部メモリは、例えば、外部メモリを管理するクラウドサーバが読み書きの要求を受け付けることで、クラウドサーバによって制御されるものである。
通信インターフェース142は、例えば、NIC(Network Interface Controller)等の通信インターフェースを含む。通信インターフェース142は、撮影装置110や医用画像処理装置200と通信し、取得される情報を処理回路150に出力する。また、通信インターフェース142は、処理回路150による制御を受けて、ネットワークNWを介して接続された他の装置に情報を送信してもよい。
入力インターフェース143は、利用者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路150に出力する。例えば、入力インターフェース143は、撮像データを収集する際の収集条件、画像に対して所定の処理を行う画像処理条件等の入力操作を受け付ける。例えば、入力インターフェース143は、マウスやキーボード、タッチパネル、トラッグボール、スイッチ、ボタン、ジョイスティック、フットペダル、カメラ、赤外線センサ、マイク等により実現される。入力インターフェース143は、撮影装置110に設けられてもよい。また、入力インターフェース143は、コンソール装置140の本体部と無線通信可能な表示装置(例えばタブレット端末)により実現されてもよい。
ディスプレイ144は、各種の情報を表示する。例えば、ディスプレイ144は、処理回路150によって生成された医用画像(例えば、血管造影画像)や、利用者による各種操作を受け付けるGUI(Graphical User Interface)画像等を表示する。ディスプレイ144は、例えば、液晶ディスプレイやCRT(Cathode Ray Tube)、有機EL(Electroluminescence)ディスプレイ等である。ディスプレイ144は、撮影装置110に設けられてもよい。ディスプレイ144は、デスクトップ型でもよいし、コンソール装置140の本体部と無線通信可能な表示装置(例えばタブレット端末)であってもよい。
絞り制御回路145は、例えば、処理回路150による制御に基づいて、被検体Pに対して照射されるX線の照射範囲(X線照射野)を制御する。照射範囲に関する情報は、FOV(Field Of View)情報ともいう。絞り制御回路145は、例えば、第1X線発生器113Aの第1コリメータと、第2X線発生器113Bの第2コリメータが有する絞り羽根の開度を調整する等の制御を行うことで、X線の照射範囲を制御する。
機構制御回路146は、処理回路150による制御に基づいて、アーム移動機構115や寝台移動機構117を制御することで、第1撮影系統SAおよび第2撮影系統SBにおける撮影範囲や、第1撮影系統SAおよび第2撮影系統SBの被検体Pに対する相対位置や撮影角度等を変更させる。
処理回路150は、医用画像生成装置100の全体の動作を制御する。処理回路150は、例えば、制御機能151と、画像データ生成機能152と、画像処理機能153と、表示制御機能154とを備える。処理回路150は、例えば、ハードウェアプロセッサがメモリ141に記憶されたプログラムを実行することにより、これらの機能を実現するものである。ハードウェアプロセッサとは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit; ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device; SPLD)または複合プログラマブル論理デバイス(Complex Programmable Logic Device; CPLD)や、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array;FPGA))等の回路(circuitry)を意味する。メモリ141にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。
コンソール装置140または処理回路150が有する各構成要素は、分散化されて複数のハードウェアにより実現されてもよい。処理回路150は、コンソール装置140が有する構成ではなく、コンソール装置140と通信可能な処理装置によって実現されてもよい。処理装置は、例えば、一つの医用画像生成装置と接続されたワークステーション、あるいは複数の医用画像生成装置に接続され、以下に説明する処理回路150と同等の処理を一括して実行する装置(例えばクラウドサーバ)である。
制御機能151は、例えば、入力インターフェース143が受け付けた入力操作に基づいて、処理回路150の各種機能を制御する。具体的には、制御機能151は、例えば、複数の撮影系統(例えば、第1撮影系統SA、第2撮影系統SB)によって複数の時点のそれぞれで複数方向(例えば、第1撮影軸AX1、第2撮影軸AX2)から被検体の血管を含む医用画像を撮影させる。この場合、高電圧発生器111、インジェクター118、心電計119、絞り制御回路145、機構制御回路146に対して、入力インターフェース143等からの指示内容や撮影内容等に基づいて、所定の制御を行う。また、制御機能151は、撮影した時系列の画像に対し、画像データ生成機能152や画像処理機能153、表示制御機能154に所定の処理を実行させる。また、制御機能151は、撮影された画像と、撮影時のパラメータ情報(例えば、絞り制御内容や機構制御内容)や心電計119の計測結果等とをネットワークNWを介して医用画像処理装置に送信する制御等を行う。
画像データ生成機能152は、第1X線検出器114Aおよび第2X線検出器114BのそれぞれによってX線から変換された電気信号を用いて画像データを生成し、生成した画像データをメモリ141に格納する。例えば、画像データ生成機能152は、第1X線検出器114Aおよび第2X線検出器114Bのそれぞれから受信した電気信号に対して、電流・電圧変換やA(Analog)/D(Digital)変換や、パラレル・シリアル変換を行い、画像データを生成する。例えば、画像データ生成機能152は、造影剤が注入されていない状態で撮像された画像データ(マスク画像)および造影剤が注入された状態で撮像された画像データ(コントラスト画像)を生成する。そして、画像データ生成機能152は、生成したマスク画像およびコントラスト画像をメモリ141に格納する。
画像処理機能153は、メモリ141が記憶する画像データに対して各種画像処理を行う。例えば、画像処理機能153は、メモリ141が記憶するマスク画像とコントラスト画像とを読み出し、サブトラクション(Logサブ)することで差分画像を生成する。なお、画像処理機能153は、造影剤投与直前の1フレームをマスク画像として用いることで、体動による位置合わせ(レジストレーション)のミスを最小限に抑えることができる。また、画像処理機能153は、移動平均(平滑化)フィルタ、ガウシアンフィルタ、メディアンフィルタ等の画像処理フィルタによるノイズ低減処理を実行してもよい。画像処理機能153は、造影剤を用いて経時的に撮影された複数のX線画像群それぞれに対して、位置ずれ補正及びノイズ除去を含む前処理を実行してもよい。
表示制御機能154は、ディスプレイ144に表示される表示内容や表示態様を制御する。具体的には、表示制御機能154は、例えば、利用者からの指示を受け付けるGUI画像や画像データ生成機能152により生成された画像データをディスプレイ144に表示させる。また、表示制御機能154は、医用画像処理装置200から受信した解析結果をディスプレイ144に表示させてもよい。
[医用画像処理装置の構成]
図3は、第1の実施形態に係る医用画像処理装置200の一例を示す図である。医用画像処理装置200は、例えば、通信インターフェース210と、入力インターフェース220と、ディスプレイ230と、処理回路240と、メモリ250とを備える。
通信インターフェース210は、例えば、NIC等の通信インターフェースを含む。通信インターフェース210は、ネットワークNWを介して医用画像生成装置100と通信し、医用画像生成装置100から情報を受信する。通信インターフェース210は、受信した情報を処理回路240に出力する。また、通信インターフェース210は、処理回路240による制御を受けて、ネットワークNWを介して接続された他の装置に情報を送信してもよい。他の装置とは、例えば、医師や看護師等の画像の読影者が利用可能な端末装置であってよい。
入力インターフェース220は、利用者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路240に出力する。例えば、入力インターフェース220は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等により実現される。また、入力インターフェース220は、例えば、マイク等の音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース220がタッチパネルである場合、ディスプレイ230は入力インターフェース220と一体として形成されてよい。
ディスプレイ230は、各種の情報を表示する。例えば、ディスプレイ230は、処理回路240によって生成された画像や血管形状モデル、解析結果等を表示したり、利用者からの各種の入力操作を受け付けるためのGUI等を表示したりする。例えば、ディスプレイ230は、LCDや、CRTディスプレイ、有機ELディスプレイ等である。
処理回路240は、例えば、制御機能241と、取得機能242と、生成機能243と、解析機能244と、表示制御機能245とを備える。取得機能242は、「取得部」の一例である。生成機能243は、「生成部」の一例である。解析機能244は、「解析部」の一例である。表示制御機能245は、「表示制御部」の一例である。これらの機能(構成要素)は、例えば、CPUやGPU等のハードウェアプロセッサ(あるいはプロセッサ回路)が、メモリ250に記憶されたプログラム(ソフトウェア)を実行することにより実現される。また、これらの複数の機能のうち一部または全部は、LSI、ASIC、FPGA等のハードウェア(回路部:circuitry)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ250に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体に格納されており、記憶媒体が医用画像処理装置200のドライブ装置に装着されることで記憶媒体からメモリ250にインストールされてもよい。
メモリ250は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。これらの非一過性の記憶媒体は、NASや外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ250には、ROMやレジスタ等の一過性の記憶媒体が含まれてもよい。メモリ250には、例えば、画像データ252、再構成画像データ254、血管形状モデル256、解析データ258、プログラム、その他各種情報等が格納される。
制御機能241は、入力インターフェース220が受け付けた入力操作に基づいて、医用画像処理装置200の各種機能を制御する。例えば、制御機能241は、通信インターフェース210を介した画像データの取得や、取得した画像データのメモリ250への格納等を制御する。また、制御機能241は、例えば、メモリ250によって記憶された画像データ252を読み出し、読み出した画像データ252に対して種々の画像処理を施すことにより、血管の三次元形状の画像(例えば、再構成画像データ)や血管形状モデル等を生成させる。また、制御機能241は、生成した血管形状モデルを用いた画像の解析を行わせたり、解析結果を表示するための画像を生成させたり、生成させた画像をディスプレイ230や医用画像生成装置100に出力させる。
取得機能242は、通信インターフェース210に医用画像生成装置100と通信させ、その通信相手の医用画像生成装置100から第1撮影系統SAおよび第2撮影系統SBによって、複数の時点のそれぞれで撮影した、被検体の血管を含む画像や心電データ、画像撮影時の絞り制御や機構制御等の情報を取得する。取得した情報は、時間情報によって対応付けられた画像データ252としてメモリ250に記憶される。
生成機能243は、第1撮影系統SAおよび第2撮影系統SBによって撮像された画像を用いて、三次元画像を再構成する。また、生成機能243は、再構成された三次元画像に含まれる血管を結合した血管形状モデル256を生成し、生成した血管形状モデル256をメモリ250に記憶させる。また、生成機能243は、血管の解析領域(例えば、枝ごと)における血管に関する時系列の変化情報を含む血管形状モデル256を生成する。生成機能243は、所定の更新条件に基づいて、血管形状モデル256を更新する。生成機能243の機能の詳細については後述する。
解析機能244は、血管形状モデル256を用いて被検体Pの血管形状の解析を行い、解析結果を解析データ258としてメモリ250に記憶させる。解析機能244の機能の詳細については、後述する。
表示制御機能245は、医用画像生成装置100から受信した画像データ252や、再構成画像データ254、血管形状モデル256、解析データ258等をディスプレイ230に表示させたり、医用画像生成装置100に送信させる。表示制御機能245の機能の詳細については、後述する。
以下、医用画像処理装置200における処理の詳細について説明する。医用画像処理装置200は、例えば、医用画像生成装置100により生成された第1撮影系統SAおよび第2撮影系統SBによって異なる方向から撮影された複数の時点の被検体Pの血管を含む血管造影画像(以下、血管画像と称する)を取得する。図4は、第1撮影系統SAおよび第2撮影系統SBにより画像を撮影することについて説明するための図である。図4では、一例として、被検体Pの心臓HTに関する血管B1〜B3を模式的に示している。血管B1は右冠動脈を示し、血管B2は左冠動脈を示し、血管B3は上行大動脈を示している。以下では、右冠動脈および左冠動脈における血管の解析について説明するが、これに限定されるものではなく、他の血管(例えば、大動脈、脳血管、肝臓動脈)にも適用できる。
例えば、利用者は、例えば、医用画像生成装置100の撮影装置110によって撮影された血管画像を見ながら、被検体の冠動脈や末梢血管系等に対する治療や診察、施術等を行う。なお、血管画像は、造影下で収集されたX線画像および非造影下で収集されたX線画像を含む。また、造影下で収集された場合には、造影X線画像を意味し、医用画像生成装置100によって非造影下で収集された場合には、非造影X線画像を意味する。
医用画像生成装置100は、被検体Pの心臓HTに対して、第1撮影系統SAおよび第2撮影系統SBによって異なる方向(第1撮影軸AX1、第2撮影軸AX2)から撮影された時系列の血管画像群(いわゆる動画像)を生成し、生成した画像群と共に、心電計119により計測された心電データ、撮影時の絞り制御内容、機構制御内容等の計測情報を、医用画像処理装置200に送信する。なお、医用画像生成装置100は、第1撮影軸AX1、第2撮影軸AX2の交点によってなす角が所定角度以上となるように、第1アーム部112Aおよび第2アーム部112Bの回転や移動が行われる。所定角度とは、例えば、約45度で設定される角度である。これにより、第1撮影系統SAおよび第2撮影系統SBによって血管画像に含まれる血管の三次元形状を、より精度よく生成することができる。医用画像処理装置200の取得機能242は、医用画像生成装置100から血管画像群や心電データ等の計測情報を取得し、取得したデータを画像データ252としてメモリ250に記憶させる。
次に、生成機能243の詳細について説明する。生成機能243は、第1撮影系統SAによって撮像された複数の時点の被検体Pの血管を含む血管画像群IFAと、第2撮影系統SBによって撮像された複数の時点の被検体Pの血管を含む血管画像群IFBとに基づいて、三次元血管画像を再構成する。図5は、生成機能243について説明するための図である。図5の例において、血管画像群IFA1は、血管B1(右冠動脈)を右前斜位(第1撮影軸AX1側)から血管造影したときの画像であり、血管画像群IFB1は、血管B1を左前斜位(第2撮影軸AX2側)から血管造影したときの画像である。また、血管画像群IFA2は、血管B2(左冠動脈)を右前斜位から血管造影したときの画像であり、血管画像群IFB2は、血管B2を左前斜位から血管造影したときの画像である。図5の例では、右冠動脈および左冠動脈について示しているが、他の血管についても二つの方向から撮影した画像が取得されてよい。
次に、生成機能243は、二つの方向から撮影された右冠動脈の血管画像群IFA1と血管画像群IFB1とに基づいて、撮影範囲に含まれる血管画像を再構成し、三次元形状の血管画像(以下、再構成画像データと称する)R1を生成する。なお、生成機能243は、心電計119により計測された心電データに含まれるECG情報に基づいて、二つの血管画像群のそれぞれの心拍位相を同期させて、三次元画像を再構成する。
ここで、血管画像群IFA1および血管画像群IFB1のそれぞれが異なる撮影系統(第1撮影系統SAおよび第2撮影系統SB)により撮影されるため、画像の大きさが異なる場合があり得る。そのため、生成機能243は、画像に含まれる対象血管以外の周囲の血管(例えば、大動脈)や、周囲の人体構造(例えば、肋骨等の骨、心臓等の部位形状)等を用いて、血管画像群IFA1および血管画像群IFB1が同一または近似した大きさになるように、一方の画像群または両方の画像群の大きさ(撮影範囲、FOV情報)を補正する。これにより、撮影系統の違いによる血管の大きさの誤差を抑制することができる。
また、生成機能243は、血管画像群IFA2と血管画像群画像IFB2とを用いて、上述した再構成画像データR1を生成した処理と同様の処理を行い、再構成画像データR2を生成する。また、生成機能243は、経時的に収集された複数時相の画像データを読み出し、読み出した複数時相の画像データに対して画像処理を行うことで、時系列の再構成画像データを抽出する。
次に、生成機能243は、二つの再構成画像データR1、R2のそれぞれに含まれる血管の端部の位置関係等に基づいて、解析領域に含まれる血管の領域(血管領域)を結合させて三次元の血管形状モデル256を生成する。図6は、二つの血管を結合させることについて説明するための図である。生成機能243は、例えば、血管に注入される造影剤の時間経過に伴う位置の変化(造影剤の流れ)に基づいて血管B1およびB2のそれぞれの先端部(画像中における流路の入口)SP1、SP2の三次元位置を推定する。そして、生成機能243は、推定した先端部SP1の三次元座標(x1,y1,z1)と先端部SP2の三次元座標(x2,y2,z2)との距離D1を算出し、距離D1が第1所定距離Dth1以下である場合に、先端部SP1と先端部SP2とが結合されているものと判定する。
また、生成機能243は、先端部SP1と先端部SP2との距離が第1所定距離Dth1より大きい場合であっても、他の血管を介して連結していると推定される場合に、二つの血管が結合しているとみなしてもよい。図7は、二つの血管が結合しているとみなすことができる場合の一例を示す図である。例えば、生成機能243は、血管B1の先端部SP1の三次元位置(x1,y1,z1)と、血管B2の先端部SP2の三次元位置(x2,y2,z2)との距離が、第1所定距離Dth1より大きい距離D2であるが、画像解析(例えば、色差やエッジ抽出等による特徴解析)により先端部SP1と先端部SP2とが他の血管(上行大動脈)B3により連結されていることが解析された場合に、先端部SP1と先端部SP2とが結合しているものとみなす。
また、生成機能243は、上述した他の血管B3によって連結されていることに代えて(または加えて)、画像解析からステントST1等の医療部材が存在すると認識された場合に、先端部SP1と先端部SP2とが結合しているとみなしてもよい。
なお、生成機能243は、血管B1と血管B2とが結合された後の血管位置関係については、生体の血管位置関係そのものを再現していなくともよい。これは、第1の実施形態における血管の解析処理では、結合していると判断される三次元モデルを用いて、より適切な流体解析を実現することが重要だからであり、先端部同士を疑似的に結合させた三次元血管画像を再構成することの重要性が低いためである。したがって、生成機能243は、血管の先端部同士を繋げる場合には、あくまでも流路として繋がっていればよく、例えば、先端部間の距離D1が所定距離Dth1以下である場合には、先端部同士を三次元モデルの同一座標で結合させ、所定距離Dth1より大きい場合には、先端部同士を他の流路(例えば、ダミー流路)を介して結合させる。なお、生成機能243は、距離D2であって、先端部間に他の血管や医療部材が存在しない場合には先端部同士の結合は行わない。生成機能243は、上述した血管の結合を再構成画像データ254の各血管に対して行う。
次に、生成機能243は、解析領域に含まれる血管の末端部の三次元位置を取得する。図8は、末端部の位置を取得することについて説明するための図である。図8の例では、血管B1および血管B2の一部を模式的に示している。生成機能243は、例えば、画像データ252のFOV情報等に基づいて、血管形状モデル256に含まれる画像の1ピクセル辺りの径の長さ(例えば、短径)を取得する。次に、生成機能243は、血管B1およびB2を、先端(入口)SP1、SP2から探索して所定径以下となる位置、または末端から探索して所定径以上となる位置を、血管の末端部EPとして認識する。また、生成機能243は、血管に分岐部があり、分岐された後のそれぞれの血管の径が所定径以下であると認識された場合に、分岐点の位置を末端部として推定してもよい。図8の例では、生成機能243は、上述した解析処理により、血管B1の末端部EP1と、血管B2の末端部EP2、EP3とを認識する。末端部を設定することで、細い血管を解析対象から除外することができるため、画像データから解析される血管に関する情報の精度を向上させることができる。
次に、生成機能243は、再構成画像データ254に基づいて血管B1、B2の各位置における関連情報(以下、血管関連情報)を取得する。血管関連情報には、例えば、血管に関する時系列の変化情報が含まれる。第1の実施形態における血管関連情報には、例えば、先端部から末端部までの経路途中の形状情報が含まれる。形状情報とは、例えば、血管の入口および出口の血管断面積、や時間変化に伴う断面積の変動率、血管のねじれ、曲率、長さ等の情報である。また、血管関連情報には、後述する解析機能244で解析される流路の入口(先端部)や出口(末端部)、その他の所定位置での境界条件の情報等が含まれてもよい。境界条件とは、例えば、血管内の血流の流速や流量である。
図9は、血管関連情報を取得することについて説明するための図である。図9では、血管B2に対する先端部SP2から末端部EP2の所定位置RI1〜RI5での血管関連情報を取得する例を示すが、解析位置や数についてはこれに限定されるものではない。また、他の対象血管についても同様に血管関連情報を取得するものとする。また、生成機能243は、時系列の再構成画像データ254から血管B2の所定位置RI1〜RI5における断面積変動率を抽出する。なお、血管関連情報の種類については、システムに予め組み込んでおいてもよいし、利用者が対話的に定義してもよい。また、上述した所定位置RIは、血管の形状や距離により自動的に導出された位置でもよく、利用者による入力インターフェース220を介した指示により指定されてもよい。
生成機能243は、上述した血管関連情報と、血管を結合させた三次元血管形状とを対応付けて血管形状モデル256を生成し、生成した血管形状モデル256を、メモリ250に記憶させる。血管形状モデル256は、血管の断面積の変動を含む三次元の血管形状モデルである。なお、第1撮影系統SAおよび第2撮影系統SBによる撮影中は、インジェクター118による造影剤の噴射は間欠的に行われる。そのため、処理回路240は、画像データの取得から血管形状モデル256の生成までの処理を、造影剤の噴射のタイミングと関連付けて行う。このように、最新の血管形状モデル256を生成することで、後述する解析機能244により、より精度の良い解析結果を得ることができる。
次に、解析機能244の詳細について説明する。解析機能244は、血管形状モデル256を用いて血管を流れる血液の流体解析を行う。例えば、解析機能244は、生成機能243により生成された断面積変動量からその位置での流量および流速を推定できる特性を利用し、所定位置RI1〜RI5における断面積変動量から流体解析として血管を流れる血液の流量および流速を取得する。なお、解析機能244は、断面積変動量を入力とし、流量および流速を出力とする所定関数を用いて、流量および流速を取得してもよい。また、解析機能244は、断面積変動量を用いて流量および流速の一方のみを取得してもよい。
また、解析機能244は、血管形状モデル256に基づいて、心筋血流予備量比(FFR:Fractional Flow Reserve)を導出する。ここで、FFRは、病変(例えば、狭窄や、プラーク等)によってどの程度血流が阻害されているかを推測する指標であり、病変が無い場合の流量と病変がある場合の流量との比で定義され、「FFR=Qs/Qn ・・・(1)」により算出される。式(1)において、「Qn」は、病変が無い場合の流量を示し、「Qs」は、病変がある場合の流量を示す。例えば、解析機能244は、血管形状モデル256に含まれる血管B2の所定位置RI1〜RI5の流量を用いてFFRを算出する。なお、病変がない場合の流量(流量の正解データ)は、断面積や形状等の血管関連情報によって予め設定されていてもよく、他の血管の流量、または同一の血管の他の位置の流量から推定してもよい。
なお、第1の実施形態において算出するFFRの値は、上述した算出方法を用いたものに限定されるものではなく、例えば、血管の上流側の点における圧力と、下流側の点における圧力との比較を示す圧力指標値であれば、算出方法はこれに限られない。例えば、解析機能244は、安静状態における被検体に対して圧力比を算出してもよく、上流側の圧力の値、もしくは下流側の圧力の値を別の値から推測または置き換えて算出してもよい。
また、解析機能244は、所定位置RI1〜RI5ごとのFFRを、隣接する位置間で差分したΔFFRを算出してもよい。これにより、解析機能244は、△FFRから各区間における狭窄が存在する区間(以下、狭窄区間と称する)SI1、SI2や、プラークPRK1、PRK2等を抽出することができる。また、解析機能244によって算出されるΔFFRは、例えば、狭窄区間SI1、SI2に対する評価に利用することができる。例えば、図9に示すように、血管B2に複数の狭窄区間SI1とSI2とが存在する場合、解析機能244は、所定箇所RI1〜RI5による△FFRの変化が大きい(FFRの値が急激に低下する)部分を、狭窄がより血流に対して強く影響していると解析する。
これにより、治療の優先度が高い血管の位置を、より適切に解析することができる。
また、解析機能244は、血管形状モデル256に基づいて、血管内の血流の速度分布を算出するFSI(Fluid Structure Interaction)解析を行ってもよい。また、解析機能244は、血管の内径に基づいて、内径狭窄率を算出してもよい。この場合、解析機能244は、血管形状モデル256に含まれる血管の各位置における血管の内腔径を用いて内径狭窄率(%DS)を算出してもよい。
また、解析機能244は、生成機能243により所定の更新条件に基づいて血管形状モデル256が更新された場合に、再度解析を行ってもよい。更新条件とは、例えば、上述したインジェクター118により造影剤が噴射された場合、または、第1撮影系統SAおよび第2撮影系統SBにより撮影された画像データの解析結果により血管内にステント等の医療部材が留置されたことが認識された場合である。
図10は、血管内にステントが留置された場合について説明するための図である。図10の例では、ステントSTがと狭窄区間SI1に留置されている場面を示している。この場合、ステントSTを留置した瞬間には、非造影状態のため、画像データ252から血管B2の位置は確認できず、ステントSTのみが描出される状態となる。しかし、ステントSTが描出された画像を撮影した際の撮影角度等は、画像データから取得できるため、解析機能244は、複数の撮影角度で撮影した画像から生成した血管形状モデル256と、現行の撮影角度におけるステントSTの位置とを照合することで、血管形状モデル256におけるステントの位置を特定することができる。したがって、生成機能243は、ステントSTを置いた直後の撮影位置をベースに、画像データの一部を更新して、血管形状モデル256を再生成する。つまり、生成機能243は、造影・非造形に関わらず、ステントSTが置かれた血管の位置における血管関連情報を取得し、取得した血管関連情報に基づいて血管形状モデル256を更新してメモリに格納する。また、生成機能243は、ステントやその他の医療部材を留置させたことによる圧力損失を取得し、取得した圧力損失に基づいて血管形状モデル256を再生成してもよい。
解析機能244は、更新された血管形状モデル256を用いて解析を行うことで、最新のモデル情報を用いて、より精度よく血管の解析を行うことができる。また、解析機能244は、上述した解析結果に基づいて、血管内の病変の位置や程度によって、狭心症や心筋梗塞等の虚血性心疾患等の被検体Pの症状を診断してもよい。
また、解析機能244は、例えば、機械学習を用いて断面積変動量またはその他の血管関連情報に対する流体解析結果を導出してもよい。この場合の機械学習モデルは、例えば、CNN(Convolution Neural Network)を利用したDNN(Deep Neural Network)であるが、これに限定されるものではなく、任意のモデルが用いられてよい。機械学習を用いて解析結果(例えば、FFR、△FFR、診断結果等)を取得する場合には、生成機能243は、例えばモデル形状の血管に対する血管関連情報と、血管関連情報に対する解析結果の情報とを多数記憶し学習しておく。より具体的には、例えば、解析機能244は、モデル形状の血管から生成される血管形状モデルと、その血管の血管関連情報および解析結果とを対応付けて記憶および学習することで、施術中の画像から生成された血管の形状モデルから血管関連情報や解析結果を導き出す識別器を形成する。この記憶および学習は、種々の血管形状について行うことで、機械学習によって、画像データから生成される血管形状モデルから解析結果を導出することができる。
解析機能244は、上述した解析結果を解析データ258としてメモリ250に記憶させる。
次に、表示制御機能245の詳細について説明する。表示制御機能245は、上述した血管形状モデル256や解析データ258に関する情報をディスプレイ230に表示させる。また、表示制御機能245は、血管形状モデル256や解析データ258に関する情報を、通信インターフェース210を介して医用画像生成装置100に送信し、医用画像生成装置100のディスプレイ144に表示させてもよい。
また、表示制御機能245は、解析結果に関する情報を、第1撮影系統SAおよび第2撮影系統SBで撮影したそれぞれの画像の一方または双方に重畳させてディスプレイに表示させてもよい。図11は、医用画像生成装置100で撮影された画像に解析結果が重畳して表示させた画像の一例を示す図である。図11の例では、第2撮影系統SBで撮影した血管B2に対する血管画像群画像IFB2に、解析結果に基づく画像IM1〜IM3を重畳した画像IFB2−1を示している。表示制御機能245は、血管画像群画像IFB2を撮影したときの第2撮影系統SBの三次元位置座標や撮影範囲、撮影角度等から導出される血管B2の二次元座標と、解析データ258の三次元座標とに基づいて、アフィン変換等による座標変換等を行い、解析結果を血管B2の二次元座標に対応させて描写している。図11の例では、解析結果と得られるFFRの値に対応付けられた模様や色等で表された画像IM1〜IM3がそれぞれの位置に対応付けて表示されている。
また、表示制御機能245は、第1撮影系統SAおよび第2撮影系統SBにより撮影された画像に代えて(または加えて)、医用画像処理装置200によって生成された再構成画像データ254や血管形状モデル256に、解析結果の画像を重畳してディスプレイ230やディスプレイ144に表示させてもよい。図12は、再構成画像データ254に解析結果の画像が重畳されている画像IFB2−2の一例を示す図である。図12の例では、血管B2の画像に対して解析結果の画像が重畳表示された画像IFB2−2を示している。表示制御機能245は、血管B2の三次元の画像データの三次元座標と、解析データ258の三次元座標とをアフィン変換等により対応付けて、血管B2の対応する位置に、解析結果に基づく画像を重畳して表示させる。図12の例では、図11と同様に、FFRの値に対応付けられた模様や色等で表された画像IM1〜IM3がそれぞれの位置に対応付けて表示されている。なお、表示制御機能245は、解析データ258が更新されるごとに、対応する画像を生成して血管画像に重畳して表示させてもよい。
図11および図12に示すように、解析結果や診断結果に対応付けられた画像を血管画像に重畳して表示させることで、医用画像処理装置200は、利用者等に、画像IFB2−1や画像IFB2−2を見ながら直感的に狭窄やプラークが存在すると想定される位置を把握させ易くしたり、被験体Pに対する適切な治療が行えるように支援することができる。なお、図11および図12の例では、血管画像に、解析結果に対応付けられた画像を重畳して表示させたが、表示態様については、これに限定されるものではない。例えば、表示制御機能245は、解析結果で得られた数値や診断結果の文字情報をディスプレイに表示させてもよく、FFRの値に対応した血液の流れを示すアニメーション画像を血管に対応付けて表示させてもよい。
[処理フロー]
以下、第1の実施形態における処理回路240の処理フローについて説明する。図13は、第1の実施形態の処理回路240の処理の一連の流れを示すフローチャートである。なお、以下の例では、第1撮影系統SAおよび第2撮影系統SBにより撮影された動画(画像群)を用いて医用画像処理を実行することについて説明するものとする。
図13の例において、取得機能242は、第1撮影系統SAおよび第2撮影系統SBで撮影された画像データを取得する(ステップS100)。次に、生成機能243は、それぞれの画像データから三次元の画像データを再構成し(ステップS110)、再構成された三次元の画像データ(再構成画像データ)に含まれる血管同士の先端部の距離が所定の条件を満たす場合に血管同士を結合する(ステップS120)。
次に、生成機能243は、結合した血管の再構成画像データに基づいて血管の断面積の変動に基づく境界条件を含む血管関連情報を取得し(ステップS130)、取得した血管関連情報と、結合した血管の再構成画像データとを含む血管形状モデルを生成する(ステップS140)。
次に、解析機能244は、血管形状モデル256を用いて流体解析を行う(ステップS150)。次に、表示制御機能245は、流体解析等によって得られた解析結果を、血管画像に重畳してディスプレイ144やディスプレイ230に出力させる(ステップS160)。次に、処理回路240は、医用画像処理を終了するか否かを判定する(ステップS170)。例えば、医用画像生成装置100から画像データが取得できなくなった場合や、入力インターフェース220により画像処理を終了させる指示を受け付けた場合には、処理を終了する判定し、本フローチャートの処理を終了する。また、ステップS170の処理において、上述した条件を満たさず、処理を終了しないと判定された場合は、ステップS100の処理に戻る。
以上説明した第1の実施形態によれば、複数の時点で少なくとも一方向から撮影した、被検体の血管を含む医用画像を取得する取得機能242と、取得機能242により取得された医用画像に基づいて、血管の断面積の変動を含む三次元の血管形状モデルを生成する生成機能243と、生成機能243により生成された血管形状モデルに基づいて、血管を流れる血液の流体解析を行う解析機能244とを持つことにより、血管の解析を、より短時間に行うことができる。
(第2の実施形態)
以下、第2の実施形態について説明する。第2の実施形態では、第1の実施形態の血管の断面積の変動に基づく境界条件(例えば、血管内の血流の流速や流量)を取得することに代えて、被検体の血管に注入された造影剤の濃度変化に基づいて境界条件を解析する点で相違する。したがって、以下では、主に上記の相違点を中心として説明する。なお、第2の実施形態における医用画像処理システムおよび医用画像生成装置の各構成は、第1の実施形態における医用画像処理システム1および医用画像生成装置100と同様の構成を用いることができるため、ここでの具体的な説明は省略する。後述する第3の実施形態についても同様とする。
図14は、第2の実施形態に係る医用画像処理装置200Aの一例を示す図である。医用画像処理装置200Aは、第1の実施形態に係る医用画像処理装置200比較して、取得機能242、生成機能243、および解析機能244に代えて、取得機能242A、生成機能243A、および解析機能244Aを備える点で相違する。
取得機能242Aは、第1の実施形態における取得機能242と同様の機能を有する他に、被検体の血管に注入した造影剤に関する情報を取得する。造影剤に関する情報とは、例えば、インジェクター118による造影剤の注入制御に関する情報である。注入制御に関する情報には、例えば、機械的に制御された注入する造影剤の量や流入速度、注入間隔(間欠時間)等の情報が含まれる。注入制御に関する情報は、例えば制御機能151により医用画像処理装置200Aに送信される。
生成機能243Aは、第1の実施形態における生成機能243と同様の機能を有する他、再構成画像データ254に基づいて血管の各位置における血管関連情報を取得する。第2の実施形態における血管関連情報には、解析機能244Aで解析される流路の入口や出口、その他の所定位置での境界条件の情報等が含まれてもよい。ここでの境界条件とは、血管内の造影剤の濃度変化に基づいて解析された血管内の血流の流速や流量である。
生成機能243Aは、上述した血管関連情報と、血管を結合させた三次元血管形状とを対応付けて血管形状モデル256を生成し、生成した血管形状モデル256を、メモリ250に記憶させる。血管形状モデル256は、血管内における造影剤の濃度変化から得られる境界条件等を含む三次元の血管形状モデルである。
解析機能244Aは、血管形状モデル256を用いて血管を流れる血液の流体解析を行う。例えば、解析機能244Aは、生成機能243Aにより生成された造影剤の注入後の濃度変化からその位置における流体解析として血管を流れる血液の流量および流速を取得する。
例えば、解析機能244Aは、X線画像に対する画像解析により、血管の所定位置における造影剤の濃度変化に関する情報を解析する。具体的には、解析機能244Aは、造影剤を注入する前の画像から血管内の輝度値(基準輝度値)を取得し、その後、造影剤の注入後の輝度の変化を時系列で解析する。例えば、輝度値が基準輝度値に近いほど造影剤の濃度は小さく、輝度値が基準輝度値から離れる(具体的には、輝度値が基準輝度値よりも小さくなる)ほど造影剤の濃度は大きくなる。解析機能244Aは、造影剤を注入して血管内の輝度値が変化してから再び基準輝度値となるまでの輝度変化または造影剤を注入してから所定時間が経過するまでの輝度変化を濃度変化として解析し、解析した濃度変化と、取得機能242Aにより取得されたインジェクター118からの造影剤の注入量や注入速度に基づいて、所定位置における造影剤の流速や流量を解析する。例えば、解析機能244Aは、所定位置における造影剤の濃度変化、造影剤の注入量、注入速度を入力とし、血管内の血流の流速や流量を出力値とする所定の関数を用いて血流の流速や流量を算出してもよく、造影剤の濃度変化、注入量、および注入速度に、血流の流速や流量が対応付けられたテーブルを参照することで、血流の流速や流量を取得してもよい。また、上述した所定の関数やテーブルにおいては、濃度変化を画像解析から得られる輝度変化と置き換えてもよい。
また、解析機能244Aは、上述した注入量をインジェクター118への制御情報から取得するのに代えて、造影剤の注入口の血管の断面積と注入速度とを乗算することで注入量を取得し、取得した注入量に基づいて、血流の流量を取得してもよい。
[処理フロー]
以下、第2の実施形態における処理回路240の処理フローについて説明する。図15は、第2の実施形態の処理回路240の処理の一連の流れを示すフローチャートである。図15に示す処理は、図13に示すステップS100〜S170の処理と比較すると、ステップ130の処理に代えて、ステップS132の処理を有する点で相違する。したがって、以下では、主にステップS132の処理を中心として説明する。
図15の例において、生成機能243Aは、造影剤の濃度変化に基づいて取得した境界条件(血管内の血流の流量等)を含む血管関連情報を取得する(ステップS132)。次に、生成機能243Aは、取得した血管関連情報と、結合した血管の再構成画像データとに基づいて、造影剤の濃度変化から取得した境界条件を含む血管形状モデルを生成する(ステップS140)。そして、解析機能244Aは、血管形状モデル256を用いて流体解析を行う(ステップS150)。
以上説明した第2の実施形態によれば、血管内における造影剤の濃度変化から境界条件を取得し、取得した境界条件を含む血管形状モデルを用いて解析を行うことで、第1の実施形態と同様に、血管の解析をより短時間に行うことができる。
(第3の実施形態)
以下、第3の実施形態について説明する。第3の実施形態は、第1の実施形態および第2の実施形態と比較して、血管の断面積の変動に基づく境界条件と、血管内の造影剤の濃度変化に基づく境界条件とをそれぞれ取得し、取得したそれぞれの境界条件に基づいて血管の流体解析を行う点で相違する。以下では、主に上述した相違点を中心に説明する。
図16は、第3の実施形態に係る医用画像処理装置200Bの一例を示す図である。医用画像処理装置200Bは、第1の実施形態に係る医用画像処理装置200比較して、取得機能242、生成機能243、および解析機能244に代えて、取得機能242B、生成機能243B、決定機能246、および解析機能244Bを備える点で相違する。
取得機能242Bは、第2の実施形態における取得機能242Aと同様の機能を有する。生成機能243Bは、第1の実施形態における生成機能243と同様に、血管の断面積の変動に基づく境界条件(第1の境界条件)を取得する。更に、生成機能243Bは、第2の実施形態における生成機能243Aと同様に、血管内での造影剤の濃度変化に基づく境界条件(第2の境界条件)を取得する。また、生成機能243Bは、決定機能246による決定結果として第1の境界条件または第2の境界条件のうち、一方または双方から得られる境界条件を含む血管関連情報を取得する。また、生成機能243Bは、血管関連情報を含む血管形状モデル256を生成する。解析機能244Bは、生成機能243Bにより生成された血管形状モデル256を用いて流体解析を行う。
決定機能246は、第1の境界条件または第2の境界条件に基づいて、血管関連情報に含める境界条件を決定する。例えば、決定機能246は、第1の境界条件を取得する際に、血管の断面積の変動量が予め決められた変動量の範囲外である場合に、断面積の変動量が正しく認識できていないものとし、第2の境界条件を血管関連情報に含める境界条件として決定する。また、決定機能246は、造影剤の濃度(X線画像の輝度)が予め決められた濃度(輝度)の範囲外である場合に、濃度変化が正しく認識できていないものとして、第1の境界条件を血管関連情報に含める境界条件として決定する。また、決定機能246は、第1の境界条件と第2の境界条件の平均を血管関連情報に含める境界条件として決定してもよい。また、決定機能246は、第1の境界条件または第2の境界条件のうち、予め決められた優先順位の高い方の境界条件を、血管関連情報に含める境界条件として決定してもよい。この場合、決定機能246は、例えば、それぞれの境界条件を用いて流体解析を行った結果を比較し、比較結果に基づいて次回以降の境界条件の優先順位を決定する。上述した境界条件の決定は、血管の解析領域ごとに行われてよく、複数の解析領域で纏めて行われてもよい。
[処理フロー]
以下、第3の実施形態における処理回路240の処理フローについて説明する。図17は、第3の実施形態の処理回路240の処理の一連の流れを示すフローチャートである。図17に示す処理は、図13に示すステップS100〜S170の処理と比較すると、ステップS130に代えて、ステップS122〜S126、およびS134の処理を有する点で相違する。したがって、以下では、主にステップS122〜S126、およびS134の処理を中心として説明する。
図17の例において、ステップS120の処理後、生成機能243Bは、血管の断面積の変動に基づく第1の境界条件と、造影剤の濃度変化に基づく第2の境界条件を取得する(ステップS122、S124)。次に、決定機能246は、第1の境界条件と第2の境界条件とに基づいて、血管関連情報に含める境界条件を決定する(ステップS126)。次に、生成機能243Bは、決定した境界条件を含む血管関連報を生成し(ステップS134)、生成した血管関連情報と、結合した血管の再構成画像データとに基づいて、血管形状モデルを生成する(ステップS140)。
以上説明した第3の実施形態によれば、第1および第2の実施形態と同様の効果を奏する他、第1の境界条件および第2の境界条件に基づいて、より最適な境界条件を決定して血管関連情報を含む血管形状モデルを生成することができる。また、第3の実施形態によれば、例えば、第1の境界条件と第2の境界条件を血管の解析領域(例えば、枝別)ごとに決定することで、枝別ごとにより適切な流体解析を行うことができる。したがって、より高精度な流体解析が実現できる。
また、上述した各実施形態によれば、施術中等に被検体の血管の形状等を観察するために撮影される血管画像(血管に造影剤を注入して撮影された画像)を用いて血管形状モデルを生成し、生成したモデルを用いて血管の解析を行うことで、解析用のモデル生成のために他の画像を撮像する手間や負担を削減することができ、よりリアルタイムに血管形状モデルを生成して、解析を行うことができる。より具体的に説明すると、例えば、従来では、CT(Computed Tomography)画像を用いたFFR解析や、QFR(Quantitative Flow Ratio)解析、冠動脈拡張剤(アデノシン)を点滴投与しながらプレッシャーワイヤーを冠動脈等に挿入してFFRを計測するWire−FFR等の手法があるが、CT−FFRは、術前のCT撮影が必要であるため急性期には不適であり、QFRは、TIMI(Thrombolysis In Myocardial Infarction) frame countの測定に手間がかかり、Wire−FFRは手技そのものに手間がかかる。そのため、何れの手法も急性期における虚血判断等には有効ではなかった。各実施形態では、例えば、通常術中に撮影されるアンギオグラフィー(Angio造影画像)からFFR等の解析を行うための血管形状モデルを生成し、生成した血管形状モデルからFFR等を導出することで、より迅速に虚血判断等の解析や診断を行うことができる。
なお、上述した各実施形態における血管形状モデルの生成では、より正確な三次元モデルを構築するために、二方向以上から撮影された血管画像を用いることが好ましいが、これに限定されるものではなく、一方向から撮影した血管画像のみを用いて血管形状モデルを生成し、生成したモデルを用いた解析を行ってもよい。なお、一方向から撮影する場合には、撮影対象の血管が概ね撮影方向に垂直になるように撮影方向を定めることにより、一方向からの撮影のみであっても、ある程度の解析精度は確保できる。また、一方向から撮影された画像のみを用いる場合、上述した医用画像生成装置100における第1撮影系統SAおよび第2撮影系統SBの一方の構成は、有していなくてもよい。また、三方向以上から撮影された画像を用いる場合、医用画像生成装置100は、方向の数に応じた三以上の撮影系統を備えていてもよい。
上記説明したいずれかの実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
複数の時点で少なくとも一方向から透視撮影した、被検体の血管を含む時系列の医用画像を取得させ、
取得させた前記時系列の医用画像に基づいて、前記血管の解析領域における前記血管に関する時系列の変化情報を含む血管形状モデルを生成させ、
生成させた前記血管形状モデルに基づいて、前記血管を流れる血液の流体解析を行わせる、
ように構成されている、医用画像処理装置。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…医用画像処理システム、100…医用画像生成装置、110…撮影装置、140…コンソール装置、141、250…メモリ、142,210…通信インターフェース、143,220…入力インターフェース、144,230…ディスプレイ、145…絞り制御回路、146…機構制御回路、150,240…処理回路、151,241…制御機能、152…画像データ生成機能、153…画像処理機能、154,245…表示制御機能、200、200A、200B…医用画像処理装置、242、242A、242B…取得機能、243、243A、243B…生成機能、244、244A、244B…解析機能、246…決定機能

Claims (13)

  1. 複数の時点で少なくとも一方向から透視撮影した、被検体の血管を含む時系列の医用画像を取得する取得部と、
    前記取得部により取得された前記時系列の医用画像に基づいて、前記血管の解析領域における前記血管に関する時系列の変化情報を含む血管形状モデルを生成する生成部と、
    前記生成部により生成された血管形状モデルに基づいて、前記血管を流れる血液の流体解析を行う解析部と、
    を備える、医用画像処理装置。
  2. 前記生成部は、前記血管の断面積の変動を前記変化情報として取得し、
    前記解析部は、前記断面積の変動に基づいて、前記流体解析の境界条件を設定し、設定した境界条件を含む前記血管形状モデルに基づいて、前記流体解析を行う、
    請求項1に記載の医用画像処理装置。
  3. 前記生成部は、前記解析領域に含まれる血管に注入される造影剤の濃度変化を前記変化情報として取得し、
    前記解析部は、前記造影剤の変動に基づいて、前記流体解析の境界条件を設定し、設定した境界条件を含む前記血管形状モデルに基づいて、前記流体解析を行う、
    請求項1または2に記載の医用画像処理装置。
  4. 前記生成部は、前記血管の断面積の変動と、前記解析領域に含まれる血管に注入される造影剤の濃度変化とを取得し、取得した前記血管の断面積の変動と前記造影剤の濃度変化のそれぞれに対する前記流体解析の境界条件を設定し、設定したそれぞれの境界条件に基づいて、前記血管形状モデルを生成する、
    請求項1に記載の医用画像処理装置。
  5. 前記生成部は、前記複数の時点で少なくとも一方向から撮影した医用画像を、前記被検体の心電データに基づいて同期させて三次元の血管に関する医用画像を再構成する、
    請求項1から4のうち何れか1項に記載の医用画像処理装置。
  6. 前記生成部は、再構成された三次元の医用画像に含まれる解析領域の血管の端部の位置を推定し、推定した端部が流路の入口であり、且つ前記端部間の三次元座標上での距離が所定距離以下の血管の端部同士を結合する、
    請求項5に記載の医用画像処理装置。
  7. 前記生成部は、前記医用画像に含まれる血管に注入される造影剤の位置の変化に基づいて前記流路の入口を推定する、
    請求項6に記載の医用画像処理装置。
  8. 前記生成部は、前記血管の端部間に他の血管または医療部材が存在する場合に、前記端部同士が結合しているものとみなす、
    請求項6または7に記載の医用画像処理装置。
  9. 前記生成部は、前記少なくとも一方向から撮影された医用画像に含まれる、結合するか否かを判定する血管以外の血管、または前記結合するか否かを判定する血管の周囲の人体構造に基づいて、前記医用画像の大きさを補正する、
    請求項6から8のうち何れか1項に記載の医用画像処理装置。
  10. 前記生成部は、再構成された三次元の医用画像に含まれる血管の径に基づいて、前記解析領域に含まれる前記血管の末端部を推定し、前記流路の入口の端部から前記末端部までを含む血管形状モデルを生成する、
    請求項6から9のうち何れか1項に記載の医用画像処理装置。
  11. 前記生成部は、前記医用画像に含まれる血管の少なくとも一部に医療部材が留置されたことが推定された場合に、前記血管形状モデルを更新する、
    請求項1から10のうち何れか1項に記載の医用画像処理装置。
  12. 前記解析部により前記血管形状モデルを用いて解析された結果に関する画像を、前記医用画像に含まれる血管に重畳して表示させる表示制御部を更に備える、
    請求項1から11のうち何れか1項に記載の医用画像処理装置。
  13. 医用画像処理装置のコンピュータに、
    複数の時点で少なくとも一方向から透視撮影した、被検体の血管を含む時系列の医用画像を取得させ、
    取得させた前記時系列の医用画像に基づいて、前記血管の解析領域における前記血管に関する時系列の変化情報を含む血管形状モデルを生成させ、
    生成させた前記血管形状モデルに基づいて、前記血管を流れる血液の流体解析を行わせる、
    プログラム。
JP2020050665A 2019-04-01 2020-03-23 医用画像処理装置およびプログラム Active JP7434008B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010235891.4A CN111803101B (zh) 2019-04-01 2020-03-30 医用图像处理装置及存储介质
DE102020108698.9A DE102020108698A1 (de) 2019-04-01 2020-03-30 Medizinisches Bildverarbeitungsgerät und Programm
US16/833,732 US11481957B2 (en) 2019-04-01 2020-03-30 Medical image processing apparatus and storage medium
DE202020101691.1U DE202020101691U1 (de) 2019-04-01 2020-03-30 Medizinisches Bildverarbeitungsgerät und Programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019070125 2019-04-01
JP2019070125 2019-04-01

Publications (2)

Publication Number Publication Date
JP2020168361A true JP2020168361A (ja) 2020-10-15
JP7434008B2 JP7434008B2 (ja) 2024-02-20

Family

ID=72745290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050665A Active JP7434008B2 (ja) 2019-04-01 2020-03-23 医用画像処理装置およびプログラム

Country Status (2)

Country Link
JP (1) JP7434008B2 (ja)
CN (1) CN111803101B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075050A1 (ja) 2020-10-05 2022-04-14 住友電気工業株式会社 樹脂組成物、光ファイバ及び光ファイバの製造方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742629B2 (en) 2003-09-25 2010-06-22 Paieon Inc. System and method for three-dimensional reconstruction of a tubular organ
US9445745B2 (en) 2009-12-31 2016-09-20 Mediguide Ltd. Tool shape estimation
US9119540B2 (en) * 2010-09-16 2015-09-01 Siemens Aktiengesellschaft Method and system for non-invasive assessment of coronary artery disease
JP5413408B2 (ja) 2011-06-09 2014-02-12 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6381875B2 (ja) 2012-08-16 2018-08-29 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び血圧モニタ
US9858387B2 (en) 2013-01-15 2018-01-02 CathWorks, LTD. Vascular flow assessment
JP6091870B2 (ja) * 2012-12-07 2017-03-08 東芝メディカルシステムズ株式会社 血管解析装置、医用画像診断装置、血管解析方法、及び血管解析プログラム
CN105190234B (zh) 2012-12-14 2018-05-18 Bp北美公司 三维表面测量的装置和方法
JP2015029811A (ja) * 2013-08-06 2015-02-16 パナソニック株式会社 3次元モデル生成装置、3次元モデル生成方法、及び3次元モデル生成用プログラム
JP6362853B2 (ja) * 2013-11-20 2018-07-25 キヤノンメディカルシステムズ株式会社 血管解析装置、および血管解析装置の作動方法
JP6667999B2 (ja) 2014-05-16 2020-03-18 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理方法、及びプログラム
JP6835719B2 (ja) 2014-12-08 2021-02-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 経皮的冠状動脈介入治療計画のためのベッド脇インターフェース
CN108289709B (zh) 2015-10-21 2022-03-04 圣犹达医疗用品心脏病学部门有限公司 高密度电极标测导管
US10580526B2 (en) * 2018-01-12 2020-03-03 Shenzhen Keya Medical Technology Corporation System and method for calculating vessel flow parameters based on angiography
JP6491391B1 (ja) * 2018-11-22 2019-03-27 国立大学法人信州大学 血流動態解析システム、血流動態解析方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075050A1 (ja) 2020-10-05 2022-04-14 住友電気工業株式会社 樹脂組成物、光ファイバ及び光ファイバの製造方法

Also Published As

Publication number Publication date
JP7434008B2 (ja) 2024-02-20
CN111803101B (zh) 2024-03-29
CN111803101A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US11707242B2 (en) Methods and systems for dynamic coronary roadmapping
JP6013012B2 (ja) 画像処理装置及びx線診断装置
JP6381875B2 (ja) 画像処理装置、医用画像診断装置及び血圧モニタ
JP5503284B2 (ja) 投影撮像からの動き補償された冠血流
CN103930926B (zh) 具有孔口可视化的脉管轮廓描绘
JP5818491B2 (ja) 画像処理装置および画像処理方法
EP3403582A1 (en) Method and apparatus for determining blood velocity in x-ray angiography images
US11504082B2 (en) Blood vessel model display
JP2021528137A (ja) 定量的血行動態フロー分析のための方法および装置
JP2021104337A (ja) 内腔に沿った管腔内デバイスの管腔内経路の推定
WO2013157457A1 (ja) X線撮影装置、医用画像処理装置、x線撮影方法及び医用画像処理方法
KR20140120155A (ko) 심혈관 진단 및 치료영상의 실시간 정합을 위한 방사선 불투과성 반구형 표지
US11481957B2 (en) Medical image processing apparatus and storage medium
US20220254131A1 (en) Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device
JP7434008B2 (ja) 医用画像処理装置およびプログラム
JP6933498B2 (ja) 医用情報処理装置、x線ct装置及び医用情報処理プログラム
JP6222801B2 (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP2018057835A (ja) 医用情報処理装置、x線ct装置及び医用情報処理プログラム
US11957498B2 (en) X-ray diagnostic apparatus and medical information processing apparatus
JP6871007B2 (ja) 医用画像処理装置及び医用画像診断システム
CN109949265B (zh) 医用图像处理装置及医用图像处理方法
WO2023183514A2 (en) Live angiography registration
WO2023232678A1 (en) Navigation in hollow anatomical structures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7434008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150