JP2022025590A - 医用情報処理装置、x線診断装置及び医用情報処理プログラム - Google Patents

医用情報処理装置、x線診断装置及び医用情報処理プログラム Download PDF

Info

Publication number
JP2022025590A
JP2022025590A JP2020128499A JP2020128499A JP2022025590A JP 2022025590 A JP2022025590 A JP 2022025590A JP 2020128499 A JP2020128499 A JP 2020128499A JP 2020128499 A JP2020128499 A JP 2020128499A JP 2022025590 A JP2022025590 A JP 2022025590A
Authority
JP
Japan
Prior art keywords
image
event
medical
ray
treatment procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020128499A
Other languages
English (en)
Inventor
真己 秋山
Masami Akiyama
智史 山下
Tomofumi Yamashita
和夫 今川
Kazuo Imagawa
正志 平澤
Masashi Hirasawa
富一 小野
Tomiichi Ono
光宣 菅野
Mitsunori Sugano
久人 竹元
Hisato Takemoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2020128499A priority Critical patent/JP2022025590A/ja
Priority to US17/388,541 priority patent/US11793477B2/en
Priority to CN202110863215.6A priority patent/CN114052756A/zh
Publication of JP2022025590A publication Critical patent/JP2022025590A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/465Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/464Displaying means of special interest involving a plurality of displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/464Displaying means of special interest involving a plurality of displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus

Abstract

【課題】医用画像をより有効に活用すること。【解決手段】実施形態の医用情報処理装置は、画像取得部と、イベント取得部と、管理部と、出力部とを備える。画像取得部は、被検体に対する治療手技中において医用画像を順次取得する。イベント取得部は、前記医用画像に基づいて、前記治療手技におけるイベントを前記治療手技中に順次取得する。管理部は、前記医用画像及び前記イベントを前記治療手技における時間情報と関連付けて管理する。出力部は、前記医用画像を前記イベントとの関係を識別可能なように出力する。【選択図】図7

Description

本明細書等に開示の実施形態は、医用情報処理装置、X線診断装置及び医用情報処理プログラムに関する。
被検体に対する治療手技においては、治療手技を実行する医師等のユーザをサポートするため、当該治療手技において収集された医用画像の表示が行なわれる。このような医用画像は、当該ユーザ又は他のスタッフにより、当該治療手技において収集された多数の医用画像の中から探索される。
特開2019-117663号公報
本明細書等に開示の実施形態が解決しようとする課題の一つは、医用画像をより有効に活用することである。ただし、本明細書等に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を、本明細書等に開示の実施形態が解決する他の課題として位置付けることもできる。
実施形態の医用情報処理装置は、画像取得部と、イベント取得部と、管理部と、出力部とを備える。画像取得部は、被検体に対する治療手技中において医用画像を順次取得する。イベント取得部は、前記医用画像に基づいて、前記治療手技におけるイベントを前記治療手技中に順次取得する。管理部は、前記医用画像及び前記イベントを前記治療手技における時間情報と関連付けて管理する。出力部は、前記医用画像を前記イベントとの関係を識別可能なように出力する。
図1は、第1の実施形態に係る医用情報処理システムの構成の一例を示すブロック図である。 図2は、第1の実施形態に係るX線診断装置の構成の一例を示すブロック図である。 図3Aは、第1の実施形態に係るイベント取得処理の一例を示す図である。 図3Bは、第1の実施形態に係るイベント取得処理の一例を示す図である。 図3Cは、第1の実施形態に係るイベント取得処理の一例を示す図である。 図4は、第1の実施形態に係るイベント取得処理の一例を示す図である。 図5は、第1の実施形態に係る表示例を示す図である。 図6は、第1の実施形態に係る関連画像取得処理の一例を示す図である。 図7は、第1の実施形態に係る表示例を示す図である。 図8は、第1の実施形態に係るイベントの階層表示について説明するための図である。 図9Aは、第1の実施形態に係る表示例を示す図である。 図9Bは、第1の実施形態に係る表示例を示す図である。 図10Aは、第1の実施形態に係る表示例を示す図である。 図10Bは、第1の実施形態に係る表示例を示す図である。 図11は、第2の実施形態に係る表示例を示す図である。 図12は、第3の実施形態に係る表示例を示す図である。 図13は、第4の実施形態に係る表示例を示す図である。
以下、図面を参照しながら、医用情報処理装置、X線診断装置及び医用情報処理プログラムの実施形態について詳細に説明する。
(第1の実施形態)
第1の実施形態では、医用情報処理装置30を含んだ医用情報処理システム1を例として説明する。また、第1の実施形態では、医用画像の一例として、X線診断装置10により収集されるX線画像について説明する。例えば、医用情報処理システム1は、図1に示すように、X線診断装置10、画像保管装置20及び医用情報処理装置30を備える。なお、図1は、第1の実施形態に係る医用情報処理システム1の構成の一例を示すブロック図である。
図1に示すようにX線診断装置10、画像保管装置20及び医用情報処理装置30は、ネットワークNWを介して接続される。ここで、ネットワークNWは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。即ち、画像保管装置20は、X線診断装置10及び医用情報処理装置30と同一の施設内に設置されてもよいし、異なる施設に設置されてもよい。ただし、医用情報処理装置30は、典型的には、X線診断装置10が設置された検査室に、又は、X線診断装置10を操作するための操作室に配置される。
X線診断装置10は、例えば、被検体Pに対する治療手技中においてX線画像を順次収集し、収集したX線画像を画像保管装置20又は医用情報処理装置30に対して送信する。なお、X線診断装置10については後述する。
画像保管装置20は、各種の医用画像を保管する。例えば、画像保管装置20は、X線診断装置10によって収集されたX線画像を受け付けて保管する。例えば、画像保管装置20は、PACS(Picture Archiving and Communication System)のサーバである。
医用情報処理装置30は、X線診断装置10又は画像保管装置20から取得したX線画像に基づく各種の処理を実行する。例えば、医用情報処理装置30は、図1に示すように、入力インタフェース31と、ディスプレイ32と、メモリ33と、処理回路34とを有する。
入力インタフェース31は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路34に出力する。例えば、入力インタフェース31は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インタフェース31は、医用情報処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インタフェース31は、モーションキャプチャによりユーザからの入力操作を受け付ける回路であっても構わない。一例を挙げると、入力インタフェース31は、トラッカーを介して取得した信号やユーザについて収集された画像を処理することにより、ユーザの体動や視線等を入力操作として受け付けることができる。また、入力インタフェース31は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、医用情報処理装置30とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路34へ出力する電気信号の処理回路も入力インタフェース31の例に含まれる。
ディスプレイ32は、各種の情報を表示する。例えば、ディスプレイ32は、処理回路34による制御の下、被検体Pに対する治療手技中に収集されたX線画像の表示を行なう。なお、ディスプレイ32における医用画像の表示については後述する。また、例えば、ディスプレイ32は、入力インタフェース31を介してユーザから各種の指示や設定等を受け付けるためのGUI(Graphical User Interface)を表示する。例えば、ディスプレイ32は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。ディスプレイ32は、デスクトップ型でもよいし、医用情報処理装置30本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
なお、図1においては医用情報処理装置30がディスプレイ32を備えるものとして説明するが、医用情報処理装置30は、ディスプレイ32に代えて又は加えて、プロジェクタを備えてもよい。プロジェクタは、処理回路34による制御の下、スクリーンや壁、床、被検体Pの体表面等に対して投影を行なうことができる。一例を挙げると、プロジェクタは、プロジェクションマッピングによって、任意の平面や物体、空間等への投影を行うこともできる。また、医用情報処理装置30は、表示対象の画像を、ディスプレイ32に代えて、又は、ディスプレイ32に加えて、X線診断装置10のディスプレイ108に表示させてもよい。
メモリ33は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ33は、医用情報処理装置30に含まれる回路がその機能を実現するためのプログラムを記憶する。また、メモリ33は、X線診断装置10又は画像保管装置20から取得したX線画像を記憶する。なお、メモリ33は、医用情報処理装置30とネットワークNWを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。
処理回路34は、制御機能34a、画像取得機能34b、イベント取得機能34c、管理機能34d及び出力機能34eを実行することで、医用情報処理装置30全体の動作を制御する。ここで、画像取得機能34bは、画像取得部の一例である。また、イベント取得機能34cは、イベント取得部の一例である。また、管理機能34dは、管理部の一例である。また、出力機能34eは、出力部の一例である。
例えば、処理回路34は、制御機能34aに対応するプログラムをメモリ33から読み出して実行することにより、入力インタフェース31を介してユーザから受け付けた各種の入力操作に基づいて、画像取得機能34b、イベント取得機能34c、管理機能34d及び出力機能34eといった各種の機能を制御する。
また、例えば、処理回路34は、画像取得機能34bに対応するプログラムをメモリ33から読み出して実行することにより、被検体Pに対する治療手技中においてX線画像を順次取得する。また、例えば、処理回路34は、イベント取得機能34cに対応するプログラムをメモリ33から読み出して実行することにより、X線画像に基づいて、治療手技におけるイベントを治療手技中に順次取得する。また、例えば、処理回路34は、管理機能34dに対応するプログラムをメモリ33から読み出して実行することにより、X線画像及びイベントを治療手技における時間情報と関連付けて管理する。また、例えば、処理回路34は、出力機能34eに対応するプログラムをメモリ33から読み出して実行することにより、X線画像をイベントとの関係を識別可能なように出力する。なお、画像取得機能34b、イベント取得機能34c、管理機能34d及び出力機能34eによる処理については後述する。
図1に示す医用情報処理装置30においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ33へ記憶されている。処理回路34は、メモリ33からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路34は、読み出したプログラムに対応する機能を有することとなる。
なお、図1においては単一の処理回路34にて、制御機能34a、画像取得機能34b、イベント取得機能34c、管理機能34d及び出力機能34eが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路34を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路34が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
また、処理回路34は、ネットワークNWを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路34は、メモリ33から各機能に対応するプログラムを読み出して実行するとともに、医用情報処理装置30とネットワークNWを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図1に示す各機能を実現する。
次に、図2を用いて、X線診断装置10について説明する。図2は、第1の実施形態に係るX線診断装置10の構成の一例を示すブロック図である。図2に示すように、X線診断装置10は、X線高電圧装置101と、X線管102と、X線絞り器103と、天板104と、Cアーム105と、X線検出器106と、メモリ107と、ディスプレイ108と、入力インタフェース109と、処理回路110とを備える。
X線高電圧装置101は、処理回路110による制御の下、X線管102に高電圧を供給する。例えば、X線高電圧装置101は、変圧器(トランス)及び整流器等の電気回路を有し、X線管102に印加する高電圧を発生する高電圧発生装置と、X線管102が照射するX線に応じた出力電圧の制御を行うX線制御装置とを有する。なお、高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。
X線管102は、熱電子を発生する陰極(フィラメント)と、熱電子の衝突を受けてX線を発生する陽極(ターゲット)とを有する真空管である。X線管102は、X線高電圧装置101から供給される高電圧を用いて、陰極から陽極に向けて熱電子を照射することにより、X線を発生する。
X線絞り器103は、X線管102により発生されたX線の照射範囲を絞り込むコリメータと、X線管102から曝射されたX線を調節するフィルタとを有する。
X線絞り器103におけるコリメータは、例えば、スライド可能な4枚の絞り羽根を有する。コリメータは、絞り羽根をスライドさせることで、X線管102が発生したX線を絞り込んで被検体Pに照射させる。ここで、絞り羽根は、鉛などで構成された板状部材であり、X線の照射範囲を調整するためにX線管102のX線照射口付近に設けられる。
X線絞り器103におけるフィルタは、被検体Pに対する被曝線量の低減とX線画像データの画質向上を目的として、その材質や厚みによって透過するX線の線質を変化させ、被検体Pに吸収されやすい軟線成分を低減したり、X線画像データのコントラスト低下を招く高エネルギー成分を低減したりする。また、フィルタは、その材質や厚み、位置などによってX線の線量及び照射範囲を変化させ、X線管102から被検体Pへ照射されるX線が予め定められた分布になるようにX線を減衰させる。
例えば、X線絞り器103は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることによりX線の照射を制御する。例えば、X線絞り器103は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、コリメータの絞り羽根の開度を調整して、被検体Pに対して照射されるX線の照射範囲を制御する。また、例えば、X線絞り器103は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、フィルタの位置を調整することで、被検体Pに対して照射されるX線の線量の分布を制御する。
天板104は、被検体Pを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Pは、X線診断装置10に含まれない。例えば、寝台は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることにより、天板104の移動・傾斜を制御する。例えば、寝台は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板104を移動させたり、傾斜させたりする。
Cアーム105は、X線管102及びX線絞り器103と、X線検出器106とを、被検体Pを挟んで対向するように保持する。例えば、Cアーム105は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路110による制御の下、駆動機構を動作させることにより、回転したり移動したりする。例えば、Cアーム105は、処理回路110から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、X線管102及びX線絞り器103と、X線検出器106とを被検体Pに対して回転・移動させ、X線の照射位置や照射角度を制御する。なお、図2では、X線診断装置10がシングルプレーンの場合を例に挙げて説明しているが、実施形態はこれに限定されるものではなく、バイプレーンの場合であってもよい。
X線検出器106は、例えば、マトリクス状に配列された検出素子を有するX線平面検出器(Flat Panel Detector:FPD)である。X線検出器106は、X線管102から照射されて被検体Pを透過したX線を検出して、検出したX線量に対応した検出信号を処理回路110へと出力する。なお、X線検出器106は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。
メモリ107は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ107は、処理回路110によって読み出されて実行される各種機能に対応するプログラムを記憶する。なお、メモリ107は、クラウドにより実現されることとしてもよい。
ディスプレイ108は、各種の情報を表示する。例えば、ディスプレイ108は、処理回路110による制御の下、ユーザの指示を受け付けるためのGUIや、各種のX線画像を表示する。例えば、ディスプレイ108は、液晶ディスプレイやCRTディスプレイである。なお、ディスプレイ108はデスクトップ型でもよいし、処理回路110と無線通信可能なタブレット端末等で構成されることにしても構わない。
なお、図2においてはX線診断装置10がディスプレイ108を備えるものとして説明するが、X線診断装置10は、ディスプレイ108に代えて又は加えて、プロジェクタを備えてもよい。プロジェクタは、処理回路110による制御の下、スクリーンや壁、床、被検体Pの体表面等に対して投影を行なうことができる。一例を挙げると、プロジェクタは、プロジェクションマッピングによって、任意の平面や物体、空間等への投影を行うこともできる。
入力インタフェース109は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路110に出力する。例えば、入力インタフェース109は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インタフェース109は、処理回路110と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インタフェース109は、モーションキャプチャによりユーザからの入力操作を受け付ける回路であっても構わない。一例を挙げると、入力インタフェース109は、トラッカーを介して取得した信号やユーザについて収集された画像を処理することにより、ユーザの体動や視線等を入力操作として受け付けることができる。また、入力インタフェース109は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、X線診断装置10とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路110へ出力する電気信号の処理回路も入力インタフェース109の例に含まれる。
処理回路110は、制御機能110a、収集機能110b及び出力機能110cを実行することで、X線診断装置10全体の動作を制御する。
例えば、処理回路110は、制御機能110aに対応するプログラムをメモリ107から読み出して実行することにより、入力インタフェース109を介してユーザから受け付けた各種の入力操作に基づいて、収集機能110b、出力機能110cといった各種の機能を制御する。
例えば、処理回路110は、メモリ107から収集機能110bに相当するプログラムを読み出して実行することにより、被検体PからX線画像を収集する。例えば、収集機能110bは、被検体Pに対する治療手技中において、被検体Pを透過したX線に基づいてX線画像を順次収集する。
例えば、収集機能110bは、X線高電圧装置101を制御し、X線管102に供給する電圧を調整することで、被検体Pに対して照射されるX線量やオン/オフを制御する。また、収集機能110bは、X線絞り器103の動作を制御し、コリメータが有する絞り羽根の開度を調整することで、被検体Pに対して照射されるX線の照射範囲を制御する。また、収集機能110bは、X線絞り器103の動作を制御し、フィルタの位置を調整することで、X線の線量の分布を制御する。また、収集機能110bは、Cアーム105の動作を制御し、被検体Pに対するCアーム105の位置及び角度を変化させることで、撮影位置及び撮影角度を制御する。なお、Cアーム105の位置及び角度については、アームポジション情報とも記載する。また、収集機能110bは、X線検出器106から受信した検出信号に基づいてX線画像を生成し、生成したX線画像をメモリ107に格納する。
また、処理回路110は、メモリ107から出力機能110cに相当するプログラムを読み出して実行することにより、ネットワークNWを介したデータの送受信や、ディスプレイ32における表示を制御する。例えば、出力機能110cは、収集機能110bが収集したX線画像を、ネットワークNWを介して医用情報処理装置30に送信したり、ディスプレイ32に表示させたりする。また、例えば、出力機能110cは、ユーザからの入力操作を受け付けるためのGUIをディスプレイ32に表示させる。
図2に示すX線診断装置10においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ107へ記憶されている。処理回路110は、メモリ107からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路110は、読み出したプログラムに対応する機能を有することとなる。
なお、図2においては単一の処理回路110にて、制御機能110a、収集機能110b及び出力機能110cが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路110を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路110が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
また、処理回路110は、ネットワークNWを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路110は、メモリ107から各機能に対応するプログラムを読み出して実行するとともに、X線診断装置10とネットワークNWを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図2に示す各機能を実現する。
以上、X線診断装置10、画像保管装置20及び医用情報処理装置30を含んだ医用情報処理システム1について説明した。以下、医用情報処理システム1において行なわれる処理について説明する。
例えば、被検体Pに対する治療手技において、X線診断装置10は、被検体PからX線画像を順次収集する。また、医用情報処理装置30は、X線画像をX線診断装置10から順次取得し、取得したX線画像をディスプレイ32に順次リアルタイムに表示させる。これにより、ユーザは、被検体Pの体内構造や、被検体Pの体内に挿入された医療デバイス等を確認しつつ、円滑に治療手技を進行させることができる。即ち、医用情報処理システム1は、X線画像の収集及び表示を行なうことで、治療手技を実行するユーザ(担当医)をサポートすることができる。
ここで、治療手技は、担当医を含んだ複数人のチームで実行される場合が多いところ、担当医以外のメンバーが、リアルタイムのX線画像を参照して治療手技における現在の局面を把握しようとする場合がある。また、治療手技の実行中において、担当医又は他のメンバーが当該治療手技における収集済みのX線画像を参照する場合がある。
しかしながら、例えば、リアルタイムのX線画像には治療手技における現在の局面に特有の特徴が描出されているとは限らず、また、現在の状況に至る過程をリアルタイムのX線画像のみから判断することは困難な場合もある。したがって、治療手技においてリアルタイムのX線画像を参照しても、チーム内のメンバーが治療手技の現在の局面を把握することができず、チーム内の意思疎通が難しくなる場合があった。また、例えば、治療手技の実行中に、チーム内のメンバーが、当該治療手技における収集済みのX線画像をディスプレイ108に参照画像として表示しようとした際、必要な画像を探すのに手間がかかってしまう場合があった。
そこで、医用情報処理装置30は、処理回路34による処理によって、X線画像等の医用画像をより有効に活用することを可能とする。以下、処理回路34が行なう処理について詳細に説明する。
まず、被検体Pに対する治療手技中において、画像取得機能34bは、X線画像を順次取得する。なお、画像取得機能34bは、画像保管装置20を介してX線画像を取得してもよいし、X線診断装置10から直接的にX線画像を取得してもよい。また、イベント取得機能34cは、治療手技におけるイベントを治療手技中に順次取得する。
ここで、イベント取得機能34cによるイベント取得処理の例について、図3A、図3B及び図3Cを用いて説明する。図3A、図3B及び図3Cは、第1の実施形態に係るイベント取得処理の一例を示す図である。
まず、図3Aについて説明する。図3Aに示す場合、イベント取得機能34cは、治療手技の開始に先立って、患者情報の入力を受け付け(ステップS101)、また、手技の選択を受け付ける(ステップS102)。例えば、イベント取得機能34cは、入力インタフェース31を介してユーザからの入力操作を受け付けることにより、ステップS101及びステップS102を実行することができる。なお、ステップS101及びステップS102については適宜省略することとして構わない。
また、イベント取得機能34cは、イベントフローの選択を受け付ける(ステップS103)。図3Aにおいては一例として、イベントE1、イベントE2及びイベントE3を含んだイベントフローが選択された場合について説明する。例えば、イベント取得機能34cは、入力インタフェース31を介してユーザからの入力操作を受け付けることにより、ステップS103を実行することができる。一例を挙げると、メモリ33は、複数種類のイベントフローを含んだデータベースを予め記憶しておき、イベント取得機能34cは、かかるデータベースの中からいずれかのイベントフローを選択する操作を、ユーザから受け付けることができる。或いは、イベント取得機能34cは、ステップS101にて受け付けた患者情報や、ステップS102にて選択された手技に基づいて、イベントフローを自動で選択することとしても構わない。
ステップS103の後、イベント取得機能34cは、治療手技が最初のイベントE1の局面にあると判断する(ステップS104)。また、治療手技の開始後、画像取得機能34bは、X線診断装置10において収集されたX線画像を取得する(ステップS105)。ここで、イベント取得機能34cは、ステップS105にて取得したX線画像について、イベントE1を取得することができる。
また、管理機能34dは、ステップS105にて取得したX線画像及びイベントE1を、治療手技における時間情報と関連付けて管理する。例えば、管理機能34dは、ステップS105にて取得したX線画像に対して、イベントE1及び時間情報を付帯情報として付加し、メモリ33に記憶させる。一例を挙げると、管理機能34dは、X線画像のDICOM(Digital Imaging and Communications in Medicine)タグに、イベントE1及び時間情報を記憶させる。なお、時間情報は、X線診断装置10においてX線画像の収集が行われた日時の情報であってもよいし、医用情報処理装置30がX線診断装置10からX線画像を取得した日時の情報であってもよい。また、管理機能34dは、ステップS101にて受け付けた患者情報や、ステップS102にて選択された手技などを、X線画像における付帯情報として更に記憶させてもよい。
次に、イベント取得機能34cは、イベントE1が終了したか否かを判定し(ステップS106)、終了していない場合には(ステップS106否定)、再度ステップS105に移行する。例えば、イベント取得機能34cは、収集されたX線画像に基づいて、イベントE1が終了したか否かを自動で判定する。例えば、イベントE1が「被検体Pの大腿部から医療デバイスを挿入して治療対象部位の心臓まで到達させる」とうイベントであった場合、イベント取得機能34cは、X線画像に現れた医療デバイスと被検体Pの心臓との位置関係に基づいて、イベントE1が終了したか否かを自動で判定することができる。そして、イベントE1が終了していない場合、イベント取得機能34cは、再度ステップS105に移行し、新たに取得したX線画像についてイベントE1を取得する。即ち、イベント取得機能34cは、X線画像に基づいてイベントを取得することができる。したがって、当該X線画像自体にイベントE1に特有の特徴が描出されていない場合であっても、当該X線画像にイベントE1の情報を付与することができる。
或いは、イベント取得機能34cは、周辺機器の位置情報とデータベースとの比較により、イベントE1が終了したか否かを自動で判定することとしてもよい。例えば、医療デバイスの先端位置に追従するようにCアーム105が移動される場合、イベント取得機能34cは、Cアーム105の位置情報に基づいて、イベントE1が終了したか否かを自動で判定することができる。或いは、イベント取得機能34cは、入力インタフェース31を介してユーザからの入力操作を受け付けることにより、イベントE1が終了したか否かを判定することとしてもよい。
一方で、イベントE1が終了した場合(ステップS106肯定)、イベント取得機能34cは、治療手技がイベントE2の局面に移行したと判断する(ステップS107)。また、画像取得機能34bは、X線診断装置10において収集されたX線画像を取得する(ステップS108)。ここで、イベント取得機能34cは、ステップS108にて取得したX線画像について、イベントE2を取得することができる。例えば、イベント取得機能34cは、ステップS105で取得したX線画像に基づいてイベントE1が終了したか否かを判定し、終了した場合には治療手技がイベントE2の局面に移行したと判断して、ステップS108で新たに取得したX線画像についてイベントE2を取得する。また、管理機能34dは、ステップS108にて取得したX線画像及びイベントE2を、治療手技における時間情報と関連付けて管理する。なお、ステップS106のイベントE1の終了判定は、イベントE1の終了に特有の特徴を検出することで行われてもよいし、イベントE2に特有の特徴を検出することによりイベントE2の開始判定を以て行われてもよい。この判定の手法は、ステップS109等においても同様に適用されてもよい。
次に、イベント取得機能34cは、イベントE2が終了したか否かを判定し(ステップS109)、終了していない場合には(ステップS109否定)、再度ステップS108に移行する。例えば、イベント取得機能34cは、X線画像に基づいてイベントE2が終了したか否かを判定し、終了していない場合には再度ステップS108に移行して、新たに取得したX線画像についてイベントE2を取得する。一方で、イベントE2が終了した場合(ステップS109肯定)、イベント取得機能34cは、治療手技がイベントE3の局面に移行したと判断する(ステップS110)。また、画像取得機能34bは、X線診断装置10において収集されたX線画像を取得する(ステップS111)。ここで、イベント取得機能34cは、ステップS111にて取得したX線画像について、イベントE3を取得することができる。例えば、イベント取得機能34cは、ステップS108で取得したX線画像に基づいてイベントE2が終了したか否かを判定し、終了した場合には治療手技がイベントE3の局面に移行したと判断して、ステップS111で新たに取得したX線画像についてイベントE3を取得する。また、管理機能34dは、ステップS111にて取得したX線画像及びイベントE3を、治療手技における時間情報と関連付けて管理する。
次に、イベント取得機能34cは、イベントE3が終了したか否かを判定し(ステップS112)、終了していない場合には(ステップS112否定)、再度ステップS111に移行する。例えば、イベント取得機能34cは、X線画像に基づいてイベントE3が終了したか否かを判定し、終了していない場合には再度ステップS111に移行して、新たに取得したX線画像についてイベントE3を取得する。一方で、イベントE3が終了した場合(ステップS112肯定)、イベント取得機能34cは、処理を終了する。
即ち、図3Aに示した処理によれば、画像取得機能34bは、被検体Pに対する治療手技中においてX線画像を順次取得し、イベント取得機能34cは、治療手技におけるイベントを治療手技中に順次取得する。例えば、イベント取得機能34cは、X線画像に基づいてイベントフローに含まれる各イベントが終了したか否かを判定することで、新たに取得したX線画像についてのイベントを順次取得することができる。また、管理機能34dは、X線画像及びイベントを治療手技における時間情報と関連付けて管理することができる。
次に、図3Bについて説明する。図3Bに示す場合、イベント取得機能34cは、治療手技の開始に先立って、患者情報の入力を受け付け(ステップS201)、また、手技の選択を受け付ける(ステップS202)。例えば、イベント取得機能34cは、入力インタフェース31を介してユーザからの入力操作を受け付けることにより、ステップS201及びステップS202を実行することができる。なお、ステップS201及びステップS202については適宜省略することとして構わない。
また、イベント取得機能34cは、イベント名の設定を行なう。例えば、ステップS202の後、イベント取得機能34cは、治療手技における最初のイベント名の設定を行なう(ステップS203)。例えば、イベント取得機能34cは、入力インタフェース31を介してユーザからの入力操作を受け付けることにより、イベント名の設定を行なうことができる。一例を挙げると、イベント取得機能34cは、音声入力により、イベント名の設定を行なうことができる。或いは、イベント取得機能34cは、ステップS201にて受け付けた患者情報や、ステップS202にて選択された手技に基づいて、イベント名を自動で設定することとしても構わない。
次に、イベント取得機能34cは、イベント名の修正を行なうか否かを判定する(ステップS204)。例えば、計画変更や、自動認識とユーザ認識との不一致があった場合、イベント取得機能34cは、イベント名の修正を行なうと判定し(ステップS204肯定)、イベント名を修正することができる(ステップS205)。ここで、イベント取得機能34cは、ユーザからの入力操作を受け付けることによりイベント名を修正してもよいし、イベント名を自動で再設定してもよい。
一方で、イベント名の修正を行わない場合(ステップS204否定)、画像取得機能34bは、X線診断装置10において収集されたX線画像を取得する(ステップS206)。ここで、イベント取得機能34cは、ステップS206にて取得したX線画像について、ステップS203で設定し又はステップS205で修正したイベント名を取得することができる。また、管理機能34dは、X線画像及びイベントを、治療手技における時間情報と関連付けて管理する。
次に、イベント取得機能34cは、ステップS203で設定し又はステップS205で修正したイベント名のイベントが終了したか否かを判定し(ステップS207)、終了していない場合には(ステップS207否定)、再度ステップS206に移行する。例えば、イベント取得機能34cは、収集されたX線画像に基づいて、イベントが終了したか否かを自動で判定する。そして、イベントが終了していない場合、イベント取得機能34cは、再度ステップS206に移行し、新たに取得したX線画像について、ステップS203で設定し又はステップS205で修正したイベント名のイベントを取得する。即ち、イベント取得機能34cは、X線画像に基づいてイベントを取得することができる。
或いは、イベント取得機能34cは、ステップS207において、周辺機器の位置情報とデータベースとの比較により、イベントが終了したか否かを自動で判定することとしてもよい。また、イベント取得機能34cは、入力インタフェース31を介してユーザからの入力操作を受け付けることにより、イベントが終了したか否かを判定することとしてもよい。
一方で、イベントが終了した場合(ステップS207肯定)、イベント取得機能34cは、次のイベントがあるか否かを判定する(ステップS208)。次のイベントがある場合(ステップS208肯定)、イベント取得機能34cは、再度ステップS203に移行し、次のイベントについてイベント名を設定する。一方で、次のイベントがない場合(ステップS208否定)、イベント取得機能34cは、処理を終了する。
即ち、図3Bに示した処理によれば、画像取得機能34bは、被検体Pに対する治療手技中においてX線画像を順次取得し、イベント取得機能34cは、治療手技におけるイベントを治療手技中に順次取得する。例えば、イベント取得機能34cは、X線画像に基づいて、ステップS203で設定し又はステップS205で修正したイベント名のイベントが終了したか否かを判定することで、新たに取得したX線画像についてのイベントを順次取得することができる。また、管理機能34dは、X線画像及びイベントを治療手技における時間情報と関連付けて管理することができる。
次に、図3Cについて説明する。図3Cに示す場合、イベント取得機能34cは、治療手技の開始に先立って、患者情報の入力を受け付け(ステップS301)、また、手技の選択を受け付ける(ステップS302)。例えば、イベント取得機能34cは、入力インタフェース31を介してユーザからの入力操作を受け付けることにより、ステップS301及びステップS302を実行することができる。なお、ステップS301及びステップS302については適宜省略することとして構わない。
次に、画像取得機能34bは、X線診断装置10において収集されたX線画像を取得する(ステップS303)。次に、イベント取得機能34cは、ステップS303にて取得したX線画像を用いた処理により、イベント名を設定する(ステップS304)。例えば、イベント取得機能34cは、ステップS303にて取得したX線画像から医療デバイスを検出し、検出した医療デバイスの種類及び被検体Pの体内における位置を特定する。例えば、医療デバイスとして、血管狭窄部の拡張に使用されるバルーンが検出され、また、前後のフレームからそのバルーンがフレームごとに拡大していることを検出した場合、イベント取得機能34cは、「バルーン拡張」というイベントを取得することができる。即ち、イベント取得機能34cは、X線画像に基づいてイベントを取得することができる。また、管理機能34dは、X線画像及びイベントを、治療手技における時間情報と関連付けて管理する。
次に、イベント取得機能34cは、次のX線画像があるか否かを判定し(ステップS305)、次のX線画像がある場合には(ステップS305肯定)、再度ステップS303に移行する。一方で、次のX線画像がない場合(ステップS305否定)、イベント取得機能34cは、処理を終了する。即ち、図3Cに示した処理によれば、画像取得機能34bは、被検体Pに対する治療手技中においてX線画像を順次取得し、イベント取得機能34cは、X線画像に基づいて治療手技におけるイベントを治療手技中に順次取得し、管理機能34dは、X線画像及びイベントを治療手技における時間情報と関連付けて管理することができる。
なお、図3A、図3B及び図3Cはあくまで一例であり、イベント取得機能34cは、種々の手法によりイベントの取得を行なうことができる。例えば、イベント取得機能34cは、X線診断装置10と異なる医用画像診断装置(モダリティ)によって収集された画像に基づいて、イベントの取得を行なうこともできる。例えば、イベント取得機能34cは、図3CのステップS304において、X線画像と並行して収集された超音波画像に基づいて、イベント名の設定を行こともできる。
イベント取得機能34cは、例えば、図4に示すように、イベント種別を記憶したデータベースに基づいて、上述した各種のイベント取得方法を実行することができる。なお、かかるデータベースは、例えばメモリ33において保管され、適宜読み出しを行なうことができる。例えば、イベント取得機能34cは、保持装置や寝台の制御情報、入力端末からの入力情報、マイクやカメラからの入力情報、IVUS(血管内超音波検査)により収集された超音波画像といった各種の情報をデータベース上に登録されたイベント名と比較し、一致又は類似するイベント名を取得する。なお、図4の保持装置は、例えば、図2に示したCアーム105である。また、図4の寝台は、例えば、図2に示した天板104の移動・傾斜を制御する装置である。また、図4の入力端末は、図1に示した入力インタフェース31の一例であり、例えばマウスやキーボード等である。また、図4のマイク及びカメラは、図1に示した入力インタフェース31の一例である。また、IVUSによる超音波画像は、例えばメモリ33において保管され、適宜読み出しを行なうことができる。即ち、予めデータベース上にイベント名を登録し、これを用いてイベントを取得することにより、イベント取得機能34cは、同種のイベントについては同じイベント名を取得し、効率的にイベントを管理することができる。なお、図4は、第1の実施形態に係るイベント取得処理の一例を示す図である。
次に、出力機能34eは、X線画像をイベントとの関係を識別可能なように出力する。例えば、出力機能34eは、X線画像及びイベントに関連付けられた時間情報に基づいて、イベントを時系列に配置したタイムラインをディスプレイ32に表示させる。更に、出力機能34eは、タイムラインに表示されるイベントとの時系列的な関係を識別可能なように、X線画像をディスプレイ32に表示させる。
一例を挙げると、出力機能34eは、図5に示すように、領域R11、領域R12及び領域R13を含んだ表示画面をディスプレイ32に表示させる。例えば、出力機能34eは、治療手技中において、図5の表示画面をディスプレイ32に表示させる。なお、図5は、第1の実施形態に係る表示例を示す図である。
具体的には、出力機能34eは、領域R11において、イベントを時系列に配置したタイムラインを表示させる。図5においては一例として、イベントE11(対象部位到達)、イベントE12(L-ICM バルーン造影)、イベントE13(ステント留置)をタイムラインで示す場合を示す。更に、図5は、イベントE12について、イベントE121(狭窄部位の確認(造影剤の注入))、イベントE122(バルーンの拡張)、イベントE123(狭窄部位の確認(造影剤の注入))といった詳細イベントから構成されることを示す。
更に、出力機能34eは、領域R11において、現在のイベントをラインL1で表示する。即ち、図5においては、イベントE121を含んだイベントE12は現在イベントであり、イベントE11は過去イベントであり、イベントE13は次イベントである。更に、出力機能34eは、領域R12や領域R13において、イベントE121に関連付いたX線画像を表示させることができる。例えば、出力機能34eは、イベントE121が行われている間に収集されたX線画像I11を、領域R12においてサムネイル表示するとともに、領域R13において拡大して表示させる。即ち、出力機能34eは、タイムライン上にラインL1を表示させることで、タイムラインに表示されるイベントとの時系列的な関係を識別可能なようにX線画像I11を表示させることができる。例えば、治療手技におけるチームのメンバーは、図5の表示を参照することで治療手技の現在の局面を把握することができ、容易に意思疎通を図ることが可能となる。
なお、出力機能34eは、治療手技に含まれるイベントの全てを表示してもよいし、その一部のみを表示してもよい。例えば、出力機能34eは、表示対象イベントのリストに基づいて表示するイベントを選択し、リストに含まれないイベントは非表示としてもよい。これにより、出力機能34eは、表示するイベントの数を低減し、過度に多くの情報が表示されることによるユーザの混乱を回避することができる。
また、ラインL1が現在のイベントを表示するものとして説明したが、ラインL1は、タイムライン上で任意に移動可能としてもよい。例えば、治療手技中において、ユーザは、ラインL1を、過去イベントであるイベントE11の位置に移動させることができる。この場合、出力機能34eは、移動後のラインL1が位置するイベントE11に関連付いたX線画像を、ディスプレイ32に表示させる。これにより、治療手技の実行中に収集済みのX線画像を参照画像として表示する場合に、治療手技における局面の情報を用いて候補を絞り込むことができるため、必要な画像を探すための手間を軽減することができる。
ここで、出力機能34eは、ラインL1が位置するイベントに関連付いたX線画像の他、そのX線画像に関連する関連画像を更に表示させることとしてもよい。例えば、図5に示すようにラインL1がイベントE121に位置している場合において、出力機能34eは、イベントE121に関連付いたX線画像I11の他、画像I12、画像I13、画像I14等の関連画像を領域R12に表示させることができる。また、ユーザによってこれら関連画像のうちいずれかが選択された場合、出力機能34eは、領域R13において関連画像を拡大して表示させることとしてもよい。
なお、X線画像I11に関連する関連画像とは、例えば、X線画像I11と同一又は類似の付帯情報を有する画像である。例えば、出力機能34eは、メモリ33や画像保管装置20に記憶されている医用画像の中から、患者情報やイベントといった付帯情報がX線画像I11に類似する医用画像を検索し、関連画像としてディスプレイ32に表示させる。一例を挙げると、出力機能34eは、過去イベントであるイベントE11において被検体Pから収集されたX線画像を、X線画像I11に関連する関連画像としてディスプレイ32に表示させる。
また、例えば、X線画像I11に関連する関連画像とは、X線画像I11と画像の特徴が類似する画像である。一例を挙げると、出力機能34eは、メモリ33や画像保管装置20に記憶されている医用画像の中から、X線画像I11と同一又は類似の医療デバイスが現れている画像や、X線画像I11と同じ臓器について収集された画像などを検索し、関連画像としてディスプレイ32に表示させる。
また、例えば、X線画像I11に関連する関連画像とは、X線画像I11と同一又は類似のアームポジション情報を有するX線画像である。即ち、出力機能34eは、メモリ33や画像保管装置20に記憶されている医用画像の中から、X線画像I11と撮影位置や撮影角度が同一又は類似となるX線画像を検索し、関連画像としてディスプレイ32に表示させる。これにより、例えば、治療手技中に表示を行なう場合において、出力機能34eは、表示される関連画像をリアルタイムのアーム角度近傍に絞り込むことができる。
なお、アームポジション情報に基づいて関連画像を選択する場合、アームポジション情報が類似しないX線画像は関連画像から除外されることとなる。ここで、出力機能34eは、アームポジション情報が類似しないことにより表示が省略されたX線画像があることをユーザに通知してもよい。例えば、出力機能34eは、アームポジション情報が類似しないことにより表示が省略されたX線画像があることをタイムライン上にテキストで表示してもよい。
また、X線画像I11に関連する関連画像は、X線画像I11に基づいて生成された処理済み画像であってもよい。一例を挙げると、出力機能34eは、メモリ33や画像保管装置20に記憶されている医用画像の中から、X線画像I11に基づいて生成されたPI(Parametric Imaging)画像を検索し、X線画像I11に関連する関連画像としてディスプレイ32に表示させてもよい。なお、PI画像とは、血管を造影した複数フレーム分のX線画像から血流到達時刻等のパラメータを算出し、パラメータの値に応じた色を各画素に割り当てて生成されるカラー画像である。
ここで、出力機能34eは、生成済みの処理済み画像を読み出してもよいし、処理済み画像を作成するために使用されたアプリケーションを読み出してもよい。例えば、出力機能34eは、メモリ33や画像保管装置20に記憶されているPI画像を読み出してもよいし、PI画像を作成するために使用されるアプリケーションを読み出してもよい。ここで、アプリケーションを読み出した場合、出力機能34eは、例えば、X線画像I11を含む複数のフレーム分のX線画像からPI画像を生成し、関連画像としてディスプレイ32に表示させることができる。
また、出力機能34eは、関連画像を、X線画像I11に応じて加工又は生成して表示させることとしてもよい。例えば、X線画像I11に基づくPI画像を読み出した場合、出力機能34eは、X線画像I11との比較がしやすいように、PI画像のWL(Window Level)やWW(Window Width)等の表示態様を加工した後、関連画像として表示させることができる。また、例えば、PI画像を作成するために使用されるアプリケーションを読み出した場合、出力機能34eは、X線画像I11との比較がしやすいようにWLやWWを設定してPI画像を生成し、関連画像として表示させることができる。
なお、X線画像I11に基づいて生成された処理済み画像の例としてPI画像について説明したが、実施形態はこれに限定されるものではない。例えば、出力機能34eは、X線画像I11から血管壁のみを抽出した血管壁画像や、X線画像I11上にガイド線などをマーキングしたスケッチ画像を、X線画像I11に関連する関連画像としてディスプレイ32に表示させることもできる。また、例えば、出力機能34eは、X線画像I11より前に収集されたX線画像に基づいて生成された血管壁画像やスケッチ画像とX線画像I11との重畳画像を、X線画像I11に関連する関連画像としてディスプレイ32に表示させることもできる。
ここで、出力機能34eは、処理済み画像を元画像の近傍に表示させることとしてもよい。例えば、出力機能34eは、X線画像I11に基づいて生成された処理済み画像を、タイムライン上のX線画像I11に隣接した位置に表示させることができる。或いは、出力機能34eは、タイムライン上、処理済み画像の作成日時に対応した位置に、処理済み画像を表示させることとしても構わない。
また、X線画像I11に関連する関連画像は、X線画像に限られるものではなく、X線診断装置10と異なる装置を用いて収集された画像であってもよい。例えば、出力機能34eは、イベントE121が行われている間に収集された超音波画像を、X線画像I11に関連する関連画像としてディスプレイ32に表示させることとしてもよい。また、例えば、出力機能34eは、被検体Pから過去に収集された超音波画像を、関連画像としてディスプレイ32に表示させることとしてもよい。一例を挙げると、出力機能34eは、被検体Pから収集されたIVUS画像やTEE(Transesophageal Echocardiography)画像を、関連画像としてディスプレイ32に表示させることとしてもよい。その他、出力機能34eは、X線CT(Computed Tomography)画像や、MRI(Magnetic Resonance Imaging)画像、SPECT(Single Photon Emission Computed Tomography)画像、PET(Positron Emission computed Tomography)画像、OCT(Optical Coherence Tomography)画像といった各種の医用画像を、関連画像としてディスプレイ32に表示させることとしてもよい。
また、X線画像I11に関連する関連画像は、3次元医用画像から生成した2次元医用画像であってもよい。例えば、出力機能34eは、術前CTやCBCT(Cone-Beam Computed Tomography)画像といった3次元医用画像に対するレンダリング処理を行なって2次元医用画像を生成し、関連画像としてディスプレイ32に表示させることとしてもよい。ここで、出力機能34eは、X線画像I11に付加されたアームポジション情報に基づいて、2次元医用画像を生成することとしてもよい。即ち、出力機能34eは、X線画像I11に関連する関連画像として、撮影位置や撮影角度をX線画像I11に近似させた2次元医用画像を生成して、ディスプレイ32に表示させることとしてもよい。これにより、出力機能34eは、例えば、治療手技中に表示を行なう場合において、表示される関連画像をリアルタイムのアーム角度近傍に絞り込むことができる。
なお、上述したように関連画像には複数の種類があるところ、出力機能34eは、ユーザからの指示に基づいて表示させる関連画像を絞り込んでもよい。例えば、出力機能34eは、図5に示すように、アイコンB11やアイコンB12等を表示させ、これらのアイコンに対する操作に応じて、表示させる関連画像を絞り込んでもよい。一例を挙げると、アイコンB11は「超音波画像」に対応する。ここで、ユーザがアイコンB11に対する操作を行なった場合、出力機能34eは、X線画像I11に関連する関連画像として超音波画像の表示を行なうか否かを切り替えることができる。
例えば、出力機能34eは、図6に示すように、データベースを使用して関連画像の検索を行なうことができる。例えば、イベント取得機能34cは、入力端末から入力されたキーワードや、X線画像I11等の収集画像に付加された付帯情報、収集画像の画像特徴などに基づいてデータベース内の検索を行ない、収集画像に関連する関連画像としてディスプレイ32等のモニタに表示させることができる。なお、図6は、第1の実施形態に係る関連画像取得処理の一例を示す図である。
また、図5においては、イベントE12に含まれる詳細イベント(イベントE121、イベントE122、イベントE123)についても表示させるものとして説明したが、出力機能34eは、図7に示すように、これら詳細イベントの表示を省略することとしてもよい。即ち、出力機能34eは、表示させるイベントの階層を制限することとしてもよい。これにより、出力機能34eは、ユーザに対して提供する情報量を制御することができる。なお、図7は、第1の実施形態に係る表示例を示す図である。
以下、イベントの階層表示について説明する。まず、管理機能34dは、例えば図8に示すように、イベント取得機能34cが取得したイベントを階層化させて管理する。図8に示す場合、治療手技には「手技開始」、「患部造影」、「ステント手技」、「手技終了」の4つの大イベントが含まれる。なお、図8は、第1の実施形態に係るイベントの階層表示について説明するための図である。
ここで、「手技開始」のイベントには、画像I21、画像I22、画像I23及び画像I24が関連付けられている。また、「手技開始」には、より詳細なイベントとして、「ガイドワイヤー挿入」が含まれる。ここで、「ガイドワイヤー挿入」のイベントには、「手技開始」のイベントに関連付けられた画像のうち、画像I22及び画像I24が関連付けられている。また、「ガイドワイヤー挿入」には、より詳細なイベントとして、「分岐確認」が含まれる。ここで、「分岐確認」のイベントには、「ガイドワイヤー挿入」のイベントに関連付けられた画像のうち、画像I22が関連付けられている。このように、より上位の階層のイベント(大イベント)ほど多くの画像が関連付けられ、より下位の階層のイベント(詳細イベント)ほど、関連付けられる画像の数は絞り込まれることとなる。同様に、「患部造影」には、より詳細なイベントとして、「患部造影」が含まれる。また、「ステント手技」には、より詳細なイベントとして、「ステント留置」が含まれる。
また、「ステント留置」には、より詳細なイベントとして、「ステント位置あわせ」、「拡張実施」及び「拡張後確認」が含まれる。
出力機能34eは、図8に示したように階層管理されたイベントに基づいて、表示の制御を行なう。例えば、出力機能34eは、図9A及び図9Bに示すように、ユーザから受け付けた入力操作に応じた階層のイベントを表示させる。なお、図9A及び図9Bは、第1の実施形態に係る表示例を示す図である。
具体的には、出力機能34eは、まず、図9Aに示すように、「手技開始」、「患部造影」、「ステント手技」、「手技終了」の4つの大イベントの表示を行なう。ここで、例えばユーザが「ステント手技」を選択する操作を行なった場合、出力機能34eは、「ステント手技」に含まれる詳細イベントである「ステント留置」を更に表示させる。これにより、出力機能34eは、ユーザに対して過剰な情報を提供することを回避しつつも、詳細イベントをユーザの希望に応じて提供することができる。
別の例を挙げると、出力機能34eは、図10A及び図10Bに示すように、所定の階層のイベントを表示させる。なお、図10A及び図10Bは、第1の実施形態に係る表示例を示す図である。
例えば、所定の階層として「4層」が設定されていた場合、出力機能34eは、図10Aに示すように、1層目に含まれる「手技開始」、「患部造影」、「ステント手技」、「手技終了」といったイベント、2層目に含まれる「ガイドワイヤー挿入」、「患部造影」、「ステント留置」、「拡張後確認」といったイベント、3層目に含まれる「分岐確認」、「ステント位置あわせ」、「拡張実施」といったイベント、4層目に含まれる「造影確認」といったイベントのそれぞれを表示させる。一方で、所定の階層として「2層」が設定されていた場合、出力機能34eは、図10Bに示すように、1層目に含まれる「手技開始」、「患部造影」、「ステント手技」、「手技終了」といったイベント、2層目に含まれる「ガイドワイヤー挿入」、「患部造影」、「ステント留置」、「拡張後確認」といったイベントといったイベントのそれぞれを表示させる。即ち、所定の階層として「2層」が設定されていた場合、出力機能34eは、3層目以降の表示を省略する。これにより、出力機能34eは、イベントの過詳細化による混乱を回避することができる。なお、所定の階層は、プリセットされた値であってもよいし、イベントの総数に応じて出力機能34eが自動設定した値であってもよいし、ユーザが任意に設定した値であってもよい。
上述したように、第1の実施形態によれば、画像取得機能34bは、被検体Pに対する治療手技中において、医用画像を順次取得する。また、イベント取得機能34cは、医用画像に基づいて、治療手技におけるイベントを治療手技中に順次取得する。また、管理機能34dは、医用画像及びイベントを、治療手技における時間情報と関連付けて管理する。また、出力機能34eは、医用画像をイベントとの関係を識別可能なように出力する。従って、第1の実施形態に係る医用情報処理装置30は、医用画像をより有効に活用することを可能とすることができる。例えば、治療手技中において、チームのメンバーは現在の局面を把握し、容易に意思疎通を図ることが可能となる。また、例えば、治療手技の実行中に、当該治療手技における収集済みの医用画像を使用しようとした際、必要な画像を容易に探し出すことが可能となる。
また、上述したように、第1の実施形態によれば、出力機能34eは、関連画像を更に表示させることができる。これにより、例えば治療手技の実行中に医用画像を使用しようとした際、必要な画像をより容易に探し出すことが可能となる。
また、上述したように、第1の実施形態によれば、管理機能34dは、イベントを階層化させて管理する。また、出力機能34eは、ユーザから受け付けた入力操作に応じた階層のイベントを表示させ、又は所定の階層のイベントを表示させる。これにより、医用情報処理装置30は、過度に多くの情報が表示されることによるユーザの混乱を回避することができる。
なお、医用画像をイベントとの関係を識別可能なようにディスプレイ32に表示させるものとして説明したが、実施形態はこれに限定されるものではない。例えば、出力機能34eは、図5や図7に示した表示画面を作成し、X線診断装置10に対して送信しても構わない。この場合には、X線診断装置10が有するディスプレイ108において、図5や図7に示した表示を行なうことができる。
(第2の実施形態)
上述した第1の実施形態では、表示例として、図5や図7の表示画面について説明した。これに対して、第2の実施形態では、表示例として、図11の表示画面について説明する。図11は、第2の実施形態に係る表示例を示す図である。第2の実施形態に係る医用情報処理システム1は、図1及び図2に示した医用情報処理システム1と同様の構成を有し、出力機能34eによる処理の一部が相違する。以下、第1の実施形態において説明した構成と同様の構成を有する点については、図1及び図2と同一の符号を付し、説明を省略する。
例えば、出力機能34eは、図11に示すように、領域R21及び領域R22を含んだ表示画面をディスプレイ32に表示させる。具体的には、出力機能34eは、領域R21において、イベントを時系列に配置したタイムラインを表示させるとともに、治療手技中に取得された医用画像をタイムライン上に表示させる。即ち、出力機能34eは、イベントを時系列に配置したタイムラインを表示させるとともに、タイムラインに表示されるイベントとの時系列的な関係を識別可能なように医用画像を表示させる。
具体的には、図11に示す場合、治療手技には「対象部位到達」のイベントE21及び「L-ICMバルーン造影」のイベントE22が含まれる。また、イベントE21においてはX線画像I21、X線画像I22及びX線画像I23が順次収集され、イベントE22においてはX線画像I24及びX線画像I25が順次収集されている。なお、図5及び図7の場合と同様に、出力機能34eは、治療手技中に収集されたX線画像に加えて、超音波画像等の関連画像を更に表示させることとしても構わない。また、出力機能34eは、アイコンB21やアイコンB22等を表示させ、これらのアイコンに対する操作に応じて、表示させる関連画像を絞り込んでもよい。
更に、出力機能34eは、図11に示すように、X線画像の収集時におけるアームポジション情報を表示させることができる。具体的には、出力機能34eは、X線画像I21が「LAO45°,CAU35°」で収集され、X線画像I22が「LAO60°,CAU35°」で収集され、X線画像I23が「LAO60°,CAU30°」で収集され、X線画像I24が「LAO45°,CAU35°」で収集され、X線画像I25が「LAO60°,CAU35°」で収集されたこと表示することができる。
これにより、例えば、画像再現を効率的に行なうことが可能となる。一例を挙げると、治療手技中において、ユーザは図11の表示画面を参照し、現在の局面においてはX線画像I21と同様の撮影角度の画像を使用することが好ましいと判断した場合には、「LAO45°,CAU35°」となるようにCアーム105を回転移動させる。これにより、ユーザは、所望の角度のリアルタイム画像を用いて、より効率的に治療手技を進行させることができる。
なお、出力機能34eは、図11の領域R21において、治療手技中に一番長く使用されたアームポジション情報を強調表示させてもよい。即ち、出力機能34eは、メインのワーキングアングルを推定して表示することとしてもよい。このようなワーキングアングルは、その治療手技において有用な画像を得られる角度である場合が多く、画像再現を要するケースが比較的多い。従って、治療手技中に一番長く使用されたアームポジション情報を強調表示させることにより、画像再現をより効率的に行なうことが可能となる。
(第3の実施形態)
上述した第1~第2の実施形態では、表示例として、図5や図7、図11の表示画面について説明した。これに対して、第3の実施形態では、表示例として、図12の表示画面について説明する。図12は、第3の実施形態に係る表示例を示す図である。第3の実施形態に係る医用情報処理システム1は、図1及び図2に示した医用情報処理システム1と同様の構成を有し、出力機能34eによる処理の一部が相違する。以下、第1~第2の実施形態において説明した構成と同様の構成を有する点については、図1及び図2と同一の符号を付し、説明を省略する。
例えば、出力機能34eは、図12に示すように、領域R31、領域R32及び領域R33を含んだ表示画面をディスプレイ32に表示させる。具体的には、出力機能34eは、領域R31において、イベントを時系列に配置したタイムラインを表示させる。また、出力機能34eは、領域R32において、治療手技中に取得された医用画像を表示させる。ここで、医用画像としてX線画像を表示させる場合、出力機能34eは、図12に示すように、各X線画像の収集時におけるアームポジション情報を表示させることとしても構わない。
また、出力機能34eは、領域R33において、ユーザとの間で行われた入出力の情報を表示させる。例えば、ユーザは、音声入力やキーボード操作等によって「造影画像を呼び出して」との入力を行なう。これに対し、出力機能34eは、治療手技中に収集されたX線画像のうち、被検体Pの血管が造影されたX線画像を検索して、領域R33に表示させる。このように、出力機能34eは、ユーザから受け付けた入力操作に応じて医用画像を表示させるとともに、医用画像を表示させるまでにユーザとの間で行われた入出力の情報を領域R33に表示させる。
即ち、出力機能34eは、ユーザから入力操作を受け付けて医用画像の表示を行なうAI(Artificial Intelligence)であり、かつ、ユーザとの間で行われたやり取りを領域R33に表示させることができる。これにより、ユーザは、必要な画像をより容易に確認することができる。例えば、領域R33には、医用画像とともにその医用画像を呼び出すために入力されたコマンドが表示されており、その医用画像がどのような意図で呼び出されたものであるのか一見して理解することが可能である。
(第4の実施形態)
上述した第1~第3の実施形態では、表示例として、図5や図7、図11、図12の表示画面について説明した。これに対して、第4の実施形態では、表示例として、図13の表示画面について説明する。図13は、第4の実施形態に係る表示例を示す図である。第4の実施形態に係る医用情報処理システム1は、図1及び図2に示した医用情報処理システム1と同様の構成を有し、出力機能34eによる処理の一部が相違する。以下、第1~第2の実施形態において説明した構成と同様の構成を有する点については、図1及び図2と同一の符号を付し、説明を省略する。
例えば、出力機能34eは、図13に示すように、「造影」、「バルーン」、「ステント」といったイベントを時系列に配置したタイムラインを表示させるとともに、これらイベントとの時系列的な関係を識別可能なように、複数の医用画像I41を表示させる。更に、出力機能34eは、医用画像の付帯情報の表示を行なう。例えば、出力機能34eは、医用画像のそれぞれについて、「角度」、「AutoPos」、「Vital」といった付帯情報を表示させる。なお、これらの付帯情報は、例えば、各医用画像のDICOMタグに記憶させておくことができる。例えば、ユーザは、これらの付帯情報を参照することで、確認したい画像をより容易に発見することが可能となる。
また、出力機能34eは、検査室内画像を更に表示させることもできる。例えば、出力機能34eは、図13に示すように、複数の検査室内画像I42を表示させることもできる。具体的には、治療手技中において、画像取得機能34bは、治療手技中の検査室内を撮影した検査室内画像を順次取得する。かかる検査室内画像は、例えば、光学カメラを用いて撮影された動画像に含まれる複数のフレームである。また、管理機能34dは、医用画像及びイベントに加えて、検査室内画像を時間情報と関連付けて管理する。
また、出力機能34eは、図13に示すように、「造影」、「バルーン」、「ステント」といったイベントを時系列に配置したタイムラインを表示させる。また、出力機能34eは、タイムラインに表示されるイベントとの時系列的な関係を識別可能なように、複数の医用画像I41を表示させる。更に、出力機能34eは、タイムラインに関連付けて検査室内画像I42を表示させる。即ち、出力機能34eは、「造影」、「バルーン」、「ステント」の各イベント、複数の医用画像I41、及び、複数の検査室内画像I42を、横軸(時系列)が合うようにして表示させる。例えば、ユーザは、手技の実行中に検査室内画像を参照することにより、手技の全体像を把握し、医用画像を手技の効率化に役立たせることができる。
(第5の実施形態)
さて、これまで第1~第4の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。
例えば、図5や図7、図11、図12、図13等に示した例では、少なくとも、イベントを時系列に配置したタイムラインを表示させる場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、出力機能34eは、タイムラインの表示は省略し、音声やキーボード等によってユーザから受け付けたイベントに関連付けられた医用画像を表示させることとしてもよい。
また、例えば、上述した実施形態では、医用情報処理装置30の処理回路34が、イベント取得機能34c、管理機能34d、出力機能34eといった機能を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えばX線診断装置10の処理回路110が、イベント取得機能34c、管理機能34d、出力機能34eに相当する機能を実行する場合であっても構わない。
例えば、処理回路110は、図示しないイベント取得機能110d及び管理機能110eを更に実行する。例えば、被検体Pに対する治療手技中において、収集機能110bは、被検体Pを透過したX線に基づいてX線画像を順次収集する。また、イベント取得機能110dは、X線画像に基づいて、治療手技におけるイベントを、治療手技中に順次取得する。また、管理機能110eは、記X線画像及びイベントを治療手技における時間情報と関連付けて管理する。そして、出力機能110cは、X線画像をイベントとの関係を識別可能なように出力する。例えば、出力機能110cは、図5や図7、図11、図12、図13等の表示画面をディスプレイ108に表示させることができる。
ここで、収集機能110bは、出力機能110cによって出力されたX線画像のうちユーザによって選択されたX線画像の収集条件に基づいて、X線画像の収集を再度実行することとしてもよい。例えば、出力機能110cが図11の表示画面をディスプレイ108に表示させ、ユーザがX線画像I21の選択を行なった場合、収集機能110bは、「LAO45°,CAU35°」の条件で、X線画像の収集を再度実行する。一例を挙げると、収集機能110bは、X線画像I21が領域R22に表示されている間に所定の動作ボタンが押下された場合、X線画像I21が選択されたものとして「LAO45°,CAU35°」の条件でのX線画像の収集を実行する。これにより、画像再現をより効率的に行なうことが可能となる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばASICである場合、記憶回路にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、各図における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
また、上述した実施形態で説明した医用情報処理方法は、予め用意された医用情報処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この医用情報処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この医用情報処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも1つの実施形態によれば、医用画像をより有効に活用することができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以上の実施形態に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
(付記1)
被検体に対する治療手技中において医用画像を順次取得する画像取得部と、
前記医用画像に基づいて、前記治療手技におけるイベントを前記治療手技中に順次取得するイベント取得部と、
前記医用画像及び前記イベントを前記治療手技における時間情報と関連付けて管理する管理部と、
前記医用画像を前記イベントとの関係を識別可能なように出力する出力部と
を備える、医用情報処理装置。
(付記2)
前記出力部は、前記時間情報に基づいて前記イベントを時系列に配置したタイムラインを表示させるとともに、前記タイムラインに表示される前記イベントとの時系列的な関係を識別可能なように前記医用画像を前記表示部に表示させてもよい。
(付記3)
前記出力部は、前記医用画像に関連する関連画像を更に表示させてもよい。
(付記4)
前記関連画像は、前記医用画像と同一又は類似の付帯情報を有する画像、又は、前記医用画像と画像の特徴が類似する画像であってもよい。
(付記5)
前記関連画像は、前記医用画像と異なる装置を用いて収集された画像であってもよい。
(付記6)
前記関連画像は、前記医用画像に基づいて生成された処理済み画像であってもよい。
(付記7)
前記医用画像は、X線診断装置を用いて収集されたX線画像であり、
前記出力部は、前記X線画像を前記イベントとの関係を識別可能なように表示させるとともに、当該X線画像と同一又は類似のアームポジション情報を有するX線画像を、前記関連画像として表示させてもよい。
(付記8)
前記医用画像は、X線診断装置を用いて収集されたX線画像であり、
前記出力部は、前記X線画像を前記イベントとの関係を識別可能なように表示させるとともに、当該X線画像のアームポジション情報に基づいて3次元医用画像から生成した2次元医用画像を前記関連画像として表示させてもよい。
(付記9)
前記出力部は、前記関連画像を、前記医用画像に応じて加工又は生成して表示させてもよい。
(付記10)
前記医用画像は、X線診断装置を用いて収集されたX線画像であり、
前記出力部は、前記X線画像を前記イベントとの関係を識別可能なように表示させるとともに、当該X線画像の収集時におけるアームポジション情報を表示させてもよい。
(付記11)
前記出力部は、ユーザから受け付けた入力操作に応じて前記医用画像を表示させるとともに、当該医用画像を表示させるまでに前記ユーザとの間で行われた入出力の情報を表示させてもよい。
(付記12)
前記画像取得部は、更に、前記治療手技中において、当該治療手技中の検査室内を撮影した検査室内画像を順次取得し、
前記管理部は、前記医用画像、前記イベント及び前記検査室内画像を前記時間情報と関連付けて管理し、
前記出力部は、前記時間情報に基づいて前記イベントを時系列に配置したタイムラインを表示させるとともに、前記タイムラインに表示される前記イベントとの時系列的な関係を識別可能なように前記医用画像を表示させ、更に、前記タイムラインに関連付けて前記検査室内画像を表示させてもよい。
(付記13)
前記出力部は、前記医用画像を、当該医用画像の付帯情報とともに表示させてもよい。
(付記14)
前記イベント取得部は、イベント種別を記憶したデータベースに基づいて、前記治療手技におけるイベントを取得してもよい。
(付記15)
前記管理部は、前記イベントを階層化させて管理し、
前記出力部は、ユーザから受け付けた入力操作に応じた階層の前記イベントを表示させてもよい。
(付記16)
前記管理部は、前記イベントを階層化させて管理し、
前記出力部は、所定の階層の前記イベントを表示させてもよい。
(付記17)
被検体に対する治療手技中において、前記被検体を透過したX線に基づいてX線画像を順次収集する収集部と、
前記X線画像に基づいて、前記治療手技におけるイベントを前記治療手技中に順次取得するイベント取得部と、
前記X線画像及び前記イベントを前記治療手技における時間情報と関連付けて管理する管理部と、
前記X線画像を前記イベントとの関係を識別可能なように出力する出力部と
を備える、X線診断装置。
(付記18)
前記収集部は、前記出力部によって出力されたX線画像のうちユーザによって選択されたX線画像の収集条件に基づいて、X線画像の収集を再度実行してもよい。
(付記19)
上記の医用情報処理装置の各構成をコンピュータに実行させる医用情報処理プログラム。
1 医用情報処理システム
10 X線診断装置
110 処理回路
110a 制御機能
110b 収集機能
110c 出力機能
110d イベント取得機能
110e 管理機能
20 画像保管装置
30 医用情報処理装置
34 処理回路
34a 制御機能
34b 画像取得機能
34c イベント取得機能
34d 管理機能
34e 出力機能

Claims (19)

  1. 被検体に対する治療手技中において医用画像を順次取得する画像取得部と、
    前記医用画像に基づいて、前記治療手技におけるイベントを前記治療手技中に順次取得するイベント取得部と、
    前記医用画像及び前記イベントを前記治療手技における時間情報と関連付けて管理する管理部と、
    前記医用画像を前記イベントとの関係を識別可能なように出力する出力部と
    を備える、医用情報処理装置。
  2. 前記出力部は、前記時間情報に基づいて前記イベントを時系列に配置したタイムラインを表示させるとともに、前記タイムラインに表示される前記イベントとの時系列的な関係を識別可能なように前記医用画像を表示部に表示させる、請求項1に記載の医用情報処理装置。
  3. 前記出力部は、前記医用画像に関連する関連画像を更に表示させる、請求項2に記載の医用情報処理装置。
  4. 前記関連画像は、前記医用画像と同一又は類似の付帯情報を有する画像、又は、前記医用画像と画像の特徴が類似する画像である、請求項3に記載の医用情報処理装置。
  5. 前記関連画像は、前記医用画像と異なる装置を用いて収集された画像である、請求項3又は4に記載の医用情報処理装置。
  6. 前記関連画像は、前記医用画像に基づいて生成された処理済み画像である、請求項3に記載の医用情報処理装置。
  7. 前記医用画像は、X線診断装置を用いて収集されたX線画像であり、
    前記出力部は、前記X線画像を前記イベントとの関係を識別可能なように表示させるとともに、当該X線画像と同一又は類似のアームポジション情報を有するX線画像を、前記関連画像として表示させる、請求項3に記載の医用情報処理装置。
  8. 前記医用画像は、X線診断装置を用いて収集されたX線画像であり、
    前記出力部は、前記X線画像を前記イベントとの関係を識別可能なように表示させるとともに、当該X線画像のアームポジション情報に基づいて3次元医用画像から生成した2次元医用画像を前記関連画像として表示させる、請求項3に記載の医用情報処理装置。
  9. 前記出力部は、前記関連画像を、前記医用画像に応じて加工又は生成して表示させる、請求項3に記載の医用情報処理装置。
  10. 前記医用画像は、X線診断装置を用いて収集されたX線画像であり、
    前記出力部は、前記X線画像を前記イベントとの関係を識別可能なように表示させるとともに、当該X線画像の収集時におけるアームポジション情報を表示させる、請求項2に記載の医用情報処理装置。
  11. 前記出力部は、ユーザから受け付けた入力操作に応じて前記医用画像を表示させるとともに、当該医用画像を表示させるまでに前記ユーザとの間で行われた入出力の情報を表示させる、請求項2に記載の医用情報処理装置。
  12. 前記画像取得部は、更に、前記治療手技中において、当該治療手技中の検査室内を撮影した検査室内画像を順次取得し、
    前記管理部は、前記医用画像、前記イベント及び前記検査室内画像を前記時間情報と関連付けて管理し、
    前記出力部は、前記時間情報に基づいて前記イベントを時系列に配置したタイムラインを表示させるとともに、前記タイムラインに表示される前記イベントとの時系列的な関係を識別可能なように前記医用画像を表示させ、更に、前記タイムラインに関連付けて前記検査室内画像を表示させる、請求項2に記載の医用情報処理装置。
  13. 前記出力部は、前記医用画像を、当該医用画像の付帯情報とともに表示させる、請求項12に記載の医用情報処理装置。
  14. 前記イベント取得部は、イベント種別を記憶したデータベースに基づいて、前記治療手技におけるイベントを取得する、請求項1~13のいずれか一項に記載の医用情報処理装置。
  15. 前記管理部は、前記イベントを階層化させて管理し、
    前記出力部は、ユーザから受け付けた入力操作に応じた階層の前記イベントを表示させる、請求項2に記載の医用情報処理装置。
  16. 前記管理部は、前記イベントを階層化させて管理し、
    前記出力部は、所定の階層の前記イベントを表示させる、請求項2に記載の医用情報処理装置。
  17. 被検体に対する治療手技中において、前記被検体を透過したX線に基づいてX線画像を順次収集する収集部と、
    前記X線画像に基づいて、前記治療手技におけるイベントを前記治療手技中に順次取得するイベント取得部と、
    前記X線画像及び前記イベントを前記治療手技における時間情報と関連付けて管理する管理部と、
    前記X線画像を前記イベントとの関係を識別可能なように出力する出力部と
    を備える、X線診断装置。
  18. 前記収集部は、前記出力部によって出力されたX線画像のうちユーザによって選択されたX線画像の収集条件に基づいて、X線画像の収集を再度実行する、請求項17に記載のX線診断装置。
  19. 被検体に対する治療手技中において医用画像を順次取得し、
    前記医用画像に基づいて、前記治療手技におけるイベントを前記治療手技中に順次取得し、
    前記医用画像及び前記イベントを前記治療手技における時間情報と関連付けて管理し、
    前記医用画像を前記イベントとの関係を識別可能なように出力する
    各処理をコンピュータに実行させる、医用情報処理プログラム。
JP2020128499A 2020-07-29 2020-07-29 医用情報処理装置、x線診断装置及び医用情報処理プログラム Pending JP2022025590A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020128499A JP2022025590A (ja) 2020-07-29 2020-07-29 医用情報処理装置、x線診断装置及び医用情報処理プログラム
US17/388,541 US11793477B2 (en) 2020-07-29 2021-07-29 Medical information processing apparatus, x-ray diagnostic apparatus, and medical information processing program
CN202110863215.6A CN114052756A (zh) 2020-07-29 2021-07-29 医用信息处理装置、x射线诊断装置及医用信息处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020128499A JP2022025590A (ja) 2020-07-29 2020-07-29 医用情報処理装置、x線診断装置及び医用情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2022025590A true JP2022025590A (ja) 2022-02-10

Family

ID=80002485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020128499A Pending JP2022025590A (ja) 2020-07-29 2020-07-29 医用情報処理装置、x線診断装置及び医用情報処理プログラム

Country Status (3)

Country Link
US (1) US11793477B2 (ja)
JP (1) JP2022025590A (ja)
CN (1) CN114052756A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1962676A2 (en) * 2005-12-19 2008-09-03 Koninklijke Philips Electronics N.V. Hierarchical real-time patient state indices for patient monitoring
US8233962B2 (en) * 2006-05-16 2012-07-31 Siemens Medical Solutions Usa, Inc. Rotational stereo roadmapping
JP5160110B2 (ja) 2007-03-15 2013-03-13 オリンパスメディカルシステムズ株式会社 画像ファイリングシステムおよび画像表示システム
JP2017120562A (ja) 2015-12-28 2017-07-06 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム
US10561381B2 (en) * 2016-06-07 2020-02-18 Canon Medical Systems Corporation Medical image diagnostic apparatus, and medical image processing apparatus
EP3573015A4 (en) 2017-01-19 2020-01-29 Konica Minolta, Inc. SUPPORT PROCEDURE AND SUPPORT SYSTEM
JP6611833B2 (ja) 2018-01-16 2019-11-27 キヤノン株式会社 放射線撮影システム、並びに、カメラ制御装置及びその制御方法
JP7032157B2 (ja) 2018-02-02 2022-03-08 キヤノンメディカルシステムズ株式会社 医用画像診断装置及びx線照射制御装置

Also Published As

Publication number Publication date
US20220031271A1 (en) 2022-02-03
US11793477B2 (en) 2023-10-24
CN114052756A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US10361002B2 (en) Method and apparatus for setting imaging environment by using signals transmitted by plurality of clients
US10628972B2 (en) Diagnostic imaging method and apparatus, and recording medium thereof
JP2019106122A (ja) 病院情報装置、病院情報システム及びプログラム
US11883206B2 (en) Personalized breast imaging system
JP2004105746A (ja) マンモグラフィ装置
JP7246912B2 (ja) 医用情報処理装置及び医用情報処理システム
JP2022025590A (ja) 医用情報処理装置、x線診断装置及び医用情報処理プログラム
JP2020014805A (ja) 医用画像処理装置及びx線コンピュータ断層撮影装置
JP5214980B2 (ja) 医用画像読影装置
JP2021142320A (ja) 血管造影投影をコンピュータ断層撮影データに位置合わせするためのシステムおよび方法
JP7002901B2 (ja) 医用画像診断装置及び医用画像処理装置
JP7451283B2 (ja) X線診断装置、医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
JP2004097830A (ja) マンモグラフィ装置
JP7292871B2 (ja) 医用情報処理装置及びx線診断装置
US20240127450A1 (en) Medical image processing apparatus and non-transitory computer readable medium
JP7118584B2 (ja) 医用画像診断装置、医用画像撮像装置および医用画像表示装置
JP2004033790A (ja) マンモグラフィ装置
JP2021133036A (ja) 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP2022028188A (ja) 医用画像処理装置、x線診断装置及びプログラム
JP2023036292A (ja) 医用画像診断装置、医用画像処理方法、プログラム
JP2022010859A (ja) 医用画像処理装置、医用画像処理システム及び医用画像処理方法
JP2020182640A (ja) X線診断装置及び医用情報処理装置
JP2022172743A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2023124349A (ja) 医用情報処理装置及び医用情報処理方法
JP2022065390A (ja) 医用画像処理装置、医用画像診断装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240404