JP2022045085A - 医用情報処理装置、医用システム、医用情報処理方法、およびプログラム - Google Patents

Abstract

【課題】被検体の診断や施術において、より適切な医用画像をユーザに提供することである。
【解決手段】実施形態の医用情報処理装置は、取得部と、特定部と、生成部とを持つ。取得部は、周期的な動作をする臓器に関する複数時相の画像情報を取得する。特定部は、前記複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、前記画像情報に含まれる所定の対象物に対する処理に関する第２の遅延を示す第２遅延量との少なくとも一方を特定する。生成部は、前記第１遅延量と前記第２遅延量の少なくとも一方と、前記臓器の周期的な動作とに基づいた医用画像を生成する。
【選択図】図２

Description

本明細書及び図面に開示の実施形態は、医用情報処理装置、医用システム、医用情報処理方法、およびプログラムに関する。

医療業界において、地方の医師不足や新型感染症に精通する医師の不足等の影響から遠隔診断や遠隔施術等の需要が高まっている。遠隔診断や遠隔施術を行う場合、施術者は、現場で撮影された対象物を含む画像を確認しながら、診断や施術を行う。しかしながら、通信環境やデータ量等の影響により実際の施術対象の状況と、画像に含まれる施術対象の状況とに遅延が生じる場合があった。そのため、施術者等のユーザに適切な医用画像を提供できない場合があった。

特表２０１７－５２２９７５号公報 特許第４４９１４２０号公報 特表第５３６７２１５号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、被検体の診断や施術において、より適切な医用画像をユーザに提供することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態の医用情報処理装置は、取得部と、特定部と、生成部とを持つ。取得部は、周期的な動作をする臓器に関する複数時相の画像情報を取得する。特定部は、前記複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、前記画像情報に含まれる所定の対象物に対する処理に関する第２の遅延を示す第２遅延量との少なくとも一方を特定する。生成部は、前記第１遅延量と前記第２遅延量の少なくとも一方と、前記臓器の周期的な動作とに基づいた医用画像を生成する。

第１の実施形態の医用情報処理装置を含む医用システム１の一例を示す図。 第１の実施形態に係る医用情報処理装置２００の一例を示す図。 特定機能２４３について説明するための図。 遅延情報２５６の内容の一例を示す図。 第１の実施形態における生成機能２４４により生成される医用画像について説明するための図。 医用画像の生成について説明するための図。 ディスプレイ２３０に表示される画像ＩＭ１について説明するための図。 第１の実施形態における医用情報処理装置２００により実行される処理の流れの一例を示すフローチャート。 第２の実施形態における医用情報処理装置２００Ａの一例を示す図。 第２の実施形態における生成機能２４４Ａの機能について説明するための図。 第２の実施形態における医用情報処理装置２００Ａにより実行される処理の流れの一例を示すフローチャート。 第３の実施形態における医用装置１００Ｂの一例を示す図。 第３の実施形態における医用情報処理装置２００Ｂの一例を示す図。 第３の実施形態における医用情報処理装置２００Ｂにより実行される処理の流れの一例を示すフローチャート。

以下、図面を参照しながら、医用情報処理装置、医用システム、医用情報処理方法、およびプログラムについて説明する。

（第１の実施形態）
図１は、第１の実施形態の医用情報処理装置を含む医用システム１の一例を示す図である。医用システム１は、医用装置１００と、医用情報処理装置２００とを備える。医用装置１００および医用情報処理装置２００は、ネットワークＮＷを介して接続される。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、専用回線、無線基地局、プロバイダ等を含む。

医用装置１００は、例えば、被検体Ｐの周期的な動作をする臓器に対する所定の処理を行う。医用装置１００は、例えば、Ｘ線等を用いて被検体Ｐを診断または施術するための画像を生成するＸ線診断装置である。以下、医用装置１００により生成される画像を「術中画像」と称する。術中画像には、診断時や施術時の画像が含まれる。また、術中画像には、診断前や施術前の画像が含まれてよい。また、医用装置１００は、例えば、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、核医学診断装置等であってもよい。また、医用装置１００は、医用情報処理装置２００からの指示に応じた処理を行ってもよい。

医用情報処理装置２００は、ネットワークＮＷを介して医用装置１００と情報の送受信を行う。医用情報処理装置２００は、医用装置１００から所定距離以上離れた遠隔地に設置されていてもよく、所定距離未満の位置に設定されていてもよい。医用情報処理装置２００は、一つまたは複数のプロセッサにより実現される。例えば、医用情報処理装置２００は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータ（スタンドアローンのコンピュータ）であってもよい。医用情報処理装置２００は、医用装置１００からの情報に基づいて、医用情報処理装置２００のユーザに画像情報を提供したり、ユーザからの指示情報等を医用装置１００に送信して医用装置１００を操作する。ユーザとは、例えば、被検体Ｐの診断や施術を行う施術者である。

医用システム１は、図１の例では医用装置１００と医用情報処理装置２００とがそれぞれ１台ずつ設けられているが、これに限定されるものではなく、一方または双方が複数台設けられていてもよい。また、医用装置１００または医用情報処理装置２００とは、他方の装置と一体に構成されていてもよい。

次に、医用装置１００の構成について具体的に説明する。図１に示す医用装置１００は、例えば、撮影装置１１０と、コンソール装置１４０とを備える。撮影装置１１０は、例えば、高電圧発生器１１１と、アーム部１１２と、Ｘ線発生器１１３と、Ｘ線検出器１１４と、アーム移動機構１１５と、寝台１１６と、寝台移動機構１１７と、デバイス駆動機構１１８と、心電計１１９とを備える。以下、アーム部１１２、Ｘ線発生器１１３、およびＸ線検出器１１４を合わせたものを「撮影系統」と称する場合がある。デバイス駆動機構１１８は、「駆動部」の一例である。

高電圧発生器１１１は、後述の処理回路１５０の制御により、高電圧を発生し、発生した高電圧をＸ線発生器１１３に供給する。

アーム部１１２は、例えば一部または全部にＣ字等の湾曲形状または屈曲形状を有する保持装置である。アーム部１１２は、後述の機構制御回路１４６の制御に従って、アーム移動機構１１５が駆動されることにより回転および移動が可能となる。アーム部１１２は、一端にＸ線発生器１１３を保持し、他端にＸ線発生器１１３と対向するようにＸ線検出器１１４を保持する。Ｘ線発生器１１３は、例えば、Ｘ線管（図示せず）とコリメータ（図示せず）とを備える。Ｘ線管は、高電圧発生器１１１からの高電圧（管電圧）の印加および管電流の供給を受けて、Ｘ線焦点からＸ線を発生する。コリメータは、Ｘ線管の放射窓に取り付けられ、Ｘ線検出器１１４の検出面上のＸ線照射野を調整する。コリメータにより、Ｘ線照射野が調整されることで、被検体Ｐへの不要な被曝を低減できる。Ｘ線検出器１１４は、例えば、複数のＸ線検出素子を備える。複数のＸ線検出素子は、２次元のアレイ状に配列される。２次元のアレイ状の検出器はＦＰＤ（Flat Panel Display：平面検出器）と呼ばれる。ＦＰＤの各素子は、Ｘ線発生器１１３から放射され、被検体を透過したＸ線を検出する。ＦＰＤの各素子は、検出したＸ線強度に対応した電気信号を出力する。なお、Ｘ線検出器１１４は、前述したＦＰＤに代えて、イメージインテンシファイアとＴＶカメラとの組み合わせから構成されてもよい。

アーム移動機構１１５は、後述する機構制御回路１４６の制御によりアーム部１１２を三次元座標（ＸＹＺ座標）上における所定の位置に回転や移動を行う。例えば、アーム移動機構１１５は、撮影系統のＸ線照射野に対応した撮影範囲に、被検体Ｐの診断対象が含まれるようにアーム部１１２を移動させる。

寝台１１６は、被検体Ｐを載置する天板（不図示）を移動可能に支持する。天板は、機構制御回路１４６の制御により、寝台移動機構１１７が駆動することで移動される。図１の例において、被検体Ｐは、天板に仰向けで載置されている。寝台移動機構１１７は、後述する機構制御回路１４６の制御により天板を三次元座標（ＸＹＺ座標）上における所定の位置に移動させる。

デバイス駆動機構１１８は、後述する機構制御回路１４６の制御により医用デバイス１２０に対して所定の駆動を行う。例えば、デバイス駆動機構１１８は、医用デバイス１２０を三次元座標（ＸＹＺ座標）上における所定の位置に移動させたり、医用デバイス１２０の形状を変えたり、医用デバイス１２０を介して、被検体Ｐに物質を注入したりする。医用デバイス１２０には、例えば、マイトラクリップ（Mitra Clip）（登録商標）、カテーテル、インジェクター、穿刺針、ステント等が含まれる。また、医用デバイス１２０には、ロボットアーム等が含まれてよい。

心電計１１９は、図示しない端子が取り付けられた被検体Ｐの心電波形（ＥＣＧ：Electrocardiogram）を取得し、取得した心電波形と時間情報とを対応付けた心電データを処理回路１５０に出力する。

コンソール装置１４０は、例えば、メモリ１４１と、通信インターフェース１４２と、入力インターフェース１４３と、ディスプレイ１４４と、絞り制御回路１４５と、機構制御回路１４６と、処理回路１５０とを備える。メモリ１４１は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ１４１は、例えば、撮影系統によって撮影された画像（術中画像の一例）、プログラム、その他の各種情報等を記憶する。これらのデータは、メモリ１４１ではなく（或いはメモリ１４１に加えて）、医用装置１００が通信可能な外部メモリに記憶されてもよい。外部メモリは、例えば、外部メモリを管理するクラウドサーバが読み書きの要求を受け付けることで、クラウドサーバによって制御されるものである。

通信インターフェース１４２は、例えば、ＮＩＣ（Network Interface Controller）等の通信インターフェースを含む。通信インターフェース１４２は、撮影装置１１０や医用情報処理装置２００と通信し、取得される情報を処理回路１５０等に出力する。また、通信インターフェース１４２は、処理回路１５０による制御を受けて、ネットワークＮＷを介して接続された他の装置に情報を送信してもよい。

入力インターフェース１４３は、利用者による各種の入力操作を受け付け、受け付けた入力操作の内容を示す電気信号を処理回路１５０に出力する。例えば、入力インターフェース１４３は、撮像データを収集する際の収集条件、画像に対して所定の処理を行う画像処理条件等の入力操作を受け付ける。例えば、入力インターフェース１４３は、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタン、ジョイスティック、フットペダル、カメラ、赤外線センサ、マイク等により実現される。入力インターフェース１４３は、撮影装置１１０に設けられてもよい。また、入力インターフェース１４３は、コンソール装置１４０の本体部と無線通信可能な表示装置（例えばタブレット端末）により実現されてもよい。

ディスプレイ１４４は、各種の情報を表示する。例えば、ディスプレイ１４４は、処理回路１５０によって生成された術中画像や、利用者による各種操作を受け付けるＧＵＩ（Graphical User Interface）画像等を表示する。ディスプレイ１４４は、例えば、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electro Luminescence）ディスプレイ等である。ディスプレイ１４４は、撮影装置１１０に設けられてもよい。ディスプレイ１４４は、デスクトップ型でもよいし、コンソール装置１４０の本体部と無線通信可能な表示装置（例えばタブレット端末）であってもよい。

絞り制御回路１４５は、例えば、処理回路１５０による制御に基づいて、被検体Ｐに対して照射されるＸ線の照射範囲（Ｘ線照射野）を制御する。照射範囲に関する情報は、ＦＯＶ（Field Of View）情報ともいう。絞り制御回路１４５は、例えば、Ｘ線発生器１１３のコリメータが有する絞り羽根の開度を調整する等の制御を行うことで、Ｘ線の照射範囲を制御する。

機構制御回路１４６は、処理回路１５０による制御に基づいて、アーム移動機構１１５や寝台移動機構１１７を制御することで、撮影系統における撮影範囲や、撮影系統の被検体Ｐに対する相対位置や撮影角度等を変更させる。また、機構制御回路１４６は、処理回路１５０による制御に基づいて、デバイス駆動機構１１８を制御することで、医用デバイス１２０の動作等を制御する。なお、機構制御回路１４６は、医用情報処理装置２００からの操作指示（例えば、コマンド操作）等に基づいて、対象の機構を制御してもよい。また、機構制御回路１４６は、機構制御内容に関する情報を、処理回路１５０に出力する。

処理回路１５０は、医用装置１００の全体の動作を制御する。処理回路１５０は、例えば、制御機能１５１と、画像データ生成機能１５２と、画像処理機能１５３と、表示制御機能１５４とを備える。処理回路１５０は、例えば、ハードウェアプロセッサがメモリ１４１に記憶されたプログラムを実行することにより、これらの機能を実現するものである。ハードウェアプロセッサとは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit; ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device; ＳＰＬＤ）または複合プログラマブル論理デバイス（Complex Programmable Logic Device; ＣＰＬＤ）や、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array;ＦＰＧＡ））等の回路（circuitry）を意味する。メモリ１４１にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。画像処理機能１５３は、「画像処理部」の一例である。

コンソール装置１４０または処理回路１５０が有する各構成要素は、分散化されて複数のハードウェアにより実現されてもよい。処理回路１５０は、コンソール装置１４０が有する構成ではなく、コンソール装置１４０と通信可能な処理装置によって実現されてもよい。処理装置は、例えば、一つの医用装置と接続されたワークステーション、あるいは複数の医用装置に接続され、以下に説明する処理回路１５０と同等の処理を一括して実行する装置（例えばクラウドサーバ）である。

制御機能１５１は、例えば、入力インターフェース１４３が受け付けた入力操作または医用情報処理装置２００から取得した操作内容に基づいて、処理回路１５０の各種機能を制御する。具体的には、制御機能１５１は、例えば、撮影系統によって複数の時点の被検体Ｐの対象部位（例えば、心臓、肺、弁体、血管等）を含む術中画像を撮影させる。対象部位とは、例えば、診断対象または施術対象の部位である。対象部位には、周期的な動作をする臓器が含まれる。周期的な動作とは、例えば、部位が心臓である場合には拍動であり、部位が肺である場合には呼吸周期による動作である。また、対象部位には、特定の形態や機能を持つ部位が含まれてもよい。また、術中画像には、術中の医用デバイス１２０が含まれていてもよい。

制御機能１５１は、上記の撮影を行う場合に、高電圧発生器１１１、デバイス駆動機構１１８、心電計１１９、絞り制御回路１４５、機構制御回路１４６に対して、入力インターフェース１４３等からの指示内容や撮影内容等に基づいて、所定の制御を行う。また、制御機能１５１は、撮影した時系列の画像に対し、画像データ生成機能１５２や画像処理機能１５３、表示制御機能１５４に所定の処理を実行させる。また、制御機能１５１は、撮影された術中画像（例えば、複数時相の画像情報）と、撮影時のパラメータ情報（例えば、絞り制御内容や機構制御内容）や心電計１１９の計測結果等とをネットワークＮＷを介して医用情報処理装置２００に送信する制御等を行う。

画像データ生成機能１５２は、Ｘ線検出器１１４によってＸ線から変換された電気信号を用いて画像データを生成し、生成した画像データをメモリ１４１に格納する。例えば、画像データ生成機能１５２は、Ｘ線検出器１１４から受信した電気信号に対して、電流・電圧変換やＡ（Analog）／Ｄ（Digital）変換や、パラレル・シリアル変換を行い、画像データを生成する。そして、画像データ生成機能１５２は、生成した画像データをメモリ１４１に格納する。

画像処理機能１５３は、メモリ１４１が記憶する画像データに対して各種画像処理を行って術中画像を生成する。例えば、画像処理機能１５３は、メモリ１４１が記憶する画像データに対して、移動平均（平滑化）フィルタ、ガウシアンフィルタ、メディアンフィルタ等の画像処理フィルタによるノイズ低減処理を実行したり、経時的に撮影された複数のＸ線画像群それぞれに対して、位置ずれ補正及びノイズ除去を含む前処理を実行してもよい。

表示制御機能１５４は、ディスプレイ１４４に表示される表示内容や表示態様を制御する。具体的には、表示制御機能１５４は、例えば、利用者からの指示を受け付けるＧＵＩ画像や画像データ生成機能１５２により生成された画像データをディスプレイ１４４に表示させる。また、表示制御機能１５４は、医用情報処理装置２００から受信した解析結果をディスプレイ１４４に表示させてもよい。

次に、医用情報処理装置２００の構成について説明する。図２は、第１の実施形態に係る医用情報処理装置２００の一例を示す図である。医用情報処理装置２００は、例えば、通信インターフェース２１０と、入力インターフェース２２０と、ディスプレイ２３０と、処理回路２４０と、メモリ２５０とを備える。ディスプレイ２３０は、「表示部」の一例である。

通信インターフェース２１０は、例えば、ＮＩＣ等の通信インターフェースを含む。通信インターフェース２１０は、ネットワークＮＷを介して医用装置１００と通信し、医用装置１００から情報を受信する。通信インターフェース２１０は、受信した情報を処理回路２４０に出力する。また、通信インターフェース２１０は、処理回路２４０による制御を受けて、ネットワークＮＷを介して接続された他の装置に情報を送信してもよい。他の装置とは、例えば、医師や看護師等の画像の読影者が利用可能な端末装置であってよい。

入力インターフェース２２０は、利用者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路２４０に出力する。例えば、入力インターフェース２２０は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等により実現される。また、入力インターフェース２２０は、例えば、マイク等の音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース２２０がタッチパネルである場合、ディスプレイ２３０は入力インターフェース２２０と一体として形成されてよい。

ディスプレイ２３０は、各種の情報を表示する。例えば、ディスプレイ２３０は、処理回路２４０によって生成された画像や医用装置１００により送信された画像を表示したり、ユーザからの各種の入力操作を受け付けるためのＧＵＩ等を表示したりする。例えば、ディスプレイ２３０は、ＬＣＤや、ＣＲＴディスプレイ、有機ＥＬディスプレイ等である。

処理回路２４０は、例えば、制御機能２４１と、取得機能２４２と、特定機能２４３と、生成機能２４４と、表示制御機能２４５とを備える。処理回路２４０は、例えば、上述したようなハードウェアプロセッサがメモリ２５０に記憶されたプログラムを実行することにより、これらの機能を実現するものである。メモリ２５０にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。また、処理回路２４０に含まれる複数の機能のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部：circuitry）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ２５０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体が医用情報処理装置２００のドライブ装置に装着されることで記憶媒体からメモリ２５０にインストールされてもよい。取得機能２４２は、「取得部」の一例である。特定機能２４３は、「特定部」の一例である。生成機能２４４は、「生成部」の一例である。表示制御機能２４５は、「表示制御部」の一例である。

メモリ２５０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。これらの非一過性の記憶媒体は、ＮＡＳや外部ストレージサーバ装置といったネットワークＮＷを介して接続される他の記憶装置によって実現されてもよい。また、メモリ２５０には、ＲＯＭやレジスタ等の一過性の記憶媒体が含まれてもよい。メモリ２５０には、例えば、時相画像データ２５２と、心電データ２５４と、遅延情報２５６、プログラム、その他各種情報等が格納される。時相画像データ２５２は、医用装置１００により生成される。

制御機能２４１は、例えば、入力インターフェース２２０が受け付けた入力操作等に基づいて、医用情報処理装置２００の各種機能を制御する。具体的には、制御機能２４１は、取得機能２４２による通信インターフェース２１０を介した各種情報の取得や、特定機能２４３による遅延量の特定、生成機能２４４による医用画像の生成、表示制御機能２４５による医用画像等の画像の表示等を制御する。また、制御機能２４１は、入力インターフェース２２０により入力された医用装置１００に対する操作情報（操作指示等）を、通信インターフェース２１０を介して医用装置１００に送信するように制御する。

取得機能２４２は、通信インターフェース２１０に医用装置１００と通信させ、その通信相手の医用装置１００から術中画像、心電データ、機構制御内容等の情報を取得する。取得機能２４２は、取得した術中画像を時相画像データ２５２としてメモリ２５０に記憶させ、心電データを心電データ２５４としてメモリ２５０に記憶させる。したがって、時相画像データ２５２および心電データ２５４には時間情報が含まれているため、時間情報に基づいて、同期したそれぞれの情報を取得することができる。

特定機能２４３は、時相画像データ２５２に含まれる複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、複数時相の画像情報に含まれる所定の対象物に対する処理に関する第２の遅延を示す第２遅延量とのうち、少なくとも一方を特定する。遅延量とは、例えば、期間に関する情報である。所定の対象物とは、例えば、周期的な動作をしない物体、または周期的な動作が非周期的な動作に比べてかなり小さい物体である。例えば、所定の対象物には、施術者が動かす医用デバイス１２０等の物体が含まれる。以下では、所定の対象物は、医用デバイス１２０であるものとして説明する。

生成機能２４４は、特定機能２４３により特定された第１遅延量と第２遅延量のうちの少なくとも一方と、時相画像データ２５２に含まれる対象部位（例えば、臓器）の周期的な動作とに基づいた医用画像を生成する。

表示制御機能２４５は、生成機能２４４により生成された医用画像（生成画像）を含む画像をディスプレイ２３０に表示させる。また、表示制御機能２４５は、医用情報処理装置２００における処理に必要な情報をディスプレイ２３０に表示させてもよい。

次に、特定機能２４３について具体的に説明する。特定機能２４３は、例えば、医用装置１００との通信において、どの程度の容量のデータを送信すると、どの程度の遅延が生じるかを特定する。例えば、特定機能２４３は、診断や施術が開始される前または開始された時点で、医用装置１００と所定のデータの送受信を行い、実測結果に基づいて、第１遅延量と第２遅延量を特定する。

図３は、特定機能２４３について説明するための図である。例えば、特定機能２４３は、医用装置１００に画像要求を送信してから画像要求に対応する画像データを受信するまでの第１応答時間を取得し、取得した第１応答時間に基づいて第１遅延量を特定する。この場合、特定機能２４３は、画像要求を送信してから医用装置１００で受信するまでの時間を第１応答時間から減算し、減算した値を第１遅延量として算出する。また、特定機能２４３は、医用装置１００が画像データの送信時に画像データに付加した送信時刻を、画像データの受信時刻から減算し、減算した時間を第１遅延量として特定してもよい。

なお、医用装置１００により送信される画像データは、例えば、データフォーマットやデータ量が予め決められた特定データでもよく、術中画像に使用するデータフォーマットや被検体Ｐを撮影した実際の術中画像でもよい。また、特定機能２４３は、種類の異なる複数の画像データを受信した結果に基づいて、第１遅延量を特定してもよい。

また、特定機能２４３は、医用装置１００のデバイス駆動機構１１８を操作するための操作要求（例えば、コマンド要求）を送信してから操作要求に対応する操作が完了したことを示す情報（操作完了情報）を受信するまでの第２応答時間を取得し、取得した第２応答時間に基づいて第２遅延量を特定する。この場合、特定機能２４３は、医用装置１００から操作完了情報が送信されてから医用装置１００で受信するまでの時間を取得し、取得した時間を第２応答時間から減算した値を第２遅延量として算出する。また、特定機能２４３は、医用装置１００に設けられるデバイス駆動機構１１８以外の構成（例えば、寝台１１６やアーム部１１２）に対して同様の処理を行い、構成（機構）ごとに第２遅延量を特定してもよい。また、特定機能２４３は、各構成から得られた第２遅延量を平均したり、重み付けによる処理を行うことで、最終的な第２遅延量を特定してもよい。

また、特定機能２４３は、特定した第１遅延量および第２遅延量に関する情報を遅延情報２５６としてメモリ２５０に格納してもよい。図４は、遅延情報２５６の内容の一例を示す図である。遅延情報２５６は、医用装置１００を識別する識別情報としての装置ＩＤおよび医用装置１００との通信条件に、第１遅延量[ｍｓｅｃ]と第２遅延量[ｍｓｅｃ]とが対応付けられた情報である。通信条件には、例えば通信方式や通信時刻、通信キャリア（通信事業者）、データ量に関する情報が含まれてよい。

例えば、特定機能２４３は、遅延情報２５６を格納しておくことで、上述した遅延量の算出を行わずに、遅延情報２５６を参照して、第１遅延量および第２遅延量を取得することができる。この場合、特定機能２４３は、医用装置１００の装置ＩＤおよび通信条件に基づいて、遅延情報２５６を参照し、合致する装置ＩＤおよび通信条件に対応付けられた第１遅延量および第２遅延量を取得する。また、合致しない場合、特定機能２４３は、上述したように第１遅延量および第２遅延量を特定し、遅延情報２５６を更新する。これにより、より効率的に第１遅延量および第２遅延量を取得することができる。

次に、生成機能２４４について具体的に説明する。生成機能２４４は、第１遅延量または第２遅延量のうち、一方または双方に基づいて、遅延が生じていない臓器の状態を予測し、予測した臓器の状態に基づいて、時相画像データ２５２から臓器を含む第１画像情報を取得する。また、生成機能２４４は、時相画像データ２５２から医用デバイス１２０に関する第２画像情報を取得する。そして、生成機能２４４は、第１画像情報と、第２画像情報とに基づいて医用画像を生成する。

図５は、第１の実施形態における生成機能２４４により生成される医用画像について説明するための図である。図５の例では、説明の便宜上、医用装置１００により送信された術中画像３００から得られる臓器および医用デバイス１２０の一例として、心臓弁（具体的には、僧帽弁）の状態を示す画像３１０と、マイトラクリップの状態を示す画像３２０とが模式的に示されている。「状態」には、例えば、位置や形状が含まれる。また、図５に示す時刻Ｔにおいて、時刻ｔ１１が最も早く、次いで時刻ｔ１２、ｔ１３、ｔ１４の順に遅くなっているものとする。また、図５の例では、時刻ｔ＊における術中画像、臓器の状態を示す画像３１０、マイトラクリップの状態を示す画像３２０、および医用画像３３０を、それぞれ術中画像３００（ｔ＊）、画像３１０（ｔ＊）、画像３２０（ｔ＊）、および医用画像３３０（ｔ＊）で表している。

生成機能２４４は、例えば、心電データ２５４に含まれる心電波形の形状や大きさ等に基づいて、心臓の１拍動分の周期を取得する。また、生成機能２４４は、波形の間隔（例えば、洞周期）を取得してもよい。また、生成機能２４４は、取得した周期に基づいて、心臓弁の開閉周期や、時間ごとの心臓弁の開閉状態を取得する。心臓弁の開閉状態には、例えば、弁の開口度合（例えば、２０％、８０％）や、心臓弁が開くように変化しているか、または閉じるように変化しているか等の情報が含まれる。

また、生成機能２４４は、生成した心臓の周期、第１遅延量、第２遅延量、術中画像から、第１遅延量および第２遅延量に対応する期間の経過後の心臓弁の状態を予測する。例えば、図５に示す時刻ｔ１２における術中画像３００（ｔ１２）が医用装置１００から取得した術中画像（複数時相の画像情報）のうち、最新の画像であるものとする。術中画像３００（ｔ１２）は、実地（医用装置１００）側の心臓弁およびマイトラクリップの実際の状態よりも第１遅延量Ｐ１だけ遅れた画像である。言い換えると、時刻ｔ１２における実地での心臓弁およびマイトラクリップの状態は、第１遅延量Ｐ１が経過した後の時刻ｔ１３にて表示される。また、医用情報処理装置２００のユーザは、医用情報処理装置２００からの操作要求（操作指示）によりマイトラクリップを操作する場合、操作指示が医用情報処理装置２００から送信されてから、医用装置１００に到達して要求に対する処理が実行されるまでに第２遅延量Ｐ２が生じる。

したがって、生成機能２４４は、第１遅延量Ｐ１と第２遅延量Ｐ２とを加算した加算量に対応する期間を経過した後の弁の状態を予測し、心電データ２５４から取得した時間ごとの心臓弁の開閉状態から、加算量に対応する期間を経過した後の弁の状態（例えば、時刻ｔ１４における弁の状態）を取得する。そして、生成機能２４４は、取得した状態と同じ弁の状態の画像を、時刻ｔ１２よりも前の（過去の）複数時相の術中画像３００から取得する。同じ弁には、所定の誤差範囲の弁が含まれてよい。例えば、生成機能２４４は、心臓弁の開閉状態に基づいて、弁の開口度合が同じ（所定の誤差範囲を含む）であって、且つ、同じ状態変化（例えば、開くように変化している状態）の画像を取得する。図５の例では、術中画像３００（ｔ１１）が取得されたものとする。術中画像３００（ｔ１１）は、第１画像情報の一例である。

なお、生成機能２４４は、第１遅延量Ｐ１と第２遅延量Ｐ２との関係において、一方の遅延量が他方の遅延量より閾値以上大きい場合に、大きい方の遅延量のみを用いて第１画像情報を取得してもよい。また、特定機能２４３により一方の遅延量が特定できなかった場合には、特定できた他方の遅延量を用いて第１画像情報を取得してもよい。また、生成機能２４４は、入力インターフェース２２０によりユーザから一方の遅延量を選択された場合に、その遅延量のみを用いて第１画像情報を取得してもよい。

また、生成機能２４４は、医用情報処理装置２００で取得している術中画像のうち最新の画像である術中画像３００（ｔ１２）からマイトラクリップの画像３２０を取得する。術中画像３００（ｔ１２）は、第２画像情報の一例である。そして、生成機能２４４は、術中画像３００（ｔ１１）および術中画像３００（ｔ１２）に基づいて、時刻ｔ１２に表示させる医用画像３３０（ｔ１２）を生成する。

図６は、医用画像の生成について説明するための図である。また、生成機能２４４は、術中画像３００（ｔ１２）から、心臓弁の形状を示す画像３１０（ｔ１１）を抽出する。なお、生成機能２４４は、術中画像３００（ｔ１２）からマイトラクリップの状態を示す画像３２０（ｔ１１）を、輝度差や形状情報、周囲画像との特徴情報の差異等に基づいて削除し、削除した画像領域を周囲画像や過去の術中画像の情報に基づいて補間してもよい。また、生成機能２４４は、マイトラクリップの状態を示す画像を含まない術中画像から画像３１０（ｔ１１）に相当する弁の状態を示す画像を取得してもよい。

また、生成機能２４４は、例えば、術中画像（ｔ１２）から輝度差や形状情報、周囲画像との特徴情報の差異等に基づくセグメンテーション処理によりマイトラクリップの状態を示す画像３２０（ｔ１２）を取得する。そして、生成機能２４４は、画像３１０（ｔ１１）に画像３２０（ｔ１２）を重ね合わせることで、医用画像３３０（ｔ１２）を生成する。医用画像３３０（ｔ１２）は、第１遅延量Ｐ１および第２遅延量に基づいて予測した、医用情報処理装置２００からの操作指示（操作要求）が、医用装置１００に到達した時点の実地での弁およびマイトラクリップの状態である。

次に、表示制御機能２４５について具体的に説明する。表示制御機能２４５は、取得機能２４２により取得された情報や、生成機能２４４により生成された医用画像を含む画像を生成し、生成した画像をディスプレイ２３０に表示させる。図７は、ディスプレイ２３０に表示される画像ＩＭ１について説明するための図である。なお、画像ＩＭ１における画像のレイアウト、大きさ、種類、表示内容については、図７の例に限定されない。画像ＩＭ１には、例えば、表示領域Ａ１～Ａ４が含まれる。表示領域Ａ１は、例えば、医用装置１００から取得した画像（取得画像）４００が表示される取得画像表示領域である。取得画像４００には、例えば、被検体Ｐの対象部位（例えば、弁を含む心臓）の画像４１０と、医用デバイス（例えば、マイトラクリップ）１２０の画像４２０が含まれる。

表示領域Ａ２は、例えば、特定機能２４３で特定された第１遅延量（Imaging Delay）と、第２遅延量（Command Delay）に関する情報が表示される遅延情報表示領域である。なお、表示領域Ａ２には、例えば、医用装置１００との応答時間に関する情報や、ネットワークＮＷにおける通信環境に関する情報、医用装置１００と医用情報処理装置２００との距離に関する情報を示す画像等が表示されてよい。

表示領域Ａ３には、医用装置１００から取得した心電データ２５４に関する情報が表示される心電データ表示領域である。なお、表示領域Ａ３には、生成機能２４４により取得された拍動の周期に関する情報（例えば、拍動の開始時間と終了時間に関する情報）が表示されてもよい。

表示領域Ａ４は、生成機能２４４により生成された医用画像（生成画像）５００が表示される医用画像表示領域である。医用画像５００は、例えば、生成機能２４４により生成された複数時相の画像情報である。医用画像５００には、操作指示等が医用装置１００に到達した時点の状態であると予測された対象部位の画像５１０および医用デバイス１２０の画像５２０とが含まれる。画像ＩＭ１０を表示することで、被検体Ｐの診断や施術において、より適切な医用画像をユーザ（施術者）に提供することができる。また、例えば、医用情報処理装置２００から医用装置１００を遠隔操作する場合に、ユーザは、遅延量を考慮した医用画像５００を参照して操作指示を送信することで、動作のある弁５１０Ｖに対して、より適切なタイミングで医用装置１００を操作することができる。

ここで、医用装置１００を用いた臓器の対する診察または施術の状況、臓器の種類、変形量によっては、注目したい画像や画像の内容が異なる場合がある。したがって、表示制御機能２４５は、臓器の対する診察または施術の状況、臓器の種類、変形量に基づいてディスプレイ２３０に表示させる画像の一部または全部の表示態様を変更させてもよい。表示態様を変更させるには、例えば、取得画像４００または医用画像５００のうち一方または双方に対して、大きさを変更すること、色や輝度を変更すること、画像の周囲を所定の色（例えば、赤色等）で囲む等により強調表示すること、施術者に認識させる優先度の低い画像を非表示にしたり、マスキングしたり、ぼかして表示させること等が含まれる。

例えば、術中画像にて血流分布を確認したい場合がある。違う時刻の弁形状と医用デバイスの画像を合成した生成画像は、構造物と流体の幾何学的な関係を無視した画像となる。このため、生成画像を表示すると、術者は、弁形状や医用デバイスの位置と流体分布に違和感を覚えることになる。そのため、表示制御機能２４５は、上述の場合には、取得画像４００が強調されるように表示態様を変更する。また、心臓の形状が大きく変形している場合、表示制御機能２４５は、取得画像４００が強調されるように表示態様を変更してもよい。なお、心臓の形状が大きく変形しているか否かは、例えば、術中画像に含まれる臓器の解剖学的特徴量の変形の大きさが、所定の大きさ以上である場合に、大きく変形していると判定される。これにより、施術者に視認させる必要がある優先度の高い画像をより確実にユーザに視認させること等が含まれる。

次に、第１の実施形態における医用情報処理装置２００により実行される処理の流れについて説明する。以下では、施術者が医用情報処理装置２００を用いて医用装置１００を遠隔操作して、被検者Ｐの心臓の対象部位（例えば、弁）を施術する例について説明する。図８は、第１の実施形態における医用情報処理装置２００により実行される処理の流れの一例を示すフローチャートである。図８の例において、取得機能２４２は、医用装置１００から術中画像を取得する（ステップＳ１００）。次に、取得機能２４２は、被検体の心臓の周期を取得する（ステップＳ１１０）。次に、特定機能２４３は、第１遅延量および第２遅延量を特定する（ステップＳ１２０）。

次に、生成機能２４４は、特定した第１遅延量および第２遅延量に基づいて、遅延後の対象部位（心臓）の状態を予測する（ステップＳ１３０）。次に、生成機能２４４は、複数時相の画像から、予測した状態を示す対象部位の画像を取得する（ステップＳ１４０）。次に、生成機能２４４は、術中画像から施術者が操作する医用デバイスの画像を取得する（ステップＳ１５０）。次に、生成機能２４４は、対象部位の画像と、医用デバイスの画像とを重ね合わせて医用画像を生成する（ステップＳ１６０）。次に、表示制御機能２４５は、生成された医用画像をディスプレイ２３０に表示させる（ステップＳ１７０）。

次に、制御機能２４１は、入力インターフェース２２０から操作指示を受け付けたか否かを判定する（ステップＳ１８０）。操作指示を受け付けたと判定された場合、制御機能２４１は、通信インターフェース２１０を介して、操作指示を医用装置１００に送信する（ステップＳ１９０）。ステップＳ１９０の処理後、または、ステップＳ１８０の処理において操作指示を受け付けていないと判定された場合、制御機能２４１は、入力インターフェース２２０により入力された情報等に基づいて、施術を終了するか否かを判定する（ステップＳ２００）。施術を終了しないと判定された場合、Ｓ１００の処理に戻り、施術を終了すると判定された場合、本フローチャートの処理を終了する。

以上説明した第１の実施形態によれば、被検体の診断や施術において、より適切な医用画像を施術者に提供することができる。具体的には、術中画像のうち、周期的に動くものに関しては、その周期性を利用して遅延後の臓器の形状を予測し、予測した臓器の形状と同様の形状の画像データを過去の術中画像から取得する。また、術中画像のうち、周期的に動かないもの（例えば、医用デバイス）に関しては、新しい画像の中からセグメンテーションにより画像を取得する。そして、その二つの画像を重ね合わせた画像を表示させることで、遅延のない画像を表示させることができる。したがって、例えば、遠隔操作を行う施術者に対する遅延の影響を抑制することができる。

（第２の実施形態）
第２の実施形態は、第１の実施形態と比較して、周期的な動作をする臓器が一部の期間において、周期的でない動作をした場合に、周期的でない動作をした期間以外の術中画像を用いて医用画像を生成する点で相違する。したがって、以下では、主に上述した相違点を中心として説明する。また、第２の実施形態は、第１の実施形態の医用システム１と比較して、医用情報処理装置２００の代わりに医用情報処理装置２００Ａを備える点で相違する。したがって、以下では、主に医用情報処理装置２００Ａの機能構成について説明する。また、第１の実施形態における機能構成と同様の機能構成については、同一の符号をするものとし、ここでの説明は省略するものとする。以降の実施形態についても同様とする。

図９は、第２の実施形態における医用情報処理装置２００Ａの一例を示す図である。図９に示す医用情報処理装置２００Ａは、例えば、通信インターフェース２１０と、入力インターフェース２２０と、ディスプレイ２３０と、処理回路２４０Ａと、メモリ２５０とを備える。処理回路２４０Ａは、例えば、制御機能２４１Ａと、取得機能２４２と、特定機能２４３と、生成機能２４４Ａと、表示制御機能２４５と、判定機能２４６とを備える。以下、主に制御機能２４１Ａ、生成機能２４４Ａ、および判定機能２４６を中心として説明する。判定機能２４６は、「判定部」の一例である。

制御機能２４１Ａは、例えば、入力インターフェース２２０が受け付けた入力操作等に基づいて、医用情報処理装置２００Ａの各種機能を制御する。具体的には、制御機能２４１Ａは、取得機能２４２による通信インターフェース２１０を介した各種情報の取得や、特定機能２４３による遅延量の特定、生成機能２４４Ａによる医用画像の生成、表示制御機能２４５による医用画像等の画像の表示、判定機能２４６による周期的でない期間の判定等を制御する。

判定機能２４６は、臓器に関する複数時相の画像情報に基づいて、臓器の動作が周期的であるか否かを判定する。臓器の動作が周期的でない場合とは、例えば、不整脈の場合である。この場合、判定機能２４６は、例えば、心電データ２５４において、予め決められた整脈の波形と比較し、その誤差が閾値以上である場合に臓器の動作が周期的でないと判定し、誤差が閾値未満である場合に臓器の動作が周期的であると判定する。閾値以上の誤差には、例えば、波形の形が所定以上異なる場合や、波形の間隔（例えば、洞周期）が不規則である場合が含まれる。また、判定機能２４６は、閾値以上の誤差がある期間を不整脈期間と判定する。

生成機能２４４Ａは、判定機能２４６により臓器の動作が周期的でないと判定された場合に、時相画像データ２５２のうち、動作が周期的でない期間（不整脈期間）以外の期間の画像を用いて医用画像を生成する。

図１０は、第２の実施形態における生成機能２４４Ａの機能について説明するための図である。図１０の例では、医用装置１００により送信された術中画像３００が示されている。図１０の例では、例えば、周期的な動作をする臓器（例えば、心臓弁）の形状の変化を示す画像３１０および上記の弁に対するマイトラクリップの位置および状態を示す画像３２０が模式的に示されている。また、図１０の例において、時刻ｔ２１が最も早く、次いで時刻ｔ２２、ｔ２３、ｔ２４の順に遅くなっているものとする。また、判定機能２４６は、心電データ２５４等に基づき、図１０に示す時刻ｔ３１～ｔ３２が不整脈期間であると判定したものとする。

生成機能２４４Ａは、時刻ｔ２３において、心電データ２５４に含まれる心電波形の形状や大きさ等に基づいて、心臓の１拍動分の周期を取得し、取得した周期に基づいて、心臓弁の開閉周期や、時間ごとの心臓弁の開閉状態を取得する。また、生成機能２４４Ａは、生成した心臓の周期、第１遅延量、第２遅延量、術中画像から、第１遅延量Ｐ１および第２遅延量Ｐ２の加算量に対応する期間の経過後の心臓弁の状態を予測する。図１０の例では、時刻ｔ２４における弁の状態が予測されている。そして、生成機能２４４Ａは、取得した状態と同じ弁の状態の画像を、時刻ｔ２３よりも前の複数時相の術中画像３００から取得する。この場合、生成機能２４４Ａは、不整脈期間である時刻ｔ３１～ｔ３２以外の術中画像から同じ弁状態の画像を取得する。図１０の例では、術中画像３００（ｔ２１）が取得されたものとする。術中画像３００（ｔ２１）は、第１画像情報の一例である。

また、生成機能２４４Ａは、医用情報処理装置２００Ａで取得している術中画像のうち最新の画像である術中画像３００（ｔ２３）（第２画像情報）からマイトラクリップの画像３２０（ｔ２３）を取得する。そして、画像３１０（ｔ２１）と、画像３２０（ｔ２３）を重ね合わせて、時刻ｔ２３に表示させる医用画像３３０（ｔ２３）を生成する。このように、臓器の動作が周期的な期間の画像を用いて、より適切な医用画像を生成して、施術者に提供することができる。

図１１は、第２の実施形態における医用情報処理装置２００Ａにより実行される処理の流れの一例を示すフローチャートである。図１１の処理は、上述した図８に示すステップＳ１００～Ｓ２００の処理と比較して、ステップＳ１１２が追加されると共に、ステップＳ１４０に代えて、ステップＳ１４２が追加されている点で相違する。したがって、以下では、主にステップＳ１１２およびステップＳ１４２の処理を中心として説明する。また、図１１の処理では、第１の実施形態における制御機能２４１および生成機能２４４の処理は、制御機能２４１Ａおよび生成機能２４４Ａの処理に読み替えられるものとする。

ステップＳ１１０の処理において、心臓の周期を取得した後、判定機能２４６は、不整脈期間の有無を判定し（ステップＳ１１２）、その後、ステップＳ１２０の処理を実行する。ステップＳ１１２の処理においては、不整脈期間があるか否かを判定し、不整脈期間があると判定された場合に、その期間を判定してもよい。

また、ステップＳ１３０の処理後、生成機能２４４は、不整脈期間を除く複数時相の画像から予測した心臓の状態を示す対象部位の画像を取得し（ステップＳ１４２）、ステップＳ１５０以降の処理を行う。

なお、第２の実施形態おいて、判定機能２４６は、不整脈を判定することに代えて、心臓の形状が大きく変形しているか否かを判定し、判定している場合には、その期間以外の術中画像を用いて医用画像を生成してもよい。

以上説明した第２の実施形態によれば、第１の実施形態と同様の効果を奏する他、臓器の動作が周期的でないと判定される期間の画像データを用いないことで、より予測精度の高い医用画像を生成することができる。

（第３の実施形態）
第３の実施形態は、第１の実施形態と比較して、施術者に触覚を与える触覚提示デバイスを備える点で相違する。したがって、以下では、主に上述した相違点を中心として説明する。また、第３の実施形態は、第１の実施形態の医用システム１と比較して、医用装置１００および医用情報処理装置２００に代えて、医用装置１００Ｂおよび医用情報処理装置２００Ｂを備える点で相違する。したがって、以下では、主に医用装置１００Ｂおよび医用情報処理装置２００Ｂについて説明する。

図１２は、第３の実施形態における医用装置１００Ｂの一例を示す図である。図１２に示す医用装置１００Ｂは、図１に示す医用装置１００の構成に加えて、触覚用デバイス１３１と触覚用デバイス駆動機構１３２とを備え、更に機構制御回路１４６に代えて、機構制御回路１４６Ｂが設けられている点で相違する。したがって、以下では、主に、触覚用デバイス１３１、触覚用デバイス駆動機構１３２、および、機構制御回路１４６Ｂを中心として説明する。

触覚用デバイス１３１は、触覚用デバイス駆動機構１３２より三次元（ＸＹＺ）方向に移動可能な部材である。触覚用デバイス１３１は、例えば、アーム形状を備え、アームにより物体を把持したり、把持した物体を移動させる機能を有する。また、触覚用デバイス１３１には、例えば、圧力センサや加速度センサ等のセンサ装置が設けられ、移動中または物体を把持したときの圧力や三次元上の位置や移動方向等を検出する。また、センサ装置の検出結果は、触覚用デバイス駆動機構１３２に出力される。

触覚用デバイス駆動機構１３２は、機構制御回路１４６Ｂの制御により触覚用デバイス１３１を動作させたり、触覚用デバイス１３１のセンサ装置の検出結果に基づいて触覚用デバイス１３１が適切に動作するように制御する。

機構制御回路１４６Ｂは、機構制御回路１４６と同様の機能を有することに加えて、触覚用デバイス駆動機構１３２を制御することで、触覚用デバイス１３１を動作させる。また、機構制御回路１４６Ｂは、医用情報処理装置２００Ｂから指示された操作内容に基づいて、触覚用デバイス駆動機構１３２に触覚用デバイス１３１を駆動させる制御を行わせてもよい。また、機構制御回路１４６Ｂは、触覚用デバイス１３１や触覚用デバイス駆動機構１３２から得られた情報を医用情報処理装置２００Ｂに送信する。

図１３は、第３の実施形態における医用情報処理装置２００Ｂの一例を示す図である。図１３に示す医用情報処理装置２００Ｂは、例えば、通信インターフェース２１０と、入力インターフェース２２０と、ディスプレイ２３０と、触覚提供装置２３５と、処理回路２４０Ｂ、メモリ２５０とを備える。処理回路２４０Ｂは、例えば、制御機能２４１Ｂと、取得機能２４２Ｂと、特定機能２４３Ｂと、生成機能２４４Ｂと、表示制御機能２４５と、触覚提供制御機能２４７とを備える。触覚提供装置２３５および触覚提供制御機能２４７は、「触覚提供部」の一例である。

触覚提供装置２３５は、触覚提供制御機能２４７の制御に従って、施術者に対して触覚を提供する装置である。触覚提供装置２３５は、振動や反力、電気信号等を施術者の身体（指又は手等）に伝達させることで、疑似的に触覚の感覚を施術者に提供する。触覚提供装置２３５は、例えば、モータ等のアクチュエータを用いた力覚提示器や、ジョイスティックコントローラ等であるが、その他の構成であってもよい。

制御機能２４１Ｂは、例えば、入力インターフェース２２０が受け付けた入力操作等に基づいて、医用情報処理装置２００Ｂの各種機能を制御する。具体的には、制御機能２４１Ｂは、取得機能２４２Ｂによる通信インターフェース２１０を介した各種情報の取得や、特定機能２４３Ｂによる遅延量の特定、生成機能２４４Ｂによる医用画像の生成、表示制御機能２４５による医用画像等の画像の表示、触覚提供制御機能２４７による触覚提供装置２３５の制御等を制御する。

取得機能２４２Ｂは、第１の実施形態の取得機能２４２と同様の機能を有する他、医用装置１００Ｂから送信された触覚用デバイス１３１および触覚用デバイス駆動機構１３２により得られた情報（触覚情報）を取得する。

特定機能２４３Ｂは、第１遅延量および第２遅延量を特定する他、触覚用デバイス１３１および触覚用デバイス駆動機構１３２により得られた情報の遅延量（以下、第３の遅延量と称する）を特定する。この場合、特定機能２４３Ｂは、予め決められた触覚用デバイス１３１の種類等に応じたデータ（例えば、テストデータ）の送受信を行い、その結果（応答時間等）に基づいて第３遅延量を特定する。特定機能２４３Ｂは、テストデータを複数回送信して、その平均や標準偏差に基づいて第３遅延量を特定してもよい。特定された第３遅延量は、装置ＩＤおよび通信条件に対応付けて遅延情報２５６に記憶されてもよい。

生成機能２４４Ｂは、特定機能２４３Ｂにより特定された第１遅延量、第２遅延量、および第３遅延量に基づいて医用画像を生成する。例えば、生成機能２４４Ｂは、第１遅延量、第２遅延量、および第３遅延量を加算した期間が経過した臓器の状態を予測し、予測した状態に対応する画像を過去の複数時相の画像情報から取得する。また、生成機能２４４Ｂは、複数時相の画像情報のうち最近の画像情報から医用デバイスに関する画像を取得し、その画像を予測した状態に対応する画像と重ね合わせることで、医用画像を生成する。なお、第３遅延量が、他の遅延量よりも閾値以上小さい場合には、第１の実施形態と同様に第１遅延量または第２遅延量のうち一方または双方を用いて臓器の状態を予測してもよい。

触覚提供制御機能２４７は、医用装置１００Ｂから送信された触覚用デバイス１３１および触覚用デバイス駆動機構１３２により得られた情報に基づいて、触覚に関する情報を触覚提供装置２３５に提供する。この場合、触覚提供制御機能２４７は、第１～第３遅延量に基づいて、遅延がない将来の触覚情報を生成してもよい。

なお、第３の実施形態において、表示制御機能２４５は、上述した画像ＩＭ１をディスプレイ２３０に表示させることに加えて、第３遅延量に関する情報、および触覚用デバイスの位置および状態に関する情報を含む画像を表示させてもよい。

図１４は、第３の実施形態における医用情報処理装置２００Ｂにより実行される処理の流れの一例を示すフローチャートである。図１４の処理は、上述した図８に示すステップＳ１００～Ｓ２００の処理と比較して、ステップＳ１１４およびＳ１７２が追加されると共に、ステップＳ１２０およびＳ１３０に代えて、ステップＳ１２２およびＳ１３２が追加されている点で相違する。したがって、以下では、主にステップＳ１１４、Ｓ１２２、Ｓ１３２、Ｓ１７２の処理を中心として説明する。また、図１４の処理では、第１の実施形態における制御機能２４１、取得機能２４２、特定機能２４３、および生成機能２４４の処理は、制御機能２４１Ｂ、取得機能２４２Ｂ、特定機能２４３Ｂ、および生成機能２４４Ｂの処理に読み替えられるものとする。

ステップＳ１１０の処理において、心臓の周期を取得した後、取得機能２４２Ｂは、触覚情報を取得する（ステップＳ１１４）。次に、特定機能２４３Ｂは、第１遅延量、第２遅延量、および第３遅延量を特定する（ステップＳ１２２）。次に、生成機能２４４Ｂは、第１～第３遅延量に基づき、遅延後の対象部位の状態を予測し（ステップＳ１３２）、複数時相の画像から、予測した状態を示す対象部位の画像を取得する（ステップＳ１４０）。

また、ステップＳ１７０の処理において、医用画像を表示させた後、触覚提供制御機能２４７は、触覚情報に対応する触覚提供情報を生成し、生成した情報を触覚提供装置２３５から出力させ（ステップＳ１７２）、ステップＳ１８０以降の処理を実行する。なお、第３の実施形態におけるステップＳ１８０およびＳ１９０の操作指示には、触覚用デバイスに対する操作指示が含まれてよい。

以上説明した第３の実施形態によれば、第１の実施形態と同様の効果を奏する他、医用画像と同期させて施術者に触覚を感じさせることができる。したがって、例えば、被検体に対して中隔穿刺等の施術を行う場合に、穿刺できた瞬間に突き刺す力を弱めるといった、より細かな遠隔操作を実現することができる。

なお、第３の実施形態において、触覚用デバイス１３１は、医用デバイスを操作するアーム等と一体に設けられていてもよい。この場合、デバイス駆動機構１１８に触覚用デバイス駆動機構１３２の機能が含まれる。

第１～第３の実施形態は、他の実施形態の一部または全部を組み合わせてもよい。また、上述の実施形態では、臓器の周期や状態を取得するデータとして心電データを用いたが、これに代えて心音データ等を用いてもよい。この場合、医用装置１００には、心電計１１９に代えて心音計を備えていてもよく、心電計１１９が心音を取得してもよい。また、上述の実施形態では、臓器の一例として心臓を用いて説明したが、これに代えて、肺や血管でもよく、心臓弁以外の弁体を用いてもよい。この場合、臓器の動作の周期は、心臓の動作の周期に代えて、弁体の動作の周期、肺の動作の周期、血管内の血流の周期、血管の大きさの周期のうち、少なくとも一つが含まれる。

上記説明したいずれかの実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
周期的な動作をする臓器に関する複数時相の画像情報を取得し、
前記複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、前記画像情報に含まれる所定の対象物に対する処理に関する第２の遅延を示す第２遅延量との少なくとも一方を特定し、
前記第１遅延量と前記第２遅延量の少なくとも一方と、前記臓器の周期的な動作とに基づいた医用画像を生成する、
ように構成されている、医用情報処理装置。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…医用システム、１００…医用装置、１１０…撮影装置、１１８…デバイス駆動機構、１１９…心電計、１４０…コンソール装置、１４１、２５０…メモリ、１４２，２１０…通信インターフェース、１４３、２２０…入力インターフェース、１４４、２３０…ディスプレイ、１４５…絞り制御回路、１４６…機構制御回路、１５０、２４０…処理回路、２００…医用情報処理装置、２４１…制御機能、２４２…取得機能、２４３…特定機能、２４４…生成機能、２４５…表示制御機能、２４６…判定機能、２４７…触覚提供制御機能

Claims (12)

1. 周期的な動作をする臓器に関する複数時相の画像情報を取得する取得部と、
   前記複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、前記画像情報に含まれる所定の対象物に対する処理に関する第２の遅延を示す第２遅延量との少なくとも一方を特定する特定部と、
   前記第１遅延量と前記第２遅延量の少なくとも一方と、前記臓器の周期的な動作とに基づいた医用画像を生成する生成部と、
   を備える医用情報処理装置。
2. 前記生成部は、
   前記第１遅延量と前記第２遅延量の少なくとも一方に基づいて、第１の遅延および第２の遅延が生じていない臓器の状態を予測し、予測した臓器の状態に基づいて、前記複数時相の画像情報から前記臓器を含む第１画像情報を取得し、
   前記複数時相の画像情報から前記所定の対象物に関する第２画像情報を取得し、
   前記第１画像情報と、前記第２画像情報とに基づいて前記医用画像を生成する、
   請求項１に記載の医用情報処理装置。
3. 前記生成部により生成された医用画像を表示部に表示させる表示制御部を更に備え、
   前記表示制御部は、前記複数時相の画像情報に含まれる画像と、前記医用画像とを前記表示部に表示させる、
   請求項１または２に記載の医用情報処理装置。
4. 前記表示制御部は、前記臓器の対する診察または施術の状況、前記臓器の種類、変形量に基づいて、前記表示部に表示させる画像の表示態様を変更する、
   請求項３に記載の医用情報処理装置。
5. 前記臓器の動作が周期的でない期間を判定する判定部を更に備え、
   前記生成部は、前記複数時相の画像情報のうち、前記判定部により判定された前記期間以外の画像情報を用いて、前記医用画像を生成する、
   請求項１から４のうち何れか１項に記載の医用情報処理装置。
6. 触覚用デバイスからの触覚情報をユーザに提供する触覚提供部を更に備え、
   前記特定部は、前記触覚情報に対応付けられた情報を前記触覚提供部から出力させる処理に関する第３の遅延を示す第３遅延量を特定し、
   前記生成部は、前記第１遅延量、前記第２遅延量、および前記第３遅延量のうち少なくとも一つに基づいて、前記臓器の周期的な動作に基づいた医用画像を生成する、
   請求項１から５のうち何れか１項に記載の医用情報処理装置。
7. 前記所定の対象物は、周期的な動作をしない物体である、
   請求項１から６のうち何れか１項に記載の医用情報処理装置。
8. 前記所定の対象物は、ユーザが操作する物体を含む、
   請求項７に記載の医用情報処理装置。
9. 前記臓器の動作の周期は、心臓の動作の周期、弁体の動作の周期、肺の動作の周期、血管内の血流の周期、前記血管の大きさの周期のうち、少なくとも一つを含む、
   請求項１から８のうち何れか１項に記載の医用情報処理装置。
10. 周期的な動作をする臓器に対する所定の処理を行う医用装置と、前記医用装置と情報の送受信を行う医用情報処理装置とを含む医用システムであって、
    前記医用装置は、
    所定の対象物を駆動させる駆動部と、
    前記臓器と前記対象物を含む複数時相の画像情報を生成する画像処理部と、を備え、
    前記医用情報処理装置は、
    前記医用装置から前記複数時相の画像情報を取得する取得部と、
    前記複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、前記画像情報に含まれる前記所定の対象物に対する処理に関する第２の遅延を示す第２遅延量との少なくとも一方を特定する特定部と、
    前記第１遅延量と前記第２遅延量の少なくとも一方と、前記臓器の周期的な動作とに基づいた医用画像を生成する生成部と、を備える、
    医用システム。
11. 医用情報処理装置のコンピュータが、
    周期的な動作をする臓器に関する複数時相の画像情報を取得し、
    前記複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、前記画像情報に含まれる所定の対象物に対する処理に関する第２の遅延を示す第２遅延量との少なくとも一方を特定し、
    前記第１遅延量と前記第２遅延量の少なくとも一方と、前記臓器の周期的な動作とに基づいた医用画像を生成する、
    医用情報処理方法。
12. 医用情報処理装置のコンピュータに、
    周期的な動作をする臓器に関する複数時相の画像情報を取得させ、
    前記複数時相の画像情報に基づく表示に関する第１の遅延を示す第１遅延量と、前記画像情報に含まれる所定の対象物に対する処理に関する第２の遅延を示す第２遅延量との少なくとも一方を特定させ、
    前記第１遅延量と前記第２遅延量の少なくとも一方と、前記臓器の周期的な動作とに基づいた医用画像を生成させる、
    プログラム。

Images