JP2017042247A - 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム - Google Patents

Abstract

【課題】基準点評価装置、方法およびプログラムにおいて、映像を構成する画像上の複数の基準点の動きに対する信頼度を精度よく算出する。
【解決手段】初期位置合せ部２３が、映像とシミュレーション情報との初期位置合せをし、位置合せ部２４が映像とシミュレーション情報との位置合せを行う。第１の動き検出部２５が映像の第１の画像に設定された基準点の動きを検出し、第２の動き検出部２６がカメラ１４の動きを検出する。信頼度算出部２７が第１および第２の動きを比較して、基準点のそれぞれの動きに対する信頼度を算出する。
【選択図】図２

Description

本発明は、映像を構成する画像上の複数の基準点の動きを評価する基準点評価装置、方法およびプログラムに関するものである。また本発明は、映像に含まれる対象物と、対象物のシミュレーション情報との位置合わせを行う位置合せ装置、方法およびプログラムに関するものである。

近年、３次元医用画像を用いた手術シミュレーションが盛んに行われている。手術シミュレーションとは、医用画像から手術対象となる組織、臓器およびその周辺構造を可視化し、実際の手術で行われる手技をシミュレーションするものである。例えば、肝臓の部分切除シミュレーションでは、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（Magnetic Resonance Imaging）画像の断層画像から、肝臓、門脈、静脈、動脈、体表、骨および腫瘍といった組織を抽出し、これらを３次元画像として可視化して、手術時の術野から見たシミュレーション画像を生成する。その後、シミュレーション画像を用いて、肝臓内にある腫瘍を切除する範囲をコンピュータで計算して、手術計画を立てて手術を行う。

一方、シミュレーション画像を、手術中に参照したいという要求がある。このため、シミュレーション画像を紙に印刷して手術室に持ち込んだり、手術室に設置されたディスプレイに表示したりすることが行われている。そして医師は、実際の患者の術部を見ながら、確認のために紙に印刷したあるいはディスプレイに表示したシミュレーション画像を見ながら手術を行う。

しかしながら、患者とシミュレーション画像とを交互に見ながら手術を行うことは、非常に煩わしい。このため、手術中に手術の対象部位を撮影して複数の画像からなる映像を取得し、映像にシミュレーション画像を重畳して表示する手法が提案されている。例えば、特許文献１には、光学センサあるいは磁気センサを、術部を撮影するカメラ、術具、もしくは臓器に直接取り付け、それらの相対位置関係をキャリブレーションし、キャリブレーション後のカメラの位置および向きの変更、並びに臓器の移動に対して、シミュレーション画像を移動させることにより、手術の対象となる部位とシミュレーション画像とを位置合せして重畳表示する手法が提案されている。

また、手術の対象となる部位にマーカを配置し、マーカの位置をセンサにより検出して、手術の対象部位とシミュレーション画像とを位置合せし、ヘッドマウントディスプレイに表示する手法（特許文献２参照）、および手術の対象部位にマーカを埋め込み、これをセンサにより検出して手術の対象部位とシミュレーション画像とを位置合せし、モニタに表示する手法も提案されている（特許文献３参照）。

しかしながら、特許文献１〜３に記載された手法は、高価なセンサを使用する必要がある。また、手術室にはスペースに限りがあるため、手術室にセンサを設定することは容易ではない。また、対象部位にマーカを配置すると、手術の邪魔となる可能性もある。

一方、センサ等を用いることなく、撮影された患者の映像とシミュレーション画像とを位置合せする手法も提案されている。例えば、特許文献４においては、３次元画像から臓器モデルを生成し、超音波画像にリアルタイムで臓器モデルを重畳させて表示する際に、超音波画像の各フレームと臓器モデルと間のアフィン変換関数を求め、これに基づいて臓器モデルを変換して超音波画像に重畳させる手法が提案されている。

ところで、術中の映像とシミュレーション情報とを位置合わせするためには、映像に含まれる対象部位の移動に、シミュレーション情報を追随させる必要がある。このためには、映像に含まれる対象部位の動きを正確に検出する必要がある。このため、動きの検出の対象となる画像上の各点において、動きが予め設定した動きベクトルとなる確率を算出し、動き確率マップを作成する手法が提案されている（特許文献５参照）。また、映像を構成する画像における動きがどの程度信頼できるかを表す動きの信頼度を算出する手法も提案されている（特許文献６参照）。特許文献５，６の手法を用いることにより、映像を構成する画像間の動きを精度よく検出することが可能となる。

特開２０１３−２０２３１３号公報 特開２０１０−２５９４９７号公報 特開２０１０−２００８９４号公報 特開２０１２−２０５８９９号公報 特開２００７−１８２６９号公報 特表２０１１−５１３８６８号公報

しかしながら、特許文献５に記載された手法は、行列式を用いた演算により動きの確率を算出しているため、動き確率マップの作成のための演算量が多くなり、処理時に時間を要するものとなる。また、特許文献６に記載された手法は、映像全体の動きの信頼度を算出するものであり、映像を構成する画像上の各点における動きの信頼度を算出するものではない。このため、特許文献６に記載された手法により算出された動きに対する信頼度は、映像を構成する画像上の各点の信頼度とは対応せず、その結果、特許文献６に記載された信頼度を用いて、画像の動きを正確に検出することは困難である。

本発明は上記事情に鑑みなされたものであり、映像を構成する画像上の複数の基準点の動きに対する信頼度を精度よく算出することを目的とする。

また、本発明は、画像上の複数の基準点の動きに対する信頼度を用いて、映像に含まれる対象物と対象物のシミュレーション情報との位置合せを精度よく行うことを目的とする。

本発明による基準点評価装置は、撮影時刻が異なる２以上の画像からなる映像を取得する撮影手段と、
映像を構成する画像のうち、第１の画像と第１の画像と時間的に異なる第２の画像とを比較して、第１の画像と第２の画像との間における、第１の画像上の複数の基準点のそれぞれの動きを第１の動きとして検出する第１の動き検出手段と、
第１の画像および第２の画像を取得した際の、撮影手段の動きである第２の動きを検出する第２の動き検出手段と、
第１の動きと第２の動きとを比較して、基準点のそれぞれの動きに対する信頼度を算出する信頼度算出手段とを備えたことを特徴とするものである。

「映像」とは、撮影手段により、所定のサンプリング間隔で対象物を逐次撮影することにより取得される、複数の画像が連続する動画像である。

「第１の画像と時間的に異なる第２の画像」とは、第１の画像よりも時間的に前の画像であっても、時間的に後の画像であってもよい。また、第２の画像は第１の画像と時間的に隣接していてもよく、第１の画像とあらかじめ定められた複数画像分、時間的に離れていてもよい。

「基準点」とは、映像に含まれる、動きの検出に使用する映像上の点、すなわち画素位置を表す。具体的には、映像に含まれる物体の境界であるエッジ、およびエッジが交差する交点等の動きの検出に適した特徴を有する位置を基準点として用いることができるが、映像上のあらかじめ定められた座標位置であってもよい。なお、操作者が映像上において基準点を指定してもよく、映像から上記特徴を有する位置を自動で検出するものであってもよい。また、映像上のあらかじめ定められた位置に自動で基準点を設定するものであってもよい。なお、基準点は、後述する不変点は含まないものとする。

「第１の動き」とは、第１の画像および第２の画像を取得する間に生じた、第１の画像および第２の画像に含まれる対応する基準点の移動方向および移動量を表す指標である。第１の動きは撮影手段の平行移動および回転移動に起因するものであるが、撮影手段を撮影対象に近づけたり遠ざけたりすることにより映像が拡大縮小されることによっても、第１の画像と第２の画像とにおいて基準点が移動する。したがって、第１の動きとしては、平行移動、回転移動および拡大縮小により、２枚の画像間で発生する基準点の移動量の変化として定義できる。なお、この変化、すなわち移動量を解析することで、第１の動きを基にした撮影手段の動きを予測することができる。

「第２の動き」とは、第１および第２の画像を取得する間に生じた、撮影手段の移動方向および移動量を表す指標である。第２の動きは、撮影手段の平行移動および回転移動に起因するものであるが、撮影手段を撮影対象に近づけたり遠ざけたりすることにより映像が拡大縮小されることによっても、映像には動きが生じる。このため、本明細書においては、平行移動および回転移動による移動方向および移動量に加えて、拡大縮小による映像の動きに起因する移動方向および移動量も、第２の動きに含めるものとする。

「信頼度」とは、基準点の動きの撮影手段の動きとの一致の程度を表す指標である。例えば、基準点の動きが撮影手段の動きと一致したときを１、一致しないときを０とするように信頼度を算出してもよく、基準点の動きの撮影手段の動きとの一致の程度を表す数値を信頼度として算出してもよい。

なお、本発明による基準点評価装置においては、信頼度算出手段により算出された、複数の基準点のそれぞれについての信頼度を更新する信頼度更新手段をさらに備えるものとしてもよい。

また、本発明による基準点評価装置においては、信頼度更新手段を、映像を構成する時間的に連続する画像をそれぞれ第１の画像とすることによる第１の動きの検出、第２の動きの検出および信頼度の算出を繰り返すことにより、信頼度を更新するものとしてもよい。

「映像を構成する連続する画像をそれぞれ第１の画像とする」とは、時間的に隣接する画像をそれぞれ第１の画像とすることのみならず、あらかじめ定められた複数画像分、時間的に離れた画像を第１の画像とすることも含む。

また、本発明による基準点評価装置においては、信頼度更新手段を、繰り返しにより算出された信頼度を複数の基準点のそれぞれと対応づけて累積保存することにより、信頼度を更新するものとしてもよい。

また、本発明による基準点評価装置においては、信頼度更新手段を、信頼度の算出があらかじめ定められた第１の回数繰り返された場合、累積保存された信頼度を初期化するものとしてもよい。

「累積保存された信頼度を初期化する」とは、信頼度の累積保存を最初からやり直すことを意味する。例えば、信頼度がある数値として累積保存されていた場合、累積された数値を０またはあらかじめ定められた値とすることにより、累積保存された信頼度を初期化することができる。なお、信頼度の累積は、加算方式であっても減算方式であってもよい。

また、本発明による基準点評価装置においては、第１の動き検出手段を、信頼度の算出があらかじめ定められた第２の回数繰り返された場合、信頼度の算出が第２の回数繰り返される前よりも、第１の画像と第２の画像との間隔を大きくするものとしてもよい。

また、本発明による基準点評価装置においては、信頼度算出手段を、更新された信頼度があらかじめ定められた第１のしきい値よりも小さい基準点を、信頼度の算出から除外するものとしてもよい。

また、本発明による基準点評価装置においては、第２の動き検出手段を、第１の画像および第２の画像のそれぞれに含まれる不変点の動きに基づいて、撮影手段の動きを検出するものとしてもよい。

この場合、不変点を、撮影手段の撮影範囲に設置された複数のマーカとしてもよい。

「不変点」とは、対象物を含む撮影範囲において、映像の撮影が進行しても変動しない点、すなわち画素位置を意味する。例えば、対象物が手術の対象部位である場合、開腹した部分を固定する鉗子等の手術用具、および映像に含まれる対象物以外の部位が存在する点が挙げられる。また、対象部位の一部を切除する場合においては、対象部位における切除により残る部分を手術中における不変点として用いることもできる。なお、不変点は自動で検出してもよく、操作者が指定するものであってもよい。

また、本発明による基準点評価装置においては、第１の動き検出手段を、第１の画像における、複数のマーカにより囲まれた領域内に複数の基準点を設定するものとしてもよい。

また、本発明による基準点評価装置においては、第２の動き検出手段を、撮影手段に設けられた、撮影手段の動きを検出するセンサとしてもよい。

本発明による位置合せ装置は、本発明の基準点評価装置と、
映像に含まれる対象物のシミュレーション情報を取得するシミュレーション情報取得手段と、
映像に含まれる対象物とシミュレーション情報との初期位置合せをする初期位置合せ手段と、
第２の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せする位置合せ手段とを備えたことを特徴とするものである。

「シミュレーション情報」とは、対象物に関連する任意の情報を意味し、例えば、対象物の３次元形状を表す画像、対象物および対象物に含まれる構造物の３次元形状を表す画像、あるいは対象物および構造物の輪郭を表す画像等の画像情報をシミュレーション情報として用いることができる。なお、対象物が人体の構造物である場合、上述したＣＴ画像およびＭＲＩ画像以外に、ＰＥＴ（Positron Emission Tomography）検査またはＮＭ（Nuclear Medical）検査（核医学検査）等により取得される機能３次元画像等の画像情報もシミュレーション情報として用いることができる。また、対象物の名称および対象物に含まれる構造物の名称等の文字情報、あるいは対象物が人体の構造物である場合の対象物の切除位置を示す線や矢印等の記号もシミュレーション情報として用いることができる。

なお、本発明による位置合せ装置においては、位置合せ手段を、第２の動きが検出可能か否かの第１の判定を行い、第１の判定が肯定された場合、第２の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せし、第１の判定が否定された場合、信頼度があらかじめ定められた第２のしきい値以上となる基準点についての第１の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せするものとしてもよい。

「信頼度」とは、信頼度算出手段が算出したものを用いればよい。なお、信頼度が更新されている場合は更新された信頼度であってもよい。

また、本発明による位置合せ装置においては、位置合せ手段を、信頼度が第２のしきい値以上となる基準点が存在するか否かの第２の判定を行い、第１の判定が否定され、かつ第２の判定が肯定された場合、信頼度が第２のしきい値以上となる基準点の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せし、第１の判定が否定され、かつ第２の判定が否定された場合、警告を行うものとしてもよい。

「信頼度」とは、信頼度算出手段が算出したものを用いればよい。なお、信頼度が更新されている場合は更新された信頼度であってもよい。

ここで、第１の判定が否定され、かつ第２の判定が否定されると、映像に含まれる対象物とシミュレーション情報との位置合せを精度よく行うことができなくなる。「警告」とは、映像に含まれる対象物とシミュレーション情報との位置合せを精度よく行うことができなくなることを操作者に知らせることを意味する。具体的には、音声あるいは表示手段へのテキストの表示等により警告を行うことができる。

本発明による基準点評価方法は、撮影時刻が異なる２以上の画像からなる映像を取得するステップと、
映像を構成する画像のうち、第１の画像と第１の画像と時間的に異なる第２の画像とを比較して、第１の画像と第２の画像との間における、第１の画像上の複数の基準点のそれぞれの動きを第１の動きとして検出するステップと、
第１の画像および第２の画像を取得した際の、撮影手段の動きである第２の動きを検出するステップと、
第１の動きと第２の動きとを比較して、基準点のそれぞれの動きに対する信頼度を算出するステップとを有することを特徴とするものである。

本発明による位置合せ方法は、本発明の基準点評価方法により、第１の動きの検出、第２の動きの検出、および信頼度の算出を行うステップと、
映像に含まれる対象物のシミュレーション情報を取得するステップと、
映像に含まれる対象物とシミュレーション情報との初期位置合せをするステップと、
第２の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せするステップとを有することを特徴とするものである。

なお、本発明による基準点評価方法および位置合せ方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の基準点評価装置、方法およびプログラムによれば、映像を構成する画像のうち、第１の画像と第１の画像と時間的に異なる第２の画像とが比較され、第１の画像と第２の画像との間における、第１の画像上の複数の基準点のそれぞれの動きが第１の動きとして検出される。また、第１の画像および第２の画像を取得した際の、撮影手段の動きである第２の動きが検出される。そして、第１の動きと第２の動きとが比較され、基準点のそれぞれの動きに対する信頼度が算出される。このため、複雑な演算を行うことなく、基準点のそれぞれの動きに対する信頼度を精度よく算出することができる。したがって、算出した信頼度に基づいて、基準点の動きの評価を精度よく行うことができる。

本発明の位置合せ装置、方法およびプログラムによれば、映像に含まれる対象物のシミュレーション情報が取得され、映像に含まれる対象物とシミュレーション情報との初期位置合せが行われ、第２の動きに基づいて、映像に含まれる対象物とシミュレーション情報とが位置合せされる。このため、撮影手段の動きに起因する映像の動きに対してシミュレーション情報の動きを映像に追随させることができる。

本発明の実施形態による基準点評価装置および位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図 タブレット端末に位置合せプログラムをインストールすることにより実現された位置合せ装置の概略構成を示す図 シミュレーション情報を示す図 本実施形態において行われる処理を示すフローチャート 本実施形態において行われる処理を示すフローチャート 初期位置合せの際にディスプレイに表示される映像を示す図 不変点のおよび基準点の設定を説明するための図 現在表示されている術中画像の初期術中画像に対する位置のずれを説明するための図 被検体にマーカを付与した際の映像を示す図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による基準点評価装置および位置合せ装置を適用した、手術支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による位置合せ装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。なお、本実施形態による位置合せ装置１は、本実施形態による基準点評価装置を内包してなるものである。

３次元画像撮影装置２は、被検体７の手術の対象となる部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体７の手術の対象部位は肝臓であり、３次元画像撮影装置２はＣＴ装置であり、被検体７の腹部の３次元画像Ｖ０が生成されるものとする。

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

位置合せ装置１は、１台のコンピュータに、本発明の位置合せプログラムをインストールしたものである。本実施形態においては、コンピュータは、診断を行う医師が直接操作するネットワーク４と無線接続されたタブレット端末である。位置合せプログラムは、ＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からタブレット端末にインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてタブレット端末にダウンロードされ、インストールされる。

図２はタブレット端末に位置合せプログラムをインストールすることにより実現された位置合せ装置の概略構成を示す図である。図２に示すように、位置合せ装置１は、標準的なタブレット端末の構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２、ストレージ１３、カメラ１４、液晶等のディスプレイ１５、タッチパネル式の入力部１６、およびモーションセンサ１７を備えている。

ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｖ０および位置合せ装置１での処理によって生成された画像を含む各種情報が記憶されている。

カメラ１４は、レンズ、ＣＣＤ(Charge Coupled Device)等の撮像素子および取得した画像に画質を向上させるための処理を行う画像処理部等を備える。医師は位置合せ装置１、すなわちタブレット端末のカメラ１４を用いて、手術中の被検体７における手術の対象部位である、開腹された被検体７の肝臓を撮影することにより、撮影時刻が異なる２以上の画像からなる、肝臓を含む術中の映像Ｌ０を取得する。映像Ｌ０は所定のフレームレートによる術中の画像Ｔ０が連続する動画像となる。なお、カメラ１４が撮影手段に対応する。

モーションセンサ１７は、タブレット端末のある位置を基準としたｘ軸、ｙ軸およびｚ軸の３軸の加速度、３軸の角速度および３軸の傾きを検出する９軸のモーションセンサである。モーションセンサ１７が検出した加速度、角速度および傾きは動き情報としてＣＰＵ１１に出力され、必要な処理に使用される。

また、メモリ１２には、位置合せプログラムが記憶されている。位置合せプログラムは、ＣＰＵ１１に実行させる処理として、映像Ｌ０および３次元画像Ｖ０を取得する画像取得処理、映像Ｌ０に含まれる対象物である肝臓のシミュレーション情報Ｓ０を取得するシミュレーション情報取得処理、映像Ｌ０に含まれる対象物である肝臓とシミュレーション情報Ｓ０との初期位置合せをする初期位置合せ処理、および映像Ｌ０に含まれる肝臓とシミュレーション情報Ｓ０とを位置合せする位置合せ処理を規定している。さらに、位置合せプログラムに含まれる基準点評価プログラムは、ＣＰＵ１１に実行させる処理として、映像Ｌ０を構成する画像のうち、第１の画像Ｔ１と第１の画像Ｔ１と時間的に異なる第２の画像Ｔ２とを比較して、第１の画像Ｔ１と第２の画像Ｔ２との間における、第１の画像Ｔ１上の複数の基準点のそれぞれの動きを第１の動きＭ１として検出する第１の動き検出処理、第１の画像Ｔ１および第２の画像Ｔ２を取得した際の、カメラ１４の動きである第２の動きＭ２を検出する第２の動き検出処理、第１の動きＭ１と第２の動きＭ２とを比較して、基準点のそれぞれの動きに対する信頼度を算出する信頼度算出処理、並びに複数の基準点のそれぞれについての信頼度を更新する信頼度更新処理を規定している。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、タブレット端末は、画像取得部２１、シミュレーション情報取得部２２、初期位置合せ部２３、位置合せ部２４、第１の動き検出部２５、第２の動き検出部２６、信頼度算出部２７、および信頼度更新部２８として機能する。なお、位置合せ装置１は、画像取得処理、シミュレーション情報取得処理、初期位置合せ処理、位置合せ処理、第１の動き検出処理、第２の動き検出処理、信頼度算出処理および信頼度更新処理をそれぞれ行うプロセッサを備えるものであってもよい。ここで、第１の動き検出部２５、第２の動き検出部２６、信頼度算出部２７および信頼度更新部２８が、本発明の基準点評価装置を構成する。

画像取得部２１は、３次元画像Ｖ０およびカメラ１４により撮影された手術中の被検体７の対象部位を含む映像Ｌ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。なお、本実施形態においては、映像Ｌ０は、開腹された被検体７の上方から医師が肝臓を撮影することにより取得される。

シミュレーション情報取得部２２は、手術の対象部位である肝臓のシミュレーション情報を生成する。このため、シミュレーション情報取得部２２は、まず３次元画像Ｖ０から手術の対象部位である肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を抽出する。シミュレーション情報取得部２２は、３次元画像Ｖ０中の各画素が、肝臓並びに肝臓に含まれる動脈、静脈および病変（以下肝臓等とする）を示す画素であるか否かを識別する識別器を備える。識別器は、肝臓等を含む複数のサンプル画像を、例えばアダブースティングアルゴリズム等の手法を用いて機械学習することにより取得される。シミュレーション情報取得部２２は、識別器を用いて３次元画像Ｖ０から肝臓等を抽出する。

そして、シミュレーション情報取得部２２は、肝臓等の３次元形状を表す画像をシミュレーション情報Ｓ０として生成する。具体的には、抽出した肝臓等をあらかじめ定めた投影面に投影した投影像を、シミュレーション情報Ｓ０として生成する。ここで、投影面としては、例えば、被検体７の肝臓を正面から臨む面とすればよい。なお、投影の具体的な方法としては、例えば、公知のボリュームレンダリングの手法等を用いる。

この際、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色を定義してシミュレーション情報Ｓ０を生成してもよく、異なる透明度を定義してシミュレーション情報Ｓ０を生成してもよい。例えば、肝動脈を赤色、肝静脈を青色、病変を緑色としたり、肝臓の不透明度を０．１、肝動脈および肝静脈の不透明度を０．５、病変の不透明度を０．８としたりしてもよい。これにより、図３に示すようなシミュレーション情報Ｓ０が生成される。このように、シミュレーション情報Ｓ０において、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変毎に異なる色または不透明度を定義することにより、肝臓並びに肝臓に含まれる肝動脈、肝静脈および病変を容易に識別することができる。なお、異なる色および異なる透明度の双方を定義してシミュレーション情報Ｓ０を生成してもよい。生成されたシミュレーション情報Ｓ０はストレージ１３に保存される。

また、シミュレーション情報Ｓ０は、肝臓等の輪郭のみを含むものであってもよい。これにより、後述するようにシミュレーション情報Ｓ０と映像Ｌ０とを重畳表示した際に、ディスプレイ１５において術野が見にくくなることを防止できる。

以下、初期位置合せ部２３、位置合せ部２４、第１の動き検出部２５、第２の動き検出部２６、信頼度算出部２７および信頼度更新部２８の説明と併せて、本実施形態において行われる処理について説明する。

図４および図５は本実施形態において行われる処理を示すフローチャートである。なお、シミュレーション情報Ｓ０はすでに生成されて、ストレージ１３に保存されているものとする。まず、被検体７の手術対象部位である肝臓が撮影されて映像Ｌ０が取得される（ステップＳＴ１）。なお、映像Ｌ０は例えば３０ｆｐｓ等の所定のフレームレートにより順次取得される術中の画像Ｔ０からなる。そして、初期位置合せ部２３が、映像Ｌ０に含まれる肝臓とシミュレーション情報Ｓ０との初期位置合せを行う（ステップＳＴ２）。

図６は初期位置合せの際にディスプレイに表示される映像を示す図である。初期位置合せ時においては、初期位置合せ部２３は、映像Ｌ０にシミュレーション情報Ｓ０を重畳して、ディスプレイ１５に表示する。なお、この段階においては、シミュレーション情報Ｓ０はディスプレイ１５上のあらかじめ定められた位置に表示される。表示されたシミュレーション情報Ｓ０は、入力部１６の操作、すなわちディスプレイ１５へのタッチ操作により、平行移動、回転および拡大縮小が可能となっている。なお、ディスプレイ１５の表示面にｘ軸およびｙ軸を、表示面に直交する方向にｚ軸を設定した場合、回転は３軸の任意の方向に可能となっている。ここで、シミュレーション情報Ｓ０に対してｘｙ平面における回転以外の回転、すなわちｘ軸および／またはｙ軸の周りの回転がなされて、シミュレーション情報Ｓ０の向きが変更された場合、シミュレーション情報Ｓ０の投影面が変化する。このため、シミュレーション情報取得部２２は、シミュレーション情報Ｓ０の向きが変更されて投影面が変化した場合、シミュレーション情報Ｓ０を改めて生成する。

また、初期位置合せ時に表示される映像Ｌ０は動画像であるが、映像Ｌ０を構成する１つの画像Ｔ０であってもよい。本実施形態においては動画像の映像Ｌ０であるものとする。また、初期位置合せ時には、できるだけ術野全体が映像Ｌ０に含まれるように、タブレット端末の位置を調整することが好ましい。

医師は、ディスプレイ１５に表示された映像Ｌ０およびシミュレーション情報Ｓ０を見ながら、シミュレーション情報Ｓ０の位置が、映像Ｌ０に含まれる肝臓の位置と一致するように、シミュレーション情報Ｓ０を平行移動、回転移動および拡大縮小する。また、必要であれば、シミュレーション情報Ｓ０の向きを変更する。そして、シミュレーション情報Ｓ０の位置、回転位置、大きさおよび向きが、映像Ｌ０に含まれる肝臓の位置と一致した時点で、医師は、入力部１６から不変点の指定を行う。

ここで、本実施形態においては、手術の対象部位は肝臓であり、手術中に肝臓は切除されて移動する可能性がある。このため、本実施形態においては、初期位置合せ時には、ディスプレイ１５に表示された映像Ｌ０において、手術中に移動しない不変点の指定を受け付ける。例えば、図７に示す映像Ｌ０において、鉗子３０等の手術用具が存在する部位は手術中には移動しない。また、肝臓の左葉を切除する場合、肝臓の右葉は手術中には移動しない。このため、本実施形態においては、入力部１６により鉗子３０のエッジ上の位置Ｏ１〜Ｏ４あるいは肝臓の右葉の位置Ｏ５等、手術中に移動しない不変点の指定を受け付け、不変点をストレージ１３に保存する。なお、図７においては５つの不変点の指定を受け付けているが、不変点の数はこれに限定されるものではなく、１以上の任意の数の不変点の指定を受け付ければよい。

さらに、本実施形態においては、ディスプレイ１５に表示された映像Ｌ０において、不変点の指定に引き続き、複数の基準点の指定を受け付ける。基準点としては、ディスプレイ１５の動きの検出に適した特徴を有する位置、例えば、映像Ｌ０に含まれる物体の境界であるエッジ、およびエッジが交差する交点等の特徴を有する位置を用いればよいが、映像Ｌ０上の任意の位置を用いてもよい。本実施形態においては、映像Ｌ０上の任意の位置を用いるものとする。また、基準点は不変点Ｏ１〜Ｏ５以外の点を指定するようにする。なお、図７においては、指定された基準点を×の印により示している。指定された基準点の映像Ｌ０上の位置はストレージ１３に保存される。

不変点および基準点の指定の指示は、入力部１６の操作により、不変点および基準点の指定指示を行うボタンをディスプレイ１５に表示させたり、ダブルタップ等の所定の操作により行うようにすればよい。不変点および基準点の指定の際は、映像Ｂ０は静止画像としてもよい。また、シミュレーション情報Ｓ０は一時的に非表示としてもよい。

なお、上記では医師による不変点および基準点の指定を受け付けているが、不変点および基準点の指定時における映像Ｌ０に含まれる物体の境界であるエッジ、およびエッジが交差する交点等の特徴を有する位置等を自動で検出することにより、不変点および基準点を設定するようにしてもよい。なお、映像Ｌ０上のあらかじめ定められた座標位置に基準点を設定するようにしてもよい。

不変点および基準点の指定後、医師は入力部１６を用いて初期位置合せ終了の指示を行うことにより、初期位置合せが完了する。なお、初期位置合せ終了の指示は、入力部１６の操作により、終了指示を行うボタンをディスプレイ１５に表示させたり、ダブルタップ等の所定の操作により行うようにすればよい。これにより、初期位置合せ終了時にディスプレイ１５に表示されていた画像Ｔ０が初期画像Ｔｆとしてストレージ１３に保存される。また、このときの初期画像Ｔｆに対するシミュレーション情報Ｓ０の回転角度、平行移動量および拡大率もストレージ１３に記憶される。

ここで、初期位置合せ後、医師は手術を進める。手術中、医師はタブレット端末を被検体７の上方に常時保持しておくことはできないため、タブレット端末による対象部位の撮影は一時的に中断され、その後、病変の位置の確認等、必要な時にタブレット端末を用いての対象部位の撮影が行われる。この際、タブレット端末の位置は初期位置合せを行った位置から移動され、対象部位の撮影が再度行われることとなる。また、初期位置合せ後、被検体７の上方にタブレット端末を常時保持している状態においても、タブレット端末を完全に静止することはできないため、タブレット端末の位置は初期位置合せを行った位置から移動される。

このような状況においては、カメラ１４は、初期画像Ｔｆを取得したときとは位置がずれるため、ディスプレイ１５に表示される画像Ｔ０は、例えば図８に示すように、初期画像Ｔｆに対して位置がずれることとなる。なお、図８においては、初期画像Ｔｆの取得時と比較して、タブレット端末が被検体７に近づき、図８における時計回り方向に回転し、図８における右側に若干移動した状態を示している。

このため、本実施形態においては、位置合せ部２４が映像Ｌ０に含まれる肝臓とシミュレーション情報Ｓ０との位置合わせを行う。また、位置合せの処理と併せて基準点評価処理も行われる。まず、第１の動き検出部２５が、映像Ｌ０を構成する画像のうちの第１の画像Ｔ１および第１の画像Ｔ１と時間的に異なる第２の画像Ｔ２を取得する（ステップＳＴ３）。第１の画像Ｔ１は初期画像Ｔｆとするが、これに限定されるものではなく、初期位置合せ終了後のあらかじめ定められた時間経過後に、ディスプレイ１５に表示される画像であってもよい。初期画像Ｔｆ以外の画像を第１の画像Ｔ１とする場合、初期画像Ｔｆに指定された不変点および基準点を基準として、初期画像Ｔｆと第１の画像Ｔ１とのテンプレートマッチングが行われ、第１の画像Ｔ１上に初期画像Ｔｆに指定された不変点および基準点に対応する不変点および基準点が設定される。

本実施形態においては、第２の画像Ｔ２は第１の画像Ｔ１よりも時間的に後の画像Ｔ０とする。なお、第２の画像Ｔ２は第１の画像Ｔ１の１フレーム後の画像であってもよく、あらかじめ定められた時間後のフレームの画像であってもよい。なお、第１および第２の画像Ｔ１，Ｔ２の取得は、画像取得部２１あるいは位置合せ部２４が行ってもよい。

次いで、位置合せ部２４は、第１の画像Ｔ１および第２の画像Ｔ２を取得した際のカメラ１４の動きである第２の動きＭ２が検出可能であるか否かの判定である第１の判定を行う（ステップＳＴ４）。第１の判定は、上述した不変点が第２の画像Ｔ２に検出されたか否かを判定することにより行えばよい。

第１の判定が肯定されると、第１の動き検出部２５が、第１の画像Ｔ１と第２の画像Ｔ２との間における、第１の画像Ｔ１上の複数の基準点のそれぞれの動きを第１の動きＭ１として検出する（ステップＳＴ５）。本実施形態においては、第１の動き検出部２５は、第１の画像Ｔ１上における複数の基準点（以下説明のために基準点Ｂ１とする）のそれぞれと、第２の画像Ｔ２上における複数の基準点Ｂ１のそれぞれと対応する複数の基準点Ｂ２とのオプティカルフローを第１の動きＭ１として算出する。オプティカルフローとは、第１および第２の画像Ｔ１，Ｔ２間における基準点の軌跡であり、基準点の移動方向および移動量を表す動きベクトルである。なお、オプティカルフローに代えて、テンプレートマッチングにより、各基準点Ｂ１の第１の動きＭ１を算出するようにしてもよい。

次いで、第２の動き検出部２６が、第１の画像Ｔ１および第２の画像Ｔ２を取得した際のカメラ１４の動きである第２の動きＭ２を検出する（ステップＳＴ６）。なお、カメラ１４の動きは実質的にはタブレット端末の動きとなる。本実施形態においては、第２の動き検出部２６は、第１の画像Ｔ１上における不変点Ｏ１〜Ｏ５のそれぞれと、第２の画像Ｔ２上における、不変点Ｏ１〜Ｏ５のそれぞれと対応する位置とのオプティカルフローを算出し、各不変点Ｏ１〜Ｏ５のオプティカルフローの平均値を第２の動きＭ２として算出する。なお、不変点Ｏ１〜Ｏ５の何れかについてのオプティカルフローあるいはオプティカルフローの最大値または最小値を第２の動きＭ２として算出するようにしてもよい。また、オプティカルフローに代えて、テンプレートマッチングにより、不変点Ｏ１〜Ｏ５の動きから第２の動きＭ２を算出するようにしてもよい。

なお、本実施形態においては、タブレット端末は、モーションセンサ１７を備えている。このため、モーションセンサ１７が検出したタブレット端末の動きを第２の動きＭ２として用いてもよい。これにより、演算を行うことなく迅速に第２の動きＭ２を検出することができる。この際、モーションセンサ１７が検出するタブレット端末の動きは、３次元的な動きとなる。このため、第２の動き検出部２６は、モーションセンサ１７が検出した３次元的な動きを、ディスプレイ１５の表示面における２次元的な動きに変換することにより、第２の動きＭ２を算出することにより、第２の動きＭ２を検出するようにする。

なお、ステップＳＴ４より前にステップＳＴ６の処理を行うようにしてもよい。この場合、ステップＳＴ４の第１の判定処理においては、第２の動き検出部２６において、第２の動きＭ２が検出されたか否かを判定するようにすればよい。

次いで、位置合せ部２４が、第２の動きＭ２に基づいて、第２の画像Ｔ２に含まれる肝臓とシミュレーション情報Ｓ０との位置合わせを行い、第２の画像Ｔ２およびシミュレーション情報Ｓ０をディスプレイ１５に重畳表示する（第２の動きに基づく位置合せ：ステップＳＴ７）。ここで、第２の動きＭ２は動きベクトルとして算出されており、第２の画像Ｔ２の第１の画像に対する平行移動成分、回転成分および拡大率を表すものとなっている。このため、位置合せ部２４は、シミュレーション情報Ｓ０を第２の動きＭ２に対応する移動量移動させて、第２の画像Ｔ２に重畳する。これにより、シミュレーション情報Ｓ０は、第１の画像Ｔ１、すなわち初期画像Ｔｆと位置合わせした際の肝臓の位置と同様の位置において、第２の画像Ｔ２に重畳されることとなる。なお、ステップＳＴ７の後に、ステップＳＴ５の処理を行うようにしてもよい。

続いて、信頼度算出部２７が、第１の動きＭ１と第２の動きＭ２とを比較して、基準点Ｂ１のそれぞれの動きに対する信頼度を算出する（ステップＳＴ８）。ここで、第２の動きＭ２は映像Ｌ０上の不変点に基づいて算出されるため、タブレット端末の動きを精度よく表すものとなっている。一方、第１の動きＭ１は、不変点以外の基準点に基づいて算出されるものであり、本来であればタブレット端末の動きと一致するはずである。しかしながら、基準点が設定された場所によっては、第１の動きＭ１とタブレット端末の動きとが一致しなくなる場合がある。例えば、基準点が映像Ｌ０上のエッジでない位置等の動きが検出されにくい位置に設定された場合、その基準点において算出された第１の動きＭ１は、タブレット端末の動きに一致しなくなる可能性がある。

このため、本実施形態においては、基準点の動きのカメラ１４の動きとの一致の程度を表す指標、すなわち第１の動きＭ１と第２の動きＭ２との一致の程度を表す指標を信頼度として算出する。本実施形態においては、第１の動きＭ１および第２の動きＭ２はそれぞれ動きベクトルとして算出されているため、第１の動きＭ１および第２の動きＭ２の差が小さいほど、基準点の動きはカメラ１４の動きに近いものとなる。したがって、信頼度算出部２７は、入力ｘが０の時に最大値となる減少関数ｆ（ｘ）を定義し、第１の動きＭ１および第２の動きＭ２の差の絶対値を入力として、減少関数ｆ（ｘ）により信頼度を算出する。なお、信頼度の最大値は例えば１とすればよい。

続いて、信頼度更新部２８が、信頼度の算出が１回目であるか否かを判定し（ステップＳＴ９）、ステップＳＴ９が肯定されると、信頼度更新部２８は、第１の画像Ｔ１における基準点Ｂ１と対応づけて信頼度を保存することにより、複数の基準点Ｂ１のそれぞれについての動きの評価結果を算出し（ステップＳＴ１０）、第１の画像Ｔ１を次の画像に変更し（ステップＳＴ１１）、ステップＳＴ３に戻る。なお、次の画像とは第１の画像Ｔ１の次のフレームの画像、すなわち現在の処理における第２の画像Ｔ２である。また、これに伴い、第２の画像Ｔ２も次のフレームの画像に変更される。これにより、次の第１および第２の画像Ｔ１，Ｔ２を用いての位置合わせおよび新たな信頼度の算出が繰り返される。

一方、ステップＳＴ９が否定されると、信頼度更新部２８は信頼度を更新し（ステップＳＴ１２）、ステップＳＴ１０に進む。この場合、ステップＳＴ１０においては、更新された信頼度を第１の画像Ｔ１における基準点Ｂ１と対応づけて保存することにより、複数の基準点Ｂ１のそれぞれについての動きの評価結果を算出することとなる。本実施形態においては、複数の基準点Ｂ１のそれぞれと対応づけて、信頼度を累積保存することにより、信頼度を更新する。ここで、信頼度の累積は加算方式であっても、減算方式であってもよい。

なお、信頼度を累積保存することに代えて、前回の処理において算出された信頼度を新たに算出された信頼度に変更することにより、信頼度を更新してもよい。また、累積保存をあらかじめ定められた回数繰り返した際に、各基準位置における信頼度をしきい値Ｔｈ１と比較し、累積保存された信頼度がしきい値Ｔｈ１よりも小さい基準点を、信頼度の算出から除外してもよい。なお、しきい値Ｔｈ１が第１のしきい値に対応する。これにより、基準点を除外した以降は、信頼度が高い基準点についてのみ信頼度の算出および更新を行えばよいため、信頼度の算出および更新のための演算量を低減することができる。

また、信頼度の算出があらかじめ定められた回数繰り返された場合、累積保存された信頼度を一旦０として、信頼度を初期化してもよい。この場合、１回目からの信頼度の算出が再度行われることとなる。これにより、例えば、映像が大きく変化した場合であっても、改めて信頼度を算出することができるため、精度のよい信頼度の算出を継続することができる。

また、ステップＳＴ８からステップＳＴ１２の処理を、ステップＳＴ７の処理と並列に行ってもよく、ステップＳＴ７の処理よりも前に行ってもよい。

一方、ステップＳＴ４における第１の判定が否定されると、位置合せ部２４は、動きの評価結果を参照し、信頼度があらかじめ定められたしきい値Ｔｈ２以上となる基準点が評価結果に含まれるか否かの第２の判定を行う（ステップＳＴ１３）。なお、しきい値Ｔｈ２が第２のしきい値に対応する。ここで、信頼度は、第１の動きＭ１と第２の動きＭ２との一致の程度を表す指標である。このため、信頼度がしきい値Ｔｈ２以上であるということは、その基準点における第１の動きＭ１が、カメラ１４の動きと比較的一致していることを意味する。このため、ステップＳＴ１３が肯定されると、位置合せ部２４は、信頼度がしきい値Ｔｈ２以上となる基準点の第１の動きＭ１に基づいて、映像Ｌ０に含まれる肝臓とシミュレーション情報Ｓ０との位置合わせを行い、シミュレーション情報Ｓ０を第２の画像Ｔ２に位置合せしてディスプレイ１５に重畳表示し（第１の動きに基づく位置合せ：ステップＳＴ１４）、ステップＳＴ３へ戻る。

なお、しきい値Ｔｈ２は信頼度の更新の回数に応じて変更してもよい。具体的には、信頼度の更新の回数が多いほどしきい値Ｔｈ２を大きくすればよい。

ステップＳＴ１４が否定されると、検出された第１の動きＭ１を用いての第２の画像Ｔ２とシミュレーション情報Ｓ０との位置合せを精度よく行うことができないため、位置合せ部２４は警告を行い（ステップＳＴ１５）、処理を終了する。警告としては、例えば「初期位置合せをやり直して下さい」等のテキストをディスプレイ１５に表示するものであってもよく、このテキストを音声で出力するものであってもよい。また、警告はこれらに限定されるものではなく、第２の画像Ｔ２とシミュレーション情報Ｓ０との位置合せを精度よく行うことができないことを医師に通知するものであれば、ディスプレイ１５の画面を点滅させたり、ビープ音を発生させたりする等、どのようなものであってもよい。操作者は警告により、初期位置合せをやり直すことができる。初期位置合せをやり直す指示は入力部１６から行えばよい。初期位置合せをやり直した後はステップＳＴ３以降の処理が改めて行われる。

このように、本実施形態においては、第１の動きＭ１と第２の動きＭ２とを比較して、基準点のそれぞれの動きに対する信頼度を算出するようにしたものである。このため、複雑な演算を行うことなく、基準点のそれぞれの動きに対する信頼度を精度よく算出することができる。したがって、算出した信頼度に基づいて、基準点の動きの評価を精度よく行うことができる。

また、映像Ｌ０に含まれる対象物である肝臓とシミュレーション情報Ｓ０との初期位置合せが行われ、第２の動きＭ２に基づいて、映像Ｌ０に含まれる対象物とシミュレーション情報Ｓ０とを位置合わせするようにしたものである。このため、カメラ１４の動きに起因する映像Ｌ０の動き対してシミュレーション情報Ｓ０の動きを追随させることができる。

また、複数の基準点のそれぞれについての信頼度を更新することにより、最新の信頼度に基づいて、基準点の動きの評価を行うことができる。

また、第１の画像Ｔ１および第２の画像Ｔ２のそれぞれに含まれる不変点の動きに基づいて、カメラ１４の動きである第２の動きＭ２を検出することにより、カメラ１４の動きを精度よく検出することができる。

また、第１の判定が肯定された場合、第２の動きＭ２に基づいて位置合せを行い、第１の判定が否定された場合、信頼度があらかじめ定められたしきい値Ｔｈ２以上となる基準点についての第１の動きＭ１に基づいて位置合せを行うことにより、何らかの原因によりカメラ１４の動きが検出できない場合であっても、カメラ１４の動きに対して精度よくシミュレーション情報Ｓ０を追随させることができる。

なお、上記実施形態においては、信頼度の算出があらかじめ定められた回数繰り返された場合、信頼度の算出に際して、それまでよりも第１の画像Ｔ１と第２の画像Ｔ２との間隔を大きくしてもよい。例えば、第２の画像Ｔ２を第１の画像Ｔ１の時間的に次のフレームとしていた場合、あらかじめ定められた数離れたフレームを第２の画像Ｔ２としてもよい。これにより、信頼度の算出の頻度を小さくすることができるため、信頼度の算出のための演算量を低減することができる。また、信頼度の更新はあらかじめ定められた回数繰り返されているため、更新された信頼度の精度も維持されることとなる。

また、上記実施形態においては、映像Ｌ０に含まれる不変点を用いて第２の動きＭ２を検出しているが、被検体７に複数のマーカを付与してもよい。図９はマーカが付与された被検体７を撮影することにより取得される映像を示す図である。図９に示す映像Ｌ０には、肝臓を囲むように４つのマーカ４０が付与されている。このようにマーカ４０を付与することにより、映像Ｌ０に含まれるマーカ４０を不変点として用いることができる。また、このようにマーカ４０を付与した際には、複数のマーカ４０に囲まれた領域内に複数の基準点を設定することが好ましい。これにより、カメラ１４の動きと基準点の動きとが比較的連動されたものとなるため、信頼度をより精度よく算出することができる。

また、上記実施形態においては、初期画像Ｔｆに設定された基準点を用いて基準点の評価および位置合せを行っているが、新たな第１の画像Ｔ１に対して新たに基準点を設定してもよい。この場合、演算時間の短縮のために、新たな第１の画像Ｔ１上のあらかじめ定められた複数の座標位置を基準点として設定すればよい。この場合、複数の基準点が等間隔で並ぶように座標位置を決定してもよく、ランダムに座標位置を決定してもよい。なお、このように新たな第１の画像Ｔ１に新たに基準点を設定する場合、映像Ｌ０に含まれる同一の位置に継続して基準点が設定されないこととなる。このため、複数の基準点のそれぞれにおいて算出された信頼度を累積保存することにより信頼度を更新することに代えて、複数の基準点のそれぞれにおいて新たに算出された信頼度により、保存された信頼度を置換することにより、信頼度を更新することが好ましい。

また、上記実施形態においては、タブレット端末に映像Ｌ０およびシミュレーション情報Ｓ０を重畳表示しているが、映像Ｌ０をヘッドマウントディスプレイに表示する際のシミュレーション情報Ｓ０との位置合せを行う場合にも本発明を適用できる。また、映像Ｌ０を、手術台の上部に設置されたカメラにより撮影し、撮影により取得した画像を手術室内あるいは手術室外のディスプレイに表示する際のシミュレーション情報Ｓ０との位置合せを行う場合にも本発明を適用できる。この場合、本実施形態による位置合せ装置１はコンピュータにインストールされ、コンピュータにおいて映像Ｌ０とシミュレーション情報Ｓ０との位置合せが行われ、コンピュータに接続されたヘッドマウントディスプレイおよびディスプレイはコンピュータに、映像Ｌ０とシミュレーション情報Ｓ０とが重畳表示される。

また、上記実施形態においては、シミュレーション情報Ｓ０として、３次元画像Ｖ０から抽出した肝臓の投影像を用いているが、これに限定されるものではなく、ＰＥＴ検査または核医学検査等により取得される機能３次元画像をシミュレーション情報として用いてもよい。また、シミュレーション情報Ｓ０としては、画像情報に限定されるものではなく、切除位置を表す線、矢印等の記号、あるいは切除位置周囲の部位および組織名等の文字情報を用いてもよい。また、画像情報、記号および文字情報を併せてシミュレーション情報として用いるようにしてもよい。

また、上記実施形態においては、シミュレーション情報取得部２２においてシミュレーション情報Ｓ０を生成しているが、位置合せ装置１とは別個に設けられたシミュレーション情報取得装置において、シミュレーション情報Ｓ０を生成するようにしてもよい。この場合、シミュレーション情報取得部２２は、シミュレーション情報Ｓ０を生成する必要がなくなるため、装置の構成を簡易なものとすることができる。

また、上記実施形態においては、シミュレーション情報Ｓ０を平行移動、回転移動、拡大縮小および向きを変更して初期位置合せを行っているが、各種方向を向いた複数のシミュレーション情報を用意しておき、初期位置合せ時の映像Ｌ０に含まれる対象部位の向きに最も一致した向きのシミュレーション情報を選択して初期位置合せを行うようにしてもよい。

また、上記実施形態においては、肝臓に含まれる肝動脈等を抽出してシミュレーション情報Ｓ０に含めるようにしているが、手術の対象部位である肝臓のみを抽出し、肝臓のみの３次元形状を表す画像をシミュレーション情報Ｓ０として用いるようにしてもよい。この場合においても、シミュレーション情報Ｓ０は、肝臓の輪郭のみを含むものであってもよい。

また、上記実施形態においては、手術対象部位として肝臓を用いているが、これに限定されるものではなく、任意の部位を手術の対象とする場合における、映像Ｌ０とシミュレーション情報Ｓ０とを重畳表示する際に、本発明を適用することができる。

以下、本発明の実施形態の効果について説明する。

複数の基準点のそれぞれについての信頼度を更新することにより、最新の信頼度に基づいて、基準点の動きの評価を行うことができる。

また、信頼度の算出があらかじめ定められた第１の回数繰り返された場合、累積保存された信頼度を初期化することにより、例えば、映像が大きく変化した場合であっても、改めて信頼度を算出し直すことができるため、精度のよい信頼度の算出を継続することができる。

また、信頼度の算出があらかじめ定められた第２の回数繰り返された場合、信頼度の算出が第２の回数繰り返される前よりも、第１の画像と第２の画像との間隔を大きくすることにより、信頼度の算出の頻度を小さくすることができるため、信頼度の算出のための演算量を低減することができる。また、信頼度の更新はあらかじめ定められた第２の回数繰り返されているため、更新された信頼度の精度も維持されることとなる。

また、第１の画像および第２の画像のそれぞれに含まれる不変点の動きに基づいて、撮影手段の動きを検出することにより、撮影手段の動きを精度よく検出することができる。

また、第１の画像における複数のマーカにより囲まれた領域内に複数の基準点を設定することにより、撮影手段の動きと基準点の動きとが連動されたものとなるため、信頼度をより精度よく算出することができる。

また、第２の動き検出手段を、撮影手段に設けられ、撮影手段の動きを検出するセンサとすることにより、演算を行うことなく迅速に撮影手段の動きを検出することができる。

また、第２の動きが検出されたか否かの第１の判定を行うに際し、第１の判定が肯定された場合、第２の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せし、第１の判定が否定された場合、信頼度があらかじめ定められた第２のしきい値以上となる基準点についての第１の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せすることにより、何らかの原因により撮影手段の動きが検出できない場合であっても、撮影手段の動きに起因する映像の動きに対して精度よくシミュレーション情報を追随させることができる。

また、信頼度が第２のしきい値以上となる基準点が存在するか否かの第２の判定を行うに際し、第１の判定が否定され、かつ第２の判定が肯定された場合、信頼度が第２のしきい値以上となる基準点の動きに基づいて、映像に含まれる対象物とシミュレーション情報とを位置合せし、第１の判定が否定され、かつ第２の判定が否定された場合、警告を行うことにより、撮影手段の動きが検出できず、かつ基準点の動きに対する信頼度も低いことを操作者に知らせることができる。これにより、操作者は初期位置合せをやり直す等の処置を執ることができる。

１ 位置合せ装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ カメラ
１５ ディスプレイ
１６ 入力部
１７ モーションセンサ
２１ 画像取得部
２２ シミュレーション情報取得部
２３ 初期位置合せ部
２４ 位置合せ部
２５ 第１の動き検出部
２６ 第２の動き検出部
２７ 信頼度算出部
２８ 信頼度更新部

Claims (18)

1. 撮影時刻が異なる２以上の画像からなる映像を取得する撮影手段と、
   前記映像を構成する画像のうち、第１の画像と該第１の画像と時間的に異なる第２の画像とを比較して、前記第１の画像と前記第２の画像との間における、前記第１の画像上の複数の基準点のそれぞれの動きを第１の動きとして検出する第１の動き検出手段と、
   前記第１の画像および前記第２の画像を取得した際の、前記撮影手段の動きである第２の動きを検出する第２の動き検出手段と、
   前記第１の動きと前記第２の動きとを比較して、前記基準点のそれぞれの動きに対する信頼度を算出する信頼度算出手段とを備えたことを特徴とする基準点評価装置。
2. 前記信頼度算出手段により算出された、前記複数の基準点のそれぞれについての信頼度を更新する信頼度更新手段をさらに備えた請求項１記載の基準点評価装置。
3. 前記信頼度更新手段は、前記映像を構成する時間的に連続する画像をそれぞれ前記第１の画像とすることによる前記第１の動きの検出、前記第２の動きの検出および前記信頼度の算出を繰り返すことにより、前記信頼度を更新する請求項２記載の基準点評価装置。
4. 前記信頼度更新手段は、前記繰り返しにより算出された信頼度を前記複数の基準点のそれぞれと対応づけて累積保存することにより、前記信頼度を更新する請求項３記載の基準点評価装置。
5. 前記信頼度更新手段は、前記信頼度の算出があらかじめ定められた第１の回数繰り返された場合、前記累積保存された信頼度を初期化する請求項４記載の基準点評価装置。
6. 前記第１の動き検出手段は、前記信頼度の算出があらかじめ定められた第２の回数繰り返された場合、前記信頼度の算出が該第２の回数繰り返される前よりも、前記第１の画像と前記第２の画像との間隔を大きくする請求項３から５のいずれか１項記載の基準点評価装置。
7. 前記信頼度算出手段は、前記更新された信頼度があらかじめ定められた第１のしきい値よりも小さい基準点を、前記信頼度の算出から除外する請求項２から６のいずれか１項記載の基準点評価装置。
8. 前記第２の動き検出手段は、前記第１の画像および前記第２の画像のそれぞれに含まれる不変点の動きに基づいて、前記撮影手段の動きを検出する請求項１から７のいずれか１項記載の基準点評価装置。
9. 前記不変点は、前記撮影手段の撮影範囲に設置された複数のマーカである請求項８記載の基準点評価装置。
10. 前記第１の動き検出手段は、前記第１の画像における、前記複数のマーカにより囲まれた領域内に前記複数の基準点を設定する請求項９記載の基準点評価装置。
11. 前記第２の動き検出手段は、前記撮影手段に設けられた、該撮影手段の動きを検出するセンサである請求項１から７のいずれか１項記載の基準点評価装置。
12. 請求項１から１１のいずれか１項記載の基準点評価装置と、
    前記映像に含まれる対象物のシミュレーション情報を取得するシミュレーション情報取得手段と、
    前記映像に含まれる前記対象物と前記シミュレーション情報との初期位置合せをする初期位置合せ手段と、
    前記第２の動きに基づいて、前記映像に含まれる前記対象物と前記シミュレーション情報とを位置合せする位置合せ手段とを備えたことを特徴とする位置合せ装置。
13. 前記位置合せ手段は、前記第２の動きが検出可能か否かの第１の判定を行い、該第１の判定が肯定された場合、前記第２の動きに基づいて、前記映像に含まれる前記対象物と前記シミュレーション情報とを位置合せし、前記第１の判定が否定された場合、前記信頼度があらかじめ定められた第２のしきい値以上となる基準点についての第１の動きに基づいて、前記映像に含まれる前記対象物と前記シミュレーション情報とを位置合せする請求項１２記載の位置合せ装置。
14. 前記位置合せ手段は、前記信頼度が前記第２のしきい値以上となる基準点が存在するか否かの第２の判定を行い、前記第１の判定が否定され、かつ前記第２の判定が肯定された場合、前記信頼度が前記第２のしきい値以上となる基準点の動きに基づいて、前記映像に含まれる前記対象物と前記シミュレーション情報とを位置合せし、前記第１の判定が否定され、かつ前記第２の判定が否定された場合、警告を行う請求項１３記載の位置合せ装置。
15. 撮影時刻が異なる２以上の画像からなる映像を取得するステップと、
    前記映像を構成する画像のうち、第１の画像と該第１の画像と時間的に異なる第２の画像とを比較して、前記第１の画像と前記第２の画像との間における、前記第１の画像上の複数の基準点のそれぞれの動きを第１の動きとして検出するステップと、
    前記第１の画像および前記第２の画像を取得した際の、前記撮影手段の動きである第２の動きを検出するステップと、
    前記第１の動きと前記第２の動きとを比較して、前記基準点のそれぞれの動きに対する信頼度を算出するステップとを有することを特徴とする基準点評価方法。
16. 請求項１５記載の基準点評価方法により、前記第１の動きの検出、前記第２の動きの検出、および前記信頼度の算出を行うステップと、
    前記映像に含まれる対象物のシミュレーション情報を取得するステップと、
    前記映像に含まれる前記対象物と前記シミュレーション情報との初期位置合せをするステップと、
    前記第２の動きに基づいて、前記映像に含まれる前記対象物と前記シミュレーション情報とを位置合せするステップとを有することを特徴とする位置合せ方法。
17. 撮影時刻が異なる２以上の画像からなる映像を取得する手順と、
    前記映像を構成する画像のうち、第１の画像と該第１の画像と時間的に異なる第２の画像とを比較して、前記第１の画像と前記第２の画像との間における、前記第１の画像上の複数の基準点のそれぞれの動きを第１の動きとして検出する手順と、
    前記第１の画像および前記第２の画像を取得した際の、前記撮影手段の動きである第２の動きを検出する手順と、
    前記第１の動きと前記第２の動きとを比較して、前記基準点のそれぞれの動きに対する信頼度を算出する手順とをコンピュータに実行させることを特徴とする基準点評価プログラム。
18. 請求項１７記載の基準点評価プログラムにより、前記第１の動きの検出、前記第２の動きの検出、および前記信頼度の算出を行う手順と、
    前記映像に含まれる対象物のシミュレーション情報を取得する手順と、
    前記映像に含まれる前記対象物と前記シミュレーション情報との初期位置合せをする手順と、
    前記第２の動きに基づいて、前記映像に含まれる前記対象物と前記シミュレーション情報とを位置合せする手順とをコンピュータに実行させることを特徴とする位置合せプログラム。