JP2022168405A - 情報処理システム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】より精度高く医用画像データ間の位置合わせができるように、複数の初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることができる技術を提供すること。【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。表示制御ステップでは、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御する。操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成されている。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法およびプログラムに関する。

近年、複数の医用画像データ間の位置合わせ処理を行う、いわゆる医用画像レジストレーションにおいて、操作性を向上させるための技術が開示されている（特許文献１）。

特開２０１１－１４２９７４号公報

しかしながら、上記の従来技術では、複数の医用画像データ間のユーザの手動による位置合わせが可能ではあるものの、位置合わせの難易度によって適当な手動位置合わせ方法が異なることが考慮されていなかった。

本発明では上記事情を鑑み、より精度高く医用画像データ間の位置合わせができるように、複数の初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることができる技術を提供することとした。

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。表示制御ステップでは、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御する。操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成されている。

本開示によれば、より精度高く医用画像データ間の位置合わせができるように、複数の手動初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることを可能とする技術を提供することができる。

情報処理装置１のハードウェア構成を示すブロック図である。 第１の実施形態に係る情報処理装置１における制御部１３等によって実現される機能を示すブロック図である。 情報処理装置１の表示部１４に表示される画面であって、操作画面２の一例である。 操作画面２に含まれる俯瞰図ＢＶの一例である。 操作画面２に含まれる、初期位置決め機能ＦＬの選択を可能にするメニューＬＭの一例である。 ２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。 ２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。 情報処理システムによって実行される情報処理の流れの一例を示すアクティビティ図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．ハードウェア構成
本節では、第１の実施形態のハードウェア構成について説明する。本実施形態において、情報処理システムとは、１つまたはそれ以上の装置または構成要素からなるものである。したがって、例えば情報処理装置１単体であっても情報処理システムの一例となる。以下、情報処理システムの一例である情報処理装置１のハードウェア構成について説明する。

図１は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３と、表示部１４と、入力部１５とを有し、これらの構成要素が情報処理装置１の内部において通信バス１０を介して電気的に接続されている。各構成要素についてさらに説明する。

通信部１１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置１は、通信部１１およびネットワークを介して、外部から種々の情報を通信してもよい。

記憶部１２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部１３によって実行される情報処理装置１に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部１２は、制御部１３によって実行される情報処理装置１に係る種々のプログラムや変数等を記憶している。

制御部１３は、情報処理装置１に関連する全体動作の処理・制御を行う。制御部１３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部１３は、記憶部１２に記憶された所定のプログラムを読み出すことによって、情報処理装置１に係る種々の機能を実現する。すなわち、記憶部１２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部１３によって具体的に実現されることで、制御部１３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部１３は単一であることに限定されず、機能ごとに複数の制御部１３を有するように実施してもよい。またそれらの組み合わせであってもよい。

表示部１４は、例えば、情報処理装置１の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部１４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等の表示デバイスであり得る。

入力部１５は、情報処理装置１の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部１５は、表示部１４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部１５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス１０を介して制御部１３に転送され、制御部１３が必要に応じて所定の制御や演算を実行しうる。

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部１２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部１３によって具体的に実現されることで、制御部１３に含まれる各機能部が実行されうる。

図２は、第１の実施形態に係る情報処理装置１における制御部１３等によって実現される機能を示すブロック図である。具体的には、情報処理装置１は、読出部１３１と、受付部１３２と、表示制御部１３３とを備える。

読出部１３１は、通信部１１を介して外部から受け付けた、または予め記憶部１２に記憶された種々の情報を読み出すように構成される。例えば、読出部１３１は、モダリティによって撮像された医用画像データを読み出すように構成される。詳細については、後述する。

受付部１３２は、種々の情報を受け付けるように構成される。例えば、受付部１３２は、ユーザが操作画面２上で行った操作を受け付けるように構成される。詳細については、後述する。

表示制御部１３３は、種々の表示情報を制御するように構成される。ここで、表示情報とは、画面、画像、アイコン、メッセージ等といった、ユーザが視認可能な態様で生成された情報そのものでもよいし、例えば、情報処理装置１の表示部１４に画面、画像、アイコン、メッセージ等を表示させるためのレンダリング情報であってもよい。例えば、表示制御部１３３は、操作画面２の表示を制御するように構成される。詳細については、後述する。

３．情報処理方法
本節では、前述した情報処理装置１の情報処理方法について説明する。

また、本節で参照する各図は、以下の通りである。図３は、情報処理装置１の表示部１４に表示される画面であって、操作画面２の一例である。図４は、操作画面２に含まれる俯瞰図ＢＶの一例である。図５は、操作画面２に含まれる、初期位置決め機能ＦＬの選択を可能にするメニューＬＭの一例である。図６は、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。図７は、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。図８は、情報処理システムによって実行される情報処理の流れの一例を示すアクティビティ図である。

以下では、図８のアクティビティ図に沿って、情報処理装置１によって実行される情報処理の流れを説明するものとする。

ここで、説明の都合上、ユーザは、病気の診断もしくは検査または解剖学的研究等のために、人体の目的領域を少なくとも１つのモダリティによって撮像し、複数の医用画像データを得たものとする。なお、モダリティによって撮像される対象は、人体に限られず、病気の診断もしくは検査または解剖学的研究等の対象となり得るあらゆる動物が含まれる。また、医用画像データに含まれる目的領域に対応する部分を「オブジェクト」と称する。

また、モダリティとしては、例えば、磁気共鳴診断装置（ＭＲＩ）、コンピュータ断層撮影装置（ＣＴ）、コンピュータ・ラジオグラフィ（ＣＲ）、デジタルＸ線撮影装置（ＤＲ）、血管造影Ｘ線診断装置（ＸＡ）、超音波診断装置（ＵＳ）、内視鏡装置（ＥＳ）等が挙げられる。

まず、情報処理装置１の読出部１３１は、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。なお、この複数の医用画像データは、通信部１１を介してモダリティから受け付けてもよく、または予め記憶部１２に記憶されていてもよい（アクティビティＡ００１）。

その後、表示制御部１３３が、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面２（図３参照）を表示させるように制御する。

ここで、図３に示されているように、操作画面２は、複数の医用画像データ間の関係性を示す俯瞰図ＢＶを含むことが好ましい。このような態様によれば、脳神経外科等において１０種類以上にも及ぶ医用画像データを使用する場合であっても、全ての医用画像データ間の関係性をユーザが容易に把握可能になる。

また、図４に示されているように、俯瞰図ＢＶにおいて、位置合わせの基準とする基準画像データＩＲと、位置合わせの対象とする対象画像データＩＴとの関係性が、矢印ＡＨにより表現されていることが好ましい。なお、図４の俯瞰図ＢＶにおいて、矢印ＡＨの先端にある医用画像データが基準画像データＩＲであり、矢印ＡＨの根本にある医用画像データが対象画像データＩＴである。このような態様によれば、脳神経外科等において１０種類以上にも及ぶ医用画像データを使用する場合であっても、どの医用画像データ間で位置合わせを行ったのかが分からなくなるという混乱を回避し、作業効率を高めることができる。

ユーザは、以上で説明した図４の俯瞰図ＢＶにおいて、複数の医用画像データの中から位置合わせをする２つの医用画像データを選び、医用画像データに付されているピンアイコンＰＩに対して選択操作を行う（アクティビティＡ００２およびアクティビティＡ００３）。

ここで、図４の俯瞰図ＢＶについて、具体例を挙げて説明することとする。図４の俯瞰図ＢＶにおいて、ユーザにより選択された基準画像データＩＲは、「ＴＯＦ ＭＲＡ」の医用画像データとなっている。なお、「ＴＯＦ ＭＲＡ」は、Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ（ＴＯＦ）法によるＭＲアンギオグラフィ（ＭＲＡ）により撮像された画像データであることを示す。また、図４の俯瞰図ＢＶにおいて、ユーザにより選択された対象画像データＩＴは、「ＣＥ Ｈｅａｖｉｌｙ Ｔ２」の医用画像データとなっている。なお、「ＣＥ Ｈｅａｖｉｌｙ Ｔ２」は、造影（Ｃｏｎｔｒａｓｔ Ｅｎｈａｎｃｅｄ：ＣＥ）ＭＲＩにより撮像された造影後Ｈｅａｖｉｌｙ Ｔ２強調画像データであることを示す。このように、図４の俯瞰図ＢＶにおいて、医用画像データは、当該技術分野で一般的に用いられている略語等を用いた、撮像方法を表す略称により示されている。

さらに、図４の俯瞰図ＢＶにおいて、「ＴＯＦ ＭＲＡ」である基準画像データＩＲと「ＣＥ Ｈｅａｖｉｌｙ Ｔ２」である対象画像データＩＴとが、矢印ＡＨにより繋げられている。すなわち、上述したように、矢印ＡＨにより、基準画像データＩＲと対象画像データＩＴとの関係性が表現されている。なお、２本以上の矢印ＡＨにより繋げられている医用画像データどうしは、直接位置合わせをすることはできない。例えば、図４の俯瞰図ＢＶにおいて、医用画像データ「３Ｄ ＲＡ」は、「ＴＯＦ ＭＲＡ」と位置合わせされた「ＣＴ」との位置合わせを行うことにより、「ＴＯＦ ＭＲＡ」との位置合わせが間接的に達成されることになる。

また、図４の俯瞰図ＢＶにおいて、点線で囲まれた領域には、ＣＴにより撮像された医用画像データ群が含まれ、点線で囲まれていない領域には、ＭＲＩにより撮像された医用画像データ群が含まれる。このように、同一のモダリティにより撮像された医用画像データどうしは、比較的近距離に配置され、一群を形成して表示される。

ユーザにより俯瞰図ＢＶ（図４参照）において位置合わせをする２つの医用画像データが選択されると、受付部１３２は、ユーザによるこの選択操作を受け付ける。その後、表示制御部１３３は、図３に示される操作画面２の表示を制御する。その結果、操作画面２において、領域ＳＡでは、複数の医用画像データのうちユーザにより選択された２つの医用画像データ、詳細には基準画像データＩＲおよび対象画像データＩＴが二次元画像として表示され、領域ＴＡでは、この２つの医用画像データを重ね合わせた三次元画像が表示される。なお、領域ＳＡおよび領域ＴＡにおいて、基準画像データＩＲに含まれる基準オブジェクトＯＲと、対象画像データＩＴに含まれる対象オブジェクトＯＴとは、ユーザが区別し得るように、異なる色で着色されて表現されている。このような態様によれば、ユーザは、二次元画像と三次元画像との両方を同時に確認しながら、位置合わせを実行するための操作を行うことができようになり、ユーザビリティを向上させることができる。

次いで、ユーザは、図３の操作画面２において、俯瞰図ＢＶにより位置合わせの難易度を確認したあと、メニューＬＭにおいて、複数の初期位置決め機能ＦＬの中から一つを選択する。すなわち、操作画面２は、複数の初期位置決め機能ＦＬをユーザが一覧性を有して把握可能に構成されている（アクティビティＡ００４）。

ここで、初期位置決め機能ＦＬによる第１の位置合わせとは、イテレーション計算によるレジストレーションの前段階として初期位置を合わせることであって、各医用画像データに含まれるオブジェクトＯの位置を合わせることにより行う。また、複数の初期位置決め機能は、オブジェクトＯの中心位置を合わせる初期位置決め機能ＦＬ１と、オブジェクトＯのローカル軸Ｌに関する平行移動および回転による初期位置決め機能ＦＬ２と、オブジェクトＯ中の複数のランドマークＰの指定による初期位置決め機能ＦＬ３とのうちの少なくとも１つを含むことが好ましい。

なお、これらの初期位置決め機能ＦＬには、初期位置を合わせる精度および操作性に差異がある。詳細には、オブジェクトＯの中心位置を合わせる初期位置決め機能ＦＬ１は、最も簡易的な初期位置決め機能ＦＬであり、オブジェクトＯ中の複数のランドマークＰの指定による初期位置決め機能ＦＬ３は、最も高度な初期位置決め機能ＦＬである。したがって、このような態様によれば、位置合わせの難易度に応じた適当な初期位置決め方法をユーザが選択できるようになる。

ユーザにより初期位置決め機能ＦＬの中から一つが選択されると、受付部１３２は、ユーザによるこの選択操作を受け付ける。その後、制御部１３により第１の位置合わせが実行され、表示制御部１３３が図３の操作画面２の表示を制御する。その結果、図３の操作画面２の領域ＴＡにおいて、三次元画像として、２つの医用画像データが、複数の初期位置決め機能ＦＬのうちユーザにより選択された初期位置決め機能ＦＬにより位置合わせされて表示される。このような態様によれば、初期位置決め機能ＦＬによる第１の位置合わせの結果が３次元画像として即座に表示されるため、ユーザは、第１の位置合わせが上手くできたのかどうかを容易に判断することができる（アクティビティＡ００５）。

ユーザは、図３の操作画面２の領域ＴＡに表示されている三次元画像を見て、基準画像データＩＲに含まれる基準オブジェクトＯＲの位置と対象画像データＩＴに含まれる対象オブジェクトＯＴの位置とが十分に合っているかどうか判断する。ユーザから見てオブジェクトＯの位置が明らかに合っていない場合には、ユーザは、他の初期位置決め機能ＦＬを選択し直し、第１の位置合わせを再度実行させることができる。ユーザは、オブジェクトＯの位置が十分に合っていると判断した場合には、図３の操作画面２において、基準画像データＩＲおよび対象画像データＩＴという複数の医用画像データどうしの第２の位置合わせを実行するために、自動位置合わせ機能ＡＬを選択する。

すなわち、操作画面２は、自動位置合わせ機能ＡＬを、複数の初期位置決め機能ＦＬとともにユーザが一覧性を有して把握可能に構成されていることが好ましい。このような態様によれば、画面遷移なく、同一の操作画面２にて、第１の位置合わせと第２の位置合わせとを実行させることができるようになるため、ユーザエクスペリエンスを向上させることができる。

ユーザにより自動位置合わせ機能ＡＬが選択されると、受付部１３２は、ユーザによるこの選択操作を受け付ける。その後、制御部１３により第２の位置合わせが実行される。ここで、自動位置合わせ機能ＡＬでは、第１の位置合わせが実行された複数の医用画像データに対して、さらにイテレーション計算を実行することにより、複数の医用画像データどうしの第２の位置合わせを実行する。このような態様によれば、初期位置決め機能ＦＬによる第１の位置合わせと、自動位置合わせ機能ＡＬによる第２の位置合わせとを組み合わせて実行させることにより、ユーザの操作は簡易であるにもかかわらず、非常に精度の高い医用画像データ間の位置合わせが可能になる（アクティビティＡ００６）。

以上をまとめると、本実施形態の情報処理方法は、読出ステップと、表示制御ステップとを備える。読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。表示制御ステップでは、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御する。ここで、操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成される。

本実施形態によれば、より精度高く医用画像データ間の位置合わせができるように、複数の初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることができる。

続いて、初期位置決め機能ＦＬについて、以下詳述する。

＜初期位置決め機能ＦＬ１＞
オブジェクトＯの中心位置を合わせる初期位置決め機能ＦＬ１は、上述したように最も簡易的な初期位置決め機能ＦＬであるため、例えば図５のメニューＬＭに示されているように、ボタンＢ１１を押下する操作のみで第１の位置合わせが実行されることが好ましい。また、ユーザは、図３の操作画面２の領域ＴＡに表示されている三次元画像を見て、基準画像データＩＲに含まれる基準オブジェクトＯＲの位置と対象画像データＩＴに含まれる対象オブジェクトＯＴの位置とが十分に合っていないと判断した場合には、図５のメニューＬＭに示されているように、ボタンＢ１２を押下することにより、対象画像データＩＴを第１の位置合わせが実行される前の状態に戻せるようにすることが好ましい。

＜初期位置決め機能ＦＬ２＞
オブジェクトＯのローカル軸Ｌに関する平行移動および回転による初期位置決め機能ＦＬ２は、当業者であるユーザが操作しやすいように、当該技術分野で一般的に用いられる３Ｄ操作ツールが備える機能であってもよい。ここで、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡを表す図６を参照して、初期位置決め機能ＦＬ２の具体例について説明することとする。

図６に示される領域ＴＡでは、基準画像データＩＲに含まれる基準オブジェクトＯＲと、対象画像データＩＴに含まれる対象オブジェクトＯＴとが重ね合わせて表示されている。また、対象オブジェクトＯＴに関しては、対象オブジェクトＯＴのローカル軸Ｌとしてｘ軸ＬＸ、ｙ軸ＬＹおよびｚ軸ＬＺと、各ローカル軸Ｌに対応する円ＣＸ、円ＣＹおよび円ＣＺと、対象オブジェクトＯＴを囲む、ローカル軸Ｌに沿ったバウンディングボックスＢＴとが表示されている。基準オブジェクトＯＲに関しては、基準オブジェクトＯＲを囲む、ローカル軸Ｌに沿ったバウンディングボックスＢＲが表示されている。

ユーザは、図６に示される領域ＴＡにおいて、ｘ軸ＬＸ、ｙ軸ＬＹまたはｚ軸ＬＺの矢印をドラッグ操作することにより、対象オブジェクトＯＴを各ローカル軸Ｌに関して平行移動させることができる。また、ユーザは、円ＣＸ、円ＣＹまたは円ＣＺをドラッグ操作することにより、対象オブジェクトＯＴを各ローカル軸Ｌに関して回転させることができる。さらに、ユーザは、バウンディングボックスＢＴで対象オブジェクトＯＴの範囲を指定することも可能である。同様に、ユーザは、バウンディングボックスＢＲで基準オブジェクトＯＲの範囲を指定することも可能である。

なお、図５のメニューＬＭに示されているように、ボタンＢ２１を押下することにより、対象画像データＩＴを初期位置決め機能ＦＬ２による第１の位置合わせが実行される前の状態に戻せるようにすることが好ましい。同様に、ボタンＢ２２を押下することにより、基準画像データＩＲを初期位置決め機能ＦＬ２による第１の位置合わせが実行される前の状態に戻せるようにすることが好ましい。このような態様によれば、ユーザは、基準オブジェクトＯＲの位置と対象オブジェクトＯＴの位置とが十分に合っていないと判断した場合には、他の初期位置決め機能ＦＬにより第１の位置合わせを再度実行させることができる。

＜初期位置決め機能ＦＬ３＞
オブジェクトＯ中の複数のランドマークＰの指定による初期位置決め機能ＦＬ３は、位置合わせをする画像データ間に共通に存在する複数の特徴的な点をランドマークＰとして設定し、点群間の位置合わせにより第１の位置合わせを実行する機能である。ここで、メニューＬＭを表す図５と、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡを表す図７とを参照して、初期位置決め機能ＦＬ３の具体例について説明することとする。

まず、ユーザは、対象画像データＩＴに含まれる対象オブジェクトＯＴにおいて対象ランドマークＰＴ０の指定を行えるように、図５のメニューＬＭにおいて、チェックボックスＣＴにチェックを入れる。続いて、ユーザは、図７の領域ＴＡにおいて、対象オブジェクトＯＴ中の特徴的な点を一つ選び、当該点を選択操作することにより、対象ランドマークＰＴ０として指定する。次いで、ユーザは、基準画像データＩＲに含まれる基準オブジェクトＯＲにおいて基準ランドマークＰＲ０の指定を行えるように、図５のメニューＬＭにおいて、チェックボックスＣＲにチェックを入れる。続いて、図７の領域ＴＡにおいて、対象ランドマークＰＴ０が示す特徴と同一の特徴を有する、基準オブジェクトＯＲ中の対応する点を選び、当該点を選択操作することにより、基準ランドマークＰＲ０として指定する。

同様にして、ユーザは、対象ランドマークＰＴ１および対象ランドマークＰＴ２、ならびに対応する基準ランドマークＰＲ１および基準ランドマークＰＲ２の指定を行い、好ましくは、３組以上のランドマークＰを指定する。例えば、好ましいランドマークＰの組としては、ユーザが確認したい目的領域、例えば腫瘍部分の周囲で、互いの距離が可能な限り離れた３点以上の特徴点からなる組が挙げられる。なお、ランドマークＰの組は、図７の領域ＴＡにおいて、その対応関係が線で結ばれて表現されている。具体的には、図７の領域ＴＡにおいて、対象ランドマークＰＴ０と基準ランドマークＰＲ０とが直線で結ばれており、対象ランドマークＰＴ１と基準ランドマークＰＲ１とが直線で結ばれており、対象ランドマークＰＴ２と基準ランドマークＰＲ２とが直線で結ばれている。

なお、複数のランドマークＰの指定は、図３の操作画面２に含まれる領域ＴＡ上だけでなく、同じく操作画面２に含まれる、複数の医用画像データのうちユーザにより選択された２つの医用画像データを二次元画像として表示する領域ＳＡ上でも可能である。すなわち、複数のランドマークＰの指定は、二次元画像と三次元画像との両方において可能である。このような態様によれば、二次元画像上と３次元画像上とのうち、ユーザにとってランドマークＰとするのに適した特徴点を把握しやすい画像上で、ランドマークＬＰの指定操作を行うことができるようになり、ユーザビリティを向上させることができる。

ユーザは、このようにしてランドマークＰの指定を完了させたあと、図５のメニューＬＭにおいて、ボタンＢ３１を押下することにより、第１の位置合わせを実行させることができる。なお、ユーザは、初期位置決め機能ＦＬ３による第１の位置合わせの実行後、図３の操作画面２において自動位置合わせ機能ＡＬを選択し、第２の位置合わせを実行させることが好ましい。

すなわち、初期位置決め機能ＦＬ３により、手動によるランドマークＰの指定に基づいて点対応レジストレーションを第１の位置合わせとして実行させ、その後、自動位置合わせ機能ＡＬにより、イテレーション計算によるレジストレーションを第２の位置合わせとして実行させることが好ましい。このような態様によれば、位置が合いにくい医用画像データどうしの組み合わせであっても、人間の目視判断による手動操作も介して初期位置を極力合わせることにより、イテレーション計算で未収束となることを回避するとともに、イテレーション計算により初期位置合わせの補正を可能とし、強力な位置合わせを達成することができる。

このようにして位置が合いにくい医用画像データどうしの組み合わせ、例えば、ＣＴ画像データとＭＲＩ画像データとを精度高く位置合わせができるようになる結果、ユーザは、一方の画像、例えばＣＴ画像では判別しにくい組織中の構造や機能を、他方の画像、例えばＭＲＩ画像からより詳細に判別することが可能になる。

４．その他
情報処理システムに関して、以下のような態様を採用してもよい。

本実施形態の態様は、プログラムであってもよい。このプログラムは、コンピュータに、情報処理システムの各ステップを実行させる。

上述のアクティビティＡ００３のあと、複数の初期位置決め機能ＦＬの中から最適な初期位置決め機能ＦＬをユーザに提示してもよい。

情報処理システムに、情報処理装置１以外の構成要素が含まれてもよい。例えば、情報処理装置１と、不図示の入力装置と、不図示の表示装置とからなる情報処理システムが実施されてもよい。これらの接続方法は特に限定されず、インターネットを介して行うサービスが提供されてもよい。

さらに、次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記医用画像データは、オブジェクトを含み、前記複数の初期位置決め機能は、前記オブジェクトの中心位置を合わせる初期位置決め機能と、前記オブジェクトのローカル軸に関する平行移動および回転による初期位置決め機能と、前記オブジェクト中の複数のランドマークの指定による初期位置決め機能とのうちの少なくとも１つを含む、もの。
前記情報処理システムにおいて、前記操作画面は、前記複数の医用画像データのうちユーザにより選択された２つの医用画像データを二次元画像として表示する領域と、前記２つの医用画像データを重ね合わせて三次元画像として表示する領域とを含む、もの。
前記情報処理システムにおいて、前記三次元画像では、前記２つの医用画像データが、前記複数の初期位置決め機能のうちユーザにより選択された初期位置決め機能により位置合わせされて表示されている、もの。
前記情報処理システムにおいて、前記複数のランドマークの指定は、前記二次元画像と前記三次元画像との両方において可能である、もの。
前記情報処理システムにおいて、前記操作画面は、自動位置合わせ機能を、前記複数の初期位置決め機能とともに前記ユーザが一覧性を有して把握可能に構成され、ここで前記自動位置合わせ機能では、前記複数の医用画像データどうしの第２の位置合わせを実行する、もの。
前記情報処理システムにおいて、前記自動位置合わせ機能では、前記第１の位置合わせが実行された前記複数の医用画像データに対して、さらにイテレーション計算を実行することにより、前記複数の医用画像データどうしの前記第２の位置合わせを実行する、もの。
前記情報処理システムにおいて、前記操作画面は、前記複数の医用画像データ間の関係性を示す俯瞰図を含む、もの。
前記情報処理システムにおいて、前記俯瞰図において、位置合わせの基準とする基準画像データと、前記位置合わせの対象とする対象画像データとの関係性が、矢印により表現されている、もの。
情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ ：情報処理装置
１０ ：通信バス
１１ ：通信部
１２ ：記憶部
１３ ：制御部
１３１ ：読出部
１３２ ：受付部
１３３ ：表示制御部
１４ ：表示部
１５ ：入力部
２ ：操作画面
ＡＨ ：矢印
ＡＬ ：自動位置合わせ機能
Ｂ１１ ：ボタン
Ｂ１２ ：ボタン
Ｂ２１ ：ボタン
Ｂ２２ ：ボタン
Ｂ３１ ：ボタン
ＢＴ ：バウンディングボックス
ＢＲ ：バウンディングボックス
ＢＶ ：俯瞰図
ＣＴ ：チェックボックス
ＣＲ ：チェックボックス
ＣＸ ：円
ＣＹ ：円
ＣＺ ：円
ＦＬ ：初期位置決め機能
ＦＬ１ ：初期位置決め機能
ＦＬ２ ：初期位置決め機能
ＦＬ３ ：初期位置決め機能
ＩＴ ：対象画像データ
ＩＲ ：基準画像データ
Ｌ ：ローカル軸
ＬＸ ：ｘ軸
ＬＹ ：ｙ軸
ＬＺ ：ｚ軸
ＬＭ ：メニュー
ＬＰ ：ランドマーク
Ｏ ：オブジェクト
ＯＴ ：対象オブジェクト
ＯＲ ：基準オブジェクト
Ｐ ：ランドマーク
ＰＴ０ ：対象ランドマーク
ＰＴ１ ：対象ランドマーク
ＰＴ２ ：対象ランドマーク
ＰＲ０ ：基準ランドマーク
ＰＲ１ ：基準ランドマーク
ＰＲ２ ：基準ランドマーク
ＰＩ ：ピンアイコン
ＳＡ ：領域
ＴＡ ：領域

Claims (11)

1. 情報処理システムであって、
   次の各ステップを実行するように構成され、
   読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出し、
   表示制御ステップでは、前記複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御し、ここで、前記操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成されている、
   もの。
2. 請求項１に記載の情報処理システムにおいて、
   前記医用画像データは、オブジェクトを含み、
   前記複数の初期位置決め機能は、前記オブジェクトの中心位置を合わせる初期位置決め機能と、前記オブジェクトのローカル軸に関する平行移動および回転による初期位置決め機能と、前記オブジェクト中の複数のランドマークの指定による初期位置決め機能とのうちの少なくとも１つを含む、
   もの。
3. 請求項１または請求項２に記載の情報処理システムにおいて、
   前記操作画面は、前記複数の医用画像データのうちユーザにより選択された２つの医用画像データを二次元画像として表示する領域と、前記２つの医用画像データを重ね合わせて三次元画像として表示する領域とを含む、
   もの。
4. 請求項３に記載の情報処理システムにおいて、
   前記三次元画像では、前記２つの医用画像データが、前記複数の初期位置決め機能のうちユーザにより選択された初期位置決め機能により位置合わせされて表示されている、
   もの。
5. 請求項３または請求項４に記載の情報処理システムにおいて、
   前記複数のランドマークの指定は、前記二次元画像と前記三次元画像との両方において可能である、
   もの。
6. 請求項１～請求項５の何れか１つに記載の情報処理システムにおいて、
   前記操作画面は、自動位置合わせ機能を、前記複数の初期位置決め機能とともに前記ユーザが一覧性を有して把握可能に構成され、ここで前記自動位置合わせ機能では、前記複数の医用画像データどうしの第２の位置合わせを実行する、
   もの。
7. 請求項６に記載の情報処理システムにおいて、
   前記自動位置合わせ機能では、前記第１の位置合わせが実行された前記複数の医用画像データに対して、さらにイテレーション計算を実行することにより、前記複数の医用画像データどうしの前記第２の位置合わせを実行する、
   もの。
8. 請求項１～請求項７の何れか１つに記載の情報処理システムにおいて、
   前記操作画面は、前記複数の医用画像データ間の関係性を示す俯瞰図を含む、
   もの。
9. 請求項８に記載の情報処理システムにおいて、
   前記俯瞰図において、位置合わせの基準とする基準画像データと、前記位置合わせの対象とする対象画像データとの関係性が、矢印により表現されている、
   もの。
10. 情報処理方法であって、
    請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを備える、
    方法。
11. プログラムであって、
    コンピュータに、請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを実行させる、
    もの。

Images