JP2018011635A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】複数の被検体画像を良好に対比するための技術を提供する。【解決手段】本発明の画像処理装置は、被検体に撮像を行って得られた第１の画像と、第１の画像が得られた撮像とは異なる撮像を行って得られた第２の画像とを取得する画像取得部と、第１および第２の画像における被検体の変形情報を取得する変形情報取得部と、第１の画像を第２の画像に合わせて変形させた第１の変形画像、および、第２の画像を第１の画像に合わせて変形させた第２の変形画像を、変形情報に基づいて生成する変形画像生成部と、第１の画像、第２の画像、第１の変形画像に基づく画像、および、第２の変形画像に基づく画像の表示部への表示を制御する表示制御部を有する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

医療の分野において、医師や技師等が複数の画像を比較する場合がある。複数の画像は例えば、撮像装置や、撮像モダリティや、撮像された時期や、撮像パラメータや、被検体の体位が互いに異なる画像である。しかし、複数の画像間で被検体の形状が変化している場合がある。例えば被検体が生体の場合、複数のモダリティによる撮像の間で被検体の姿勢や形状を完全に一致させることは難しい。

そのような場合でも病変部をより正確に比較するため、異なる画像間の位置合わせを行って、両方の画像を同時に、または切り替えて表示することがある。あるいは、画像間の差分画像を表示することがある。ここで、複数の画像間での被検体の変形を推定し、一方の画像に変形を施して形状を他方と類似させた画像を生成し、画像間の対比を行う変形位置合わせという手法がある。一般に、変形位置合わせの処理は、複数の画像間で対応する位置（被検体の同じ部位を表す特徴点）を局所領域間の画像類似度に基づいて対応付けることにより実施できる。

特許文献１には、三次元画像と二次元断層画像を変形位置合わせして、同時に、または切り替えて表示することが開示されている。また特許文献２には、被検体の変形状態に応じた断面画像の生成方法が開示されている。

特開２０１３−０００３９８号公報 特開２０１１−１２５５７０号公報

しかし、特許文献１に記載の表示方法では、画像間の対比を行いづらい場合があった。特に、三次元画像を対比する際に、画像間の対応位置や対応関係を把握しづらい場合があった。

本発明は上記課題に鑑みてなされたものである。本発明は、複数の被検体画像を良好に対比するための技術を提供することを目的とする。

本発明は、以下の構成を採用する。すなわち、被検体に撮像を行って得られた第１の画像と、前記被検体に前記第１の画像が得られた撮像とは異なる撮像を行って得られた第２の画像とを取得する画像取得部と、前記第１の画像と前記第２の画像における前記被検体の変形情報を取得する変形情報取得部と、前記第１の画像を前記第２の画像に合わせて変形させた第１の変形画像、および、前記第２の画像を前記第１の画像に合わせて変形させた第２の変形画像を、前記変形情報に基づいて生成する変形画像生成部と、前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像の表示部への表示を制御する表示制御部と、を有することを特徴とする画像処理装置である。
本発明はまた、以下の構成を採用する。すなわち、被検体に撮像を行って得られた第１
の画像と、前記被検体に前記第１の画像が得られた撮像とは異なる撮像を行って得られた第２の画像とを取得するステップと、前記第１の画像と前記第２の画像における前記被検体の変形情報を取得するステップと、前記第１の画像を前記第２の画像に合わせて変形させた第１の変形画像、および、前記第２の画像を前記第１の画像に合わせて変形させた第２の変形画像を、前記変形情報に基づいて生成するステップと、前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像の表示を制御するステップと、を有することを特徴とする画像処理方法である。
本発明はまた、以下の構成を採用する。すなわち、被検体にそれぞれ異なる撮像を行って得られた複数の画像を取得する画像取得部と、前記複数の画像間における前記被検体の変形情報を取得する変形情報取得部と、前記複数の画像のそれぞれを他の画像に合わせて変形させた複数の変形画像を、前記変形情報に基づいて生成する変形画像生成部と、前記複数の画像、および、前記複数の変形画像に基づく画像の表示部への表示を制御する表示制御部とを有することを特徴とする画像処理装置である。

本発明によれば、複数の被検体画像を良好に対比するための技術を提供できる。

実施形態１に係る画像処理装置の機能構成の一例を示す図 実施形態１に係る処理の一例を示すフローチャート 実施形態１に係る画像処理装置による表示画面の一例を示す図 実施形態１に係る画像処理装置による表示画面の一例を示す図 実施形態１に係る画像処理装置による表示画面の一例を示す図 実施形態１に係る画像処理装置による表示画面の一例を示す図 実施形態１の変形例に係る画像処理装置による表示画面の一例を示す図 実施形態１の変形例に係る画像処理装置による表示画面の一例を示す図 実施形態２に係る画像処理装置の機能構成の一例を示す図 実施形態２に係る処理の一例を示すフローチャート 実施形態２に係る画像処理装置による表示画面の一例を示す図 実施形態３に係る画像処理装置の機能構成の一例を示す図 実施形態３に係る処理の一例を示すフローチャート 実施形態４に係る画像処理装置の機能構成の一例を示す図 実施形態４に係る処理の一例を示すフローチャート 実施形態４に係る画像処理装置による表示画面の一例を示す図 実施形態に係る画像処理装置のハードウェア構成の一例を示す図 実施形態５に係る画像処理装置の機能構成の一例を示す図 実施形態５に係る処理の一例を示すフローチャート

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。

本発明は、被検体を撮像し、その被検体の注目領域を画像化して表示する技術に関する。よって本発明は、画像処理装置もしくは画像処理システム、またはそれらの制御方法、あるいは画像処理方法や信号処理方法や情報処理方法として捉えられる。本発明はまた、被検体情報取得装置もしくはその制御方法、または被検体情報取得方法としても捉えられる。本発明はまた、上記の各方法をＣＰＵやメモリ等のハードウェア資源を備える情報処理装置に実行させるプログラムや、そのプログラムを格納したコンピュータにより読み取
り可能な非一時的な記憶媒体としても捉えられる。

本発明に係る装置は、被検体の画像データを取得する機能を備えていても良いし、他の装置が取得した画像データを処理する機能のみを備えていても良い。被検体の画像データは、各位置の特性情報に基づいて、二次元また三次元の特性情報分布として得られる。特性情報は、数値データとしてではなく、被検体内の各位置の分布情報として求めてもよい。

本発明の処理対象となる被検体の三次元画像データ源としては、種々の画像撮像装置（モダリティ）を利用可能である。例えば、光音響トモグラフィ装置（ＰＡＴ）、核磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（ＣＴ）、超音波エコー装置（ＵＳ）、陽電子放射断層撮像装置（ＰＥＴ）、単光子放出断層撮像装置（ＳＰＥＣＴ）、光干渉断層撮像装置（ＯＣＴ）などがある。各モダリティでの撮像（測定）によって、被検体の三次元領域において、それぞれのモダリティに応じた特性情報の分布情報を示す画像データが得られる。

本発明は典型的には、光音響トモグラフィ装置と核磁気共鳴映像装置のそれぞれで得られた画像データを対比するときに利用される。光音響トモグラフィ装置は、被検体に光を照射することにより被検体内で発生した音響波を受信して、被検体の特性情報を画像データとして取得する装置である。特性情報として、被検体内の初期音圧、光吸収係数、構成物質濃度、酸素飽和度などを取得できる。核磁気共鳴映像装置は、被検体に高周波の磁場を与えて発生する核磁気共鳴現象を利用して被検体内部を撮像する装置である。核磁気共鳴映像装置では主に被検体内部の水素に関する情報を描出できる。ただしモダリティの組み合わせはこれに限られない。

以下の説明では被検体の例として乳房を用いる。ただし、本発明の被検体はこれに限られない。手、足、胴体など生体の他の部位や、マウスのようなヒト以外の動物、変形しやすい非生物なども測定対象となり得る。

［実施形態１］
実施形態１においては、被検体を撮像した第１の三次元画像と、それを第２の三次元画像に合わせて変形させた第１の変形画像と、第２の三次元画像と、それを第１の三次元画像に合わせて変形させた第２の変形画像とを並べて表示する例について説明する。なお、実施形態１では、第１の三次元画像を第２の三次元画像に位置や形状が合うように変形位置合わせする計算（変形推定）が予め行われていて、第１の三次元画像と第２の三次元画像の間の変形情報（変形パラメータ）が予め取得されていることとする。なお、本実施形態における第１の三次元画像と第２の三次元画像は、例えば、複数のモダリティで同一の被検体を撮像した画像や、同一のモダリティで異なる時期に同一の被検体を撮像した画像等である。

（装置構成）
図１は、実施形態１に係る画像処理装置１００の機能構成の一例を示す。実施形態１における画像処理システム１は、画像処理装置１００と、データサーバ１５０と、ディスプレイ１７２とを有する。

データサーバ１５０は、被検体の第１の三次元画像と第２の三次元画像を保持している。ここで、第１の三次元画像を得るための撮像と、第２の三次元画像を得るための撮像とは、撮像時期、撮像モダリティ、変形の程度などの点で互いに異なる。例えば、経過観察のために、第１の三次元画像を得たときと同じモダリティで、一定の時間をおいてから第２の三次元画像を得てもよい。また例えば、多面的な観点から診断を行うために、同じ日
に異なるモダリティで同一の被検体を撮像してもよい。また例えば、複数の深度の画像を得るために、圧迫状態を変えて複数回の撮像を行ってもよい。

またデータサーバ１５０は、第１の三次元画像と第２の三次元画像の間の変形情報を保持している。実施形態１における変形情報は、第２の三次元画像の各単位領域の位置から対応する第１の三次元画像上の位置への変位ベクトルで構成される、変形場の情報である。なお、本実施形態のように三次元画像が対象の場合の単位領域はボクセルであり、以下はこの場合について説明する。一方、本発明を二次元画像に適用する場合の単位領域はピクセルである。

なお、それぞれの三次元画像は、付帯情報として、画像のサイズ、解像度、当該三次元画像の撮像に用いられた撮像装置（以下、モダリティと称する）の種類、撮像情報、症例情報、画像間の対応情報等を含む。撮像情報とは、例えば当該三次元画像の撮像パラメータ、撮像部位、体位などを示す情報である。症例情報とは、例えば患者情報、検査情報、診断情報、臓器領域情報、関心領域情報である。これらの付帯情報は、必要に応じて、三次元画像と共に画像処理装置１００へと送信される。

画像処理装置１００は、三次元画像取得部１０２と、変形情報取得部１０４と、変形画像生成部１０６と、断面設定部１０８と、断面画像生成部１１０と、注目位置指定部１１２と、対応位置算出部１１４と、表示制御部１１６とを有する。

三次元画像取得部１０２は、被検体の第１の三次元画像と第２の三次元画像をデータサーバ１５０から取得する。
変形情報取得部１０４は、第１の三次元画像と第２の三次元画像の間の変形情報をデータサーバ１５０から取得する。
変形画像生成部１０６は、取得した変形情報を用いて、第２の三次元画像に位置や形状が合うように第１の三次元画像を変形させて、第１の変形画像を生成する。また、第１の三次元画像に位置や形状が合うように第２の三次元画像を変形させて、第２の変形画像を生成する。

断面設定部１０８は、第１の三次元画像、第２の三次元画像、第１の変形画像、および第２の変形画像を切断する断面を設定する。
断面画像生成部１１０は、第１の三次元画像、第２の三次元画像、第１の変形画像、および第２の変形画像から、設定された断面における断面画像を生成する。第１の三次元画像から生成された断面画像は第１の断面画像、第２の三次元画像から生成された断面画像は第２の断面画像、第１の変形画像から生成された断面画像は第１の変形断面画像、第２の変形画像から生成された断面画像は第２の変形断面画像と呼べる。

注目位置指定部１１２は、ユーザによる操作の入力情報に基づいて、第２の三次元画像の断面画像上の注目位置を指定する。ユーザは、図１７に示す操作部１７０９を用いて、これらの操作入力を行うことができる。
対応位置算出部１１４は、第２の三次元画像の断面画像上の注目位置に対応する、第１の三次元画像上の対応位置を算出する。
表示制御部１１６は、第１の三次元画像、第２の三次元画像、第１の変形画像、および第２の変形画像の断面画像と、その他ユーザに情報を報知するための画面をディスプレイ１７２に表示する制御を行う。

（ハードウェア構成）
図１７は、画像処理装置１００のハードウェア構成の一例を示す。画像処理装置１００は、ＣＰＵ１７０１と、ＲＯＭ１７０２と、ＲＡＭ１７０３と、ＨＤＤ１７０４と、ＵＳ
Ｂ１７０５と、通信回路１７０６と、ＧＰＵボード１７０７と、ＨＤＭＩ１７０８とを有する。これらは内部バスにより通信可能に接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７０１は、画像処理装置１００およびこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ１７０１はＲＯＭ１７０２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ１７０１は、表示部であるディスプレイ１７２を制御するためのソフトウェアであるディスプレイドライバを実行し、ディスプレイ１７２に対する表示制御を行う。さらにＣＰＵ１７０１は、操作部１７０９に対する入出力制御を行う。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７０２は、ＣＰＵ１７０１による制御の手順を記憶させたプログラムやデータを格納する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７０３は、画像処理装置１００およびこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶するためのメモリである。ＲＡＭ１７０３は、ＣＰＵ１７０１が実行する制御プログラムを格納し、ＣＰＵ１７０１が各種制御を実行する際の様々なデータを一時的に格納する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１７０４は、Ｘ線画像データなど各種データを保存する補助記憶装置である。
ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）１７０５は操作部１７０９と接続している。操作部１７０９としては、マウス、キーボードなどを利用できる。
通信回路１７０６は、画像処理システム１を構成する各部との通信を行うための回路である。通信回路１７０６は、所望の通信形態にあわせて、複数の構成により実現されていてもよい。

ＧＰＵボード１７０７は、ＧＰＵ、およびビデオメモリを含む汎用グラフィックスボードである。ＧＰＵボード１７０７を有することにより、専用ハードウェアを必要とせずに高速に画像処理の演算や画像表示を行うことが可能となる。実施形態１においては、変形画像および誤差画像をデータサーバ１５０から取得する構成となっているので、画像処理装置１００はＧＰＵボード１７０７を有していなくてもよい。
ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）１７０８は、表示部であるディスプレイ１７２と接続している。

データサーバ１５０は、画像処理装置１００と同じく、ＣＰＵやメモリを有し、プログラムに従って動作する情報処理装置によって構成できる。なお画像処理装置１００は、データサーバ１５０に代えて、ＰＡＴ装置やＭＲＩ装置などの実際の撮像装置から三次元画像を受信してもよい。また、データサーバ１５０と画像処理装置は、物理的には同じ情報処理装置により構成されてもよい。
ディスプレイ１７２としては、液晶ディスプレイや有機ＥＬディスプレイなど任意の表示装置を利用できる。またタッチパネルを用いることで、ディスプレイ１７２が操作部１７０９を兼ねることができる。

（処理フロー）
図２は、画像処理装置１００が実施する処理の一例を示すフローチャートである。図２に示す処理により、画像処理装置１００は、第１の三次元画像、第２の三次元画像、第１の変形画像、および第２の変形画像をタイル状に並べて表示する。

ステップＳ２０００において、三次元画像取得部１０２は、被検体のそれぞれの三次元画像をデータサーバ１５０から取得する。そして、取得した画像を、変形画像生成部１０
６および断面画像生成部１１０に送信する。

ステップＳ２０１０において、変形情報取得部１０４は、それぞれの三次元画像の間の変形情報をデータサーバ１５０から取得する。実施形態１では、第２の三次元画像の各ボクセル位置から対応する第１の三次元画像上の位置への変位ベクトルで構成される変形場の情報を取得する。そして、取得した変形情報を変形画像生成部１０６に送信する。

ステップＳ２０２０において、変形画像生成部１０６は、ステップＳ２０１０で取得した変形情報を用いて、第２の三次元画像に位置や形状が合うように第１の三次元画像を変形させて、第１の変形画像を生成する。また、第１の三次元画像に位置や形状が合うように第２の三次元画像を変形させて、第２の変形画像を生成する。そして、変形画像生成部１０６は、生成した第１の変形画像および第２の変形画像を断面画像生成部１１０に送信する。

ここで、第１の三次元画像を変形させて第２の三次元画像を生成する第１の変形画像の生成において、第２の三次元画像から第１の三次元画像への変形を表す変形情報は、逆方向の変形である。第１の変形画像の夫々のボクセル値を第１の三次元画像から取得する処理は、この逆方向の変形に基づいて、第１の三次元画像のどのボクセルから値を持ってくればよいかを算出することで実現される。

一方、第２の三次元画像を変形させて第１の三次元画像を生成する第２の変形画像の生成において、第２の三次元画像から第１の三次元画像への変形を表す変形情報は、順方向の変形である。そこで、変形画像生成部１０６は、ステップＳ２０１０で取得した変形情報から、第１の三次元画像から第２の三次元画像への変形を表す逆変形情報を生成する。そして、該逆変形情報を用いて第２の変形画像の生成を行う。具体的には、第１の三次元画像のそれぞれのボクセルの位置から対応する第２の三次元画像上の位置への変位ベクトルを、ステップＳ２０１０で取得した変形場の情報に基づいて、探索的に算出する。これを全てのボクセルの位置について算出したものが、逆変形場の情報、すなわち逆変形情報となる。

ステップＳ２０３０において、断面設定部１０８は、ステップＳ２０００で取得したそれぞれの三次元画像を切断する断面、およびステップＳ２０２０で生成したそれぞれの変形画像を切断する断面を設定する。そして、断面設定部１０８は、設定したそれぞれの断面の情報を、断面画像生成部１１０に送信する。

初期状態では、例えば、それぞれの三次元画像の中心を通るアキシャル断面を設定する。一方、後述するステップＳ２０７０からこの処理ステップに遷移した場合には、前回のステップＳ２０３０の処理を実行した後のそれぞれの断面に対して、ステップＳ２０７０で設定された断面変更パラメータを適用して、新たな断面を設定する。

また、後述するステップＳ２１００からこの処理ステップに遷移した場合には、ステップＳ２１００で算出した対応位置を含む、第１の三次元画像および第２の変形画像を切断する断面を設定する。この断面の向きは、ステップＳ２０７０で設定された断面の向きを表す情報に基づいて設定する。なお、ステップＳ２１００からこの処理ステップに遷移した場合には、第２の三次元画像および第１の変形画像を切断する断面は変更しなくてよい。

ステップＳ２０４０において、断面画像生成部１１０は、ステップＳ２０００で取得したそれぞれの三次元画像、およびステップＳ２０２０で生成したそれぞれ変形画像から、ステップＳ２０３０で設定した断面を切り出した、それぞれの断面画像を生成する。そし
て、生成したそれぞれの断面画像を注目位置指定部１１２および表示制御部１１６に送信する。

ステップＳ２０５０において、表示制御部１１６は、ステップＳ２０４０で生成されたそれぞれの断面画像をディスプレイ１７２に表示する制御を行う。本実施形態では、それぞれの断面画像を２×２のタイル状に配置する。このとき、第１の三次元画像の断面画像と第２の三次元画像の断面画像が対角線上（左上と右下、あるいは、左下と右上）に位置するように配置する。そして、第１の変形画像と第２の変形画像を、残された位置に配置する。このとき、第１の変形画像と第２の変形画像の位置は、断面の向きの情報、および、主たる変形の方向の情報に応じて決定する。例えば、画像間の主たる変形の方向が乳頭から大胸筋に向かう方向の場合、アキシャル断面表示時には、第１の断面画像と同じ列(
上や下）に第１の変形断面画像を配置し、第２の断面画像と同じ列に第２の変形断面画像を配置する。すなわち、第１の断面画像を左上に配置した場合には、第１の変形断面画像を左下（第１の断面画像の下）に配置し、第２の変形断面画像を右上（第２の断面画像の上）に配置する（図３）。一方、同画像のサジタル断面表示時には、第１の断面画像と同じ行（右や左）に第１の変形断面画像を配置し、第２の断面画像と同じ行に第２の変形断面画像を配置する。すなわち、第１の断面画像を左上に配置した場合には、第１の変形断面画像を右上（第１の断面画像の右）に、第２の変形断面画像を左下（第２の断面画像の左）に配置する（図４）。

図３に、ディスプレイ１７２に表示される、被検体の第１の三次元画像の断面画像３０１と、第２の三次元画像の断面画像３０２と、第１の変形画像の断面画像３０３と、第２の変形画像の断面画像３０４の例を示す。図３は、被検体が乳房であり、断面の向きがアキシャル断面であり、主たる変形の方向が乳頭から大胸筋に向かう方向である場合を示している。ここで、主たる変形の方向の情報は、変形情報の一つとして、データサーバ１５０に予め保持されているものとする。

実施形態１では、第１の三次元画像の断面画像３０１と第２の三次元画像の断面画像３０２が対角線上に位置するように、それぞれの断面画像をタイル状に配置する。図３の例では、第１の断面画像３０１が左上、第２の断面画像３０２がその対角位置である右下、第１の変形断面画像３０３が左下、第２の変形断面画像３０４が右上に位置するように配置されている。ここで、後述するステップＳ２０９０で注目位置が指定され、そしてステップＳ２１００で対応位置が算出されている場合には、ディスプレイ１７２上における注目位置と対応位置が揃うように、それぞれの断面画像の表示位置を調整することが望ましい。すなわち、図３において、第１の断面画像３０１上の対応位置３１１と同一の位置を表す第２の変形断面画像３０４上の位置３１４と、第２の断面画像３０２上の注目位置３１２との左右位置が揃うようにする。また、第２の断面画像上の注目位置３１２と同一の位置を表す第１の変形断面画像３０３上の位置３１３と、第１の断面画像３０１上の対応位置３１１との左右位置が揃うようにすることが望ましい。

ここで、後述するステップＳ２０７０で、断面の向きがサジタル断面であるという情報が取得された場合には、図４に示すように、第１の変形画像の断面画像４０３と第２の変形画像の断面画像４０４の配置を入れ替えることが望ましい。
また、断面の向きがアキシャル断面であるという情報が取得された場合にも、主たる変形の方向が乳房の左右方向である場合には、図５に示すように、第１の変形画像の断面画像５０３と第２の変形画像の断面画像５０４の配置を入れ替えることが望ましい。
なお、断面の向きがサジタル断面であり、かつ主たる変形の方向が乳房の左右方向である場合の画面配置は、図６に示すように、断面の向きがアキシャル断面であり、かつ主たる変形の方向が乳頭から大胸筋に向かう方向である場合と同一であることが望ましい。これらの場合にも、ディスプレイ１７２上における注目位置と対応位置が揃うように、それ
ぞれの断面画像の表示位置を調整することが望ましい。

ステップＳ２０６０において、画像処理装置１００は、それぞれの三次元画像の断面を変更するか否かの判定を行う。例えば、ユーザが操作部１７０９を用いて断面変更に関する所定の操作を行ったか否かによって、変更の判定を入力する。断面変更に関する所定の操作の具体例は、ステップＳ２０７０の説明の中で述べる。変更の入力を受けた場合には、ステップＳ２０７０へと処理を進める。一方、変更の入力を受けなかった場合には、ステップＳ２０８０へと処理を進める。

ステップＳ２０７０において、断面設定部１０８は、ユーザによる操作部１７０９を用いた操作に応じて、断面変更パラメータを設定し、設定した断面変更パラメータを断面画像生成部１１０に送信する。そして、ステップＳ２０３０へと処理を戻す。

実施形態１では、断面変更パラメータとして、断面の位置を断面の法線方向に移動させる移動量Ｌを設定する。例えば、「ｆ」キーの押下時にはＬ＝１ｍｍという移動量を設定し、「ｂ」キーの押下時にはＬ＝−１ｍｍという移動量を設定する。また、断面変更パラメータとして、断面の向きを表す情報を設定する。例えば、「ａ」キーの押下時にはアキシャル断面であるという情報を設定し、「ｓ」キーの押下時にはサジタル断面であるという情報を設定し、「ｃ」キーの押下時にはコロナル断面であるという情報を設定する。

なお、断面変更パラメータとして、断面の移動量Ｌや断面の向きに限らず、断面を回転させるための回転軸や回転角度等の情報を設定してもよい。また、断面変更パラメータとして、断面の厚み（以下、スラブ厚と称する）の情報を設定してもよい。また、断面変更パラメータは、所定のキーの押下ではなく、マウスの移動操作やマウスホイールの回転操作等に応じて設定してもよい。

なお、断面の更新は、全ての画像に対して同時に（連動させて）行ってもよいし、個別に行えるようにしてもよい。また、位置合わせされた画像同士（すなわち、第１の三次元画像と第２の変形画像、および、第２の三次元画像と第１の変形画像）の断面だけを連動させて更新するようにしてもよい。また、ある注目する画像の断面を更新した場合に、他の画像についてはその断面に対応する（最も近い）断面を算出して更新するようにしてもよい。このとき、対応する断面の算出は、変形情報に基づいて行うことができる。なお、注目する画像の断面が直交断面の場合には他の画像の対応する断面も直交断面として求め、注目する画像の断面が任意断面の場合には他の画像の対応する断面も任意断面として求めることも好ましい。

ステップＳ２０８０において、画像処理装置１００は、注目位置を指定するか否かの判定を行う。例えば、ユーザが不図示のマウスを操作してマウスカーソルを第２の三次元画像の断面画像上に位置させたか否かによって、変更の判定を入力する。変更の入力を受けた場合には、ステップＳ２０９０へと処理を進める。一方、変更の入力を受けなかった場合には、ステップＳ２１１０へと処理を進める。

ステップＳ２０９０において、注目位置指定部１１２は、ユーザによる操作の入力情報に基づいて、第２の三次元画像の断面画像上の注目位置を指定し、指定した注目位置を対応位置算出部１１４および断面設定部１０８に送信する。実施形態１では、ユーザが不図示のマウスを操作してマウスカーソルを断面画像上に位置させることによって、注目位置を指定する。図３の３１２は、第２の三次元画像の断面画像３０２上の注目位置を表す図形である。そして、図３の３１３は、第１の変形画像の断面画像３０３上の、注目位置３１２と同一の位置を表す図形である。

ステップＳ２１００において、対応位置算出部１１４は、ステップＳ２０９０で指定された注目位置に対応する、第１の三次元画像上の対応位置を算出し、算出した対応位置を断面設定部１０８に送信する。そして、ステップＳ２０３０へと処理を戻す。具体的には、第２の三次元画像の各ボクセル位置から対応する第１の三次元画像上の位置への変位ベクトルで構成される変形場の情報（変形情報）を用いて、第２の三次元画像の断面画像上の注目位置に対応する、第１の三次元画像上の対応位置を求める。図３の３１１は、第１の三次元画像上の対応位置を表す図形である。そして、図３の３１４は、第２の変形画像上の、対応位置３１１と同一の位置を表す図形である。

ステップＳ２１１０において、画像処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、ディスプレイ１７２上に配置された終了ボタンを操作者が不図示のマウスでクリックしたかを検出するなどの方法で、終了判定する。終了すると判定した場合には、画像処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ２０５０へと処理を戻す。

以上説明したように、実施形態１では、被検体を撮像した第１の三次元画像と、それを第２の三次元画像に合わせて変形させた第１の変形画像と、第２の三次元画像と、それを第１の三次元画像に合わせて変形させた第２の変形画像とを並べて表示する。これにより、ユーザは画像間の対比を容易に行うことができる。

［変形例］
実施形態１においては、第２の三次元画像の断面画像上で注目位置を指定する場合を例に説明したが、これに限らず、第１の変形画像上で注目位置を指定してもよい。この場合、第１の変形画像の断面画像上で指定された注目位置を、第２の三次元画像上の注目位置として処理すればよい。

また、第１の三次元画像の断面画像上で注目位置を指定してもよい。この場合には、ステップＳ２１００において、第１の三次元画像の各ボクセルの位置から対応する第２の三次元画像の位置への変位ベクトルで構成される逆変形場の情報（逆変形情報）を用いて、第１の三次元画像の断面画像上の注目位置に対応する、第２の三次元画像上の対応位置を求めればよい。または、第２の変形画像上で注目位置を指定してもよい。この場合、第２の変形画像の断面画像上で指定された注目位置を、第１の三次元画像上の注目位置として処理すればよい。

また、実施形態１においては、変形情報が、第２の三次元画像の各ボクセル位置から対応する第１の三次元画像上の位置への変位ベクトルで構成される変形場の情報である場合を例に説明した。しかし、これに限らず、変形情報は、第２の三次元画像の各ボクセル位置から対応する第１の三次元画像上の位置への変位ベクトルで構成される変形場の情報と、第１の三次元画像の各ボクセル位置から対応する第２の三次元画像上の位置への変位ベクトルで構成される変形場の情報の、両方であってもよい。この場合には、ステップＳ２０２０において、逆変形場の情報を算出しなくてよい。

また、実施形態１においては、第１の三次元画像の断面画像３０１と、第２の三次元画像の断面画像３０２と、第１の変形画像の断面画像３０３と、第２の変形画像の断面画像３０４をタイル状に並べて表示する場合を例に説明したが、これに限らず、これら四枚の断面画像を所定の枚数ずつ切り替えて表示してもよい。また、同時に表示する画像の枚数や、各画像を配置する位置や、切り替え表示の場合に同時表示される所定の枚数も限定されない。また各表示モードにおける画像の組み合わせも任意である。また所定の枚数を、ユーザ操作により変更してもよい。このことは、後述するような画像枚数が四枚以外の場合にも言える。

例えば、第１の三次元画像の断面画像３０１と第２の変形画像の断面画像３０４の二枚の画像を表示するモードと、第２の三次元画像の断面画像３０２と第１の変形画像の断面画像３０３の二枚の画像を表示する表示モードを、ユーザによる操作の入力情報に基づいて切り替えてもよい。

また、第１の三次元画像の断面画像３０１と第１の変形画像の断面画像３０３の二枚の画像を表示する表示モードと、第２の三次元画像の断面画像３０２と第２の変形画像の断面画像３０４の二枚の画像を表示する表示モードを、ユーザによる操作の入力情報に基づいて切り替えてもよい。あるいは四枚の断面画像をユーザによる操作の入力情報に基づいて順次切り替えて表示してもよい。

また、実施形態１で説明した例に限らず、図７に示すように、第１の三次元画像の断面画像に第２の変形画像の断面画像を重畳した重畳画像７０１と、第２の三次元画像の断面画像に第１の変形画像の断面画像を重畳した重畳画像７０２を、並べて表示してもよい。あるいは、それらの画像を切り替えて表示してもよい。

あるいは、２×２のタイル状の表示領域において、第１の三次元画像の断面画像と第２の三次元画像の断面画像が対角に位置するように配置した上で、残された位置に、第１の変形画像と第２の変形画像の代わりに、第２の三次元画像の断面画像に第１の変形画像の断面画像を重畳した重畳画像と、第１の三次元画像の断面画像に第２の変形画像の断面画像を重畳した重畳画像を配置して表示するようにしてもよい。あるいは、第１の変形画像と第２の変形画像の代わりに、第２の三次元画像と第１の変形画像の差分画像の断面画像と、第１の三次元画像と第２の変形画像の差分画像の断面画像とを配置して表示するようにしてもよい。さらに、当該位置に変形画像、重畳画像、差分画像のいずれを表示するかをユーザが選択できるようにして、選択した画像に切り替えて表示するようにしてもよい。

また、実施形態１で説明した例に限らず、図８に示すように、第１の三次元画像の断面画像８０１に第２の変形画像の断面画像８０４を重畳した重畳画像８０５と、第２の三次元画像の断面画像８０２に第１の変形画像の断面画像８０３を重畳した重畳画像８０６を、実施形態１で説明した四枚の断面画像と併せて並べて、３×２のタイル状に表示してもよい。あるいは、重畳画像の代わりに差分画像を表示してもよい。また、いずれの画像を表示するかをユーザが選択できるようにして、それらの画像を切り替えて表示可能にしてもよい。さらに、上述した様々な表示モードを操作部から選択可能にしてもよい。第１の画像（第１の三次元画像）の変形に関して表示される画像（第１の変形画像に基づく画像）として、第１の変形画像自体、または、第２の画像に第１の変形画像を重畳した画像、または、第２の画像と第１の変形画像の差分画像などがある。また、第２の画像（第２の三次元画像）の変形に関して表示される画像（第２の変形画像に基づく画像）として、第２の変形画像自体、または、第１の画像に第２の変形画像を重畳した画像、または、第１の画像と第２の変形画像の差分画像などがある。

［実施形態２］
実施形態２においては、被検体を撮像した三つの三次元画像のそれぞれを、他のそれぞれの三次元画像に合わせて変形させた変形画像を生成し、それらを並べて表示する例について説明する。なお、実施形態２においては、それぞれの三次元画像の間の変形情報が予め取得されていることとする。以下、実施形態２に係る画像処理装置について、実施形態１とは異なる部分を中心に説明する。実施形態１と同様の部分については詳しい説明を省略する。

図９は、実施形態２に係る画像処理装置９００の機能構成の一例を示す。実施形態２における画像処理システム９は、画像処理装置９００と、データサーバ９５０と、ディスプレイ１７２とを有している。なお、図１と同じ部分については同じ番号、記号を付し、説明を省略する。

実施形態２のデータサーバ９５０は、被検体の第１の三次元画像と第２の三次元画像に加えて、第３の三次元画像を保持している。また、それぞれの三次元画像の間の変形情報を保持している。実施形態２における変形情報は、それぞれの三次元画像の各ボクセルの位置が他のそれぞれの三次元画像のどの位置に対応するかを表す変形場の情報である。

三次元画像取得部９０２は、被検体のそれぞれの三次元画像をデータサーバ１５０から取得する。変形情報取得部９０４は、それぞれの三次元画像の間の変形情報をデータサーバ１５０から取得する。変形画像生成部９０６は、変形情報を用いて、それぞれの三次元画像に位置や形状が合うように他のそれぞれの三次元画像を変形させて、六つの変形画像を生成する。

ここで、六つの変形画像とは以下の通りである。
・第１の三次元画像に位置や形状が合うように第２の三次元画像を変形させた変形画像
・第２の三次元画像に位置や形状が合うように第３の三次元画像を変形させた変形画像
・第３の三次元画像に位置や形状が合うように第１の三次元画像を変形させた変形画像
・第２の三次元画像に位置や形状が合うように第１の三次元画像を変形させた変形画像
・第３の三次元画像に位置や形状が合うように第２の三次元画像を変形させた変形画像
・第１の三次元画像に位置や形状が合うように第３の三次元画像を変形させた変形画像

断面設定部９０８は、それぞれの三次元画像とそれらの変形画像を切断する断面を設定する。断面画像生成部９１０は、それぞれの三次元画像とそれらの変形画像から、設定された断面における断面画像を生成する。注目位置指定部９１２は、ユーザによる操作の入力情報に基づいて、何れか一つの三次元画像の断面画像上の注目位置を指定する。対応位置算出部９１４は、何れか一つの三次元画像の断面画像上の注目位置に対応する、他のそれぞれの三次元画像上の対応位置を算出する。表示制御部９１６は、それぞれの断面画像と、その他ユーザに情報を報知するための画面をディスプレイ１７２に表示する制御を行う。

図１０は、画像処理装置９００が実施する処理の一例を示すフローチャートである。画像処理装置９００は、被検体の三つの三次元画像とそれらの変形画像をタイル状に並べて表示する。ここで、ステップＳ１００４０、Ｓ１００６０、Ｓ１００７０およびＳ１０１１０の処理は、実施形態１におけるステップＳ２０４０、Ｓ２０６０、Ｓ２０７０およびＳ２１１０の処理と同様であるので、説明を省略する。

ステップＳ１００００において、三次元画像取得部９０２は、被検体の三つの三次元画像をデータサーバ９５０から取得する。そして、取得した画像を、変形画像生成部９０６および断面画像生成部９１０に送信する。
ステップＳ１００１０において、変形情報取得部９０４は、それぞれの三次元画像の間の変形情報として、それぞれの三次元画像の各ボクセルの位置が他のそれぞれの三次元画像のどの位置に対応するかを表す変形場の情報を、データサーバ９５０から取得する。そして、取得した変形情報を変形画像生成部９０６に送信する。

ステップＳ１００２０において、変形画像生成部９０６は、ステップＳ１００１０で取得した変形情報を用いて、それぞれの三次元画像に位置や形状が合うように他のそれぞれの三次元画像を変形させて、前述の六つの変形画像を生成する。そして、生成した六つの
変形画像を断面画像生成部９１０および注目位置指定部９１２に送信する。

ステップＳ１００３０において、断面設定部９０８は、ステップＳ１００００で取得したそれぞれの三次元画像を切断する断面、およびステップＳ１００２０で生成したそれぞれの変形画像を切断する断面を設定し、設定したそれぞれの断面の情報を、断面画像生成部９１０に送信する。断面の設定方法は、実施形態１と同様であるので、説明を省略する。

ステップＳ１００５０において、表示制御部９１６は、ステップＳ１００４０で生成されたそれぞれの断面画像をディスプレイ１７２に表示する制御を行う。本実施形態では、それぞれの断面画像を３×３のタイル状に配置する。このとき、タイル状配置の対角線上の位置（ｉ，ｉ）にｉ番目の三次元画像を配置する。さらに、タイル状配置の位置（ｉ，ｊ）にｉ番目の三次元画像をｊ番目の元画像に合わせて変形させた変形画像を配置する。

図１１に、ディスプレイ１７２に表示される被検体の三つの三次元画像の断面画像１１０１、１１０２、１１０３と、六つの変形画像の断面画像１１０４、１１０５、１１０６、１１０７、１１０８、１１０９の例を示す。図１１に示すように、実施形態２では、三つの三次元画像の断面画像１１０１、１１０２、１１０３が対角に位置するように、それぞれの断面画像をタイル状に配置する。また、六つの断面画像１１０４、１１０５、１１０６、１１０７、１１０８、１１０９が、対角以外の夫々の適切な位置に配置される。

ステップＳ１００８０において、画像処理装置９００は、注目位置を指定するか否かの判定を行う。例えば、ユーザが不図示のマウスを操作してマウスカーソルを何れか一つの三次元画像の断面画像上に位置させたか否かを検出することによって、変更の有無を判定できる。変更の入力を受けた場合には、ステップＳ１００９０へと処理を進める。一方、変更の入力を受けなかった場合には、ステップＳ１０１１０へと処理を進める。

ステップＳ１００９０において、注目位置指定部９１２は、ユーザによる操作の入力情報に基づいて、何れか一つの三次元画像の断面画像上の注目位置を指定し、指定した注目位置を対応位置算出部９１４および断面設定部９０８に送信する。
ステップＳ１０１００において、対応位置算出部９１４は、何れか一つの三次元画像の断面画像上の注目位置に対応する、他のそれぞれの三次元画像上の対応位置を算出し、算出した対応位置を断面設定部９０８に送信する。そして、ステップＳ１００３０へと処理を戻す。具体的な算出方法は、実施形態１と同様であるので、説明を省略する。

以上説明したように、実施形態２では、被検体を撮像した三つの三次元画像のそれぞれを、他のそれぞれの三次元画像に合わせて変形させた変形画像を生成し、それらを並べて表示する。これにより、ユーザは三つの画像間の対比を容易に行うことができる。

［変形例］
実施形態２においては、被検体の三つの三次元画像の断面画像１１０１、１１０２、１１０３と、六つの変形画像の断面画像１１０４、１１０５、１１０６、１１０７、１１０８、１１０９をタイル状に並べて表示する場合を例に説明したが、これに限らず、これら九枚の断面画像を切り替えて表示してもよい。切り替えの単位となる画像枚数は、１枚でもよいし、３枚でもよいし、その他の枚数でもよい。

また、実施形態２においては、被検体を撮像した三次元画像が三つである場合を例に説明したが、これに限らず、三次元画像は四つ以上であってもよい。
また、実施形態２においては、何れか一つの三次元画像の断面画像上で注目位置を指定する場合を例に説明したが、これに限らず、何れか一つの変形画像の断面画像上で注目位
置を指定してもよい。

［実施形態３］
実施形態３は、表示画面における、第１の三次元画像の断面画像と第２の三次元画像の断面画像の向きに関して特徴がある。具体的には、直交断面の表示に限定するか、任意の断面の表示を許容するか、を切り替える。以下、実施形態３に係る画像処理装置について、実施形態１とは異なる部分を中心に説明する。実施形態１と同様の部分については、詳しい説明を省略する。

図１２は、実施形態３に係る画像処理装置１２００の機能構成の一例を示す。実施形態３における画像処理システム１２は、画像処理装置１２００と、データサーバ１５０と、ディスプレイ１７２とを有している。なお、図１と同じ部分については同じ番号、記号を付し、説明を省略する。

実施形態３における断面設定部１２０８は、第１の三次元画像、第２の三次元画像、第１の変形画像、および第２の変形画像を切断する断面を設定する。実施形態３においては、断面変更パラメータとして、断面の向きを直交断面に限定するか任意の断面も許容するかを表す情報も設定する。

図１３は、画像処理装置１２００が実施する処理の一例を示すフローチャートである。画像処理装置１２００は、それぞれの断面画像について、直交断面における直交断面画像、または任意断面における任意断面画像を表示する。ここで、ステップＳ１３０００からＳ１３０２０まで、Ｓ１３０４０からＳ１３０６０まで、およびＳ１３０８０からＳ１３１１０までの処理は、実施形態１におけるステップＳ２０００からＳ２０２０まで、Ｓ２０４０からＳ２０６０まで、およびＳ２０８０からＳ２１１０までの処理と同様であるので、説明を省略する。

ステップＳ１３０３０において、断面設定部１２０８は、ステップＳ１００００で取得したそれぞれの三次元画像を切断する断面、およびステップＳ１００２０で生成したそれぞれの変形画像を切断する断面を設定する。そして、設定したそれぞれの断面の情報を、断面画像生成部１１０に送信する。

本ステップにおける、初期状態の処理と、ステップＳ１３０７０からこの処理ステップに遷移した場合の処理は、実施形態１と同様であるので、説明を省略する。一方、ステップＳ１３１００からこの処理ステップに遷移した場合には、ステップＳ１３０９０で指定した注目位置を含む、第２の三次元画像および第１の変形画像を切断する断面と、ステップＳ１３１００で算出した対応位置を含む、第１の三次元画像および第２の変形画像を切断する断面を、ステップＳ１３０７０で設定された、断面の向きを直交断面に限定するか任意の断面も許容するかを表す情報に基づいて設定する。

ここで、対応位置が算出される第１の三次元画像の断面画像として任意の断面も許容されている場合には、第３の断面画像として、第２の三次元画像の断面画像に対応する第１の三次元画像の任意断面を、例えば特許文献２に記載の方法で算出する。そして、算出した任意断面画像を、第１の三次元画像を切断する断面として設定する。

一方、第１の三次元画像の断面画像が直交断面に限定されている場合には、アキシャル断面、サジタル断面、コロナル断面の三つの直交断面のうち、前述の任意断面に最も近い直交断面を選択して設定する。または、予め指定した何れか一つの直交断面を設定する。この予め指定された断面に関する情報は、画像処理装置１２００が取得する情報に含まれていてもよいし、操作部が受け付けるユーザからの入力情報に含まれていてもよい。

さらに、第１の三次元画像の断面画像が直交断面に限定されている場合であって、第２の三次元画像の断面画像として任意の断面も許容されている場合には、第１の三次元画像の直交断面に対応する、第２の三次元画像の任意断面を改めて算出し、第２の三次元画像を切断する断面として改めて設定する。

ステップＳ１３０７０において、断面設定部１２０８は、ユーザによる操作部１７０９を用いた操作に応じて、断面変更パラメータを設定し、設定した断面変更パラメータを断面画像生成部１１０に送信する。そして、ステップＳ１３０３０へと処理を戻す。ステップＳ２０７０で説明した断面変更パラメータに加えて、実施形態３においては、第１の三次元画像の断面画像と第２の三次元画像の断面画像のそれぞれについて、断面の向きを直交断面に限定するか任意の断面も許容するかを表す情報も、断面変更パラメータとして設定する。

例えば、「ｔ」キーの押下時には第１の三次元画像の断面画像を直交断面に限定し、「Ｔ」キーの押下時には第２の三次元画像の断面画像を直交断面に限定する。一方、「ｕ」キーの押下時には第１の三次元画像の断面画像として任意断面も許容し、「Ｕ」キーの押下時には第２の三次元画像の断面画像として任意断面も許容する。ここで、一方の三次元画像の断面画像を直交断面に限定した場合には、自動的に他方の三次元画像の断面画像を直交断面に限定してもよい。同様に、一方の三次元画像の断面画像として任意断面を許容した場合には、自動的に他方の三次元画像の断面画像として任意断面を許容してもよい。なお、任意断面が他方の断面に対応する曲断面であるか、その曲断面を平面で近似した断面の画像であるか、曲断面の平面射影であるか、という情報も、断面変更パラメータとして設定してもよい。

以上説明したように、実施形態３では、第１の三次元画像の断面画像と第２の三次元画像の断面画像のそれぞれの向きについて、直交断面に限定するか任意の断面も許容するかを切り替える。これにより、ユーザは画像間の対比を、見比べやすい断面の向きで、容易に行うことができる。

［変形例］
実施形態３においては、直交断面に限定するか任意の断面も許容するかを切り替える例について説明したが、これに限らず、直交断面と任意の断面の両方を同時に表示してもよい。

［実施形態４］
実施形態４においては、第２の三次元画像の断面画像上で指定した注目位置に対応する第１の三次元画像上の対応位置を、ユーザによる操作の入力情報に基づいて補正して、変形情報を更新する例について説明する。以下、実施形態４に係る画像処理装置について、実施形態１とは異なる部分を中心に説明する。実施形態１と同様の部分については、詳しい説明を省略する。

図１４は、実施形態４に係る画像処理装置１４００の機能構成の一例を示す。実施形態４における画像処理システム１４は、画像処理装置１４００と、データサーバ１４５０と、ディスプレイ１７２とを有している。なお、図１と同じ部分については同じ番号、記号を付し、説明を省略する。

データサーバ１４５０は、第１の三次元画像と第２の三次元画像の間の変形情報として、第１の三次元画像と第２の三次元画像の間の複数の対応点の情報を保持している。変形情報取得部１４０４は、第１の三次元画像と第２の三次元画像の間の複数の対応点の情報
を、データサーバ１４５０から取得する。変形情報取得部１４０４はまた、第２の三次元画像の断面画像上で指定した注目位置と、ユーザによる操作の入力情報に基づいて補正した第１の三次元画像上の対応位置とで構成される対応点を、複数の対応点の情報に追加する。変形情報取得部１４０４はまた、複数の対応点の情報を用いて、第１の三次元画像と第２の三次元画像の間の変形情報を導出する。変形画像生成部１４０６は、取得した変形情報を用いて、第２の三次元画像に位置や形状が合うように第１の三次元画像を変形させて、第１の変形画像を生成する。変形画像生成部１４０６はまた、第１の三次元画像に位置や形状が合うように第２の三次元画像を変形させて、第２の変形画像を生成する。

表示制御部１４１６は、第１の三次元画像、第２の三次元画像、第１の変形画像、および第２の変形画像の断面画像と、その他ユーザに情報を報知するための画面をディスプレイ１７２に表示する制御を行う。表示制御部１４１６はまた、全ての断面画像上に、データサーバ１４５０から取得した複数の対応点の位置を表す図形と、新たに追加した対応点の位置を表す図形を、異なる表示態様で表示する制御を行う。対応位置補正部１４１８は、ユーザによる操作の入力情報に基づいて、第２の三次元画像の断面画像上で指定された注目位置に対応する第１の三次元画像上の対応位置を補正する。

図１５は、画像処理装置１４００が実施する処理の一例を示すフローチャートである。画像処理装置１４００は、対応位置の補正に基づいて変形情報を更新する。ここで、ステップＳ１５０００、Ｓ１５１１０、Ｓ１５０３０からＳ１５０４０まで、およびＳ１５０６０からＳ１５１００までの処理は、実施形態１におけるステップＳ２０００、Ｓ２１１０、Ｓ２０３０からＳ２０４０まで、およびＳ２０６０からＳ２１００までの処理と同様であるので、説明を省略する。

ステップＳ１５０１０において、変形情報取得部１４０４は、第１の三次元画像と第２の三次元画像の間の複数の対応点の情報を、データサーバ１４５０から取得する。また、後述するステップＳ１５１０７からこの処理ステップに遷移した場合には、第２の三次元画像の断面画像上で指定した注目位置と、ユーザによる操作の入力情報に基づいて補正した第１の三次元画像上の対応位置とで構成される対応点を、複数の対応点の情報に追加する。そして、変形情報取得部１４０４は、取得した複数の対応点の情報を用いて、第１の三次元画像と第２の三次元画像の間の変形情報を導出する。ここで、対応点から変形情報を導出する処理には、任意の公知の手法を利用できる。そして、導出した変形情報を変形画像生成部１０６に送信する。

ステップＳ１５０２０において、変形画像生成部１４０６は、ステップＳ１５０１０で取得した変形情報を用いて、第２の三次元画像に位置や形状が合うように第１の三次元画像を変形させて、第１の変形画像を生成する。この変形処理には任意の公知の手法を利用できる。そして、第２の三次元画像の各ボクセル位置から対応する第１の三次元画像上の位置への変位ベクトルで構成される変形場の情報を算出する。また、第１の三次元画像に位置や形状が合うように第２の三次元画像を変形させるための逆変形情報を算出した上で、第１の三次元画像に位置や形状が合うように第２の三次元画像を変形させて、第２の変形画像を生成する。

ステップＳ１５０５０において、表示制御部１４１６は、ステップＳ１４０４０で生成されたそれぞれの断面画像をディスプレイ１７２に表示する制御を行う。図１６に、ディスプレイ１７２に表示される被検体の第１の三次元画像の断面画像１６０１と、第２の三次元画像の断面画像１６０２と、第１の変形画像の断面画像１６０３と、第２の変形画像の断面画像１６０４の例を示す。実施形態４では、さらに、全ての断面画像上に、新たに追加した対応点の位置を表す図形（１６１１、１６１２、１６１３、１６１４）と、データサーバ１４５０から取得した複数の対応点の位置を表す図形（１６２１、１６２２、１
６２３、１６２４、および１６３１、１６３２、１６３３、１６３４）とを、異なる表示態様で表示する。

ステップＳ１５１０５において、画像処理装置１４００は、対応位置を補正するか否かの判定を行う。例えば、ユーザが不図示のマウスを操作して第１の三次元画像の断面画像上でクリックしたか否かを検出することによって、変更の有無を判定する。変更の入力を受けた場合には、ステップＳ１５１０７へと処理を進める。一方、変更の入力を受けなかった場合には、ステップＳ１５０３０へと処理を戻す。

ステップＳ１５１０７において、対応位置補正部１４１８は、第２の三次元画像の断面画像上で指定された注目位置に対応する第１の三次元画像上の対応位置を、ユーザが不図示のマウスを操作して第１の三次元画像の断面画像上でクリックした位置に補正する。そして、対応位置補正部１４１８は、補正した対応位置を変形情報取得部１４０４および表示制御部１４１６に送信する。

以上説明したように、実施形態４では、第２の三次元画像の断面画像上で指定した注目位置に対応する第１の三次元画像上の対応位置を、ユーザによる操作の入力情報に基づいて補正して、変形情報を更新する。これにより、ユーザは画像間の位置合わせの妥当性を容易に把握し、必要に応じて補正できる。

［実施形態５］
実施形態５においては、第１の三次元画像と第２の三次元画像を並べて表示するための画像処理装置において、対応関係をより把握しやすくする例について説明する。具体的には、画像間の対応する既知点群の一つを注目点として指定した時に、注目点の位置（注目位置）を含む断面画像を第２の三次元画像から生成すると共に、注目点に対応する対応点の位置（対応位置）を含む断面画像を第１の三次元画像から生成する。以下、実施形態１とは異なる部分を中心に説明し、同様の部分については詳しい説明を省略する。

図１８は、実施形態５に係る画像処理装置１８００の機能構成の一例を示す図である。実施形態５における画像処理システム１８は、画像処理装置１８００と、データサーバ１８５０と、ディスプレイ１７２とを有している。なお、図１と同じ部分については同じ番号、記号を付し、説明を省略する。

データサーバ１８５０は、被検体の第１の三次元画像と第２の三次元画像を保持している。また、第１と第２の三次元画像中の対応する既知点群の三次元座標値を保持している。
対応点情報取得部１８０３は、第１と第２の三次元画像中の対応する既知点群の三次元座標値をデータサーバ１８５０から取得する。

断面設定部１８０８は、第２の三次元画像を切断する断面を、後述の注目位置に基づいて設定する。また、第１の三次元画像を切断する断面を、後述の対応位置に基づいて設定する。
断面画像生成部１８１０は、第１の三次元画像および第２の三次元画像から、設定された断面における断面画像を生成する。

注目位置取得部１８１２は、ユーザによる操作の入力情報に基づいて、第２の三次元画像の断面画像上の位置を指定する。ユーザは、図１７に示す操作部１７０９を用いて、これらの操作入力を実行できる。そして、指定された位置と第２の三次元画像上の既知点群の位置とに基づいて、既知点群の中の一つを注目点として選択し、選択した注目点の位置を注目位置として取得する。
対応位置取得部１８１４は、第２の三次元画像上の注目点に対応する、第１の三次元画像上の対応点の位置（対応位置）を、既知点群の情報から取得する。

表示制御部１８１６は、第１の三次元画像および第２の三次元画像の断面画像と、その他ユーザに情報を報知するための画面とを、ディスプレイ１７２に表示する制御を行う。第１の三次元画像の断面画像は第１の断面画像、第２の三次元画像の断面画像は第２の断面画像と呼べる。その際に表示制御部１８１６は、表示画面上において、第２の三次元画像上の注目点の位置（注目位置）と、第１の三次元画像上の対応点の位置（対応位置）とが、同じ左右位置または上下位置に揃うようにする。そのために表示制御部１８１６は、対応点の表示位置を注目点の表示位置に合わせるなどの方法で、第１の三次元画像の断面画像の表示位置を調整する。その際、表示制御部は、表示部の画面における対応位置の調整後の位置が、注目位置の調整前の位置と、上下または左右の位置が揃うように、第２の断面画像の位置を調整して表示する。

図１９は、画像処理装置１８００が実施する処理の一例を示すフローチャートである。画像処理装置１８００は、注目点を含む断面画像と対応点を含む断面画像を、表示画面上における注目点の位置（注目位置）と対応点の位置（対応位置）が揃うように表示する。ここで、ステップＳ１９０００、Ｓ１９０６０、Ｓ１９０７０、およびＳ１９１１０の処理は、実施形態１におけるステップＳ２０００、Ｓ２０６０、Ｓ２０７０、およびＳ２１１０の処理と同様であるので、説明を省略する。

ステップＳ１９００５において、対応点情報取得部１８０３は、第１と第２の三次元画像中の対応する既知点群の三次元座標値をデータサーバ１８５０から取得する。そして、取得した対応点情報を注目位置取得部１８１２および対応位置取得部１８１４に送信する。

ステップＳ１９０３０において、断面設定部１８０８は、ステップＳ１９０００で取得したそれぞれの三次元画像を切断する断面を設定する。後述するステップＳ１９１００からこの処理ステップに遷移した場合には、ステップＳ１９０９０で取得した注目位置を通る、第２の三次元画像を切断する断面を設定する。すなわち、第２の三次元画像を切断する断面が注目位置を通らない場合に、当該断面を断面の垂線方向に平行移動させて、当該断面が注目位置を通るようにする。また、ステップＳ１９１００で取得した対応位置を通る、第１の三次元画像を切断する断面を設定する。なお、ステップＳ１９０２０またはステップＳ１９０７０からこの処理ステップに遷移した場合の処理は、ステップＳ２０２０またはステップＳ２０７０からステップＳ２０３０に遷移した場合の処理と同様であるので、説明を省略する。

ステップＳ１９０４０において、断面画像生成部１８１０は、ステップＳ１９０００で取得したそれぞれの三次元画像から、ステップＳ１９０３０で設定した断面を切り出した、それぞれの断面画像を生成する。そして、生成したそれぞれの断面画像を注目位置取得部１８１２および表示制御部１８１６に送信する。

ステップＳ１９０５０において、表示制御部１８１６は、ステップＳ１９０４０で生成されたそれぞれの断面画像をディスプレイ１７２に並べて表示する制御を行う。このとき、後段の処理において注目位置と対応位置が取得されている場合には、ディスプレイ１７２上における注目位置と対応位置が揃うように、ステップＳ１９０４０で生成したそれぞれの断面画像の表示位置を調整する。

具体的には、まず、ディスプレイ１７２上における、第２の三次元画像の断面画像中の注目位置が、後述のステップＳ１９０９０で算出される投影位置と同じになるように、第
２の三次元画像の断面画像を表示する。
次に、それぞれの断面画像を左右に並べて表示する場合には、第２の三次元画像中の注目位置と第１の三次元画像中の対応位置のディスプレイ１７２上における上下位置が揃うように、第１の三次元画像の断面画像を上下方向に平行移動させて表示する。

一方、それぞれの断面画像を上下に並べて表示する場合には、第２の三次元画像中の注目位置と第１の三次元画像中の対応位置のディスプレイ１７２上における左右位置が揃うように、第１の三次元画像の断面画像を左右方向に平行移動させて表示する。
なお、ディスプレイ１７２上にそれぞれの断面画像の表示領域が設定されている場合には、それぞれの表示領域座標系における注目点の座標と対応点の座標が一致するように、第１の三次元画像の断面画像を平行移動させて表示すればよい。

ステップＳ１９０８０において、画像処理装置１８００は、注目位置を指定するか否かの判定を行う。例えば、ユーザが不図示のマウスを操作して、第２の三次元画像中の既知点群のいずれか一つの点から所定の距離以内にマウスカーソルを位置させたか否かによって、変更の判定を入力する。変更の入力を受けた場合には、ステップＳ１９０９０へと処理を進める。一方、変更の入力を受けなかった場合には、ステップＳ１９１１０へと処理を進める。

ステップＳ１９０９０において、注目位置算出部１８１２は、ユーザによる操作の入力情報に基づいて、第２の三次元画像の断面画像上の位置を指定し、指定された位置に基づいて注目位置を求めて、対応位置取得部１８１４および断面設定部１８０８に送信する。

本実施形態では、既知点から断面までの３次元距離が所定の距離以内の場合に、既知点から断面に下ろした垂線と断面との交点の位置（投影位置）に、既知点の位置を表す図形（例えば円）を表示する。そして、ユーザが図形の表示を参照しながら不図示のマウスのボタンをクリックして断面画像上の位置を指定した時に、指定された位置から所定の距離（ここでは３次元距離）以内にある第２の三次元画像上の既知点群の中の、最近傍にある一つの既知点を注目点として選択する。この選択された注目点の位置を注目位置とする。

なお、上述の所定の距離は、３次元距離に限らない。例えば、投影位置（既知点から断面に下ろした垂線と断面との交点の位置）から指定位置までの距離（断面上の２次元距離）であってもよい。

ステップＳ１９１００において、対応位置取得部１８１４は、ステップＳ１８０９０で算出された注目位置に対応する、第１の三次元画像上の対応位置を取得し、取得した対応位置を断面設定部１８０８に送信する。具体的には、第２の三次元画像上の注目点に対応する、第１の三次元画像上の対応点の位置を、既知点群の情報から取得し、対応位置とする。

このように実施形態５では、対応する既知点群の一つを注目点として指定した時に、注目点の位置（注目位置）を含む断面画像を第２の三次元画像から生成すると共に、注目点に対応する対応点の位置（対応位置）を含む断面画像を第１の三次元画像から生成する。これにより、ユーザは二つの三次元画像の対応点を含む断面画像間の対比を容易に行うことができる。
なお、対応点は、位置合わせに用いるものに限られない。画像間に設定されたどのような対応点であってもよい。対応点をサーバから取得せず、ユーザが断面画像上で指定してもよい。

また、本実施形態では、第１の三次元画像と第２の三次元画像を並べて表示する場合を
例に説明したが、これに限らず、実施形態１と同様に、第１の変形画像と第２の変形画像を生成して、さらに並べて表示してもよい。ここで、それぞれの断面画像を図３に示すように並べて表示する場合には、以下の４つの条件を満たすように、第１の三次元画像の断面画像、第１の変形画像の断面画像（第１の変形断面画像）、および第２の変形画像の断面画像（第２の変形断面画像）を平行移動させて表示することが望ましい。
・第２の三次元画像中の注目位置と第２の変形画像中の対応位置のディスプレイ上における上下位置が揃う
・第１の変形画像中の注目位置と第１の三次元画像中の対応位置のディスプレイ上における上下位置が揃う
・第２の三次元画像中の注目位置と第１の変形画像中の対応位置のディスプレイ上における左右位置が揃う
・第１の変形画像中の注目位置と第２の三次元画像中の対応位置のディスプレイ上における左右位置が揃う

一方、それぞれの断面画像を図５に示すように並べて表示する場合には、以下の４つの条件を満たすように、第１の三次元画像の断面画像、第１の変形画像の断面画像、および第２の変形画像の断面画像を平行移動させて表示することが望ましい。
・第２の三次元画像中の注目位置と第２の変形画像中の対応位置のディスプレイ上における左右位置が揃う
・第１の変形画像中の注目位置と第１の三次元画像中の対応位置のディスプレイ上における左右位置が揃う
・第２の三次元画像中の注目位置と第１の変形画像中の対応位置のディスプレイ上における上下位置が揃う
・第１の変形画像中の注目位置と第２の三次元画像中の対応位置のディスプレイ上における上下位置が揃う

＜その他の実施形態＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施できる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、何れも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

１００：画像処理装置、１０２：三次元画像取得部、１０４：変形情報取得部、１０６：変形画像生成部、１１６：表示制御部

Claims (19)

1. 被検体に撮像を行って得られた第１の画像と、前記被検体に前記第１の画像が得られた撮像とは異なる撮像を行って得られた第２の画像とを取得する画像取得部と、
   前記第１の画像と前記第２の画像における前記被検体の変形情報を取得する変形情報取得部と、
   前記第１の画像を前記第２の画像に合わせて変形させた第１の変形画像、および、前記第２の画像を前記第１の画像に合わせて変形させた第２の変形画像を、前記変形情報に基づいて生成する変形画像生成部と、
   前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像の表示部への表示を制御する表示制御部と、
   を有することを特徴とする画像処理装置。
2. 前記第１の変形画像に基づく画像は、前記第１の変形画像自体、または、前記第２の画像に前記第１の変形画像を重畳した画像、または、前記第２の画像と前記第１の変形画像の差分画像であり、
   前記第２の変形画像に基づく画像は、前記第２の変形画像自体、または、前記第１の画像に前記第２の変形画像を重畳した画像、または、前記第１の画像と前記第２の変形画像の差分画像である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御部は、前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像を前記表示部に同時に、または、所定の枚数ずつ切り替えて表示する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変形情報は、前記第１の画像と前記第２の画像における前記被検体の形状の対応を示す
   ことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記変形情報は、前記第２の画像における前記被検体の単位領域に対応する、前記第１の画像における前記被検体の位置を表す変位ベクトルで構成される、変形場の情報であることを特徴とする請求項４に記載の画像処理装置。
6. 前記変形画像生成部は、前記変形情報に基づいて、前記第１の画像における前記被検体を前記第２の画像における前記被検体の形状に合わせて変形させて第１の変形画像を生成し、前記第２の画像における前記被検体を前記第１の画像における前記被検体の形状に合わせて変形させて第２の変形画像を生成する
   ことを特徴とする請求項４または５に記載の画像処理装置。
7. 前記表示制御部は、前記表示部において、前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像を、２×２のタイル状に配置する
   ことを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記表示制御部は、前記表示部において、前記第１の画像および前記第２の画像を対角線上に配置する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の画像および前記第２の画像は三次元画像であり、
   前記表示制御部は、前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像において、対応する断面の断面画像を前記表示部に表示する
   ことを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 前記表示制御部は、前記被検体における前記断面画像の向きと、前記変形情報と、の少なくともいずれかに応じて、前記表示部における前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像を配置する位置を制御する
    ことを特徴とする請求項９に記載の画像処理装置。
11. ユーザからの入力を受ける操作部をさらに有する
    ことを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記変形画像生成部は、前記操作部から入力された情報に基づいて前記断面画像の位置を変更する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記変形画像生成部は、前記操作部から入力された情報に基づいて、前記第１の画像における注目位置と、前記第２の画像における前記注目位置への対応位置を取得し、前記注目位置と前記対応位置の情報を用いて前記第１の変形画像および前記第２の変形画像を生成する
    ことを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記表示制御部は、前記注目位置を示す情報を前記第１の画像および前記第２の変形画像に基づく画像に重ねて表示し、前記対応位置を示す情報を前記第２の画像および前記第１の変形画像に基づく画像に重ねて表示する
    ことを特徴とする、請求項１３に記載の画像処理装置。
15. 前記表示制御部は、前記操作部から入力された情報に基づいて、前記表示部に同時に表示される画像の枚数および組み合わせが異なる複数の表示モードを切り替える
    ことを特徴とする請求項９ないし１４のいずれか１項に記載の画像処理装置。
16. 前記第１の画像と前記第２の画像は、モダリティまたは撮像時期の少なくともいずれかが異なる
    ことを特徴とする請求項１ないし１５のいずれか１項に記載の画像処理装置。
17. 被検体に撮像を行って得られた第１の画像と、前記被検体に前記第１の画像が得られた撮像とは異なる撮像を行って得られた第２の画像とを取得するステップと、
    前記第１の画像と前記第２の画像における前記被検体の変形情報を取得するステップと、
    前記第１の画像を前記第２の画像に合わせて変形させた第１の変形画像、および、前記第２の画像を前記第１の画像に合わせて変形させた第２の変形画像を、前記変形情報に基づいて生成するステップと、
    前記第１の画像、前記第２の画像、前記第１の変形画像に基づく画像、および、前記第２の変形画像に基づく画像の表示を制御するステップと、
    を有することを特徴とする画像処理方法。
18. 被検体にそれぞれ異なる撮像を行って得られた複数の画像を取得する画像取得部と、
    前記複数の画像間における前記被検体の変形情報を取得する変形情報取得部と、
    前記複数の画像のそれぞれを他の画像に合わせて変形させた複数の変形画像を、前記変形情報に基づいて生成する変形画像生成部と、
    前記複数の画像、および、前記複数の変形画像に基づく画像の表示部への表示を制御する表示制御部と
    を有することを特徴とする画像処理装置。
19. 前記表示制御部は、前記表示部において、ｉ番目の画像をタイル状配置の対角位置（ｉ，ｉ）に表示し、ｉ番目の画像をｊ番目の画像に合わせて変形させた変形画像に基づく画像をタイル状配置の位置（ｉ，ｊ）に表示する
    ことを特徴とする請求項１８に記載の画像処理装置。

Images