JP2016126242A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 モザイク画像合成において、ユーザーによる試し操作などで取得した画像についてモザイク画像として合成されてしまうことが多かった。【解決手段】 病理標本を撮像した第１の画像と、第１の画像以降に撮像された第２の画像とを、前記第１の画像と第２の画像の相対位置に応じて連続するように表示する装置において、第１の画像の外側に第１の画像よりも大きい領域を設定・表示し、前記の領域を第２の画像がはみ出したときに前記第１の画像と前記第２の画像を連続するように合成し表示する。さらに、前記第２の画像の前記第１の画像との相対位置が計測不能の際に、前記第１の画像が撮像された以降かつ第２の画像が撮像される前に撮像された前記第１の画像との相対位置が計測可能な第３の画像を前記第１の画像に合成し表示する。【選択図】 図６

Description

本発明は顕微鏡などの撮像装置で取得した画像の合成をするための画像処理技術に関するものであり、病理診断などに適したものである。

従来から、撮像装置と被写体の相対位置関係を変化させて撮像した複数枚の画像を合成することによって、撮像装置本来の視野よりも広い範囲を映し込んだモザイク画像（パノラマ画像とも呼称される）という合成画像を取得する技術がある。

このモザイク画像を病理診断などで用いられる顕微鏡観察に応用した場合、以下の様な問題が生じる。

例えば、顕微鏡においてＸＹステージを操作するための移動つまみを右に回した場合に、接眼レンズに映し出される観察対象がＸ軸方向に動くのかＹ軸方向に動くのかはメーカーや型式などにより異なることが多い。同様に、複数の移動つまみのどちらを動かせば、Ｘ軸とＹ軸の何れの方向に動くのかも異なることがある。

また、顕微鏡の接眼部分に連続撮像可能なデジタルカメラなどの撮像装置を取り付けて撮像した場合、顕微鏡と撮像装置の位置関係が影響し、接眼レンズに映し出される観察範囲と撮像装置の撮像範囲も天地が反転したり９０度回転したりすることもある。これは、顕微鏡はメーカーや型式などによって装置構成が異なることがあり、撮像装置の取り付け位置も変わることが多いためである。このため、余計に、ユーザーにとってステージを移動させる操作と撮像範囲の移動方向との対応関係が分かり難い。

従って、ステージが付いている複数種の装置を利用するユーザーは、実際にステージを適当な方向に動かす操作をしてみることによって、ステージ移動操作と撮像範囲の移動方向との関係を解釈することが多い。しかし、このような操作によって得られる撮像装置の映像を逐次的にモザイク画像として合成すると不必要な画像が合成対象とされることや、重複した画像が多数合成されることが発生する。

合成画像の合成回数を低減させる方法として、特許文献１は、入力部分画像が、画像合成時に合成画像に完全に含まれてしまう場合に書き込みを行わないように制御する技術を提示している。また、特許文献２は、コンソールからの取り込み指示に基づいて静止画像を取得してモザイク画像を生成する手法を提示している。

特開平６−２５９５５７号公報 特開２０１３−２１７０６号公報

しかし、特許文献１の手法では撮像した画像を逐次的に合成する画像処理装置においてユーザーによる試し操作で得られた画像について合成回数を低減させ難い。また、特許文献２のようにユーザーの指示によってモザイク画像を合成する手法ではユーザーにとって利便性が良くない。

そこで、本発明は利便性を落とさずに、ユーザーによる試し操作などで取得した画像について合成する回数を低減させることを目的とする。

上述の課題を解決するために本発明に係る画像処理システムは、病理標本を観察するための顕微鏡と、撮像部と、撮像部から順番に送信される画像を処理する情報処理装置とを有する画像処理システムであって、前記顕微鏡は、当該顕微鏡の視野を前記病理標本に対してｎ軸方向（ｎは１以上の整数）に変位させるための変位手段を備え、前記撮像部は、顕微鏡から得られる視野の少なくとも一部を撮像するためのセンサと、当該センサにより得られたリアルタイム画像を出力する出力手段とを備え、前記情報処理装置は、合成先の画像と、前記出力手段から得られるリアルタイム画像とを取得する取得手段と、前記合成先の画像と当該合成先の画像を包含する領域を表示部に表示させる表示制御手段と、前記合成先の画像と内容が連続するようなリアルタイム画像の位置を取得し、前記領域と前記リアルタイム画像との位置関係に基づいて、前記合成先の画像と前記リアルタイム画像とを合成する画像処理手段とを備えることを特徴とする。有することを特徴とする。

本発明によれば、利便性を落とさずに、ユーザーによる試し操作で取得した画像について合成する回数を低減させることができる。

画像処理システムの全体の模式図である。 画像処理システムの機能構成を示す模式図である。 モザイク画像を表示するユーザインターフェースの概略図である。 モザイク画像を逐次的に合成する表示を示す模式図である。 位置計測出来なかった場合の表示を示す模式図である。 逐次的なモザイク画像合成処理のフローチャートである。 モザイク画像の合成対象となるリアルタイム画像を決定するためのマーカーの例を示す模式図である。 モザイク画像の合成対象となるリアルタイム画像を決定するためのマーカーの設定をするためのユーザインターフェースを示す模式図である。 情報処理装置のハードウェア構成を示す概略図である。

図１は画像処理システムの全体の様子を模式的に表したものである。本明細書においてモザイク合成処理とは、複数の画像データを像の内容がなるべく連続するようにつなぎ合わせる処理を指し、以降の説明ではモザイク合成処理に関する処理を単に画像処理とも呼称する。

画像処理システムは顕微鏡１１００とパーソナルコンピューター１３００とを有し、これらは互いに通信可能に接続されている。

顕微鏡１１００はＸＹステージ１１０１を有し、ユーザーが移動つまみ１１０２を回転させることにより対物レンズ１１０３に対するＸＹステージ上のプレパラート（スライド）１１０４の位置を移動させることができる。移動つまみは、移動軸の数だけあってもよいし軸を切り替える構成にしてもよい。ステージは視野をプレパラート１１０４に対してｎ軸方向（ｎは１以上の整数）に独立して変位させることができればよい。また、顕微鏡１１００は接眼レンズ１１０５を備え、光学系を介してプレパラートの像を肉眼で観察することが出来る。またデジタルカメラ１２００は光学的に顕微鏡１１００の筐体に接続され、プレパラートの像を撮像し取得することができる。デジタルカメラ１２００は病理標本を繰り返し撮像して複数の画像を取得し、撮像した画像をパーソナルコンピューター１３００に送信する。パーソナルコンピューター１３００はコンソールとしてポインティングデバイスであるマウス１３０１、キーボード１３０２、ディスプレイ１３０３（以降、表示部と呼称する）を有している。

図２は、図１の画像処理システムの機能構成をより詳細化したものである。図１と同じ符号を付したものについては同一の構成であり、補足内容が無ければ説明を省略する（図９についても同様）。

顕微鏡１１００は、顕微鏡制御部２００５、顕微鏡光学系２００６および顕微鏡操作部２００７を備えている。顕微鏡操作部２００７についてユーザーの指示を受け、ユーザーの指示を顕微鏡制御部２００７が解釈して各種信号を発行する。例えば、ステージ１１０１を移動させたり、顕微鏡光学系２００６の対物レンズを倍率の異なるものに切り替えたり、光量を変えたり、対物レンズの位置を移動させてピントを調節する信号を発行する。もちろん、顕微鏡操作部２００７から機械的な駆動力を伝達させて上記の構成を操作してもよい。

デジタルカメラ１２００は、カメラ操作部２００１、カメラ表示部２００２、撮像部２００３、カメラ通信部２００４を備えている。カメラ操作部はデジタルカメラ側で撮像条件（撮像間隔、露光条件）の設定や、撮像モード（ＩＳＯ感度、自動ホワイトバランス有無）の選択、記録データ形式（ＲＡＷ、ＪＰＥＧ）の選択ができる。カメラ表示部２００２は撮像条件や撮像モードなどを表示する。ライブビューとして機能させることも可能である。撮像部２００３はＣＭＯＳセンサを含み、実際に顕微鏡光学系を介してデジタルカメラ１２００に入力される光を像としてデジタル出力する構成である。カメラ通信部２００４は有線接続（例えば、ＵＳＢ接続）または無線接続（Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ）によってパーソナルコンピューター１３００と通信する。例えば、カメラ通信部２００４は、撮像した画像データを撮像した順番（時系列順）で出力したり、撮像条件や撮像モード等を示すパラメータをパーソナルコンピューター１３００へ出力したりする。カメラ通信部２００４は撮像した画像データを複数枚同時に出力するようにしてもよい。

なお、パーソナルコンピューター１３００（図９の説明では情報処理装置９０００と呼称する。）のハードウェア構成は図９に示す通りである。ハードウェア構成として情報処理装置９０００は、筐体９００１、ＣＰＵ９００２、ＲＡＭ９００３、ＳＳＤ９００４、ＵＳＢ制御部９００５、ＮＩＣ９００６、ＧＰＵ９００７、ハードウェア構成と機能構成とを対応づけて説明する。ここで、通信部撮像情報システム２１００や画像管理サーバ２１０２の構成は情報処理装置９０００の筐体９００１内部の構成と同様なのでハード構成の説明は省略する。筐体９００１は不図示の電源ユニットを備え、筐体内の各構成および筐体外の構成の一部に電源を供給する。ＣＰＵ９００２はＲＡＭ上のプログラムを実行する。ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）９００４は大容量記憶装置であり、且つ不揮発性のメモリである。主に、ＮＡＮＤ型のフラッシュメモリを備える。

ＲＡＭはＤＤＲ―ＳＤＲＡＭなどの不揮発性のメモリであり、ＲＯＭ（不図示）やＳＳＤ９００４の保持しているプログラムを展開（解凍）したもの（プログラムコード９００８）を保持する。ＵＳＢ制御部９００５は外部インターフェースである。例としてＵＳＢを上げたが、ＩＥＥＥ１３９４などの他の周辺機器接続方式であってもよい。ＧＰＵ９００７はグラフィックアクセラレーターであり、画像処理の一部を実施する。

パーソナルコンピューター１３００は画像取得部２０５１、検出部２０５２、判定部２０５３、システム制御部２０５４、画像処理部２０５５、表示制御部２０５６、メモリ２０５７、通信部２０５８、操作部２０５９、表示部１３０３を有する。

パーソナルコンピューター１３００は、不図示のＲＯＭのプログラムをＲＡＭに展開し、ＣＰＵがＲＡＭ上のプログラムを実行することにより、後述の機能やフローチャートの処理を実現する。通信部２０５７は、デジタルカメラ１２００から送信される画像データや撮像条件などのパラメータを取得する（図９のＮＩＣ９００６に相当する。ＮＩＣはＮｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略）。通信部２０５７は撮像情報システム２０７１や画像管理サーバ２０７２とも通信可能に接続されている。

図２のパーソナルコンピューター１３００の中に示す各構成は、基本的にはパーソナルコンピューター１３００のＣＰＵ９００７やＧＰＵ９００７がメモリ２０５６のプログラムコード９００８を実行することによって実現される機能である。メモリ２０５６はＲＡＭ９００３やＳＳＤ９００４であり、画像やＯＳ（オペレーションシステム）のプログラムコード等を保持する。

図３は表示部１３０３が表示する内容を模式的に表した図で、プレパラート１０４上の病理標本を撮像した複数の顕微鏡画像が合成されたモザイク画像を表示する画面を示している。画像表示エリア３００１に付属するように、縦横の表示位置を決定するスクロールバー３００２、画像表示エリアの拡大率を決定するズームバー３４００がある。ズームバー３４００は拡大率を数値で入力するためのボックス３４０１と、スライダーの位置で拡大率を設定するためのスライダー部３４０２とを有している。また、ズームバー３４００はスナップ動作設定スイッチ３４０３のオンオフの切り替えにより、スライダーを目盛り以外の場所にも連続的に配置できる第１モード（スナップモードオフ）と、目盛の上（又は、メモリの幅毎に）しか配置できない第２モード（スナップモードオン）のいずれかを選択することが可能である。図示しているのはスナップモードオンであり、メモリの幅毎にスライダーをズラして配置することができる。

また、顕微鏡１１００がリアルタイムに撮像した画像（以降、リアルタイム画像と称す）の外周に表示部１３０３が点線の矩形枠３００４を表示している。さらに、表示部１３０３は矩形枠３００４を包含するように１点鎖線の矩形枠３００３を表示している。矩形枠３００３についての詳細は後述する。

次に、図６を用いて本実施形態における逐次的なモザイク合成処理について説明する。

ステップＳ６０１では、画像取得部２０５１がデジタルカメラ１２００から通信部２０５７を介して画像を取り込む。画像取得部２０５１は撮像情報システム２０７１や画像管理サーバ２０７２などの画像保存機器から画像を取り込んでもよい。

ステップＳ６０２では、検出部２０５２がステップＳ６０１で新しく取り込んだリアルタイム画像についてモザイク画像（合成先の画像）に対する位置（相対位置）を測定（検出）する。画像取得部２０５１が、モザイク合成処理を開始して最初に画像を取得する際には、最初に取得した画像をモザイク画像として扱うのでステップＳ６０２〜Ｓ６０４の処理をスキップしてステップＳ６０５に遷移する。なお、モザイク画像に重畳される画像のモザイク画像に対する位置の計測は、テンプレートマッチングやオプティカルフローなどを用いた画像処理によるものや、ステージ移動量を物理的に計測する部を使用することが出来る。

例えば、テンプレートマッチングではリアルタイム画像の一部をテンプレートとして決めて、モザイク合成画像上にこのテンプレートを走査させながら各位置における類似度を算出し、類似度が高い箇所を特定する。これにより、リアルタイム画像のテンプレート部分とモザイク合成画像上の類似部分との相対位置関係を取得することができる。また、オプティカルフローは小領域毎にアフィン変換や並進によって移動していると仮定し、移動先の小領域として相応しい領域を独立して推定することによって、小領域毎の移動（オプティカルフロー）の探索を行う手法である。

本実施形態ではテンプレートマッチングを用いており、ステージ移動量を物理的に計測する構成を必要とせず、同じ画像処理を用いた方法であるオプティカルフローを用いた方法よりもノイズが少ない計測が可能である。

ステップＳ６０３では、判定部２０５３がステップＳ６０２においてリアルタイム画像の位置を計測できたかどうかを判定する。位置を計測出来たと判定した場合はステップＳ６０４に遷移する。リアルタイム画像を１枚しかとりこんでいない最初のサイクルではスキップする。

ステップＳ６０４では、表示制御部２０５６が前のサイクルでモザイク画像に重畳表示した画像を表示内容から消去する。リアルタイム画像を１枚しかとりこんでいない最初のサイクルではスキップする。

ステップＳ６０５では、表示制御部２０５６はモザイク画像にステップＳ６０１で取り込んだ画像を重畳表示するように制御する。この重畳表示する位置はステップＳ６０２で検出した位置である。

ステップＳ６０６では、表示制御部２０５６は、重畳表示するリアルタイム画像３００４が、矩形枠３００３の領域外にはみ出たかどうかを判定する。判定の結果、はみ出たと判断した場合はステップＳ６０７に遷移する。

ステップＳ６０７では、画像処理部２０５５がステップＳ６０２で取得した画像をモザイク画像に追加して合成する処理を実施する。そして、表示制御部２０５６はモザイク画像に追加した画像を中心として囲む様な矩形枠３００３を再設定して表示するように制御する。

一方で、ステップＳ６０３において計測できていないと判断した場合はステップＳ６０８に遷移し、表示制御部２０５６が前のサイクルでモザイク画像に重畳表示した画像を表示内容から消去する。

ステップＳ６０９では、画像処理部２０５５が、モザイク画像に合成されていないリアルタイム画像で位置計測が成功し、かつ、領域外にはみだしていないものをモザイク画像に追加するように合成する。

ステップＳ６１０では、位置計測出来なかったリアルタイム画像を取り込み画像に重畳表示する。

ステップＳ６０７、Ｓ６０８およびＳ６１０からステップＳ６１１に遷移した際に、ステップＳ６１１では、システム制御部２０５４が逐次的なモザイク画像の合成処理を終了するかどうかを判断する。例えば、ユーザーが合成処理の終了を指示したり、合成処理をしない別のモードに切り替え指示をしたり、メモリ２０５７の記憶容量が不十分になったり、画像取得部２０５１が所定時間以上次の画像を取得しなかったりすることが終了判断の根拠となる。

本実施形態では図６の処理をループする毎（Ｓ６１１でＮＯ判定する毎）にステップＳ６０１で画像取得部２０５１が画像を取得している。しかし、ユーザーに見せるリアルタイムの画像をより滑らかにするためにステップ６０１で奇数番目を取得した際にフローチャートを実行するようにしてもよい。このようにすると、ユーザーに見えるリアルタイムの画像を６０ｆｐｓにして３０ｆｐｓの画像を用いてモザイク合成することができる。

次に図６の処理によって画像表示エリア３００１の内容がどのように遷移するかを図４、図５を用いて説明する。図４（ａ）〜（ｅ）は、時刻順に並んでおり、図４（ａ）が一番古く図４（ｅ）が最新である。

図４の矩形枠４００２（点線）は図３の矩形枠３００４に相当し、顕微鏡１１００が撮像したリアルタイム画像を囲んでいる。矩形枠４００１（１点鎖線）は図３の矩形枠３００３に相当し、逐次的にモザイク画像として合成する対象を決定するためのトリガとして機能する。詳細には、ステージ移動に伴い矩形枠４００２が矩形枠４００１に接する時、もしくは矩形枠４００２が矩形枠４００１からはみ出た時の矩形枠４００２のリアルタイム画像を合成対象とする。なお、本実施形態においてリアルタイム画像は接眼レンズ側の実際の顕微鏡視野を矩形で切り取ったものに相当する。これは、撮像部２００３のＣＭＯＳセンサが矩形であるためである。

図４（ａ）は、ステージ１１０１に配置されたプレパラート１１０４について、逐次てきなモザイク合成処理を開始してデジタルカメラ１２００が撮像した最初の撮像画像を、表示制御部２０５６が表示部１３０３に表示させた直後の状態である。最初の撮像画像が描画されるまでは矩形枠４００１を表示しなくてもよいが、矩形枠４００２はどこにリアルタイム画像が描画されるのかがユーザーにとって分かり易いので表示することが好ましい。この時点では最初に撮像した画像はそのままモザイク画像として表示している。この時点では、モザイク画像とリアルタイム画像は同様であり矩形枠４００２ａ（以降は単に、リアルタイム画像４２００という風に呼称する）の大きさの画像である。

図４（ｂ）は、図４（ａ）の状態からステージを左上方向に動かした時の様子を示している。この例ではステージの移動に伴って病理標本の撮像部位（顕微鏡の視野）が右下に移動している。そして、画像取得部２０５１がリアルタイムに取得したリアルタイム画像４００２ｂを、表示制御部２０５６が図４（ａ）のリアルタイム画像４００２ａと異なる位置に、モザイク画像（ここではリアルタイム画像４００２ａ）に重畳して表示する。その際に、検出部２０５２が検出した相対位置（モザイク画像に対するリアルタイム画像４００２ｂの相対的な位置）に基づいて重畳表示するので、モザイク画像とリアルタイム画像４００２ｂの画像の内容は滑らかに連続している。ここで、図４（ａ）から図４（ｂ）への顕微鏡視野の移動方向がユーザーの意図するものではなかったとする。

図４（ｃ）は、ユーザーが顕微鏡視野を右上方向に動かすようにステージ１１０１を操作し直した状態を示す。本実施形態では、モザイク画像に対するリアルタイム画像の相対位置を検知出来なかった場合を除き、図４（ａ）〜図４（ｃ）の様に、表示位置（矩形枠４００２）が矩形枠４００１内に留まるリアルタイム画像４００２はモザイク画像に追加して合成しない。なお、矩形枠４００１に収まるリアルタイム画像４００２の一部はメモリ２０５７に保存しないで重畳するようにしてもよい。

図４（ｄ）は、図４（ｃ）の状態でユーザーが意図した方向にステージを移動させていることを確認した後に、さらに右上方向にステージを移動させた状態である。図４（ｄ）ではリアルタイム画像４００２ｄの少なくとも一部が矩形枠４００１の外にはみ出しているため、リアルタイム画像４００２ｄがモザイク画像に追加される（ステップＳ６０６、Ｓ６０７相当）。なお、図４（ｄ）では、説明の簡便のため、矩形枠４００１をはみ出すリアルタイム画像４００２ｄを強調しているが、撮像、移動量の計測、境界外への移動の判定サイクルなどが短い場合は、枠外にはみ出ている部分は僅かとなる。

図４（ｅ）は、表示制御部２０５６が合成対象を決定する矩形枠４００３を、直近で合成したリアルタイム画像の合成前の位置に基づいて再設定した状態である。ここでは、説明の簡便のために矩形枠を再設定する際にリアルタイム画像が表示領域の中央になるように、リアルタイム画像と合成中のモザイク画像とを表示し直している。しかし、リアルタイム画像４００２が常に表示領域の中央になるようにしてもよい。

続いて、モザイク画像に重畳される画像（以降、リアルタイム画像５００２と称す）のモザイク画像に対する位置が計測出来なかった場合について図５を用いて説明する。図５は左上方向に視野を移動している途中の様子を表しており、図５（ａ）図５（ｂ）では重畳して表示される画像はモザイク画像に対する位置を反映して表示制御部２０５６が表示している。

ここで、視野が、本来図５（ｃ）の様に表示されるべき位置に移動した時点で、リアルタイム画像５００２のモザイク画像に対する位置が計測出来なかった場合、画像処理部２０５５は図５（ａ）または図５（ｂ）で表示していたリアルタイム画像５００２ａまたは５００２ｂをモザイク画像に追加する。図５（ａ）及び図５（ｂ）で表示されていた画像は領域外にはみだしていない重畳表示画像（リアルタイム画像）であって、位置計測に成功したものの一つに相当する。リアルタイム画像５００２ｂを追加して合成した結果のモザイク画像を図５（ｄ）に示す。この時、矩形枠５００１は再設定しない。また、図５（ｄ）において取得したリアル画像５００２ｅが重畳して表示されるため、図５（ｄ）のモザイク画像を表示する実際の画面は図５（ｅ）となる。

図５（ｅ）では、モザイク画像に対する位置が計測出来なかったリアルタイム画像５００２ｅ画像を、矩形枠５００１の中央に表示している。しかし、リアルタイム画像５００２ｅは最後に位置計測したリアルタイム画像の位置に表示してもよいし、別のウィンドウに表示するようにしてもよい。また、矩形枠５００１は再設定するようにしてもよい。

なお、図４で説明した動作は図６のフローにおいて経路１を２回通過した後に経路２を通過したものであり、図５を用いて説明した動作は図６のフローにおいて経路１を２回通過した後に経路３を通過したものとなる。

矩形枠３００３のように逐次的にモザイク画像として合成する対象のリアルタイム画像を決定するためのトリガとして機能する表示（マーカー）の形態は種々の方式が考えられる。図７は矩形枠３００３が示す領域を別の形態によって識別可能にするための表示例を示したものであり、図７（ａ）〜図７（ｅ）は同様の内容を示している。

図７（ａ）の例は、図３〜図５を用いて上述した内容と同様である。矩形枠７００２は矩形枠３００４に相当し、矩形枠７００１ａは矩形枠３００３に相当する。図７（ｂ）は矩形枠７００１ａの四隅のそれぞれに四角形７００３〜７００６を配置して示したものである。図７（ｂ）において矩形枠７００１ａは表示しなくても構わない。図７（ｃ）は矩形枠３００３を直線７００７〜７０１０で表現したものである。図７（ｄ）は矩形枠３００３を枠７０１１と三角形７０１２〜７０１９で表現したものであり、対向する三角形の頂点（枠７０１１と重なる頂点）どうしを結んだ直線に囲まれる領域が矩形枠３００３に相当する。図７（ｄ）は矩形３００３を示す表示をモザイク画像に重畳させないので、矩形枠３００３によるモザイク画像の隠れ（オクルージョン）を抑制できる。このように、モザイク画像やリアルタイム画像の外側にマーカーを表示させることで、モザイク画像やリアルタイム画像の視認性を高めることができる。

また、図７（ｅ）の枠７００１ｅように、合成する対象のリアルタイム画像を決定するためのトリガとして機能する表示は矩形枠でなくてもよい。デジタルカメラ１２００は顕微鏡の鏡筒を介して画像を取得するので、円形の枠をリアルタイム画像の枠やトリガとしてのマーカーに利用するようにしてもよい。

図８（ａ）は、矩形枠８００２（矩形枠３００３に相当する）の設定画面であり、スライドバー部８００６において、スライダーもしくは数値入力によってリアルタイム画像を表示する枠８００３と矩形枠８００２ａとの間隔（または矩形枠８００２のサイズ）を設定する。またスライドバー部８６００のチェックボックスのチェックにより枠の形態を図８（ａ）の８００２ａと図８（ｂ）の８００２ｂとの間で切り替えられる。ズームバー部８００５はズームバー部３４００と同様なので説明を省略する。

図８では画面上での長さとして間隔を入力する例を示しているが、モザイク画像に追加される画像に対する割合を設定するようにしてもよい。また、図８には示していないが、矩形枠８００２の表示・非表示を選択するためのチェックボックスを設けてもよい。
また、撮像された画像が領域をはみ出したかどうかの判定は、モザイク画像や撮像された画像、設定された領域の表示装置上の位置関係を計算および設定する過程で得られる情報に基づいて行うだけでなく、表示装置に送られる表示信号に基づいて行う方法や、表示装置の表示状況を画像処理して行っても構わない。

以上に説明した様に本実施形態によれば、画像取得部２０５１は、病理標本を撮像した第１の画像と、第１の画像以降に撮像された第２の画像とを取得する。表示制御部２０５６は前記第１の画像の外側に該第１の画像よりも大きい領域を設定する設定部として機能する。そして表示制御部２０５６はさらに、設定された領域を前記第２の画像がはみ出したときに前記第１の画像と前記第２の画像を連続するように合成した画像を表示させる。このようにすることで、利便性を落とさずに、ユーザーによる試し操作で取得した画像について合成する回数を低減させることができる。詳細には、モザイク画像に追加して合成するインターフェースについて、いわゆる「遊び」が実現される。このため、顕微鏡の視野とステージ操作部との関係が直観的に把握し難い場合でも、ユーザーが追加合成される条件を「遊び」として把握できるため、不要な画像がモザイク画像に追加合成されることを低減できる。また、追加合成のための指示をユーザーが逐一コンソールからの指示をしなくて済むので利便性が高い。

一方で検出部２０５２は、前記第２の画像の前記第１の画像との相対位置関係を取得する位置取得手段として機能する。そして、表示制御部２０５６は、前記相対位置関係が取得できない場合に、前記第１の画像が撮像された以降かつ第２の画像が撮像される前に撮像された前記第１の画像との相対位置が取得できる第３の画像を前記第１の画像に合成した画像を表示させる。これにより、第２の画像との相対的な位置関係が得られない場合であっても、位置関係が得られる第３画像を第１の画像と適宜合成することにより、モザイク画像を得ることができる。

上述の説明では省略したが、モザイク合成は既存の手法を用いればよい。モザイク合成は「位置合わせ」と「色合わせ」がポイントであり、位置合わせについては上述した相対位置に基づいて位置合わせを行えばよい。追加合成するリアルタイム画像についてレンズによる歪曲収差を補正することも好ましい。

色合わせについて、デジタルカメラ１２００は撮像した画像毎に色味を調節する機能があるので、リアルタイム画像をモザイク画像の色味に合わせるように処理をすることが好ましい。

また、モザイク画像に重畳される画像のモザイク画像に対する位置が計測出来なかった場合は遊びの範囲で位置計測できた画像を追加合成できるようにするため、位置計測可能な範囲でモザイク画像を拡張することができる。

また、以上の実施形態ではデジタルカメラ１２００から取得した画像をそのままモザイク画像に重畳表示およびモザイク合成する場合を取り上げたが、取得した画像の少なくとも一部を重畳表示およびモザイク合成するようにしてもよい。

上述の実施形態ではパターンマッチング等の画像処理によって位置計測する形態を説明したが、単純に顕微鏡のステージの移動量からリアルタイム画像とモザイク合成画像の相対位置を取得するようにしてもよい。その場合は、基本的に相対位置の計測値は得られるのでステップＳ６０３の判定をスキップしてもよい。

また、顕微鏡１１００のＸＹステージ１１０１を素早く走査させる際には矩形枠３００３を表示させないようにしてもよい。例えば、表示制御部２０５６は、単位時間あたりの矩形枠３００３の更新（位置の変更）が所定回数以上になると、ユーザーは矩形枠３００３を意識せずにステージ１１０１を操作していることになるので矩形枠３００３の表示をフェードアウトさせる。そして、表示制御部２０５６は、単位時間あたりの矩形枠３００３の更新（実際には表示しない）が所定回数より小さくなりそうなことが検出できたら矩形枠３００３の表示をフェードインさせる。

また、上述の実施形態ではＸＹステージ１１０１を移動させているが、固定ステージを採用して顕微鏡側を移動させることで視野に変位を与えてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が、コンピュータが読み取り可能なプログラムを読み出して実行する処理である。

プログラムを供給するための記憶媒体としては、例えば、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカードなどを用いることが出来る。これらの記憶媒体は、上述実施形態の機能を実現する二次記憶装置としても用いることが出来る。上述の実施形態では二次記憶装置としてＦｌａｓｈ ＳＳＤを例にしたが、電子の移動によって物理的に劣化する記憶素子を備える記憶装置であれば本発明を適用することで同様の効果を得ることができる。

Claims (17)

1. 病理標本を観察するための顕微鏡と、撮像部と、撮像部から順番に送信される画像を処理する情報処理装置とを有する画像処理システムであって、
   前記顕微鏡は、当該顕微鏡の視野を前記病理標本に対してｎ軸方向（ｎは１以上の整数）に変位させるための変位手段を備え、
   前記撮像部は、顕微鏡から得られる視野の少なくとも一部を撮像するためのセンサと、当該センサにより得られたリアルタイム画像を出力する出力手段とを備え、
   前記情報処理装置は、
   合成先の画像と、前記出力手段から得られるリアルタイム画像とを取得する取得手段と、
   前記合成先の画像と当該合成先の画像を包含する領域を表示部に表示させる表示制御手段と、
   前記合成先の画像と内容が連続するようなリアルタイム画像の位置を取得し、前記領域と前記リアルタイム画像との位置関係に基づいて、前記合成先の画像と前記リアルタイム画像とを合成する画像処理手段と
   を備えることを特徴とする画像処理システム。
2. 前記取得手段は、病理標本を撮像した第１の画像と、第１の画像以降に撮像された第２の画像とを取得し、
   前記第１の画像の外側に該第１の画像よりも大きい領域を設定する設定手段と、を有し、
   前記表示制御手段は、前記設定された領域を前記第２の画像がはみ出したときに前記第１の画像と前記第２の画像を連続するように合成した画像を表示させることを特徴とする請求項１に記載の画像処理システム。
3. 前記第２の画像の前記第１の画像との相対位置関係を取得する位置取得手段をさらに有し、
   前記相対位置関係が取得できない場合に、前記第１の画像が撮像された以降かつ第２の画像が撮像される前に撮像された前記第１の画像との相対位置が取得できる第３の画像を前記第１の画像に合成した画像を表示させることを特徴とする請求項２に記載の画像処理システム。
4. 前記表示制御手段は、前記リアルタイム画像を前記合成先の画像に合成したことに基づいて前記領域を合成したリアルタイム画像を包含する位置に変更して表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記画像処理手段では前記リアルタイム画像の一部が前記領域からはみ出るような位置であるかどうかを位置関係として判断し、はみ出る場合に当該リアルタイム画像を合成対象として決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
6. 前記取得手段は複数のリアルタイム画像を時系列順に取得し、
   前記複数のリアルタイム画像の少なくとも１つについて前記合成先の画像と内容が連続するような位置を取得できなかった場合に、前記領域と前記リアルタイム画像との位置関係に関わらず、前記複数のリアルタイム画像のうち位置を取得できたものについて前記画像処理手段が前記合成先の画像に合成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 前記画像処理手段が、前記領域と前記リアルタイム画像との位置関係に関わらず前記複数のリアルタイム画像のうち位置を取得できたものについて前記合成先の画像に合成した場合、前記表示制御手段は前記領域の位置を変更しないことを特徴とする請求項６に記載の画像処理システム。
8. 第１の画像と、標本を撮像することにより得られる第２の画像とを取得する取得工程と、
   第１の画像と当該第１の画像を包含する領域を表示させる第１制御工程と、
   前記第１の画像と内容が連続するような第２の画像の位置を取得し、前記領域と前記第２の画像との位置関係に基づいて、当該第２の画像を合成対象とするかどうかを判定する判定工程と、
   前記判定工程の結果に基づいて前記第１の画像と前記第２の画像とを合成する画像処理工程と
   を有することを特徴とする画像処理方法。
9. 前記第２の画像を前記第１の画像に合成したことに基づいて前記領域を合成した第２の画像を包含する位置に変更して表示させる第２制御工程を更に有することを特徴とする請求項８に記載の画像処理方法。
10. 前記判定工程では前記第２の画像の一部が前記領域からはみ出るような位置であるかどうかを位置関係として判断し、はみ出る場合に当該第２の画像を合成対象として決定することを特徴とする請求項８または９に記載の画像処理方法。
11. 前記取得工程では複数の第２の画像を取得し、
    前記判定工程で、前記複数の第２の画像の少なくとも１つについて前記第１の画像と内容が連続するような位置を取得できなかった場合に、前記第２制御工程では前記領域と前記第２の画像との位置関係に関わらず、前記複数の第２の画像のうち位置を取得できたものについて前記画像処理工程で前記第１の画像に合成することを特徴とする請求項９に記載の画像処理方法。
12. 前記画像処理工程で、前記領域と前記第２の画像との位置関係に関わらず第２の画像のうち位置を取得できたものについて前記第１の画像に合成した場合、前記第２制御工程において前記領域の位置を変更しないことを特徴とする請求項１１に記載の画像処理方法。
13. 前記第１制御工程は、前記領域のサイズの指示を受け付けて、受け付けたサイズに基づいて前記領域を表示させることを特徴とする請求項８乃至１２のいずれか１項に記載の画像処理方法。
14. 前記第１制御工程は、前記領域を識別可能にするために前記第１の画像または前記第２の画像の外側にマーカーを表示させることを特徴とする請求項８乃至１３のいずれか１項に記載の画像処理方法。
15. 前記第１制御工程は、単位時間あたりの前記領域の変更が所定回数以上になると、前記領域の表示をフェードアウトさせることを特徴とする請求項８乃至１４のいずれか１項に記載の画像処理方法。
16. 前記第１制御工程は、単位時間あたりの前記領域の変更が所定回数より小さくなると、前記領域の表示をフェードインさせることを特徴とする請求項１５に記載の画像処理方法。
17. コンピュータに、
    第１の画像と、標本を撮像することにより得られる第２の画像とを取得する取得工程と、
    第１の画像と当該第１の画像を包含する領域を表示させる第１制御工程と、
    前記第１の画像と内容が連続するような第２の画像の位置を取得し、前記領域と前記第２の画像との位置関係に基づいて、当該第２の画像を合成対象とするかどうかを判定する判定工程と、
    前記判定工程の結果に基づいて前記第１の画像と前記第２の画像とを合成する画像処理工程と
    を実行させることを特徴とするコンピュータが読み取り可能なプログラム。

Images