JP2003087549A - 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、複数枚の撮影画像を実際の位置
関係と対応するようにモニタ画面上に２次元配置する際
の操作が簡単となるとともに画像の配置ミスが起こりに
くくなる画像合成装置を提供することを目的とする。 【解決手段】 合成すべき複数枚の画像をモニタ画面上
にｍ行ｎ列に配置させるための複数種類の画像配置パタ
ーンを含む画像配置パターン選択画面をモニタ画面に表
示させる手段、画像配置パターン選択画面上において複
数種類の画像配置パターンから１つの画像配置パターン
をユーザに選択させるための手段、ならびにユーザによ
って選択された画像配置パターンにしたがって、合成す
べき複数枚の画像をモニタ画面上にｍ行ｎ列配置させる
手段を備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、たとえば、複数
の顕微鏡画像から、各画像を自動的に接合し、高解像度
かつ広視野の合成画像を獲得するための、画像合成装
置、画像合成方法、画像合成プログラムを記録したコン
ピュータ読み取り可能な記録媒体に関する。

【０００２】

【従来の技術】〔１〕従来のオプティカルフローの算出
方法についての説明

【０００３】２枚の画像からオプティカルフローを計算
し、得られたオプティカルフローに基づいて、２枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。

【０００４】（１）Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。

【０００５】Lucas-Kanade法の詳細については、文献：
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。

【０００６】以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。

【０００７】

【数１】

【０００８】２次元画像でオプティカルフロー｛ｖ＝
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。

【０００９】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ₀ （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ₁ （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。

【００１０】

【数２】

【００１１】ここで、ｖが微少な場合には、テーラー展
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。

【００１２】

【数３】

【００１３】ここで、ｇ（ｐ）は、Ｉ₁ （ｐ）の一次微
分である。

【００１４】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式４の関係が成り立つ。

【００１５】

【数４】

【００１６】故にオプティカルフローｖは次式５で求め
られる。

【００１７】

【数５】

【００１８】更に、次式６に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。

【００１９】

【数６】

【００２０】（２）階層的推定法 Lucas-Kanade法を含む勾配法の最も大きな問題点は、良
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。

【００２１】これは、まず、２枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。

【００２２】図４は原画像を、図３は図４の原画像より
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。

【００２３】図１の画像（階層１の画像）、図２の画像
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。

【００２４】しかしながら、ここでの問題点は、実画像
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。

【００２５】〔２〕本出願人が開発したオプティカルフ
ロー算出方法についての説明。

【００２６】本出願人が開発したオプティカルフロー算
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。

【００２７】本出願人が開発したオプティカルフロー推
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。

【００２８】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。

【００２９】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。

【００３０】

【数７】

【００３１】この行列Ｇの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λ_min と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。

【００３２】

【数８】

【００３３】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。

【００３４】図５にフローベクトルの膨張処理の様子を
示す。

【００３５】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。

【００３６】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。

【００３７】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。

【００３８】

【数９】

【００３９】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。

【００４０】図６（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。

【００４１】〔３〕画像の合成技術についての説明

【００４２】本出願人は、複数枚の撮像画像を、画像間
の幾何変換係数を算出し、算出した幾何変換係数に基づ
いて合成する技術（画像合成ソフト）を開発している。

【００４３】ところで、本出願人が開発した画像合成ソ
フトでは、２次元配列状に撮像した複数の画像を連結し
て１枚の合成画像を生成する場合、まず、複数枚の撮影
画像をそれらの配置位置が実際の相対位置関係と合致す
るように、モニタ画面上に２次元配置させる。この配置
位置情報（画像間の相対位置関係）を利用して、画像の
重なり部を抽出すべき隣接画像ペアを決定し、各隣接画
像毎に画像の重なり部を抽出する。各隣接画像毎に抽出
した画像の重なり部を利用して、各隣接画像毎に、特徴
点の対応付けを行なう。各隣接画像毎に対応付けられた
特徴点を利用して、各隣接画像毎に幾何変換係数を算出
し、各隣接画像毎に算出された幾何変換係数を利用して
全画像を合成する。

【００４４】現状では、複数枚の撮影画像をそれらの配
置位置が実際の相対位置関係と合致するようにモニタ画
面上に２次元配置する際、ユーザが各画像毎にその配置
位置を設定していた。このため、複数枚の撮影画像をモ
ニタ画面上に２次元配置させるための操作が面倒である
という問題がある。また、ユーザが１枚ずつ撮像画像の
配置位置を設定するため、画像の配置ミスが起こりやす
いという問題がある。

【００４５】

【発明が解決しようとする課題】この発明は、複数枚の
撮影画像を実際の位置関係と対応するようにモニタ画面
上に２次元配置する際の操作が簡単となるとともに画像
の配置ミスが起こりにくくなる画像合成装置、画像合成
方法および画像合成処理プログラムを記録したコンピュ
ータ読み取り可能な記録媒体を提供することを目的とす
る。

【００４６】

【課題を解決するための手段】この発明による画像合成
装置は、合成すべき複数枚の画像を、それらの配置位置
が実際の相対位置関係と合致するように、モニタ画面上
にｍ行ｎ列（ｍ，ｎとも自然数）配置させ、各画像の配
置位置情報を利用して、全画像を合成する画像合成装置
において、合成すべき複数枚の画像をモニタ画面上にｍ
行ｎ列に配置させるための複数種類の画像配置パターン
を含む画像配置パターン選択画面をモニタ画面に表示さ
せる手段、画像配置パターン選択画面上において複数種
類の画像配置パターンから１つの画像配置パターンをユ
ーザに選択させるための手段、ならびにユーザによって
選択された画像配置パターンにしたがって、合成すべき
複数枚の画像をモニタ画面上にｍ行ｎ列配置させる手段
を備えていることを特徴とする。

【００４７】ユーザに合成すべき複数枚の画像を選択さ
せるとともに、選択した画像に応じて行数ｍと列数ｎと
をユーザに設定させるための手段を備えていることが好
ましい。また、今回においてユーザによって選択された
画像配置パターンを、次回の画像配置パターン選択時に
選択パターンの初期値とする手段を備えていることが好
ましい。

【００４８】この発明による画像合成方法は、合成すべ
き複数枚の画像を、それらの配置位置が実際の相対位置
関係と合致するように、モニタ画面上にｍ行ｎ列（ｍ，
ｎとも自然数）配置させ、各画像の配置位置情報を利用
して、全画像を合成する画像合成方法において、合成す
べき複数枚の画像をモニタ画面上にｍ行ｎ列に配置させ
るための複数種類の画像配置パターンを含む画像配置パ
ターン選択画面をモニタ画面に表示させるステップ、画
像配置パターン選択画面上において複数種類の画像配置
パターンから１つの画像配置パターンをユーザに選択さ
せるステップ、ならびにユーザによって選択された画像
配置パターンにしたがって、合成すべき複数枚の画像を
モニタ画面上にｍ行ｎ列配置させるステップを備えてい
ることを特徴とする。

【００４９】ユーザに合成すべき複数枚の画像を選択さ
せるとともに、選択した画像に応じて行数ｍと列数ｎと
をユーザに設定させるステップを備えていることが好ま
しい。また、今回においてユーザによって選択された画
像配置パターンを、次回の画像配置パターン選択時に選
択パターンの初期値とするステップを備えていることが
好ましい。

【００５０】この発明による記録媒体は、合成すべき複
数枚の画像を、それらの配置位置が実際の相対位置関係
と合致するように、モニタ画面上にｍ行ｎ列（ｍ，ｎと
も自然数）配置させ、各画像の配置位置情報を利用し
て、全画像を合成する画像合成処理プログラムを記録し
たコンピュータ読み取り可能な記録媒体であって、合成
すべき複数枚の画像をモニタ画面上にｍ行ｎ列に配置さ
せるための複数種類の画像配置パターンを含む画像配置
パターン選択画面をモニタ画面に表示させるステップ、
画像配置パターン選択画面上において複数種類の画像配
置パターンから１つの画像配置パターンをユーザに選択
させるステップ、ならびにユーザによって選択された画
像配置パターンにしたがって、合成すべき複数枚の画像
をモニタ画面上にｍ行ｎ列配置させるステップをコンピ
ュータに実行させるためのプログラムを記録しているこ
とを特徴とする。

【００５１】ユーザに合成すべき複数枚の画像を選択さ
せるとともに、選択した画像に応じて行数ｍと列数ｎと
をユーザに設定させるステップをコンピュータに実行さ
せるためのプログラムを記録していることが好ましい。
また、今回においてユーザによって選択された画像配置
パターンを、次回の画像配置パターン選択時に選択パタ
ーンの初期値とするステップをコンピュータに実行させ
るためのプログラムを記録していることが好ましい。

【００５２】

【発明の実施の形態】以下、この発明を顕微鏡画像合成
装置に適用した場合の実施の形態について説明する。

【００５３】〔１〕 顕微鏡画像合成装置の全体構成の
説明

【００５４】図７は、顕微鏡画像合成装置の全体構成を
示している。

【００５５】顕微鏡画像合成装置は、パーソナルコンピ
ュータによって実現される。パーソナルコンピュータ１
０には、ディスプレイ（モニタ）２１、マウス２２およ
びキーボード２３が接続されている。パーソナルコンピ
ュータ１０は、ＣＰＵ１１、メモリ１２、ハードディス
ク１３、ＣＤ−ＲＯＭのようなリムーバブルディスクの
ドライブ（ディスクドライブ）１４を備えている。

【００５６】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、顕微鏡画像合成処理プログ
ラムが格納されている。顕微鏡画像合成処理プログラム
は、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハー
ドディスク１３にインストールされる。また、ハードデ
ィスク１３には、合成されるべき複数の顕微鏡画像が予
め格納されているものとする。

【００５７】〔２〕 顕微鏡画像合成処理プログラムが
起動された場合にＣＰＵ１１によって行われる顕微鏡画
像合成処理手順の説明。

【００５８】ユーザは、顕微鏡用レンズを装着したカメ
ラで、台を移動させたり、試料を移動させながら、各画
像間で重なりを持った複数の顕微鏡画像を撮像する。そ
して、得られた複数の顕微鏡画像をハードディスク１３
に格納しておく。

【００５９】図８は、ＣＰＵ１１によって行われる全体
的な処理手順を示している。

【００６０】まず、合成すべき複数の顕微鏡画像（以
下、画像という）を入力する（ステップ１）。つまり、
合成すべき複数の画像を選択し、選択した複数枚の画像
をそれらの配置位置が実際の相対位置関係と合致するよ
うに、モニタ画面上に配置する。

【００６１】次に、各入力画像に対して前処理を行なう
（ステップ２）。つまり、入力画像のうちから合成処理
の基準面となる画像を選択したり、入力画像に対してレ
ンズ歪み補正処理を行なったり、シェーディング補正処
理を行なったりする。

【００６２】次に、レンズ歪み補正およびシェーディン
グ補正が行なわれた複数の画像を接合するための処理を
行なう。この画像合成モードとしては、３つのモードが
ある。

【００６３】まず、第１は、すべて自動で行なう第１モ
ード、画像間の位置合わせ（画像間の重なり部の抽出）
を手動で設定する第２モード、画像間の特徴点の対応付
けを手動で行なう第３モードがある。

【００６４】まず、第１モードでは、前処理の後、自動
位置合わせを行う（ステップ３）。つまり、全入力画像
のおおまかな位置合わせ（平行移動のみ）を自動で行な
い、位置合わせの結果を表示する。

【００６５】次に、合成パラーメータをユーザに選択さ
せる（ステップ４）。たとえば、平行移動のみによる合
成（並進）か、平行移動に加えて光軸まわりの回転を考
慮して合成（並進＋回転）するかの選択をユーザに行な
わせる。

【００６６】この後、特徴点抽出処理（ステップ５）お
よび特徴点追跡処理（ステップ６）を行なった後、幾何
変換行列を算出する（ステップ７）。そして、画素値調
合の重みを算出し（ステップ８）、最後に画像合成を行
う（ステップ９）。

【００６７】第２モードは、第１モードでの自動位置合
わせが失敗するような場合に備えて、用意されている。
第２モードでは、前処理の後、手動位置合わせを行なう
（ステップ１０）。つまり、全入力画像から選択された
各隣接画像ペア毎に、両画像の間の位置合わせ（平行移
動のみ）を手動で行う。この後、上記ステップ４〜９の
処理を行なう。

【００６８】第３モードは、第１モードまたは第２モー
ドによる合成が失敗するような場合に備えて用意されて
いる。第３モードでは、前処理の後、ユーザに特徴点を
設定させる（ステップ１１）。つまり、全入力画像から
選択された各隣接画像ペア毎に、両画像間で一致させた
い部分（特徴点）を手動で設定する。次に、合成パラメ
ータをユーザに選択させる（ステップ１２）。この後、
上記ステップ７〜９の処理を行なう。

【００６９】以下、各ステップについて説明する。

【００７０】〔２〕画像入力（ステップ１）についての
説明

【００７１】図９は、画像入力画面を示している。

【００７２】画像入力画面は、合成すべき画像が格納さ
れている画像フォルダを選択するためのフォルダツリー
表示部１０１、選択された画像フォルダに格納されてい
る画像ファイルを表示するための画像ファイル表示部１
０２、作業スペース１０３、行列数の設定部１０４、基
準画像選択ボタン１０５、レンズ歪み補正ボタン１０
６、シェーディング補正ボタン１０７、選択画像入力ボ
タン１０８、全画像入力ボタン１０９、選択画像入力解
除ボタン１１０、全画像入力解除ボタン１１１、自動位
置合わせボタン１１２、手動位置合わせボタン１１３、
特徴点設定ボタン１１４等を備えている。

【００７３】図１０は、画像入力の手順を示している。

【００７４】まず、合成すべき画像を選択する（ステッ
プ２１）。フォルダツリー表示部１０１内に表示されて
いるフォルダツリーから、合成すべき画像が格納されて
いる画像フォルダを指定すると、指定された画像フォル
ダに格納されている画像が画像ファイル表示ウインドウ
１０２に縦方向に表示される。ここでは、指定された画
像フォルダには９枚の画像が格納されており、画像ファ
イル表示ウインドウ１０２にそれらの９枚の画像がフォ
ルダ名順に表示されたものとする。なお、これらの画像
を、撮像した日時順に表示するようにしてもよい。

【００７５】次に、選択した画像の枚数等に応じて、作
業スペース１０３内に表示される画像入力枠の行列数を
設定する（ステップ２２）。なお、行列数の初期値は３
×３であり、作業スペース１０３内には３×３の画像入
力枠が表示されている。

【００７６】行列数の設定は、たとえば、行列数の設定
部１０４に行数および列数を入力した後にEnter キーを
押すか、全画像入力枠を囲む全画像入力領域Ｓの右下の
調整つまみ１１５をドラッグすることによって行なわれ
る。ここでは、行数および列数とも、初期値”３”が維
持されたとする。したがって、作業スペース１０３内に
は、３×３の画像入力枠が表示されたままとなる。

【００７７】次に、全画像入力ボタン１０９をクリック
すると（ステップ２３）、図１１に示すような画像配置
パターン選択画面が画像入力画面上に表示される（ステ
ップ２４）。

【００７８】画像配置パターン選択画面には、画像ファ
イル表示部１０２に縦方向に表示された画像を２次元配
置された画像入力枠にどのような配置で入力するかを示
す複数種類の画像配置パターンＡ〜Ｄと、画像配置パタ
ーンを選択するためのラジオボタンと、ＯＫボタンと、
キャンセルボタンとが表示される。

【００７９】複数のラジオボタンのうち、１つのラジオ
ボタンが選択された状態となっている。画像合成プログ
ラムがインストールされた直後においては、予め定めら
れたデフォルトの画像配置パターンに対するラジオボタ
ンが選択された状態として表示されるが、ユーザによっ
て画像配置パターンが１度でも選択された後において
は、最新にユーザによって選択された画像配置パターン
に対するラジオボタンが選択された状態として表示され
る。

【００８０】ユーザは、画像ファイル表示部１０２に縦
方向に表示された複数枚の画像が実際の相対位置関係を
保持した状態で２次元配置されるように、画像配置パタ
ーンを選択した後、ＯＫボタンをクリックする（ステッ
プ２５）。この結果、画像ファイル表示部１０２に縦方
向に表示された各画像が、２次元配置された画像入力枠
内に自動的に入力（表示）される（ステップ２６）。つ
まり、各画像が、それらの実際の相対位置関係を保持し
た状態で２次元配置される。

【００８１】９枚の画像をファイル名の順番にＡ１〜Ａ
９で表すと、各画像配置パターンＡ〜Ｄと、画像Ａ１〜
Ａ９の２次元配列位置との関係は、図１２に示すように
なる。

【００８２】このようにして、合成すべき複数枚の画像
が２次元配置されると、各画像のファイル名と、各画像
の２次元配置位置（画像が入力された画像入力枠の位
置）（ｘ，ｙ）とが記憶される（ステップ２７）。各画
像の２次元配置位置（ｘ，ｙ）は、全画像入力領域Ｓの
左上を原点として、右方向にｘ方向を、下方向にｙ方向
をとったＸＹ座標系で表される。

【００８３】なお、ユーザは、ドラッグ＆ドロップまた
は選択画像入力ボタン１０８によって、各画像入力枠内
に、１つずつ画像を入力させていくことも可能である。

【００８４】また、ユーザは、画像入力枠内に入力され
た画像を解除することもできる。全画像入力解除ボタン
１１１を押すと、全ての入力画像が解除され、入力画像
を選択した後に選択画像入力解除ボタン１１０を押すと
選択した入力画像が解除される。また、入力画像を全画
像入力領域Ｓ外へドラッグ＆ドロップすることによって
も入力画像を解除することができる。

【００８５】画像配置パターンとしては、図１３の
（ａ）〜（ｃ）に示す”改行復帰・改列復帰パターン、
図１３の（ｄ）〜（ｆ）に示す”折り返しパターン、図
１３の（ｇ）〜（ｉ）に示す渦巻きパターン等を用いる
ことができる。

【００８６】〔３〕前処理（ステップ２）についての説
明

【００８７】〔３−１〕基準画像の設定 基準画像を選択するには、基準にしたい入力画像を選択
した後に、基準画像選択ボタン１０５を押せばよい。

【００８８】〔３−２〕レンズ歪み補正 画像入力画面（図９）上で、ユーザがレンズ歪み補正ボ
タン１０６を押すと、入力画像に対してレンズ歪み補正
処理が行なわれる。

【００８９】顕微鏡用レンズには、周辺部に歪みがあ
る。この歪みを取り除くための補正ベクトル（ｄｕ，ｄ
ｖ）を、次式１０を用いて計算する。

【００９０】

【数１０】

【００９１】ただし、ｕ，ｖは、画像の中心を原点と
し、直交座標軸をＵ，Ｖとした時の座標である。また、
ｋはレンズ歪み補正係数である。

【００９２】この補正ベクトル（ｄｕ，ｄｖ）を用い
て、入力画像の座標（ｕ，ｖ）を、次式１１によって、
座標（ｕ’，ｖ’）に変換することでレンズ歪みを補正
する。

【００９３】

【数１１】

【００９４】画像入力画面（図９）上でユーザがレンズ
歪み補正ボタン１０６を押すと、図１４に示すようなレ
ンズ歪み係数設定画面が表示される。ユーザは、レンズ
歪み補正係数ｋを、レンズ歪み係数設定画面上のスライ
ダーバー３１を操作することによって設定する。

【００９５】レンズ歪み係数設定画面には、レンズ歪み
補正前の画像が表示される領域３２と、レンズ歪み補正
後の画像が表示される領域３３とが設けられている。こ
のため、ユーザは、レンズ歪み補正前の画像とレンズ歪
み補正後の画像とを同時に見ることができる。また、ユ
ーザは、スライダーバー３１で係数ｋを設定するとリア
ルタイムで変換画像（レンズ歪み補正後の画像）が表示
されるため、簡単な操作でかつ、直感的に係数を設定す
ることができる。

【００９６】〔３−３〕シェーディング補正 画像入力画面（図９）上で、ユーザがシェーディング補
正ボタン１０７を押すと、入力画像に対してシェーディ
ング補正処理が行なわれる。

【００９７】顕微鏡撮像系では、光学系の設定よって、
画像の周辺部が暗くなるシェーディングが発生する。こ
れを補正するために、各画素毎に、画像中心からの距離
に応じた補正画素値ｅ（ｕ，ｖ）を次式１２で計算す
る。

【００９８】

【数１２】

【００９９】ただし、ｕ，ｖは、画像の中心を原点と
し、直交座標軸をＵ，Ｖとした時の座標である。また、
ｓはシェーディング補正係数、Ｒは画像中心からもっと
も離れた画素の中心からの距離である。

【０１００】この補正画素値ｅ（ｕ，ｖ）を用いて、入
力画像の画素値Ｉ（ｕ，ｖ）を、次式１３によって、画
素値Ｉ’（ｕ，ｖ）へ変換することでシェーディングを
補正する。

【０１０１】

【数１３】

【０１０２】画像入力画面（図９）上でユーザがシェー
ディング補正ボタン１０７を押すと、図１５に示すよう
なシェーディング補正係数設定画面がディスプレイ２１
に表示される。ユーザは、シェーディング補正係数ｓ
を、シェーディング補正係数設定画面上のスライダーバ
ー４１を操作することによって設定する。

【０１０３】シェーディング補正係数設定画面には、シ
ェーディング補正前の画像が表示される領域４２と、シ
ェーディング補正後の画像が表示される領域４３とが設
けられている。このため、ユーザは、シェーディング補
正前の画像とシェーディング補正後の画像とを同時に見
ることができる。また、ユーザは、スライダーバー４１
で係数ｓを設定するとリアルタイムで変換画像（シェー
ディング補正後の画像）が表示されるため、簡単な操作
でかつ、直感的に係数を設定することができる。

【０１０４】〔４〕自動位置合わせ（ステップ３）につ
いての説明

【０１０５】画像入力画面（図９）上でユーザが自動位
置合わせボタン１１２を押すと、自動位置合わせ処理が
行なわれ、図１６に示すように、位置合わせ結果を含む
自動位置合わせ結果表示画面が表示される。自動位置合
わせ結果表示画面には、位置合わせ結果の他、自動合成
ボタン１２１、キャンセルボタン１２２等も表示され
る。

【０１０６】自動位置合わせ処理では、まず、重なり部
を抽出すべき隣接画像ペアが決定された後、各隣接画像
ペア毎に重なり部が抽出される。この後、各隣接画像ペ
ア毎に抽出された重なり部に基づいて、平行移動のみを
用いて、全画像を位置合わせする。そして、位置合わせ
結果が表示される。

【０１０７】重なり部を抽出する隣接画像ペアの決定方
法については、手動位置合わせ（ステップ１０）におい
て説明する。重なり部の抽出処理は、次のようにして行
なわれる。説明の便宜上、ここでは、１組の隣接画像ペ
ア（第１画像Ａ１及び第２画像Ａ２）の重なり部を抽出
する場合について説明する。

【０１０８】重なり部の抽出処理は、たとえば、ＳＳＤ
法（Sum of Squared Difference)または正規化相互相関
法に基づいて行われる。

【０１０９】（ａ）ＳＳＤ法の説明 ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像
Ａ１、Ａ２それぞれについて、原画像より解像度の低い
画像Ｉ₁ ，Ｉ₂ が生成される。２枚の低解像度画像
Ｉ₁ ，Ｉ₂ の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式
１４に示すように画素あたりの２乗誤差Ｅを用いて求め
られる。画像間の移動量（ｄ）が可能な範囲で変化せし
められ、Ｅが最も小さい移動量（ｄ）から、重なり部が
抽出される。

【０１１０】

【数１４】

【０１１１】（ｂ）正規化相互相関法の説明 正規化相互相関法では、まず、重なり部を抽出すべき２
枚の画像Ａ１、Ａ２それぞれについて、原画像より解像
度の低い画像Ｉ₁ ，Ｉ₂ が生成される。２枚の低解像度
画像Ｉ₁ ，Ｉ₂ の重なり部分ω（サイズ：Ｍ×Ｎ）が、
次式１５に示すように正規化相互相関係数Ｃを用いて求
められる。画像間の移動量（ｄ）が可能な範囲で変化せ
しめられ、Ｃが最も大きな移動量（ｄ）から、重なり部
が抽出される。

【０１１２】

【数１５】

【０１１３】式１５において、Ｉ₁ ￣、Ｉ₂ ￣は、第１
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ₁ 、σ₂ は、第１画像Ｉ₁ を固定さ
せ、第２画像Ｉ₂ をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。

【０１１４】自動位置合わせ結果表示画面（図１６）上
で、ユーザが自動合成ボタン１２１を押すと、図１７に
示すような合成パラメータ選択画面が表示されるので、
ユーザは合成パラメータを選択する（図８のステップ４
の処理）。合成パラメータ選択画面には、”並進”ボタ
ン１３１、”並進＋回転”ボタン１３２、キャンセルボ
タン１３３等が表示される。ユーザが”並進”ボタン１
３１または”並進＋回転”ボタン１３２の何れかを押す
と、ステップ５〜９（図８参照）の処理が行なわれて、
全画像が合成される。

【０１１５】〔５〕手動位置合わせ（ステップ１０）に
ついての説明

【０１１６】図１８は、画像入力画面（図９）上でユー
ザが手動位置合わせボタン１１３を押した場合に行なわ
れる手動位置合わせ処理手順を示している。

【０１１７】画像入力画面（図９）上でユーザが手動位
置合わせボタン１１３を押すと、重なり部を抽出すべき
隣接画像ペアが決定される（ステップ３１）。

【０１１８】図１９は、隣接画像ペアの決定処理手順を
示している。

【０１１９】隣接画像ペアは、２次元配列された画像
を、隣接画像間で重なりがあるように１次元配列するこ
とによって決定される。

【０１２０】１次元配列の画像番号をｉで表すことにす
る。まず、ｉ＝１とし（ステップ４１）、２次元配列さ
れた画像から、１次元配列の先頭（最初）の画像Ｂ_i を
選択する（ステップ４２）。たとえば、位置（０，０）
の画像が１次元配列の先頭の画像Ｂ_i として選択され
る。

【０１２１】次に、２次元配置されている画像が隙間な
く配置されていると仮定して、未だ選択されていない画
像のうち、画像Ｂ_i との中心点間距離が最も短い画像
を、次に配列すべき画像Ｂ_i+1 として選択する（ステッ
プ４３）。

【０１２２】そして、未だ選択されてない画像が残って
いるか否かを判定する（ステップ４４）。未だ選択され
てない画像が残っている場合には、ｉ＝ｉ＋１とし（ス
テップ４５）、ステップ４３に戻る。

【０１２３】このようにして、全ての画像が選択される
まで、ステップ４３、４４、４５の処理を繰り返して行
うことにより、２次元配列された画像が隣接画像間で重
なりがあるように１次元配列される。１次元配列された
各画像の隣合うものどうしが重なり部を抽出する隣接画
像ペアとなる。

【０１２４】この例では、２次元配置された各画像は、
縦より横の長さが長いので、横方向に並んだ２つの画像
の中心点間距離より、縦方向に並んだ２つの画像の中心
点間距離の方が短いので、たとえば、画像Ｂ_i に対して
縦方向に隣接する未選択画像が存在する場合には、画像
Ｂ_i に対して縦方向に隣接する未選択画像が画像Ｂ_{i+ 1}
として選択される。また、たとえば、画像Ｂ_i に対して
縦方向に隣接する未選択画像が存在せずに横方向に隣接
する未選択画像が存在する場合には、画像Ｂ_iに対して
横方向に隣接する未選択画像が画像Ｂ_i+1 として選択さ
れる。

【０１２５】したがって、図２０に示すように、たとえ
ば、２０枚の画像が５行４列に配置されている場合に
は、図２０に矢印で示す順番でこれらの画像が１次元配
列される。

【０１２６】ただし、図２１に示すように、５行４列に
配置された画像入力枠のうち、中央の２つの画像入力枠
（位置（２，３）および位置（３，３）の画像入力枠）
に画像が存在しないような場合には、図２１に矢印で示
す順番でこれらの画像が１次元配列される。

【０１２７】２次元配列された画像が隣接画像間で重な
りがあるように１次元配列されると、図２２に示すよう
な手動位置合わせ画面が表示される（ステップ３２，図
１８）。

【０１２８】手動位置合わせ画面は、１次元配列画像表
示部１４１と、作業スペース１４２の他、自動位置合わ
せボタン１４３、自動合成ボタン１４４、キャンセルボ
タン１４５等を備えている。

【０１２９】１次元配列画像表示部１４１は下段に設け
られ、作業スペース１４２は１次元配列画像表示部１４
１の上側に設けられている。１次元配列画像表示部１４
１と作業スペース１４２との間には、位置合わせを行な
う隣接画像ペアを選択するための２つのペア選択用キー
１４６、１４７が表示されるとともに、選択された隣接
画像ペアの相対位置関係（合成方向）を示す合成方向指
示マーク１４８が表示される。

【０１３０】１次元配列画像表示部１４１には、１次元
配列された各画像が表示される。作業スペース１４２に
は、１次元配列画像表示部１４１に１次元配列表示され
ている画像のうちから隣接画像ペアとして選択されてい
る２つの画像が半透明で表示される。

【０１３１】１次元配列画像表示部１４１には、現在選
択されている隣接画像ペアを明示するために、現在選択
されている隣接画像ペアを囲む矩形枠１４９が表示され
る。ペア選択用キー１４６がクリックされると、隣接画
像ペアが左側に１画像分シフトせしめられる。ペア選択
用キー１４７がクリックされると、隣接画像ペアが右側
に１画像分シフトせしめられる。

【０１３２】合成方向マーク１４８としては、図２３に
示すように、上下方向（ａ）、左右方向（ｂ）、左下と
右上を結ぶ斜め方向（ｃ）および左上と右下を結ぶ斜め
方向（ｄ）の４種類がある。

【０１３３】選択された隣接画像ペアの合成方向は、そ
の２つの画像の２次元配置位置に基づいて決定される。
隣接画像ペアの一方の画像の２次元配置位置を（ｘ１，
ｙ１）とし、他方の画像の２次元配置位置を（ｘ２，ｙ
２）とする。

【０１３４】ｘ１＝ｘ２であれば、合成方向は上下方向
となる。ｙ１＝ｙ２であれば、合成方向は左右方向とな
る。ｘ１≠ｘ２でかつｙ１≠ｙ２である場合において、
（ｘ１−ｘ２）×（ｙ１−ｙ２）＜０であれば、合成方
向は左下と右上を結ぶ斜め方向となる。ｘ１≠ｘ２でか
つｙ１≠ｙ２である場合において、（ｘ１−ｘ２）×
（ｙ１−ｙ２）＞０であれば、合成方向は左上と右下を
結ぶ斜め方向となる。

【０１３５】手動位置合わせ画面（図２２）が表示され
ると、ユーザは隣接画像ペアを選択した後、作業スペー
ス１４２内に半透明表示された２つの画像の重なり部分
を目視によって手動で合わせる（ステップ３３，図１
８）。この操作は、たとえば、作業スペース１４２内に
半透明表示された２つの画像のうちの、一方の画像をマ
ウスでドラッグすることによって行なわれる。なお、こ
の操作をキーボードのキーを操作することによって行な
うことも可能である。ステップ３３の作業を全ての隣接
画像ペアに対して行なうことにより、手動位置合わせは
終了する。

【０１３６】なお、作業スペース１４２内に２つの画像
が半透明表示されている状態で、自動位置合わせボタン
１４３を押すと、作業スペース１４２内に半透明表示さ
れている２つの画像が、上述した重なり部の自動抽出処
理と同様な処理によって自動的に位置合わせされる。

【０１３７】全隣接画像ペアに対して位置合わせを行な
った後に、ユーザが自動合成ボタン１４４を押すと、図
１７に示すような合成パラメータ選択画面が表示される
ので、ユーザは合成パラメータを選択する（図８のステ
ップ４の処理）。合成パラメータ選択画面上で、ユーザ
が”並進”ボタン１３１または”並進＋回転”ボタン１
３２の何れかを押すと、ステップ５〜９（図８参照）の
処理が行なわれて、全画像が合成される。

【０１３８】〔６〕特徴点の設定（ステップ１１）につ
いての説明

【０１３９】画像入力画面（図９）上でユーザが特徴点
設定ボタン１１４を押すと、重なり部を抽出すべき隣接
画像ペアが決定された後、図２４に示すような特徴点設
定画面が表示される。

【０１４０】各隣接画像ペアは、手動位置合わせ処理
（図１８）のステップ３１の処理と同様な処理によって
決定される。

【０１４１】特徴点設定画面は、隣接画像ペアを構成す
る２つの画像をそれぞれ拡大表示するための２つの画像
表示部１６１、１６２、隣接画像ペアを選択するための
２つのペア選択用キー１６３、１６４、特徴点削除ボタ
ン１６５、自動合成ボタン１６６、キャンセルボタン１
６７等を備えている。また、特徴点設定画面の右下部分
には、選択された隣接画像ペアの相対位置関係（合成方
向）を示す合成方向指示マーク１６８が表示される。

【０１４２】ペア選択用キー１６３、１６４および合成
方向指示マーク１６８は、手動位置合わせ画面（図２
２）のペア選択用キー１４６、１４７および合成方向指
示マーク１４８と同じ機能を有している。

【０１４３】ユーザは、２つの画像表示部１６１、１６
２に表示された２つの画像に基づいて、手動で特徴点を
対応づける。具体的には、右側の画像上の任意の特徴点
位置をダブルクリックすると、特徴点設定枠（矩形枠）
１６９が両方の画像上に表示される。左側の画像上に表
示された特徴点設定枠１６９をマウスでドラッグするこ
とにより、右画像上の特徴点に対応する位置まで移動さ
せる。なお、特徴点削除ボタン１６５を押すと、選択中
の特徴点設定枠が削除される。

【０１４４】合成手法として”並進”を選択する場合に
は、２画像間の特徴点は１箇所以上設定し、合成手法と
して”並進＋回転”を選択する場合には、２画像間の特
徴点は２箇所以上設定する。特徴点の設定数が多いほ
ど、合成精度は向上する。

【０１４５】全隣接画像ペアに対して特徴点を設定した
後、ユーザが自動合成ボタン１６６を押すと、図１７に
示すような合成パラメータ選択画面が表示されるので、
ユーザは合成パラメータを選択する（図８のステップ１
２の処理）。合成パラメータ選択画面上で、ユーザが”
並進”ボタン１３１または”並進＋回転”ボタン１３２
の何れかを押すと、ステップ７〜９（図８参照）の処理
が行なわれて、全画像が合成される。

【０１４６】〔７〕特徴点抽出処理（ステップ５）につ
いての説明

【０１４７】上記ステップ４の処理が終了すると、つま
り、ステップ４において表示される合成パラメータ選択
画面（図１７参照）上でユーザが”並進”ボタン１３１
または”並進＋回転”ボタン１３２の何れかを押すと、
特徴点抽出処理が行われる。

【０１４８】説明の便宜上、１組の隣接画像ペアＡ１、
Ａ２に対する処理についてのみ説明する。第１画像Ａ１
における第２画像Ａ２との重なり部分から、追跡に有効
な複数の部分画像（矩形領域）が特徴点として抽出され
る。ただし、各特徴点は互いに重ならないように抽出さ
れる。具体的には、上述した固有値λ_min （式８参照）
の高い部分が特徴点として抽出される。

【０１４９】〔８〕特徴点追跡処理（ステップ６）につ
いての説明

【０１５０】各隣接画像ペアに対する特徴点抽出処理が
終了すると、特徴点追跡処理が行われる。つまり、抽出
された第１画像Ａ１上の特徴点に対する第２画像Ａ２上
の位置が追跡される。

【０１５１】具体的には、まず、本出願人が開発したオ
プティカルフロー推定方法（従来技術の説明の欄の
〔２〕参照）によって、適当なサイズ（例えば、１３×
１３）のパッチ毎のオプティカルフローベクトルが求め
られる。第１画像Ａ１上の特徴点に対応する第２画像Ａ
２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッ
チのフローベクトルから線形補間により画素単位以下で
求められる。これにより、第１画像Ａ１と第２画像Ａ２
との重なり部において、両画像の対応点の座標が得られ
る。

【０１５２】

〔９〕幾何変換行列の算出処理（ステップ
７）についての説明

【０１５３】第１画像Ａ１に第２画像Ａ２を接合する場
合について説明する。第１モード時または第２モード時
には、上記ステップ６によって自動的に求められた第１
画像Ａ１と第２画像Ａ２との対応点の座標に基づいて、
第３モード時には、上記ステップ１１によって手動で求
められた第１画像Ａ１と第２画像Ａ２との対応点の座標
に基づいて、第２画像Ａ２内の各画素の座標を第１画像
Ａ１上の座標に変換するための幾何変換行列（幾何変換
係数）を算出する。

【０１５４】なお、第２画像Ａ２に第１画像Ａ１を接合
する場合には、第１画像Ａ１内の各画素の座標を第２画
像Ａ２上の座標に変換するための幾何変換行列（幾何変
換係数）を算出すればよい。

【０１５５】合成パラメータの選択処理（ステップ４ま
たはステップ１２）によって”並進”が選択されている
場合には、幾何変換行列としては２次元平行移動のため
の行列が用いられ、”並進＋回転”が選択されている場
合には、幾何変換行列としては２次元剛体変換行列が用
いられる。

【０１５６】この段階では、第２画像Ａ２内の各画素の
座標を第１画像Ａ１上の座標に変換しないが、第２画像
Ａ２内の各画素の座標（ｘ，ｙ，１）を第１画像Ａ１の
座標（ｘ’，ｙ’，１）に変換する式は、次式１６また
は次式１７で表される。なお、ここでいう、座標（ｘ，
ｙ），（ｘ’，ｙ’）は画像内の画素の座標であって、
図８のステップ１の説明において用いた画像の２次元配
置位置を示す座標（ｘ，ｙ）とは異なる。

【０１５７】

【数１６】

【０１５８】

【数１７】

【０１５９】上記式１６は、幾何変換行列として２次元
平行移動のための行列を用いた場合の変換式を示し、上
記式１７は、幾何変換行列として２次元剛体変換行列を
用いた場合の変換式を示している。

【０１６０】上記式１６において、（ｔ_x ，ｔ_y ）は平
行移動量を示し、ｋは零でない任意の定数を示してい
る。また、上記式１７において、（ｔ_x ，ｔ_y ）は平行
移動量を示し、θは回転角を示し、ｋは零でない任意の
定数を示している。

【０１６１】〔１０〕画素値調合の重み（画素値調合係
数）の算出処理（ステップ８）についての説明

【０１６２】顕微鏡用レンズを装着したカメラで、試料
台を移動させたり、試料台上の試料を移動させながら、
複数の画像を撮像した場合には、自動露出調整機能が動
作することにより、画像間の明るさが異なってしまうこ
とがある。

【０１６３】そこで、接合されるべき第１画像と第２画
像とが重なる領域では、各画像の画素値を調合する処理
を後処理として行なう。画素値調合処理は、両画像の重
なり領域の画素値を画像間で滑らかに変化させることに
より、明るさの差異を目立たなくさせる処理である。ま
た、この処理は、同時に、幾何変換による合成誤差も目
立たなくさせることができる。

【０１６４】この実施の形態では、各画像の重心からの
距離に基づいて両画像の重なり領域の画素値を調合す
る。

【０１６５】まず、第１画像の重心位置Ｇ₁ を求める。
また、第２画像を第１画像に接合した合成画像上で、第
２画像の重心位置Ｇ₂ を、接合のために使用される変換
式（上記式１６式または上記式１７式）に基づいて求め
る。

【０１６６】次に、第１画像の４頂点（４隅）の位置を
それぞれ求める。また、第２画像を第１画像に接合した
合成画像上で、第２画像の４頂点の位置を、接合に使用
される変換式（上記式１６式または上記式１７式）に基
づいて求める。これにより、合成画像上における第１画
像の４頂点の位置および第２画像の４頂点の位置が分か
るので、合成画像上において第１画像と第２画像との重
なり領域を抽出する。

【０１６７】合成画像上での第１画像と第２画像との重
なり領域内の各画素（画素値調合対象画素）から第１画
像と第２画像のそれぞれの画像の重心位置Ｇ₁ 、Ｇ₂ ま
での距離に応じて、当該画素値調合対象画素の画素値の
重みを決定する。この重みは、画素値調合対象画素から
重心までの距離が近い方の画像の画素値を大きくするよ
うに決定する。

【０１６８】つまり、合成画像上での第１画像と第２画
像との重なり領域内の画素値調合対象画素の座標から、
合成画像上での第１画像の重心位置Ｇ₁ までのユークリ
ッド距離をｄ₁ 、合成画像上での第２画像の重心位置Ｇ
₂ までのユークリッド距離をｄ₂ とすると、画素値調合
対象画素における第１画像の画素値に対する重みｗ₁お
よび第２画像の画素値に対する重みｗ₂ は、次式１８で
表される。

【０１６９】

【数１８】

【０１７０】各画素値調合対象画素に対して式２１に基
づいて重みｗ₁ およびｗ₂ を算出し、画素値調合対象画
素に対する重みｗ₁ およびｗ₂ のテーブル（重みテーブ
ル）を作成する。

【０１７１】〔１２〕画素合成処理（ステップ９）の説
明

【０１７２】画素合成処理では、上記式１６または上記
式１７を用いて第２画像を第１画像の座標系に描画す
る。

【０１７３】この際、ステップ８で得られた重みテーブ
ルに基づいて、第１画像と第２画像の重なり領域の画素
値Ｐ₁ 、Ｐ₂ を画素調合する。すなわち、次式１９によ
り、各画素値調合対象画素の画素値Ｐ_i を算出する。

【０１７４】

【数１９】

【０１７５】このようにして、全隣接画像ペアに対する
合成処理が終了すると、合成結果である合成画像を含む
合成画像表示画面が表示される。

【０１７６】

【発明の効果】この発明によれば、複数枚の撮影画像を
実際の位置関係と対応するようにモニタ画面上に２次元
配置する際の操作が簡単となるとともに画像の配置ミス
が起こりにくくなる。

【図面の簡単な説明】

【図１】図１は、階層的推定法を説明するための図であ
って、階層１の画像を示す模式図である。

【図２】図２は、階層的推定法を説明するための図であ
って、階層２の画像を示す模式図である。

【図３】図３は、階層的推定法を説明するための図であ
って、階層３の画像を示す模式図である。

【図４】図４は、階層的推定法を説明するための図であ
って、階層４の画像を示す模式図である。

【図５】図５は、実施例で採用されたオプティカルフロ
ー推定方法において行われる膨張処理を説明するための
模式図である。

【図６】図６（ａ）は、ある階層の画像に対してしきい
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。

【図７】図７は、顕微鏡画像合成装置の構成を示すブロ
ック図である。

【図８】図８は、顕微鏡画像合成処理プログラムが起動
された場合にＣＰＵ１１によって行われる顕微鏡画像合
成処理手順を示すフローチャートである。

【図９】図９は、画像入力画面を示す模式図である。

【図１０】図１０は、画像入力の手順を示すフローチャ
ートである。

【図１１】図１１は、画像配置パターン選択画面の一例
を示す模式図である。

【図１２】図１２は、各画像配置パターンＡ〜Ｄと、画
像Ａ１〜Ａ９の２次元配列位置との関係を示す模式図で
ある。

【図１３】図１３は、画像配置パターンの例を示す模式
図である。

【図１４】図１４は、レンズ歪み補正係数設定画面の一
例を示す模式図である。

【図１５】図１５は、シェーディング補正係数設定画面
の一例を示す模式図である。

【図１６】図１６は、自動位置合わせ結果表示画面の一
例を示す模式図である。

【図１７】図１７は、合成パラメータ選択画面の一例を
示す模式図である。

【図１８】図１８は、手動位置合わせ処理手順を示すフ
ローチャートである。

【図１９】図１９は、隣接画像ペアの決定処理手順を示
すフローチャートである。

【図２０】図２０は、隣接画像ペアの決定処理によって
決定された１次元配列の順番を示す模式図である。

【図２１】図２１は、隣接画像ペアの決定処理によって
決定された１次元配列の順番を示す模式図である。

【図２２】図２２は、手動位置合わせ画面の一例を示す
模式図である。

【図２３】図２３は、合成方向マークの種類を示す模式
図である。

【図２４】図２４は、特徴点設定画面の一例を示す模式
図である。

【符号の説明】

１０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ ディスクドライブ

フロントページの続き Ｆターム(参考） 5B050 BA06 CA07 EA05 EA11 EA12 EA13 EA19 FA02 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CD02 CE08 CE10 DA07 DB02 DB09 DC05 DC08 5C076 AA12 AA17 AA19 AA24 BA06 CA02 CA08 5C082 AA27 BA20 BA35 BB15 BB25 CA52 CA56 CA64 CB05 DA61 DA87 MM09 MM10

Claims (9)

【特許請求の範囲】
1. 【請求項１】 合成すべき複数枚の画像を、それらの配
   置位置が実際の相対位置関係と合致するように、モニタ
   画面上にｍ行ｎ列（ｍ，ｎとも自然数）配置させ、各画
   像の配置位置情報を利用して、全画像を合成する画像合
   成装置において、 合成すべき複数枚の画像をモニタ画面上にｍ行ｎ列に配
   置させるための複数種類の画像配置パターンを含む画像
   配置パターン選択画面をモニタ画面に表示させる手段、 画像配置パターン選択画面上において複数種類の画像配
   置パターンから１つの画像配置パターンをユーザに選択
   させるための手段、ならびにユーザによって選択された
   画像配置パターンにしたがって、合成すべき複数枚の画
   像をモニタ画面上にｍ行ｎ列配置させる手段、 を備えていることを特徴とする画像合成装置。
2. 【請求項２】 ユーザに合成すべき複数枚の画像を選択
   させるとともに、選択した画像に応じて行数ｍと列数ｎ
   とをユーザに設定させるための手段を備えていることを
   特徴とする請求項１に記載の画像合成装置。
3. 【請求項３】 今回においてユーザによって選択された
   画像配置パターンを、次回の画像配置パターン選択時に
   選択パターンの初期値とする手段を備えている請求項１
   および２のいずれかに記載の画像合成装置。
4. 【請求項４】 合成すべき複数枚の画像を、それらの配
   置位置が実際の相対位置関係と合致するように、モニタ
   画面上にｍ行ｎ列（ｍ，ｎとも自然数）配置させ、各画
   像の配置位置情報を利用して、全画像を合成する画像合
   成方法において、 合成すべき複数枚の画像をモニタ画面上にｍ行ｎ列に配
   置させるための複数種類の画像配置パターンを含む画像
   配置パターン選択画面をモニタ画面に表示させるステッ
   プ、 画像配置パターン選択画面上において複数種類の画像配
   置パターンから１つの画像配置パターンをユーザに選択
   させるステップ、ならびにユーザによって選択された画
   像配置パターンにしたがって、合成すべき複数枚の画像
   をモニタ画面上にｍ行ｎ列配置させるステップ、 を備えていることを特徴とする画像合成方法。
5. 【請求項５】 ユーザに合成すべき複数枚の画像を選択
   させるとともに、選択した画像に応じて行数ｍと列数ｎ
   とをユーザに設定させるステップを備えていることを特
   徴とする請求項４に記載の画像合成方法。
6. 【請求項６】 今回においてユーザによって選択された
   画像配置パターンを、次回の画像配置パターン選択時に
   選択パターンの初期値とするステップを備えている請求
   項４および５のいずれかに記載の画像合成方法。
7. 【請求項７】 合成すべき複数枚の画像を、それらの配
   置位置が実際の相対位置関係と合致するように、モニタ
   画面上にｍ行ｎ列（ｍ，ｎとも自然数）配置させ、各画
   像の配置位置情報を利用して、全画像を合成する画像合
   成処理プログラムを記録したコンピュータ読み取り可能
   な記録媒体であって、 合成すべき複数枚の画像をモニタ画面上にｍ行ｎ列に配
   置させるための複数種類の画像配置パターンを含む画像
   配置パターン選択画面をモニタ画面に表示させるステッ
   プ、 画像配置パターン選択画面上において複数種類の画像配
   置パターンから１つの画像配置パターンをユーザに選択
   させるステップ、ならびにユーザによって選択された画
   像配置パターンにしたがって、合成すべき複数枚の画像
   をモニタ画面上にｍ行ｎ列配置させるステップ、 をコンピュータに実行させるためのプログラムを記録し
   ているコンピュータ読み取り可能な記録媒体。
8. 【請求項８】 ユーザに合成すべき複数枚の画像を選択
   させるとともに、選択した画像に応じて行数ｍと列数ｎ
   とをユーザに設定させるステップをコンピュータに実行
   させるためのプログラムを記録している請求項７に記載
   のコンピュータ読み取り可能な記録媒体。
9. 【請求項９】 今回においてユーザによって選択された
   画像配置パターンを、次回の画像配置パターン選択時に
   選択パターンの初期値とするステップをコンピュータに
   実行させるためのプログラムを記録している請求項７お
   よび８のいずれかに記載のコンピュータ読み取り可能な
   記録媒体。