JP2010141700A - 撮像装置 - Google Patents

Abstract

【課題】 撮影中の視野をモザイク画像上の適切な位置に表示させ、モザイク画像を作成する際に、カメラのレンズユニットの影響で画質が低下するのを抑制することができる撮像装置を提供する。
【解決手段】 カメラ２１０に装着された着脱式のレンズユニット２１１の種類及び当該レンズユニットに可変の光学パラメータを保持するレンズ情報記憶手段と、上記種類及び光学パラメータに基づいてフレーム画像の周縁部を除去し、狭視野フレーム画像を生成する狭視野フレーム画像生成手段と、カメラ２１０によって撮影された複数の狭視野静止画像を張り合わせてモザイク画像を生成するモザイク画像生成手段と、狭視野フレーム画像及びモザイク画像間の相対位置を判定する相対位置判定手段と、相対位置の判定結果に基づいて狭視野フレーム画像のモザイク画像に対する表示位置を更新し、狭視野フレーム画像からなる動画像を表示するライブ画像表示手段により構成される。
【選択図】 図２

Description

本発明は、撮像装置に係り、さらに詳しくは、検査対象物を撮影するカメラによって生成された動画像をカメラの実視野よりも視野の広いモザイク画像上に表示することができる撮像装置に関する。

視野を変更しながら撮影した複数の静止画像を張り合わせることによって、カメラの実視野よりも視野の広い１枚の広視野画像を作成する技術として、イメージモザイクが従来から知られている。対物レンズによって拡大された被写体を撮影するデジタルマイクロスコープなどの撮像装置の場合、検査対象物が載置された可動ステージを移動させることによって視野を変更することができる。上記広視野画像は、モザイク画像と呼ばれ、この様にして視野を変更しながら撮影された複数の静止画像を画像間の相対位置に基づいて連結することによって作成される。

例えば、可動ステージの位置を検出するセンサーを備え、ユーザが指定した撮影範囲を自動的に撮影する従来の撮像装置の場合、可動ステージの制御情報から画像間の相対的位置関係を判断して、静止画像の張り合わせが行われる。この様な撮像装置では、撮影範囲を指定して一旦撮影が開始されると、途中で撮影範囲を変更することができなかった。また、可動ステージの位置を高精度に検出する必要があることから、システム構成が複雑化し、コスト高となってしまうという問題があった。

一方、画像間の相対的位置関係を画像間のパターンマッチングによって判断して、静止画像の張り合わせを行う撮像装置もある。しかしながら、撮影中の視野と作成中のモザイク画像との位置関係をユーザにディスプレイ上で確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置はなかった。そこで、撮影中の視野を動画としてモザイク画像上に表示させながら、ユーザが指示するタイミングで静止画像を取り込み、モザイク画像に張り合わせる撮像装置が考えられる。

通常、新たに取得した静止画像をモザイク画像に張り合わせて新たなモザイク画像を生成する際、画像間のつなぎ目を目立たなくするためにブレンディング処理と呼ばれる連結処理が行われる。ブレンディング処理は、両画像間で画素値を加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて変化させることによってつなぎ目を目立たなくしている。この様な連結処理では、画像間のオーバーラップが大きいほど滑らかに張り合わせることができ、高画質のモザイク画像が得られるが、所望のサイズのモザイク画像を作成するのに必要な静止画像の枚数が増えてしまう。つまり、オーバーラップを大きくすれば、高画質のモザイク画像が得られるが、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増大し、オーバーラップを小さくすれば、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数は減らせるが、モザイク画像の画質が低下してしまうという問題があった。

さらに、上述した様な従来の撮像装置では、カメラに装着されたレンズユニットによっては、レンズの周縁部分における光量の低下、レンズの歪み（収差）、レンズのテレセントリック性の不足などの影響で撮影画像の画質が低下し、画像間のつなぎ目が目立ってしまうという問題があった。

本発明は、上記事情に鑑みてなされたものであり、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる撮像装置を提供することを目的とする。特に、撮影中の視野を動画像としてモザイク画像上の適切な位置に表示させ、モザイク画像を作成する際に、カメラに装着されたレンズユニットの影響で画質が低下するのを抑制することができる撮像装置を提供することを目的とする。また、静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる撮像装置を提供することを目的とする。

第１の本発明による撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラに装着された着脱式のレンズユニットの種類及び当該レンズユニットに可変の光学パラメータを保持するレンズ情報記憶手段と、上記種類及び上記光学パラメータに基づいて上記フレーム画像の周縁部を除去し、上記カメラの視野を狭小化した狭視野フレーム画像を生成する狭視野フレーム画像生成手段と、上記カメラによって撮影された２以上の狭視野静止画像を張り合わせて、モザイク画像を生成するモザイク画像生成手段と、上記狭視野フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記狭視野フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記狭視野フレーム画像からなる動画像を表示するライブ画像表示手段とを備えて構成される。

この撮像装置では、狭視野フレーム画像及びモザイク画像間の相対位置を判定し、その判定結果に基づいてモザイク画像上に狭視野フレーム画像からなる動画像を表示するので、撮影中の視野を動画像として作成中のモザイク画像上の適切な位置に表示させることができる。この様な構成によれば、撮影中の視野が動画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら狭視野静止画像を取り込んでモザイク画像と連結させることができる。特に、レンズユニットの種類及び当該レンズユニットに可変の光学パラメータに基づいて周縁部を除去した狭視野フレーム画像を用いて撮影中の視野を表示し、狭視野静止画像を用いて張り合わせを行うので、カメラに装着されたレンズユニットの影響で画質が低下するのを抑制することができる。

第２の本発明による撮像装置は、上記構成に加え、上記狭視野静止画像の張り合わせを推奨する推奨位置を上記モザイク画像上に表示する張り合わせ推奨位置表示手段を備えて構成される。この様な構成によれば、狭視野静止画像の張り合わせを推奨する推奨位置をモザイク画像上に表示するので、狭視野静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。

第３の本発明による撮像装置は、上記構成に加え、上記張り合わせ推奨位置表示手段が、上記狭視野静止画像及び上記モザイク画像間のオーバーラップ部分の推奨サイズに基づいて、上記推奨位置を決定するように構成される。

第４の本発明による撮像装置は、検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、上記カメラによって撮影された２以上の静止画像を画像間のオーバーラップ部分について画素値のブレンディング処理を行うことによって張り合わせ、上記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段と、上記カメラに装着された着脱式のレンズユニットの種類及び当該レンズユニットに可変の光学パラメータを保持するレンズ情報記憶手段と、上記種類及び上記光学パラメータに基づいて、上記オーバーラップ部分の推奨サイズを判定するオーバーラップ推奨サイズ判定手段と、上記推奨サイズの判定結果に基づいて、上記静止画像の張り合わせを推奨する推奨位置を決定し、上記モザイク画像上に表示する張り合わせ推奨位置表示手段とを備えて構成される。

この撮像装置では、フレーム画像及びモザイク画像間の相対位置を判定し、その判定結果に基づいてモザイク画像上にフレーム画像からなる動画像を表示するので、撮影中の視野を動画像として作成中のモザイク画像上の適切な位置に表示させることができる。この様な構成によれば、撮影中の視野が動画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、レンズユニットの種類及び当該レンズユニットに可変の光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果に基づいて静止画像の張り合わせを推奨する推奨位置を決定してモザイク画像上に表示するので、静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。

第５の本発明による撮像装置は、上記構成に加え、上記張り合わせ推奨位置表示手段が、上記推奨位置に上記フレーム画像を収容することができるガイド枠を表示するように構成される。

第６の本発明による撮像装置は、上記構成に加え、上記モザイク画像生成手段が、画像間で画素値をブレンディングする際に用いる重みであって、画像の端からの距離に応じて増加する重みを上記種類及び上記光学パラメータに基づいて決定するように構成される。この様な構成によれば、ブレンディング処理の際の重みがレンズユニットの種類及び当該レンズユニットに可変の光学パラメータに基づいて決定されるので、カメラに装着されたレンズユニットの影響で画質が低下するのを抑制することができる。

第７の本発明による撮像装置は、上記構成に加え、上記レンズ情報記憶手段が、上記光学パラメータとして、レンズユニットの撮影倍率、絞り又は照明条件を保持しているように構成される。

本発明による撮像装置によれば、撮影中の視野が動画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、レンズユニットの種類及び当該レンズユニットに可変の光学パラメータに基づいて周縁部を除去した狭視野フレーム画像を用いて撮影中の視野を表示し、狭視野静止画像を用いて張り合わせを行うので、カメラに装着されたレンズユニットの影響で画質が低下するのを抑制することができる。また、狭視野静止画像の張り合わせを推奨する推奨位置をモザイク画像上に表示するので、狭視野静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。

また、本発明による撮像装置によれば、レンズユニットの種類及び当該レンズユニットに可変の光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果に基づいて、静止画像の張り合わせを推奨する推奨位置を決定してモザイク画像上に表示するので、静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。さらに、ブレンディング処理の際の重みがレンズユニットの種類及び光学パラメータに基づいて決定されるので、カメラに装着されたレンズユニットの影響で画質が低下するのを抑制することができる。

実施の形態１．
＜拡大観察装置＞
図１は、本発明の実施の形態１による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として、システム本体部１００、カメラ部２００及びコンソール３００からなる拡大観察装置１が示されている。この拡大観察装置１は、対物レンズによって拡大された被写体を撮影して動画像を生成し、システム本体部１００のディスプレイ１１０上に表示することができるデジタルマイクロスコープである。

カメラ部２００は、視野を変更しながら検査対象物を撮影するための撮影ユニットであり、カメラ２１０、可動ホルダー２２０及び可動ステージ２３０によって構成される。カメラ２１０は、検査対象物を被写体として撮影し、一定のフレームレートで連続する複数のフレーム画像からなる動画像を生成する読取装置であり、着脱式のレンズユニット２１１と、円筒形状の筐体内に配置されたＣＣＤイメージセンサー、照明装置などにより構成されている。

レンズユニット２１１は、撮影倍率やピント、絞りなどを調整するための光学モジュールであり、フォーカスレンズなどの複数の光学レンズによって構成される。カメラ２１０に装着可能なレンズユニット２１１としては、撮影倍率を変更することができるズームレンズユニットや、撮影倍率が固定の単焦点レンズユニットがある。

可動ホルダー２２０は、対物レンズの中心軸に平行な方向に移動可能にカメラ２１０を保持する保持手段である。ここでは、カメラ２１０の対物レンズの中心軸に平行な方向をｚ軸方向と呼ぶことにし、位置調整つまみ２２１を回すことによってカメラ２１０のｚ軸方向の位置を調整することができる。

可動ステージ２３０は、検査対象物を保持する保持手段であり、検査対象物を載せた状態でｚ軸に交差する面内で移動可能となっている。ここでは、ｚ軸に垂直な平面をｘｙ平面と呼ぶことにし、位置調整つまみ２３１及び２３２を回すことによって可動ステージ２３０のｘｙ平面内における位置を調整することができる。つまり、可動ステージ２３０は、位置調整つまみ２３１及び２３２を回すことによって、検査対象物を載せたまま異なる２方向に移動させることができるステージとなっている。

具体的には、位置調整つまみ２３１を回すことによって、ｘ軸方向の位置を調整し、位置調整つまみ２３２を回すことによって、ｙ軸方向の位置を調整することができる。カメラ２１０は、この様な可動ステージ２３０と対向して配置されている。

コンソール３００は、撮影の開始及び終了、撮影された画像データの取込みなどをシステム本体部１００に対して指示するための入力装置である。

システム本体部１００は、カメラ２１０によって撮影された動画像をライブ画像としてディスプレイ１１０上に表示し、複数の静止画像を張り合わせてカメラ２１０の実視野よりも視野の広いモザイク画像を生成する画像処理部である。

＜システム本体部＞
図２は、図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。このシステム本体部１００は、ディスプレイ１１０の他に、レンズユニット検出部１０１、識別情報取得部１０２、レンズ情報記憶部１０３、狭視野画像生成部１０４、表示用縮小部１２１，１２８、表示用モザイク画像記憶部１２２、ライブ画面データ生成部１２３、保存用モザイク画像記憶部１２４、ライブ位置合わせ部１２５、静止画像取得部１２６及びモザイク画像生成部１２７を備えて構成される。

レンズユニット検出部１０１は、レンズユニット２１１を検出する光学モジュール着脱検出手段である。識別情報取得部１０２は、レンズユニット検出部１０１による検出結果に基づいて、レンズユニット２１１からその識別情報を取得し、カメラ２１０に装着されているレンズユニットの種類と、当該レンズユニットに可変の光学パラメータとを狭視野画像生成部１０４へ出力する動作を行っている。

レンズ情報記憶部１０３には、レンズユニット２１１の識別情報と、レンズユニットの種類や光学パラメータとを互いに対応付けた複数の組が保持される。ここでは、レンズユニットの種類と、撮影倍率、絞り、照明条件などの光学パラメータとに複数の識別情報を対応付けたレンズユニットテーブルがレンズ情報としてレンズ情報記憶部１０３に予め保持されているものとする。上記照明条件としては、被写体に対する照明量、照明パターンなどが考えられる。

識別情報取得部１０２では、レンズユニット２１１がカメラ２１０に装着されたことが検出された際に、当該レンズユニット２１１から識別情報を取得し、レンズユニットテーブルを参照してレンズユニットの種類や光学パラメータをレンズ情報記憶部１０３から読み出す動作が行われる。

狭視野画像生成部１０４は、レンズ周縁部における光量低下やレンズの歪み、テレセントリック性の不足などの影響で画質が低下するのを抑制させるという観点から、識別情報取得部１０２からの種類及び光学パラメータに基づいてフレーム画像の周縁部を除去し、カメラ２１０の視野を狭小化した狭視野フレーム画像を生成する動作を行っている。

具体的には、レンズユニット２１１の種類や撮影倍率、絞り、照明条件に応じてフレーム画像の周縁部を除去することによって、元のフレーム画像から切り出された画像として狭視野フレーム画像が生成される。つまり、狭視野フレーム画像は、カメラ２１０の実視野よりも視野の狭い画像となっている。

例えば、フレーム画像から周縁部を除去する際に、周縁部の幅を撮影倍率が高いほど狭くし、撮影倍率が低いほど広くする処理が行われる。ここでは、元のフレーム画像と狭視野フレーム画像とではアスペクト比が略同一であるものとする。

狭視野画像生成部１０４では、カメラ２１０から動画データとして取得されるフレーム画像から狭視野フレーム画像を生成し、また、静止画データとして取得される静止画像から狭視野静止画像を生成する動作が行われる。狭視野静止画像は、狭視野フレーム画像と同様に、静止画像の周縁部をレンズユニット２１１の種類や撮影倍率、絞り、照明条件に応じて除去することによって生成される。

表示用縮小部１２１は、狭視野画像生成部１０４からの動画データを処理し、画像サイズの縮小した縮小動画データを生成する動作を行っている。具体的には、連続して得られる狭視野フレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画面データ生成部１２３へ出力する動作が行われる。狭視野フレーム画像の縮小は、例えば、画素の間引き処理や画素値の平均化処理によって行われる。ここでは、縮小前後でフレーム画像のアスペクト比が変わらないように縮小処理が行われるものとする。

表示用モザイク画像記憶部１２２は、表示用モザイク画像を保持するモザイク画像保持手段であり、例えば、揮発性の半導体メモリからなる。ライブ画面データ生成部１２３は、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示するためのライブ画面データを生成する動作を行っている。ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像のことである。

保存用モザイク画像記憶部１２４は、保存用モザイク画像を保持するモザイク画像保持手段であり、不揮発性の記憶素子、例えば、ＨＤＤ（ハードディスクドライブ）装置によって構成される。

ライブ位置合わせ部１２５は、位置合わせ用縮小部１２５ａ，１２５ｂ及びマッチング処理部１２５ｃからなり、連続して得られる狭視野フレーム画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作を行っている。

位置合わせ用縮小部１２５ａは、狭視野画像生成部１０４からの狭視野フレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。位置合わせ用縮小部１２５ｂは、保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用モザイク画像を生成し、マッチング処理部１２５ｃへ出力する動作を行っている。

マッチング処理部１２５ｃは、位置合わせ用フレーム画像及び位置合わせ用モザイク画像間のパターンマッチングによって、これらの画像間の相対位置を判定し、相対位置情報を生成してライブ画面データ生成部１２３へ出力する動作を行っている。

ライブ画面データ生成部１２３では、ライブ位置合わせ部１２５からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更する動作が行われる。

静止画像取得部１２６は、コンソール３００からの取込み指示に基づいて、カメラ２１０によって撮影された狭視野静止画像を取得し、モザイク画像生成部１２７へ出力する動作を行っている。狭視野画像生成部１０４を介してカメラ２１０から取得する張り合わせ用の静止画像としては、動画像とは露光時間などの撮像条件の異なる画像であっても良いし、動画像を構成するフレーム画像の１つであっても良い。

モザイク画像生成部１２７は、保存用位置合わせ部１２７ａ及び画像連結部１２７ｂからなり、複数の狭視野静止画像を張り合わせて保存用モザイク画像を生成する動作を行っている。

保存用位置合わせ部１２７ａは、静止画像取得部１２６によって取得された狭視野静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間の相対位置を判定する動作を行っている。この相対位置の判定は、狭視野静止画像及び保存用モザイク画像間のパターンマッチングによって行われ、位置合わせ用モザイク画像よりも高い解像度で狭視野静止画像及び保存用モザイク画像間の相対位置が推定される。

画像連結部１２７ｂは、保存用位置合わせ部１２７ａによる判定結果に基づいて、狭視野静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部１２４内の保存用モザイク画像を更新する動作を行っている。具体的には、静止画像取得部１２６によって取得された狭視野静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とが、保存用位置合わせ部１２７ａによって推定された画像間の相対位置に基づいて張り合わせられ、新たな保存用モザイク画像が生成される。

狭視野静止画像及び保存用モザイク画像の張り合わせは、これらの画像間の相対位置に基づいて両画像を連結することによって行われる。また、狭視野静止画像及び保存用モザイク画像を連結する際には、つなぎ目を目立たなくするために、画像間のオーバーラップ部分について画素値のブレンディング処理が行われる。

ブレンディング処理は、画像間で画素値をブレンディング、すなわち、加重平均して合成画像の画素値を求める画像処理であり、加重平均の際の重みを画素の位置に応じて適切に変化させることによってつなぎ目を目立たなくしている。画像間で画素値をブレンディングする際に用いる重みは、オーバーラップ部分の画像領域に関して、画像の端からの距離に応じて増加するように定められる。

表示用縮小部１２８は、保存用モザイク画像が更新されるごとに保存用モザイク画像記憶部１２４から更新後の保存用モザイク画像を読み出し、読み出した保存用モザイク画像を表示用に縮小して表示用モザイク画像を生成する動作を行っている。

ここで、ライブ位置合わせ部１２５は、保存用位置合わせ部１２７ａに比べて低精度のマッチング処理を実行し、低精度の座標データを相対位置情報として出力する処理部となっている。

＜マッチング処理部＞
図３は、図２のシステム本体部１００におけるライブ位置合わせ部１２５の構成例を示したブロック図であり、マッチング処理部１２５ｃ内の機能構成の一例が示されている。このマッチング処理部１２５ｃは、特徴量抽出部１３１及び相対位置判定部１３２により構成される。

特徴量抽出部１３１は、位置合わせ用フレーム画像と位置合わせ用モザイク画像とからそれぞれ特徴量を抽出する動作を行っている。特徴量としては、画像を比較する際の目印となるものであれば、何でも良いが、ここでは、複数のエッジが交差する頂点が特徴点として抽出されるものとする。

この特徴量抽出部１３１では、保存用モザイク画像のサイズが大きくなった場合の位置合わせに要する処理時間を短縮させるという観点から、位置合わせ用モザイク画像から特徴点を抽出する際に、保存用モザイク画像の一部、例えば、当該保存用モザイク画像に対して最後に張り合わされた狭視野静止画像を位置合わせ用の基準画像として、この基準画像内の特徴点を抽出する動作が行われる。

相対位置判定部１３２は、比較部１４１、相対位置演算部１４２及び重複領域推定部１４３からなり、特徴点の比較によって位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定する動作を行っている。比較部１４１は、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較し、その比較結果を相対位置演算部１４２へ出力する動作を行っている。

特徴点の比較は、例えば、一方の画像から特徴点を含む領域をテンプレートとして抽出し、このテンプレート領域に最も類似する領域を他方の画像から探し出すことによって行われる。領域間の類似度を測る指標としては、領域内の画素について求めた輝度値の二乗誤差和を用いる方法、領域内の各画素の輝度値を平均輝度によって正規化した正規化相関を用いる方法が考えられる。

この比較部１４１では、位置合わせ用フレーム画像から抽出された特徴点と、位置合わせ用モザイク画像から抽出された特徴点とを比較する際に、位置合わせ用フレーム画像の特徴点と基準画像の特徴点とを比較する動作が行われる。

相対位置演算部１４２は、比較部１４１による比較結果に基づいて位置合わせ用フレーム画像及び位置合わせ用モザイク画像間の相対位置を判定し、その判定結果を重複領域推定部１４３へ出力し、相対位置情報をライブ画面データ生成部１２３へ出力する動作を行っている。

重複領域推定部１４３は、過去の位置合わせ用フレーム画像に関する相対位置の判定結果に基づいて、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する動作を行っている。例えば、１フレーム前の位置合わせ用フレーム画像に関する相対位置の判定結果から当該フレーム画像と位置合わせ用モザイク画像との重複領域を定め、この重複領域が現在のフレーム画像とモザイク画像との重複領域であると判断する動作が行われる。

この重複領域推定部１４３では、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との重複領域を推定する際に、位置合わせ用フレーム画像と位置合わせ用の基準画像との重複領域を推定する動作が行われる。

比較部１４１では、重複領域推定部１４３によって推定された重複領域内の特徴点について比較を行い、比較結果を相対位置演算部１４２へ出力する動作が行われる。そして、重複領域内の特徴点について比較を行った結果、相対位置が判定できなかった場合に、位置合わせ用フレーム画像全体に含まれる全特徴点と、位置合わせ用モザイク画像のうちマッチング処理の対象となっている位置合わせ用の基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。

つまり、相対位置演算部１４２は、過去の相対位置の判定結果から推定されたフレーム画像及び基準画像間の重複領域内の特徴点の比較結果に基づいて相対位置を判定し、一方、その様な重複領域内の特徴点の比較では相対位置が判定できなかった場合には、位置合わせ用フレーム画像全体の特徴点と基準画像全体の特徴点との比較結果に基づいて相対位置を判定する動作が行われる。

また、最初の位置合わせ用フレーム画像については、位置合わせ用フレーム画像全体に含まれる全特徴点と基準画像全体に含まれる全特徴点とを比較し、比較結果を相対位置演算部１４２へ出力する動作が行われる。つまり、１フレーム目の位置合わせ用フレーム画像については、当該フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。一方、２フレーム目以降の位置合わせ用フレーム画像については、まず、過去のフレーム画像に関する相対位置の判定結果から推定された重複領域内の特徴点を比較して相対位置が判定される。このとき、相対位置が判定できなければ、フレーム画像の全特徴点と基準画像の全特徴点とを比較して相対位置が判定される。

ここで、最初のフレーム画像とは、例えば、モザイク画像の作成途中で一旦撮影を中断させ、その後撮影を再開させるようなケースにおいて、撮影再開後に最初に取得されるフレーム画像のことである。

一般に、画像の一部が重複している２つの静止画像からそれぞれ特徴点を抽出し、これらの画像間で対応する特徴点の組を探し出す場合、両画像の重複領域から特徴点を抽出して対応する特徴点の組を探す方が、画像全体から特徴点を抽出して探すよりも誤対応の発生確率は低くなる。つまり、重複領域内の特徴点について優先的に比較を行って相対位置を判定させることによって、位置合わせ用フレーム画像の位置合わせに成功する確率を向上させることができる。さらに、画像内の全特徴点について比較を行う場合に比べて、位置合わせの速度を向上させることができる。

ここでは、特徴量抽出部１３１が、現在の位置合わせ用フレーム画像から特徴点を抽出する際に、重複領域推定部１４３によって推定された重複領域から特徴点を抽出する。そして、重複領域内の特徴点だけでは相対位置が判定できなかった場合に、重複領域以外の領域からも特徴点を抽出する動作が行われるものとする。

また、ライブ画面データ生成部１２３では、表示用モザイク画像上に表示用フレーム画像によって構成される動画像をライブ画像として表示する際の表示位置を相対位置演算部１４２による相対位置の判定結果に基づいて更新し、その表示データをディスプレイ１１０へ出力する動作が行われる。

＜ライブ画面データ生成部＞
図４は、図２のシステム本体部１００におけるライブ画面データ生成部１２３の構成例を示したブロック図である。このライブ画面データ生成部１２３は、ライブ画像更新部１５１、オーバーラップ推奨サイズ判定部１５２及び張り合わせ推奨位置表示部１５３からなり、表示用モザイク画像上に表示用フレーム画像からなるライブ画像を配置したライブ画面データを生成する動作を行っている。

ライブ画像更新部１５１は、ライブ位置合わせ部１２５からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更するためのライブ画面データを生成する動作を行っている。これにより、表示用モザイク画像上に表示用フレーム画像からなる動画像がライブ画像として表示される。

オーバーラップ推奨サイズ判定部１５２は、狭視野静止画像を保存用モザイク画像に張り合わせる際の画像間のオーバーラップ部分の推奨サイズを判定する動作を行っている。

一般に、狭視野静止画像及び保存用モザイク画像を連結する際にブレンディング処理によってつなぎ目を目立たなくする場合、画像間のオーバーラップが大きいほど滑らかに張り合わせることができ、高画質のモザイク画像が得られるが、所望のサイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数が増えてしまう。

オーバーラップ推奨サイズ判定部１５２では、例えば、ユーザが予め指定した視野サイズや静止画像の張り合わせ枚数の上限値、解像度に基づいて、一定レベル以上の平滑度で滑らかに張り合わせることができ、かつ、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数を最小限に抑えることができるオーバーラップサイズを推奨サイズとして判定する動作が行われる。なお、ここでいう平滑度とは、画像間で画素値をブレンディングする際の重みの変化率に対応して定められるパラメータのことである。

張り合わせ推奨位置表示部１５３は、オーバーラップ推奨サイズ判定部１５２による推奨サイズの判定結果に基づいて、狭視野静止画像の張り合わせを推奨する推奨位置を決定し、推奨位置を表示用モザイク画像上に表示するためのライブ画面データを生成する動作を行っている。具体的には、狭視野静止画像の張り合わせに最適な表示用モザイク画像上の位置を推奨位置として、この推奨位置に表示用フレーム画像を収容することができるガイド枠を表示する動作が行われる。

上記ガイド枠は、例えば、表示用縮小部１２１からの縮小率情報に基づいてそのサイズが定められ、ライブ画面内に張り合わせ推奨枠として表示される。オーバーラップ部分の推奨サイズの判定は、保存用モザイク画像が更新されるごとに行われ、その判定結果に応じて張り合わせ推奨枠の表示位置が変更される。

＜ライブ画面＞
図５及び図６は、図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図である。図５には、カメラ２１０によって撮影された動画像Ａ１及び表示用モザイク画像Ａ３が示されている。また、図６には、モザイク画像Ａ３上に動画像Ａ１がライブ画像として配置されたライブ画面１１１が示されている。

動画像Ａ１は、一定のフレームレートで繰返し生成される表示用フレーム画像Ａ２によって構成される。例えば、１５ｆｐｓで表示用フレーム画像Ａ２が生成される。ここでは、撮影倍率やフォーカス位置は、固定されているものとする。

表示用モザイク画像Ａ３は、保存用モザイク画像をライブ画面表示用に縮小して作成されたモザイク画像である。

ライブ画面１１１は、ディスプレイ１１０上に表示されるモニター画面であり、作成中の表示用モザイク画像Ａ３及び動画像Ａ１が表示されている。ライブ画面１１１では、動画像Ａ１が、現在の位置合わせ用フレーム画像と位置合わせ用モザイク画像との間のパターンマッチングによって判定された相対位置から決定された表示位置に配置されている。

つまり、撮影中の動画像Ａ１が作成中の表示用モザイク画像Ａ３上の適切な位置にライブ画像として表示されるので、ユーザは、撮影中の視野と作成中のモザイク画像との位置関係を確認しながら狭視野静止画像を取り込んで保存用モザイク画像と連結させることができる。

＜パターンマッチング＞
図７（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像Ｂ１及び位置合わせ用のフレーム画像Ｂ２からそれぞれ抽出された全特徴点Ｂ３の比較によってこれらの特徴点間の正対応が抽出される様子が示されている。図７（ａ）には、基準画像Ｂ１から抽出された特徴点Ｂ３をフレーム画像Ｂ２内の各特徴点Ｂ３と比較している様子が示され、図７（ｂ）には、特徴点Ｂ３の比較に基づいて抽出された特徴点間の正対応が示されている。

基準画像Ｂ１は、作成中のモザイク画像の一部であり、パターンマッチングの処理対象として位置合わせ用モザイク画像から予め抽出される。例えば、最後に連結された狭視野静止画像が基準画像Ｂ１として抽出される。或いは、保存用モザイク画像に対して最後に連結された狭視野静止画像と現在のフレーム画像との重複領域の大きさが一定レベルを下回り、これらの画像間の相対位置が判定できなくなると、保存用モザイク画像に対して最後に連結された狭視野静止画像に隣接する他の狭視野静止画像が基準画像Ｂ１として抽出される。

基準画像Ｂ１及びフレーム画像Ｂ２間の位置関係が不明な場合、画像全体を対象として特徴点Ｂ３の抽出が行われる。そして、基準画像Ｂ１から抽出された各特徴点Ｂ３について、類似する特徴点がフレーム画像Ｂ２内に存在するか否かを特徴点間の比較によって判断する。

特徴点間の類似度は、特徴点Ｂ３を含む所定の領域、例えば、５ピクセル×５ピクセルの矩形領域について算出される輝度値の二乗誤差和又は正規化相関によって測ることができる。

特徴点間の正対応は、この様な比較結果に基づいて抽出される。例えば、同一方向に並行移動している特徴点間の対応が正対応として抽出される。基準画像Ｂ１及びフレーム画像Ｂ２間の相対位置は、抽出された特徴点間の正対応に基づいて特徴点の画像内における移動量を判断し、この移動量から基準画像Ｂ１に対するフレーム画像Ｂ２の移動量を判断することによって判定される。

図８（ａ）及び（ｂ）は、図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。図８（ａ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から求められた両画像の重複領域Ｂ４が示されている。また、図８（ｂ）には、基準画像及び第（ｎ−１）フレーム画像間の相対位置から推定された基準画像及び第ｎフレーム画像の重複領域Ｂ５，Ｂ６が示されている。

基準画像Ｂ１及びフレーム画像Ｂ２間の大まかな位置関係が予めわかっている場合には、一方の画像から適切にテンプレート領域を抽出し、他方の画像の対応する領域付近を探索することによって、これらの画像間の相対位置をより高精度に判定することができる。

すなわち、１フレーム前の第（ｎ−１）フレーム画像と基準画像との間の相対位置の判定結果からこれらの画像の重複領域Ｂ４を求める。この重複領域Ｂ４を現在の第ｎフレーム画像と基準画像との重複領域Ｂ５，Ｂ６であると判断する。そして、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６内から類似する特徴点を抽出することによって、これらの画像間の相対位置が判定される。

類似する特徴点の抽出は、基準画像の重複領域Ｂ５内の各特徴点Ｂ３について、第ｎフレーム画像の重複領域Ｂ６から上記特徴点に対応する位置付近の所定領域を抽出し、この領域内を探索することによって行われる。

本実施の形態では、２フレーム目以降の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせに対して、重複領域内の特徴点について比較を行う図８の方法が採用される。一方、１フレーム目の位置合わせ用フレーム画像と位置合わせ用モザイク画像との位置合わせや、重複領域内の特徴点についての比較では相対位置が判定できなかった場合、或いは、取込み指示に基づいて取り込んだ狭視野静止画像と保存用モザイク画像との位置合わせには、全特徴点について比較を行う図７の方法が採用される。

＜張り合わせ推奨枠＞
図９は、図１の拡大観察装置１におけるライブ画面表示時の動作の一例を示した図であり、モザイク画像上に表示された張り合わせ推奨枠が示されている。ライブ画面には、作成中の保存用モザイク画像に対応する表示用のモザイク画像と、撮影中の視野を示すライブ画像と、張り合わせ推奨枠が表示されている。

この例では、表示用フレーム画像によって構成されるライブ画像が、実線で示された矩形の枠内に配置されている。この矩形枠の表示位置は、基準画像（モザイク画像の一部）及び現在の位置合わせ用フレーム画像間の相対位置の判定結果に基づいて変更される。

一方、張り合わせ推奨枠は、狭視野静止画像の張り合わせに最適なモザイク画像に対する位置を表すガイド枠であり、破線で示された矩形形状の図形となっている。この例では、張り合わせ推奨枠が、表示用フレーム画像よりも若干大きく、狭視野静止画像を一定レベル以上の平滑度で滑らかに張り合わせられ、かつ、所望のサイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数を最小限に抑えられる最適なオーバーラップとなる領域を取り囲むように形成されている。

ここで、張り合わせ推奨枠は、最適なオーバーラップとなる領域をユーザが容易に認識できるものであれば、当該領域を取り囲んでいなくても良い。

ユーザは、張り合わせ推奨枠を目標にして可動ステージ２３０を移動させ、張り合わせ推奨枠内にライブ画像が位置する時点で静止画像の取り込みを指示すれば、最小限の枚数で高画質のモザイク画像を得ることができる。この様な張り合わせ推奨枠は、必要に応じてモザイク画像の周囲に複数個配置され、モザイク画像が更新されるごとに、その表示位置が変更される。

＜オーバーラップ部分＞
図１０は、図１の拡大観察装置１におけるモザイク画像生成時の動作の一例を模式的に示した説明図であり、張り合わされる狭視野静止画像及びモザイク画像間のオーバーラップ部分が示されている。新たに取得した狭視野静止画像を保存用のモザイク画像に張り合わせることによって、新たなモザイク画像を生成する際、画像間のオーバーラップ部分について、画像間で画素値をブレンディングするブレンディング処理が行われる。

この様なブレンディング処理が行われるオーバーラップ部分は、そのサイズが大きいほど狭視野静止画像及びモザイク画像を滑らかに張り合わせることができるが、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増えてしまう。これに対して、オーバーラップ部分のサイズを小さくすれば、必要な静止画像の枚数は減らせるが、モザイク画像の画質が低下することとなる。

そこで、本実施の形態では、滑らかに張り合わせることができ、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数を最小限に抑えることができるオーバーラップサイズを推奨サイズとして判定し、その判定結果に基づいて決定した推奨位置を作成中のモザイク画像上に表示する動作が行われる。

上記オーバーラップサイズとは、オーバーラップ部分の幅、例えば、ｘ軸方向の距離ｄ_１及びｙ軸方向の距離ｄ_２のことである。

図１１及び図１２のステップＳ１０１〜Ｓ１１９は、図１の拡大観察装置１におけるライブ画面表示時の動作の一例を示したフローチャートである。まず、特徴量抽出部１３１は、位置合わせ用フレーム画像を取得し、それが最初のフレーム画像であれば、画像全体から特徴点を抽出する（ステップＳ１０１〜１０３）。

次に、相対位置判定部１３２は、各画像の全特徴点について比較を行い、現在の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置を判定する（ステップＳ１０４）。このとき、相対位置が判定できず、位置合わせに失敗すると、ユーザに対してマッチングエラーが報知される（ステップＳ１０５，Ｓ１１４）。位置合わせに成功した場合には、相対位置の判定結果に基づいてライブ画像の表示位置が変更され、ライブ画像が更新される（ステップＳ１０５〜Ｓ１０７）。

一方、取得した位置合わせ用フレーム画像が最初のフレーム画像でなければ、相対位置判定部１３２は、前回の位置合わせの結果、すなわち、１フレーム前の位置合わせ用フレーム画像と位置合わせ用基準画像との間の相対位置の判定結果を参照して、現在の位置合わせ用フレーム画像と基準画像との間の重複領域を推定する（ステップＳ１０２，Ｓ１１０，Ｓ１１１）。特徴量抽出部１３１は、この推定された重複領域から特徴点を抽出する。

次に、相対位置判定部１３２は、現在の位置合わせ用フレーム画像と位置合わせ用基準画像とから推定された重複領域内の特徴点について比較を行い、これらの画像間の相対位置を判定する（ステップＳ１１２）。このとき、相対位置が判定できず、位置合わせに失敗すると、ステップＳ１０３以降の処理手順が実行される（ステップＳ１１３）。位置合わせに成功した場合には、相対位置の判定結果に基づいてライブ画像の表示位置が変更され、ライブ画像が更新される（ステップＳ１１３，Ｓ１０６，Ｓ１０７）。

静止画像取得部１２６は、ライブ画像の更新後、張り合わせ用の静止画像の取込み指示があれば、当該取込み指示に基づいて狭視野静止画像を取り込む。モザイク画像生成部１２７は、取り込まれた狭視野静止画像と保存用モザイク画像との間のパターンマッチングによってこれらの画像間の相対位置を判定し、両画像を連結する処理を行う（ステップＳ１０８，Ｓ１１５，Ｓ１１６）。

そして、両画像の連結によって生成された新たな保存用モザイク画像によって、表示用及び保存用のモザイク画像が更新される（ステップＳ１１７）。次に、張り合わせ位置表示部１５３は、表示用モザイク画像の更新に合わせて、狭視野静止画像の張り合わせに最適なモザイク画像に対する位置を判定し、張り合わせ推奨枠（ガイド枠）の表示位置を更新する（ステップＳ１１８，Ｓ１１９）。

ステップＳ１０１からＳ１０８までの処理手順は、撮影終了が指示されるまで繰り返される（ステップＳ１０９）。

本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら狭視野静止画像を取り込んでモザイク画像と連結させることができる。特に、レンズユニット２１１の種類及び当該レンズユニットに可変の光学パラメータに基づいて周縁部を除去した狭視野フレーム画像を用いて撮影中の視野を表示し、狭視野静止画像を用いて張り合わせを行うので、カメラ２１０に装着されたレンズユニット２１１の影響で画質が低下するのを抑制することができる。

例えば、撮影倍率に応じて周縁部を除去した狭視野静止画像を用いてモザイク画像を作成することによって、レンズの外周部分における光量低下の影響で画像間のつなぎ目に光量ムラが生じるのを抑制することができる。また、レンズの歪み（収差）やテレセントリック性不足の影響によって、モザイク画像に偽像が生じるのを抑制することができる。

また、狭視野静止画像の張り合わせを推奨する推奨位置をモザイク画像上に表示するので、狭視野静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な狭視野静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。

実施の形態２．
実施の形態１では、レンズユニット２１１の種類及び当該レンズユニットに可変の光学パラメータに基づいて周縁部を除去した狭視野フレーム画像を用いて撮影中の視野が表示され、狭視野静止画像を用いて張り合わせが行われる場合の例について説明した。これに対し、本実施の形態では、レンズユニット２１１の種類及び当該レンズユニットに可変の光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果から推奨位置を決定してモザイク画像上に表示する場合について説明する。

図１３は、本発明の実施の形態２による拡大観察装置１におけるシステム本体部１００ａの一構成例を示したブロック図である。このシステム本体部１００ａは、ディスプレイ１１０の他に、表示用縮小部１２１，１２８、表示用モザイク画像記憶部１２２、ライブ画面データ生成部１２３ａ、保存用モザイク画像記憶部１２４、ライブ位置合わせ部１２５、静止画像取得部１２６及びモザイク画像生成部１２７を備えて構成される。

表示用縮小部１２１では、カメラ２１０から連続して得られるフレーム画像を所定の縮小率で縮小して表示用フレーム画像を生成し、ライブ画面データ生成部１２３ａへ出力する動作が行われる。

ライブ画面データ生成部１２３ａは、表示用縮小部１２１からの縮小率情報に基づいてディスプレイ１１０を制御し、表示用縮小部１２１から連続して得られる表示用フレーム画像の表示用モザイク画像に対する表示位置を更新することによって、表示用モザイク画像上にライブ画像を表示するためのライブ画面データを生成する動作を行っている。

ライブ位置合わせ部１２５では、カメラ２１０から連続して得られるフレーム画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像とをそれぞれ縮小してマッチング処理する動作が行われる。

位置合わせ用縮小部１２５ａでは、カメラ２１０からのフレーム画像を位置合わせ用に一定の縮小率で縮小して位置合わせ用フレーム画像を生成し、マッチング処理部１２５ｃへ出力する動作が行われる。

静止画像取得部１２６では、コンソール３００からの取込み指示に基づいて、カメラ２１０によって撮影された静止画像を取得し、モザイク画像生成部１２７へ出力する動作が行われる。モザイク画像生成部１２７では、複数の静止画像を張り合わせて保存用モザイク画像を生成する動作が行われる。

保存用位置合わせ部１２７ａでは、静止画像取得部１２６によって取得された静止画像と保存用モザイク画像記憶部１２４から読み出した保存用モザイク画像との間の相対位置を判定する動作が行われる。

画像連結部１２７ｂでは、保存用位置合わせ部１２７ａによる判定結果に基づいて、静止画像及び保存用モザイク画像を張り合わせ、新たな保存用モザイク画像を生成して保存用モザイク画像記憶部１２４内の保存用モザイク画像を更新する動作が行われる。

この画像連結部１２７ｂでは、カメラ２１０に装着されたレンズユニット２１１の影響で画質が低下するのを抑制させるという観点から、静止画像及び保存用モザイク画像間で画素値をブレンディングする際の重みをレンズユニット２１１の種類、撮影倍率、絞り及び照明条件に基づいて決定する動作が行われる。

具体的には、レンズユニット２１１の撮影倍率が短いほど画像の周縁部の重みを中央部よりも相対的に小さくする処理が行われる。

図１４は、図１３のシステム本体部１００ａにおけるライブ画面データ生成部１２３ａの構成例を示したブロック図である。ライブ画面データ生成部１２３ａは、レンズユニット検出部１６１、識別情報取得部１６２、レンズ情報記憶部１６３、ライブ画像更新部１６４、オーバーラップ推奨サイズ判定部１６５及び張り合わせ推奨位置表示部１６６により構成される。

このライブ画面データ生成部１２３ａでは、表示用モザイク画像上に表示用フレーム画像からなるライブ画像を配置したライブ画面データを生成する際に、レンズユニット２１１の種類及び光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果に基づいて静止画像の張り合わせを推奨する推奨位置を決定してモザイク画像上に表示する動作が行われる。

レンズユニット検出部１６１は、レンズユニット２１１を検出する光学モジュール着脱検出手段である。識別情報取得部１６２は、レンズユニット検出部１６１による検出結果に基づいて、レンズユニット２１１からその識別情報を取得し、カメラ２１０に装着されているレンズユニットの種類と、当該レンズユニットに可変の光学パラメータとをオーバーラップ判定部１６５へ出力する動作を行っている。

レンズ情報記憶部１６３には、レンズユニット２１１の識別情報と、レンズユニットの種類や光学パラメータとを互いに対応付けた複数の組が保持される。ここでは、レンズユニットの種類と、撮影倍率、絞り、照明条件などの光学パラメータとに複数の識別情報を対応付けたレンズユニットテーブルがレンズ情報としてレンズ情報記憶部１６３に予め保持されているものとする。

識別情報取得部１６２では、レンズユニット２１１がカメラ２１０に装着されたことが検出された際に、当該レンズユニット２１１から識別情報を取得し、レンズユニットテーブルを参照してレンズユニットの種類や光学パラメータをレンズ情報記憶部１６３から読み出す動作が行われる。

ライブ画像更新部１６４では、ライブ位置合わせ部１２５からの相対位置情報に基づいて、表示用フレーム画像及び表示用モザイク画像間の相対位置を決定し、表示用フレーム画像の表示用モザイク画像に対する表示位置を変更するためのライブ画面データを生成する動作が行われる。

オーバーラップ推奨サイズ判定部１６５は、レンズユニット２１１の種類や撮影倍率、絞り、照明条件に基づいて、静止画像を張り合わせる際の画像間のオーバーラップ部分の推奨サイズを判定する動作を行っている。このオーバーラップ推奨サイズ判定部１６５では、カメラ２１０に装着されているレンズユニット２１１の影響で画質が低下するのを抑制することができるオーバーラップサイズを推奨サイズとして判定する動作が行われる。

例えば、レンズ周縁部における光量低下やレンズの歪み、テレセントリック性の不足などの影響で画質が低下するのを抑制させるという観点から、静止画像及び保存用モザイク画像間のオーバーラップ部分の推奨サイズは、撮影倍率が低いほど大きく、撮影倍率が高いほど小さくなる。

張り合わせ推奨位置表示部１６６は、オーバーラップ推奨サイズ判定部１６５による推奨サイズの判定結果に基づいて、静止画像の張り合わせを推奨する推奨位置を決定し、推奨位置を表示用モザイク画像上に表示するためのライブ画面データを生成する動作を行っている。具体的には、静止画像の張り合わせに最適な表示用モザイク画像上の位置を推奨位置として、この推奨位置に表示用フレーム画像を収容することができるガイド枠（張り合わせ推奨枠）を表示する動作が行われる。

オーバーラップ部分の推奨サイズの判定は、保存用モザイク画像が更新されるごとに行われ、その判定結果に応じて張り合わせ推奨枠の表示位置が変更される。

＜ブレンディング処理＞
図１５（ａ）及び（ｂ）は、図１３の拡大観察装置１におけるモザイク画像生成時の動作の一例を示した図であり、画像間のオーバーラップ部分について画像間で画素値をブレンディングする際の重みが示されている。図１５（ａ）には、縦軸を重み、横軸を画像の端からの距離として、レンズユニット２１１の撮影倍率が高い場合が示されている。

新たに取得した静止画像を保存用のモザイク画像に張り合わせることによって、新たなモザイク画像を生成する際、画像間のオーバーラップ部分について、画像間で画素値をブレンディングするブレンディング処理が行われる。

画像間で画素値をブレンディングする際の重みは、オーバーラップ部分の画像領域に関して、画像の端からの距離に応じて増加するように定められるが、ここでは、さらに、レンズユニット２１１の撮影倍率が低いほど、画像の周縁部における重みを中央部に比べて相対的に小さくする処理が行われる。

撮影倍率が高い場合、重みは、オーバーラップ部分の範囲を０以上ａ_３以下として、画像の端からの距離が０以上ａ_１以下の範囲で０、ａ_１からａ_２までが一定の傾きで増加し、ａ_２以上の範囲で１となっている。

図１５（ｂ）には、レンズユニット２１１の撮影倍率が低い場合が示されている。撮影倍率が低い場合には、重みは、距離ａ_４＞ａ_１として、画像の端からの距離が０以上ａ_４以下の範囲で０、ａ_４からａ_５までが一定の傾きで増加し、ａ_５以上の範囲で１となっている。この様に、重みが０である範囲（０以上ａ_４以下の範囲）をレンズユニット２１１の撮影倍率が高い場合よりも広くすることによって、撮影倍率が低いほど、画像の周縁部における重みを中央部に比べて相対的に小さくすることができる。

本実施の形態によれば、撮影中の視野がライブ画像として作成中のモザイク画像上の適切な位置に表示されるので、撮影中の視野と作成中のモザイク画像との位置関係をユーザに確認させながら静止画像を取り込んでモザイク画像と連結させることができる。特に、レンズユニット２１１の種類及び当該レンズユニットに可変の光学パラメータに基づいて、静止画像を張り合わせる際のオーバーラップ部分の推奨サイズを判定し、その判定結果に基づいて静止画像の張り合わせを推奨する推奨位置を決定してモザイク画像上に表示するので、静止画像を張り合わせ用に取り込む際に、所望サイズのモザイク画像を作成するのに必要な静止画像の枚数が増大するのを抑制しつつ、モザイク画像の画質を向上させられる位置をユーザに認識させることができる。さらに、静止画像を張り合わせる際のブレンディング処理の重みがレンズユニット２１１の種類及び当該レンズユニットに可変の光学パラメータに基づいて決定されるので、カメラ２１０に装着されたレンズユニット２１１の影響で画質が低下するのを抑制することができる。

なお、実施の形態１及び２では、カメラ２１０に装着されているレンズユニット２１１の種類や光学パラメータが自動認識される場合の例について説明したが、本発明はこれに限られるものではない。例えば、ユーザにレンズユニット２１１の識別情報を入力させ、或いは、ディスプレイ１１０上でレンズユニット２１１を選択させることによって、カメラ２１０に装着されているレンズユニットの種類や光学パラメータを判断するようなものであっても良い。

また、実施の形態１及び２では、取込み指示に基づいて静止画像を取り込んでモザイク画像に張り合わせられる場合の例について説明したが、本発明はこれに限られるものではない。例えば、ライブ画像の全体が張り合わせ推奨枠内に収容された状態で、視野の変動が一定時間以上なければ、自動的に撮影中の視野に対応する静止画像を取り込んで張り合わせを行うようなものであっても良い。

或いは、ライブ画像の全体が張り合わせ推奨枠内に収容されている場合にのみ、撮影中の視野に対応する静止画像の張り合わせを許可し、ライブ画像の一部又は全部が張り合わせ推奨枠外である場合には、静止画像の張り合わせを許可しないような構成も考えられる。

また、実施の形態１及び２では、位置合わせ用フレーム画像及び位置合わせ用モザイク画像を比較する際の特徴量として、エッジが交差する頂点が抽出される場合の例について説明したが、本発明はこれに限られるものではない。例えば、画像上の所定エリアについて、エリア内のコントラスト値を特徴量として位置合わせ用フレーム画像及び位置合わせ用モザイク画像からそれぞれ抽出し、これらの画像間で比較するようなものであっても良い。また、エッジやコントラストを抽出することなく重複領域内の所定エリアについて、エリア内の特徴量に基づいてテンプレートマッチングを実行するようにしても良い。

また、実施の形態１及び２では、位置合わせ用のモザイク画像及びフレーム画像間のパターンマッチングによってこれらの画像間の相対的位置関係が判断される場合の例について説明したが、本発明はこれに限られるものではない。例えば、可動ステージ２３０のｘ軸方向及びｙ軸方向における位置を検出する位置センサーを備え、位置センサーの出力に基づいて、フレーム画像及びモザイク画像間の相対位置を判定するようなものも本発明には含まれる。

本発明の実施の形態１による撮像装置の概略構成の一例を示したシステム図であり、撮像装置の一例として拡大観察装置１が示されている。 図１の拡大観察装置１の要部における構成例を示したブロック図であり、システム本体部１００内の機能構成の一例が示されている。 図２のシステム本体部１００におけるライブ位置合わせ部１２５の構成例を示したブロック図であり、マッチング処理部１２５ｃ内の機能構成が示されている。 図２のシステム本体部１００におけるライブ画面データ生成部１２３の構成例を示したブロック図である。 図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、動画像Ａ１及び表示用モザイク画像Ａ３が示されている。 図１の拡大観察装置１におけるライブ画像表示時の動作の一例を模式的に示した説明図であり、ライブ画面１１１が示されている。 図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、全特徴点Ｂ３の比較によって特徴点間の正対応が抽出される様子が示されている。 図１の拡大観察装置１におけるパターンマッチング動作の一例を示した図であり、重複領域Ｂ５，Ｂ６内の特徴点Ｂ３が比較される様子が示されている。 図１の拡大観察装置１におけるライブ画面表示時の動作の一例を示した図であり、モザイク画像上に表示された張り合わせ推奨枠が示されている。 図１の拡大観察装置１におけるモザイク画像生成時の動作の一例を模式的に示した説明図であり、画像間のオーバーラップ部分が示されている。 図１の拡大観察装置１におけるライブ画面表示時の動作の一例を示したフローチャートである。 図１の拡大観察装置１におけるライブ画面表示時の動作の一例を示したフローチャートである。 本発明の実施の形態２による拡大観察装置１におけるシステム本体部１００ａの一構成例を示したブロック図である。 図１３のシステム本体部１００ａにおけるライブ画面データ生成部１２３ａの構成例を示したブロック図である。 図１３の拡大観察装置１におけるモザイク画像生成時の動作の一例を示した図であり、画像間で画素値をブレンディングする際の重みが示されている。

符号の説明

１ 拡大観察装置
１００，１００ａ システム本体部
１０１ レンズユニット検出部
１０２ 識別情報取得部
１０３ レンズ情報記憶部
１０４ 狭視野画像生成部
１１０ ディスプレイ
１１１ ライブ画面
１２１，１２８ 表示用縮小部
１２２ 表示用モザイク画像記憶部
１２３，１２３ａ ライブ画像更新部
１２４ 保存用モザイク画像記憶部
１２５ ライブ位置合わせ部
１２５ａ，１２５ｂ 位置合わせ用縮小部
１２５ｃ マッチング処理部
１２６ 静止画像取得部
１２７ モザイク画像生成部
１２７ａ 保存用位置合わせ部
１２７ｂ 画像連結部
１３１ 特徴量抽出部
１３２ 相対位置判定部
１４１ 比較部
１４２ 相対位置演算部
１４３ 重複領域推定部
１５１ ライブ画像更新部
１５２ オーバーラップ推奨サイズ判定部
１５３ 張り合わせ推奨位置表示部
１６１ レンズユニット検出部
１６２ 識別情報取得部
１６３ レンズ情報記憶部
１６４ ライブ画像更新部
１６５ オーバーラップ推奨サイズ判定部
１６６ 張り合わせ推奨位置表示部
２００ カメラ部
２１０ カメラ
２１１ レンズユニット
２２０ 可動ホルダー
２２１，２３１，２３２ 位置調整つまみ
２３０ 可動ステージ
３００ コンソール
Ａ１ 動画像
Ａ２ 表示用フレーム画像
Ａ３ 表示用モザイク画像
Ｂ１ 基準画像
Ｂ２ フレーム画像
Ｂ３ 特徴点

Claims (7)

1. 検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、
   上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、
   上記カメラに装着された着脱式のレンズユニットの種類及び当該レンズユニットに可変の光学パラメータを保持するレンズ情報記憶手段と、
   上記種類及び上記光学パラメータに基づいて上記フレーム画像の周縁部を除去し、上記カメラの視野を狭小化した狭視野フレーム画像を生成する狭視野フレーム画像生成手段と、
   上記カメラによって撮影された２以上の狭視野静止画像を張り合わせて、モザイク画像を生成するモザイク画像生成手段と、
   上記狭視野フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、
   上記相対位置の判定結果に基づいて、上記狭視野フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記狭視野フレーム画像からなる動画像を表示するライブ画像表示手段とを備えたことを特徴とする撮像装置。
2. 上記狭視野静止画像の張り合わせを推奨する推奨位置を上記モザイク画像上に表示する張り合わせ推奨位置表示手段を備えたことを特徴とする請求項１に記載の撮像装置。
3. 上記張り合わせ推奨位置表示手段が、上記狭視野静止画像及び上記モザイク画像間のオーバーラップ部分の推奨サイズに基づいて、上記推奨位置を決定することを特徴とする請求項２に記載の撮像装置。
4. 検査対象物を載せたまま異なる２方向に移動させることができる可動ステージと、
   上記可動ステージと対向配置され、上記検査対象物を撮影して、連続する複数のフレーム画像からなる動画像を生成するカメラと、
   上記カメラによって撮影された２以上の静止画像を画像間のオーバーラップ部分について画素値のブレンディング処理を行うことによって張り合わせ、上記カメラの実視野よりも視野の広いモザイク画像を生成するモザイク画像生成手段と、
   上記フレーム画像及び上記モザイク画像間の相対位置を判定する相対位置判定手段と、
   上記相対位置の判定結果に基づいて、上記フレーム画像の上記モザイク画像に対する表示位置を更新し、上記モザイク画像上に上記動画像を表示するライブ画像表示手段と、
   上記カメラに装着された着脱式のレンズユニットの種類及び当該レンズユニットに可変の光学パラメータを保持するレンズ情報記憶手段と、
   上記種類及び上記光学パラメータに基づいて、上記オーバーラップ部分の推奨サイズを判定するオーバーラップ推奨サイズ判定手段と、
   上記推奨サイズの判定結果に基づいて、上記静止画像の張り合わせを推奨する推奨位置を決定し、上記モザイク画像上に表示する張り合わせ推奨位置表示手段とを備えたことを特徴とする撮像装置。
5. 上記張り合わせ推奨位置表示手段は、上記推奨位置に上記フレーム画像を収容することができるガイド枠を表示することを特徴とする請求項４に記載の撮像装置。
6. 上記モザイク画像生成手段は、画像間で画素値をブレンディングする際に用いる重みであって、画像の端からの距離に応じて増加する重みを上記種類及び上記光学パラメータに基づいて決定することを特徴とする請求項４に記載の撮像装置。
7. 上記レンズ情報記憶手段が、上記光学パラメータとして、レンズユニットの撮影倍率、絞り又は照明条件を保持していることを特徴とする請求項１又は４に記載の撮像装置。