JP2000357229A - 表示装置、表示方法及び表示機能を有するプログラムを記録したコンピュータ読み取り可能な情報記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 鮮明な合成画像を高速に表示することができ
る表示装置、表示方法及び表示機能を有するプログラム
を記録したコンピュータ読み取り可能な情報記録媒体を
提供すること。 【解決手段】 部分的に異なる奥行きを有する被写体２
を撮影するための撮影手段７、前記撮影手段７の焦点を
合わせるために前記撮影手段７を前記被写体２に対して
前記奥行き方向に移動するための移動手段７ａによって
前記撮影手段７を前記奥行き方向で微少距離ずつずらし
て撮影した前記被写体２の画像の内、焦点の合っている
部分同士を合成して合成画像を生成するための合成手段
１１〜１６を有する画像取得手段９は、前記移動手段７
ａによって前記撮影手段７を前記奥行き方向で微少距離
ずつずらして前記被写体２を撮影する処理と、既に撮影
が終了した前記被写体２の画像の合成画像を生成する処
理とを並列処理することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を撮影した
画像を表示するための表示装置、表示方法及び表示機能
を有するプログラムを記録したコンピュータ読み取り可
能な情報記録媒体に関するものである。

【０００２】

【従来の技術】近年、電子部品等（以下、単に部品とい
う）における集積化が進んでおり、微細な部品の映像を
見るために顕微鏡が使用されている。顕微鏡には、所定
のテーブルに配置された被写体としての部品を撮影する
ための撮影手段、撮影手段の焦点を部品に合わせるため
に近接させたり離すための移動手段及び、撮影手段によ
って撮影された画像を表示するための表示手段が設けら
れている。操作者は、この顕微鏡を操作して表示手段を
参照することで部品の形状を視認することができる。

【０００３】ところが、部品によっては、部分的に奥行
き（以下、一例として高さ）の異なるものがある。この
ような形状の部品を撮影手段によって撮影すると、部品
の一部分は焦点を合わせることができるが、部品全体と
しては焦点を合わせることができないという問題点があ
った。このため、従来の顕微鏡においては、全フォーカ
ス（パンフォーカス）法を利用して部品が撮影されてい
た。全フォーカス法とは、移動手段によって撮影手段を
部品に対して微少距離ずつ移動させながら撮影手段によ
って撮影し、部品の奥行き方向例えば各高さ毎に焦点の
合っている画像の部分を合成して合成画像を表示する方
法である。このような合成画像は、表示手段に表示され
ると、部品全体において焦点が合った画像となっており
鮮明であった。

【０００４】

【発明が解決しようとする課題】ところが、従来の顕微
鏡においてこのような全フォーカス法によって部品の合
成画像を表示すると、合成画像を生成する処理の負荷が
大きく、合成画像が表示される処理に時間を要してい
た。このため、上述の表示手段には、現時点での部品の
画像が遅れて表示されていた。

【０００５】そこで本発明は上記課題を解消し、鮮明な
合成画像を高速に表示することができる表示装置、表示
方法及び表示機能を有するプログラムを記録したコンピ
ュータ読み取り可能な情報記録媒体を提供することを目
的としている。

【０００６】

【課題を解決するための手段】上記目的は、請求項１の
発明にあっては、部分的に異なる奥行きを有する被写体
を撮影するための撮影手段、前記撮影手段の焦点を合わ
せるために前記撮影手段を前記被写体に対して前記奥行
き方向に移動するための移動手段及び、前記移動手段に
よって前記撮影手段を前記奥行き方向で微少距離ずつず
らして撮影した前記被写体の画像の内、焦点の合ってい
る部分同士を合成して合成画像を生成するための合成手
段を有する画像取得手段と、前記合成画像を表示するた
めの表示手段とを備え、前記画像取得手段は、前記移動
手段によって前記撮影手段を前記奥行き方向で微少距離
ずつずらして前記被写体を撮影する処理と、既に撮影が
終了した前記被写体の画像の合成画像を生成する処理と
を並列処理することを特徴とする表示装置により、達成
される。

【０００７】上記目的は、請求項６の発明にあっては、
部分的に異なる奥行きを有する被写体を撮影するための
撮影手段の焦点を合わせるために、移動手段によって前
記撮影手段を前記奥行き方向で微少距離ずつずらして撮
影するための撮影ステップと、前記撮影ステップと並列
処理されるものであり、既に撮影した前記被写体の画像
の合成画像を生成するための合成ステップと、表示手段
によって前記合成画像が表示される表示ステップとを有
することを特徴とする表示方法により、達成される。

【０００８】上記目的は、請求項９の発明にあっては、
部分的に異なる奥行きを有する被写体を撮影するための
撮影手段の焦点を合わせるために、移動手段によって前
記撮影手段を前記奥行き方向で微少距離ずつずらして撮
影するための撮影ステップと、前記撮影ステップと並列
処理されるものであり、既に撮影した前記被写体の画像
の合成画像を生成するための合成ステップと、表示手段
によって前記合成画像が表示される表示ステップとを備
える表示機能を有するプログラムを記録したことを特徴
とするコンピュータ読み取り可能な情報記録媒体によ
り、達成される。

【０００９】請求項１、６又は９のいずれかの構成によ
れば、撮影手段は、部分的に異なる奥行きを有する被写
体に焦点を合わせるために、移動手段によって被写体に
対して奥行き方向に微小距離ずつ移動され、それぞれの
位置で被写体を撮影する。これと同時に、合成手段は、
撮影手段によって撮影された被写体の画像の内、焦点の
あっている部分同士を合成して合成画像とする。従っ
て、この合成画像は、このような並列処理により処理時
間が短縮され表示手段に素速く表示される。

【００１０】請求項２又は５のいずれかの発明は、前記
被写体としての電子部品の微細な部分を見るための顕微
鏡であることを特徴とする。

【００１１】請求項４又は８のいずれかの発明は、前記
合成手段は、前記第２の距離ずつずらして撮影した各画
像を合成する際に、前記第１の距離ずつずらして撮影し
た各画像の焦点の合っている部分を目安とした領域を対
象とすることを特徴とする。請求項４又は８のいずれか
の構成によれば、合成手段は、対象領域のみについてに
取得した画像の合成画像を生成すればよいので、処理時
間を短縮することができる。

【００１２】上記目的は、請求項３の発明にあっては、
部分的に異なる奥行きを有する被写体を撮影するための
撮影手段、前記撮影手段の焦点を合わせるために前記撮
影手段を前記被写体に対して前記奥行き方向に移動する
ための移動手段及び、前記移動手段によって前記撮影手
段を前記奥行き方向で第１の距離ずつずらして撮影した
前記被写体の画像の内焦点のより合っている前記奥行き
方向での位置を検出し、その位置近傍で前記第１の距離
より短い第２の距離ずつずらして撮影した前記被写体の
画像の内焦点の合っている部分同士を合成して合成画像
を生成するための合成手段を有する画像取得手段と、前
記合成画像を表示するための表示手段とを備えることを
特徴とする表示装置により、達成される。

【００１３】上記目的は、請求項７の発明にあっては、
部分的に異なる奥行きを有する被写体を撮影するための
撮影手段の焦点を合わせるために、移動手段によって前
記撮影手段を前記奥行き方向で第１の距離ずつずらして
撮影した前記被写体の画像の内、焦点のより合っている
前記奥行き方向での位置を検出するための検出ステップ
と、前記位置近傍にて前記第１の距離よりも短い第２の
距離ずつずらして撮影した前記被写体の画像の内焦点の
合っている部分同士を合成して合成画像を生成するため
の部分合成ステップと、表示手段によって前記合成画像
を表示するための表示ステップとを有することを特徴と
する表示方法により、達成される。

【００１４】上記目的は、請求項１０の発明にあって
は、部分的に異なる奥行きを有する被写体を撮影するた
めの撮影手段の焦点を合わせるために、移動手段によっ
て前記撮影手段を前記奥行き方向で第１の距離ずつずら
して撮影した前記被写体の画像の内、焦点のより合って
いる前記奥行き方向での位置を検出するための検出ステ
ップと、前記位置近傍にて前記第１の距離よりも短い第
２の距離ずつずらして撮影した前記被写体の画像の内焦
点の合っている部分同士を合成して合成画像を生成する
ための部分合成ステップと、表示手段によって前記合成
画像を表示するための表示ステップとを備える表示機能
を有するプログラムを記録したことを特徴とするコンピ
ュータ読み取り可能な情報記録媒体により、達成され
る。

【００１５】請求項３、７又は１０のいずれかの構成に
よれば、撮影手段は、部分的に異なる奥行きを有する被
写体に焦点を合わせるために、移動手段によって被写体
に対して奥行き方向に第１の距離ずつ移動され、それぞ
れの位置で被写体を撮影する。合成手段は、撮影した被
写体の画像の内、焦点のより合っている奥行き方向での
位置を検出する。さらに、合成手段は、その位置近傍で
前記第１の距離よりも短い第２の距離ずつずらして撮影
した前記被写体の画像の内焦点の合っている部分同士を
合成して合成画像を生成する。従って、この合成画像
は、奥行き方向において部分的に撮影した画像同士を合
成して合成画像を生成すればよいので、その処理時間が
短縮され、表示手段に素速く表示される。

【００１６】

【発明の実施の形態】以下、本発明の好適な実施の形態
を添付図面に基づいて詳細に説明する。なお、以下に述
べる実施の形態は、本発明の好適な具体例であるから、
技術的に好ましい種々の限定が付されているが、本発明
の範囲は、以下の説明において特に本発明を限定する旨
の記載がない限り、これらの形態に限られるものではな
い。

【００１７】以下の説明において、「全フォーカス」と
は、顕微鏡等を用いて、部分的に異なる奥行きを有する
形状の被写体における焦点のあった部分を奥行き方向に
微少距離ずつずらした連続画像を撮影し、それらの焦点
の合っている部分のみを抽出し、それらを合成して被写
体全体の立体的な合成画像（以下、「立体合成画像」と
もいう）を生成してその立体合成画像を観察する手法を
いう。従って、全フォーカスによって生成された被写体
の立体合成画像は、鮮明な画像となる。また、「全フォ
ーカス」は、パンフォーカス（ＰＡＮ Ｆｏｃｕｓ）と
も呼ばれている。以下の説明においては、上述の「被写
体における焦点の合っている部分」を「ピント領域」と
呼ぶ。また、「フォーカス値」とは、そのピント領域に
おける焦点の合い具合を数値化したもの、例えば空間周
波数であり、数値が大きいほど焦点が合っているものと
する。

【００１８】図１は、本発明の第１実施形態としての顕
微鏡の基本構成例を示す平面図である。図２は、図１の
撮影装置８を正面から見た場合の様子を示す平面図であ
り、図３は、図２の撮影装置８を側面から見た場合の様
子を示す側面図である。顕微鏡１（表示装置）は、例え
ば光学顕微鏡や電子顕微鏡である。この顕微鏡１は、図
１のようにモニター５（表示手段）、コンピュータ９
（画像取得手段）及び撮影装置８（撮影手段、画像取得
手段）を備える。モニター５は、モニターケーブル２３
によってコンピュータ９と接続されている。モニター５
は、撮影装置８によって撮影した画像を表示するための
ものであり、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ
Ｔｕｂｅ）や液晶ディスプレイである。

【００１９】コンピュータ９は、例えば上述のようにモ
ニターケーブル２３によってコンピュータ９と、カメラ
ケーブル２１によって撮影装置８のビデオカメラ７と、
モータコントロールケーブル２２によって撮影装置８の
ビデオカメラ移動部７ａ（移動手段、画像取得手段）と
接続されている。コンピュータ９は、例えば文字入力手
段としてのキーボード９ａ及びポインティングデバイス
としてのマウス９ｂを備える。コンピュータ９は、接続
されたモニター５及び撮影装置８を制御している。カメ
ラケーブル２１は、ビデオカメラ７によって撮影された
画像をコンピュータ９に伝送するための信号線である。
モータコントロールケーブル２２は、例えばＲＳ２３２
Ｃ用ケーブルであり、ビデオカメラ移動部７ａ及びステ
ージ移動部３ａの動作に関するコンピュータ９からの制
御命令を伝送するための信号線である。

【００２０】撮影装置８は、カメラ台４、ビデオカメラ
７（撮影手段）、ステージ３及びビデオカメラ移動部７
ａ（移動手段）を有する。カメラ台４は、例えば撮影装
置８における固定部である。ビデオカメラ７は、ステー
ジ３上に配置された被写体２を撮影するためのものであ
る。この被写体２は、例えばＺ方向において部分的に異
なる奥行きを有するような物体である。

【００２１】ビデオカメラ７は、例えばステージ３に配
置された被写体２のカメラ台４のＺ方向上部に設けられ
ている。ビデオカメラ７は、例えば所定のモータを有す
るビデオカメラ移動部７ａによってカメラ台４に対して
Ｚ方向に移動される。これにより、ビデオカメラ７は、
被写体２に焦点を合わせることができる。ビデオカメラ
７及びビデオ移動部７ａは、それぞれ例えばコンピュー
タ９に搭載された所定のソフトウェアによって制御され
ている。

【００２２】ステージ３は、例えば被写体２を配置する
ための平板状の部材である。ステージ３は、図１のモー
タコントロールケーブル２２を介してコンピュータ９の
制御を受ける図示しない第１移動手段及び第２移動手段
によって平面方向に動作する。第１移動手段及び第２移
動手段は、それぞれカメラ台４に内蔵されている。カメ
ラ台４の第１移動手段は、例えばカメラ台４を基準とし
て図２のＸ方向にステージ３を移動させる。カメラ台４
の第２移動手段は、例えばカメラ台４を基準としてこの
Ｘ方向に対して垂直方向となるＹ方向にステージ３を移
動させる。つまり、ステージ３は、Ｘ方向及びＹ方向を
包含する平面方向に移動する。よって、ステージ３上に
配置された被写体２は、ステージ３の動作に従ってその
平面方向に移動される。

【００２３】ビデオカメラ移動部７ａは、例えばステッ
ピングモータを有する。ビデオカメラ移動部７ａは、モ
ータコントロールケーブル２２を経由して例えばコンピ
ュータ９の制御によって所定距離ずつビデオカメラ７を
Ｚ方向に移動させるためのものである。

【００２４】図４は、図１のコンピュータ９の電気的な
内部構成例を示すブロック図である。コンピュータ９
は、例えばＡ／Ｄ変換部２０、ＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７、入力メモリ
１０、フォーカス演算器１１ａ（合成手段）、フォーカ
ス値メモリ１１（合成手段）、旧フォーカス値メモリ１
２（合成手段）、比較器１３（合成手段）、合成部１４
（合成手段）、全フォーカス画像メモリ１５（合成手
段）、映像出力部１６（合成手段）及びモータコントロ
ール１９を有する。

【００２５】Ａ／Ｄ変換部２０は、カメラケーブル２１
によって撮影装置８並びに、入力メモリ１０及びフォー
カス値メモリ１１と接続されている。Ａ／Ｄ変換部２０
は、撮影装置８によって撮影された例えばアナログデー
タである画像データをデジタルデータに変換する。Ａ／
Ｄ変換部２０は、例えばＣＰＵ１７の制御を制御線１７
ａを介して受けるＡ／Ｄメモリコントロール２０ａに接
続されている。

【００２６】ＣＰＵ１７は、図４のように例えば入力メ
モリ１０、Ａ／Ｄメモリコントロール１８ａ、フォーカ
ス演算器１１ａ、フォーカス値メモリ１１、旧フォーカ
ス値メモリ１２、比較器１３、全フォーカス画像メモリ
１５、モータコントロール１９及び映像出力部１６と接
続されている。ＣＰＵ１７は、例えばこれらを制御する
中央演算処理装置である。

【００２７】入力メモリ１０は、Ａ／Ｄ変換部２０から
の画像データを記憶するための記憶手段である。フォー
カス演算器１１ａは、例えば入力メモリ１０、フォーカ
ス値メモリ１１及びＣＰＵ１７に接続されている。フォ
ーカス演算器１１ａは、例えばＣＰＵ１７の制御によっ
て入力メモリ１０の画像データの各画素毎のフォーカス
値を演算するためのものである。つまり、フォーカス演
算器１１ａは、現在入力メモリ１０に格納されている画
像データにおける各画素毎のフォーカス値を演算してい
る。フォーカス値メモリ１１は、入力メモリ１０の画像
データについてフォーカス演算器１１ａによって画素毎
に演算されたフォーカス値を記憶するための記憶手段で
ある。旧フォーカス値メモリ１２は、入力メモリ１０の
画像データについてのこの操作以前の最大フォーカス値
を記憶している。

【００２８】比較器１３は、フォーカス値メモリ１１に
記憶されているフォーカス値と、旧フォーカス値メモリ
１２に記憶されている最大フォーカス値とを比較する。
比較器１３は、フォーカス値メモリ１１に記憶されてい
るフォーカス値が、旧フォーカス値メモリ１２に記憶さ
れている最大フォーカス値より小さいと判断すると、旧
フォーカス値メモリ１２に記憶されている最大フォーカ
ス値をそのまま保持する。一方、比較器１３は、フォー
カス値メモリ１１に記憶されているフォーカス値が、旧
フォーカス値メモリ１２に記憶されている最大フォーカ
ス値より大きいと判断すると、旧フォーカス値メモリ１
２に記憶されている最大フォーカス値を、フォーカス値
メモリ１１に記憶されたフォーカス値に更新する。そし
て、比較器１３は、この比較結果に基づいて合成部１４
に出力する。

【００２９】合成部１４は、入力メモリ１０の画像デー
タの内、比較器１３で旧フォーカス値よりも大きいと判
断されたものを、全フォーカス画像メモリ１５に書き込
む。従って、全フォーカス画像メモリ１５には、例えば
全体としてフォーカス値の大きな画像データ（以下、
「全フォーカス画像データ」という）が記憶されること
になる。

【００３０】映像出力部１６は、例えば全フォーカス画
像メモリ１５からの全フォーカス画像データを格納して
おり、例えばこの全フォーカス画像データをモニターケ
ーブル２３を経由して出力するための記憶手段である。
モータコントロール１９は、ＣＰＵ１７の制御によっ
て、図１のビデオカメラ移動部７ａやステージ移動部３
ａの動作を制御するためのものである。

【００３１】図１の顕微鏡１は以上のような構成であ
り、次に図１から図１０を参照しながらその顕微鏡１の
動作例（表示方法）の一例について説明する。図５は、
図１の顕微鏡１がモニター５に被写体２の立体合成画像
を表示する手順の一例を示すフローチャートであり、図
６は、図５のフォーカス値測定ステップＳＴ５５の処理
の具体例を示すフローチャートである。この説明におい
て使用する図面（例えば図７〜図９）において点線で輪
郭を示した部分は、ピント領域でないものとする。

【００３２】第１全フォーカス画像の取得 図１のステージ３には、電子部品等の被写体２が配置さ
れている。ビデオカメラ移動部７ａは、コンピュータ９
の制御によってビデオカメラ７をＺ方向に移動させ、ビ
デオカメラ７の撮影における最初の位置、例えば最も被
写体２から離れた位置に移動させる（ステップＳＴ４
１）。コンピュータ９は、ビデオカメラ７によって被写
体２を撮影する。コンピュータ９は、被写体２の画像の
取り込みを行い（ステップＳＴ５０）、取り込みの終了
を待つ（ステップＳＴ５２）。

【００３３】被写体２は、上述のように部分的に図１の
Ｚ方向において奥行きを有する形状である。このため、
被写体２が撮影された画像は、例えば図７のようにモニ
ター５の例えば領域２７のみが焦点の合った画像となっ
ている。この画像の画像データは、例えばアナログデー
タであり、図４のＡ／Ｄ変換部２０を経由してデジタル
データ化され、入力メモリ１０に記憶される。この画像
データは、例えば複数の画素で構成されており、コンピ
ュータ９は、その画像データの所定単位長毎に画素を取
得している。

【００３４】並列処理 第１実施形態としての顕微鏡１において特徴的なこと
は、以下に示す撮影ステップと合成ステップとが並列し
て行われることである。合成ステップ（ステップＳＴ５５） コンピュータ９は、図６のようにその画像データの最終
画素であるか否かを判断する（ステップＳＴ４４）。コ
ンピュータ９は、その画像データの最終画素で有ると判
断した場合には後述し、そうでないないと判断すると以
下のように処理を行う。

【００３５】コンピュータ９は、図４のフォーカス演算
器１１ａによって入力メモリ１０に格納された画像デー
タより各画素でのフォーカス値を計算する（ステップＳ
Ｔ４５）。コンピュータ９は、比較器１３によって旧フ
ォーカス画像メモリ１２の画像データの各画素における
フォーカス値と、フォーカス画像メモリ１１の画像デー
タの各画素におけるフォーカス値とを比較する（ステッ
プＳＴ４６）。

【００３６】比較器１３によって比較された結果、フォ
ーカス画像メモリ１１の画像データの各画素でのフォー
カス値が旧フォーカス画像メモリ１２の画像データの各
画素でのフォーカス値より小さければ、コンピュータ９
は、ステップＳＴ４４の処理に戻る。一方、比較器１３
によって比較された結果、図４のフォーカス画像メモリ
１１の画像データの各画素でのフォーカス値が、旧フォ
ーカス画像メモリ１２の画像データの各画素でのフォー
カス値より大きければ、コンピュータ９は、フォーカス
画像メモリ１１のフォーカス値に基づく制御によって、
入力メモリ１０の画像データを合成部１４を経由して、
全フォーカスメモリ１５に記憶させていく（ステップＳ
Ｔ４７）。従って、全フォーカス画像メモリ１５には、
それぞれフォーカス値の画素毎に最も高い画素同士を合
成した合成画像データが蓄積される。画像データの全て
の画素について同様に比較及び蓄積が行われると、コン
ピュータ９は、全フォーカス画像メモリ１５の合成画像
データを映像出力部１６に保管し（ステップＳＴ４
８）、ステップＳＴ４４に戻る。

【００３７】ここで、この「画像データの各画素に対す
るフォーカス値」とは、奥行き方向Ｚにおける位置情
報、つまり画像がピント領域となっている状態での被写
体２からビデオカメラ７までの高さである。以下の説明
では、この位置情報の一例として高さを例示する。従っ
て、顕微鏡１が再度同一の領域を全フォーカスした合成
画像を取得する場合や、後述するように部分表示部２９
に被写体２を表示するには、ビデオカメラ７を最初から
微少距離動かしながら全フォーカスすることなく、この
高さの近傍を全フォーカスするのみで素速く鮮明な被写
体２の合成画像を得ることができる。ステップＳＴ４４
にて、コンピュータ９が画像データの最終画素であると
判定すると、ビデオカメラ７が被写体２に最接近してお
り、移動を終了するかを判断する（ステップＳＴ４
９）。コンピュータ９は、移動終了であると判断すると
全フォーカスを終了させ、終了でないと判断するとステ
ップＳＴ４２に戻る。

【００３８】また、この顕微鏡１では、上述の合成ステ
ップと同時に以下のような処理が行われている。撮影ステップ コンピュータ９は、図５のように画像の取り込み回数が
終了であるか否かを判断し（ステップＳＴ５４）、取り
込み回数となっていると判断すると合成画面を表示し
（ステップＳＴ５９）、一方、コンピュータ９は、取り
込み回数となっていないと判断すると、被写体２の次の
画像を撮影するためにビデオカメラ移動部７ａをモータ
コントロール１９を介して制御し、ビデオカメラ７をＺ
軸方向に微小距離移動させる（ステップＳＴ５１）。以
下、Ｚ軸方向に所定距離ビデオカメラ７を移動させるこ
とを「Ｚ軸移動」という。コンピュータ９は、上述と同
様にビデオカメラ７に対して撮影命令を与え、画像を取
り込む（ステップＳＴ５３）。コンピュータ９は、画像
の取り込みが終了するまで待機する（ステップＳＴ５
６）。次に撮影された画像は、例えば図８のような画像
であり、この画像は、領域２８がピント領域となってい
る。コンピュータ９は、例えば画像取り込み終了ステッ
プＳＴ５６及びフォーカス値測定ステップＳＴ５５のい
ずれか一方が終了していない間は待機し、両方の処理が
終了するとステップＳＴＳＴ５７の処理を行う。ステッ
プＳＴ５７の処理については、上述と同様である。

【００３９】以上のようにして、コンピュータ９は、奥
行き方向Ｚにおける各高さでの画像データ毎にピント領
域を算出し、図９のように画像の画像データのピント領
域同士を合成して、鮮明な立体合成画像を素速くモニタ
ー５に表示させることができる（ステップＳＴ５９）。

【００４０】つまり、顕微鏡１は、例えば図１０のよう
に入力メモリ１０にｎ−１番目の画像データＺａを取り
込むと同時に、図４のフォーカス値メモリ１１、フォー
カス演算器１１ａ、旧フォーカス値メモリ１２、フォー
カス値メモリ１３、合成部１４、全フォーカス画像メモ
リ１５及び映像出力部１６（以下、「処理系１１〜１
６」という）によって先に取り込んだ図示しない画像デ
ータを合成処理する。次に、顕微鏡１は、例えば図１０
の入力メモリ１０にｎ番目の画像データＺｂを取り込む
と同時に、処理系１１〜１６によって先に取り込んだ画
像データＺａを合成処理する。また次に、顕微鏡１は、
例えば入力メモリ１０にｎ＋１番目の画像データＺｃを
取り込むのと並列して、処理系１１〜１６にて先に取り
込んだ画像データＺｂを合成処理する。本発明の実施形
態によれば、顕微鏡１は、例えば実画像に基づいて立体
的な合成画像を鮮明かつ高速に表示することができる。

【００４１】第２実施形態 第２実施形態としての顕微鏡１ａは、第１実施形態とし
ての顕微鏡１と同じ構成であり、動作が異なるのみであ
るため構成図は図１から図４を用いて動作例（表示方
法）を説明する。顕微鏡１ａの処理の概略は、以下のよ
うなものである。顕微鏡１ａは、ビデオカメラ７を奥行
き方向Ｚ（Ｚ軸方向）に大きなステップ（第１の距離）
で移動させて撮影する。さらに、顕微鏡１ａは、撮影し
た画像データを各画素毎にフォーカス値を計算し、焦点
の合う奥行き方向Ｚの高さの目安や１枚の画像データの
中でフォーカス値の高い部分の目安をつける。次に、顕
微鏡１ａは、この目安に基づいて奥行き方向Ｚでの高さ
の近傍のみを、例えば微小なステップ（第２の距離）ご
とに撮影すると共に、それぞれの画像データの内フォー
カス値の高い部分の近傍のみのフォーカス値の計算を行
う。

【００４２】従って、顕微鏡１ａは、高さの目安以外の
高さ近傍を撮影しなくて良いばかりでなく撮影に時間を
要しない。また、顕微鏡１ａは、画像データにおける上
述の目安以外の部分についてはフォーカス値の計算を行
わないので、計算量を低減することができる。

【００４３】ここで、顕微鏡１ａでは、奥行き方向Ｚの
高さの目安を予めつける際に、第１実施形態としての顕
微鏡１において行われていた並列処理を利用するのが好
ましい。以下の説明においては、一例として奥行き方向
Ｚの高さの目安を予めつける際に、第１実施形態として
の顕微鏡１において行われていた並列処理ステップＳＴ
６０を利用するものとして説明する。

【００４４】図１１は、顕微鏡１ａがモニター５に被写
体２の立体合成画像を表示する手順の一例を示すフロー
チャートであり、図１２は、図１１の指定領域内フォー
カス値測定ステップＳＴ６４、ステップＳＴ６８の処理
の具体例を示すフローチャートである。対象領域の決定 顕微鏡１ａは、ビデオカメラ７によって奥行き方向Ｚに
おいて、例えば図１３のような粗い間隔（第１の間隔）
にて画像Ｚ１、Ｚ１０、Ｚ２０、・・・、Ｚｎを取得す
るために図５の並列処理ＳＴ６０とほぼ同様の処理を行
い、各画像データにおける各画素毎にフォーカス値を取
得する（ステップＳＴ６０）。そして、顕微鏡１ａは、
後述する「対象領域近傍の全フォーカス」を行うため
に、奥行き方向Ｚにおける高さ毎に対象とするべき画像
データ毎に対象領域を計算し決定する（ステップＳＴ６
１）。例えば、画像Ｚ１における対象領域は、図１５
（Ａ）のような対象領域Ｆ１であり、画像Ｚ２における
対象領域は、図１５（Ｂ）のような対象領域Ｆ１０であ
り、画像Ｚ３における対象領域は、図１５（Ｃ）のよう
な対象領域Ｆ２０であり、画像Ｚｎにおける対象領域
は、図１５（Ｄ）のような対象領域Ｆｎであるものとす
る。

【００４５】このように、顕微鏡１によって粗く全フォ
ーカスを行うと、図１４に示すようなフォーカス特性が
見られる。図１４において、横軸は図１のＺ軸方向の高
さ毎の画像Ｚ１〜画像Ｚｎを示しており、縦方向に伸び
る点線は各画像Ｚ１〜Ｚｎの位置を示しており、縦軸は
フォーカス値を表している。図１４を参照すると、顕微
鏡１ａが奥行き方向Ｚにおいて粗く撮影された各画像Ｚ
１〜画像Ｚｎ毎にフォーカス値を取得していることがわ
かる。顕微鏡１ａは、このような各画像Ｚ１〜Ｚｎでの
おおよそのフォーカス値に基づいてさらに以下のように
全フォーカスを行う。

【００４６】対象領域近傍の全フォーカス 顕微鏡１ａは、上述の「対象領域の決定」によって画像
データにおける決定された高さの対象領域の１つにおい
て撮影することができるように、コンピュータ９の制御
によってビデオカメラ７を決定された高さに移動（Ｚ軸
移動）させる（図１１のステップＳＴ６２）。顕微鏡１
ａは、その高さ近傍で画像を取り込む（ステップＳＴ６
３）。顕微鏡１ａは、取り込んだ画像に基づく画像デー
タによってその高さにおける対象領域内のみのフォーカ
ス値を測定する（ステップＳＴ６４）。ここで、対象領
域内ステップＳＴ６４の処理内容は、上述のように図６
のステップＳＴ５５の処理内容とほぼ同様であるので説
明を省略する。顕微鏡１ａは、画像が取り込まれるまで
待機する（ステップＳＴ６５）。顕微鏡１ａは、ビデオ
カメラ７を微小距離移動させる（ステップＳＴ６６）。
顕微鏡１ａは、取り込み回数分が終了しない場合にはス
テップＳＴ６３に戻り、取り込み回数分が終了するとス
テップＳＴ６８に進む。

【００４７】顕微鏡１ａは、図１６のように例えば対象
領域Ｆ１、Ｆ１０、Ｆ２０及びＦｎ近傍について奥行き
方向Ｚにビデオカメラ７を移動させながら、取り込んだ
画像データにおける対象領域内についてのみフォーカス
値を取り込み回数分計算する（ステップＳＴ６８）。こ
のように、顕微鏡１ａは、その高さにおける画像全てに
ついて画素毎にフォーカス値と計算する必要がないの
で、処理を高速化することができる。従って、顕微鏡１
ａは、例えば実画像に基づく画像データにおけるフォー
カス値の高い部分同士を合成して、鮮明な立体的な合成
画像をモニタ−５に高速表示することができる（ステッ
プＳＴ６９）。

【００４８】図１７を参照すると、顕微鏡１ａは、「対
象領域の決定」の撮影間隔よりも、奥行き方向Ｚにおい
て細かい間隔で被写体２を撮影し、それぞれ対象領域の
みのフォーカス値を計算している。従って、上述のよう
に顕微鏡１ａは高速化される。

【００４９】本発明の第２実施形態によれば、第１実施
形態よりもフォーカス値の計算量を低減し、鮮明かつ被
写体２をモニター５にさらに高速表示させることができ
る。

【００５０】全フォーカス処理時間の検証 図１８（Ａ）は、従来の顕微鏡による各画像データ単位
の全フォーカス処理手順の一例を示すタイミングチャー
トであり、図１８（Ｂ）は、第１実施形態としての顕微
鏡１による各画像データ単位の全フォーカス処理手順の
一例を示すタイミングチャートであり、図１８（Ｃ）
は、第２実施形態としての顕微鏡１ａにおける各画像デ
ータ単位の全フォーカス処理手順の一例を示すタイミン
グチャートである。図１８（Ａ）〜図１８（Ｃ）におい
ては、それぞれその横方向が経過時間を示している。

【００５１】図１８（Ａ）のように従来の顕微鏡は、画
像取り込み処理ＧＴ、Ｚ軸移動処理ＺＩ及びフォーカス
値算出・画像合成処理ＦＳ１がそれぞれ時間的に重複し
ないように処理してる。このため、画像取り込み処理Ｇ
Ｔ、Ｚ軸移動処理ＺＩ及びフォーカス値算出・画像合成
処理ＦＳ１の各画像データ毎の合計処理時間は、例えば
時間Ｔ０のように長い時間となっている。

【００５２】図１８（Ｂ）のように本発明の第１実施形
態としての顕微鏡１は、Ｚ軸移動処理ＺＩと、画像取り
込み処理ＧＴとがそれぞれ時間的に重複しないように処
理されるとともに、Ｚ軸移動処理ＺＩとフォーカス値算
出・画像合成処理ＦＳ１とが時間的に重複するように処
理する。このため、画像取り込み処理ＧＴ、Ｚ軸移動処
理ＺＩ及びフォーカス値算出・画像合成処理ＦＳ１の各
画像データ毎の合計処理時間は、上述の時間Ｔ０よりも
短い例えば時間Ｔ１となる。

【００５３】図１８（Ｃ）のように本発明の第２実施形
態としての顕微鏡１ａは、「粗い距離移動」処理及び
「細かい移動距離」処理を行う。「粗い距離移動」処理
は、図１８（Ｂ）と同様の処理を奥行き方向Ｚにおいて
粗い間隔で行い、合計処理時間は、時間Ｔ１のようにな
る。一方、「細かい移動距離」処理は、「粗い距離移
動」処理にて目安を付けた上で対象領域を限定して全フ
ォーカスを行う。顕微鏡１ａは、Ｚ軸移動処理ＺＩと、
画像取り込み処理ＧＴとがそれぞれ時間的に重複しない
ように処理されるとともに、画像取り込み処理ＧＴとフ
ォーカス値算出・画像合成処理ＦＳ０とが時間的に重複
するように奥行き方向Ｚにおいて微小な間隔で処理を行
う。このため、顕微鏡１ａは、「粗い距離移動」の場合
には時間Ｔ１と例えば同様であり、「細かい移動距離」
の場合には時間Ｔ１よりも短い、例えば時間Ｔ２となっ
ている。

【００５４】図１９（Ａ）は、従来の顕微鏡による全フ
ォーカス処理手順の一例を示すタイミングチャートであ
り、図１９（Ｂ）は、第１実施形態としての顕微鏡１に
よる全フォーカス処理手順の一例を示すタイミングチャ
ートであり、図１９（Ｃ）は、第２実施形態としての顕
微鏡１ａによる全フォーカス処理手順の一例を示すタイ
ミングチャートである。図１９（Ａ）〜図１９（Ｃ）に
おいては、それぞれその横方向が経過時間を示してい
る。従来の顕微鏡、第１実施形態としての顕微鏡１及び
第２実施形態としての顕微鏡１ａは、上述のようなこと
から被写体２を全フォーカスするのにそれぞれ図１９
（Ａ）〜図１９（Ｃ）のような時間を要する。ここで、
この時間の一例としては、例えば従来の顕微鏡ではＴ３
＝８．４［ｓｅｃ］、第１実施形態としての顕微鏡１で
はＴ４＝４．４［ｓｅｃ］及び第２実施形態としての顕
微鏡１ａでは約Ｔ５＝３．４［ｓｅｃ］である。尚、従
来の顕微鏡、第１実施形態としての顕微鏡１及び第２実
施形態としての顕微鏡１ｂのそれぞれの処理時間は、奥
行き方向Ｚにおけるビデオカメラ７の移動速度や１回当
たりの移動距離によって多少変化し、又第２実施形態と
しての顕微鏡１ａの処理速度は、被写体２の部分的な高
さの分布次第によっても異なる。

【００５５】このようなことから、第１実施形態として
の顕微鏡１は、被写体２の立体合成画像を従来より素速
くモニター５に表示できる。第２実施形態としての顕微
鏡１ａは、第１実施形態としての顕微鏡１よりもさらに
速く被写体２の立体合成画像をモニタ５に表示すること
ができる。

【００５６】顕微鏡の画像データ処理時間の検証は、以
下のような条件に基づいて行われた。 被写体２のフォーカス回数（パン回数）：２０回 視野範囲 ：２．４ｍｍ×１．８ｍｍ 画素 ：６４０×４８０画素（カラー画像） 高さ方向の移動ピッチ ：１．２ｍｍ

【００５７】ところで本発明は上述した実施形態に限定
されるものではない。例えば、第２実施形態としての顕
微鏡１ａは、対象領域の決定において上述の並列処理を
用いないで処理するような形態であっても良いことはい
うまでもない。また、上述の顕微鏡１は、被写体を表示
する様々な表示装置の一例であり、その他の表示装置に
も適用することができる。コンピュータ９を構成する図
４の各処理部は、それぞれ回路ブロック等のハードウェ
アや、上述の機能を有するソフトウェア（プログラム）
のいずれによって構成しても良いことはいうまでもな
い。尚、上述の機能を有するプログラムは、例えばフレ
キシブルディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ：
商標名）等の情報記憶媒体に各機能毎に格納されている
ような形態でも良い。また、この情報記録媒体として
は、そのプログラムがネットワーク上に散在するコンピ
ュータ等の電子機器に記録されたものであって、その電
子機器からネットワークを経由してユーザのコンピュー
タ等の電子機器にダウンロードされる形態のものを含ん
でいても構わない。

【００５８】

【発明の効果】以上説明したように、本発明によれば、
鮮明な合成画像を高速に表示することができる表示装
置、表示方法及び表示機能を有するプログラムを記録し
たコンピュータ読み取り可能な情報記録媒体を提供する
ことができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態としての顕微鏡の基本構
成例を示す平面図。

【図２】図１の撮影装置を正面から見た場合の様子を示
す平面図。

【図３】図２の撮影装置を側面から見た場合の様子を示
す側面図。

【図４】図１のコンピュータの電気的な内部構成例を示
すブロック図。

【図５】図１の顕微鏡１のモニターに被写体の立体合成
画像を表示する手順の一例を示すフローチャート。

【図６】図５のフォーカス値測定ステップの処理の具体
例を示すフローチャート。

【図７】図１のモニターの表示領域に表示された被写体
の画像の一例を示す図。

【図８】図１のモニターの表示領域に表示された被写体
の画像の一例を示す図。

【図９】図７及び図８のそれぞれの被写体の画像から立
体合成画像を生成し、図１のモニターに表示した画像の
一例を示す図。

【図１０】図５及び図６のフローチャートの処理の概要
を示す図。

【図１１】顕微鏡がモニターに被写体の立体合成画像を
表示する手順の一例を示すフローチャート。

【図１２】図１１の指定領域内フォーカス値測定ステッ
プの処理の具体例を示すフローチャート。

【図１３】顕微鏡が被写体の画像を高さ方向において粗
い間隔で撮影する様子を示す図。

【図１４】図１３のような粗い間隔で被写体の画像を撮
影した際のフォーカス値を示す図。

【図１５】図１３のような粗い間隔で被写体の画像毎の
対象領域を示す図。

【図１６】顕微鏡が被写体の画像を高さ方向において細
かい間隔で撮影する様子を示す図。

【図１７】図１６のような細かい間隔で被写体の画像毎
の対象領域を示す図。

【図１８】従来の顕微鏡、第１実施形態としての顕微鏡
及び第２実施形態としての顕微鏡による各画像データ単
位の全フォーカス処理手順の一例を示すタイミングチャ
ート。

【図１９】従来の顕微鏡、第１実施形態としての顕微鏡
及び第２実施形態としての顕微鏡によるそれぞれ全フォ
ーカス処理手順の一例を示すタイミングチャート。

【符号の説明】

１・・・顕微鏡（表示装置）、２・・・被写体、３・・
・ステージ（テーブル）、３ａ・・・ステージ移動部
（テーブル）、４・・・カメラ台（固定部）、５・・・
モニター（表示手段）、７・・・ビデオカメラ（撮影手
段）、７ａ・・・ビデオカメラ移動部（移動手段）、８
・・・撮影装置（画像取得手段）、９・・・コンピュー
タ（画像取得手段）、１１・・・フォーカス値メモリ
（合成手段）、１１ａ・・・フォーカス演算器（合成手
段）、１２・・・旧値メモリ（合成手段）、１３・・・
フォーカス値メモリ（合成手段）、１４・・・合成部
（合成手段）、１５・・・全フォーカス画像メモリ（合
成手段）、１６・・・映像出力部（合成手段）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2H052 AB04 AD04 AF13 AF14 AF21 AF25 5B057 AA03 BA11 CA12 CB12 CE08 CH01 CH11 DA16 DB02

Claims (10)

【特許請求の範囲】
1. 【請求項１】 部分的に異なる奥行きを有する被写体を
   撮影するための撮影手段、前記撮影手段の焦点を合わせ
   るために前記撮影手段を前記被写体に対して前記奥行き
   方向に移動するための移動手段及び、前記移動手段によ
   って前記撮影手段を前記奥行き方向で微少距離ずつずら
   して撮影した前記被写体の画像の内、焦点の合っている
   部分同士を合成して合成画像を生成するための合成手段
   を有する画像取得手段と、 前記合成画像を表示するための表示手段とを備え、 前記画像取得手段は、 前記移動手段によって前記撮影手段を前記奥行き方向で
   微少距離ずつずらして前記被写体を撮影する処理と、既
   に撮影が終了した前記被写体の画像の合成画像を生成す
   る処理とを並列処理することを特徴とする表示装置。
2. 【請求項２】 前記被写体としての電子部品の微細な部
   分を見るための顕微鏡である請求項１に記載の表示装
   置。
3. 【請求項３】 部分的に異なる奥行きを有する被写体を
   撮影するための撮影手段、前記撮影手段の焦点を合わせ
   るために前記撮影手段を前記被写体に対して前記奥行き
   方向に移動するための移動手段及び、前記移動手段によ
   って前記撮影手段を前記奥行き方向で第１の距離ずつず
   らして撮影した前記被写体の画像の内焦点のより合って
   いる前記奥行き方向での位置を検出し、その位置近傍で
   前記第１の距離より短い第２の距離ずつずらして撮影し
   た前記被写体の画像の内焦点の合っている部分同士を合
   成して合成画像を生成するための合成手段を有する画像
   取得手段と、 前記合成画像を表示するための表示手段とを備えること
   を特徴とする表示装置。
4. 【請求項４】 前記合成手段は、前記第２の距離ずつず
   らして撮影した各画像を合成する際に、前記第１の距離
   ずつずらして撮影した各画像の焦点の合っている部分を
   目安とした領域を対象とする請求項３に記載の表示装
   置。
5. 【請求項５】 前記被写体としての電子部品の微細な部
   分を見るための顕微鏡である請求項４に記載の表示装
   置。
6. 【請求項６】 部分的に異なる奥行きを有する被写体を
   撮影するための撮影手段の焦点を合わせるために、移動
   手段によって前記撮影手段を前記奥行き方向で微少距離
   ずつずらして撮影するための撮影ステップと、 前記撮影ステップと並列処理されるものであり、既に撮
   影した前記被写体の画像の合成画像を生成するための合
   成ステップと、 表示手段によって前記合成画像が表示される表示ステッ
   プとを有することを特徴とする表示方法。
7. 【請求項７】 部分的に異なる奥行きを有する被写体を
   撮影するための撮影手段の焦点を合わせるために、移動
   手段によって前記撮影手段を前記奥行き方向で第１の距
   離ずつずらして撮影した前記被写体の画像の内、焦点の
   より合っている前記奥行き方向での位置を検出するため
   の検出ステップと、 前記位置近傍にて前記第１の距離よりも短い第２の距離
   ずつずらして撮影した前記被写体の画像の内焦点の合っ
   ている部分同士を合成して合成画像を生成するための部
   分合成ステップと、 表示手段によって前記合成画像を表示するための表示ス
   テップとを有することを特徴とする表示方法。
8. 【請求項８】 前記合成手段は、前記第２の距離ずつず
   らして撮影した各画像を合成する際に、前記第１の距離
   ずつずらして撮影した各画像の焦点の合っている部分を
   目安とした領域を対象とする請求項７に記載の表示方
   法。
9. 【請求項９】 部分的に異なる奥行きを有する被写体を
   撮影するための撮影手段の焦点を合わせるために、移動
   手段によって前記撮影手段を前記奥行き方向で微少距離
   ずつずらして撮影するための撮影ステップと、 前記撮影ステップと並列処理されるものであり、既に撮
   影した前記被写体の画像の合成画像を生成するための合
   成ステップと、 表示手段によって前記合成画像が表示される表示ステッ
   プとを備える表示機能を有するプログラムを記録したこ
   とを特徴とするコンピュータ読み取り可能な情報記録媒
   体。
10. 【請求項１０】 部分的に異なる奥行きを有する被写体
    を撮影するための撮影手段の焦点を合わせるために、移
    動手段によって前記撮影手段を前記奥行き方向で第１の
    距離ずつずらして撮影した前記被写体の画像の内、焦点
    のより合っている前記奥行き方向での位置を検出するた
    めの検出ステップと、 前記位置近傍にて前記第１の距離よりも短い第２の距離
    ずつずらして撮影した前記被写体の画像の内焦点の合っ
    ている部分同士を合成して合成画像を生成するための部
    分合成ステップと、 表示手段によって前記合成画像を表示するための表示ス
    テップとを備える表示機能を有するプログラムを記録し
    たことを特徴とするコンピュータ読み取り可能な情報記
    録媒体。