JP2008011344A - 拡大観察装置とその操作制御方法 - Google Patents

Abstract

【課題】撮像部が持つ分解能に対して、低分解能の表示装置を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供すること。
【解決手段】拡大観察装置には撮像装置１０の撮像部１２が持つ分解能に対して、低分解能の表示装置２０が設けられている。表示装置２０は第１表示エリア１８と第２表示エリア１９とを有する。制御部１４は、第１表示エリア１８に全体画像を表示させ、第２表示エリア１９に撮像部１２から出力される画像データの一部をそのまま表示させ、第１表示エリア１８に第２表示エリア１９の所定領域を示す教示マーク１９ａを表示させる。
【選択図】図１

Description

本発明は、拡大観察装置とその操作方法に関するものである。

従来、ＩＣ基板上の配線接続確認などの観察作業時には、拡大観察装置（例えば、特許文献１参照）が用いられる。
観察作業において、作業者は、拡大観察装置により撮影され表示装置としてのモニタに表示された観察対象としてのワークの全体形状より観察領域を特定し、所定の領域部分のみを観察・検査する。又、ワークの一部をモニタに拡大表示して詳細に観察する。
特開２００４−１７７７８２号公報

ところで、全体を把握しつつ細部の確認を行うためには全体を撮影した画像データを縮小することなく表示させうる高分解能モニタが必要となる。しかしながら、例えば２００万画素（１６００ｘ１２００画素）のカメラにおいて撮像された画像は、一般的なモニタとして採用されている画像解像度であるＳＸＧＡ（１２８０ｘ１０２４画素）、ＸＧＡ（１０２４ｘ７６８画素）と比べ解像度が高いため、元の解像度のままモニタで表示することができない。このため、全体像の認識と必要箇所の拡大表示を同時に表示することができなかった。ここで言う分解能とは、装置に予め定められている画素数を表す。又、解像度とは、画面などに表示された画素を１対１で画面に表示するか、拡大縮小して表示させるのかを定めた、単位あたりの画素数を表す。

本発明は、上記課題を解決するためになされたものであって、その目的は、拡大観察装置の撮像部が持つ分解能に対して、低分解能の表示装置を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、所定の観察領域内の観察対象を撮像し画像データを出力する撮像手段と、前記画像データを記憶する記憶手段と、１画面の表示分解能が前記撮像手段における撮像分解能よりも低いものであり、前記画像データに基づく観察領域の全体画像を表示する第１表示エリアを有する表示手段と、前記記憶手段の画像データを前記表示手段の第１表示エリアに（必要な解像度に）解像度を変換して表示させる制御手段と、を備えた拡大観察装置において、前記表示手段は、観察領域の全体画像を表示する第１表示エリアと、観察領域内の所定領域の抽出画像を拡大表示する第２表示エリアを更に有し、前記制御手段は第１表示エリアと第２表示エリアとを同時に表示させる第１表示モードを備え、前記第１表示モードでは、第１表示エリアに画像データを所定倍率で低い解像度に変換して全体画像を表示させるとともに、第２表示エリアには抽出された無変換画像データを表示し、第１表示エリアに前記所定領域を教示する教示マークを表示させるものである。この構成によれば、拡大観察装置に設けられた撮像装置の撮像部が持つ分解能に対して、低分解能の表示装置に、観察対象の全体画像と観察を必要とする箇所をそれぞれ表示する表示エリアが設けられ、また、全体画像に対しどの位置を拡大しているかを示す教示マークを設けているため、全体把握と観察を必要とする箇所の拡大観察を同時に行うがこと可能となる。

請求項２によれば、請求項１に記載の拡大観察装置において、前記第１表示エリア及び第２表示エリアの少なくとも一方の大きさ又は位置を可変設定する抽出画像領域指定手段を設けたことにより、観察を必要とする箇所の表示領域の大きさを必要な大きさに変化させることができる。

請求項３によれば、請求項２に記載の拡大観察装置において、前記制御手段は前記抽出画像領域指定手段で指定される抽出領域の大きさに連動して前記第２表示エリアの大きさを変更し、この変更に応じ前記第１の表示エリアと前記第１の表示エリアに表示される前記全体画像を縮小して表示する構成を持つ。この構成によれば、観察対象の全体把握と、所定領域の表示箇所を視覚的に認識することが可能となる。

請求項４によれば、請求項１乃至３に記載の拡大観察装置において、前記制御手段は、前記表示手段の１画面に前記第１表示エリア及び前記第２表示エリアのいずれか一方を単独表示する第２の表示モードと、前記第１表示モードと第２表示モードとを切り替える表示モード切り替え手段と、を備えたものである。これによれば、必要に応じて第１表示エリア１８又は第２表示エリア１９の画像を全画面にて表示することで、詳細に観察することが出来る。

請求項５によれば、請求項１乃至４に記載の拡大観察装置において、基準となる観察対象の画像データを記憶する基準データ記憶手段と、前記撮像手段により撮像された撮像画像の画像データを前記基準データ記憶手段に記憶される前記基準データと比較する画像比較手段と、前記制御手段は、前記画像比較手段の比較結果により、両画像データが一致しない場合にその一致しない部分を中心とした所定領域を決定し、該所定領域の抽出画像を前記第２表示エリアに表示する構成を持つ。これによれば、画像比較手段を用いることで、制御部の制御のみで不一致箇所の検出ができる。

従って、上記記載の発明によれば、撮像部が持つ分解能に対して、低分解能の表示装置を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供することができる。

以下、本発明を具体化した一実施の形態を図面に従って説明する。
図１は、一実施形態の拡大観察装置における電気的構成を示すブロック図である。拡大観察装置は、観察対象としての作業ワークＷを撮像する撮像装置１０と、撮像装置１０に接続され作業ワークＷの画像を表示する表示手段としての表示装置２０とを備えている。撮像装置１０には、照明部１１、撮像手段としての撮像部１２、記憶手段及び基準データ記憶手段としてのフレームメモリ１３、表示モード切り替え手段としての制御部１４、入力部１５ａ、ビデオメモリ１６、出力部１７が設けられている。

照明部１１は、制御部１４により制御され、作業ワークＷに照明光を照射する。撮像部１２は例えば２００万画素の固体撮像素子（図示略）であり、制御部１４により制御され、作業ワークＷを撮影した画像データをフレームメモリ１３に出力する。フレームメモリ１３は複数（本実施形態では２つ）設けられている。それぞれを区別するためにフレームメモリ１３ａ，１３ｂとする。各フレームメモリ１３ａ，１３ｂは、それぞれ撮像部１２から出力される１画面分の画像データを格納するのに充分な容量に設定されている。固体撮像素子から出力された画像データは第１フレームメモリ１３ａに格納される。

制御部１４は、第１フレームメモリ１３ａに格納された画像データを、表示情報に従って、拡大、縮小などの処理を行いビデオメモリ１６に格納する。ビデオメモリ１６は、表示装置２０に表示可能な画素（表示画素数であり、表示できる細かさ（表示分解能）に対応する）に応じた容量に設定されている。ビデオメモリ１６に格納された画像データは出力部１７によって読み出されて表示装置２０に出力される。従って、表示装置２０には、第１フレームメモリ１３ａに格納された画像データが表示情報に従ってビデオメモリ１６及び出力部１７を介して入力され、画像が表示される。

表示情報は、制御部１４に設けられた図示しない記憶部に記憶されており、画像の表示領域の位置、大きさ、拡大縮小率、等を含む。表示装置２０は、第１表示エリア１８と第２表示エリア１９とを有し、制御部１４は、表示情報に従って、各表示エリア（第１表示エリア１８と第２表示エリア１９）に画像を表示する。本実施形態において、制御部１４は、第１表示エリア１８に作業ワークＷの全体画像を、第２表示エリア１９に所定領域の拡大画像を表示するように構成され、表示情報はそれらの画像表示のための情報である。つまり、制御部１４は、第１フレームメモリ１３ａに格納された画像データを、表示装置２０の表示能力（表示画素数、表示分解能）に応じて画像処理してビデオメモリ１６に格納する。そのビデオメモリ１６に格納された画像データが表示装置２０に表示される。

また、制御部１４には、撮像装置１０に設けられた入力部１５ａ又は該撮像装置１０の外部に設けられた入力装置１５ｂが接続されている。作業者は、入力部１５ａ又は入力装置１５ｂを操作して、第２表示エリア１９に表示する所定領域の場所、所定領域内の大きさ、等を指示する。制御部１４は、入力部１５ａ又は入力装置１５ｂを介して入力する指示に従って表示情報を変更するとともに、指示に応じた所定領域の画像を第２表示エリア１９に拡大表示する。

また、制御部１４は、第２表示エリア１９に表示した画像の場所及び大きさ、つまり抽出領域としての所定領域を示す矩形状の教示マーク１９ａを表示する。教示マーク１９ａは、所定の線種又は線色により表示される。この教示マーク１９ａにより、第１表示エリア１８の全体画像に対して第２表示エリア１９に表示された拡大画像の位置、大きさ、つまり作業ワークＷの全体に対する第２表示エリア１９の表示部分の位置、大きさを把握することが出来る。

さらに、制御部１４は、パターンマッチングを行い、その結果を表示装置２０に表示するように構成されている。詳述すると、制御部１４は、入力部１５ａ又は入力装置１５ｂの操作により、第１フレームメモリ１３ａに格納された画像データを、パターンマッチングのための基準画像データとして第２フレームメモリ１３ｂに記憶させる。そして、制御部１４は、新たに第１フレームメモリ１３ａに記憶された画像データと、第２フレームメモリ１３ｂに記憶された基準画像データとを比較し、一致しない画素（若しくは差が所定値以上の画素）からなる部分を中心として所定領域を決定し、その所定領域の画像を第２表示エリア１９に表示する。この構成により、次回以降撮像部１２が撮像した撮像画像は第１フレームメモリ１３ａに逐次更新され、第１フレームメモリ１３ａ及び第２フレームメモリ１３ｂの両者を比較することで差分を観察することが出来る。

次に、本実施の形態の特徴的な作用効果を記載する。
（１）拡大観察装置に設けられた撮像装置１０の撮像部１２が持つ分解能に対して、低分解能の表示装置２０を用いた場合において、撮像画像を縮小して表示し、拡大表示部は元の高解像度を生かして切り取る操作を行う制御部１４を備える。また、制御部１４が表示装置２０に観察対象の全体画像と観察対象をそれぞれ表示する表示エリア１８，１９、並びに全体画像に対しどの位置を拡大しているかを示す教示マーク１９ａを描画するよう制御しているため、全体把握と観察を必要とする箇所の拡大観察を同時に行うがこと可能となる。

（２）第１表示エリア１８又は第２表示エリア１９の所定領域を可変可能に設定する抽出画像領域指定手段を設けたことにより、観察を必要とする箇所の表示領域の大きさを変化させ、所定領域近辺の様子もさらに観察することができる。

（３）第２表示エリア１９の大きさを変更すると、この変更に応じ第１表示エリア１８に表れる教示マーク１９ａも変更されるため、観察対象の全体把握と、所定領域１９ａの表示箇所を視覚的に認識することが可能となる。

（４）制御部１４は、画像比較手段の一つであるパターンマッチングの比較結果により、フレームメモリ１３ａ，１３ｂに記憶した両画像データが一致しない場合に、その一致しない部分を中心とした所定領域１９ａを決定し、所定領域の抽出画像を第２表示エリア１９に表示する構成を持つ。これによれば、画像比較手段を用いることにより、制御手段が作業者の目の代わりに不一致箇所を判断するため、作業負担の軽減につながる。又、人の目による見逃しなどのミスも防ぐことが出来る。

尚、本発明の実施の形態は、以下のように変更してもよい。
・上記実施の形態において、第１表示エリア１８と第２表示エリア１９の位置、数、大きさなどを適宜変更しても良い。

図２（ａ）〜（ｃ）及び図３（ａ）〜（ｃ）は一実施形態の表示装置２０における別の表示例を示す説明図である。
図２（ａ）は第２表示エリアのサイズや表示比率を変更した場合の表示例を示している。例えば、表示装置２０に表示された第１表示エリア２１に表示された観察対象に対し、その一部をマウス（外部の入力装置１５ｂの一例）で所定領域２２ａとして選択した場合について説明する。該操作後、制御部１４は入力された所定領域２２ａの全体を撮像した画像をフレームメモリ１３より読み出し、所定領域２２ａに対応する分切り取り、マウスが選択した所定領域２２ａと同じ縦横比を持つ第２表示エリアが表示装置２０に表示される。第２表示エリア２２の縦横比がマウスにより変化された場合には、その変化に合わせ所定領域２２ａの枠に対し、縦横比及び表示倍率が変化する。

図２（ｂ）は複数の拡大画像を表示する例を示している。複数の拡大画像は、例えば予め設定された箇所の画像や、パターンマッチングにより検出された複数の不一致箇所の画像である。表示装置２０には、１つの第１表示エリア２１と、複数（図において３つ）の第２表示エリア２３，２４，２５（それぞれの第２表示エリアを区別するために、第２表示エリア２３、第３表示エリア２４、第４表示エリア２５とする）が表示されている。従って複数箇所を詳細に観察することが出来る。

さらに、第１表示エリア２１には、各表示エリア２３，２４，２５に対応する教示マーク２３ａ，２４ａ，２５ａが表示されている。各表示エリアは、第２表示エリア２３、第３表示エリア２４のように重なって表示されても、第２表示エリア２３、第４表示エリア２５のように並べて表示されてもよい。この時、第1表示エリア２１に表示された教示マーク２３ａ〜２５ａと第２〜第４表示エリア２３〜２５とは、例えば枠の色を教示マーク２３ａと第２表示エリア２３と同じにすることで対応付けられており、第１表示エリア２１に表示された全体画像に対して、各表示エリア２３〜２５に表示された拡大画像の場所を、視覚的に認識することができる。

図２（ｃ）は第２表示エリア２７に表示する画像を切り替える例を示している。表示する箇所は図２（ｂ）と同様である。複数の表示箇所に対応して複数の表示エリアを表示装置２０に出力すると、大枚の画像に埋め尽くされた表示装置２０では作業が難しくなる上、表示までに制御部１４が処理する画像処理の量が増えるため、制御部１４の処理速度に悪影響を及ぼす恐れが出てくる。そこで、図２（ｃ）に示すように、複数の表示箇所に対応する教示マーク２７ａ，２７ｂ，２７ｃを第１表示エリア２１に表示する。さらに、表示装置２０に、入力部１５ａ又は入力装置１５ｂによる指示位置を示すポインタ２８を表示する。そして、第２表示エリア２７に表示する画像を、ポインタ２８の指示により切り替えて表示する。この構成により、拡大表示すべき箇所が把握できるとともに、１つの第２表示エリア２７に選択した箇所の拡大画像が表示されるため、複数の第２表示エリアを表示することによる煩わしさ、画像処理の負担がなくなり、認識のしやすさと処理速度の向上を図ることが出来る。

・表示装置２０に別途切替選択できる選択切替えマークを表示し、表示エリア２１〜２３，２６，２７（図２（ｂ）の場合第３表示エリア２４、第４表示エリア２５を含む）を、又は表示内容（図２（ｃ）の場合第２表示エリア２７に表示される２７ａ〜２７ｃを指す）の切替えを設定可能である。選択切替えマークは、例えば表示された順序とその逆順とに切替えを行う、互いに異なる方向を向く矢印や操作ボタンなどを用いる。制御部１４は指示された表示エリアや表示内容をビデオメモリ１６に出力し、出力部１７はこれを表示装置２０に出力し、作業者の必要とする表示エリア２１〜２７の何れか（表示枚数は適宜設定できる）を表示装置２０に表示することができる。

・上記図２（ａ）〜（ｃ）の表示エリア２１〜２７の表示切替は、手動で行うことを想定しているが、制御部１４は、これを所定時間毎に自動的に（例えば５秒毎など作業者が設定できる）で順次最前面に表示される表示エリア２１〜２７を切り替えて表示装置２０に表示してもよい。

図３（ａ）は、表示モードを切り替える例を示している。図１に示すように、表示装置２０に複数の表示エリア１８，１９の画像を表示するモードと、図３（ａ）に示すように、１つのエリアにおける画像を全画面で表示するモードとを切り替える。切り替えには、図１に示す入力部１５ａ又は入力装置１５ｂが用いられる。図３（ａ）では第２表示エリア１９の画像を全画面で表示したが、第１表示エリア１８の画像と第２表示エリア１９の画像とを切り替えて全画面表示するようにしてもよい。この構成により、必要に応じて第１表示エリア１８又は第２表示エリア１９の画像を全画面にて表示することで、詳細に観察することが出来る。

図３（ｂ）は、第１表示エリア３１と第２表示エリア３２とを交替する例を示している。つまり、表示装置２０の下部に第２表示エリア３２を表示し、その第２表示エリア３２よりも小さい第１表示エリア３１を表示する。拡大画面を表示する第２表示エリア３２を大きくすることで、観察する部分をさらに拡大して表示するため、その部分を詳細に観察することが出来るようになる。

図３（ｃ）は、拡大画像を表示する第２表示エリア３４の大きさをさらに大きくし、その第２表示エリア３４に第１表示エリア３３を重ねて表示する例を示している。尚、第１表示エリア３３を重ねる場所は、視察が不要な箇所が望ましい。

上記のような画像の表示装置２０の表示を制御する制御部１４を用いることにより、拡大観察装置の撮像部１２が持つ分解能に対して、低分解能の表示装置２０を用いた場合においても、全体把握と観察を必要とする箇所の拡大観察が可能な拡大観察装置を提供することができる。

・第２表示エリア１９に対する表示として、指示された所定領域の画素数に応じて第２表示エリア１９の大きさを変更する、指定された所定領域に含まれる全ての画素を第２表示エリア１９に表示するように該所定領域の画像データを拡大又は縮小する、等の方法が適用可能である。そして、第２表示エリア１９の大きさを変更する場合、第２表示エリア１９の大きさに応じて第１表示エリア１８の大きさを変更してもよく、第１表示エリア１８と第２表示エリア１９とが重ならないようにする。例えば、図４（ａ）（ｂ）に示すように、第１表示エリア４１に重なるように第２表示エリア４２を（矢印に示すように第２表示エリア４３の大きさに）拡大した場合、その位置を第２表示エリア４６に移動させる。又は、図５（ａ）〜（ｃ）に示すように、第１表示エリア５１に重なるように第２表示エリア５２〜５４と（矢印に示す方向に）拡大していき、拡大された第２表示エリア５４に重ならないように第１表示エリア５１を第１表示エリア５５のように縮小する。これら制御を単体もしくは組み合わせて実行することにより全体画像と拡大画像を確実に認識することが出来るようになる。

・撮像部１２又は照明部１１のいずれかを拡大観察装置の中に設置していたが、それぞれ単体の装置として、又は組み合わせの装置として拡大観察装置の外部に設けてもよい。
・表示装置２０を拡大観察装置の外部に設置していたが、これを拡大観察装置の中に組み込み１つの装置としてもよい。

・入力部はマウスのほかに、トラックボール、選択ボタンを、又表示装置２０も拡大観察装置に含まれる場合はタッチパネルなどの表示装置２０も採用してもよい。
・パターンマッチングにおいて、作業者が予め基準画像データを作成して第２フレームメモリ１３ｂに格納するようにしても良い。又、作業者が任意のタイミングで選択した画像データを新たな基準画像データとして第２フレームメモリ１３ｂとして格納するようにしてもよい。

・フレームメモリの設置について、基準又は比較用のフレームメモリ以外にも一時記憶用に複数フレームメモリを設けてもよい。
・ビデオメモリの設置について、表示装置２０に表示する画像を複数フレームの乗算処理により重ねて表示するために、基準フレーム分のビデオメモリだけではなく複数のフレームを一時記憶する複数のビデオメモリを設け、複数のビデオメモリの画像データを合成して表示装置２０に表示する構成としてもよい。

・マッチングの不一致箇所を何箇所も新たに第２・３表示エリアなどとして表示する個数は、作業者により任意に決定されてもよい。
・作業者は任意の倍率を第２・３表示エリア毎に変えることができてもよい。又、倍率を変えた場合の第１表示エリアにおける所定領域は、自動的に制御部１４により変更される。

・教示マークを矩形枠状としたが、丸、三角、などの任意な形の枠状としてもよい。また、教示マークは領域を示す枠状に限らず、領域の中心に表示された丸などの図形（内部が塗りつぶし又は所定のパターンが表示された図形を含む）、任意の文字、としても良い。

・パターンマッチング後において、第２表示エリア１９に表示する画像に対して、一致しない部分の色を変更して表示するようにしてもよく、これにより一致しない部分を容易に認識することが出来るようになる。

一実施形態の拡大観察装置における電気的構成を示すブロック図。 （ａ）〜（ｃ）は別の表示例を示す説明図。 （ａ）〜（ｃ）は別の表示例を示す説明図。 （ａ）（ｂ）は別の表示例を示す説明図。 （ａ）〜（ｃ）は別の表示例を示す説明図。

符号の説明

１２…撮像部、１３…フレームメモリ、１４…制御部、１５ａ…入力部、１５ｂ…入力装置、１６…ビデオメモリ、１８…第１表示エリア、１９…第２表示エリア、Ｗ…作業ワーク。

Claims (5)

1. 所定の観察領域内の観察対象を撮像し画像データを出力する撮像手段と、
   前記画像データを記憶する記憶手段と、
   １画面の表示分解能が前記撮像手段における撮像分解能よりも低いものであり、前記画像データに基づく観察領域の全体画像を表示する第１表示エリアを有する表示手段と、
   前記記憶手段の画像データを前記表示手段の第1表示エリアに解像度を変換して表示させる制御手段と、
   を備えた拡大観察装置において、
   前記表示手段は、観察領域内の所定領域の抽出画像を拡大表示する第２表示エリアを更に有し、
   前記制御手段は１画面内に第１表示エリアと第２表示エリアとを同時に表示させる第１表示モードを備え、
   前記第１表示モードでは、第１表示エリアに画像データを所定倍率で低い解像度に変換して全体画像を表示させるとともに、第２表示エリアには抽出された無変換画像データを表示し、第１表示エリアに前記所定領域を教示する教示マークを表示させることを特徴とする拡大観察装置。
2. 請求項１に記載の拡大観察装置において、
   前記第１表示エリア及び第２表示エリアの少なくとも一方の大きさ又は位置を可変設定する抽出画像領域指定手段を設けたことを特徴とする拡大観察装置。
3. 請求項２に記載の拡大観察装置において、
   前記制御手段は前記抽出画像領域指定手段で指定される抽出領域の大きさに連動して前記第２表示エリアの大きさを変更し、この変更に応じ前記第１の表示エリアと前記第１の表示エリアに表示される前記全体画像を縮小して表示することを特徴とする拡大観察装置。
4. 請求項１乃至３に記載の拡大観察装置において、
   前記制御手段は、
   前記表示手段の１画面に前記第１表示エリア及び前記第２表示エリアのいずれか一方を単独表示する第２の表示モードと、
   前記第１表示モードと第２表示モードとを切り替える表示モード切り替え手段と、
   を備えたことを特徴とする拡大観察装置。
5. 請求項１乃至４に記載の拡大観察装置において、
   基準となる観察対象の画像データを記憶する基準データ記憶手段と、
   前記撮像手段により撮像された撮像画像の画像データを前記基準データ記憶手段に記憶される前記基準データと比較する画像比較手段と、
   前記制御手段は、前記画像比較手段の比較結果により、両画像データが一致しない場合にその一致しない部分を中心とした所定領域を決定し、該所定領域の抽出画像を前記第２表示エリアに表示することを特徴とする拡大観察装置。

Images