JP2003044831A - 画像処理方法及びビジョンシステム - Google Patents

Abstract

(57)【要約】 【課題】 比較的短時間に広範囲の焦点深度を有した所
望の合成画像を作成し、複数の原画像内に存在する画像
詳細データを保存する。 【解決手段】 エッジ／境界処理回路１６０が、原画像
のよく合焦されたエッジまたは境界を特定するエッジ及
び／または境界解析によって合成画像を作成する。合成
画像の特定なエッジまたは境界の各々は、特定なエッジ
または境界の各々のうちの最上に合焦された実例を含む
原画像に基づいて決定される。また表面処理回路１７０
が、原画像のよく合焦された面を特定する面解析によっ
て合成画像を作成する。合成画像の特定な面部分の各々
は、特定な面部分の各々のうちの最上に合焦された実例
を備えた原画像に通常基づいて決定される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、合成画像の生成に
有用な画像処理方法およびビジョンシステムに関する。

【０００２】

【従来の技術】高解像度マシンビジョンシステム、特に
微視的マシンビジョンシステムは、３次元物体の細部に
ついての高解像度で、よく焦点の合った画像を多く提供
する。しかし、これは、焦点深度とも云われる、囲まれ
た全体画像内の視野の深さを犠牲にして成り立ってい
る。しかしながら、マシンビジョンシステムに関するい
くつかの出願では、高解像度で焦点がよく合った微視的
検査を行い、及び／または物体の細部を記録すること
と、囲まれた全体画像をはっきりと視認し、または記録
することとの双方を可能にしている。

【０００３】こうした目的を達成するために、別々に焦
点合わせを行って得られた３次元風景または物体の画像
を組み合わせる、または融合させる方法が知られる。例
えば、Ｈａｅｕｓｌｅｒに与えられた米国特許第４，１
４１，０３２号公報は、物体に複数の水平面で焦点を合
わせて複数の画像を生成し、高周波フィルタで各画像を
濾波し、濾波されて得られた画像を足し合わせて微細部
だけを含む合成画像を生成することを開示している。同
様に、Ｆｅｒｒｅｎに与えられた米国特許第４，５８
４，７０４号公報は、全画像視野における視覚可能な焦
点の合った「薄片」を得ることを開示している。映像走
査線信号として「薄片」を処理するとき、該信号は高周
波フィルタを通過する。これによって、スパイク以外の
全部を取り除くべく弁別された信号で、物体の焦点の合
ったエッジを特定できる信号が提供される。２つの連続
するスパイク（エッジ）の間の信号情報も、焦点の合っ
た物体の部分として見做される。高周波フィルタを別の
フィルタと組み合わせるようにしてもよい。その場合の
フィルタは適応フィルタであってもよい。

【０００４】通常、そのような比較的簡単な構成の高周
波フィルタに基づく方法では、比較的高速な処理が為さ
れる。しかし、得られた合成画像は、選択されたフィル
タパラメータ及び／または焦点の合った合焦特性と焦点
の合っていない脱合焦特性とを区別するために使用され
る信号閾値に対して敏感である。以下、焦点の合ってい
ることを「合焦」、焦点の合っていないことを「脱合
焦」と呼ぶ。そういうものにおいて、これらの方法は、
予測できない様々な原画像物体及び／または表面特性に
対してロバスト性（外乱に強い性質）がなく、かつ望ま
しくない情報損失をもたらすこと、及び／または望まし
くない高空間周波数誤差（artifacts）を脱合焦画像部
分から受け取ることになるかも知れない。

【０００５】各種のマルチ解像度空間フィルタリング技
術に基づく方法も知られている。例えば、Ａｎｄｅｌｓ
ｏｎに与えられた米国特許第４，６６１，９８６号公報
は、Ｂｕｒｔピラミッド方法の諸相を説明したＢｕｒｔ
による多数の論文を挙げており、また該方法の一変形を
開示している。Ａｎｄｅｌｓｏｎ特許公報は、Ｍ個の画
像の各空間周波数スペクトラムを、Ｎ個の空間周波数帯
域を定めたＮ個の別個に仕分けされた画素サンプルセッ
トからなるＭ個のほぼ類似の集合に分割することを開示
する。対応するサンプルのうちの唯ひとつが選択され、
Ｎ個の帯域ごとに、合焦が改善された画素サンプルの各
単一セットが引き出される。そのとき、各単一セットの
対応する画素サンプルが組み合わされて、合焦が改善さ
れた２次元画像が引き出される。

【０００６】Ｂｕｒｔに与えられた米国特許第５，３２
５，４４９号公報は、質的に異なる方式の各センシング
／イメージング装置によって生成されてしまう、間違っ
て合焦された画像や、質的に異なる画像をも、ほぼ十分
に融合できる画像融合方法を開示する。Ｂｕｒｔ特許公
報には、合成画像が有用な全情報を保持し、合成処理に
よる誤差（artifacts、以下「誤差」という）を含ま
ず、そして人工的な加工を施されてされていない限り
は、画像融合が有効であると、言及されている。Ｂｕｒ
ｔ特許公報は、マルチ解像度空間周波数技術も含んだ先
のピラミッド技術が、合成画像内に顕著な誤差を生成し
てしまうことに言及している。Ｂｕｒｔ特許公報は、開
示された勾配機能のような、方向付けられた機能を使用
することに基づいた改善パターン選択方法を開示してお
り、この方法は、合成画像におけるエッジのような原画
像パターンの保持を改善する。この方法は、合成画像を
細分（refine）する局所特徴解析によって増強される。

【０００７】

【発明が解決しようとする課題】通常、Ａｎｄｅｌｓｏ
ｎ特許公報及びＢｕｒｔ特許公報に示されるピラミッド
方法は、比較的高速に処理され、比較的ロバスト性があ
る。しかしながら、これらのピラミッド方法は本来、画
像全体に均一に適用される単一方式の数学的処理に基づ
いている。そのため、その方法は、例えば、原画像の特
徴のない部分及び／または脱合焦の部分における合焦外
れエッジによって生成された、望ましくない高周波数誤
差（artifacts）に対して、いつまでも過敏である。

【０００８】畳み込み方法及びウエーブレットベースド
（wavelet-based）方法も、合成画像の獲得に用いるこ
とができるものとして知れられている。これとは別の周
知の「画像融合」方法は、多元エネルギ機能をまとめる
こと及びこのエネルギ機能が最小化されるような画像融
合結果を決定することを確実に行う。しかしながら、こ
れらの方法のいずれもが通常、画像全体に均一に単一方
式の数学的処理を適用する。実施の詳細に応じて、その
ような方法が数理集約的になるか、比較的低速な処理に
なり、及び／または前述の方法の欠点を分け合う。

【０００９】更に、数多くの方法が、単一画像のエッジ
を特定し、かつ単一画像を分割することが知られてい
る。しかしながら、そのような方法では、多数の原画像
の中から原画像を選択して、画像の脱合焦部分に存在す
る可能性のある誤差を予測するとともに抑制するやり方
で合成画像を生成する工夫が行われていなかった。

【００１０】以上のように、合成画像が有用な全情報を
保持し、誤差を含まず、そして人工的な加工を施されて
いない限りは、合成画像が有効であることを考慮して、
また、高速演算の市場での要求値及び利便性を考慮し
て、さらにまた、被加工品の様々な予測できない特徴及
び形状からロバスト性があり信頼性のある結果を得ねば
ならないという必要性を考慮して、改善され市場で魅力
ある解決策を求める要請がある。この解決策では、時間
が経過しても安定した効果を保つことができ、３次元物
体の細部について高解像度、良合焦の画像を提供でき、
一方で、ユーザが、３次元物体の細部を囲む領域を明確
に観察または記録できることが求められる。この要請は
取り分け、微視的検査及び測定用に用いられる自動マシ
ンビジョンシステムにおいて重要である。こうしたシス
テムでは、処理が比較的高速であり、詳細データが保存
される合成画像作成方法であって、被加工品の様々な予
測できない特徴及び形状からロバスト性のある結果が提
供され得る合成画像作成方法を求める要請がある。

【００１１】本発明はこのような要請に鑑みてなされた
ものであって、比較的短時間に広範囲の焦点深度を有し
た所望の合成画像を作成し、複数の原画像内に存在する
画像詳細データを保存することのできる装置及び方法を
提供することを目的とする。

【００１２】また本発明は、被加工品の様々な予測でき
ない特徴及び形状に対して、信頼性がありロバスト性が
ある所望の合成画像を作成できる装置及び方法を提供す
ることを目的とする。

【００１３】また本発明は、或る被加工品の特徴が予測
可能であるとき、なお一層の信頼性がありロバスト性が
ある所望の合成画像を、一層より短い時間で作成するべ
く容易に改造できる装置及び方法を提供することを目的
とする。

【００１４】さらに本発明は、脱合焦の特徴から生じそ
うな誤差を抑制すると同時に所望の合成画像を作成でき
る装置及び方法を提供することを目的とする。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明によれば、複数の原画像に基づ
き物体の少なくとも１つの部分の合成画像を作成する画
像処理方法であって、前記複数の原画像の各々が少なく
とも前記物体の前記部分を含み、前記複数の原画像の各
々が前記物体における異なる焦点面に対応する画像処理
方法において、前記原画像に対して第１の方式の解析を
行う第１のステップであって、前記原画像の複数の空間
位置のうち少なくとも複数の空間位置で、前記原画像の
エッジ及び境界のうち少なくとも１つに対応する前記合
成画像の第１の組の画素を決定する第１のステップと、
前記原画像に対して第２の方式の解析を行う第２のステ
ップであって、前記原画像の前記複数の空間位置のうち
少なくとも複数の空間位置で、前記原画像の面に対応す
る前記合成画像の第２の組の画素を決定する第２のステ
ップとを有することを特徴とする画像処理方法が提供さ
れる。

【００１６】また、請求項１５記載の発明によれば、画
像装置と、ビジョンシステム制御部と、記憶部と、物体
の少なくとも１つの部分の複数の原画像で、前記物体に
おける複数の焦点面に対応する複数の原画像に基づき、
前記物体の少なくとも前記部分における十分に合焦され
た合成画像を作成するべく作動する合成画像プロセッサ
とを具備したビジョンシステムにおいて、前記合成画像
プロセッサが、前記原画像に対して第１の方式の解析を
行うエッジ処理部であって、前記原画像の複数の空間位
置のうち少なくとも複数の空間位置で、前記原画像のエ
ッジ及び境界のうち少なくとも１つに対応する前記合成
画像の第１の組の画素を決定するエッジ処理部と、前記
原画像に対して第２の方式の解析を行う面処理部であっ
て、前記原画像の前記複数の空間位置のうち少なくとも
複数の空間位置で、前記原画像の面に対応する前記合成
画像の第２の組の画素を決定する面処理部とを有するこ
とを特徴とするビジョンシステムが提供される。

【００１７】本発明の上記及び他の特徴並びに効果は、
本発明に係る装置及び方法の各種実施の形態についての
以下の詳細な説明に記載され、またそれから明らかにな
る。

【００１８】

【発明の実施の形態】まず簡潔明白にするために、本発
明に係る装置及び方法の各種実施の形態の動作原理およ
び設計要素を、図１に示すようなビジョンシステム１０
０の一実施の形態を参照して説明する。図１に示すビジ
ョンシステムの動作の基本的な説明は、本発明の装置及
び／または方法を組み入れた、いずれのビジョンシステ
ムの理解及び設計にも適用可能である。本発明の装置及
び方法はこの具体的なビジョンシステム１００と関連し
て説明されるが、本発明に係る装置及び方法は、別の周
知のまたは今後開発されるビジョンシステムにおいても
使用され得るものである。

【００１９】図１はビジョンシステム１００を示す。図
１に示すように、ビジョンシステム１００はビジョンシ
ステム機構部１１０と制御システム部１２０とを含む。
制御システム部１２０は、本発明において用いることが
できる合成画像構成システムを構築し、合成画像プロセ
ッサ１５０を含む要素からなる。制御システム部分１２
０は更に、本発明に従って用いることができる制御指令
発生システムを構築し、下記に説明するパートプログラ
ム発生・実行部１８０を含む要素からなる。

【００２０】ビジョンシステム機構部１１０はステージ
１１１を含む。ステージ１１１は、Ｚ軸３００に垂直な
平面方向、例えばＸ軸３１０方向に沿って、ステージ１
１１を除いたビジョンシステム機構部１１０の残余部に
対して移動可能である。ビジョンシステム１００によっ
て画像生成が行われるべき部品２０は、ステージ１１１
の上に載置される。図１に示す部品２０は、多数の比較
的平らな平面領域２４，２６，２８、多数のエッジ２
５，２７、及び少なくとも１つの傾斜面領域２１を含
む。光源１１７は部品２０を照明するために使用され得
る。該光源１１７は単純面照明、リング照明、またはプ
ログラム制御リング照明であり、そして、透過照明及び
／または落射照明のような別の光源であってもよい。

【００２１】光源１１７からの光は、部品２０を照明し
た後、レンズ系１１３を通過してカメラシステム１１４
によって集められて部品２０の画像を生成する。レンズ
系１１３及びカメラシステム１１４は、筐体／枠１１５
に固定されて映像アセンブリ１１２を形成する。映像ア
センブリ１１２は、アクチュエータ１１６によってＺ軸
３００方向に移動可能である。映像アセンブリ１１２を
Ｚ軸３００方向に動かすことによって、レンズ系１１３
の焦点面が部品２０に対してＺ軸３００方向に移動され
る。これにより、映像アセンブリ１１２を、選択された
範囲に亘って移動することと、各々において部品２０の
異なる各部分が合焦されている、部品２０の１組の原画
像を撮影することとが可能となる。この方法で撮影され
た１組の原画像は通常、ほぼ空間的に一致（congruen
t）となる。

【００２２】カメラシステム１１４によって取得された
各画像は信号ライン３１を経て制御システム部１２０へ
出力される。図１に示すように、制御システム部１２０
は制御部１２５、入出力インタフェース部１３０、記憶
部１４０、パートプログラム発生・実行部１８０、ＣＡ
Ｄファイル特徴抽出部１９０、及び合成画像プロセッサ
１５０を含み、各々はデータ／制御バス１３６または各
要素間の直接連結部のいずれかによって互いに接続され
る。カメラシステム１１４は信号ライン３１を介して、
アクチュエータ１１６は信号ライン３２を介して、及び
光源１１７は信号ライン３３を介して、入出力インタフ
ェース部１３０に接続される。様々な実施の形態におい
て、入出力インタフェース部１３０は、カメラシステム
１１４と相互作用するように用いることができる画像制
御インタフェース部（図示せず）、アクチュエータ１１
６と相互作用するように用いることができる動作制御イ
ンタフェース部（図示せず）、及び光源１１７と相互作
用するように用いることができる発光制御インタフェー
ス部（図示せず）のうち１つまたはそれ以上を含むよう
にしてもよい。

【００２３】表示装置１３４及び１つ以上の入力装置１
３５も入出力インタフェース部１３０に、信号ライン３
４及び１つ以上の信号ライン３５をそれぞれ介して接続
され得る。表示装置１３４及び１つ以上の入力装置１３
５は、パートプログラムを検分し、作成し、及び変更す
ること、部品２０に関するＣＡＤファイル情報を入力す
ること、カメラシステム１１４で撮影された原画像を検
分すること、合成画像を検分すること、並びに／または
制御システム部１２０及び／若しくはビジョンシステム
機構部１１０を直接作動させることに使用され得る。し
かし、予め限定されたパートプログラムを有し、充分に
自動化されたシステムでは、表示装置１３４及び／また
は１つ以上の入力装置１３５、並びに、対応する信号ラ
イン３４及び／または３５は取り除かれるようにしても
よい。

【００２４】記憶部１４０は、ビジョンシステム１００
の作動の必要性に応じてデータを記録し、保持する。様
々な実施の形態において記憶部１４０は、１つまたはそ
れ以上の原画像記憶部１４１、パートプログラム記憶部
１４２、合成画像処理記憶部１４３、及び／または合成
画像記憶部１４４を含む。原画像記憶部１４１は、ビジ
ョンシステム１００を作動させたとき、カメラシステム
１１４を用いて撮影された原画像を記憶する。パートプ
ログラム記憶部１４２は、部品の特定なタイプごとにビ
ジョンシステム１００の作動を制御することに使用され
る１つまたはそれ以上のパートプログラムを記憶する。
合成画像処理記憶部１４３は、以下により詳細に説明す
るが、合成画像プロセッサ１５０の作動中に必要に応じ
て記録され、及び／または作成されたデータを保持す
る。合成画像記憶部１４４は、合成画像プロセッサ１５
０によって出力された合成画像データ表示及び／または
合成画像を保持する。

【００２５】図１に示す制御システム部１２０に含まれ
るような代表的な合成画像プロセッサ１５０は、本発明
の装置及び方法により用いることのできる合成画像プロ
セッサの一実施の形態である。図１の代表的な合成画像
プロセッサ１５０は、エッジ／境界処理回路またはソフ
トウェアルーチン１６０、及び表面処理回路またはソフ
トウェアルーチン１７０を含み、各々はデータ／制御バ
ス１３７か、１つ以上のアプリケーションプログラム制
御インタフェースか、または各回路若しくは各ソフトウ
ェアルーチン間の直接接続かのいずれかによって互いに
接続される。データ／制御バス１３７及びデータ／制御
バス１３６は、制御システム部１２０の様々な実施の形
態において同一のデータ／制御バスであってもよい。

【００２６】図１に示す代表的なエッジ／境界処理回路
またはソフトウェアルーチン１６０は、複数の原画像か
ら原画像データを処理加工し、解析された原画像に基づ
き、合成画像内の１組のエッジまたは境界画素を決定す
る。すなわち、エッジ／境界処理回路またはソフトウェ
アルーチン１６０は、合成画像内のエッジ及び／または
境界に対応する合成画像の第１の組の画素を決定するた
めに用いられる１組の原画像についての或る方式の解析
を行うべく作動可能である。図１に示す代表的な表面処
理回路またはソフトウェアルーチン１７０は、複数の原
画像から原画像データを処理加工し、解析された原画像
に基づき、合成画像内の１組の面画素を決定する。同様
に、表面処理回路またはソフトウェアルーチン１７０
は、合成画像内の面領域に対応する合成画像の第２の組
の画素を決定するために用いられる１組の原画像につい
ての或る方式の解析を行うべく作動可能である。合成画
像プロセッサ１５０の各要素及び作動については、更に
詳しく後述する。

【００２７】本発明において用いることができるビジョ
ンシステム１００についての前述の説明は概して、自動
プログラム作動に適したシステムを説明していると言え
る。しかし、本発明で使用されるビジョンシステム１０
０はまた、合成画像構築コマンドを含むコマンドが、ビ
ジョンシステム１００の手動のまたは段階的な作動の間
に、１つ以上の入力装置１３５を経て手動で発行された
とき、ほぼ同様に作動するようにしてもよい。更に、ビ
ジョンシステム１００は各構成要素及び作動パラメータ
に順応することができるが、一般的に下記の説明は、ビ
ジョンシステム機構部１１０の構成及び精査対象の製作
品が既に知られると、及び／または予想し得ると仮定し
たものである。加えて、特別に検討されることはない如
何なる所要の作動条件も、マシンビジョンシステムの作
動に適した公知の手順によって満たされたと仮定してい
る。

【００２８】マシンビジョンシステムの操作者が、ステ
ージ１１１上に取り付けられた部品２０の或る部分のよ
うな、表面形状が観察されるべき物体（objectまたはwo
rk、以下単に「物体」という）の特定部分の合成画像を
作成しようとしたとき、操作者はビジョンシステム１０
０を操作して、物体のその特定部分をビジョンシステム
１００の視野内に位置づける。例えば映像アセンブリ１
１２の照明設定並びに位置決め及び／または焦点合わせ
のような各画像取得パラメータが選択され、満足のいく
原画像の１つの組が提供される。映像アセンブリ１１２
の位置決め及び／または焦点合わせのようなパラメータ
は、操作者の試行錯誤、またはイリノイ州オーロラにあ
るミツトヨアメリカコーポレイション（ＭＡＣ）から提
供される映像検査機のクイックビジョンシリーズのよう
な、市販された各種のマシンビジョンシステムに利用で
きる様々な自動化「ツール」の支援のいずれかによって
獲得され得るものである。

【００２９】映像アセンブリ１１２をＺ軸３００方向に
移動させることによって、レンズ系１１３の焦点面が部
品２０に対してＺ軸３００方向に移動される。これによ
り、映像アセンブリ１１２を選択された範囲に亘って動
かすことができ、そして通常、部品２０の所望部分の重
要な各特徴に、別の原画像の少なくとも１つにおいて合
焦されるようになる部品２０の１組の原画像を撮影する
ことができる。選択された範囲は、複数の原画像を得る
ためにＺ軸方向の複数の等距離移動に分割するようにし
てもよい。或いは、例えば比較的平らな平面領域２４，
２６，２８のような部品２０の重要な特徴にぴったりと
焦点を合わせることを可能にするＺ軸位置、またはこれ
らの合焦への接近法の組み合わせが選択されるようにし
てもよい。複数の原画像が原画像記憶部１４１に格納さ
れるようにしてもよい。

【００３０】図１に示すビジョンシステム１００の代表
的な構成にとって、この方法で撮影された１組の原画像
は、ほぼ空間的に一致となる。すなわち、１つの原画像
における或る特定な空間位置は、別のいずれの原画像で
も同じ空間位置で物体の同じ部分に対応する。合成画像
を処理するためには、原画像が空間的に一致であるとい
うことが確かでないならば、複数の原画像を、例えば画
像相関または別のパターンマッチング技術のような公知
の技術によって解析し、これによって、複数の原画像の
空間位置が空間一致を提供するように調整されるように
してもよい。合成画像プロセッサ１５０の空間一致／特
徴一致処理回路またはソフトウェアルーチン１５２は、
画像が空間的に一致であるか否かを決定するために、及
び／または空間位置を調整して空間一致を獲得する上記
技術の１つまたはそれ以上を実行するために使用され得
る。

【００３１】操作者が、ビジョンシステム１００の表示
装置１３４及び／または入力装置１３５を使って、全原
画像の唯１つの部分に対応する合成画像を得たい場合、
操作者は、例えば表示装置１３４上の所謂「ボックスツ
ール」を使って、物体２０の所望部分を選択及び／また
は限定するようにしてもよい。この場合、如何なる後続
の合成画像処理も、対応する空間位置に限定され得る。

【００３２】前述の操作者の行動または指令のいずれか
または全ては、パートプログラム発生・実行部１８０に
よって記録することができ、そして、その結果をパート
プログラム記憶部１４２に格納して、例えば部品２０の
異なる見本を検査及び／または記録するために後程パー
トプログラム発生・実行部１８０による呼び出し及び自
動実行を行うようにしてもよい。以上は、本発明の装置
及び方法において用いることができる複数の原画像を提
供する一実施の形態の方法を説明している。しかし、本
発明の装置及び方法は、ビジョンシステムの詳細、複数
の原画像を得るために使用される電磁スペクトラムの部
分、並びに／または複数の原画像を得るため及び／若し
くは準備するために使用される作動に拘らず、どんな類
似の複数の原画像にも使用可能であると言える。

【００３３】図２は、本発明における図１の合成画像プ
ロセッサ１５０のエッジ／境界処理回路またはソフトウ
ェアルーチン１６０、及び表面処理回路またはソフトウ
ェアルーチン１７０の実施の形態の概要を示すブロック
図である。図２に示すように、エッジ／境界処理回路ま
たはソフトウェアルーチン１６０は、原画像エッジ／境
界処理回路またはソフトウェアルーチン１６３、及び合
成画像エッジ／境界決定回路またはソフトウェアルーチ
ン１６６を含む。表面処理回路またはソフトウェアルー
チン１７０は、原画像面処理回路またはソフトウェアル
ーチン１７３、及び合成画像面決定回路またはソフトウ
ェアルーチン１７６を含む。エッジ／境界処理回路また
はソフトウェアルーチン１６０、及び表面処理回路また
はソフトウェアルーチン１７０に対する図２に示す特定
な構成は、互いに独立であってよい。したがって、エッ
ジ／境界処理回路またはソフトウェアルーチン１６０、
及び表面処理回路またはソフトウェアルーチン１７０の
双方の特定な構成例が、図２に一緒に図示されるが、エ
ッジ／境界処理回路またはソフトウェアルーチン１６
０、及び表面処理回路またはソフトウェアルーチン１７
０の各々は、互いに別々に動作されたり、エッジ／境界
処理回路またはソフトウェアルーチン１６０、及び表面
処理回路またはソフトウェアルーチン１７０の他方の別
の構成例と組み合わされたりすることが可能である。そ
のため、図２に示すエッジ／境界処理回路またはソフト
ウェアルーチン１６０、及び表面処理回路またはソフト
ウェアルーチン１７０の特定な組み合わせ構成例は、単
なる実施例であり、これに限定されることなく、すなわ
ち本発明の本質ではないとして理解されるべきである。

【００３４】原画像エッジ／境界処理回路またはソフト
ウェアルーチン１６３は、複数の原画像から原画像デー
タを処理及び／または特徴抽出するために用いられる。
合成画像エッジ／境界決定回路またはソフトウェアルー
チン１６６は、原画像エッジ／境界処理回路またはソフ
トウェアルーチン１６３からの出力結果に基づき、合成
画像内の１組のエッジまたは境界画素を決定する。様々
な実施の形態において、原画像エッジ／境界処理回路ま
たはソフトウェアルーチン１６３は、原画像内の空間位
置を解析及び／または特徴づけ、及び原画像内の潜在的
エッジまたは境界画素を示す結果を提供するために用い
られる解析部（図示せず）を含むようにしてもよい。

【００３５】他の様々な実施の形態において、原画像エ
ッジ／境界処理回路またはソフトウェアルーチン１６３
はまた、原画像内の潜在的エッジまたは境界画素を示す
結果のいくつの遮断のために用いられる確認部（図示せ
ず）を含むようにしてもよい。これが使用された場合、
該確認部は、原画像のどれにおいても容認できる（満足
できる）エッジまたは境界画素を実際に示す結果のみを
残す。さらに、様々な実施の形態において、合成画像エ
ッジ／境界決定回路またはソフトウェアルーチン１６６
が、原画像エッジ／境界処理回路またはソフトウェアル
ーチン１６３によって得られた結果の中から、合成画像
用の最上のエッジまたは境界画素を選択または限定する
ために用いられる選択部（図示せず）を含むようにして
もよい。他の様々な実施の形態において、合成画像エッ
ジ／境界決定回路またはソフトウェアルーチン１６６は
更に、選択部からの出力結果を細分して、例えば本発明
に係る装置及び方法によって、他の方法では拒絶されな
い画像誤差（artifacts）を拒絶するために用いられる
細分部（図示せず）を含むようにしてもよい。

【００３６】原画像面処理回路またはソフトウェアルー
チン１７３は、複数の原画像から原画像データを処理及
び／または特徴抽出するために用いられる。合成画像面
決定回路またはソフトウェアルーチン１７６は、原画像
面処理回路またはソフトウェアルーチン１７３からの出
力結果に基づき、合成画像内の１組の面画素を決定す
る。様々な実施の形態において、原画像面処理回路また
はソフトウェアルーチン１７３は、原画像内の空間位置
を解析及び／または特徴づけ、及び原画像内の潜在的面
画素を示す結果を提供するために用いられる解析部（図
示せず）を含むようにしてもよい。

【００３７】さらに、様々な実施の形態において、合成
画像面決定回路またはソフトウェアルーチン１７６が、
原画像面処理回路またはソフトウェアルーチン１７３に
よって得られた結果の中から、合成画像用の最上のエッ
ジまたは境界画素を選択または限定するために用いられ
る選択部（図示せず）を含むようにしてもよい。他の様
々な実施の形態において、合成画像面決定回路またはソ
フトウェアルーチン１７６は更に、選択部からの出力結
果を細分して、例えば本発明に係る装置及び方法によっ
て、他の方法では拒絶されない画像誤差（artifacts）
を拒絶するために用いられる細分部（図示せず）を含む
ようにしてもよい。

【００３８】他の様々な実施の形態において、合成画像
プロセッサ１５０は更に、１つ以上の空間一致及び／ま
たは特徴一致処理回路またはソフトウェアルーチン、合
成画像細分処理回路またはソフトウェアルーチン、及び
合成画像格納及び／または出力処理回路またはソフトウ
ェアルーチンを含む補助回路またはソフトウェアルーチ
ン（図示せず）を含むようにしてもよく、各々はデータ
／制御バス、１つ以上のアプリケーションプログラム制
御インタフェース、または各回路またはソフトウェアル
ーチン間の直接接続のいずれか１つによって互いに接続
されるものとする。上記の補助回路またはソフトウェア
ルーチンによって行われる作動については更に、以下に
詳しく説明する。

【００３９】図３は、本発明における合成画像を生成す
る方法の一実施の形態の概要を示すフローチャートであ
る。処理はステップＳ１００で始まってステップＳ２０
０に進み、物体の所望の部分の複数の原画像を獲得する
ために用いられるビジョンシステム動作パラメータを限
定する。ビジョンシステム動作パラメータは、半自動方
式により手動で、または完全に自動的に限定される。こ
れらのパラメータの結果を通して得られる複数の原画像
の一般的特性は既に説明した。次にステップＳ３００で
は、複数の原画像が獲得され、それらの代表データが格
納される。そしてステップＳ４００で、獲得された原画
像が整合されていることが確かでないならば、すなわち
前に概説したように、空間的に一致であることが確かで
ないならば、複数の原画像が、例えば画像相関または別
のパターンマッチング技術のような公知の、または今後
開発される技術のどれかによって解析される。複数の原
画像の代表データはこの解析に基づき、複数の原画像を
空間一致におくべく調整される。この後、処理はステッ
プＳ５００に進む。

【００４０】ステップＳ５００では、合成画像が、全原
画像枠の唯１つの部分に対応する物体の部分に対して望
まれるならば、合成画像が望まれる空間位置範囲を限定
する。全原画像枠の上記部分の境界は、半自動方式によ
り手動で、または完全に自動的に限定される。後続の合
成画像処理は、その部分の限定された境界、すなわち空
間位置範囲に対応するべく限定して、処理時間を減少さ
せるようにしてもよい。次いでステップＳ６００で、複
数の原画像の各々が、解析された各原画像における潜在
的境界画素及び／またはエッジ画素に反応しこれを示す
技術を使用して特徴付けられ及び／または解析される。
周知の、または今後開発されるエッジ検出方法のいずれ
においても用いられ得る広範な様々な技術が、以下に更
に説明するように、本発明に係る装置及び方法の様々な
実施の形態において使用し得るものである。他の様々な
実施の形態において、Ｃａｎｎｙエッジ検出装置（その
構造及び動作は当業者に公知である）や類似の装置のよ
うな、周知のまたは今後開発されるエッジ検出装置のど
れかを、ステップＳ６００において完全な形で使用し、
本発明に係る装置及び方法において用いることのできる
結果を提供するようにしてもよい。次にステップＳ７０
０で、エッジ及び／または境界解析技術による結果が評
価され、以下に更に説明するように、合成画像内の１組
の「エッジ」画素が決定される。この後、処理はステッ
プＳ８００に進む。

【００４１】ステップＳ８００では、複数の原画像の各
々が、解析された各原画像内の潜在的面画素に反応しこ
れを示す技術を使用して特徴付けられ及び／または解析
される。本発明に係る装置及び方法の様々な実施の形態
における最も広い意味において、面画素は、エッジ及び
／または境界画素であると決定されない如何なる画素を
も含む。周知の、または今後開発される面フォーカス方
法、領域特徴づけ方法、及び／または画像分割方法のど
れにおいても用いられ得る広範な様々な技術が、以下に
更に説明するように、本発明に係る装置及び方法の様々
な実施の形態において使用し得るものである。次にステ
ップＳ９００において、合成画像において弱められた残
りの画素に対して、すなわち予め決定されなかった合成
画像におけるそれらの画素に対して、面画素解析技術の
結果が合成画像内の１組の「面」画素を決定するために
使用される。様々な実施の形態において、領域フィルま
たは領域併合タイプの処理は、以下に更に詳しく説明す
るように、本発明の装置及び方法における合成画像面画
素を決定するために使用される。この後、処理はステッ
プＳ１０００に進む。

【００４２】ステップＳ１０００では、これまでのステ
ップで作成された合成画像表示における、何処にも属さ
ない成分を有する空間（void、以下、単に「空間」とい
う）も満たされる。従来の画像におけるそのような空間
を補充するための各種技術が知られている。周知の、ま
たは今後開発される空間補充技術のいずれもが、本発明
に係る装置及び方法の様々な実施の形態において使用し
得る。しかし、様々な実施の形態において、合成画像内
の空間を補充するために使用されるべき画素値に対する
基礎として潜在的に使用され得る複数の原画像が存在す
るので、空間を補充するために使用される技術は、以下
に更に説明するように、その基礎をいずれの原画像が提
供するかを選択決定するための付加的な処理によって補
われる。この後、処理はステップＳ１１００に進む。

【００４３】ステップＳ１０００は任意に選択されて実
行されるものであり、そのため、本発明に係る装置及び
方法の様々な実施の形態において使用されるエッジ及び
／または境界及び／または面の解析の詳細によっては取
り除くようにしてもよい。エッジ及び／または境界及び
／または面の解析が合成画像の全画素を本質的に決定す
るならば、空間（void）用の合成画像表示を検査するこ
とや空間を補充することは必ず必要ということではな
い。この場合、ステップＳ１０００は取り除かれ、処理
はステップＳ９００からステップＳ１１００へスキップ
する。しかし、これまでのステップで合成画像の全画素
が決まっていないならば、ステップＳ１０００を使って
合成画像表示内の空間を補充するようにしたほうがよ
い。

【００４４】ステップＳ１１００では、合成画像表示が
各種の適切な形式のいずれかで記憶装置に格納され、及
び／または表示装置または記録装置に出力される。様々
な実施の形態では、この格納及び／または出力ステップ
が下記の変換処理を含むようにしてもよい。この変換処
理とは、これまでのステップから得られた合成画像表示
を、特定な目的にはより便利で、望ましく、及び／また
は有用である合成画像の後続の電子的または物理的な表
示に変換する処理である。例えば、本発明に係る装置及
び方法の様々な実施の形態において、これまでのステッ
プの詳細に従って、合成画像のエッジ画素及び面画素の
別々に格納されたレコードを集めて組み合わせ、または
併合して、格納された合成画像の単一の表示に変換す
る。

【００４５】本発明に係る装置及び方法の様々な実施の
形態における更なる例として、合成画像表示が合成画像
内の空間位置の「マップ」の形式をとるようにしてもよ
く、このマップは、実画素強度値と対照をなす機能の値
またはインデックスを含むものである。更にまた、マッ
プの全部または部分における空間解像度が、原画像内の
画素の空間解像度、または「メタ画素」の形式における
より粗い空間解像度であってもよい。したがって、その
ような実施の形態では、対応する合成画像が従来の画像
として有意味に表示される前に、従来のグレースケール
画像データまたはカラー画像データが、そのような「マ
ップ」表示を所望の解像度及びデータ形式に変換するこ
とによって組み合わされねばならない。ステップＳ１１
００ではどんな場合でも、特定な目的にはより便利で、
望ましく、及び／または有用である合成画像の所望の表
示は、記憶装置に格納され、及び／または表示装置また
は記録装置に出力される。この後、処理はステップＳ１
２００に進んで、終了する。

【００４６】ステップＳ１００−Ｓ５００は正に、本発
明の装置及び方法によって用いることのできる複数の原
画像を提供する方法の一実施の形態であると言える。し
たがって、一般に本発明の装置及び方法、取り分けステ
ップＳ６００−Ｓ１２００は、基礎となるビジョンシス
テムの詳細、複数の原画像を得るために使用される電磁
スペクトラムの部分、または類似な複数の原画像を得る
及び／若しくは準備するために使用される特別な処理に
拘らず、どんな類似の複数の原画像にも使用可能である
と言える。

【００４７】ここで用いられている用語「境界」及び
「エッジ」に関して、用語「境界」及び「エッジ」は、
本発明の装置及び方法の範囲及び動作において、一般に
入れ替え可能に使用される。しかし、状況によっては、
用語「エッジ」が更に、物体及び／またはその物体の画
像上の異なる平面間の不連続点でのエッジを意味するよ
うにしてもよい。同様に、用語「境界」が更に、物体及
び／またはその物体の画像の比較的平らな面の上の２つ
の色、または比較的等質な２つの表面特性の間における
不連続点での境界を意味するようにしてもよい。

【００４８】用語「境界画素」及び「エッジ画素」は、
本発明の装置及び方法の範囲及び動作において、入れ替
え可能に使用される。双方の用語は、画像の局所的強度
変化の周辺における画素に当てはまることが意図されて
いる。これらの局所的強度変化は、例えばグレースケー
ル強度またはカラー強度のいずれかである。これらの局
所的強度変化は通常、従来の若しくは改善された、また
は今後開発されるエッジ検出処理のいずれかによって検
出される。同様に、用語「境界特性」及び「エッジ特
性」は、本発明の装置及び方法の範囲及び動作におい
て、入れ替え可能に使用される。両用語は、単独でまた
は組み合わせて、従来の若しくは改善された、または今
後開発されるエッジ検出処理のいずれかによって使用可
能ないずれの特性（その数値又は特性自体）をも意味す
るものとする。

【００４９】境界特性を特徴づけ、エッジを検出するた
めに用いられる処理は、高周波空間フィルタリング、勾
配解析、方向性勾配解析、勾配系列微分解析、縦横比解
析、候補エッジの範囲及び／または連結性解析などを含
むが、これらに限定されるものではない。勾配解析は、
グレースケール強度、カラー強度、テクスチュア度合い
などのいずれか１つまたはそれ以上を含むが、これらに
限定されるものではない。縦横比解析は、候補エッジの
長さ対幅を査定することを含むが、これらに限定される
ものではない。

【００５０】境界及び／またはエッジ特性に反応しこれ
を示す上記及び別の処理は、画像処理を扱う当業者に知
られており、広範な各種周知のエッジ検出技術の１つま
たはそれ以上の中に含まれる。１９９５年ＭｃＧｒａｗ
Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著作の「Ｍ
ａｃｈｉｎｅ Ｖｉｓｉｏｎ」におけるエッジ検出に関
する章には、関連した教示及び参考文献が示されてい
る。ここに示される、境界特性に反応しこれを示すとと
もに、画像内のエッジを見分けるために使用されるほと
んど全ての処理は更に、エッジが画像内で合焦される度
合いに反応しこれを示すと言うこともできる。これは、
脱合焦エッジが曇らされ、そのため、合焦時や極端な脱
合焦時に脱合焦エッジが全く見えないこととは異なっ
た、強度の空間分布を脱合焦エッジが示すという理由に
よる。

【００５１】さらに、様々な実施の形態において、解析
された原画像の全てに亘って行われて１組の合成画像エ
ッジ画素を決定するところのエッジ検出処理を使用する
ことが望ましいと言うこともできる。複数の空間一致原
画像の解析が、空間一致原画像の少なくとも１つの中に
妥当なエッジ画素が存在しているということを示す場合
において、上記の１組の合成画像エッジ画素は、いずれ
の空間位置でもエッジ画素を含むことになる。したがっ
て、本発明に係る装置及び方法の様々な実施の形態にお
いて、ステップＳ６００及びＳ７００に対応して前に説
明した処理は、複数の原画像に亘って作動して、原画像
の或るタイプの解析を行うところのエッジ検出処理を実
行するべく結合することもできる。上記の或るタイプの
解析は、合成画像内のエッジ及び／または境界に対応す
る合成画像の第１の組の画素を決定するために用いるこ
とができるものである。

【００５２】そこで、ステップＳ６００及びＳ７００に
対応して前に説明した処理は、単一のステップに対応す
る単一でより複雑な多画像合成エッジ検出処理という別
の構成で特徴づけられるようにしてもよい。したがっ
て、様々な実施の形態において、前述した米国特許第
５，３２５，４４９号に開示される多画像融合エッジ検
出装置のような、如何なる周知のまたは今後開発される
多画像合成エッジ検出器をも、本発明に係る装置及び方
法において用いることができる結果を提供するために使
用するようにしてもよい。合成画像内のエッジ画素の決
定に関する別の各処理例については、以下に更に詳しく
説明する。

【００５３】既に述べられたここで使用される用語「面
画素」に関して、本発明に係る最も広い意味において、
「面画素」は、境界画素及び／またはエッジ画素である
とは決定されないところの如何なる画素をも含む。加え
て、本発明の装置及び方法に係る多くの実際のケースに
おいて、「面画素」は、物体上の比較的よく合焦され、
等質で、比較的平らな局所領域の画像を構成する画素で
ある。ここで使用される用語「表面特性」は、単独でま
たは組み合わせて、例えば面及びテクスチュア分類法の
ような、周知のまたは今後開発される領域特徴づけ処理
または技術のいずれかによって使用可能ないずれの特性
（その数値又は特性自体）をも一般的に意味する。

【００５４】換言すれば、表面特性は、或る特定な局所
近傍におけるグレイレベル及び／またはカラーレベルの
統計的特性及び空間分布と関連付けられた特性である。
表面特性を特徴づけるために用いられる処理は、例えば
不一致解析、平均強度、別の統計的テクスチュア及び／
またはコントラスト測定、フラクタル次元、テクスチュ
ア方向性測定などを含むが、それらに限定されるもので
はない。不一致解析及び平均強度はそれぞれ、例えばグ
レイレベル値またはカラーレベル値に適用され得る。

【００５５】表面特性に反応しこれを示す上記の及び別
の処理は、画像処理を扱う当業者には知られており、広
範な各種周知の面フォーカス検出（自動合焦）方法、領
域／テクスチュア特徴づけ方法、及び／または画像分割
方法の１つまたはそれ以上に含まれる。１９９５年Ｍｃ
Ｇｒａｗ Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著
作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」におけるテクス
チュア及び領域に関する章には、関連した教示及び参考
文献が示されている。面領域を分類する目的で表面特性
に反応しこれを示し、特にテクスチュアを分類する目的
で有用である上記に示されるほとんど全ての処理は更
に、面が画像内で合焦される度合いに反応しこれを示す
と言うこともできる。これは、脱合焦面テクスチュアが
ぼやけて、そのため、脱合焦面テクスチュアが合焦時と
は異なった統計的及び空間的な強度分布を示し、極端に
脱合焦となったときは、均一の強度（すなわち完全に滑
らかなテクスチュア）を示すという理由による。

【００５６】合成画像内の面画素の決定に関しては、様
々な実施の形態において、解析された原画像の全てに亘
って動作して、他の方法では境界画素及び／またはエッ
ジ画素の位置であると決定されない如何なる空間位置を
も含むところの１組の合成面画素を決定する面画素決定
処理を使用することが望ましいと言うこともできる。し
たがって、本発明に係る装置及び方法の様々な実施の形
態において、ステップＳ８００及びＳ９００に対応して
前に説明した処理は、複数の原画像に亘って作動して、
原画像の或るタイプの解析を行うところの面検出処理を
実行するべく結合することもできる。上記の或るタイプ
の解析は、合成画像内の面領域に対応する合成画像の第
１の組の画素を決定するために用いることができるもの
である。そこで、ステップＳ８００及びＳ９００に対応
して前に説明した処理は、単一のステップに対応する単
一でより複雑な多画像合成面検出処理という別の構成で
特徴づけられるようにしてもよい。合成画像内の面画素
の決定に関する各処理例については以下に更に詳しく説
明する。

【００５７】図４は、本発明における図３のステップＳ
６００の、潜在的境界画素及び／またはエッジ画素に反
応しこれを示す技術を使って原画像を解析する一実施の
形態の概要をより詳細に示すフローチャートである。ス
テップＳ６００で開始されて処理はステップＳ６１０へ
進み、解析されるべき原画像が、半自動方式による手動
で、または完全に自動的に決定され、または限定され
る。例えば、一般的な場合、１組またはそれ以上の原画
像を、予め獲得し格納しているようにする。これは、処
理の長い中断の後でステップＳ６００が開始された場合
である。このため、特定の１組の原画像を選択し、呼び
出す必要がある。別な場合には、１組の原画像が、所望
の原画像領域で脱合焦の特徴をもつ画像を含むようにし
てもよい。そのような原画像を解析対象から削除して処
理時間を短縮するようにすることが好ましい。

【００５８】次にステップＳ６２０では、ステップＳ６
１０で解析対象として予め選択されなかった原画像の１
つが、解析されるべき現状の原画像として選択される。
その後ステップＳ６３０で、解析されるべき現状の原画
像に対応するデータにアクセスする。特に、所望の合成
画像に含まれる空間位置に対応した現状の原画像内の空
間位置に対するデータにアクセスする。処理はその後ス
テップＳ６４０に進む。

【００５９】ステップＳ６４０では、アクセスされた原
画像データがエッジ焦点インジケータ値を提供するため
に、および所望の空間解像度で局所結果を提供するため
に、解析される。様々な実施の形態では、ステップＳ６
４０で、アクセスされた原画像データが、画像の局所的
強度変化に反応しこれを示す数学的またはアルゴリズム
技術を使って解析される。上記局所的強度変化は、例え
ばグレースケール強度値の変化またはカラー強度値の変
化のいずれかであることができる。

【００６０】様々な実施の形態では、現状の原画像のデ
ータが先ず、白レベルとの関係で正規化される。その
後、それぞれ画像データの行と列の方向における２次元
ガウス分布の微分係数である２つの勾配演算子が限定さ
れる。或る実施の形態では、２次元ガウス分布は、１１
×１１画素の大きさ及び９画素の実効幅に設定される。
公知の畳み込み演算法によれば、これらの勾配演算子
は、現状の原画像中の可能な画素位置の各々で系統的に
適用される。現状の原画像中の画素ごとの各勾配演算結
果値を２乗して得られた各値の合計の大きさは、局所勾
配値として見做される。この場合、局所勾配値はエッジ
焦点インジケータ値である。このような技術は、画像処
理を扱う当業者に知られている。１９９５年ＭｃＧｒａ
ｗ Ｈｉｌｌ社刊行のＲａｍｅｓｈ Ｊａｉｎ他著作の
「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」には、関連した教示
が示されている。

【００６１】次にステップＳ６５０において、エッジ焦
点インジケータ値がメタ画素に組み合わされる。次のス
テップＳ６６０では、各メタ画素を表すエッジ焦点イン
ジケータ値が決定される。エッジ焦点インジケータ値
は、例えばメタ画素によって包含されたエッジ焦点イン
ジケータ値の全てを平均化することによって決定され得
る。一般的には、メタ画素が１つの原画像に対して使用
される場合、メタ画像は各原画像に対して使用されるべ
きである。処理はその後ステップＳ６７０へ進む。

【００６２】ステップＳ６５０及びＳ６６０は、例えば
画像化された物体の特徴に関連した原画像の倍率及び解
像度に応じて、及び／または合成画像処理時間を最小化
することが望ましいか否かに応じて、その実行が任意に
選択されるようにすることもできる。或る特定のアプリ
ケーションで合成画像処理時間が重視されない場合、処
理をステップＳ６４０から直接ステップＳ６７０へスキ
ップする。

【００６３】ステップＳ６７０では、決定されたエッジ
焦点インジケータ値が、後から必要となる用途のために
記録または格納される。空間解像度に拘らず、すなわち
画素解像度かメタ画素解像度かに拘らず、現状の原画像
に対するエッジ焦点インジケータ値が、所望の合成画像
に含まれる空間位置を包含し、該空間位置と概ね空間一
致となるようにすることができる。その後ステップＳ６
８０で、決定された原画像の全てが解析されたか否かを
判別する。解析されるべき原画像が未だ存在するなら
ば、処理はステップＳ６２０へ戻る。さもなければ、図
３のステップＳ６００に対応する処理が終了する。この
場合、処理はステップＳ６９０へ進んで、ステップＳ７
００へ移る。

【００６４】図５は、本発明に係る図３のステップＳ７
００における１組のエッジ画素を決定または選択する処
理における一実施の形態の概要をより詳細に示すフロー
チャートである。様々な実施の形態では上記のように、
エッジ画素の決定または選択は、潜在的境界画素及び／
またはエッジ画素に反応しこれを示す解析技術から得ら
れた結果を基にする。処理がステップＳ７００で開始さ
れてステップＳ７０５へ進み、そこで、解析されるべき
原画像解析結果が決定される。その後ステップＳ７１０
で、決定された原画像解析結果の解析されるべき空間位
置が決定される。処理はその後ステップＳ７１５へ進
む。

【００６５】本発明に係る合成画像処理の特定な構成に
よっては、いずれの原画像解析結果が更に解析されるべ
きかを決定または再決定することが必要になるかもしれ
ない。更に解析されるべきこれらの原画像解析結果が、
半自動方式による手動で、または完全に自動的に決定さ
れまたは確定されるようにしてもよい。様々な実施の形
態では、図３のステップＳ６００のような先のステップ
で決定または限定された原画像解析結果が、更に解析さ
れるべき原画像解析結果を表している。

【００６６】同様に、本発明に係る合成画像処理の特定
な構成によっては、原画像解析結果のいずれの空間位置
が更に解析されるべきかを決定または再決定することが
必要になるかもしれない。通常、これらの空間位置は、
所望の合成像に含まれる空間位置に対応する。これら
は、半自動方式による手動で、または完全に自動的に決
定され、または限定されるようにしてもよい。様々な実
施の形態では、図３のステップＳ６００のような先のス
テップで決定または限定された原画像解析結果は、更に
解析されるべき空間位置を表している。

【００６７】ステップＳ７１５では、ステップ７１０で
決定された空間位置の１つで、予め選択されることがな
く、このステップＳ７１５による解析に向けられたもの
が、解析されるべき現状の空間位置として選択される。
次にステップＳ７２０で、ステップＳ７０５で決定され
た各原画像に対応する原画像解析結果データが、解析さ
れるべき現状の空間位置ごとにアクセスされる。換言す
れば、空間一致の原画像解析結果の全てが、全原画像に
対して現状の空間位置ごとにアクセスされる。

【００６８】その後ステップＳ７２５において、アクセ
スされたデータが解析されて最上の原画像解析結果が決
定または選択され、合成画像フォーカス値の最大化が行
われる。例えば、原画像解析結果が数値表示のエッジ焦
点インジケータ値であるならば、数値表示の複数のエッ
ジ焦点インジケータ値のうちの最適な１つが選択され
る。様々な実施の形態において、数値表示された最適な
エッジ焦点インジケータ値は最大結果値である。処理は
その後ステップＳ７３０へ進む。

【００６９】ステップＳ７３０では、選択された原画像
解析結果が妥当なエッジを示しているか否かを判別す
る。例えば、原画像解析結果が数値で表示されたエッジ
焦点インジケータ値であるならば、この原画像解析結果
が数値で表示された或る閾値と比較され、該閾値を越え
た値だけが、合成画像を構築するという目的に合った、
妥当な、充分に合焦されたエッジを表すと見做される。
原画像解析結果が妥当なエッジを表さないならば、処理
はステップＳ７１５へ戻る。表すならば、処理はステッ
プＳ７３５へ進む。

【００７０】ステップＳ７２５及びＳ７３０に関連して
説明した処理に代わる別の実施の形態においては、合成
画像を構築するという目的に合った、妥当な、充分に合
焦されたエッジを表すところの第１の処理済み原画像解
析結果を選択することによって、処理時間を最小化する
ようにする。例えば、原画像解析結果が前述の数値表示
されたエッジ焦点インジケータ値であるならば、数値表
示の複数のエッジ焦点インジケータ値が、妥当な充分に
合焦されたエッジを表し、数値表示の或る閾値と系統的
に比較される。そして、該閾値を越えた第１の原画像解
析結果が、合成画像を構築するための原画像解析結果と
して選択される。この場合、閾値を越える原画像解析結
果の選択に続いて、ステップＳ７３５が実行される。一
方、原画像解析結果が妥当なエッジを表さないならば、
処理はステップＳ７１５に戻る。

【００７１】ステップＳ７３５では、妥当なエッジを表
すと決定された原画像解析結果及び／またはインデック
ス番号のような、対応する原画像の表示が、現状の空間
位置に関連づけて記録または格納される。そのデータ要
素及びステップＳ７３５で記録された各関連情報を「合
成エッジマップ」の要素と呼ぶことは便利であると言え
る。しかし、これらの記録されたデータ要素が従来の意
味においてマップに現実的に組み込まれるか否かに拘ら
ず、用語「マップ」がここで使用されるときはいつで
も、該用語は、基礎となるデータ要素及び各関連情報を
簡便に参照することのみに使用されると理解すべきであ
る。さらに、本発明の装置及び方法の範囲が、ここに開
示された基礎となるデータ要素及び各関連情報の特定な
表示に限定されるものではないと理解すべきである。

【００７２】次にステップＳ７４０では、先に決定され
た解析されるべき空間位置の全てが解析されたか否かを
判別する。解析されるべき空間位置が未だ存在するなら
ば、処理はステップＳ７１５へ戻る。存在しなければ、
処理はステップＳ７４５へ進む。

【００７３】ステップＳ７４５では、合成エッジマップ
内のデータを修正または細分するか否かを決定する。本
発明者は、合成エッジマップを修正するか否かに関係な
く、本発明の装置及び方法が、広範の様々な合成画像に
おける合成処理による誤差（artifacts、以下、単に
「誤差」という）を有効に抑制するように設定した。し
かし、以下に更に詳述するように、合成エッジマップは
また、各処理によって細分されて結果として生じる合成
画像内の誤差を更に抑制することができる。したがっ
て、これらの双方の代替選択肢は、本発明の装置及び方
法の範囲内にある。合成エッジマップデータを修正また
は細分するための判別は、例えば画像化された物体の特
徴に関連する原画像の倍率及び／または解像度に依存す
るようにしてもよい。これらのファクタは、原画像内の
微視レベルには勿論、脱合焦画像部分内に存在し得る誤
差の大きさにも影響を及ぼす。

【００７４】これに代わって、上記判別が、例えば合成
画像処理時間が最小化されるか否かに依存するようにし
てもよい。本発明に係る合成画像処理装置及び／または
方法における特定な構成に応じて、上記判別が半自動方
式による手動で、または完全に自動的に行われるように
してもよい。或る特定のアプリケーションにおいて合成
画像処理時間が重視されないならば、合成エッジマップ
を修正または細分することが、デフォルト条件として判
別されるようにしてもよい。或いは、操作者が、反復的
な製造または検査の環境において典型的に発生するよう
な、類似の物体の類似の合成画像を以前に見ていた場合
には、その操作者が、その以前の観察に基づき、少なく
とも部分的にその判別を行うようにしてもよい。合成エ
ッジマップを修正または細分することを行わないと判別
されたならば、処理はステップＳ７７０へジャンプす
る。一方、合成エッジマップが修正または細分されるべ
きならば、処理はステップＳ７５０へ進む。

【００７５】ステップＳ７５０では、合成エッジマップ
が細分される。すなわち、合成画像に対応する空間位置
と関連するデータ、特に、以前に決定された合成エッジ
マップ内の妥当なエッジ結果に対応する空間位置内及び
その周辺の空間位置と関連するデータを、１つまたはそ
れ以上の処理によって修正して、結果として生じる合成
画像内の誤差を更に抑制し、及び／または結果として生
じる合成画像をそうではなく強調するようにする。周知
のエッジ検出方法において使用される各種公知の技術は
勿論、今後開発される適切な技術も、本発明に係る装置
及び方法の様々な実施の形態により用いることができ
る。例えば、第２微分演算子に基づく技術を合成エッジ
マップ内の「薄い」エッジに使用して、エッジに隣接す
る「ぼやけ」成分などの成分を取り除くようにしてもよ
い。付加的にまたは代替的に、誤差のようなものである
弱いエッジ及び破片が、これらの方法によって検出さ
れ、除去されるようにしてもよい。そのような技術は画
像処理を扱う当業者には知られている。Ｒａｍｅｓｈ
Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」
に、関連する教示が行われている。合成エッジマップ内
のデータが細分された後、処理がステップＳ７７０へ進
む。

【００７６】ステップＳ７７０では、本発明に係る合成
画像処理装置及び／または方法の特定な構成に応じて、
合成エッジマップ内のデータが、細分されたか否かに拘
らず集められ、そして合成画像内のエッジ画素を決定す
るために用いられる表示として格納され、及び／または
出力される。空間解像度に拘らず、すなわち画素解像度
かメタ画素解像度かに拘らず、合成画像内のエッジ画素
の上記表示が、所望の合成画像内に含まれる空間位置を
包含し、そして、該空間位置と概ね空間一致となるよう
にすることができる。図５に示すように、図３のステッ
プＳ７００に対応する処理はここで完了する。この場
合、処理はステップＳ７７５に進み、ここで処理はステ
ップＳ８００に移る。

【００７７】図６は、本発明に係る図５のステップＳ７
５０の合成エッジマップの細分に用いられる１組の処理
における一実施の形態の概要をより詳細に示すフローチ
ャートである。ステップＳ７５０で開始された処理がス
テップＳ７５１に進み、そこで、本発明に係る合成画像
処理装置及び／または方法の特定な構成に応じて、必要
ならば、以前に合成エッジマップと呼ばれたデータにア
クセスまたは再アクセスする。これにより、後続のステ
ップで修正及び／または細分が行われる。その後ステッ
プＳ７５２へ進む。

【００７８】ステップＳ７５２では、「弱い」エッジ指
示データが「強い」エッジ指示データから所定の距離内
に存在するような空間位置に対応する、合成エッジマッ
プと呼ばれるデータが、変更及び／または細分される。
強いエッジは、例えば勾配解析において大きな数値とな
るエッジのようなもので、原画像のうち第１の原画像に
おいて部分的に脱合焦であるが、該強いエッジは、原画
像のうち別の原画像においてはより合焦に近く、より実
際的に画像化されるけれども、１つのエッジとして依然
解析され得る。強いエッジが脱合焦であるとき、強いエ
ッジは移転または拡張された位置で検出され得る。これ
は、強いエッジが脱合焦状態にある合成画像に収容され
るならば、誤差を生成する傾向にある。ステップＳ７５
２では、本発明の装置及び方法によって、他の方法では
少なくともいくつかのそのような誤差が抑制または除去
される。

【００７９】或る実施の形態では、エッジ表示データ
が、５×５メタ画素に組み合わされた前述の勾配結果の
形式をもつ。合成エッジマップと呼ばれるデータ内の各
空間位置が系統的に解析されて、その空間位置でのエッ
ジ表示データの元の値が、４連結空間近傍の各データの
平均値よりも小さい空間位置において、エッジ表示デー
タが取り除かれる、すなわちそれがゼロにされる。

【００８０】次にステップＳ７５３では、現状の合成エ
ッジマップで表示された特定な原画像及び／または焦点
面が決定される。第１の実施の形態では、現状の合成エ
ッジマップのデータで表示された一意の原画像インデッ
クスがそれぞれ、後続の反復処理を管理するために記録
される。第２の実施の形態では、複数の原画像の全ての
インデックスが、後続の反復処理を管理するために使用
される。次のステップＳ７５４では、ステップＳ７５３
で決定された原画像の１つで、解析用に以前に選択され
なかった原画像の１つが、解析されるべき現状の原画像
として選択される。様々な実施の形態では、現状の原画
像がその対応する原画像インデックスによって特定され
る。

【００８１】ステップＳ７５５では、現状の原画像イン
デックスに対応する現状の合成エッジマップのデータが
評価用にアクセスまたは特定される。すなわち、基礎と
なる現状の原画像に対応する現状の合成エッジマップの
全空間位置が、現状の反復処理において影響を受けるこ
とになる。

【００８２】次にステップＳ７５６では、基礎となる現
状の原画像に対応する現状の合成エッジマップの全空間
位置が解析されて、延長された「ライン」または箇所の
要素ではないエッジ画素が除去される。これはさらに、
現状の合成エッジマップに対応するデータに含まれるエ
ッジを修正し、浄化する。或る実施の形態では、その解
析は、前に説明した組み合わせ５×５メタ画素を参照し
て、すなわち「エッジメタ画素」を参照して行われる。
エッジメタ画素に対応する各空間位置は系統的に解析さ
れる。５×５エッジメタ画素はそれぞれ、４つまたはそ
れ以上のエッジメタ画素の局所グループの一部分である
ことを要求され、そこでは、局所グループの各メタ画素
が、局所グループ内の少なくとも１つの別の４連結近傍
に接触しなければならない。孤立したエッジメタ画素が
この反復処理を行えないような空間位置にとっては、対
応するエッジ表示データ及び／または原画像インデック
スが取り除かれる、すなわちゼロに設定される。処理は
その後ステップＳ７５７へ進む。

【００８３】別の実施の形態では、局所グループの各メ
タ画素が、局所グループ内の少なくとも１つの別の８連
結近傍に接触しなければならないという以外は上記の実
施の形態が流用される。更に別の実施の形態では、エッ
ジメタ画素に対応する各空間位置が４つの構成要素で系
統的に侵食される。各構成要素はそれぞれ、水平、垂
直、及び各斜め方向の１つにおける１メタ画素分の幅及
び４メタ画素分の長さである。侵食処理に続く処理で、
エッジメタ画素に対応する各空間位置が、同じ４つの構
成要素によって系統的に膨張される。この処理の組み合
わせは、画像処理の技術分野で「オープニング」として
知られる。こうした技術は画像処理を扱う当業者に知ら
れている。１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社刊行の
Ｒａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉ
ｓｉｏｎ」に関連する教示が行われている。除去された
メタ画素に関して、対応するエッジ表示データ及び／ま
たは原画像インデックスが、合成エッジマップに対応す
るデータにおいて取り除かれる、すなわちゼロに設定さ
れる。

【００８４】前述のステップＳ７５１−Ｓ７５６の処理
は、合成エッジマップに対応するデータをさらに細分す
ることに向けられていたので、これによって、基礎とな
る現状の原画像に対応するエッジ誤差（artifacts）及
びノイズが更に抑制される。ステップＳ７５６での現状
の反復処理の後に残る合成エッジマップデータは、基礎
となる現状の原画像において適度に合焦されている「真
の」エッジに対応するかもしれない。

【００８５】ステップＳ７５７では、ステップＳ７５６
で変更されたような現状の合成エッジマップ内の基礎と
なる現状の原画像に対応する１組の空間位置が、空間的
に「拡大」されて、現状の合成エッジマップに隣接のエ
ッジ画素が加えられる。そのように加えられた隣接画素
は、エッジ画像を少し広げることになり、よく合焦され
た隣接のエッジと同じ原画像からステップＳ７５７で選
択される。これにより、良好な合成画像が結果として発
生する。或る実施の形態では、基礎となる現状の原画像
に対応する前述の捨てられた１組の５×５エッジメタ画
素に対して、３×３構成要素によって系統的に処理が行
われ、膨張が行われる。

【００８６】次にステップＳ７５８では、ステップＳ７
５７で加えられたエッジメタ画素における空間位置ごと
に、対応するエッジ表示データ及び／または原画像イン
デックスが、合成エッジマップに対応するデータ内に記
録される。

【００８７】その後ステップＳ７５９で、以前に決定さ
れた原画像及び／または原画像インデックスの全てに対
応する全データの解析が終了したか否かが判別される。
まだ解析されていないデータが残っているならば、処理
はステップＳ７５４に戻り、全てのデータの解析が終了
していれば、ステップＳ７６０へ進む。

【００８８】前述のステップＳ７５１−Ｓ７５９の処理
が実行された結果、現状の合成エッジマップの基礎とな
る全原画像に対応するデータが解析され細分され、その
細分された結果が記録された。上記の各処理が実行され
た結果、合成画像に含まれるべき空間位置に対して、１
つ以上の基礎となる原画像が、妥当なよく合焦したエッ
ジに対応するものとして表示されることが発生し得る。
したがって、ステップＳ７６０では、合成エッジマップ
に対応するデータに記録された、エッジ表示データ及び
／または原画像インデックスを有する空間位置ごとに、
基礎となるいずれの原画像が最上のエッジ画像に対応す
るかを決定する。例えば、ステップＳ７６０の様々な実
施の形態では、エッジ表示データの最大値を特定するこ
とによって、上記決定が行われる。更に、ステップＳ７
６０で、対応する最上のエッジ表示データ及び／または
対応する原画像インデックスが、合成画像を決定するた
めの基礎として、細分された合成エッジマップに対応す
るデータに記録される。処理はその後ステップＳ７６１
へ進み、そこで、図５のステップＳ７７０に進む。

【００８９】図７は、本発明に係る図３のステップＳ８
００における、潜在的面画素に反応しこれを示す技術を
使用して原画像を解析する処理の一実施の形態の概要を
より詳細に示すフローチャートである。ステップＳ８０
０で開始された処理はステップＳ８１０へ進んで、そこ
で、解析されるべき原画像が半自動の手動方式により、
または自動方式により決定され、または限定される。例
えば通常の場合、１つまたはそれ以上の組の原画像が予
め獲得され、格納されている。この場合は、処理の長い
中断の後にステップＳ８００が開始された場合であり、
原画像の特定な組を選択し、呼び出す必要があるかもし
れない。これとは別の場合、１組の原画像が、所望の合
成画像領域内の脱合焦の特徴をもつ画像を含むようにし
てもよい。したがって、この場合、解析からその原画像
を除去して、処理時間を短縮することが望ましい。

【００９０】次のステップＳ８２０では、ステップＳ８
１０で決定された原画像の１つで、解析用に予め選択さ
れなかったものが、解析されるべき現状の原画像として
選択される。その後ステップＳ８３０で、解析されるべ
き現状の原画像のデータがアクセスされる。特に、所望
の合成画像に含まれる空間位置に対応する現状の原画像
内の空間位置のデータがアクセスされる。この後、処理
はステップＳ８４０へ進む。

【００９１】ステップ８４０では、アクセスされた原画
像データが解析されて、面焦点インジケータ値が提供さ
れるとともに、所望の空間解像度での局所結果が提供さ
れる。ステップＳ８４０の各種実施の形態においては、
アクセスされた原画像データが、画像内の局所面焦点に
反応しこれを示す数学的またはアルゴリズム技術を使っ
て解析される。局所面焦点は、例えば局所近傍における
グレースケール強度またはカラー強度のいずれかの空間
分布によって表され得る。その後、処理はステップＳ８
５０へ進む。

【００９２】ステップＳ８４０の様々な実施の形態で
は、現状の原画像のデータに対して系統的に処理が行わ
れて、可能な空間位置の各々で、例えばグレイレベルの
ような平均画像値が、その空間位置の中央に置かれた５
×５区画の空間位置に含まれる全ての画像値から決定さ
れる。結果として生じる平均局所画像値は、その空間位
置の画像データ値から減算されて、対応する各空間位置
に対する剰余値を生成する。結果として生じる１組の剰
余値及び対応する空間位置を、便宜上ここでは「剰余画
像」と呼ぶ。

【００９３】次に、様々な実施の形態において、空間位
置毎に、その空間位置の中央に置かれた５×５領域にお
ける剰余値の標準偏差が決定される。その標準偏差はそ
の領域の剰余値の平均値によって除算され、その空間位
置の面焦点インジケータ値が決定される。前述の実施の
形態の面焦点インジケータ値においては、インジケータ
値の小さい値が、滑らかなまたは合焦していない面領域
に対応する。これと反対に、インジケータ値の大きい値
は、合焦感触領域に対応する。よく合焦した面領域を示
す多くの別の技術及び測定法が、画像処理を扱う当業者
には知られている。そうした技術を、前述の実施の形態
に代替手段として使用して、本発明の装置及び方法にお
いて用いることができる面焦点表示装置を提供するよう
にしてもよい。１９９５年ＭｃＧｒａｗ Ｈｉｌｌ社刊
行のＲａｍｅｓｈ Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ
Ｖｉｓｉｏｎ」が、関連する教示を行っている。

【００９４】ステップＳ８５０では、面焦点インジケー
タ値がメタ画素に組み合わされる。次にステップＳ８６
０で、各メタ画素を表す面焦点インジケータ値が決定さ
れる。面焦点インジケータ値は、例えばメタ画素によっ
て囲まれた面焦点インジケータ値の全てを平均化するこ
とにより決定され得る。通常、メタ画素が１つの原画像
に対して使用されるならば、メタ画素は各原画像に対し
て使用されるべきである。組み合わされた面メタ画素サ
イズを、以前に使用されたまたは規定されたメタ画素サ
イズにマッチングさせることによって、並びに、組み合
わされた面メタ画素及び組み合わされたエッジメタ画素
を確実に１対１に対応して整列させることによって、本
発明の装置及び方法に係る演算及び記録保持を簡略化す
るようにしてもよい。その後、処理はステップＳ８７０
へ進む。

【００９５】例えば、画像化された物体の特徴に関する
原画像の倍率及び解像度に応じて、及び／または合成画
像処理時間を最小化することが望ましいか否かに応じ
て、ステップＳ８５０及びＳ８６０を実行するか否かを
任意に選択できるようにしてもよい。或る特定なアプリ
ケーションで合成画像処理時間が重視されないならば、
処理はステップＳ８５０及びＳ８６０をスキップし、ス
テップＳ８４０からステップＳ８７０へ直接進む。

【００９６】さらに、様々な実施の形態において、ステ
ップＳ８４０−Ｓ８６０を効果的に組み合わせ、及び／
または混ぜるようにしてもよい。例えば、或る実施の形
態では、剰余画像をステップＳ８３０で前述したように
決定する。そして、剰余画像を５×５領域の規則正しい
配列に分割する。５×５領域毎に、その領域における剰
余値の標準偏差を決定する。決定された標準偏差は、そ
の領域の剰余値の平均値によって除算されて、全ての領
域及び／または空間位置を表す面焦点インジケータ値が
決定される。上記の実施の形態では、５×５領域のサイ
ズが、エッジ画素処理の前述の実施の形態と関連して説
明された５×５エッジメタ画素サイズに対応するべく選
択されるということに注意すべきである。上記の実施の
形態において、或る空間解像度で面焦点インジケータ値
を検定し、その後、別の空間解像度でそのインジケータ
値を組み合わせるというステップＳ８４０及びＳ８５０
の処理は、事実上、併合される。

【００９７】ステップＳ８７０では、決定された面焦点
インジケータ値が、後の使用に備えて記録または格納さ
れる。空間解像度に拘らず、すなわち画素解像度かメタ
画素解像度かに拘らず、現状の原画像の面焦点インジケ
ータ値が、所望の原画像に含まれる空間位置を包含し、
それと概ね空間一致となるようにしてもよい。その後、
ステップＳ８８０で、決定された原画像の全ての解析が
終了したか否かの判別が行われる。解析されるべき原画
像が未だ存在するならば、処理はステップＳ８２０へ戻
る。存在しなければ、処理はステップＳ８９０へ進ん
で、そこではステップＳ９００へ進む。

【００９８】図８は、本発明に係る図３のステップＳ９
００の１組の面画素を決定または選択する処理における
一実施の形態の概要をより詳細に示すフローチャートで
ある。前述したように、様々な実施の形態では、面画素
の決定または選択が、潜在的面画素に反応しこれを示す
解析技術から得られる結果を基に行われる。ステップＳ
９００で開始された処理はステップＳ９０５へ進んで、
そこで、解析されるべき原画像解析結果が決定される。
本発明に係る合成画像処理の特定な構成によっては、い
ずれの原画像解析結果が更に解析されるべきかを決定ま
たは再決定することが必要になるかもしれない。更に解
析されるべきこれらの原画像解析結果が、半自動方式に
よる手動で、または完全に自動的に決定され、または限
定されるようにしてもよい。様々な実施の形態におい
て、図３のステップＳ８００のような先のステップで決
定または限定された原画像解析結果は、更に解析される
べき原画像解析結果を表している。処理はその後ステッ
プＳ９１０へ進む。

【００９９】ステップＳ９１０では、付加的な処理を行
って合成画像内の潜在的エッジ誤差（artifacts）を更
に抑制するか否かを決定する。本発明者は、そのような
付加的な処理の有無によらず、本発明の装置及び方法
が、広範な様々な合成画像における誤差を有効に抑制す
るように設定した。しかし、ステップＳ９１５によって
以下に説明する処理では、従来方法では合成画像に発生
する画像誤差で、複数の原画像に含まれる脱合焦のエッ
ジまたは境界に対応する画像誤差を、更に抑制すること
ができる。したがって、両代替処理は、本発明の装置及
び方法の範囲内にある。

【０１００】合成画像の潜在的エッジ誤差を更に抑制す
る決定は、例えば画像化された物体の特徴についての原
画像の倍率及び／または解像度に依存するようにしても
よい。これらのファクタは、原画像内の微視レベルには
勿論、脱合焦画像部分内に存在し得る誤差の大きさにも
影響を及ぼす。これに代わって、上記決定が、例えば合
成画像処理時間が最小化されるか否かに依存するように
してもよい。本発明に係る合成画像処理装置及び／また
は方法における特定な構成に応じて、上記判別が半自動
方式による手動で、または完全に自動的に行われるよう
にしてもよい。

【０１０１】或る特定のアプリケーションにおいて合成
画像処理時間が重視されないならば、デフォルト条件と
して、合成画像内の潜在的エッジ誤差を更に抑制するこ
とが判別されるようにしてもよい。或いは操作者が、反
復的な製造または検査の環境において典型的に発生する
ような、類似の物体の類似の合成画像を以前に見ていた
場合に、その操作者が、その以前の観察に基づき、少な
くとも部分的にはその判別を行うようにしてもよい。合
成画像内の潜在的エッジ誤差を更に抑制することをしな
いと判別されたならば、処理はステップＳ９２０へジャ
ンプする。一方、合成画像内の潜在的エッジ誤差を更に
抑制すると判別されたならば、処理はステップＳ９１５
へ進む。

【０１０２】ステップＳ９１５では、潜在的エッジ誤差
を更に抑制することを促進する処理を後続の面画素決定
処理の間に実行する。その後ステップＳ９２０におい
て、決定された原画像解析結果内における解析されるべ
き空間位置が決定される。

【０１０３】ステップＳ９１５の様々な実施の形態で
は、強いエッジが脱合焦であるとき、そのような強いエ
ッジが、直に隣接する画像の領域で誤差を生成するの
で、現状の合成エッジマップに対応するデータが解析さ
れて、現状の合成エッジマップに含まれるエッジに隣接
した１組の空間位置が決定される。これらの空間位置
は、後続の面画素決定処理の間、エッジ誤差バッファゾ
ーンとして扱われる。或る実施の形態では、現状の合成
エッジマップに対応するデータが、前述の組み合わされ
た５×５エッジメタ画素に対応する。５×５構成要素を
使って、すなわちメタ画素の見地から５×５構成要素を
使って、現状の合成エッジマップに対応する空間位置を
膨張させることに本質的に等しい処理が実行される。１
組の空間位置を膨張させる方法は、画像処理を扱う当業
者に知られている。Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ
Ｖｉｓｉｏｎ」に、関連する教示が行われている。

【０１０４】膨張処理の結果に対応する付加空間位置に
対して、すなわち合成エッジマップに既に含まれる前記
要素を除いた付加空間位置に対して、特別なデータ及び
／または値が割り当てられ、及び／または記録される。
この特別なデータ及び／または値によって、更なる面画
素決定処理の間に、上記空間位置がエッジ誤差バッファ
ゾーンから成るものと見きわめられる。その後、特別な
ルールがエッジ誤差バッファゾーンの面画素を決定する
ために適用される。例えば、以下に詳しく説明する実施
の形態において、面画素領域がエッジ誤差バッファゾー
ンに「併合」するようにしてもよい。ただし、面画素領
域は、エッジ誤差バッファゾーンの核となる画素から開
始することは許されない。

【０１０５】前述のエッジ誤差バッファゾーンは、現状
の合成エッジマップに含まれる各エッジを通常囲んでい
るゾーンとして、代わりに見做され決定されてもよい。
様々な実施の形態では、各ゾーンが、そのゾーンが囲ん
でいるエッジ画素から所定のセットバック距離だけ離れ
て通常位置づけられた外側のゾーン境界を有している。
このエッジからの所定のセットバック距離は、本発明の
装置及び方法において用いることができる画素、メタ画
素の単位、または単位の組み合わせにおいて通常規定さ
れる。

【０１０６】本発明に係る合成画像処理装置及び／また
は方法の特定な構成によっては、原画像解析結果のいず
れの空間位置が更に解析されるべきかをステップＳ９２
０で決定または再決定することが必要になるかもしれな
い。通常、これらの空間位置は所望の合成画像に含まれ
る空間位置に対応する。これらは、半自動方式による手
動で、または完全に自動的に決定され又は確定されるよ
うにしてもよい。

【０１０７】様々な実施の形態において、図３のステッ
プＳ８００のような先のステップで決定または限定され
た原画像解析結果は、更に解析されるべき空間位置を表
している。エッジ誤差バッファゾーンが下記のように決
定されるならば、それらのエッジ誤差バッファゾーンに
対応する空間位置も、更に解析されるべく包含される。
また更に、合成エッジマップに対応して既に決定された
空間位置が、更に解析されるべき空間位置から除かれる
ようにしてもよい。

【０１０８】ステップＳ９２５では、ステップＳ９２０
で決定された空間位置の１つで、解析用に以前に選択さ
れなかったものが、解析されるべき現状の空間位置とし
て選択される。次のステップＳ９３０では、ステップＳ
９０５で決定された各原画像に対応する原画像解析結果
データが、解析されるべき現状の空間位置に代わってア
クセスされる。換言すれば、現状の空間位置に対する空
間一致の原画像解析結果の全てが、全ての原画像に代わ
ってアクセスされる。その後ステップＳ９３５で、アク
セスされたデータが解析されて、合成画像フォーカス値
を最大化すべく、最上の原画像解析結果が決定または選
択される。例えば、原画像解析結果が数値表示された面
焦点インジケータ値であるならば、数値表示の複数の面
焦点インジケータ値のうちの最適な１つが選択される。
様々な実施の形態において、数値表示の最適な面焦点イ
ンジケータ値は最大結果値である。処理はその後ステッ
プＳ９４０へ進む。

【０１０９】ステップＳ９４０では、選択された原画像
解析結果が妥当な面を示しているか否かを判別する。例
えば、原画像解析結果が数値表示の面焦点インジケータ
値であるならば、この原画像解析結果が数値表示の或る
閾値と比較され、該閾値を越えた値だけが、合成画像を
構築するという目的に合った、妥当で充分に合焦された
面を表すと見做される。原画像解析結果が妥当な面を表
さないならば、処理はステップＳ９２５へ戻る。表すな
らば、処理はステップＳ９４５へ進む。

【０１１０】ステップＳ９４５では、妥当な面を表す決
定された原画像解析結果及び／またはインデックス番号
のような、対応する原画像の表示が、現状の空間位置に
関連づけて記録または格納される。次にステップＳ９５
０で、先に決定された解析されるべき空間位置の全てが
解析されたか否かを判別する。解析されるべき空間位置
が未だ存在するならば、処理はステップＳ９２５へ戻
る。存在しなければ、処理はステップＳ９５５へ進む。

【０１１１】上記のデータ要素、及びステップＳ９４５
で記録された各関連情報を「合成面マップ」の要素と呼
ぶことは便利であると言える。しかし、これらの記録さ
れたデータ要素が従来の意味においてマップに現実的に
組み込まれるか否かに拘らず、用語「マップ」がここで
使用されるときはいつでも、該用語は、基礎となるデー
タ要素及び各関連情報を簡便に参照することのみに使用
されると理解すべきである。さらに、本発明の装置及び
方法の範囲が、ここに開示された基礎となるデータ要素
及び各関連情報の特定な表示に限定されるものではない
と理解すべきである。

【０１１２】ステップＳ９５５では、合成面マップ内の
データを修正または細分するか否かを決定する。本発明
者は、合成面マップを修正するか否かに関係なく、本発
明の装置及び方法が、広範の様々な合成画像における誤
差を有効に抑制するように設定した。しかし、以下に更
に詳述するように、合成面マップはまた、各処理によっ
て細分されて、結果として生じる合成画像内の誤差を更
に抑制することができる。したがって、双方の代替選択
肢は、本発明の装置及び方法の範囲内にある。合成面マ
ップデータを修正または細分するための判別は、例えば
画像化された物体の特徴に関連する原画像の倍率及び／
または解像度に依存するようにしてもよい。これらのフ
ァクタは、原画像内の微視レベルには勿論、脱合焦画像
部分内に存在し得る誤差の大きさにも影響を及ぼす。

【０１１３】これに代わって、上記判別が、例えば合成
画像処理時間が最小化されるか否かに依存するようにし
てもよい。本発明に係る合成画像処理装置及び／または
方法における特定な構成に応じて、上記判別が半自動方
式による手動で、または完全に自動的に行われるように
してもよい。或る特定のアプリケーションにおいて合成
画像処理時間が重視されないならば、デフォルト条件と
して、合成面マップを修正または細分することが判別さ
れるようにしてもよい。或いは、操作者が、反復的な製
造または検査の環境において典型的に発生するような、
類似の物体の類似の合成画像を以前に見ていた場合に、
その操作者が、その以前の観察に基づき、少なくとも部
分的にその判別を行うようにしてもよい。合成エッジマ
ップを修正または細分することをしないと判別されたな
らば、処理はステップＳ９６５へジャンプする。一方、
合成面マップが修正または細分されるべきならば、処理
はステップＳ９６０へ進む。

【０１１４】ステップＳ９６０では、合成面マップが細
分される。すなわち、合成画像に対応する空間位置と関
連するデータ、特に、以前に決定された合成面マップ内
の妥当な面結果に対応する空間位置内及びその周辺の空
間位置と関連するデータが、１つまたはそれ以上の処理
によって修正されて、結果として生じる合成画像内の誤
差を更に抑制し、及び／または結果として生じる合成画
像をそうではなく強調するようにする。処理がステップ
Ｓ９６５へ進む。

【０１１５】各種の周知の画像強調技術は勿論、今後開
発される適切な技術も、本発明に係る装置及び方法の様
々な実施の形態におけるステップＳ９６０において使用
できる。例えば、ステップＳ９４０で、数値表示の面焦
点インジケータ値が数値表示の或る閾値と比較されて、
妥当な面画素が決定されるような前述の様々な実施の形
態では、合成面マップに対応するデータが、いくつかの
ケースで、妥当な面画素によって囲まれた空間を含むよ
うにしてもよい。この場合、周知の空間補充技術をその
空間を補充するべく使用するようにしてもよい。そうし
た技術は、画像処理を扱う当業者に知られている。Ｊａ
ｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ」に、関
連する教示が行われている。しかし、合成画像内の空間
を補充するために使用されるべき画素値に対する基礎と
して潜在的に使用されるようにしてもよい複数の原画像
が存在するので、空間補充の周知の方法は、いずれの１
つのまたは複数の原画像が空間補充の基礎を提供するべ
きかを決定する付加的方法で補足されねばならない。

【０１１６】いずれの１つのまたは複数の原画像が空間
補充の基礎を提供するべきかを決定する付加的方法の一
実施の形態では、侵食処理に、周知の技術に係る膨張処
理が続く。そのとき、上記処理によって補充された各空
間に対して、空間を囲んだ空間位置の原画像インデック
スの平均値に最も近接した原画像インデックスに基づい
て空間が補充される。別の実施の形態では、領域併合法
が使用される。周知の領域併合法を使用するようにして
もよく、こうした技術は、画像処理を扱う当業者に知ら
れている。Ｊａｉｎ他著作の「Ｍａｃｈｉｎｅ Ｖｉｓ
ｉｏｎ」に、関連する教示が行われている。しかし、周
知の空間補充方法と同様、周知の領域併合法も、いずれ
の１つのまたは複数の原画像が、併合領域に加えられる
べき画素値に対する基礎を提供するべきかを決定する付
加的方法で補足されねばならない。合成面マップの細分
に用いられる領域併合処理の一実施の形態を、図９を参
照して更に以下に説明する。

【０１１７】ステップＳ９６５では、本発明に係る合成
画像処理装置及び／または方法の特定な構成に応じて、
合成面マップ内のデータが、細分されたか否かに拘ら
ず、合成画像内の面画素を決定するために用いられる表
示として格納され、及び／または出力される。処理はス
テップＳ９７０に進み、ここで処理はステップＳ１００
０に移る。

【０１１８】様々な実施の形態では、合成面マップに対
応するデータが、以前に決定された合成エッジマップ及
び／または合成画像に対応するデータに組み合わされ
る。この組み合わされた面及びエッジ画素が、合成画像
を決定するために用いられる表示として格納され、及び
／または出力される。空間解像度に拘らず、すなわち画
素解像度かメタ画素解像度かに拘らず、合成画像内の面
画素及び／またはエッジ画素の上記表示が、所望の合成
画像内に含まれる空間位置を包含し、そして、該空間位
置と概ね空間一致となるようにすることができる。これ
により、合成画像の空間一致の面画素及び／またはエッ
ジ画素が、上記表示から或る画素解像度で決定される。

【０１１９】例えば、様々な実施の形態で、面画素デー
タ及び／またはエッジ画素データが、合成画像表示にお
いて、面メタ画素及び／またはエッジメタ画素の形式で
それぞれ表示される。特定な面メタ画素及び／またはエ
ッジメタ画素とそれぞれ空間一致である面画素及び／ま
たはエッジ画素は各々、その面メタ画素の原画像インデ
ックスに対応する原画像の対応空間一致画素に基づき、
画像値を与えられる。

【０１２０】図９は、本発明に係る図８のステップＳ９
６０の合成面マップを細分する処理における一実施の形
態の概要をより詳細に示すフローチャートである。ステ
ップＳ９６０で開始された処理はステップＳ９６１へ進
んで、そこで、本発明に係る合成画像処理装置及び／ま
たは方法の特定な構成に応じて、必要ならば、合成面マ
ップの現状のデータ表示にアクセス／再サクセスする。
これにより、合成面マップの現状のデータ表示が後続の
ステップにおいて変更及び／または細分される。処理は
その後ステップＳ９６２へ進む。

【０１２１】ステップＳ９６２では、例えば図８のステ
ップＳ９１０−Ｓ９１５において前述したように、エッ
ジ誤差バッファゾーンから成る空間位置を特定する処理
が以前に実行されたか否かを判別する。エッジ誤差バッ
ファゾーンから成る空間位置を特定する処理が以前に実
行されていないと判別されたならば、または、様々な実
施の形態で、そうした以前の処理が無視されているなら
ば、処理はステップＳ９６４へ進む。一方、以前に決定
されたエッジ誤差バッファゾーンを後続の処理において
使用して、合成画像の潜在的エッジ誤差を更に抑制する
と決定されたならば、処理はステップＳ９６３へ進む。

【０１２２】ステップＳ９６３では、エッジ誤差バッフ
ァゾーンの現状のデータ表示が、必要なときにアクセス
または再アクセスされ、これによって、そのゾーンに含
まれる空間位置が、合成画像の面画素を決定／細分する
後続のステップにおける特別のバッファゾーン補充処理
によって特定され、補充され得る。その後ステップＳ９
６４で、現状の合成面マップに対応するデータが、限定
された焦点面範囲を示す面領域に分割される。すなわ
ち、現状の合成面マップが複数の面領域に分割される
が、それらの面領域では、面領域に含まれる全ての空間
位置の画像データが、空間的に隣接する限られた数の原
画像焦点面に対応している。処理はその後ステップＳ９
６５へ進む。

【０１２３】様々な実施の形態において、ステップＳ９
６３に対応する処理が実行されるならば、エッジ誤差バ
ッファゾーンに対応するデータを現状の合成面マップに
含めるようにしてもよい。さらに、様々な実施の形態に
おいて、空間的に隣接する原画像焦点面を、連続する原
画像インデックスによって都合よく示すようにしてもよ
い。或る実施の形態では、現状の合成面マップに対応す
るデータが、前述の５×５面メタ画素の形式となり、通
常、含有された各画素に適合する対応の原画像インデッ
クスを含む。上記実施の形態では、再帰的な領域併合ア
ルゴリズムが、現状の合成面マップに対応するデータに
適用される。

【０１２４】この再帰的領域併合技術の或る実施の形態
では、現状の合成面マップデータが、最大面焦点インジ
ケータ値を有するメタ画素空間位置を求めて系統的に探
索される。以下に説明する理由により、最大面焦点イン
ジケータ値もゼロよりも大きい値であるべきである。そ
の後、そのメタ画素空間位置は、限られた焦点面範囲を
有した面領域を併合させる第１の核として設定される。
次に、第１の核の原画像インデックスのうちプラスまた
はマイナス２の増加量の範囲内にある原画像インデック
スを有する第１の核の４連結近傍の全てを、その領域に
含むことにより、その領域が第１の核の周囲で併合され
る。続いて、その領域に加えられた各近傍が第２の核と
見做される。第１の核の原画像インデックスのうちプラ
スまたはマイナス２の範囲内にある原画像インデックス
を有する各第２の核の４連結近傍の各々も、その領域に
加えられる。そのような加えられた近傍がそれぞれ、付
加的な第２の核となる。これが、領域がそれ以上併合で
きなくなるまで繰り返される。

【０１２５】種々の実施の形態において、そのように決
定された全領域サイズが、例えば３メタ画素のような閾
値サイズよりも小さいならば、その領域の要素は、ゼロ
の面焦点インジケータ値を割り当てられ、割り当てられ
なかった要素のたまりに戻される。最小閾値サイズを求
めるステップは、ノイズ及び／または微小な脱合焦面分
子及び同種のものによって発生する小さな面誤差を抑制
することに役立つ。その逆に、現在または以前の領域併
合反復処理において領域と関連づけられた空間位置はい
ずれも、後続の再帰処理において検討されない。

【０１２６】領域がもはや併合できないとき、再帰的ア
ルゴリズムの実行が新しい領域に対して繰り返され、最
大面焦点インジケータ値を有する次の空間位置を求める
探索が開始される。この次の空間位置は新しい領域の新
しい第１の核となる。再帰的領域併合アルゴリズムは、
現状の合成面マップに含まれる全空間位置が、限られた
焦点面範囲を示す面領域に含まれるまで繰り返される、
または、限られた焦点面範囲の面領域と関連付けられな
い「視覚的に些細な」数の散在する画素のみを残すべ
く、予め決められた回数だけ反復処理が繰り返される。

【０１２７】様々な実施の形態において、再帰的領域併
合アルゴリズムの実行の間ずっと、エッジ誤差バッファ
ゾーンにおける空間位置に対応する第１の核が通常選択
されないので、脱合焦エッジ誤差が更に抑制され得る。
或る実施の形態では、これは、ゼロの特別な値を上記の
エッジ誤差バッファゾーン空間位置用の面焦点インジケ
ータ値として割り当てることによって達成され、そのよ
うなエッジ誤差バッファゾーン空間位置は「最大核」に
なることはない。

【０１２８】しかし、エッジ誤差バッファゾーンの空間
位置は勿論、上記の閾値最小サイズに到達できない領域
の空間位置にも、該空間位置を包含し併合する隣接面領
域を結合することが、通常望ましいとして許されるよう
にすることができる。この結合は、そのような空間位置
が、直に隣接する面領域と同一の焦点面で最もよく合焦
されそうであるという簡単な理由により行われる。した
がって、再帰的面領域併合アルゴリズムの実行の間ずっ
と、領域がゼロの面焦点インジケータ値を有した近傍を
含むべく併合するときはいつでも、現状の第１の核の原
画像インデックスに拘らず、その近傍が上記領域に含ま
れる。

【０１２９】ステップＳ９６４の処理の前述の実施の形
態において、近傍を領域に収容するための基礎として選
択された原画像インデックスの範囲が通常、隣接する原
画像の間の焦点面ステップに関連した複数の原画像の焦
点深度に依存するようにすることができる。例えば、様
々な各実施の形態では、面領域で許される公称焦点面範
囲を、第１の核に対応する原画像の視界の深さの１，２
または３倍を越えて広がらないように設定するようにし
てもよい。原画像焦点面が比較的接近している場合、或
る領域で許された公称焦点面範囲に対応する原画像イン
デックスの数は、相対的により大きくなる。反対に原画
像焦点面が比較的離れている場合、或る領域で許された
公称焦点面範囲に対応する原画像インデックスの数は、
相対的により小さくなる。別の様々な実施の形態では、
８連結近傍を、前述の面領域併合処理で使用される４連
結近傍に代わるものして考慮することもできる。

【０１３０】更に、前述の単一原画像インデックス基準
を無効及び／または補足するために別の面領域所属基準
を付加し、これによって、より大きな領域が結果的に生
じるようにしてもよい。例えば、さらに別の実施の形態
において、第１の核からの特定の近傍の距離が、近傍及
び第１の核の関連した面焦点インジケータ値と一緒に考
慮され、及び／または近傍と第１の核との間の原画像イ
ンデックスにおける相違点で考慮される。近傍を領域に
収容するための基準として役立つこれらの各種ファクタ
の間の所望の関係は、合成画像装置の予想される用途を
表す多数の画像に対する試行錯誤によって決定される。
そのような実施の形態では、顕著性が高いテクスチュア
を含まない緩やかに起伏または傾斜する面部分が領域に
含まれてもよく、その上、所望の合成画像が得られるよ
うにしてもよい。

【０１３１】また、様々な実施の形態において、空間的
な空間（void）が、前述の面画素決定処理から得られた
合成面マップに対応するデータに残るようにしてもよ
い。そのような実施の形態では、これにより、そのよう
な空間を特定し、最も近接した近傍の原画像インデック
スを、各空間と関連した空間位置に割り当てる処理が実
行される。最も近接した近傍が２つ以上存在するなら
ば、最も近接した近傍を決定するために用いられる処理
において役立つ技術によって、最も近接した近傍のいず
れもの原画像インデックスを空間に割り当てるようにし
てもよい。

【０１３２】ステップＳ９６５では、前述のステップＳ
９８４の処理で決定された面領域の各々を解析し、各面
領域の平均原画像インデックスを決定する。各面領域に
とって、その領域の平均原画像インデックスは、その領
域に含まれる全空間位置の原画像インデックスの全ての
平均である。

【０１３３】次のステップＳ９６６では、ステップＳ９
６４−Ｓ９６５で解析された面領域ごとに、領域に含ま
れる空間位置の全てを、その領域の平均原画像インデッ
クスに値が最も近い原画像インデックスに割り当てる。
平均原画像インデックスは、領域に含まれる各空間位置
にそれぞれ対応した焦点面の全てを最もよく表している
と見做された焦点面を有する原画像に対応する。処理は
その後ステップＳ９７６に進み、そこでステップＳ９７
０へ移る。

【０１３４】合成画像の面画素が、ステップＳ９６６で
割り当てられた原画像インデックスに基づき構成される
とき、或る特定な面領域に対応する原画像の各部分を、
単一の原画像に基礎付けるようにすることができる。こ
の方法では、前述の実施の形態の処理が、本発明の装置
及び方法によって、他の方法では除去されることのない
少なくともいくつかの脱合焦誤差を抑制または除去す
る。

【０１３５】前述したように、図８のステップＳ９７０
の実行に続いて、処理は、図３のステップＳ１０００に
進む。図３のステップＳ１０００に対応する処理の一実
施の形態では、図９に示す各ステップから得られる合成
画像表示が、依然として空間を含むようにしてもよい。
すなわち、限られた数の空間位置が、合成画像画素が決
定されずに残っているところに残るようにしてもよい。
例えば、使用された特定の面画素決定処理の詳細に応じ
て、特に、エッジ誤差バッファゾーンを提供する各種実
施の形態では、空間が、エッジ誤差バッファゾーンの近
くの空間位置で発生するようなことがあってもよい。そ
のような場合、現状の合成画像表示内のこれらの空間及
び別の空間を補充することが、ステップＳ１０００の部
分として実行されることが好ましい。

【０１３６】ステップＳ１０００に対応する処理の一実
施の形態では、合成画像内の決定された全画素に対応す
る原画像及び／または原画像インデックスが、前述の方
法によって識別される。空間を補充するため、合成画像
表示に含まれた一意の原画像及び／または原画像インデ
ックスの各々に対応する合成画像表示内の空間位置に対
して、下記処理の別々の反復において処理が行われる。
すなわち最初に、一意の原画像インデックスの１つが現
状の反復の原画像インデックスとして選択される。次
に、そのインデックスに対応する合成画像表示内の空間
位置が、例えば周知の膨張法による３×３画素といった
所定のサイズの構成要素を使用して膨張される。現状の
反復の膨張処理によって「加えられた」空間位置の各々
に対して、現状の原画像インデックスが、合成画像のそ
の空間位置に対する基礎として割り当てられる。しか
し、この実施の形態では、後続の膨張処理が、合成画像
表示で予め決定された空間位置に対する基礎を決して無
効にすることはないということができる。そして、これ
らの処理は、合成画像表示に含まれる原画像インデック
スの全てに対して処理が終了するまで、別の原画像イン
デックスに対して繰り返し実行される。原画像の表示に
含まれる原画像インデックスの全てに対応する１組の反
復処理の１つの試みの後、全部の空間が補充されないな
らば、全処理が繰り返される。

【０１３７】前述の処理の別の実施の形態では、後続の
膨張処理が、予め決められた空間位置であって、前回の
膨張処理によって補充された空間である空間位置にのみ
対する原画像インデックスの基礎を無効にするようにし
てもよい。一実施の形態では、含まれる全ての原画像イ
ンデックスに対する特定な試みの後、特定の空間位置が
２またはそれ以上の原画像インデックスに割り当てられ
たならば、最も高い値の面焦点インジケータ値またはエ
ッジ焦点インジケータ値に対応する原画像インデックス
が、その空間位置に対する基礎として使用される。さら
にまた、対応するインジケータ値の全てが同じタイプで
はないならば、最上の面焦点インジケータ値に対応する
原画像インデックスが使用される。

【０１３８】つぎに、図３のステップＳ６００及び／ま
たはＳ７００に対応する処理についての更なる説明に戻
る。本発明に係る装置及び方法における様々な実施の形
態では、合成画像で示されるべき物体の部分に関する付
加的な予備情報を入手できるとき、合成画像の誤差が更
に抑制され、合成画像処理時間が短縮される。例えば、
物体を表すＣＡＤファイルのような情報、またはほぼ同
一の物体の先の合成画像を、マシンビジョンシステムの
産業上の応用において頻繁に利用することができる。

【０１３９】ＣＡＤファイル表示の場合、ＣＡＤファイ
ル表示におけるエッジ及び境界の位置を、ＣＡＤファイ
ル特徴抽出の各種周知の方法によって、ＣＡＤ表示か
ら、半自動方式による手動で、または完全に自動的に決
定するようにしてもよい。その場合、対応の物体の現状
の組の原画像における対応のエッジ及び境界の空間位置
は、空間一致及び／または特徴一致画像処理における更
なる各種周知の半自動または完全自動の方法によって決
定されるようにしてもよい。これらの方法は、例えば座
標マッチング、パターンマッチング、テンプレートマッ
チング、及び同種のものを含むようにしてもよい。そう
した方法は、例えば、イリノイ州オーロラにあるミツト
ヨアメリカコーポレイション（ＭＡＣ）から提供される
映像検査機のクイックビジョンシリーズのような、様々
な市販のマシンビジョンシステムにおいて物体上のエッ
ジ及び境界の位置の検出に日常的に使用される。

【０１４０】本発明の装置及び方法によって所望の先の
合成画像が入手できるとき、その合成画像のエッジ画素
の空間位置も入手できる。ほぼ同一の物体のそのような
所望の先の合成画像が、各種公知の方法によって得られ
た現状の原画像と空間的に一致になるようにしてもよ
い。これらの方法は、例えば座標マッチング、パターン
マッチング、テンプレートマッチング、画像相関、及び
同種のものを含むようにしてもよい。これにより、現状
の原画像のエッジの対応する空間位置が特定され得る。
そのような前もって存在するＣＡＤ及び／または所望の
合成画像表示の場合、合成画像のエッジ画素を決定する
ためのここで説明した全ての処理が、前もって存在する
ＣＡＤ及び／または所望の合成画像表示における決定さ
れたエッジの周辺の空間位置に限定されるようにしても
よい。これにより、他の方法では画像の別の部分でエッ
ジ解析処理によって発生する誤差及び異常子が、効果的
に抑制される。加えて、関連する合成画像処理が、空間
位置を余り考慮せずに行われ、より迅速に終了する。

【０１４１】つぎに図１０−１３に移って、図１０は、
電子組み立て物体の第１の面に位置づけられた焦点面を
有する第１の原画像を示し、本発明の装置及び方法によ
る合成画像を構築するために用いられる原画像を例示す
るものである。図１０に示す原画像は、原画像の左右の
端で比較的よく合焦されているが、中心部分では概して
脱合焦となっていると認められる。図１１は、電子組み
立て物体の第２の面に位置づけられた焦点面を有する第
２の原画像を示し、やはり本発明の装置及び方法による
合成画像を構築するために用いられる原画像を例示する
ものである。図１１に示す原画像は、原画像の中心付近
で比較的よく合焦されているが、左右端部分では概して
脱合焦となっていると認められる。図１０及び図１１の
原画像は、イリノイ州オーロラにあるミツトヨアメリカ
コーポレイション（ＭＡＣ）から提供される映像検査機
のクイックビジョンシリーズのような市販のマシンビジ
ョンシステムを使用して得られたものである。

【０１４２】これらの２つの代表的な原画像はそれぞ
れ、隣接する原画像どうしが０．１ｍｍ焦点面間隔だけ
離れた１１枚の原画像からの表示体である。各表示体の
グレースケール情報は、システムカメラの２．５倍率の
レンズと、操作者が決めた照明設定とを使用して撮影し
得られたものである。図１０に示す原画像は、割り当て
られた原画像インデックスが５であるものに対応し、一
方、図１１に示す原画像は、割り当てられた原画像イン
デックスが１０であるものに対応する。したがって、こ
れらの２つの画像は、０．５ｍｍだけ離れた焦点面に対
応する。

【０１４３】図１２は、各表示体に基づき決定された合
成画像マップの表示を示し、本発明の装置及び方法によ
り選択及び解析されたものである。図１２では、見やす
くするために、データ表示が、２次元合成画像マップの
リテラル形式で示される。図１２の或る特定な空間位置
において中間濃淡で示される各部は、その空間位置の合
成画像を決定するための基礎として使用されるべき別の
特定の原画像を表す。

【０１４４】図１３は、図１２に示した合成画像マップ
により決定された合成画像である。図１３に示す合成画
像は、合成画像の全ての部分で比較的よく合焦されてい
ると認められる。図１３に示す合成画像の各空間位置で
は、合成画像が、特定の原画像からその空間位置で原画
像を単にコピーすることにより決定され、この特定の原
画像は、その空間位置で合成画像の画像値を決定するた
めの基礎として原画像マップによって示される。図１３
の合成画像を更に強調するために、付加的な画像処理は
用いられなかった。しかし、合成画像の主観的な品質を
改善するために用いることのできる付加的な強調手段
が、本発明に係る装置及び方法の範囲内にある。そのよ
うな強調手段は、画像処理を扱う当業者に知られた各種
フィルタ及び平滑化技術を含むが、それらに限定される
ものではない。周知のまたは今後開発される適切な画像
強調技術が、上記の合成画像を強調するために使用され
得る。

【０１４５】様々な実施の形態において、図１に示す制
御システム部１２０は、プログラム制御の汎用コンピュ
ータを使って実現されるようにしてもよい。ただし、制
御システム部１２０はまた、特別な目的のためのコンピ
ュータ、プログラム制御のマイクロプロセッサ若しくは
マイクロコントローラ及び周辺集積回路要素、ＡＳＩＣ
若しくは別の集積回路、ディジタル信号プロセッサ、離
散要素回路のような配線電子若しくは論理回路、ＰＬ
Ｄ，ＰＬＡ，ＦＰＧＡ，若しくはＰＡＬのようなプログ
ラム制御の論理デバイス、または同種のものによって実
現され得る。通常、図２−８に示すフローチャートに対
応する各処理を順番に実行することが可能な有限状態機
械を実現することのできるデバイスを、さもなければこ
こで説明するようなデバイスを、制御システム部１２０
を実現するために使用することができる。図１の制御シ
ステム部１２０に示される各回路がとる特定の形態は、
設計上の単なる選択にすぎず、当業者には自明かつ予測
可能なものとなる。

【０１４６】図１において、様々な実施の形態における
記憶部１４０の変更可能な部分を、揮発性か不揮発性に
拘らず、スタティック若しくはダイナミックＲＡＭ、フ
ロッピー（登録商標）ディスク及びディスクドライブ、
書き換え可能若しくは再書き換え可能光ディスク及びデ
ィスクドライブ、ハードドライブ、フラッシュメモリ、
または同種のもののうちの１つまたはそれ以上を使って
実現することができる。図１における記憶部１４０の通
常のスタティック部分は、様々な実施の形態において、
ＲＯＭを使用して実現される。しかし、このスタティッ
ク部分を、ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭのよう
な別の不揮発性メモリ、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ
のような光ＲＯＭディスク及びディスクドライブ、上記
に示したようなフラッシュメモリ若しくは別の変更可能
なメモリ、または同種のものを使って実現することもで
きる。以上のように、図１に示す記憶部４０を、変更可
能で、揮発性若しくは不揮発性のメモリまたは変更不可
能、すなわち固定のメモリの適当な組み合わせを用いて
実現することができる。

【０１４７】更に、制御システム部１２０を、プログラ
ム制御の汎用コンピュータ、特定目的のコンピュータ、
マイクロプロセッサ、または同種のものにおいて実行さ
れるソフトウェアとして実現することができる。この場
合、制御システム部１２０を、ビジョンシステム１００
に埋め込まれたルーチンとして、サーバに常駐する資源
として、または同種のものによって実現することができ
る。制御システム部１２０をまた、ソフトウェア及び／
またはハードウェアシステムに物理的に合体することに
よって実現することもできる。

【０１４８】本発明によれば、ビジョンシステムに結合
可能な演算装置において実行できる制御プログラムを格
納した記憶媒体が提供される。前記制御プログラムは、
物体の少なくとも１つの部分の複数の原画像で、前記物
体における複数の焦点面に対応する複数の原画像に基づ
き、前記物体の少なくとも前記部分における十分に合焦
された合成画像を作成するための指示を含む。前記指示
は、焦点及び少なくとも１つの境界特性に反応する第１
の解析技術によって、前記原画像の複数の空間位置で前
記原画像を解析するための指示と、前記第１の解析技術
による解析結果に基づいて前記合成画像の第１の組の画
素を決定するための指示と、焦点及び少なくとも１つの
表面特性に反応する第２の解析技術によって、前記原画
像の複数の空間位置で前記原画像を解析するための指示
と、前記第２の解析技術による解析結果に基づいて前記
第１の組の画素の外側の前記合成画像の第２の組の画素
を決定するための指示とを有することを特徴とする。

【０１４９】また本発明によれば、ビジョンシステムに
結合可能で制御プログラムを実行するための装置に該制
御プログラムを送信するために符合化された搬送波が提
供される。前記制御プログラムは、物体の少なくとも１
つの部分の複数の原画像で、前記物体における複数の焦
点面に対応する複数の原画像に基づき、前記物体の少な
くとも前記部分における十分に合焦された合成画像を作
成するための指示を含む。前記指示は、焦点及び少なく
とも１つの境界特性に反応する第１の解析技術によっ
て、前記原画像の複数の空間位置で前記原画像を解析す
るための指示と、前記第１の解析技術による解析結果に
基づいて前記合成画像の第１の組の画素を決定するため
の指示と、焦点及び少なくとも１つの表面特性に反応す
る第２の解析技術によって、前記原画像の複数の空間位
置で前記原画像を解析するための指示と、前記第２の解
析技術による解析結果に基づいて前記第１の組の画素の
外側の前記合成画像の第２の組の画素を決定するための
指示とを有することを特徴とする。

【０１５０】本発明を上記に概説された実施の形態と関
連して説明したが、多くの代替案、変更及び変形が、当
業者にとり可能であることは明らかである。したがっ
て、上記に明らかにした本発明の実施の形態は例示的な
ものであって、本発明はこれに限定されるものではな
い。各種の変更を、本発明の精神及び範囲を逸脱するこ
となく行うことができる。

【０１５１】

【発明の効果】以上詳述したように本発明によれば、物
体の複数の原画像が撮影され、撮影された各原画像が、
原画像の公称焦点面で物体の異なる面を示す。原画像は
空間一致で獲得されるか、または原画像のデータ表示が
空間一致となるべく相互に調整される。広範囲な焦点深
度を有する合成画像を、原画像のよく合焦されたエッジ
及び／または境界を特定することによって作成すること
ができる。合成画像の特定なエッジまたは境界の各々
は、特定なエッジまたは境界の各々のうちの最上に合焦
された実例を備えた原画像に通常基づいて決定される。
また合成画像を、原画像のよく合焦された面を特定する
ことによって作成することができる。合成画像の特定な
面部分の各々は、特定な面部分の各々のうちの最上に合
焦された実例を備えた原画像に通常基づいて決定され
る。

【０１５２】また、合成画像が階層的に発生される。す
なわち、明らかによく合焦された面部分がエッジまたは
境界と同じ空間位置で特定されるか否かに拘らず、決定
されたエッジまたは境界が、合成画像における優先権を
与えられる。これにより、境界及びエッジの付近で合成
画像の誤差を抑制することができる。

【０１５３】また、付加的なバッファゾーンが、決定さ
れたエッジまたは境界に直に隣接して設けられる。これ
らのバッファゾーンで合成画像を生成することにより、
原画像の「面領域に一面ににじみ出て」、面解析の間に
例外の結果をもたらす脱合焦エッジによって、さもなけ
れば生成される筈の誤差を抑制することができる。

【０１５４】また、合成画像に対する基礎を最初に提供
する、決定され、よく合焦された面部分を、隣接する面
部分の原画像面に対する、対応する原画像の面について
の考察に基づき修正することができる。

【０１５５】さらに、従来の方法に比べ、合成画像の詳
細データを保存している間に、合成画像を比較的迅速に
作成することができる。結果的に得られる合成画像を、
被加工品の様々な予測不可能な特徴及び形状を考慮し
て、ロバスト性のあるものに構成することができ、同時
に、結果的に得られる合成画像の脱合焦の誤差を抑制、
すなわち削減することができる。

【図面の簡単な説明】

【図１】本発明に係る合成画像作成装置を有するビジョ
ンシステムの一実施の形態のブロック図である。

【図２】本発明における図１の合成画像プロセッサの実
施の形態の概要をより詳細に示すブロック図である。

【図３】本発明における合成画像を生成する方法の一実
施の形態の概要を示すフローチャートである。

【図４】本発明に係る図３に示す、潜在的境界画素及び
／またはエッジ画素に反応しこれを示す技術を使って原
画像を解析するステップの一実施の形態の概要をより詳
細に示すフローチャートである。

【図５】本発明に係る図３に示す、１組のエッジ画素を
決定または選択するステップの一実施の形態の概要をよ
り詳細に示すフローチャートである。

【図６】本発明に係る図５に示す、合成エッジマップを
細分するステップの一実施の形態の概要をより詳細に示
すフローチャートである。

【図７】本発明に係る図３に示す、潜在的面画素に反応
しこれを示す技術を使用して原画像を解析するステップ
の一実施の形態の概要をより詳細に示すフローチャート
である。

【図８】本発明に係る図３に示す、１組の面画素を決定
または選択するステップの一実施の形態の概要をより詳
細に示すフローチャートである。

【図９】本発明に係る図８に示す、合成面マップを細分
するステップの一実施の形態の概要をより詳細に示すフ
ローチャートである。

【図１０】物体の第１の面に位置づけられた焦点面を有
する第１の原画像を示す図である。

【図１１】物体の第２の面に位置づけられた焦点面を有
する第２の原画像を示す図である。

【図１２】図９及び図１０に示す原画像を含む１組の原
画像に基づき、本発明によって決定される合成画像マッ
プを示す図である。

【図１３】図１２に示す合成画像マップ及び図９及び図
１０に示す原画像を含む１組の原画像に基づき、本発明
によって決定される合成画像を示す図である。

【符号の説明】

２０ 部品 ２１ 傾斜面領域 ２４ 平面領域 ２５ エッジ ２６ 平面領域 ２７ エッジ ２８ 平面領域 ３１ 信号ライン ３２ 信号ライン ３３ 信号ライン ３４ 信号ライン ３５ 信号ライン １００ ビジョンシステム １１０ ビジョンシステム機構部 １１１ ステージ １１２ 映像アセンブリ １１３ レンズ系 １１４ カメラシステム １１５ 筐体／枠 １１６ アクチュエータ １１７ 光源 １２０ 制御システム部 １２５ 制御部 １３０ 入出力インタフェース部 １３４ 表示装置 １３５ 入力装置 １３６ データ／制御バス １３７ データ／制御バス １４０ 記憶部 １４１ 原画像記憶部 １４２ パートプログラム記憶部 １４３ 合成画像処理記憶部 １４４ 合成画像記憶部 １５０ 合成画像プロセッサ １５２ 空間一致／特徴一致処理回路またはソフトウェ
アルーチン １６０ エッジ／境界処理回路またはソフトウェアルー
チン １６３ 原画像エッジ／境界処理回路またはソフトウェ
アルーチン １６６ 合成画像エッジ／境界決定回路またはソフトウ
ェアルーチン １７０ 表面処理回路またはソフトウェアルーチン １７３ 原画像面処理回路またはソフトウェアルーチン １７６ 合成画像面決定回路またはソフトウェアルーチ
ン １８０ パートプログラム発生・実行部 １９０ ＣＡＤファイル特徴抽出部 ３００ Ｚ軸 ３１０ Ｘ軸

フロントページの続き Ｆターム(参考） 2F065 AA06 AA51 BB05 DD06 EE00 FF10 FF41 GG17 JJ03 PP02 PP12 QQ00 QQ03 QQ13 QQ24 QQ25 QQ26 QQ27 QQ28 QQ31 QQ32 QQ38 QQ41 QQ42 5B057 AA02 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CE02 CE08

Claims (20)

【特許請求の範囲】
1. 【請求項１】 複数の原画像に基づき物体の少なくとも
   １つの部分の合成画像を作成する画像処理方法であっ
   て、前記複数の原画像の各々が少なくとも前記物体の前
   記部分を含み、前記複数の原画像の各々が前記物体にお
   ける異なる焦点面に対応する画像処理方法において、 前記原画像に対して第１の方式の解析を行う第１のステ
   ップであって、前記原画像の複数の空間位置のうち少な
   くとも複数の空間位置で、前記原画像のエッジ及び境界
   のうち少なくとも１つに対応する前記合成画像の第１の
   組の画素を決定する第１のステップと、 前記原画像に対して第２の方式の解析を行う第２のステ
   ップであって、前記原画像の前記複数の空間位置のうち
   少なくとも複数の空間位置で、前記原画像の面に対応す
   る前記合成画像の第２の組の画素を決定する第２のステ
   ップとを有することを特徴とする画像処理方法。
2. 【請求項２】 前記合成画像の前記第１の組の画素は、
   前記複数の原画像に含まれる十分に焦点の合ったエッジ
   または境界に対応する前記合成画像の画像部分から成る
   ことを特徴とする請求項１記載の画像処理方法。
3. 【請求項３】 前記合成画像の前記第２の組の画素は、
   前記複数の原画像に含まれる十分に焦点の合った面領域
   に対応する前記合成画像の画像部分から成ることを特徴
   とする請求項１記載の画像処理方法。
4. 【請求項４】 前記合成画像の前記第１の組の画素は、
   前記合成画像の前記第２の組の画素が決定される前に決
   定され、 前記第２の組の画素は、前記第２の組の画素が、前記第
   １の組の画素内に存在するように決定された前記合成画
   像の画素のいずれをも含まないように決定されることを
   特徴とする請求項１記載の画像処理方法。
5. 【請求項５】 前記第２のステップは更に、前記複数の
   原画像に含まれる焦点の合っていないエッジまたは境界
   に対応する画像誤差（artifacts）を抑制する第３のス
   テップから成ることを特徴とする請求項４記載の画像処
   理方法。
6. 【請求項６】 前記第３のステップは、 前記合成画像の前記第２の組の画素内に、前記合成画像
   の前記第１の組の画素の各画素から少なくとも所定のセ
   ットバック距離だけ離れて位置する少なくとも１つの画
   素を決定する第４のステップと、 次に、前記合成画像の前記第２の組の画素内に、前記合
   成画像の前記第１の組の画素のうち少なくとも１つの画
   素から前記所定のセットバック距離より短い距離だけ離
   れて位置する少なくとも１つの画素を決定する第５のス
   テップで、前記合成画像の前記第２の組の画素の前記少
   なくとも１つの画素のうち、前記合成画像の前記第１の
   組の画素の各画素から少なくとも前記所定のセットバッ
   ク距離だけ離れて位置する少なくとも１つと関連した特
   性に少なくとも部分的に基づき決定する第５のステップ
   とからなることを特徴とする請求項５記載の画像処理方
   法。
7. 【請求項７】 前記第４のステップで決定される少なく
   とも１つの画素は、 核画素から成り、 前記第５のステップで決定される少なくとも１つの画素
   は、前記核画素を含む併合領域に基づき決定され、 前記特性は、原画像、原画像インデックス、及び原画像
   焦点面のうち少なくとも１つから成ることを特徴とする
   請求項６記載の画像処理方法。
8. 【請求項８】 前記第１の方式の解析及び前記第２の方
   式の解析のうち少なくとも１つは、グレースケール画像
   強度及びカラー画像強度のうち少なくとも１つに基づき
   行われることを特徴とする請求項１記載の画像処理方
   法。
9. 【請求項９】 前記第１の方式の解析は、前記複数の空
   間位置のうち前記少なくとも複数の空間位置での前記原
   画像の数値的特徴付けから成ることを特徴とする請求項
   ８記載の画像処理方法。
10. 【請求項１０】 前記数値的特徴付けは、勾配解析、勾
    配系列微分解析、空間フィルタリング、及びガウス空間
    フィルタリングのうち少なくとも１つから成ることを特
    徴とする請求項９記載の画像処理方法。
11. 【請求項１１】 前記第１のステップは、 前記複数の空間位置のうち前記少なくとも複数の空間位
    置で前記原画像の前記数値的特徴付けの結果を解析し
    て、前記数値的特徴付けの結果が満足となるような空間
    位置を決定する第６のステップと、 数値的特徴付けの結果が満足となるような各空間位置
    で、前記満足となる結果に対応する各満足原画像を決定
    する第７のステップと、 前記各満足原画像に少なくとも部分的に基づいて、前記
    各空間位置で前記合成画像の前記第１の組の画素のうち
    少なくとも１つの画素を決定する第８のステップとから
    成ることを特徴とする請求項９記載の画像処理方法。
12. 【請求項１２】 前記第２の方式の解析は、前記複数の
    空間位置のうち前記少なくとも複数の空間位置での前記
    原画像の数値的特徴付けから成ることを特徴とする請求
    項８記載の画像処理方法。
13. 【請求項１３】 前記数値的特徴付けは、テクスチュア
    分類解析、コントラスト分類解析、不一致解析を含むテ
    クスチュア分類解析、及びフラクタル次元解析のうち少
    なくとも１つから成ることを特徴とする請求項１２記載
    の画像処理方法。
14. 【請求項１４】 前記第１のステップは、 前記複数の空間位置のうち前記少なくとも複数の空間位
    置で前記原画像の前記数値的特徴付けの結果を解析し
    て、前記数値的特徴付けの結果が満足となるような空間
    位置を決定する第６のステップと、 数値的特徴付けの結果が満足となるような各空間位置
    で、前記満足となる結果に対応する各満足原画像を決定
    する第７のステップと、 前記各満足原画像に少なくとも部分的に基づいて、前記
    各空間位置で前記合成画像の前記第２の組の画素のうち
    少なくとも１つの画素を決定する第８のステップとから
    成ることを特徴とする請求項１２記載の画像処理方法。
15. 【請求項１５】 画像装置と、ビジョンシステム制御部
    と、記憶部と、物体の少なくとも１つの部分の複数の原
    画像で、前記物体における複数の焦点面に対応する複数
    の原画像に基づき、前記物体の少なくとも前記部分にお
    ける十分に焦点の合った合成画像を作成するべく作動す
    る合成画像プロセッサとを具備したビジョンシステムに
    おいて、前記合成画像プロセッサが、 前記原画像に対して第１の方式の解析を行うエッジ処理
    部であって、前記原画像の複数の空間位置のうち少なく
    とも複数の空間位置で、前記原画像のエッジ及び境界の
    うち少なくとも１つに対応する前記合成画像の第１の組
    の画素を決定するエッジ処理部と、 前記原画像に対して第２の方式の解析を行う面処理部で
    あって、前記原画像の前記複数の空間位置のうち少なく
    とも複数の空間位置で、前記原画像の面に対応する前記
    合成画像の第２の組の画素を決定する面処理部とを有す
    ることを特徴とするビジョンシステム。
16. 【請求項１６】 前記エッジ処理部は、 前記原画像に含まれる十分に焦点の合ったエッジまたは
    境界を示すための第１の特徴付けを、前記複数の空間位
    置の前記少なくとも複数の空間位置で、前記原画像に対
    して行うべく用いられる原画像エッジ処理部と、 前記原画像エッジ処理部によって行われた前記第１の特
    徴付けに基づき、前記合成画像の前記第１の組の画素を
    決定する合成画像エッジ決定部とから成り、 前記面処理部は、 前記原画像に含まれる十分に焦点の合った面領域を示す
    ための第２の特徴付けを、前記複数の空間位置の前記少
    なくとも複数の空間位置で、前記原画像に対して行うべ
    く用いられる原画像面処理部と、 前記原画像面処理部によって行われた前記第２の特徴付
    けに基づき、前記合成画像の前記第２の組の画素を決定
    する合成画像面決定部とから成ることを特徴とする請求
    項１５記載のビジョンシステム。
17. 【請求項１７】 前記エッジ処理部は、前記面処理部が
    前記合成画像の前記第２の組の画素を決定する前に、前
    記合成画像の前記第１の組の画素を決定し、 前記面処理部は、前記第２の組の画素を、前記第２の組
    の画素が、前記第１の組の画素内に存在するように決定
    された前記合成画像の画素のいずれをも含まないように
    決定することを特徴とする請求項１５記載のビジョンシ
    ステム。
18. 【請求項１８】 前記合成画像プロセッサが前記合成画
    像の前記第２の組の画素を決定したとき、前記合成画像
    プロセッサは、前記複数の原画像に含まれる焦点の合っ
    ていないエッジまたは境界に対応する画像誤差（artifa
    cts）を抑制することを特徴とする請求項１５記載のビ
    ジョンシステム。
19. 【請求項１９】 前記合成画像プロセッサは、前記ビジ
    ョンシステムの一般電算化制御装置の一部であることを
    特徴とする請求項１５記載のビジョンシステム。
20. 【請求項２０】 前記一般電算化制御装置は更に、パー
    トプログラム指示、検査プログラム制御指示、及び合成
    画像プロセッサ制御指示のうち少なくとも１つを発生す
    ることに用いられる制御指示発生装置から成り、前記発
    生された指示は、前記合成画像プロセッサを作動させて
    合成画像の所望の表示を作成することに用いられること
    を特徴とする請求項１９記載のビジョンシステム。