JP2015216558A - 画像転送方法および画像転送装置 - Google Patents

Abstract

【課題】イメージセンサから出力する画像データの出力領域の領域数に最大能力数の制約があっても、所望する関心領域を柔軟に設定でき、設定された関心領域の領域数や重複状況に関わりなく画像データの出力を可能にする。【解決手段】画像データの一部を複数の出力領域に分割してイメージセンサから出力し、メモリに転送する画像転送方法であって、所望する画像データの領域範囲がそれぞれ設定された複数の関心領域Ｑ１〜Ｑ８を出力領域に変換して、出力領域の領域数が出力可能な最大能力数を超えている場合に、少なくとも２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）を包含する新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３を再設定し、少なくとも２個の関心領域を新たな関心領域に置き換えて出力領域に変換する関心領域結合処理、ならびに、出力領域結合処理の少なくとも一方の処理を１回以上実施して、出力領域の領域数を最大能力数以下まで削減する。【選択図】図１２

Description

本発明は、画像データをイメージセンサから出力してメモリに転送する画像転送方法および画像転送装置に関し、より詳細には、画像データの一部を最大能力数以下の複数の出力領域に分割してイメージセンサから出力し、メモリに転送する方法および装置に関する。

多数の電子部品が実装された基板を生産する基板生産装置として、はんだ印刷装置、部品実装装置、リフロー装置、基板検査装置などがある。これらの装置を基板搬送装置で連結して基板生産ラインを構築する場合が多い。これらの装置の多くは、基板に付与された各種のマークやコードを認識したり、基板や電子部品の状態を検査したりするために、カメラを備えている。カメラは、二次元配置された多数の撮像素子を有するイメージセンサを備え、撮像によって得られた画像データをディジタル変換して出力するのが一般的である。特に、基板生産ラインでは、画像データに画像処理を施した結果に基づいて次に基板に施す処理内容が変化するので、画像データの高速転送は生産効率向上の重要なファクターとなっている。このため、画像データの全部を必要としない場合に、所望する関心領域を設定して画像データの一部のみを転送することにより高速転送を実現している。

複数の関心領域を設定して画像データの一部をイメージセンサから出力する技術例が特許文献１および特許文献２に開示されている。特許文献１の撮像装置は、複数の画素が二次元配列された撮像領域を有して各画素が読み出しアドレスを与えられた撮像部と、撮像領域内の複数の領域（関心領域）を指定するアドレスを発生する信号処理部とを具備し、複数の領域の撮像信号を読み出し可能としている。さらに、実施形態の説明には、一部オーバーラップした領域を設定することも容易であると記載されているが、具体的な撮像信号の読み出し方法は示されていない（特許文献１の段落００５５、００５６、および図８参照）。

また、特許文献２の画像読取装置は、複数の画素で構成された受光部および画素選択部をもつカメラと、画像取込範囲（関心領域）に対応して画素を特定する画素選択情報の生成部と、を備えている。さらに、複数の画像取込範囲が重なる重複範囲の抽出部を設け、重複が無い場合は、画像取込範囲に対応する画素選択情報を単純に生成し、重複が有る場合は、画像取込範囲を変形して重複の無い画素選択情報を生成する。これにより、重複範囲を２回出力して正しい画像が得られなくなることを防止でき、複数の画像取込範囲が部分的に重複している場合であっても正しい画像データを得られる、とされている。さらに、実施形態の説明には、重複範囲が有る場合の画素選択情報の生成例が開示されている。この生成例では、３個の長方形の画像取込範囲に重複が有り、２通りの画素選択情報が生成されている。ただし、２通りの画素選択情報は、どちらも凹凸のある複雑な多角形になっている（特許文献２の段落００３４、００３５、および図７参照）。

特開２００４−２３２５６号公報 特開２００４−３８８４１号公報

ところで、画像データの一部を複数の関心領域に分割して転送する場合に、イメージセンサが出力可能な領域数に制限があって最大能力数が予め定められている場合が多い。仮に、最大能力数を超える領域数の関心領域を設定した場合には、イメージセンサでエラーが発生してしまう。出力エラーを回避するために、複数の関心領域を結合して１個の出力領域に変換するなどの事前処理を実施して、出力する領域数を削減する必要がある。ここで、関心領域とは、最終的にメモリまでの転送を所望する画像データの領域であって、相互の重複が許容される領域を意味する。また、出力領域とは、イメージセンサから出力するときの画像データの領域であって、相互の重複が許容されない領域を意味する。上記した最大能力数の制限に対応する事前処理の方法は、特許文献１および２には開示されていない。

また、イメージセンサは、受光によって蓄積された電荷を出力する方式のＣＭＯＳ素子やＣＣＤ素子などで構成されるのが一般的であり、２度読み（２回の出力）ができない。複数の関心領域の一部が重複する場合に２度読みを回避する具体的な方法は、特許文献１に開示されていないが、特許文献２に開示されている。しかしながら、特許文献２で２度読みを回避するために生成した画素選択情報は、凹凸のある複雑な多角形になっている。このため、イメージセンサから画像データを出力するときの制御方法が繁雑化して転送動作のボトルネックとなり、転送所要時間が増加する。

転送制御の効率化の観点に立てば、撮像素子が二次元配置されていることから、関心領域や出力領域の形状は長方形であることが望ましい。ところが、データ数を増加させることをせずに、一部重複する複数の長方形の関心領域を重複しない長方形の出力領域に変換すると、一般的には領域数が増加して、しまう。このため、領域数が過大となり、エラーの発生が懸念される。一方、一部重複する複数の長方形の関心領域を包含する大きな長方形の出力領域を設定すると、データ数は増加するが領域数は削減できるので、画像データの出力は行える。このため、イメージセンサから出力するデータ数が増加することになっても、設定された関心領域の領域数や重複状況に関わりなく、出力領域の領域数を最大能力数以下まで削減する方法を確立する必要がある。また、転送所要時間を短縮するために、データ数の増加は最小限とすることが好ましい。

本発明は、上記背景技術の問題点に鑑みてなされたものであり、イメージセンサから出力する画像データの出力領域の領域数に最大能力数の制約があっても、所望する関心領域を柔軟に設定でき、設定された関心領域の領域数や重複状況に関わりなく画像データの出力を可能としつつ、転送所要時間を短縮できる画像転送方法および画像転送装置を提供することを解決すべき課題とする。

上記課題を解決する請求項１に係る画像転送方法の発明は、被写体を撮像して得られる画像データの一部を、出力可能な形状を有しかつ相互の重複が許容されない領域である複数の出力領域に分割してイメージセンサから出力し、メモリに転送する画像転送方法であって、所望する画像データの領域範囲がそれぞれ設定されかつ相互の重複が許容される領域である複数の関心領域を前記出力領域に変換して、前記出力領域の領域数が出力可能な最大能力数を超えている場合に、少なくとも２個の関心領域を包含する新たな関心領域を再設定し、前記少なくとも２個の関心領域を前記新たな関心領域に置き換えて前記出力領域に変換する関心領域結合処理、ならびに、少なくとも２個の出力領域を包含する新たな出力領域を設定し、前記少なくとも２個の出力領域を前記新たな出力領域に置き換える出力領域結合処理の少なくとも一方の処理を１回以上実施して、前記出力領域の領域数を前記最大能力数以下まで削減する。

請求項１に係る画像転送方法の発明によれば、最初に設定された複数の関心領域を出力領域に変換したときの領域数が最大能力数を超えている場合に、関心領域結合処理ならびに出力領域結合処理の少なくとも一方の処理を１回以上実施して、出力領域の領域数を最大能力数以下まで削減できる。したがって、設定された関心領域の領域数や重複状況に関わりなく、画像データをイメージセンサから出力してメモリに転送できる。

実施形態の画像転送装置に用いるイメージセンサのハードウェア構成図である。 実施形態の画像転送装置の全体機能構成を示すブロック図である。 第１関心領域が第２関心領域の隣り合う２辺に重複する場合を例示した図である。 出力領域演算処理部が第１関心領域および第２関心領域を出力領域に変換した結果を示す図である。 第３関心領域が第４関心領域の１辺に重複する場合を例示した図である。 出力領域演算処理部が第３関心領域および第４関心領域を出力領域に変換した結果を示す図である。 第５関心領域と第６関心領域とでＸ軸方向の領域範囲が一致して、Ｙ軸方向の一部が重複する場合を例示した図である。 出力領域演算処理部が第５関心領域および第６関心領域を出力領域に変換した結果を示す図である。 実施形態の画像転送方法を説明するフローチャートの図である。 最初に設定された関心領域が８個である場合の設定例を示す図である。 初期設定ステップで作成されて初回の判定ステップに用いられる出力領域を示す図である。 再設定ステップで実施する関心領域結合処理を説明する図である。 ２回目の判定ステップで採用されて出力ステップに用いられる出力領域を示す図である。 マスク演算ステップで演算されたマスク領域を示す図である。 マスク削除ステップでマスク領域の画像データを削除する処理を説明する図である。

本発明の実施形態の画像転送装置１および画像転送方法について、図１〜図１５を参考にして説明する。画像転送装置１は、例えば、基板生産装置に搭載され、基板に付与された各種のマークやコードを認識したり、基板や電子部品の状態を検査したりする用途に適用される。図１は、実施形態の画像転送装置１に用いるイメージセンサ２のハードウェア構成図である。イメージセンサ２は、ピクセルアレイ２１、Ｘ軸走査回路２２、Ｙ軸走査回路２３、前処理部２４、およびＡＤ変換器２５などで構成されている。

ピクセルアレイ２１は、撮像素子２１１がＸ−Ｙ直交座標軸上のＸ軸方向に直線状にＮｘ個配置されるとともにＹ軸方向にＮｙ列配置されて構成される。つまり、撮像素子２１１は、二次元配置され、全部で（Ｎｘ・Ｎｙ）個ある。図１には、Ｘ軸方向の３個目までＹ軸方向の第３列までの撮像素子２１１が例示されている。撮像素子２１１には、例えば濃淡検出用のＣＭＯＳ素子やＣＣＤ素子などを用いることができ、アナログ量の画素データを得ることができる。

Ｘ軸走査回路２２はピクセルアレイ２１中のＸ軸方向の座標値（Ｘ軸座標値）を選択制御して、撮像素子２１１からの画素データの送出を切り替える。Ｙ軸走査回路２３はピクセルアレイ２１中のＹ軸方向の座標値（Ｙ軸座標値）を選択制御して、撮像素子２１１の列を切り替える。これにより、特定の撮像素子２１１のみから画素データが前処理部２４に送出される。前処理部２４は、画素データを増幅してＡＤ変換器２５に送出する。また、前処理部２４では、ゲイン調整およびオフセット調整が行えるようになっている。ＡＤ変換器２５は、アナログ量の画素データを例えば１０ビットのディジタル信号に変換して出力する。この場合、画素データの値は、完全な黒色を示すゼロから、完全な白色を示す１０２３まで変化し得る。これに限定されず、ＡＤ変換器２５は１０ビットと異なる分解能を有していてもよい。

イメージセンサ２の各部２１〜２５の動作を制御するために、イメージセンサ２内に図略の制御部が設けられている。制御部は、外部からの指令に基づき、ピクセルアレイ２１内に最大能力数以内の長方形の出力領域を設定する。そして、制御部は、二次元配置された撮像素子２１１の画素データからなる画像データの一部を、複数の出力領域に分割して順次出力する制御を行う。最大能力数は、イメージセンサ２の種類ごとに予め定められており、本実施形態では８領域とする。仮に、外部からの指令が最大能力数を超えた領域数の出力領域を設定すると、イメージセンサ２でエラーが発生する。最大能力数の値は上記に限定されず、他に１６領域などであってもよい。

制御部は、Ｘ軸方向およびＹ軸方向の始点および終点の座標値を用いて出力領域を設定する。つまり、長方形の出力領域Ａは、Ｘ軸始点座標値ＸＳ、Ｘ軸終点座標値ＸＥ、Ｙ軸始点座標値ＹＳ、およびＹ軸終点座標値ＹＥの４値で設定される。これを、出力領域Ａ＝（ＸＳ、ＸＥ、ＹＳ、ＹＥ）と表記する。ただし、１≦ＸＳ≦ＸＥ≦Ｎｘであり、１≦ＹＳ≦ＹＥ≦Ｎｙである。撮像素子２１１は２度読みができないので、複数の出力領域が相互に重複することは許容されない。仮に、相互に重複する出力領域が設定された場合、後になって出力する側の出力領域の重複範囲において、画素データは既に出力されてゼロになっている。このため、後になって出力する側の出力領領域では、正しい画像データが出力されない。

出力領域として、例えば、撮像領域全体すなわち全ての撮像素子２１１が設定された場合を考える。制御部は、まず、Ｙ軸走査回路２３のＹ軸座標値を最小値の第１列に固定し、Ｘ軸座標値を１番目からＮｘ番目まで順次増加させ、Ｙ軸第１列の撮像素子２２１の画素データを出力する。制御部は、次に、Ｙ軸座標値を１撮像素子分だけ増加させて第２列に固定する。そして、制御部は、再びＸ軸座標値を１番目からＮｘ番目まで順次増加させ、Ｙ軸第２列の撮像素子２２１の画素データを出力する。さらに、制御部は、Ｙ軸第３列以降も、第１および第２列と同様の動作を繰り返すことにより、Ｙ軸座標値の最大値である第Ｎｙ列までの出力を制御する。出力領域として撮像領域全体よりも小さな長方形が設定された場合も、制御部の出力制御の方法は上述と同様である。

実施形態の画像転送装置１および画像転送方法においては、イメージセンサ２のピクセルアレイ２１の全体の画像データを必要としない場合に、その一部に所望する長方形の関心領域を設定する。関心領域は、ピクセルアレイ２１内の長方形領域であればよく、相互の重複が許容される。長方形の関心領域Ｂも、出力領域Ａと同様にＸ軸始点座標値ＸＳ、Ｘ軸終点座標値ＸＥ、Ｙ軸始点座標値ＹＳ、およびＹ軸終点座標値ＹＥの４値で設定される。これを、関心領域Ｂ＝（ＸＳ、ＸＥ、ＹＳ、ＹＥ）と表記する。そして、関心領域Ｂから変換された出力領域Ａがイメージセンサ２に指令される。これにより、イメージセンサ２は、画像データの一部を複数の出力領域Ａに分割して出力することができる。

図２は、実施形態の画像転送装置１の全体機能構成を示すブロック図である。図２に示されるうちで、画像転送装置１は、イメージセンサ２、出力領域演算処理部３、マスク演算部４、記憶指令部５、およびマスク削除部６により構成されている。また、画像転送装置１を動作させるために、関心領域設定部７が使用される。関心領域設定部７は、所望する任意の個数の関心領域を出力領域演算処理部３に設定する。関心領域設定部７には、画像転送装置１の撮像対象を制御したり撮像タイミングを調整したりする上位装置を用いることができる。さらに、画像データの転送先に不揮発性のメモリ８を用いる。メモリ８は、画像転送装置１の内部メモリでもよいし、上位装置の記憶部でもよいし、外部記憶装置でもよい。メモリ８に記憶された画像データは、２度読みしても変化しない。

出力領域演算処理部３は、関心領域設定部７によって設定された関心領域Ｂを出力領域Ａに変換する。出力領域演算処理部３は、他と重複しない孤立した関心領域Ｂをそのまま出力領域Ａに変換する。出力領域演算処理部３は、少なくとも一部が相互に重複する２個の関心領域Ｂを１個〜３個の出力領域Ａに変換する。出力領域演算処理部３の基本的な領域変換機能について、図３〜図８に示される３例を参考にして説明する。

図３は、第１関心領域Ｂ１が第２関心領域Ｂ２の隣り合う２辺に重複する場合を例示した図である。また、図４は、出力領域演算処理部３が第１関心領域Ｂ１および第２関心領域Ｂ２を出力領域に変換した結果を示す図である。図３で、第１関心領域Ｂ１＝（ＸＳ１、ＸＥ１、ＹＳ１、ＹＥ１）であり、第２関心領域Ｂ２＝（ＸＳ２、ＸＥ２、ＹＳ２、ＹＥ２）である。ただし、ＸＳ１＜ＸＳ２＜ＸＥ１＜ＸＥ２、および、ＹＳ１＜ＹＳ２＜ＹＥ１＜ＹＥ２、の大小関係がある。この場合、出力領域演算処理部３は、第１関心領域Ｂ１および第２関心領域Ｂ２を、図４に示される３個の第１〜第３出力領域Ａ１〜Ａ３に変換する。第１出力領域Ａ１＝（ＸＳ１、ＸＥ１、ＹＳ１、ＹＳ２）、第２出力領域Ａ２＝（ＸＳ１、ＸＥ２、ＹＳ２、ＹＥ１）、第３出力領域Ａ３＝（ＸＳ２、ＸＥ２、ＹＥ１、ＹＥ２）である。

図４で、第１〜第３出力領域Ａ１〜Ａ３は上下に接して並んでいるが、出力領域演算処理部３は、左右に接して並ぶ３個の出力領域に変換することもできる。つまり、出力領域演算処理部３は、第１関心領域Ｂ１および第２関心領域Ｂ２を第１ｊ〜第３ｊ出力領域Ａ１ｊ〜Ａ３ｊに変換することもできる。第１ｊ出力領域Ａ１ｊ＝（ＸＳ１、ＸＳ２、ＹＳ１、ＹＥ１）、第２ｊ出力領域Ａ２ｊ＝（ＸＳ２、ＸＥ１、ＹＳ１、ＹＥ２）、第３ｊ出力領域Ａ３ｊ＝（ＸＥ１、ＸＥ２、ＹＳ２、ＹＥ２）である。また、一方の関心領域が他方の関心領域の向かい合う２辺に重複する場合も、３個の出力領域に変換することができる。

次に、図５は、第３関心領域Ｂ３が第４関心領域Ｂ４の１辺に重複する場合を例示した図である。また、図６は、出力領域演算処理部３が第３関心領域Ｂ３および第４関心領域Ｂ４を出力領域に変換した結果を示す図である。図５で、第３関心領域Ｂ３＝（ＸＳ３、ＸＥ３、ＹＳ３、ＹＥ３）であり、第４関心領域Ｂ４＝（ＸＳ４、ＸＥ４、ＹＳ４、ＹＥ４）である。ただし、ＸＳ４＜ＸＳ３＜ＸＥ３＜ＸＥ４、および、ＹＳ３＜ＹＳ４＜ＹＥ３＜ＹＥ４、の大小関係がある。この場合、出力領域演算処理部３は、第３関心領域Ｂ３および第４関心領域Ｂ４を、図６に示される２個の第４および第５出力領域Ａ４、Ａ５に変換する。第４出力領域Ａ４＝（ＸＳ３、ＸＥ３、ＹＳ３、ＹＳ４）、第５出力領域Ａ５＝（ＸＳ４、ＸＥ４、ＹＳ４、ＹＥ４）である。この場合、第４関心領域Ｂ４と第５出力領域Ａ５とは一致している。

次に、図７は、第５関心領域Ｂ５と第６関心領域Ｂ６とでＸ軸方向の領域範囲が一致して、Ｙ軸方向の一部が重複する場合を例示した図である。また、図８は、出力領域演算処理部３が第５関心領域Ｂ５および第６関心領域Ｂ６を出力領域に変換した結果を示す図である。図７で、第５関心領域Ｂ５＝（ＸＳ５、ＸＥ５、ＹＳ５、ＹＥ５）であり、第６関心領域Ｂ６＝（ＸＳ５、ＸＥ５、ＹＳ６、ＹＥ６）である。ただし、ＸＳ５＜ＸＥ５、および、ＹＳ５＜ＹＳ６＜ＹＥ５＜ＹＥ６、の大小関係がある。この場合、出力領域演算処理部３は、第５関心領域Ｂ５および第６関心領域Ｂ６を結合して、図８に示される１個の第６出力領域Ａ６に変換する。第６出力領域Ａ６＝（ＸＳ５、ＸＥ５、ＹＳ５、ＹＥ６）である。

なお、出力領域演算処理部３は、一方の関心領域と他方の関心領域とでＹ軸方向の領域範囲が一致してＸ軸方向の一部が重複する場合も、結合して１個の出力領域に変換することができる。さらに、出力領域演算処理部３は、一方の関心領域が他方の関心領域に完全に包含される場合に、他方の関心領域のみをそのまま１個の出力領域に変換する。

出力領域演算処理部３は、多数の関心領域が設定されているときに、図３〜図８に例示された領域変換機能を適宜組み合わせて適用し、全ての関心領域を出力領域に変換する。ここで、出力領域の領域数が出力可能な最大能力数を超えている場合に、出力領域演算処理部３は、関心領域結合処理および出力領域結合処理の少なくとも一方を１回以上実施して、出力領域の領域数を最大能力数以下まで削減する。出力領域演算処理部３は、最終的に得られた出力領域の情報を記憶指令部５に保存する。関心領域結合処理および出力領域結合処理については、後で詳述する。

マスク演算部４は、出力領域演算処理部３が関心領域結合処理や出力領域結合処理を実施した後に、逐次マスク領域を演算する。マスク領域とは、関心領域結合処理や出力領域結合処理によって求めた新たな出力領域に含まれ、最初に設定された関心領域に含まれない領域である。換言すると、マスク領域は、所望されていない領域であって、転送を必要としない冗長性のある領域である。本実施形態では、マスク領域の形状も、重複の許容されない長方形とする。マスク演算部４は、最終的に得られたマスク領域の情報を記憶指令部５に保存する。

記憶指令部５は、出力領域の情報およびマスク領域の情報を記憶する。記憶指令部５は、出力領域の情報をイメージセンサ２に指令する。これにより、イメージセンサ２は、画像データの一部を最大能力数以下の領域数の出力領域に分割して、マスク削除部６に出力する。

また、記憶指令部５は、マスク領域の情報をマスク削除部６に指令する。これにより、マスク削除部６は、イメージセンサ２から出力された画像データからマスク領域の画像データを削除してメモリ８に転送する。マスク削除部６は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を用いて構成することができる。フィールドプログラマブルゲートアレイは、冗長性のある画像データの削除をハードウェアにて実施するので、タイムラグが殆ど発生しない。したがって、フィールドプログラマブルゲートアレイで構成されたマスク削除部６は、転送速度を低下させない。マスク削除部６にソフトウェア処理を適用することも考えられるが、イメージセンサ２からの出力動作と同程度の転送速度になって、ボトルネックとなるおそれが生じる。

次に、上述のように構成された実施形態の画像転送装置１を用いた画像データの転送動作、すなわち実施形態の画像転送方法について、フローチャートおよび関心領域の設定例を参考にして説明する。図９は、実施形態の画像転送方法を説明するフローチャートの図である。実施形態の画像転送方法は、初期設定ステップＳ１、判定ステップＳ２、再設定ステップＳ３、マスク演算ステップＳ４、撮像ステップＳ５、出力ステップＳ６、マスク削除ステップＳ７、監視ステップＳ８、および転送エラー処理ステップＳ９を有する。これらのステップＳ１〜Ｓ９は、オペレータを介さずに自動で実施される。

また、図１０は、最初に設定された関心領域Ｑ１〜Ｑ８が８個である場合の設定例を示す図である。この設定例を用いて、以降の各ステップＳ１〜Ｓ９における動作および演算の処理内容を例示説明する。図１１は、初期設定ステップＳ１で作成されて初回の判定ステップＳ２に用いられる出力領域Ｒａ〜Ｒｍを示す図である。図１２は、再設定ステップＳ３で実施する関心領域結合処理を説明する図である。図１３は、２回目の判定ステップＳ２で採用されて出力ステップＳ６に用いられる出力領域Ｒ１〜Ｒ７を示す図である。図１４は、マスク演算ステップＳ４で演算されたマスク領域Ｍ１〜Ｍ７を示す図である。図１５は、マスク削除ステップＳ７でマスク領域Ｍ１〜Ｍ７の画像データを削除する処理を説明する図である。

イメージセンサ２による撮像動作に先立ち、図１０に例示された８個の関心領域Ｑ１〜Ｑ８は、関心領域設定部７から出力領域演算処理部３に設定される。図示されるように、８個の長方形の関心領域Ｑ１〜Ｑ８は、複雑に重複している。初期設定ステップＳ１で、出力領域演算処理部３は、基本的な領域変換機能を繰り返し応用して、最初に設定された８個の関心領域Ｑ１〜Ｑ８を図１１に示される出力領域Ｒａ〜Ｒｍに変換する。次の判定ステップＳ２で、出力領域演算処理部３は、出力領域Ｒａ〜Ｒｍの領域数が最大能力数を超えているか否かを判定する。初回の判定ステップＳ２で、出力領域Ｒａ〜Ｒｍは１３領域あって最大能力数の８領域を超えているので、再設定ステップＳ３に進む。

再設定ステップＳ３で、出力領域演算処理部３は、２個の関心領域を包含する新たな関心領域を再設定し、２個の関心領域を新たな関心領域に置き換えて出力領域に変換する関心領域結合処理を実施する。図１２で、最初に設定された関心領域Ｑ１〜Ｑ８は破線で示され、再設定された新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３は太い実線で示されている。図１２には、３つの関心領域結合処理がまとめて示されている。すなわち、出力領域演算処理部３は、２個の関心領域Ｑ１、Ｑ２を包含する新たな関心領域Ｑ１１を再設定し、２個の関心領域Ｑ３、Ｑ４を包含する新たな関心領域Ｑ１２を再設定し、２個の関心領域Ｑ５、Ｑ６を包含する新たな関心領域Ｑ１３を再設定する。また、出力領域演算処理部３は、２個の関心領域Ｑ７、Ｑ８をそのまま維持する。

出力領域演算処理部３は、関心領域結合処理の際に、２個の関心領域の組合せとして、
１）２個の関心領域の離間距離が小さい組合せ
２）２個の関心領域の重心位置の相互間距離が小さい組合せ
３）面積が最も小さい関心領域とその周りのいずれかの関心領域との組合せ
４）２個の関心領域の相互に重複する面積が大きい組合せ
のいずれかを選択する。この選択基準は、絶対的ではないが、マスク領域の面積を小さくする効果が大きい。

出力領域演算処理部３は、元になった関心領域Ｑ１〜Ｑ６を新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３に置き換える。さらに、出力領域演算処理部３は、新たな３個の関心領域Ｑ１１、Ｑ１２、Ｑ１３および維持した２個の関心領域Ｑ７、Ｑ８を対象として、出力領域に変換する。この結果、図１３に示される７個の出力領域Ｒ１〜Ｒ７が演算される。

次に、マスク演算ステップＳ４で、マスク演算部４は、マスク領域Ｍ１〜Ｍ７を演算する。マスク領域は、新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３に含まれ、かつ元になった関心領域Ｑ１〜Ｑ６に含まれない領域である。求められた７個のマスク領域Ｍ１〜Ｍ７は、図１４に便宜的にハッチングを付して示されている。この後、出力領域演算処理部３は、判定ステップＳ２に戻る。

２回目の判定ステップＳ２で、出力領域Ｒ１〜Ｒ７は７領域であり、最大能力数の８領域よりも少ない。したがって、出力領域演算処理部３は、その時点に設定されている出力領域Ｒ１〜Ｒ７を採用することに決定して、出力領域Ｒ１〜Ｒ７の情報を記憶指令部５に保存する。また、マスク演算部４は、当該時点のマスク領域Ｍ１〜Ｍ７の情報を記憶指令部５に保存する。この後、出力領域演算処理部３は、撮像ステップＳ５に進む。

なお、出力領域演算処理部３は、再設定ステップＳ３でまとめて実施した３つの関心領域結合処理を１回ごとに別々に行うようにしてもよい、この場合、出力領域演算処理部３は、判定ステップＳ２からマスク演算ステップＳ４までを２回繰り返して関心領域Ｑ１１、Ｑ１２を再設定しても、出力領域の領域数が最大能力数の８領域を超えている。そして、出力領域演算処理部３は、３回目の繰り返しで関心領域Ｑ１３を再設定すると、図１３に示された演算結果を得ることができる。このとき、マスク演算部４は、図１４に示された演算結果を得ることができる。また、出力領域演算処理部３は、再設定ステップＳ３で３個以上の関心領域を１個の新たな関心領域に変換することも可能である。

さらになお、再設定ステップＳ３で、出力領域演算処理部３は、関心領域結合処理に代えて出力領域結合処理を実施してもよい。出力領域結合処理では、少なくとも２個の出力領域を包含する新たな出力領域を設定し、少なくとも２個の出力領域を新たな出力領域に置き換える。例えば、出力領域演算処理部３は、図１１に示された４個の出力領域Ｒｇ、Ｒｈ、Ｒｉ、Ｒｊを、図１３に示された出力領域Ｒ４に置き換えることができる。この場合でも、マスク演算ステップＳ４で、マスク演算部４は、出力領域Ｒ４内のマスク領域Ｍ６、Ｍ７を演算することができる。

次に、撮像ステップＳ５で、記憶指令部５は、出力領域Ｒ１〜Ｒ７の情報をイメージセンサ２に指令する。すると、イメージセンサ２は、ピクセルアレイ２１の全体を用いた撮像を行い、全撮像素子２１１の画素データからなる画像データを取得する。次に、出力ステップＳ６で、イメージセンサ２は、画像データの一部を７個の出力領域Ｒ１〜Ｒ７に分割して、マスク削除部６に出力する。

次に、マスク削除ステップＳ７で、記憶指令部５は、マスク領域Ｍ１〜Ｍ７の情報をマスク削除部６に指令する。マスク削除部６は、イメージセンサ２から出力された各出力領域Ｒ１〜Ｒ７の画像データからマスク領域Ｍ１〜Ｍ７の画像データを削除してメモリ８に転送する。具体的には、図１５に示されるように、マスク削除部６は、出力領域Ｒ１の画像データからマスク領域Ｍ１の画像データを削除する。また、マスク削除部６は、出力領域Ｒ２の画像データからマスク領域Ｍ２、マスク領域Ｍ３の一部、マスク領域Ｍ４、およびマスク領域Ｍ５の画像データを削除する。さらに、マスク削除部６は、出力領域Ｒ３の画像データからマスク領域Ｍ３の残部の画像データを削除し、出力領域Ｒ４の画像データからマスク領域Ｍ６およびマスク領域Ｍ７の画像データを削除する。

このように、マスク領域Ｍ１〜Ｍ７を設定して、転送途中でマスク領域Ｍ１〜Ｍ７の画像データを削除することにより、メモリ８に転送された画像データのデータ数と、最初に設定された８個の関心領域Ｑ１〜Ｑ８の画像データのデータ数とを一致させることができる。監視ステップＳ８では、上記の転送されたデータ数と、最初に設定されたデータ数との一致を監視する。監視ステップＳ８は、例えば、関心領域設定部７の機能を果たす上位装置が実施する。一致を確認できたとき、１回の画像データの取得および転送が終了する。また、不一致を確認したとき、上位装置は、転送エラー処理ステップＳ９に進み、オペレータへのエラーの通知などを実施する。

この後、関心領域Ｑ１〜Ｑ８が変更されない間、画像転送装置１は、撮像ステップＳ５以降を繰り返す。また、関心領域Ｑ１〜Ｑ８が変更されたときに、画像転送装置１は、初期設定ステップＳ１に戻って、一連の演算処理を再度実施する。

実施形態の画像転送方法は、被写体を撮像して得られる画像データの一部を、出力可能な形状を有しかつ相互の重複が許容されない領域である複数の出力領域に分割してイメージセンサ２から出力し、メモリ８に転送する画像転送方法であって、所望する画像データの領域範囲がそれぞれ設定されかつ相互の重複が許容される領域である複数の関心領域Ｑ１〜Ｑ８を出力領域Ｒａ〜Ｒｍに変換して、出力領域Ｒａ〜Ｒｍの領域数が出力可能な最大能力数（８領域）を超えている場合に、２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）を包含する新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３を再設定し、２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）を新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３に置き換えて出力領域Ｒ１〜Ｒ７に変換する関心領域結合処理を１回以上実施して、出力領域Ｒ１〜Ｒ７の領域数を最大能力数（８領域）以下まで削減する。

これによれば、最初に設定された複数の関心領域を出力領域に変換したときの領域数が最大能力数を超えていない場合には、直ちに画像データをイメージセンサ２から出力してメモリ８に転送できる。また、出力領域Ｒａ〜Ｒｍの領域数が最大能力数（８領域）を超えている場合には、関心領域結合処理を１回以上実施する。最初に設定された関心領域Ｑ１〜Ｑ８の領域数が多数のときや重複状況が複雑なときに処理の実施回数は増加するが、最終的に出力領域Ｒ１〜Ｒ７の領域数を最大能力数（８領域）以下まで削減できる。これにより、イメージセンサ２でのエラーを回避して画像データを出力し、メモリ８に転送できるようになる。したがって、出力領域の領域数に最大能力数（８領域）の制約があっても、設定された関心領域Ｑ１〜Ｑ８の領域数や重複状況に関わりなく、関心領域Ｑ１〜Ｑ８を包含した画像データの転送が可能になる。また、イメージセンサ２で得られた画像データのうち関心領域Ｑ１〜Ｑ８を包含した一部を転送するので、画像データの全体を転送する場合と比較して転送所要時間を短縮できる。

さらに、実施形態の画像転送方法では、出力領域Ｒａ〜Ｒｍ、Ｒ１〜Ｒ７の形状および関心領域Ｑ１〜Ｑ８の形状は共に長方形であり、他と重複しない孤立した関心領域をそのまま出力領域に変換し、少なくとも一部が相互に重複する２個の関心領域（Ｂ１とＢ２、Ｂ３とＢ４、Ｂ５とＢ６）を１個〜３個の出力領域（Ａ１〜Ａ３、Ａ４とＡ５、Ａ６）に変換する。

これによれば、イメージセンサ２の二次元配置された撮像素子２２１に対して転送制御の効率が良好な長方形の出力領域を設定するので、転送所要時間を顕著に短縮できる。

さらに、実施形態の画像転送方法では、関心領域結合処理で２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）を包含する新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３を再設定する際に、新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３に含まれかつ２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）に含まれない領域であるマスク領域Ｍ１〜Ｍ７の面積が小さくなるように、２個の関心領域の組合せとして、
１）２個の関心領域の離間距離が小さい組合せ
２）２個の関心領域の重心位置の相互間距離が小さい組合せ
３）面積が最も小さい関心領域とその周りのいずれかの関心領域との組合せ
４）２個の関心領域の相互に重複する面積が大きい組合せ
のいずれかを選択する。

これによれば、転送を必要としない冗長性のあるマスク領域Ｍ１〜Ｍ７の面積を小さくできる。したがって、転送する画像データのデータ数の増加を抑制して、転送所要時間を顕著に短縮できる。

さらに、実施形態の画像転送方法では、関心領域結合処理の後に、新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３に含まれかつ元になった２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）に含まれない領域であるマスク領域Ｍ１〜Ｍ７を演算し、画像データの一部を最大能力数（８領域）以下の出力領域Ｒ１〜Ｒ７に分割してイメージセンサ２から出力した後にメモリ８に転送する途中で、マスク領域Ｍ１〜Ｍ７の画像データを削除する。

これによれば、最初に設定された関心領域Ｑ１〜Ｑ８に相当する画像データのみをメモリ８まで転送して、冗長性のある画像データは転送途中で削除する。したがって、メモリ８の使用量を必要最小限にできる。

さらに、実施形態の画像転送方法では、メモリ８に転送された画像データのデータ数と、最初に設定された複数の関心領域Ｑ１〜Ｑ８の画像データのデータ数とを比較して、一致しないときに転送エラーと判定する。

これによれば、何らかの原因で所望する関心領域Ｑ１〜Ｑ８の画像データの一部を転送できなかったときや、意図しない余分な画像データが混入したときに、転送エラーを検出できる。したがって、画像データの転送時の冗長性を排除しつつ、転送信頼性を向上できる。

さらに、実施形態の画像転送方法は、最初に設定された複数の関心領域Ｑ１〜Ｑ８を出力領域Ｒａ〜Ｒｍに変換する初期設定ステップＳ１と、出力領域Ｒａ〜Ｒｍの領域数が前記最大能力数（８領域）を超えているか否かを判定する判定ステップＳ２と、判定ステップＳ２で出力領域Ｒａ〜Ｒｍの領域数が最大能力数（８領域）を超えている場合に、関心領域結合処理を実施する再設定ステップＳ３と、再設定ステップＳ３の後にマスク領域Ｍ１〜Ｍ７を演算して、判定ステップＳ２に戻るマスク演算ステップＳ４と、判定ステップＳ２で出力領域Ｒ１〜Ｒ７の領域数が最大能力数（８領域）以下である場合に、画像データの一部をその時点に設定されている最大能力数以下の出力領域Ｒ１〜Ｒ７に分割してイメージセンサ２から出力する出力ステップＳ６と、出力ステップＳ６で出力された画像データからマスク領域Ｍ１〜Ｍ７の画像データを削除してメモリ８に転送するマスク削除ステップＳ７と、メモリ８に転送された画像データのデータ数と、最初に設定された複数の関心領域Ｑ１〜Ｑ８の画像データのデータ数とを比較して、一致しないときに転送エラーと判定する監視ステップＳ８と、を有する。

これによれば、これらのステップＳ１〜Ｓ８は、オペレータを介さずに自動で実施される。したがって、実施形態の画像転送方法は、基板生産ラインやその他の製品の生産ラインで好適に実施され、生産ラインの自動化および高効率化に貢献する。

また、実施形態の画像転送装置１は、被写体を撮像して得られる画像データの一部を、出力可能な形状を有しかつ相互の重複が許容されない領域である複数の出力領域に分割してイメージセンサ２から出力し、メモリ８に転送する画像転送装置であって、画像データの一部を複数の出力領域に分割して出力するイメージセンサ２と、所望する画像データの領域範囲がそれぞれ設定されかつ相互の重複が許容される領域である複数の関心領域Ｑ１〜Ｑ８を出力領域Ｒａ〜Ｒｍに変換して、出力領域Ｒａ〜Ｒｍの領域数が出力可能な最大能力数（８領域）を超えている場合に、２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）を包含する新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３を再設定し、２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）を新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３に置き換えて出力領域Ｒ１〜Ｒ７に変換する関心領域結合処理を１回以上実施して、出力領域Ｒ１〜Ｒ７の領域数を前記最大能力数（８領域）以下まで削減する出力領域演算処理部３と、最大能力数（８領域）以下まで削減された出力領域Ｒ１〜Ｒ７の情報を記憶して、イメージセンサ２に指令する記憶指令部５と、を備えた。

これによれば、本発明の実施形態は、方法でなく画像転送装置１としても実施でき、実施形態の画像転送方法と同様の効果が発生する。すなわち、実施形態の画像転送装置１では、出力領域の領域数に最大能力数（８領域）の制約があっても、設定された関心領域Ｑ１〜Ｑ８の領域数や重複状況に関わりなく、関心領域Ｑ１〜Ｑ８を包含した画像データの転送が可能になる。また、イメージセンサ２で得られた画像データのうち関心領域Ｑ１〜Ｑ８を包含した一部を転送するので、画像データの全体を転送する場合と比較して転送所要時間を短縮できる。

さらに、実施形態の画像転送装置１は、関心領域結合処理の後に、新たな関心領域Ｑ１１、Ｑ１２、Ｑ１３に含まれかつ元になった２個の関心領域（Ｑ１とＱ２、Ｑ３とＱ４、Ｑ５とＱ６）に含まれない領域であるマスク領域Ｍ１〜Ｍ７を演算するマスク演算部４と、イメージセンサ２から出力された画像データからマスク領域Ｍ１〜Ｍ７の画像データを削除してメモリ８に転送するマスク削除部６と、をさらに備え、記憶指令部５は、マスク領域Ｍ１〜Ｍ７の情報を記憶して、マスク削除部６に指令する。

これによれば、最初に設定された関心領域Ｑ１〜Ｑ８に相当する画像データのみをメモリ８まで転送して、冗長性のある画像データは途中で削除する。したがって、メモリ８の使用量を必要最小限にできる。

なお、実施形態の画像転送装置１において、マスク演算部４およびマスク削除部６は、省略してもよい。同様に、実施形態の画像転送方法において、マスク演算ステップＳ４、マスク削除ステップＳ７、監視ステップＳ８、および転送エラー処理ステップＳ９は、省略してもよい。このように、マスク領域Ｍ１〜Ｍ７に関する演算処理を省略しても、関心領域Ｑ１〜Ｑ８を包含した画像データの転送は確実に行える。ただし、転送する画像データのデータ数が若干増加する場合が生じ得る。その他にも、本発明はさまざまな応用や変形が可能である。

本発明は、背景技術で説明した基板生産装置や基板生産方法に利用することで顕著な効果が発生する。これに限定されず、本発明の画像転送方法は、幅広い産業分野の製造方法や工作方法、検査方法などに利用できる。また、本発明の画像転送装置は、幅広い産業分野の製造装置や工作装置、検査装置などに組み込んで利用できる。

１：画像転送装置
２：イメージセンサ ２１：ピクセルアレイ ２１１：撮像素子
２２：Ｘ軸走査回路 ２３：Ｙ軸走査回路 ２４：前処理部 ２５：ＡＤ変換器
３：出力領域演算処理部 ４：マスク演算部 ５：記憶指令部 ６：マスク削除部
７：関心領域設定部 ８：メモリ
Ａ１〜Ａ６：第１〜第６出力領域
Ｂ１〜Ｂ６：第１〜第６関心領域
Ｑ１〜Ｑ８：最初に設定された関心領域
Ｑ１１、Ｑ１２、Ｑ１３：再設定された新たな関心領域
Ｒａ〜Ｒｍ、Ｒ１〜Ｒ７：出力領域

Claims (8)

1. 被写体を撮像して得られる画像データの一部を、出力可能な形状を有しかつ相互の重複が許容されない領域である複数の出力領域に分割してイメージセンサから出力し、メモリに転送する画像転送方法であって、
   所望する画像データの領域範囲がそれぞれ設定されかつ相互の重複が許容される領域である複数の関心領域を前記出力領域に変換して、前記出力領域の領域数が出力可能な最大能力数を超えている場合に、
   少なくとも２個の関心領域を包含する新たな関心領域を再設定し、前記少なくとも２個の関心領域を前記新たな関心領域に置き換えて前記出力領域に変換する関心領域結合処理、ならびに、少なくとも２個の出力領域を包含する新たな出力領域を設定し、前記少なくとも２個の出力領域を前記新たな出力領域に置き換える出力領域結合処理の少なくとも一方の処理を１回以上実施して、前記出力領域の領域数を前記最大能力数以下まで削減する画像転送方法。
2. 前記出力領域の形状および前記関心領域の形状は共に長方形であり、他と重複しない孤立した関心領域をそのまま出力領域に変換し、少なくとも一部が相互に重複する２個の関心領域を１個〜３個の出力領域に変換する請求項１に記載の画像転送方法。
3. 前記関心領域結合処理で２個の関心領域を包含する新たな関心領域を再設定する際に、前記新たな関心領域に含まれかつ前記２個の関心領域に含まれない領域であるマスク領域の面積が小さくなるように、前記２個の関心領域の組合せとして、
   １）２個の関心領域の離間距離が小さい組合せ、
   ２）２個の関心領域の重心位置の相互間距離が小さい組合せ、
   ３）面積が最も小さい関心領域とその周りのいずれかの関心領域との組合せ、
   ４）２個の関心領域の相互に重複する面積が大きい組合せ、
   のいずれかを選択する請求項１または２に記載の画像転送方法。
4. 前記関心領域結合処理の後に、前記新たな関心領域に含まれかつ前記少なくとも２個の関心領域に含まれない領域であるマスク領域を演算し、
   前記出力領域結合処理の後に、前記新たな出力領域に含まれかつ前記少なくとも２個の出力領域に含まれない領域であるマスク領域を演算し、
   前記画像データの一部を前記最大能力数以下の出力領域に分割して前記イメージセンサから出力した後にメモリに転送する途中で、前記マスク領域の画像データを削除する請求項１〜３のいずれか一項に記載の画像転送方法。
5. 前記メモリに転送された画像データのデータ数と、最初に設定された複数の関心領域の画像データのデータ数とを比較して、一致しないときに転送エラーと判定する請求項４に記載の画像転送方法。
6. 前記最初に設定された複数の関心領域を前記出力領域に変換する初期設定ステップと、
   前記出力領域の領域数が前記最大能力数を超えているか否かを判定する判定ステップと、
   前記判定ステップで前記出力領域の領域数が前記最大能力数を超えている場合に、前記関心領域結合処理ならびに前記出力領域結合処理の少なくとも一方の処理を実施する再設定ステップと、
   前記再設定ステップの後に前記マスク領域を演算して、前記判定ステップに戻るマスク演算ステップと、
   前記判定ステップで前記出力領域の領域数が前記最大能力数以下である場合に、前記画像データの一部をその時点に設定されている前記最大能力数以下の出力領域に分割して前記イメージセンサから出力する出力ステップと、
   前記出力ステップで出力された画像データから前記マスク領域の画像データを削除して前記メモリに転送するマスク削除ステップと、
   前記メモリに転送された画像データのデータ数と、前記最初に設定された複数の関心領域の画像データのデータ数とを比較して、一致しないときに転送エラーと判定する監視ステップと、
   を有する請求項５に記載の画像転送方法。
7. 被写体を撮像して得られる画像データの一部を、出力可能な形状を有しかつ相互の重複が許容されない領域である複数の出力領域に分割してイメージセンサから出力し、メモリに転送する画像転送装置であって、
   前記画像データの一部を前記複数の出力領域に分割して出力するイメージセンサと、
   所望する画像データの領域範囲がそれぞれ設定されかつ相互の重複が許容される領域である複数の関心領域を前記出力領域に変換して、前記出力領域の領域数が出力可能な最大能力数を超えている場合に、少なくとも２個の関心領域を包含する新たな関心領域を再設定し、前記少なくとも２個の関心領域を前記新たな関心領域に置き換えて前記出力領域に変換する関心領域結合処理、ならびに、少なくとも２個の出力領域を包含する新たな出力領域を設定し、前記少なくとも２個の出力領域を前記新たな出力領域に置き換える出力領域結合処理の少なくとも一方の処理を１回以上実施して、前記出力領域の領域数を前記最大能力数以下まで削減する出力領域演算処理部と、
   前記最大能力数以下まで削減された出力領域の情報を記憶して、前記イメージセンサに指令する記憶指令部と、
   を備えた画像転送装置。
8. 前記関心領域結合処理の後に、前記新たな関心領域に含まれかつ前記少なくとも２個の関心領域に含まれない領域であるマスク領域を演算し、ならびに、前記出力領域結合処理の後に、前記新たな出力領域に含まれかつ前記少なくとも２個の出力領域に含まれない領域であるマスク領域を演算するマスク演算部と、
   前記イメージセンサから出力された画像データから前記マスク領域の画像データを削除して前記メモリに転送するマスク削除部と、をさらに備え、
   前記記憶指令部は、前記マスク領域の情報を記憶して、前記マスク削除部に指令する請求項７に記載の画像転送装置。

Images