JP2006226676A - Apparatus and method for mark recognition - Google Patents

Apparatus and method for mark recognition Download PDF

Info

Publication number
JP2006226676A
JP2006226676A JP2005037089A JP2005037089A JP2006226676A JP 2006226676 A JP2006226676 A JP 2006226676A JP 2005037089 A JP2005037089 A JP 2005037089A JP 2005037089 A JP2005037089 A JP 2005037089A JP 2006226676 A JP2006226676 A JP 2006226676A
Authority
JP
Japan
Prior art keywords
mark
recognition
alignment
recognizing
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005037089A
Other languages
Japanese (ja)
Inventor
Yasushi Tomita
安 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005037089A priority Critical patent/JP2006226676A/en
Publication of JP2006226676A publication Critical patent/JP2006226676A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Exposure And Positioning Against Photoresist Photosensitive Materials (AREA)
  • Exposure Of Semiconductors, Excluding Electron Or Ion Beam Exposure (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an apparatus and a method for mark recognition capable of stably and accurately recognizing the positions of a plurality of alignment marks, even when the plurality of alignment marks are present, in an overlapped state in image data. <P>SOLUTION: A mark vertical sequential position determination part 32 automatically determines the vertical sequential positions of the plurality of alignment marks and recognizes the position of an alignment mark A of upper position. A mask processing image generating part 34 creates mask processing image data through the use of a mask region of the alignment mark of the upper position. A lower-position mark position recognizing part 35 recognizes the position of the alignment mark of a lower position through the use of the mask processing image data. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ガラス基板に形成されたアライメントマークを認識するマーク認識装置およびマーク認識方法に関し、特に、重ね合わされたガラス基板にそれぞれ形成されたアライメントマークの位置をそれぞれ認識するマーク認識装置およびマーク認識方法に関する。   The present invention relates to a mark recognition apparatus and a mark recognition method for recognizing an alignment mark formed on a glass substrate, and in particular, a mark recognition apparatus and a mark recognition for recognizing the position of each alignment mark formed on an overlapped glass substrate. Regarding the method.

図14は、従来のマーク認識方法を説明するためのフローチャートである。
取り込んだ画像データから所定のマークを認識するマーク認識方法としては、マークのエッジに基づいて認識する方法や、マークの重心位置から認識する方法や、パターンマッチングによって認識する方法が従来から用いられている。
FIG. 14 is a flowchart for explaining a conventional mark recognition method.
As a mark recognition method for recognizing a predetermined mark from captured image data, a method for recognizing based on the edge of the mark, a method for recognizing from the center of gravity of the mark, and a method for recognizing by pattern matching have been conventionally used. Yes.

マークのエッジに基づいて認識する方法は、図14を参照すると、マークを含んだ画像を取り込み(ステップB1)、取り込んだ画像データから認識する対象物のエッジを抽出し(ステップB2)、抽出されたエッジから任意の3点の候補点を抽出し(ステップB3)、予測される円の中心点を目標点として抽出することで(ステップB4)、マークの位置を認識するものである(例えば、特許文献1参照)。   As for a method for recognizing based on the edge of the mark, referring to FIG. 14, an image including the mark is captured (step B1), and the edge of the object to be recognized is extracted from the captured image data (step B2). 3 candidate points are extracted from the detected edges (step B3), and the center point of the predicted circle is extracted as the target point (step B4), thereby recognizing the position of the mark (for example, Patent Document 1).

また、マークの重心位置から認識する方法は、画像データを2値化処理した後、その重心位置を検出し、重心位置に基づいてマーク位置を認識するものであり、さらに、パターンマッチングによって認識する方法は、登録されたマークのテンプレート画像との相関値を算出し、座標を探索することによってマーク位置を認識するものである。   Further, the method of recognizing from the center of gravity position of the mark is to binarize the image data, detect the center of gravity position, recognize the mark position based on the center of gravity position, and further recognize by pattern matching. The method is to recognize a mark position by calculating a correlation value between a registered mark and a template image and searching for coordinates.

しかしながら、2枚のガラス基板を重ねた状態で各ガラス基板に形成されたアライメントマークの位置を認識する際には、2つのアライメントマークが重なり合う場合がある。このように2つのアライメントマークが重なり合う場合には、カメラ視線方向に対して下側のガラス基板に形成されているアライメントマークを認識する場合に、上側のガラス基板に形成されているアライメントマークが影響し、認識精度が低下するという問題点があった。   However, when recognizing the position of the alignment mark formed on each glass substrate in a state where the two glass substrates are overlapped, the two alignment marks may overlap. When the two alignment marks overlap in this way, the alignment mark formed on the upper glass substrate has an effect when recognizing the alignment mark formed on the lower glass substrate with respect to the camera viewing direction. However, there is a problem that the recognition accuracy is lowered.

すなわち、マークのエッジに基づいて認識する方法では、形状を円形に限定しておりかつエッジ点の選択において他マークのエッジ点が選択された場合、認識されるマークの位置に誤差が生じるため、認識精度が低下してしまう。また、マークの重心位置から認識する方法では、遮蔽部分の影響でマーク形状が完全なものでなくなり、重心位置と中心位置とが一致せず、認識されるマークの位置に誤差が生じてしまうため、認識精度が低下してしまう。さらに、パターンマッチングによって認識する方法では、遮蔽部分の影響で登録しているテンプレート画像との相関値が低下し、検出精度が低下するため、認識精度が低下してしまう。   That is, in the method of recognizing based on the edge of the mark, when the shape is limited to a circle and the edge point of another mark is selected in the selection of the edge point, an error occurs in the position of the recognized mark. Recognition accuracy is reduced. Also, in the method of recognizing from the center of gravity position of the mark, the mark shape becomes incomplete due to the influence of the shielding part, the center of gravity position does not match the center position, and an error occurs in the position of the recognized mark. The recognition accuracy will be reduced. Furthermore, in the method of recognizing by pattern matching, the correlation value with the registered template image is lowered due to the influence of the shielding part, and the detection accuracy is lowered, so that the recognition accuracy is lowered.

なお、2枚のガラス基板を重ねた状態で各ガラス基板に形成されたアライメントマークの位置を認識する方法としては、一方のガラス基板に形成されたアライメントマークの画像データを取り込んだ後に、さらに2枚のガラス基板を重ねた状態で重なったアライメントマークの画像データを取り込むことによって、個々のアライメントマークの位置を認識する方法が提案されている(例えば、特許文献2参照)。しかしながら、この方法では、2回に分けて画像データを取り込む必要があり、アライメントマークの認識処理に係る作業が繁雑になってしまう。
特開平9−178427号公報 特開平7−306007号公報
In addition, as a method of recognizing the position of the alignment mark formed on each glass substrate in a state where the two glass substrates are overlapped, after the image data of the alignment mark formed on one glass substrate is taken, 2 There has been proposed a method of recognizing the position of each alignment mark by capturing image data of alignment marks that are overlapped in a state where a plurality of glass substrates are stacked (see, for example, Patent Document 2). However, in this method, it is necessary to capture image data in two steps, and the work related to the alignment mark recognition process becomes complicated.
JP-A-9-178427 JP-A-7-306007

本発明は斯かる問題点に鑑みてなされたものであり、その目的とするところは、画像データ内に複数アライメントマークが重なった状態で存在する場合にも、それぞれのアライメントマークの位置を安定的にかつ正確に認識することができるマーク認識装置およびマーク認識方法を提供する点にある。   The present invention has been made in view of such a problem, and an object of the present invention is to stably position each alignment mark even when a plurality of alignment marks are overlapped in image data. The present invention is to provide a mark recognition device and a mark recognition method that can be recognized easily and accurately.

本発明は上記課題を解決すべく、以下に掲げる構成とした。
請求項1記載の発明の要旨は、上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識装置であって、最上位の前記アライメントマークの位置を認識する上位マーク位置認識手段と、該上位マーク位置認識手段による最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識する下位マーク位置認識手段とを具備することを特徴とするマーク認識装置に存する。
また請求項2記載の発明の要旨は、前記下位マーク位置認識手段は、位置を認識した前記下位マークよりもさらに下位の前記アライメントマークが存在する場合には、位置を認識した前記下位マークの認識情報を前記上位マークの認識情報として用いて、一層下の前記アライメントマークの位置を認識することを特徴とする請求項1記載のマーク認識装置に存する。
また請求項3記載の発明の要旨は、前記2次元画像データを用いて複数の前記アライメントマークの上下順序を判定する上下順序判定手段を具備することを特徴とする請求項1又は2記載のマーク認識装置に存する。
また請求項4記載の発明の要旨は、前記上下順序判定手段は、複数の前記アライメントマークを個別に認識処理した結果から得られたそれぞれの相関値を用いて、前記アライメントマークの上下順序を判定することを特徴とする請求項1乃至3のいずれかに記載のマーク認識装置に存する。
また請求項5記載の発明の要旨は、前記下位マーク位置認識手段は、前記上位マークの認識情報として、前記2次元画像データ上の前記上位マーク部分を認識処理の相関値計算の対象から除外するためのマスク領域を用いることを特徴とする請求項1乃至4のいずれかに記載のマーク認識装置に存する。
また請求項6記載の発明の要旨は、前記マスク領域としては、前記上位マークの位置認識に用いたテンプレート画像のサイズと一致する領域が用いられることを特徴とする請求項5記載のマーク認識装置に存する。
また請求項7記載の発明の要旨は、前記マスク領域としては、前記上位マークの領域が用いられることを特徴とする請求項5記載のマーク認識装置に存する。
また請求項8記載の発明の要旨は、前記マスク領域としては、前記上位マークの形状と一致する領域が用いられることを特徴とする請求項7記載のマーク認識装置に存する。
また請求項9記載の発明の要旨は、前記マスク領域としては、前記上位マークの形状と一致する領域に拡大処理を施した領域が用いられることを特徴とする請求項7記載のマーク認識装置に存する。
また請求項10記載の発明の要旨は、前記マスク領域としては、前記上位マークの位置認識に用いた輪郭エッジのテンプレート画像を穴埋め処理した領域が用いられることを特徴とする請求項5記載のマーク認識装置に存する。
また請求項11記載の発明の要旨は、上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法であって、最上位の前記アライメントマークの位置を認識し、該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識することを特徴とするマーク認識方法に存する。
また請求項12記載の発明の要旨は、位置を認識した前記下位マークよりもさらに下位の前記アライメントマークが存在する場合には、位置を認識した前記下位マークの認識情報を前記上位マークの認識情報として用いて、一層下の前記アライメントマークの位置を認識することを特徴とする請求項11記載のマーク認識方法に存する。
また請求項13記載の発明の要旨は、前記2次元画像データを用いて複数の前記アライメントマークの上下順序を判定することを特徴とする請求項11又は12記載のマーク認識方法に存する。
また請求項14記載の発明の要旨は、複数の前記アライメントマークを個別に認識処理した結果から得られたそれぞれの相関値を用いて、前記アライメントマークの上下順序を判定することを特徴とする請求項11乃至13のいずれかに記載のマーク認識方法に存する。
また請求項15記載の発明の要旨は、前記上位マークの認識情報として、前記2次元画像データ上の前記上位マーク部分を認識処理の相関値計算の対象から除外するためのマスク領域を用いることを特徴とする請求項11乃至14のいずれかに記載のマーク認識方法に存する。
また請求項16記載の発明の要旨は、前記マスク領域として、前記上位マークの位置認識に用いたテンプレート画像のサイズと一致する領域を用いることを特徴とする請求項15記載のマーク認識方法に存する。
また請求項17記載の発明の要旨は、前記マスク領域として、前記上位マークの領域を用いることを特徴とする請求項15記載のマーク認識方法に存する。
また請求項18記載の発明の要旨は、前記マスク領域として、前記上位マークの形状と一致する領域を用いることを特徴とする請求項17記載のマーク認識方法に存する。
また請求項19記載の発明の要旨は、前記マスク領域として、前記上位マークの形状と一致する領域に拡大処理を施した領域を用いることを特徴とする請求項17記載のマーク認識方法に存する。
また請求項20記載の発明の要旨は、前記マスク領域として、前記上位マークの位置認識に用いた輪郭エッジのテンプレート画像を穴埋め処理した領域を用いることを特徴とする請求項15記載のマーク認識方法に存する。
また請求項21記載の発明の要旨は、上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法をコンピュータに実行させるプログラムであって、最上位の前記アライメントマークの位置を認識する上位マーク位置認識処理と、該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識する下位マーク位置認識処理とをコンピュータに実行させることを特徴とするプログラムに存する。
また請求項22記載の発明の要旨は、上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法をコンピュータに実行させるプログラムであって、最上位の前記アライメントマークの位置を認識する上位マーク位置認識処理と、該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識すると共に、位置を認識した前記下位マークよりもさらに下位の前記アライメントマークが存在する場合には、位置を認識した前記下位マークの認識情報を前記上位マークの認識情報として用いて、一層下の前記アライメントマークの位置を認識する下位マーク位置認識処理とをコンピュータに実行させることを特徴とするプログラムに存する。
また請求項23記載の発明の要旨は、上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法をコンピュータに実行させるプログラムであって、前記2次元画像データを用いて複数の前記アライメントマークの上下順序を判定する上下順序判定処理と、該上下順序判定処理によって判定された最上位の前記アライメントマークの位置を認識する上位マーク位置認識処理と、該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識する下位マーク位置認識処理とをコンピュータに実行させることを特徴とするプログラムに存する。
In order to solve the above problems, the present invention has the following configurations.
The gist of the invention described in claim 1 is a mark recognition for recognizing the positions of a plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in a vertical order. An upper mark position recognizing unit for recognizing the position of the uppermost alignment mark, and using the recognition information of the uppermost alignment mark by the upper mark position recognizing unit as the upper mark recognition information, The mark recognition apparatus includes lower mark position recognition means for recognizing the position of the lower mark which is the lower alignment mark.
The lower mark position recognizing means recognizes the lower mark whose position has been recognized when the lower alignment mark exists than the lower mark whose position has been recognized. 2. The mark recognition apparatus according to claim 1, wherein information is used as recognition information of the upper mark to recognize a position of the alignment mark below.
The gist of the invention described in claim 3 is the mark according to claim 1 or 2, further comprising an up / down order determining means for determining the up / down order of the plurality of alignment marks using the two-dimensional image data. It exists in the recognition device.
According to a fourth aspect of the present invention, the vertical order determination means determines the vertical order of the alignment marks using each correlation value obtained from the result of individually recognizing the plurality of alignment marks. A mark recognition apparatus according to any one of claims 1 to 3, wherein
According to a fifth aspect of the invention, the lower mark position recognizing means excludes the upper mark portion on the two-dimensional image data from the correlation value calculation target of the recognition process as the upper mark recognition information. 5. A mark recognition apparatus according to claim 1, wherein a mask area is used.
The gist of the invention described in claim 6 is that the area corresponding to the size of the template image used for position recognition of the upper mark is used as the mask area. Exist.
The gist of the invention described in claim 7 resides in the mark recognition apparatus according to claim 5, wherein the upper mark area is used as the mask area.
The gist of the invention according to claim 8 resides in the mark recognition apparatus according to claim 7, wherein an area that matches the shape of the upper mark is used as the mask area.
The gist of the invention according to claim 9 is the mark recognition apparatus according to claim 7, wherein a region obtained by enlarging the region that matches the shape of the upper mark is used as the mask region. Exist.
The tenth aspect of the present invention is the mark according to the fifth aspect, wherein the mask region is a region in which a template image of a contour edge used for position recognition of the upper mark is filled. It exists in the recognition device.
The gist of the invention described in claim 11 is a mark for recognizing the position of each of the plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks that are stacked in an up-down order. A recognition method for recognizing the position of the uppermost alignment mark and using the recognized recognition information of the uppermost alignment mark as upper mark recognition information, The mark recognition method is characterized by recognizing the position of the mark.
According to a twelfth aspect of the present invention, when there is an alignment mark that is lower than the position-recognized lower mark, the position-recognized information of the position-recognized mark is used as the position-recognition information. The mark recognition method according to claim 11, wherein the position of the alignment mark below is recognized.
The gist of the invention described in claim 13 resides in the mark recognition method according to claim 11 or 12, wherein the two-dimensional image data is used to determine the order of the plurality of alignment marks.
The gist of the invention described in claim 14 is that the vertical order of the alignment marks is determined using the correlation values obtained from the result of individually recognizing the plurality of alignment marks. Item 14. The mark recognition method according to any one of Items 11 to 13.
The gist of the invention described in claim 15 is that a mask area for excluding the upper mark portion on the two-dimensional image data from the object of correlation value calculation of recognition processing is used as the recognition information of the upper mark. The mark recognition method according to any one of claims 11 to 14, wherein the mark recognition method is provided.
The gist of the invention described in claim 16 resides in the mark recognition method according to claim 15, wherein an area that matches the size of the template image used for position recognition of the upper mark is used as the mask area. .
The gist of the invention according to claim 17 resides in the mark recognition method according to claim 15, wherein the upper mark area is used as the mask area.
The gist of the invention according to claim 18 resides in the mark recognition method according to claim 17, characterized in that an area that matches the shape of the upper mark is used as the mask area.
The gist of the invention according to claim 19 resides in the mark recognition method according to claim 17, characterized in that an area obtained by enlarging the area that matches the shape of the upper mark is used as the mask area.
The gist of the invention according to claim 20 is the mark recognition method according to claim 15, wherein an area obtained by filling a template image of a contour edge used for position recognition of the upper mark is used as the mask area. Exist.
The gist of the invention described in claim 21 is a mark for recognizing the position of each of the plurality of alignment marks by using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in an up-down order. A program for causing a computer to execute a recognition method, which uses upper mark position recognition processing for recognizing the position of the uppermost alignment mark, and uses the recognized uppermost alignment mark recognition information as upper mark recognition information. Thus, the present invention resides in a program for causing a computer to execute a lower mark position recognition process for recognizing the position of a lower mark, which is the lower alignment mark.
According to a twenty-second aspect of the present invention, there is provided a mark for recognizing the position of each of the plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in a vertical order. A program for causing a computer to execute a recognition method, which uses upper mark position recognition processing for recognizing the position of the uppermost alignment mark, and uses the recognized uppermost alignment mark recognition information as upper mark recognition information. Then, the position of the lower mark, which is the lower alignment mark, is recognized, and if the lower alignment mark exists than the lower mark where the position is recognized, the lower mark is recognized when the position is recognized. Using the information as recognition information for the upper mark, the lower alignment Resides in a program, characterized in that to execute the recognizing lower mark position recognition process the position of the mark to the computer.
The subject matter of claim 23 is a mark for recognizing the position of each of the plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in an up-down order. A program for causing a computer to execute a recognition method, wherein a vertical order determination process for determining the vertical order of the plurality of alignment marks using the two-dimensional image data, and the highest order determined by the vertical order determination process The upper mark position recognition process for recognizing the position of the alignment mark and the recognized uppermost alignment mark recognition information are used as upper mark recognition information to recognize the position of the lower mark, which is the lower alignment mark. The lower mark position recognition processing to be executed is executed by a computer. It resides in the program.

本発明のマーク認識装置およびマーク認識方法は、複数のアライメントマークの上下順序から、上位のマーク位置認識を行い、その結果をマスク領域とし、下位のマークの位置認識を上位マークの情報を排除した状態で行うように構成することにより、画像データ内に複数アライメントマークが重なった状態で存在する場合にも、それぞれのアライメントマークの位置を安定的にかつ正確に認識することができるという効果を奏する。   The mark recognition apparatus and mark recognition method of the present invention recognizes the upper mark position from the upper and lower order of a plurality of alignment marks, uses the result as a mask area, and eliminates the upper mark information for lower mark position recognition. By performing the configuration in a state, even when a plurality of alignment marks are overlapped in the image data, the position of each alignment mark can be recognized stably and accurately. .

以下、本発明の実施の形態を図面に基づいて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明に係るマーク認識装置の第1の実施の形態の構成を示すブロック図であり、図2は、図1に示す画像処理装置の構成を示すブロック図である。   FIG. 1 is a block diagram showing the configuration of the first embodiment of the mark recognition apparatus according to the present invention, and FIG. 2 is a block diagram showing the configuration of the image processing apparatus shown in FIG.

第1の実施の形態は、図1を参照すると、カメラ1と、被写体に光を照射する照明2と、カメラ1によって撮像された画像データが入力される画像処理装置3とからなり、アライメントマークAが形成された上側ガラス基板4と、アライメントマークBが形成された下側ガラス基板5とが重ねられた状態で、カメラ1によって上側ガラス基板4からアライメントマークAおよびアライメントマークBが含まれる範囲の画像を撮像し、カメラ1によって取り込まれた映像信号を画像処理装置3で画像処理することによってアライメントマークAおよびアライメントマークBの位置を安定的にかつ正確に認識する。なお、図1には、カメラ1によって2層のアライメントマークAおよびアライメントマークBを撮像する例が示されているが、本発明は、3層以上のアライメントマークのそれぞれの位置を認識することができる。   Referring to FIG. 1, the first embodiment includes a camera 1, an illumination 2 that irradiates a subject with light, and an image processing device 3 to which image data captured by the camera 1 is input. Range in which the alignment mark A and the alignment mark B are included from the upper glass substrate 4 by the camera 1 in a state where the upper glass substrate 4 on which A is formed and the lower glass substrate 5 on which the alignment mark B is formed are overlapped. And the image processing device 3 performs image processing on the video signal captured by the camera 1 to recognize the positions of the alignment marks A and B stably and accurately. FIG. 1 shows an example in which two layers of alignment marks A and B are imaged by the camera 1, but the present invention recognizes the positions of alignment marks of three or more layers. it can.

画像処理装置3は、プログラムの制御により動作するコンピュータ等の情報処理装置であり、図2を参照すると、2次元画像変換部31と、画像メモリ311と、マーク上下順序判定部32と、マスク領域生成部33と、マスク処理画像生成部34と、画像メモリ341と、下位マーク位置認識部35と、マーク位置データ出力部36とからなる。   The image processing apparatus 3 is an information processing apparatus such as a computer that operates under the control of a program. Referring to FIG. 2, a two-dimensional image conversion unit 31, an image memory 311, a mark up / down order determination unit 32, a mask area The generation unit 33, the mask processing image generation unit 34, the image memory 341, the lower mark position recognition unit 35, and the mark position data output unit 36 are included.

2次元画像変換部31は、カメラ1から入力される映像信号を2次元画像データに変換し、変換した2次元画像データ(以下、入力画像データと称す)を画像メモリ311に記憶させる。   The two-dimensional image conversion unit 31 converts a video signal input from the camera 1 into two-dimensional image data, and stores the converted two-dimensional image data (hereinafter referred to as input image data) in the image memory 311.

マーク上下順序判定部32は、画像メモリ311に記憶された入力画像データを対象に、入力画像データに存在する複数のアライメントマークの上下順序を判定し、上下順序において最上位のアライメントマークの位置を認識する処理をプログラムに基づいて実行する。   The mark vertical order determination unit 32 determines the vertical order of a plurality of alignment marks existing in the input image data for the input image data stored in the image memory 311, and determines the position of the highest alignment mark in the vertical order. The recognition process is executed based on the program.

マスク領域生成部33は、上位に位置するアライメントマークの位置および形状データからマスク領域データを生成する処理をプログラムに基づいて実行する。   The mask area generation unit 33 executes a process of generating mask area data from the position and shape data of the alignment mark positioned at the upper level based on a program.

マスク処理画像生成部34は、マスク領域生成部33によって生成されたマスク領域データを用い、画像メモリ311に記憶された入力画像データに上位に位置するアライメントマークの領域に該当する部分に、マーク認識時に非対象とするコード値を設定する処理をプログラムに基づいて実行、生成した画像(以下、マスク処理画像データと称す)を画像メモリ341に記憶させる。   The mask processing image generation unit 34 uses the mask region data generated by the mask region generation unit 33 and recognizes a mark corresponding to a region corresponding to the region of the alignment mark positioned higher in the input image data stored in the image memory 311. A process of setting code values that are sometimes not targeted is executed based on a program, and the generated image (hereinafter referred to as mask processed image data) is stored in the image memory 341.

下位マーク位置認識部35は、画像メモリ341に記憶されたマスク処理画像データを対象に下位に位置するアライメントマークの位置を認識する処理をプログラムに基づいて実行する。   The lower mark position recognizing unit 35 executes a process for recognizing the position of the alignment mark positioned lower in the mask processed image data stored in the image memory 341 based on the program.

マーク位置データ出力部36は、マーク上下順序判定部32および下位マーク位置認識部35で認識された複数のアライメントマークの位置データを出力する処理をプログラムに基づいて実行する。   The mark position data output unit 36 executes a process of outputting position data of a plurality of alignment marks recognized by the mark up / down order determination unit 32 and the lower mark position recognition unit 35 based on a program.

次に、第1の実施の形態におけるアライメントマークの位置認識処理動作について図3を参照して説明する。
図3は、本発明に係るマーク認識装置の第1の実施の形態の動作を説明するためのフローチャートである。
Next, the alignment mark position recognition processing operation in the first embodiment will be described with reference to FIG.
FIG. 3 is a flowchart for explaining the operation of the first embodiment of the mark recognition apparatus according to the present invention.

まず、カメラ1で複数のアライメントマークが含まれる範囲の画像を撮像する(ステップA1)。撮像された映像信号は、2次元画像変換部31に入力され、2次元画像変換部31によって入力画像データに変換され、変換された入力画像データは、画像メモリ311に記憶される。   First, an image in a range including a plurality of alignment marks is captured by the camera 1 (step A1). The captured video signal is input to the two-dimensional image conversion unit 31, converted into input image data by the two-dimensional image conversion unit 31, and the converted input image data is stored in the image memory 311.

次に、マーク上下順序判定部32は、認識する複数のアライメントマークのテンプレート画像を用いて、画像メモリ311に記憶された入力画像データを対象に、各アライメントマークに対して位置認識処理を実行し、結果の相関値を比較し、複数のアライメントマークの上下順序を判定し(ステップA2)、認識された最上位のアライメントマークの位置認識を行い、認識した最上位のアライメントマークの位置データをマーク位置データ出力部36に出力する。   Next, the mark up / down order determination unit 32 executes position recognition processing for each alignment mark on the input image data stored in the image memory 311 using the template images of the plurality of alignment marks to be recognized. Compare the resulting correlation values, determine the vertical order of multiple alignment marks (step A2), recognize the position of the recognized uppermost alignment mark, and mark the position data of the recognized uppermost alignment mark The data is output to the position data output unit 36.

次に、マスク領域生成部33は、直近に位置認識が行われたアライメントマーク(以下、上位マークと称す)の位置データを用いて、上位マークの領域、すなわち上位マークが含まれる領域に上位マーク部分をマスクするマスク領域データを生成し(ステップA3)、生成したマスク領域データをマスク処理画像生成部34に出力する。   Next, the mask area generation unit 33 uses the position data of the alignment mark (hereinafter referred to as the upper mark) for which position recognition has been performed most recently, to the upper mark area, that is, the area including the upper mark. Mask area data for masking the portion is generated (step A3), and the generated mask area data is output to the mask processed image generation unit.

次に、マスク処理画像生成部34は、マスク領域生成部33から入力されたマスク領域データを用いて、画像メモリ311に記憶された入力画像データに認識対象外情報を設定する(ステップA4)。すなわち、マスク処理画像生成部34は、マスク領域生成部33から入力されたマスク領域データを用いて、入力画像データから上位マークの領域を認識処理の相関値計算の対象外とする情報を記述したマスク処理画像データを生成し、生成したマスク処理画像データを画像メモリ341に記憶させる。   Next, the mask processing image generation unit 34 sets the non-recognition information in the input image data stored in the image memory 311 using the mask region data input from the mask region generation unit 33 (step A4). That is, the mask processed image generation unit 34 describes information that excludes the region of the upper mark from the input image data from the correlation value calculation target using the mask region data input from the mask region generation unit 33. Mask processing image data is generated, and the generated mask processing image data is stored in the image memory 341.

次に、下位マーク位置認識部35は、画像メモリ341に記憶されたマスク処理画像データを入力とし、上位マークの1層下のアライメントマーク(以下、下位マークと称す)に対して位置認識処理を実行することで下位マークの位置認識を行い(ステップA5)、認識した下位マークの位置データをマーク位置データ出力部36に出力する。   Next, the lower mark position recognizing unit 35 receives the mask processing image data stored in the image memory 341, and performs position recognition processing on an alignment mark (hereinafter referred to as a lower mark) one layer below the upper mark. By executing this, the position of the lower mark is recognized (step A5), and the position data of the recognized lower mark is output to the mark position data output unit.

次に、ステップA5で認識された下位マークが最下位のアライメントマークであるか否かが判断され(ステップA6)、ステップA5で認識された下位マークが最下位のアライメントマークでない場合には、ステップA3に戻り、ステップA5で認識された下位マークが最下位のアライメントマークになるまでステップA3〜A6の処理が繰り返され、アライメントマークの位置が最上位から最下位まで順次認識されることになる。   Next, it is determined whether or not the lower mark recognized in step A5 is the lowest alignment mark (step A6). If the lower mark recognized in step A5 is not the lowest alignment mark, step Returning to A3, the processes in steps A3 to A6 are repeated until the lower mark recognized in step A5 becomes the lowest alignment mark, and the positions of the alignment marks are sequentially recognized from the highest to the lowest.

ステップA6において、ステップA5で認識された下位マークが最下位のアライメントマークである場合には、マーク位置データ出力部36は、マーク上下順序判定部32および下位マーク位置認識部35によって位置が認識された全アライメントマークの位置データを出力し(ステップA7)、アライメントマークの位置認識処理を終了する。   In step A6, when the lower mark recognized in step A5 is the lowest alignment mark, the mark position data output unit 36 recognizes the position by the mark up / down order determination unit 32 and the lower mark position recognition unit 35. The position data of all the alignment marks is output (step A7), and the alignment mark position recognition process is terminated.

次に、第1の実施の形態におけるアライメントマークが重なった状態、すなわち最上位もしくは上位マークにより下位マークの遮蔽が発生している入力画像データを対象とする動作について図4乃至図8を参照して説明する。
図4は、図2に示す2次元画像変換部によって変換された入力画像データ例を示す図であり、図5は、図2に示すマーク上下順序判定部および下位マーク位置認識部で用いられるテンプレート画像例を示す図であり、図6は、図2に示すマスク領域生成部によって生成されるマスク領域例を示す図であり、図7は、図2に示すマスク処理画像生成部によって生成されるマスク処理画像データ例を示す図であり、図8は、図2に示す下位マーク位置認識部で相関値を算出する領域例を示す図である。
Next, referring to FIG. 4 to FIG. 8 for the operation on the input image data in which the alignment marks in the first embodiment are overlapped, that is, the lower mark is blocked by the uppermost or upper mark. I will explain.
FIG. 4 is a diagram showing an example of input image data converted by the two-dimensional image conversion unit shown in FIG. 2, and FIG. 5 is a template used by the mark up / down order determination unit and the lower mark position recognition unit shown in FIG. 6 is a diagram illustrating an example of an image, FIG. 6 is a diagram illustrating an example of a mask region generated by the mask region generation unit illustrated in FIG. 2, and FIG. 7 is generated by the mask processing image generation unit illustrated in FIG. FIG. 8 is a diagram illustrating an example of mask processing image data. FIG. 8 is a diagram illustrating an example of a region in which a correlation value is calculated by the lower mark position recognition unit illustrated in FIG.

認識する複数のアライメントマークに関するそれぞれの形状および輝度の情報は、認識処理時に使用するテンプレート画像から得ることが可能である。それに対して入力画像データにおける複数のアライメントマークの上下順序関係は不明である場合がある。またアライメントマーク同士が部分的に重なり、遮蔽が発生する場合がある。 Information on the shape and brightness of the plurality of alignment marks to be recognized can be obtained from the template image used during the recognition process. On the other hand, the vertical order relationship of the plurality of alignment marks in the input image data may be unknown. In addition, the alignment marks may partially overlap and shielding may occur.

複数のアライメントマークの上下順序関係は不明であり、且つアライメントマーク同士が部分的に重なり、遮蔽が発生している場合の入力画像データ例を図4に示す。図4に示す入力画像データにおいては、2つのアライメントマークAおよびアライメントマークBが含まれていると共に、2つのアライメントマークAおよびアライメントマークBが部分的に重なっており、アライメントマークBに部分的な遮蔽が発生している。 FIG. 4 shows an example of input image data in the case where the vertical order relation of the plurality of alignment marks is unknown, and the alignment marks partially overlap and blockage occurs. In the input image data shown in FIG. 4, two alignment marks A and alignment marks B are included, and the two alignment marks A and alignment marks B partially overlap with each other. Shielding has occurred.

従来のマーク認識方法では、図4に示す入力画像データにおけるアライメントマークAおよびアライメントマークBの位置をそれぞれ認識する場合、マークのエッジに基づいて認識する方法を採用すると、アライメントマークAのエッジ点を選択するときに、重なっているアライメントマークBのエッジ点が選択される場合があり、認識されるアライメントマークの位置がずれてしまう。また、2値化処理を用いてマークの重心位置から認識する方法を採用する場合も、アライメントマークBの遮蔽部分が影響し、2値化による領域の重心位置とアライメントマークAの位置とがずれてしまい、さらに、テンプレート画像の輝度によるパターンマッチングによって認識する方法を採用する場合も、アライメントマークBの認識時にアライメントマークAの重なり部分が影響し、得られる相関値は低くなり、正しい位置からずれた位置を認識してしまうことがある。   In the conventional mark recognition method, when the positions of the alignment mark A and the alignment mark B in the input image data shown in FIG. 4 are recognized, if the method of recognizing based on the edge of the mark is adopted, the edge point of the alignment mark A is determined. When selecting, the edge point of the alignment mark B which overlaps may be selected, and the position of the recognized alignment mark will shift | deviate. Also, when adopting a method of recognizing from the center of gravity position of the mark using binarization processing, the shielding portion of the alignment mark B has an effect, and the center of gravity position of the area resulting from binarization and the position of the alignment mark A are shifted. In addition, even when a method of recognizing by pattern matching based on the brightness of the template image is adopted, the overlapping portion of the alignment mark A is affected at the time of recognition of the alignment mark B, and the obtained correlation value becomes low, and it is shifted from the correct position. May be recognized.

これに対して本発明に係るマーク認識装置の第1の実施の形態においては、まず、マーク上下順序判定部32により、入力画像データを対象にアライメントマークAおよびアライメントマークBの位置認識を、図5(a)に示すアライメントマークAのテンプレート画像と、図5(b)に示すアライメントマークBのテンプレート画像とを用いて行い、それぞれの処理結果の相関値を比較し、相関値の大きい順に上下順序を判定し、認識された最上位のアライメントマークの位置認識を行い、認識した最上位のアライメントマークの位置データをマーク位置データ出力部36に出力する。図4に示す入力画像データの場合、アライメントマークBはアライメントマークAとの重なりによる遮蔽部分があるため、相関値が低くなるため、上下順序は、上位からアライメントマークA、アライメントマークBになり、マーク上下順序判定部32によってアライメントマークAの位置認識が正確に行われる。   On the other hand, in the first embodiment of the mark recognition apparatus according to the present invention, first, the mark vertical order determination unit 32 recognizes the positions of the alignment marks A and B for the input image data. 5A is performed using the template image of the alignment mark A shown in FIG. 5A and the template image of the alignment mark B shown in FIG. 5B, and the correlation values of the respective processing results are compared. The order is determined, the position of the recognized uppermost alignment mark is recognized, and the position data of the recognized uppermost alignment mark is output to the mark position data output unit 36. In the case of the input image data shown in FIG. 4, since the alignment mark B has a shielding portion due to the overlap with the alignment mark A, the correlation value is low, so the upper and lower order is the alignment mark A and the alignment mark B from the top. The position recognition of the alignment mark A is accurately performed by the mark vertical order determination unit 32.

次に、マスク領域生成部33により、図6に示す認識された上位のアライメントマークAの位置にアライメントマークAのテンプレート画像のサイズと同じ領域データ(マスク領域)を生成する。次に、マスク処理画像生成部34は、入力画像データのマスク領域部分に、認識処理の時に非対象とするコードを設定する。マスク領域内の画素は、テンプレート画像による認識処理を行う2次元画像データの左上位置を開始座標とし右下位置を終点座標とする経路には含まれるが、相関値を算出するときは、除外される。生成されるマスク処理画像は、図7に示すようにアライメントマークAの輝度情報を除いたアライメントマークBの輝度情報のみになる。   Next, the mask area generation unit 33 generates area data (mask area) having the same size as the template image of the alignment mark A at the position of the recognized upper alignment mark A shown in FIG. Next, the mask processed image generation unit 34 sets a code that is not targeted at the time of recognition processing in the mask area portion of the input image data. Pixels in the mask area are included in the path having the upper left position and the lower right position as the end coordinates of the two-dimensional image data to be recognized by the template image, but are excluded when calculating the correlation value. The As shown in FIG. 7, the generated mask-processed image is only the luminance information of the alignment mark B excluding the luminance information of the alignment mark A.

次に、下位マーク位置認識部35により、下位のアライメントマークBの認識処理を行う。下位マーク位置認識部35では、図5(b)に示すアライメントマークBのテンプレート画像を用いて相関値の算出が行われることになるが、図8に示すように相関値を算出する領域にアライメントマークAのマスク領域が含まれる場合には、マスク領域を除いた部分で行われる。その結果、図5(b)のテンプレート画像からマスク領域を除いた状態で高い相関値を得ることができ、下位マーク位置認識部35によってアライメントマークBの位置認識が正確に行われる。   Next, a lower alignment mark B is recognized by the lower mark position recognition unit 35. In the lower mark position recognizing unit 35, the correlation value is calculated using the template image of the alignment mark B shown in FIG. 5B. However, as shown in FIG. When the mask area of the mark A is included, it is performed in a portion excluding the mask area. As a result, a high correlation value can be obtained with the mask area removed from the template image of FIG. 5B, and the position of the alignment mark B is accurately recognized by the lower mark position recognition unit 35.

なお、マーク上下順序判定部32および下位マーク位置認識部35において、テンプレート画像の輝度によるマッチングを用いてアライメントマークの位置認識を行うように構成したが、テンプレート画像からエッジ点抽出を行ったエッジ画像の輝度によるマッチング方式に変更してもよい。   The mark up / down order determination unit 32 and the lower mark position recognition unit 35 are configured to recognize the position of the alignment mark using matching based on the brightness of the template image. However, the edge image is extracted from the template image. You may change to the matching method by brightness | luminance.

図9は、図2に示すマーク上下順序判定部および下位マーク位置認識部で用いられる輪郭エッジのテンプレート画像例を示す図である。
なお、マーク上下順序判定部32および下位マーク位置認識部35における位置認識方法としてエッジ画像の輝度によるマッチング方式を採用した場合、テンプレート画像は、図9(a)に示す輪郭部分の画像を用いる。マスク領域生成部33において生成されるマスク領域は、図9(b)に示すように輪郭部分の画像に穴埋め処理を施した領域を用いることにより、上位マーク部分のみがマスク領域となり、認識精度を上げることができる。
FIG. 9 is a diagram showing an example of a template image of a contour edge used in the mark up / down order determination unit and the lower mark position recognition unit shown in FIG.
When the matching method based on the brightness of the edge image is adopted as the position recognition method in the mark up / down order determination unit 32 and the lower mark position recognition unit 35, the template image uses the image of the contour portion shown in FIG. As the mask area generated in the mask area generation unit 33, as shown in FIG. 9B, only the upper mark part becomes the mask area by using the area where the contour image is subjected to the hole filling process, and the recognition accuracy is improved. Can be raised.

図10は、図2に示すマスク領域生成部において生成されるマスク領域の他の例を示す図であり、図11は、図2に示すマスク処理画像生成部によって生成されるマスク処理画像データの他の例を示す図であり、図12は、図10に示すマスク領域に拡大処理を施した例を示す図である。
また、マスク領域生成部33において生成されるマスク領域として、図6に示す上位マークのテンプレート画像サイズの領域を用いたが、代わりに図10に示すような上位マークの形状と同じ領域を用いることにより、上位マーク部分のみがマスク領域となり、認識精度を上げることができる。なお、図10に示すマスク領域を用いた場合に、マスク処理画像生成部34によって生成されるマスク処理画像データは、図11に示すようになる。
FIG. 10 is a diagram illustrating another example of the mask region generated in the mask region generation unit illustrated in FIG. 2, and FIG. 11 illustrates mask processing image data generated by the mask processing image generation unit illustrated in FIG. 2. FIG. 12 is a diagram illustrating another example, and FIG. 12 is a diagram illustrating an example in which enlargement processing is performed on the mask region illustrated in FIG. 10.
Further, as the mask area generated in the mask area generation unit 33, the template image size area of the upper mark shown in FIG. 6 is used. Instead, the same area as the shape of the upper mark as shown in FIG. 10 is used. Thus, only the upper mark portion becomes a mask region, and the recognition accuracy can be improved. When the mask region shown in FIG. 10 is used, the mask processed image data generated by the mask processed image generation unit 34 is as shown in FIG.

さらに、図10に示すマスク領域に対して拡大処理を施すことにより、図12に示すような拡大された領域を用いることにより、上位マークの輪郭部周辺に突起等がある場合、突起部分の影響を除去する領域となり、認識精度を上げることができる。   Further, by performing an enlargement process on the mask area shown in FIG. 10 and using the enlarged area as shown in FIG. It becomes the area | region which removes, and can raise recognition accuracy.

以上説明したように、第1の実施の形態によれば、マーク上下順序判定部32によって複数のアライメントマークA、Bの上下順序を自動的に判定し、上位のアライメントマークAの位置を認識し、マスク処理画像生成部34によって上位のアライメントマークAのマスク領域を用いたマスク処理画像データを生成し、下位マーク位置認識部35によってマスク処理画像データを用いて下位のアライメントマークBの位置を認識するように構成することにより、画像データ内に複数アライメントマークが重なった状態で存在する場合にも、それぞれのアライメントマークの位置を安定的にかつ正確に認識することができるという効果を奏する。   As described above, according to the first embodiment, the mark vertical order determination unit 32 automatically determines the vertical order of the plurality of alignment marks A and B, and recognizes the position of the upper alignment mark A. Then, the mask processing image generation unit 34 generates mask processing image data using the mask region of the upper alignment mark A, and the lower mark position recognition unit 35 recognizes the position of the lower alignment mark B using the mask processing image data. By configuring as described above, there is an effect that the position of each alignment mark can be recognized stably and accurately even when a plurality of alignment marks are overlapped in the image data.

次に、本発明の第2の実施の形態について図13を参照して説明する。
図13は、本発明に係るマーク認識装置の第2の実施の形態の構成を示すブロック図である。
Next, a second embodiment of the present invention will be described with reference to FIG.
FIG. 13 is a block diagram showing the configuration of the second embodiment of the mark recognition apparatus according to the present invention.

第2の実施の形態は、図13を参照すると、第1の実施の形態の構成のマーク上下順序判定部32に代わって上位マーク位置認識部42が設けられている。   In the second embodiment, referring to FIG. 13, an upper mark position recognizing unit 42 is provided in place of the mark up / down order determining unit 32 having the configuration of the first embodiment.

上位マーク位置認識部42は、複数のアライメントマークの上下順序が既知である場合、上下順序データに基づいて、認識処理するアライメントマークの順番を決定し、最上位のアライメントマークの位置認識を行うものである。第1の実施の形態の構成であるマーク上下順序判定部32は、上下順序を判定するために、全てのアライメントマークの位置認識を行う。そのため下位マークは、位置を決定するまでに1アライメントマークにつき2回認識を行う必要がある。それに対して上位マーク位置認識部42により、上下順序が既知であるため、全てのアライメントマークの位置認識を各1回の認識で行うことができる。   The upper mark position recognizing unit 42 determines the order of alignment marks to be recognized based on the upper and lower order data and recognizes the position of the uppermost alignment mark when the upper and lower order of the plurality of alignment marks is known. It is. The mark up / down order determination unit 32 which is the configuration of the first embodiment recognizes the positions of all the alignment marks in order to determine the up / down order. Therefore, the lower mark needs to be recognized twice for each alignment mark before the position is determined. On the other hand, since the upper and lower order is known by the upper mark position recognizing unit 42, the positions of all the alignment marks can be recognized by one recognition.

以上説明したように、第2の実施の形態によれば、既知である複数のアライメントマークの上下順序に基づいて、上位マーク位置認識部42によって最上位のアライメントマークの位置を認識し、マスク処理画像生成部34によって上位のアライメントマークのマスク領域を用いたマスク処理画像データを生成し、下位マーク位置認識部35によってマスク処理画像データを用いて下位のアライメントマークの位置を認識するように構成することにより、マークの位置認識処理を高速に行うことができ、安定的かつ正確に認識することができるという効果を奏する。   As described above, according to the second embodiment, the upper mark position recognition unit 42 recognizes the position of the uppermost alignment mark based on the known vertical order of a plurality of alignment marks, and performs mask processing. The image generation unit 34 generates mask processed image data using the mask region of the upper alignment mark, and the lower mark position recognition unit 35 recognizes the position of the lower alignment mark using the mask processed image data. As a result, the mark position recognition process can be performed at high speed, and stable and accurate recognition can be achieved.

また、第1および第2の実施の形態によれば、複数のアライメントマークについて位置が下位のアライメントマークが上位のアライメントマークと重なり、部分的に遮蔽されると上位のアライメントマークの影響により位置ずれを起こすという従来技術の問題点は、アライメントマークの位置の上下順序に基づいて上位のアライメントマークから認識を行い、下位のアライメントマークの位置認識を上位のアライメントマークの情報を排除した状態で行うことにより、解決することができる。   Further, according to the first and second embodiments, when a plurality of alignment marks, the lower alignment mark overlaps the upper alignment mark and is partially shielded, the position is shifted due to the influence of the upper alignment mark. The problem with the prior art is that the upper alignment mark is recognized based on the upper and lower order of the alignment mark positions, and the lower alignment mark position is recognized without the upper alignment mark information. Can be solved.

さらに、第1の実施の形態によれば、複数のアライメントマークの位置の上下順序が既知である必要がなく、入力画像データから自動的に判定できるメリットがある。また第2の実施の形態によれば、アライメントマークの上下順序を既知としているので、全てのアライメントマークの位置を決定するまでの認識処理の回数は、第1の実施の形態と比較すると少ない回数で目的を達するため高速に処理できるメリットがある。   Furthermore, according to the first embodiment, there is no need to know the upper and lower order of the positions of the plurality of alignment marks, and there is an advantage that the determination can be automatically made from the input image data. In addition, according to the second embodiment, since the vertical order of the alignment marks is known, the number of recognition processes until the positions of all the alignment marks are determined is smaller than that in the first embodiment. In order to achieve the purpose, there is a merit that can be processed at high speed.

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。   Note that the present invention is not limited to the above-described embodiments, and it is obvious that the embodiments can be appropriately changed within the scope of the technical idea of the present invention. In addition, the number, position, shape, and the like of the constituent members are not limited to the above-described embodiment, and can be set to a suitable number, position, shape, and the like in practicing the present invention. In each figure, the same numerals are given to the same component.

本発明に係るマーク認識装置の第1の実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of 1st Embodiment of the mark recognition apparatus which concerns on this invention. 図1に示す画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus shown in FIG. 本発明に係るマーク認識装置の第1の実施の形態の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of 1st Embodiment of the mark recognition apparatus which concerns on this invention. 図2に示す2次元画像変換部によって変換された入力画像データ例を示す図である。It is a figure which shows the example of input image data converted by the two-dimensional image conversion part shown in FIG. 図2に示すマーク上下順序判定部および下位マーク位置認識部で用いられるテンプレート画像例を示す図である。It is a figure which shows the example of a template image used in the mark up-down order determination part and lower mark position recognition part shown in FIG. 図2に示すマスク領域生成部によって生成されるマスク領域例を示す図である。It is a figure which shows the example of a mask area | region produced | generated by the mask area | region production | generation part shown in FIG. 図2に示すマスク処理画像生成部によって生成されるマスク処理画像データ例を示す図である。It is a figure which shows the mask processing image data example produced | generated by the mask processing image generation part shown in FIG. 図2に示す下位マーク位置認識部で相関値を算出する領域例を示す図である。It is a figure which shows the example of an area | region which calculates a correlation value in the low-order mark position recognition part shown in FIG. 図2に示すマーク上下順序判定部および下位マーク位置認識部で用いられる輪郭エッジのテンプレート画像例を示す図である。It is a figure which shows the template image example of the contour edge used in the mark up-down order determination part and lower mark position recognition part shown in FIG. 図2に示すマスク領域生成部において生成されるマスク領域の他の例を示す図である。It is a figure which shows the other example of the mask area | region produced | generated in the mask area | region production | generation part shown in FIG. 図2に示すマスク処理画像生成部によって生成されるマスク処理画像データの他の例を示す図である。It is a figure which shows the other example of the mask process image data produced | generated by the mask process image production | generation part shown in FIG. 図10に示すマスク領域に拡大処理を施した例を示す図である。It is a figure which shows the example which performed the expansion process to the mask area | region shown in FIG. 本発明に係るマーク認識装置の第2の実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of 2nd Embodiment of the mark recognition apparatus which concerns on this invention. 従来のマーク認識方法を説明するためのフローチャートである。It is a flowchart for demonstrating the conventional mark recognition method.

符号の説明Explanation of symbols

1 カメラ
2 照明
3 画像処理装置
4 上側ガラス基板
5 下側ガラス基板
31 2次元画像変換部
32 マーク上下順序判定部
33 マスク領域生成部
34 マスク処理画像生成部
35 下位マーク位置認識部
36 マーク位置データ出力部
42 上位マーク位置認識部
311 画像メモリ
341 画像メモリ
A アライメントマーク
B アライメントマーク
DESCRIPTION OF SYMBOLS 1 Camera 2 Illumination 3 Image processing apparatus 4 Upper glass substrate 5 Lower glass substrate 31 Two-dimensional image conversion part 32 Mark up-down order determination part 33 Mask area generation part 34 Mask process image generation part 35 Lower mark position recognition part 36 Mark position data Output unit 42 Upper mark position recognition unit 311 Image memory 341 Image memory A Alignment mark B Alignment mark

Claims (23)

上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識装置であって、
最上位の前記アライメントマークの位置を認識する上位マーク位置認識手段と、
該上位マーク位置認識手段による最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識する下位マーク位置認識手段とを具備することを特徴とするマーク認識装置。
A mark recognition device for recognizing the position of each of the plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in an up-down order,
Upper mark position recognition means for recognizing the position of the uppermost alignment mark;
Lower mark position recognition means for recognizing the position of the lower mark, which is the lower alignment mark, using the recognition information of the uppermost alignment mark by the upper mark position recognition means as the upper mark recognition information. The mark recognition apparatus characterized by the above-mentioned.
前記下位マーク位置認識手段は、位置を認識した前記下位マークよりもさらに下位の前記アライメントマークが存在する場合には、位置を認識した前記下位マークの認識情報を前記上位マークの認識情報として用いて、一層下の前記アライメントマークの位置を認識することを特徴とする請求項1記載のマーク認識装置。   The lower mark position recognizing means uses the recognition information of the lower mark whose position is recognized as the recognition information of the upper mark when the alignment mark lower than the lower mark whose position is recognized exists. The mark recognition apparatus according to claim 1, wherein the position of the alignment mark below is recognized. 前記2次元画像データを用いて複数の前記アライメントマークの上下順序を判定する上下順序判定手段を具備することを特徴とする請求項1又は2記載のマーク認識装置。   The mark recognition apparatus according to claim 1, further comprising a vertical order determination unit that determines the vertical order of the plurality of alignment marks using the two-dimensional image data. 前記上下順序判定手段は、複数の前記アライメントマークを個別に認識処理した結果から得られたそれぞれの相関値を用いて、前記アライメントマークの上下順序を判定することを特徴とする請求項1乃至3のいずれかに記載のマーク認識装置。   4. The up / down order determining means determines the up / down order of the alignment marks using respective correlation values obtained from the result of individually recognizing the plurality of alignment marks. The mark recognition apparatus in any one of. 前記下位マーク位置認識手段は、前記上位マークの認識情報として、前記2次元画像データ上の前記上位マーク部分を認識処理の相関値計算の対象から除外するためのマスク領域を用いることを特徴とする請求項1乃至4のいずれかに記載のマーク認識装置。   The lower mark position recognizing means uses, as the upper mark recognition information, a mask region for excluding the upper mark portion on the two-dimensional image data from a correlation value calculation target of recognition processing. The mark recognition apparatus according to claim 1. 前記マスク領域としては、前記上位マークの位置認識に用いたテンプレート画像のサイズと一致する領域が用いられることを特徴とする請求項5記載のマーク認識装置。   6. The mark recognition apparatus according to claim 5, wherein an area that matches a size of a template image used for position recognition of the upper mark is used as the mask area. 前記マスク領域としては、前記上位マークの領域が用いられることを特徴とする請求項5記載のマーク認識装置。   6. The mark recognition apparatus according to claim 5, wherein the upper mark area is used as the mask area. 前記マスク領域としては、前記上位マークの形状と一致する領域が用いられることを特徴とする請求項7記載のマーク認識装置。   8. The mark recognition apparatus according to claim 7, wherein an area that matches the shape of the upper mark is used as the mask area. 前記マスク領域としては、前記上位マークの形状と一致する領域に拡大処理を施した領域が用いられることを特徴とする請求項7記載のマーク認識装置。   8. The mark recognition apparatus according to claim 7, wherein an area obtained by enlarging an area that matches the shape of the upper mark is used as the mask area. 前記マスク領域としては、前記上位マークの位置認識に用いた輪郭エッジのテンプレート画像を穴埋め処理した領域が用いられることを特徴とする請求項5記載のマーク認識装置。   6. The mark recognition apparatus according to claim 5, wherein the mask region is a region in which a template image of a contour edge used for position recognition of the upper mark is subjected to hole filling processing. 上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法であって、
最上位の前記アライメントマークの位置を認識し、
該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識することを特徴とするマーク認識方法。
A mark recognition method for recognizing the positions of a plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in a vertical order,
Recognize the position of the top alignment mark,
A mark recognition method comprising recognizing the position of a lower mark, which is the lower alignment mark, by using the recognized uppermost alignment mark recognition information as upper mark recognition information.
位置を認識した前記下位マークよりもさらに下位の前記アライメントマークが存在する場合には、位置を認識した前記下位マークの認識情報を前記上位マークの認識情報として用いて、一層下の前記アライメントマークの位置を認識することを特徴とする請求項11記載のマーク認識方法。   If there is a lower alignment mark than the lower mark whose position is recognized, the recognition information of the lower mark whose position is recognized is used as the upper mark recognition information. The mark recognition method according to claim 11, wherein the position is recognized. 前記2次元画像データを用いて複数の前記アライメントマークの上下順序を判定することを特徴とする請求項11又は12記載のマーク認識方法。   The mark recognition method according to claim 11 or 12, wherein the two-dimensional image data is used to determine the order of the plurality of alignment marks. 複数の前記アライメントマークを個別に認識処理した結果から得られたそれぞれの相関値を用いて、前記アライメントマークの上下順序を判定することを特徴とする請求項11乃至13のいずれかに記載のマーク認識方法。   The mark according to any one of claims 11 to 13, wherein the vertical order of the alignment marks is determined using each correlation value obtained from the result of individually recognizing the plurality of alignment marks. Recognition method. 前記上位マークの認識情報として、前記2次元画像データ上の前記上位マーク部分を認識処理の相関値計算の対象から除外するためのマスク領域を用いることを特徴とする請求項11乃至14のいずれかに記載のマーク認識方法。   15. The mask area for excluding the upper mark portion on the two-dimensional image data from the correlation value calculation target of recognition processing is used as the upper mark recognition information. The mark recognition method described in 1. 前記マスク領域として、前記上位マークの位置認識に用いたテンプレート画像のサイズと一致する領域を用いることを特徴とする請求項15記載のマーク認識方法。   The mark recognition method according to claim 15, wherein an area that matches a size of a template image used for position recognition of the upper mark is used as the mask area. 前記マスク領域として、前記上位マークの領域を用いることを特徴とする請求項15記載のマーク認識方法。   The mark recognition method according to claim 15, wherein the upper mark area is used as the mask area. 前記マスク領域として、前記上位マークの形状と一致する領域を用いることを特徴とする請求項17記載のマーク認識方法。   The mark recognition method according to claim 17, wherein an area that matches a shape of the upper mark is used as the mask area. 前記マスク領域として、前記上位マークの形状と一致する領域に拡大処理を施した領域を用いることを特徴とする請求項17記載のマーク認識方法。   18. The mark recognition method according to claim 17, wherein an area obtained by enlarging an area that matches the shape of the upper mark is used as the mask area. 前記マスク領域として、前記上位マークの位置認識に用いた輪郭エッジのテンプレート画像を穴埋め処理した領域を用いることを特徴とする請求項15記載のマーク認識方法。   The mark recognition method according to claim 15, wherein an area obtained by performing a hole filling process on a template image of a contour edge used for position recognition of the upper mark is used as the mask area. 上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法をコンピュータに実行させるプログラムであって、
最上位の前記アライメントマークの位置を認識する上位マーク位置認識処理と、
該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識する下位マーク位置認識処理とをコンピュータに実行させることを特徴とするプログラム。
A program for causing a computer to execute a mark recognition method for recognizing the positions of a plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in a vertical order. ,
An upper mark position recognition process for recognizing the position of the uppermost alignment mark;
Using the recognized recognition information of the uppermost alignment mark as the upper mark recognition information, and causing the computer to execute a lower mark position recognition process for recognizing the position of the lower mark, which is the lower alignment mark. A featured program.
上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法をコンピュータに実行させるプログラムであって、
最上位の前記アライメントマークの位置を認識する上位マーク位置認識処理と、
該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識すると共に、位置を認識した前記下位マークよりもさらに下位の前記アライメントマークが存在する場合には、位置を認識した前記下位マークの認識情報を前記上位マークの認識情報として用いて、一層下の前記アライメントマークの位置を認識する下位マーク位置認識処理とをコンピュータに実行させることを特徴とするプログラム。
A program for causing a computer to execute a mark recognition method for recognizing the positions of a plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in a vertical order. ,
An upper mark position recognition process for recognizing the position of the uppermost alignment mark;
The recognition information of the recognized uppermost alignment mark is used as the upper mark recognition information, and the position of the lower mark, which is the lower alignment mark, is recognized, and further lower than the lower mark whose position is recognized. When the alignment mark is present, the lower mark position recognition process for recognizing the position of the alignment mark below it using the recognition information of the lower mark whose position is recognized as the recognition information of the upper mark. A program characterized by being executed by a computer.
上下順序を持って重ねられた複数のアライメントマークを撮像することによって得られた2次元画像データを用いて複数の前記アライメントマークの位置をそれぞれ認識するマーク認識方法をコンピュータに実行させるプログラムであって、
前記2次元画像データを用いて複数の前記アライメントマークの上下順序を判定する上下順序判定処理と、
該上下順序判定処理によって判定された最上位の前記アライメントマークの位置を認識する上位マーク位置認識処理と、
該認識した最上位の前記アライメントマークの認識情報を上位マークの認識情報として用いて、一層下の前記アライメントマークである下位マークの位置を認識する下位マーク位置認識処理とをコンピュータに実行させることを特徴とするプログラム。
A program for causing a computer to execute a mark recognition method for recognizing the positions of a plurality of alignment marks using two-dimensional image data obtained by imaging a plurality of alignment marks stacked in a vertical order. ,
A vertical order determination process for determining the vertical order of the plurality of alignment marks using the two-dimensional image data;
An upper mark position recognition process for recognizing the position of the uppermost alignment mark determined by the vertical order determination process;
Using the recognized recognition information of the uppermost alignment mark as the upper mark recognition information, and causing the computer to execute a lower mark position recognition process for recognizing the position of the lower mark, which is the lower alignment mark. A featured program.
JP2005037089A 2005-02-15 2005-02-15 Apparatus and method for mark recognition Pending JP2006226676A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005037089A JP2006226676A (en) 2005-02-15 2005-02-15 Apparatus and method for mark recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005037089A JP2006226676A (en) 2005-02-15 2005-02-15 Apparatus and method for mark recognition

Publications (1)

Publication Number Publication Date
JP2006226676A true JP2006226676A (en) 2006-08-31

Family

ID=36988196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005037089A Pending JP2006226676A (en) 2005-02-15 2005-02-15 Apparatus and method for mark recognition

Country Status (1)

Country Link
JP (1) JP2006226676A (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160792A (en) * 1992-11-25 1994-06-07 Sharp Corp Alignment by image processing
JPH07306009A (en) * 1994-05-10 1995-11-21 Casio Comput Co Ltd Method for matching position of transparent substrate
JPH07306007A (en) * 1994-05-11 1995-11-21 Casio Comput Co Ltd Method for matching position of transparent substrate
JP2000099159A (en) * 1998-09-18 2000-04-07 Orc Mfg Co Ltd Mechanism and method for matching work with mask
JP2001075108A (en) * 1999-09-06 2001-03-23 Seiko Epson Corp Liquid crystal device and its manufacture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160792A (en) * 1992-11-25 1994-06-07 Sharp Corp Alignment by image processing
JPH07306009A (en) * 1994-05-10 1995-11-21 Casio Comput Co Ltd Method for matching position of transparent substrate
JPH07306007A (en) * 1994-05-11 1995-11-21 Casio Comput Co Ltd Method for matching position of transparent substrate
JP2000099159A (en) * 1998-09-18 2000-04-07 Orc Mfg Co Ltd Mechanism and method for matching work with mask
JP2001075108A (en) * 1999-09-06 2001-03-23 Seiko Epson Corp Liquid crystal device and its manufacture

Similar Documents

Publication Publication Date Title
JP5707423B2 (en) Pattern matching device and computer program
US11669953B2 (en) Pattern matching device and computer program for pattern matching
JP6537332B2 (en) Image processing method and photographing apparatus
US9805443B2 (en) Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly
JP2007047930A (en) Image processor and inspection device
KR20120068128A (en) Method of detecting defect in pattern and apparatus for performing the method
JP6177541B2 (en) Character recognition device, character recognition method and program
JP5468981B2 (en) Image measuring machine, program, and teaching method for image measuring machine
WO2017130365A1 (en) Overlay error measurement device and computer program
JP6496159B2 (en) Pattern inspection apparatus and pattern inspection method
JP2009294027A (en) Pattern inspection device and method of inspecting pattern
JP2020126383A (en) Moving object detection device, moving object detection method, and moving body detection program
KR101893823B1 (en) Board inspection apparatus and method of compensating board distortion using the same
JP6330388B2 (en) Image processing method, image processing apparatus, program for executing the method, and recording medium for recording the program
JP6433810B2 (en) Bonding wire detection method and bonding wire detection device
JP2020173584A (en) Object detection device
JP2006226676A (en) Apparatus and method for mark recognition
JP2006234554A (en) Method and device for inspecting pattern
JP2019100937A (en) Defect inspection device and defect inspection method
JP4530723B2 (en) PATTERN MATCHING METHOD, PATTERN MATCHING DEVICE, AND ELECTRONIC COMPONENT MOUNTING METHOD
JP2007047933A (en) Method and device for image recognition of rectangular component
JP2007101493A (en) Position detecting device
JP2005292048A (en) Visual inspection method and visual inspection device
JP5371015B2 (en) Cross mark detection apparatus and method, and program
JP6544191B2 (en) Image creation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101102