JP2011065399A - Simulation device, simulation method, and simulation program - Google Patents
Simulation device, simulation method, and simulation program Download PDFInfo
- Publication number
- JP2011065399A JP2011065399A JP2009215226A JP2009215226A JP2011065399A JP 2011065399 A JP2011065399 A JP 2011065399A JP 2009215226 A JP2009215226 A JP 2009215226A JP 2009215226 A JP2009215226 A JP 2009215226A JP 2011065399 A JP2011065399 A JP 2011065399A
- Authority
- JP
- Japan
- Prior art keywords
- model
- detection
- reference mark
- image
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
- Debugging And Monitoring (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は，実装置の三次元モデルを用いてシミュレーションを行うシミュレーション装置，シミュレーション方法およびシミュレーションプログラムに関するものである。 The present invention relates to a simulation apparatus, a simulation method, and a simulation program that perform simulation using a three-dimensional model of an actual apparatus.
産業用ロボットなどの装置において，パターン認識による二次元位置の検出を行うものがある。 Some devices such as industrial robots detect a two-dimensional position by pattern recognition.
例えば，フリップチップボンダ等の部品搭載装置は，カメラでプリント基板や半導体チップなどの部品上の基準マークを認識することにより，部品の位置を補正し，部品の搭載を行う。基準マークの認識では，パターン認識処理，すなわちカメラ画像とテンプレート画像とのマッチング処理が行われる。 For example, a component mounting apparatus such as a flip chip bonder corrects the position of a component by recognizing a reference mark on the component such as a printed circuit board or a semiconductor chip with a camera, and mounts the component. In recognition of the reference mark, pattern recognition processing, that is, matching processing between a camera image and a template image is performed.
このような部品搭載装置の開発段階では，部品搭載装置をコンピュータ制御するための機構制御プログラムの開発や，搭載対象の部品に関するデータの作成が行われる。開発された機構制御プログラムや搭載対象の部品に関するデータの検証では，機構制御プログラムを組み込んだコンピュータからの制御で部品搭載装置の実装置を制御し，実ワークや専用の治具などを使用して，実際に部品搭載装置に搭載動作を行わせる。専用の治具としては，例えば，ガラス基板とガラスチップなどが用いられる。その後，搭載されたワークの状態を顕微鏡で測定して確認するなどにより，開発された機構制御プログラムや搭載対象の部品に関するデータの検証が行われる。 In such a component mounting device development stage, a mechanism control program for computer control of the component mounting device is developed and data relating to the component to be mounted is created. In the verification of the data related to the developed mechanism control program and components to be mounted, the actual device of the component mounting device is controlled by the control from the computer in which the mechanism control program is incorporated, and the actual workpiece or dedicated jig is used. Actually, the component mounting device performs the mounting operation. As the dedicated jig, for example, a glass substrate and a glass chip are used. After that, the mechanism control program that has been developed and the data related to the parts to be mounted are verified by checking the state of the mounted workpiece with a microscope.
なお，産業用ロボットなどの装置において，装置による作業の対象となる物品は，ワークとも呼ばれる。例えば，フリップチップボンダ等の部品搭載装置では，基板やチップなどの搭載対象部品が，ワークと呼ばれる。 In an apparatus such as an industrial robot, an article that is an object of work by the apparatus is also called a workpiece. For example, in a component mounting apparatus such as a flip chip bonder, a component to be mounted such as a substrate or a chip is called a workpiece.
しかし，実装置を用いる方法では，部品搭載装置の立上げ，すなわち部品搭載装置の機械的な調整や認識データの確定が完了するまで，機構制御プログラムのデバッグが行えないという問題がある。また，機構制御プログラムにおけるアライメントアルゴリズムや搭載対象の部品に関するデータに起因する計算誤差と，画像認識や顕微鏡測定における計測誤差との切り分けが困難であるという問題がある。 However, the method using the actual device has a problem that the mechanism control program cannot be debugged until the component mounting device is started up, that is, until the mechanical adjustment of the component mounting device and the confirmation of the recognition data are completed. In addition, there is a problem that it is difficult to distinguish between calculation errors caused by alignment algorithms in mechanism control programs and data related to components to be mounted, and measurement errors in image recognition and microscope measurement.
なお，実装置の代わりにコンピュータ上の三次元モデルを使用して，機構制御プログラムの検証を行うシミュレーションの技術が知られている。また，視覚センサを使うロボットの動作シミュレーションを行う際に，視覚センサによるワークの位置・姿勢の検出結果をあらかじめ補正量として設定しておき，ロボットの動作シミュレーション中に読み出してロボットの移動目標位置を補正する技術が知られている。また，視覚センサをモデル化し，シミュレーション中にワークモデルの位置を模擬的に三次元計測する技術が知られている。 A simulation technique for verifying a mechanism control program using a three-dimensional model on a computer instead of an actual device is known. In addition, when performing a motion simulation of a robot that uses a visual sensor, the detection result of the position and orientation of the workpiece by the visual sensor is set in advance as a correction amount, and is read out during the robot motion simulation to determine the robot's movement target position. Techniques for correcting are known. There is also known a technique for modeling a visual sensor and measuring the position of a work model in a three-dimensional manner during simulation.
上記の三次元機構モデルを用いるシミュレーションの技術を用いることにより，実装置の立上げを待たずに機構制御プログラムの検証を行うことが可能となる。例えば，部品搭載装置の三次元モデルを用いたシミュレーションでは，機構制御プログラムによるモータ制御の検証を行うことができる。 By using the above-described simulation technique using the three-dimensional mechanism model, it is possible to verify the mechanism control program without waiting for the actual apparatus to be started up. For example, in a simulation using a three-dimensional model of a component mounting device, motor control can be verified by a mechanism control program.
しかし，実装置においてパターン認識による二次元位置検出処理が必要となる制御については，三次元モデルを用いたシミュレーションによる検証が，困難となる。 However, control that requires two-dimensional position detection processing by pattern recognition in an actual device is difficult to verify by simulation using a three-dimensional model.
例えば，部品搭載装置において，アライメント制御では，ワークの位置を調整する制御が行われる。具体的には，部品搭載装置では，カメラによってワーク上の基準マークがあると予測される位置の画像が撮像され，そのカメラ画像とテンプレート画像とのマッチングによって，基準マークの位置検出が行われる。機構制御プログラムによるアライメント制御では，検出された基準マークの位置に基づいて，部品搭載装置におけるワークの位置を調整する制御が行われる。 For example, in a component mounting apparatus, control for adjusting the position of a workpiece is performed in alignment control. Specifically, in the component mounting apparatus, an image of a position where it is predicted that there is a reference mark on the workpiece is captured by the camera, and the position of the reference mark is detected by matching the camera image with the template image. In the alignment control by the mechanism control program, control for adjusting the position of the workpiece in the component mounting apparatus is performed based on the detected position of the reference mark.
しかし，部品搭載装置の三次元モデルに実際の部品搭載装置が備えるカメラに対応する部品モデルがあっても，あくまでカメラの形状を模した部品モデルであり，その部品モデルがワークモデル上の基準マークを撮像して画像認識を行えるわけではない。そのため，部品搭載装置の三次元モデルを用いたシミュレーションによって，機構制御プログラムによるアライメント制御の検証を行うことは，非常に困難となる。 However, even if there is a part model corresponding to the camera of the actual part mounting device in the 3D model of the part mounting device, it is a part model imitating the shape of the camera, and the part model is a reference mark on the work model. It is not possible to perform image recognition by capturing the image. Therefore, it is very difficult to verify alignment control by a mechanism control program by simulation using a three-dimensional model of a component mounting device.
本発明は，上記の問題の解決を図り，三次元モデルを用いたシミュレーションにおいて，画像認識を行わずに，パターン認識による二次元位置の検出をシミュレートすることが可能となる技術を提供することを目的とする。 The present invention solves the above problems and provides a technique capable of simulating detection of a two-dimensional position by pattern recognition without performing image recognition in a simulation using a three-dimensional model. With the goal.
シミュレーション装置は，画像認識のシミュレーションに用いるイメージセンサモデルと，画像認識のシミュレーションで検出する認識対象モデルとを含む三次元モデルのデータを記憶する三次元モデル情報記憶部と，シミュレーション空間上にイメージセンサモデルによって決定されるイメージセンサ検出領域を設定する検出領域設定部と，三次元モデル情報記憶部からイメージセンサ検出領域内に存在する認識対象モデルを抽出する認識対象抽出部と，抽出された認識対象モデルの位置に基づいてシミュレーションが対象とする画像認識の目的である検出位置を求め，得られた検出位置を検出結果に設定する検出結果設定部とを備える。 The simulation apparatus includes a three-dimensional model information storage unit that stores data of a three-dimensional model including an image sensor model used for image recognition simulation and a recognition target model detected by the image recognition simulation, and an image sensor on the simulation space. A detection region setting unit for setting an image sensor detection region determined by the model, a recognition target extraction unit for extracting a recognition target model existing in the image sensor detection region from the three-dimensional model information storage unit, and the extracted recognition target A detection result setting unit that obtains a detection position, which is an object of image recognition targeted for simulation, based on the position of the model, and sets the obtained detection position as a detection result;
上記の技術により，三次元モデルを用いたシミュレーションにおいて，画像認識を行わずに，パターン認識による二次元位置の検出をシミュレートすることが可能となる。 With the above technique, it is possible to simulate detection of a two-dimensional position by pattern recognition without performing image recognition in a simulation using a three-dimensional model.
以下，本実施の形態について，図を用いて説明する。 Hereinafter, the present embodiment will be described with reference to the drawings.
図１は，本実施の形態による実装置システムの構成例を示す図である。 FIG. 1 is a diagram showing a configuration example of an actual apparatus system according to the present embodiment.
図１に示す実装置システムは，産業用ロボットなどの実装置２０と，実装置２０を制御する制御装置１０とを有する。
The real device system shown in FIG. 1 includes a
制御装置１０は，ＣＰＵ（Central Processing Unit ），メモリ等を備えるコンピュータである。制御装置１０は，機構制御処理部１１を備える。
The
機構制御処理部１１は，実装置２０に対して各種指令を送ることにより，実装置２０を制御する。機構制御処理部１１は，制御装置１０のコンピュータが備えるＣＰＵ，メモリ等のハードウェアと，機構制御プログラムとにより実現される。
The mechanism control processing unit 11 controls the
機構制御処理部１１は，モータ制御部１２，アライメント制御部１３を備える。モータ制御部１２は，実装置２０が備えるモータの制御を行う。アライメント制御部１３は，実装置２０におけるワーク２５の位置調整などの制御を行う。
The mechanism control processing unit 11 includes a
図１に示すシステムにおける実装置２０は，画像認識によって検出対象の位置検出を行う機能を有する。具体的には，実装置２０は，カメラ２１，画像認識部２２を備える。また，実装置２０は，カメラ２１に関するデータであるカメラデータ２３や，テンプレート画像に関するデータを含む画像認識に関するデータである認識データ２４などを記憶する記憶部（図示省略）を備える。
The
カメラ２１は，検出対象を含む画像を撮像するイメージセンサである。カメラ２１は，撮像により得られたカメラ画像を画像認識部２２に送る。例えば，ワーク２５上に存在する基準マークが検出対象である場合に，カメラ２１は，ワーク２５上の基準マークを含む領域の画像を撮像する。
The
画像認識部２２は，カメラデータ２３と認識データとに基づいて，パターンマッチングの処理により，検出対象の位置検出を行う。パターンマッチングでは，画像認識部２２は，カメラ画像内をあらかじめ用意されたテンプレート画像で走査して，テンプレート画像との近似度が最も高いカメラ画像内の領域の位置情報を得る。カメラ画像内の領域とテンプレート画像との近似度は，例えば正規化相関法によって得られる相関値などである。画像認識部２２は，実装置２０のコンピュータが備えるＣＰＵ，メモリ等のハードウェアと，ソフトウェアプログラムとにより実現される。
The
なお，本実施の形態では，実装置２０の作業対象であるワーク２５上に存在する基準マークが検出対象となる例を中心に，説明を行う。
In the present embodiment, the description will be focused on an example in which a reference mark existing on the
図１に示す実装置システムにおいて，例えば，機構制御処理部１１から実装置２０にモータ指令が送られると，実装置２０では，モータ指令に応じた駆動制御が行われる。このとき，実装置２０から機構制御処理部１１に対して，センサ値などの結果が返される。
In the actual apparatus system shown in FIG. 1, for example, when a motor command is sent from the mechanism control processing unit 11 to the
また，例えば，機構制御処理部１１から実装置２０に対して，ワーク２５のアライメント制御のための基準マーク検出指令が送られると，実装置２０では，カメラ２１がワーク２５上の基準マークを撮像し，画像認識部２２によるパターンマッチングが行われる。実装置２０から機構制御処理部１１に対しては，基準マークの検出位置，検出角度，相関値等のデータを含む基準マーク検出結果が返される。
Further, for example, when a reference mark detection command for alignment control of the
図２は，本実施の形態によるシミュレーションシステムの例を示す図である。 FIG. 2 is a diagram illustrating an example of a simulation system according to the present embodiment.
図２に示すシミュレーションシステムは，図１に示す実装置システムにおける実装置２０の代わりに，実装置２０の機構を三次元モデルでシミュレートするシミュレーション装置３０を用いたシステムである。以下では，実装置２０を電子的にモデル化した三次元モデルを，三次元機構モデルと呼ぶものとする。このようなシミュレーション装置３０を用いることにより，実装置２０を用いなくても，制御装置１０における機構制御プログラムの検証を行うことができる。
The simulation system shown in FIG. 2 is a system using a
図２に示すシミュレーションシステムは，制御装置１０，シミュレーション装置３０，表示装置３５を有する。
The simulation system shown in FIG. 2 includes a
制御装置１０は，図１に示す制御装置１０と同様である。
The
シミュレーション装置３０は，入出力処理部３１，三次元機構シミュレーション部３２を備える。シミュレーション装置３０およびシミュレーション装置が備える各機能部は，コンピュータが備えるＣＰＵ，メモリ等のハードウェアと，ソフトウェアプログラムとにより実現される。
The
入出力処理部３１は，制御装置１０からの各種指令の入力や，各種指令に対する結果の制御装置１０への出力を行う。
The input /
三次元機構シミュレーション部３２は，三次元機構モデルを用いたシミュレーションを行う。三次元機構シミュレーション部３２は，三次元機構モデル情報記憶部３３，基準マーク検出部３４を備える。
The three-dimensional
三次元機構モデル情報記憶部３３は，図１に示す実装置２０を模した三次元機構モデルのデータを記憶する，コンピュータがアクセス可能な記憶装置である。
The three-dimensional mechanism model
基準マーク検出部３４は，三次元機構モデルにおける基準マーク検出処理を行う。基準マーク検出部３４による処理の詳細については後述する。
The reference
表示装置３５は，シミュレーション装置３０による三次元機構モデルの動作を画面に表示するディスプレイなどの装置である。
The
なお，制御装置１０とシミュレーション装置３０とは，１台のコンピュータで実現されてもよいし，それぞれ別のコンピュータで実現されてもよい。
The
図２に示すシミュレーションシステムにおいて，例えば，機構制御処理部１１からシミュレーション装置３０にモータ指令が送られると，シミュレーション装置３０では，入出力処理部３１が，そのモータ指令を入力する。
In the simulation system shown in FIG. 2, for example, when a motor command is sent from the mechanism control processing unit 11 to the
三次元機構シミュレーション部３２は，入出力処理部３１を介して入力されたモータ指令に基づいて，三次元機構モデルにおける各部品モデルの位置を更新する。具体的には，三次元機構シミュレーション部３２は，モータ指令の内容に応じた機構演算を行い，その演算結果に応じて変更が必要となる部品モデルの位置を算出する。三次元機構シミュレーション部３２は，算出された部品モデルの位置に基づいて，三次元機構モデルの描画処理を行う。表示装置３５に，各部品モデルの位置が更新された三次元機構モデルが表示される。
The three-dimensional
三次元機構シミュレーション部３２は，三次元機構モデルにおける各部品モデルの位置と，あらかじめ設定されたセンサ定義とに基づいて，入出力処理部３１を介して機構制御処理部１１にセンサ値を出力する。センサ定義では，部品モデルの位置とセンサＯＮ／ＯＦＦの条件が定義されている。
The three-dimensional
また，例えば，機構制御処理部１１からシミュレーション装置３０に対して，アライメント制御のための基準マーク検出指令が送られると，シミュレーション装置３０では，入出力処理部３１が，その基準マーク検出指令を入力する。
For example, when a reference mark detection command for alignment control is sent from the mechanism control processing unit 11 to the
三次元機構シミュレーション部３２において，基準マーク検出部３４は，入出力処理部３１を介して入力された基準マーク検出指令に基づいて，三次元機構モデルにおける基準マーク検出処理を行う。基準マーク検出部３４による基準マーク検出処理の詳細については，後述する。
In the three-dimensional
三次元機構シミュレーション部３２は，基準マーク検出部３４による基準マークの検出結果として，検出位置，検出角度，相関値等の基準マーク検出結果を，入出力処理部３１を介して機構制御処理部１１に出力する。
The three-dimensional
本実施の形態による三次元機構モデルを用いたシミュレーションでは，基準マーク検出のシミュレーションを行うための準備として，三次元機構モデルにマークセンサモデルと基準マークモデルとが設置される。 In the simulation using the three-dimensional mechanism model according to the present embodiment, a mark sensor model and a reference mark model are installed in the three-dimensional mechanism model as preparation for performing a reference mark detection simulation.
図３は，本実施の形態による三次元機構モデルの例を示す図である。 FIG. 3 is a diagram illustrating an example of a three-dimensional mechanism model according to the present embodiment.
図３に示す三次元機構モデル３６０は，フリップチップボンダにおけるチップ供給部の機構を模した三次元機構モデル３６０の例である。このような三次元機構モデル３６０は，三次元ＣＡＤ（Computer Aided Design ）等を用いて作成される。
A three-
三次元機構モデル３６０は，複数の部品モデルを有するアセンブリモデルである。三次元機構モデル３６０において，カメラモデル３６１は，実装置２０におけるカメラ２１を模した部品モデルである。図３に示すカメラモデル３６１は，フリップチップボンダにおいて，チップトレイ上に置かれた半導体チップを撮像するカメラ２１を模した部品モデルである。
The three-
また，三次元機構モデル３６０において，ワークモデル３６２は，実装置２０の作業の対象であるワーク２５を模した部品モデルである。図３に示すワークモデル３６２は，フリップチップボンダにおいて，チップトレイ上に置かれた半導体チップを模した部品モデルである。
In the three-
三次元機構モデル情報記憶部３３には，三次元ＣＡＤ等を用いて作成された三次元機構モデル３６０のデータが記憶される。
The three-dimensional mechanism model
三次元機構モデル３６０のデータには，三次元機構モデル３６０における各部品モデルの形状や位置座標，ローカル座標系などのデータが記録される。また，各部品モデルには，それぞれ個別に属性データが設定可能である。なお，部品モデルの位置座標は，すべてが，アセンブリモデルである三次元機構モデル３６０の座標系で位置表現されているわけではない。通常，三次元のアセンブリモデルを構成する部品モデル同士の関係は木構造となっており，子となる部品モデルの位置座標は，親となる部品モデルに設定されたローカル座標系で位置表現される。
In the data of the three-
図４は，本実施の形態によるマークセンサモデルの例を説明する図である。 FIG. 4 is a diagram for explaining an example of the mark sensor model according to the present embodiment.
マークセンサモデル３６３は，実装置２０におけるカメラ２１などのイメージセンサをモデル化した部品モデルである。本実施の形態では，ワーク２５上に存在する基準マークを検出対象としているので，イメージセンサの部品モデルを，マークセンサモデル３６３と呼んでいる。
The mark sensor model 363 is a part model obtained by modeling an image sensor such as the
本実施の形態では，マークセンサモデル３６３は，図４に示すように，四角錐で表される。これは，表示装置３５に表示される三次元ビュー上での視覚的表現を目的としたものである。内部的には，マークセンサモデル３６３は，実体として形状を持たない，すなわち体積を持たない部品モデルとして，三次元機構モデル３６０の空間に設置される。
In the present embodiment, the mark sensor model 363 is represented by a quadrangular pyramid as shown in FIG. This is intended for visual expression on a three-dimensional view displayed on the
本実施の形態では，マークセンサモデル３６３は，図４に示すように，実装置２０におけるカメラ２１に相当するカメラモデル３６１に設置される。このとき，マークセンサモデル３６３を表す四角錐の底面中心が，カメラモデル３６１において，実装置２０のカメラ２１の入射面であるレンズ先端の中心に相当する位置となるように，マークセンサモデル３６３が設置される。
In the present embodiment, the mark sensor model 363 is installed in a
また，図４に示すように，マークセンサモデル３６３のローカル座標系として，マークセンサモデル３６３にマークセンサ座標系が設定される。本実施の形態では，マークセンサ座標系のＸ軸，Ｙ軸，Ｚ軸を，それぞれＸc 軸，Ｙc 軸，Ｚc 軸と表すものとする。マークセンサ座標系のＸc 軸，Ｙc 軸は，それぞれ実装置２０のカメラ２１による撮像で得られるカメラ画像のＸ軸，Ｙ軸に相当する方向に設定される。マークセンサ座標系のＺc 軸は，実装置２０のカメラ２１の撮像方向となる。
As shown in FIG. 4, the mark sensor coordinate system is set in the mark sensor model 363 as the local coordinate system of the mark sensor model 363. In the present embodiment, the X axis, Y axis, and Z axis of the mark sensor coordinate system are expressed as X c axis, Y c axis, and Z c axis, respectively. X c axes of the mark sensor coordinate system, Y c-axis, X-axis of the camera images respectively obtained by the imaging by the
本実施の形態では，実装置２０のカメラ２１による撮像で得られるカメラ画像の原点は，カメラ画像の中心であるものとする。実装置２０の仕様に対応するために，三次元機構モデル３６０におけるマークセンサ座標系の原点は，実装置２０のカメラ２１におけるレンズの中心に相当する位置，すなわちマークセンサモデル３６３を表す四角錐の底面中心の位置に設定される。
In the present embodiment, it is assumed that the origin of the camera image obtained by imaging with the
図５は，本実施の形態によるマークセンサモデル属性データの例を示す図である。 FIG. 5 is a diagram illustrating an example of mark sensor model attribute data according to the present embodiment.
三次元機構モデル３６０に設置されるマークセンサモデル３６３には，その部品モデルの属性データとして，図５に示すようなマークセンサモデル属性データ３３１が設定される。
In the mark sensor model 363 installed in the three-
図５に示すマークセンサモデル属性データ３３１において，マークセンサ番号（ＭＳＮＯ）は，三次元機構モデル３６０に設置された各マークセンサモデル３６３を一意に識別する識別情報である。また，検出サイズ（ＤＸ，ＤＹ），検出距離（ＺＯＦＦ），検出範囲（ＤＺ）は，実装置２０のカメラ２１における光学的仕様に対応する情報である。マークセンサモデル属性データ３３１についての詳細な説明は，後述する。
In the mark sensor
なお，図４に示す例は，すでにカメラモデル３６１が設置された三次元機構モデル３６０に対して，後からカメラモデル３６１とは別にマークセンサモデル３６３を設置する例である。例えば，三次元機構モデル３６０の作成時に，カメラモデル３６１自身をマークセンサモデル３６３として設置するようにしてもよい。この場合には，カメラモデル３６１がマークセンサモデル３６３の実態となる。このとき，カメラモデル３６１のローカル座標系としてマークセンサ座標系を設定し，カメラモデル３６１の属性データとしてマークセンサモデル属性データ３３１を設定するようにすればよい。
Note that the example shown in FIG. 4 is an example in which the mark sensor model 363 is installed separately from the
図６は，本実施の形態による基準マークモデルの例を説明する図である。 FIG. 6 is a diagram for explaining an example of the reference mark model according to the present embodiment.
基準マークモデル３６４は，実装置２０における画像認識による認識の対象をモデル化した部品モデルである。本実施の形態では，実装置２０による作業の対象であるワーク２５上に存在する基準マークを検出対象としているので，画像認識の対象を表す部品モデルを，基準マークモデル３６４と呼んでいる。
The
本実施の形態では，基準マークモデル３６４は，図６（Ａ）に示すように，矩形付き矢印で表される。これは，表示装置３５に表示される三次元ビュー上での視覚的表現を目的としたものである。内部的には，基準マークモデル３６４は，実体として形状を持たない，すなわち体積を持たない部品モデルとして，三次元機構モデル３６０の空間に設置される。
In the present embodiment, the
また，図６（Ａ）に示すように，基準マークモデル３６４のローカル座標系として，基準マークモデル３６４に基準マーク座標系が設定される。基準マーク座標系は，空間内での基準マークモデル３６４の位置と姿勢とを表している。本実施の形態では，基準マーク座標系のＸ軸，Ｙ軸，Ｚ軸を，それぞれＸm 軸，Ｙm 軸，Ｚm 軸と表すものとする。
As shown in FIG. 6A, the reference mark coordinate system is set in the
本実施の形態では，図６（Ａ）に示すように，基準マークモデル３６４を表す矩形付き矢印において，矢印の出発点が，基準マーク座標系の原点を表している。また，基準マークモデル３６４を表す矩形付き矢印において，矢印が向く方向が，基準マーク座標系のＺm 軸方向を表している。また，基準マークモデル３６４を表す矩形付き矢印において，矢印に対して矩形片が張り出した方向が，基準マーク座標系のＸm 軸方向を表している。
In the present embodiment, as shown in FIG. 6A, in the arrow with a rectangle representing the
本実施の形態では，実装置２０の画像認識による位置検出の対象がワーク２５上の基準マークであるので，その基準マークのモデルである基準マークモデル３６４は，図６（Ｂ）に示すように，ワーク２５に相当するワークモデル３６２に設置される。このとき，基準マークモデル３６４が設置される位置は，画像認識によりテンプレート画像と一致すると判定されるワーク２５上の位置に相当する，ワークモデル３６２上の位置である。
In the present embodiment, since the target of position detection by image recognition of the
具体的には，例えば，実装置２０においてワーク２５上の基準マークの中心位置が目的とする検出位置であるような場合に，その検出位置に相当するワークモデル３６２上の位置が基準マーク座標系の原点となるように，基準マークモデル３６４が設置される。また，例えば，実装置２０において画像認識により基準マークが認識されたときのテンプレート画像の原点位置に対応するワーク２５上の位置に相当する，ワークモデル３６２上の位置が基準マーク座標系の原点となるように，基準マークモデル３６４が設置される。このような具体的な基準マークモデル３６４の設置位置は，実装置２０における画像認識処理の設計や，シミュレーション装置３０における基準マーク検出部３４による処理の設計に応じて定められる。
Specifically, for example, when the center position of the reference mark on the
図７は，本実施の形態によるテンプレート画像の原点位置に相当する位置への基準マークモデルの設置を説明する図である。 FIG. 7 is a diagram illustrating the installation of the reference mark model at a position corresponding to the origin position of the template image according to the present embodiment.
図７（Ａ）は，カメラ２１の撮像方向から見たワーク２５の例である。ワーク２５上に，画像認識による位置検出の対象である基準マーク２６が存在する。
FIG. 7A shows an example of the
図７（Ｂ）は，図７（Ａ）に示す基準マーク２６の位置検出に用いるテンプレート画像２７である。図７（Ｂ）に示すテンプレート画像２７の原点は，テンプレート画像２７の中心位置であるものとする。
FIG. 7B shows a
図７（Ａ）において，破線で示す枠の領域が，カメラ２１による撮像画像とテンプレート画像２７とがマッチする領域である。すなわち，図７（Ａ）において，点ａの位置が，テンプレート画像２７の原点に対応する位置となる。
In FIG. 7A, a frame area indicated by a broken line is an area where the image captured by the
図７（Ｃ）は，図７（Ａ）に示すワーク２５をモデル化したワークモデル３６２である。図（Ｃ）に示すワークモデル３６２において，点ｂの位置が，図７（Ａ）に示すワーク２５の点ａの位置に相当する位置である。図７（Ｃ）に示すワークモデル３６２において，テンプレート画像２７の原点位置に相当する位置に基準マークモデル３６４が設置される場合には，点ｂの位置が基準マーク座標系の原点となるように，基準マークモデル３６４が設置される。
FIG. 7C shows a
また，基準マークモデル３６４は，マークセンサモデル３６３に対してワークモデル３６２が正しい姿勢で設置されるときに，マークセンサ座標系の各軸の方向と基準マーク座標系の各軸の方向との関係が，所定の関係になるように設置される。例えば，ワークモデル３６２が正しい姿勢で設置されるときに，マークセンサ座標系のＸc 軸，Ｙc 軸，Ｚc 軸と基準マーク座標系のＸm 軸，Ｙm 軸，Ｚm 軸とがそれぞれ平行になるように，基準マークモデル３６４がワークモデル３６２に設置される。
Further, the
図８は，本実施の形態による基準マークモデル属性データの例を示す図である。 FIG. 8 is a diagram illustrating an example of reference mark model attribute data according to the present embodiment.
三次元機構モデル３６０に設置される基準マークモデル３６４には，その部品モデルの属性データとして，図８に示すような基準マークモデル属性データ３３２が設定される。図８に示す基準マークモデル属性データ３３２において，マークセンサ番号（ＭＳＮＯ）は，三次元機構モデル３６０を用いるシミュレーションで，その基準マークモデル３６４を検出の対象とするマークセンサモデル３６３のマークセンサ番号である。また，相関値（ＴＨ）は，パターンマッチング結果を仮定して設定される相関値である。基準マークモデル属性データ３３２におけるマークセンサ番号や相関値が，基準マーク検出処理においてどのように使用されるかについては，後述する。
In the
図９は，本実施の形態による基準マーク検出部の構成例を示す図である。 FIG. 9 is a diagram illustrating a configuration example of the reference mark detection unit according to the present embodiment.
基準マーク検出部３４は，基準マーク検出指令受付部３０１，カメラ部品移動処理部３０２，マークセンサ検出領域設定部３０３，基準マーク抽出部３０４，認識情報記憶部３０５，テンプレート画像領域判定部３０６，相関値判定部３０７，検出結果設定部３０８，基準マーク検出結果記憶部３０９，基準マーク検出結果出力部３１０を備える。
The reference
基準マーク検出指令受付部３０１は，入出力処理部３１を介して入力された，制御装置１０からの基準マーク検出指令を受け付ける。基準マーク検出指令には，実装値２０において撮像を行うカメラ２１を特定するカメラ番号や，実装置２０における画像認識に用いる認識データを特定するテンプレート番号などの情報が含まれている。
The reference mark detection
カメラ部品移動処理部３０２は，シミュレーション上で三次元機構モデル３６０を動作し，カメラモデル３６１の位置を，実装置２０におけるカメラ２１の撮像位置に相当する位置に移動する。移動するカメラモデル３６１は，基準マーク検出指令で指定されたカメラ番号のカメラ２１に対応するカメラモデル３６１である。このときのカメラモデル３６１の移動先の位置は，実装置２０におけるカメラ２１の撮像位置に応じて，あらかじめ設定された位置である。
The camera component
なお，カメラモデル３６１に設置されたマークセンサモデル３６３は，カメラモデル３６１のローカル座標系を用いた相対位置が設定されているので，カメラモデル３６１の移動と同時に目的とする位置に移動される。
The mark sensor model 363 installed in the
マークセンサ検出領域設定部３０３は，マークセンサモデル３６３に設定された属性データに基づいて，三次元機構モデル３６０を用いたシミュレーション空間上に，基準マークモデル３６４の検出を行う領域の設定を行う。以下では，基準マークモデル３６４の検出を行う領域を，マークセンサ検出領域と呼ぶものとする。マークセンサ検出領域の設定の詳細については，後述する。
The mark sensor detection
基準マーク抽出部３０４は，三次元機構モデル情報記憶部３３に記憶された三次元機構モデル３６０のデータから，マークセンサ検出領域内に存在する基準マークモデル３６４を抽出する。ここで抽出される基準マークモデル３６４は，その属性データに設定されたマークセンサ番号が，マークセンサ検出領域が設定されたマークセンサモデル３６３の属性データのマークセンサ番号に一致するものである。図５に示すように，マークセンサモデル３６３の属性データであるマークセンサモデル属性データ３３１には，マークセンサ番号が設定されている。また，図８に示すように，基準マークモデル３６４の属性データである基準マークモデル属性データ３３２には，マークセンサ番号が設定されている。
The reference
例えば，ワーク２５上の狭い範囲に，それぞれが別々のカメラ２１によって検出される複数の基準マークが存在するようなケースも考えられる。このような場合には，そのワーク２５をモデル化したワークモデル３６２上の狭い範囲に，別々のマークセンサモデル３６３から設定されたマークセンサ検出領域で抽出されるべき基準マークモデル３６４が，存在するようになる。すなわち，あるマークセンサモデル３６３から設定されたマークセンサ検出領域内に，そのマークセンサ検出領域で抽出されるべきではない基準マークモデル３６４が存在するようになる。
For example, there may be a case where a plurality of reference marks, each detected by a
このような狭い範囲に異なる複数の基準マークモデル３６４が存在する場合でも，属性データのマークセンサ番号によってマークセンサモデル３６３と基準マークモデル３６４との対応を設定することにより，適切な基準マークモデル３６４の抽出が可能となる。
Even when there are a plurality of different
認識情報記憶部３０５は，実装置２０における画像認識による基準マーク２６の認識に使用する，テンプレート画像２７に関するデータである認識データ２４を記憶する，コンピュータがアクセス可能な記憶装置である。認識データ２４には，画像認識における環境設定のデータや，パターンマッチング用のテンプレート画像２７のデータなどが含まれている。本実施の形態では，実装置２０で基準マーク２６の検出に用いられる認識データ２４を，シミュレーション装置３０による基準マーク検出のシミュレーションに，そのまま用いる。
The recognition
テンプレート画像領域判定部３０６は，マークセンサ検出領域から抽出された基準マークモデル３６４に対応するテンプレート画像２７の領域を設定し，設定されたテンプレート画像領域が，マークセンサ検出領域内に収まるか否かを判定する。テンプレート画像領域は，実装置２０での画像認識においてテンプレート画像２７とマッチするカメラ画像上の領域に相当する，基準マークモデル３６４を含むＸc −Ｙc 平面上の領域である。テンプレート画像領域の設定とその判定との詳細については，後述する。
The template image
相関値判定部３０７は，マークセンサ検出領域から抽出された基準マークモデル３６４の属性データに設定された相関値が，所定の閾値以上であるか否かを判定する。図８に示すように，基準マークモデル３６４の属性データである基準マークモデル属性データ３３２には，相関値が設定されている。
The correlation
例えば，制御装置１０からの基準マーク検出指令に対して，実装置２０における画像認識では，カメラ画像上の領域を少しずつずらしながら，カメラ画像上の領域とテンプレート画像２７との相関値を算出する処理が行われる。実装置２０では，算出された相関値が所定の閾値以上で最も高いカメラ画像上の領域が基準マーク２６の検出領域と判断され，その基準マーク検出結果が制御装置１０に返される。
For example, in the image recognition in the
実装置２０では，所定の閾値以上の相関値が得られるカメラ画像上の領域がなかった場合には，基準マーク２６が検出されなかったと判断され，その旨が基準マーク検出結果として制御装置１０に返される。すなわち，実装置２０では，実際にはカメラ画像上に目的とする基準マーク２６が写っている領域があったとしても，テンプレート画像２７とのマッチング結果が悪ければ基準マーク２６は検出されなかったものと判断され，基準マーク２６なしの結果が制御装置１０に返される。
In the
制御装置１０上の機構制御プログラムに，実際にはカメラ２１の視野内に存在する基準マーク２６が検出されなかった場合の対処アルゴリズムが用意されている場合もある。シミュレーション装置３０を用いた検証によって，このようなアルゴリズムの検証を行うためには，シミュレーション装置３０上で，実存する基準マーク２６が画像認識により検出されないケースを演出する必要がある。ところが，本実施の形態によるシミュレーション装置３０による基準マーク２６の検出では，実際に画像認識が行われないため，相関値の算出は行われない。
In some cases, the mechanism control program on the
そこで，本実施の形態では，基準マークモデル３６４の属性データに相関値を設定し，その相関値の閾値判定により，基準マーク２６が検出されるケースと検出されないケースとが演出できるようになっている。シミュレーションにおいて，基準マークモデル３６４が検出されるケースを想定する場合には，基準マークモデル３６４の属性データに設定された相関値を所定の閾値以上に設定しておけばよい。また，シミュレーションにおいて，あえて実存する基準マークモデル３６４が検出されないケースを想定する場合には，基準マークモデル３６４の属性データに設定された相関値を所定の閾値より小さい値に設定しておけばよい。
Therefore, in the present embodiment, a correlation value is set in the attribute data of the
このように，基準マークモデル３６４の属性データとして相関値を設定できるようにすることにより，シミュレーション装置３０によって，実存する基準マーク２６が画像処理により検出されないようなケースに対処するプログラムの検証などが可能となる。
As described above, by enabling the correlation value to be set as the attribute data of the
検出結果設定部３０８は，テンプレート画像領域がマークセンサ検出領域内に収まっており，かつ属性データに設定された相関値が所定の閾値以上である場合に，基準マークモデル３６４が検出されたと判断する。検出結果設定部３０８は，三次元機構モデル情報記憶部３３から検出されたと判断された基準マークモデル３６４の位置データを取得し，取得された基準マークモデル３６４の位置データに基づいて，目的とする検出位置を求める。
The detection
検出結果設定部３０８は，得られた検出位置を基準マーク検出結果として設定し，基準マーク検出結果記憶部３０９に記憶する。このとき，検出結果設定部３０８は，得られた検出位置をマークセンサ座標系に変換して，基準マーク検出結果に設定する。
The detection
基準マーク検出結果記憶部３０９は，基準マーク検出結果を記憶する，コンピュータがアクセス可能な記憶装置である。
The reference mark detection
基準マーク検出結果出力部３１０は，基準マーク検出結果記憶部３０９に記憶された基準マーク検出結果を，入出力処理部３１を介して，制御装置１０に出力する。
The reference mark detection
このような本実施の形態による基準マーク検出部３４を備えるシミュレーション装置３０によって，三次元機構モデル３６０を用いたシミュレーションで，画像認識を行わずに，パターン認識による基準マーク２６の二次元位置の検出をシミュレートすることが可能となる。
In the simulation using the three-
以下では，実装置２０の動作と比較しながら，シミュレーション装置３０の基準マーク検出部３４が備える各機能部による処理の詳細を説明する。
In the following, details of processing by each functional unit included in the reference
図１０〜図１４を用いて，マークセンサ検出領域の設定を詳細に説明する。 The setting of the mark sensor detection area will be described in detail with reference to FIGS.
図１０は，本実施の形態の実装置におけるカメラの撮像を説明する図である。 FIG. 10 is a diagram for explaining the imaging of the camera in the real apparatus of the present embodiment.
図１０に示す例は，実装置２０において，カメラ２１がワーク２５上面の基準マーク２６を撮像している状態を示している。図１０に示すＸ軸，Ｙ軸，Ｚ軸で示される座標は，実装置２０の座標系を示している。ここでは，カメラ２１は，Ｚ軸に平行な方向を向いているものとする。また，カメラ２１の撮像素子２８の水平方向はＸ軸に，垂直方向はＹ軸に平行であるものとし，撮像素子２８の撮像面はＸ−Ｙ平面に平行であるものとする。
The example shown in FIG. 10 shows a state where the
図１１は，本実施の形態によるカメラデータの例を示す図である。 FIG. 11 is a diagram illustrating an example of camera data according to the present embodiment.
図１１に示すカメラデータ２３は，実装置２０が備えるカメラ２１に関するデータである。
The
図１１に示すカメラデータ２３において，カメラ番号（１〜ｎ）は，実装置２０が備えるカメラ２１を一意に識別する識別番号である。
In the
図１１に示すカメラデータ２３において，画素数（ＨＮ，ＶＮ）は，カメラ２１における水平方向すなわちＸ軸方向の画素数ＨＮと，垂直方向すなわちＹ軸方向の画素数ＶＮとを示す。セルサイズ（ＸＳ，ＹＳ）は，カメラ２１の撮像素子２８におけるセルのＸ軸方向のサイズＸＳと，Ｙ軸方向のサイズＹＳとを示す。レンズ倍率（ＬＮ）は，カメラ２１のレンズの設定倍率を示す。
In the
図１１に示すカメラデータ２３において，ワーキングディスタンス（ＷＤ）は，図１０に示すように，カメラ２１のレンズ先端からワーク２５までの距離を示す。
In the
図１１に示すカメラデータ２３において，被写界深度（ＳＺ）は，カメラ２１のピントが合う奥行き方向の幅を示す。
In the
図１２は，本実施の形態の実装置におけるカメラのカメラ視野を示す図である。 FIG. 12 is a diagram showing the camera field of view of the camera in the actual apparatus of the present embodiment.
図１０において，カメラ視野（ＳＸ，ＳＹ）は，カメラ２１の視野の範囲を示す。カメラ視野の中心が，カメラの中心と一致する。カメラ視野は，図１１に示すカメラデータ２３における画素数，セルサイズ，レンズ倍率などのデータから求められる。すなわち，図１２に示すように，カメラ視野のＸ軸方向のサイズＳＸ，Ｙ軸方向のサイズＳＹは，それぞれ，
ＳＸ＝ＨＮ＊ＸＳ／ＬＮ
ＳＹ＝ＶＮ＊ＹＳ／ＬＮ
で求められる。
In FIG. 10, the camera field of view (SX, SY) indicates the range of the field of view of the
SX = HN * XS / LN
SY = VN * YS / LN
Is required.
図１０において，カメラ視野（ＳＸ，ＳＹ）と被写界深度（ＳＺ）からなる空間は，カメラ２１により撮像されたカメラ画像から，テンプレート画像２７を用いたマッチングにより，ワーク２５上の基準マーク２６が十分に検出可能な空間領域を示している。すなわち，図１０において，ワーク２５上の基準マーク２６が，カメラ視野と被写界深度からなる空間内に含まれていれば，実装置２０の画像認識部２２による処理で，基準マーク２６の位置が検出される可能性は高い。
In FIG. 10, a space composed of the camera field of view (SX, SY) and the depth of field (SZ) is obtained by matching a
図１３は，本実施の形態の実装置におけるカメラにより得られたカメラ画像の例を示す図である。 FIG. 13 is a diagram illustrating an example of a camera image obtained by the camera in the real apparatus according to the present embodiment.
カメラ２１の撮像により得られたカメラ画像２９は，例えば，図１３に示すようなものとなる。図１３に示すカメラ画像２９において，太線は撮像されたワーク２５の辺であり，十字型の図形はワーク２５上面に存在する基準マーク２６である。実装置２０において，画像認識部２２は，図１３に示すようなカメラ画像２９上をテンプレート画像２７で走査することにより，基準マーク２６の検出を行う。
A
本実施の形態では，図１３に示すように，カメラ画像２９の原点を，カメラの中心に設定している。図１３に示すように，カメラ画像２９の座標系は，Ｘc 軸，Ｙc 軸とで示される座標系となる。実装置２０におけるカメラ画像２９の座標系と，三次元機構モデル３６０におけるマークセンサ座標系とが，ともにＸc 軸，Ｙc 軸とで示されているが，これは，マークセンサ座標系が，実装置２０におけるカメラ画像２９の座標系に合わせて設定されているからである。
In the present embodiment, as shown in FIG. 13, the origin of the
図１４は，本実施の形態によるマークセンサ検出領域の設定を説明する図である。 FIG. 14 is a diagram for explaining the setting of the mark sensor detection area according to the present embodiment.
マークセンサ検出領域設定部３０３は，図５に示すようなマークセンサモデル属性データ３３１に基づいて，図１４に示すようなマークセンサ検出領域３６５の設定を行う。
The mark sensor detection
図１４（Ａ）は，マークセンサモデル３６３と，設定されるマークセンサ検出領域３６５との関係を示す図である。図１４（Ｂ）は，設定されるマークセンサ検出領域３６５の形状を示す図である。図１４（Ａ）に示すＸ軸，Ｙ軸，Ｚ軸で示される座標は，実装置２０の座標系に合わせて設定された三次元機構モデル３６０の座標系である。
FIG. 14A is a diagram showing the relationship between the mark sensor model 363 and the mark
図５に示すマークセンサモデル属性データ３３１において，検出サイズ（ＤＸ，ＤＹ）は，それぞれ，図１０，図１２に示すカメラ視野（ＳＸ，ＳＹ）に相当する。図５に示すマークセンサモデル属性データ３３１において，検出距離（ＺＯＦＦ）は，図１１に示すカメラデータ２３におけるワーキングディスタンス（ＷＤ）に相当する。図５に示すマークセンサモデル属性データ３３１において，検出範囲（ＤＺ）は，図１１に示すカメラデータ２３における被写界深度（ＳＺ）に相当する。このように，マークセンサモデル属性データ３３１には，実カメラ２１の光学的使用に基づいたデータが設定されている。
In the mark sensor
マークセンサ検出領域３６５の形状は，マークセンサモデル属性データ３３１に設定された検出サイズと検出範囲とに基づいて設定される。すなわち，本実施の形態によるマークセンサ検出領域３６５は，図１４（Ｂ）に示すように，マークセンサ座標系のＸc 軸方向のサイズがＤＸ，Ｙc 軸方向のサイズがＤＹ，Ｚc 軸方向のサイズがＤＺである直方体の形状となる。
The shape of the mark
三次元機構モデル３６０の空間におけるマークセンサ検出領域３６５の位置は，マークセンサモデル属性データ３３１に設定された検出距離に基づいて設定される。本実施の形態では，図１４（Ａ）に示すように，マークセンサモデル３６３の底面中心から，Ｚc 軸方向にＺＯＦＦだけ離れた位置がマークセンサ検出領域３６５の重心の位置となるように，マークセンサ検出領域３６５が設定される。なお，マークセンサモデル３６３の底面は，実装置２０におけるカメラ２１の入射面であるレンズ先端に合わせて，設定されている。
The position of the mark
このように，マークセンサ検出領域設定部３０３は，マークセンサモデル３６３に設定された属性データに基づいて，実装置２０におけるカメラ視野と被写界深度からなる空間に対応する，マークセンサ検出領域３６５の空間を設定する。
As described above, the mark sensor detection
マークセンサ検出領域３６５の設定後，基準マーク抽出部３０４が，三次元機構モデル情報記憶部３３に記憶された三次元機構モデル３６０のデータに基づいて，マークセンサ検出領域３６５内に存在する基準マークモデル３６４を抽出する。基準マーク抽出部３０４によって，図１４（Ｂ）に示すように，設定されたマークセンサ検出領域３６５の空間内に設置されている基準マークモデル３６４が，基準マーク検出部３４により位置検出が行われる基準マークモデル３６４の候補として抽出される。
After setting the mark
図１５〜図２２を用いて，テンプレート画像領域の設定と，テンプレート画像領域がマークセンサ検出領域に収まるかの判定とを詳細に説明する。 The setting of the template image area and the determination of whether the template image area fits in the mark sensor detection area will be described in detail with reference to FIGS.
図１５は，本実施の形態による認識データの例を示す図である。 FIG. 15 is a diagram illustrating an example of recognition data according to the present embodiment.
図１５に示す認識データ２４は，実装置２０において，画像認識部２２で用いられるテンプレート画像２７に関するデータなどの，画像認識に関するデータである。また，図１５に示す認識データ２４は，シミュレーション装置３０において，基準マーク検出部３４の認識情報記憶部３０５に記憶されるデータでもある。
The
図１５に示す認識データ２４において，テンプレート番号（１〜ｍ）は，実装置２０において画像認識に用いるテンプレート画像２７を一意に識別する識別情報である。
In the
図１５に示す認識データ２４において，照明種別（ＬＴＩＤ）は，同軸照明，斜光照明などの，カメラ２１による撮像時の被写体に対する照明の種別を示す。照明ボリューム（ＬＴＶＯＬ）は，カメラ２１による撮像時の被写体に対する照明の光量を示す。露光時間（ＥＸＰＯＳ）は，カメラ２１による撮像時の露光時間を示す。
In the
画像認識に用いるテンプレート画像２７は，例えば，カメラ２１によってあらかじめ撮像された画像から生成される。認識データ２４における照明種別，照明ボリューム，露光時間などのデータは，テンプレート画像２７の生成時における撮像条件である。基準マーク２６の検出時には，撮像条件を画像認識に用いるテンプレート画像２７の生成時の撮像条件に合わせて，カメラ２１による撮像が行われる。
The
図１５に示す認識データ２４において，テンプレート画像（TMPLT.BMP ）は，画像認識に用いるテンプレート画像２７のファイル名を示す。テンプレートサイズ（ＸＬ，ＹＬ）は，テンプレート画像２７のＸt 軸方向のサイズＸＬ，Ｙt 軸方向のサイズＹＬを示す。本実施の形態では，テンプレート画像２７の座標系を，テンプレート画像２７の中心を原点とするＸt 軸，Ｙt 軸で表すものとする。
In the
図１５に示す認識データ２４において，基準位置（ＸＰ，ＹＰ）としては，テンプレート画像２７の原点を基準として，基準マーク２６を含むテンプレート画像２７の中心や，テンプレート画像２７の中で特徴のある位置などの座標値が示される。検出位置（ＸＯＦＦ，ＹＯＦＦ）としては，基準マーク２６の検出結果として出力される点が，基準位置からのオフセット量で示される。
In the
図１５に示す認識データ２４において，範囲指定有無（ＡＲＥＦＬＧ）は，テンプレート画像２７を用いた画像認識を，カメラ画像２９上の領域の範囲を指定して行うか否かを示すフラグである。ＡＲＥＦＬＧ＝１のときには範囲指定が行われ，ＡＲＥＦＬＧ＝０のときには範囲指定が行われない。サーチ範囲（ＡＸ１，ＡＹ１，ＡＸ２，ＡＹ２）は，ＡＲＥＦＬＧ＝１のときに指定される，カメラ画像２９上の領域の範囲を示す。カメラ画像２９上の座標（ＡＸ１，ＡＹ１）の点と，座標（ＡＸ２，ＡＹ２）の点とを対角とする矩形の領域が，テンプレート画像２７を用いた画像認識の範囲となる。
In the
図１６は，本実施の形態の実装置によるサーチ範囲の設定を説明する図である。 FIG. 16 is a diagram for explaining the setting of the search range by the real apparatus of the present embodiment.
実装置２０において，図１５に示す認識データ２４の範囲指定有無（ＡＲＥＦＬＧ）が１である場合には，テンプレート画像２７を用いた画像認識を行うカメラ画像２９上の範囲が限定される。
In the
画像認識部２２は，認識データ２４の範囲指定有無（ＡＲＥＦＬＧ）が１である場合に，認識データ２４のサーチ範囲で指定された点（ＡＸ１，ＡＹ１），点（ＡＸ２，ＡＹ２）を対角とする矩形の範囲に，テンプレート画像２７を用いた画像認識を行う範囲を限定する。図１６に示すように，点（ＡＸ１，ＡＹ１），点（ＡＸ２，ＡＹ２）を対角とする矩形の範囲が，サーチ範囲２１０，すなわちテンプレート画像２７を用いた画像認識を行う範囲となる。
When the range designation presence / absence (AREFLG) of the
図１７は，本実施の形態のシミュレーション装置による基準マーク検出範囲の設定を説明する図である。 FIG. 17 is a diagram for explaining the setting of the reference mark detection range by the simulation apparatus of the present embodiment.
シミュレーション装置３０において，認識情報記憶部３０５に記憶された認識データ２４の範囲指定有無（ＡＲＥＦＬＧ）が１である場合には，マークセンサ検出領域３６５における基準マークモデル３６４を抽出する領域の範囲が限定される。マークセンサ検出領域設定部３０３は，認識データ２４の範囲指定有無（ＡＲＥＦＬＧ）が１である場合に，認識データ２４のサーチ範囲（ＡＸ１，ＡＹ１，ＡＸ２，ＡＹ２）の指定に従って，基準マークモデル３６４を抽出する領域の範囲を限定する。
In the
図１７（Ａ）は，二次元のＸc −Ｙc 平面で表されたマークセンサ検出領域３６５を示す。図１７（Ａ）に示すマークセンサ検出領域３６５は，実装置２０におけるカメラ画像２９に相当する。すなわち，図１７（Ａ）に示すマークセンサ検出領域３６５のＸc −Ｙc 平面において，点（ＡＸ１，ＡＹ１），点（ＡＸ２，ＡＹ２）を対角とする矩形の範囲が，限定された基準マーク抽出範囲３６６となる。
FIG. 17A shows a mark
図１７（Ｂ）は，三次元空間で表されたマークセンサ検出領域３６５である。マークセンサ検出領域３６５の三次元空間では，図１７（Ｂ）に示すように，（ＡＸ１，ＡＹ１）の直線と（ＡＸ２，ＡＹ２）直線とに基づいて設定された直方体の空間が，基準マーク抽出範囲３６６となる。
FIG. 17B shows a mark
図１５に示す認識データ２４において，回転サーチ有無（ＲＯＴＦＬＧ）は，回転されたテンプレート画像２７を用いた画像認識を行うか否かを示すフラグである。ＲＯＴＦＬＧ＝１のときには回転されたテンプレート画像２７を用いた画像認識が行われ，ＲＯＴＦＬＧ＝０のときには回転されたテンプレート画像２７を用いた画像認識が行われない。回転サーチ範囲（ＡＮＧ１，ＡＮＧ２）は，ＲＯＴＦＬＧ＝１のときに指定される，テンプレート画像２７の回転角度の範囲を示す。
In the
図１８は，本実施の形態による回転サーチ範囲を説明する図である。 FIG. 18 is a diagram for explaining a rotation search range according to the present embodiment.
図１８（Ａ）に示すように，図１５に示す認識データ２４の回転サーチ範囲において，ＡＮＧ１は，時計回り方向のテンプレート画像２７の回転角度の上限を示す。また，図１８（Ｂ）に示すように，図１５に示す認識データ２４の回転サーチ範囲において，ＡＮＧ２は，反時計回り方向のテンプレート画像２７の回転角度の上限を示す。
As shown in FIG. 18A, ANG1 indicates the upper limit of the rotation angle of the
実装置２０の画像認識部２２は，図１５に示す認識データ２４において，ＲＯＴＦＬＧ＝１のときに，ＡＮＧ１〜ＡＮＧ２の範囲で，例えば１度ずつテンプレート画像２７の角度を変えながら画像認識を行う。
In the
図１５に示す認識データ２４において，判定閾値（ＴＨＲＳＬＤ）は，カメラ画像２９上の領域とテンプレート画像２７との間の相関値の下限を示す閾値である。すなわち，画像認識部２２は，画像認識の結果，カメラ画像２９上の領域とテンプレート画像２７との間の最大の相関値が判定閾値以上でなければ，基準マーク２６が検出されなかったと判定する。なお，シミュレーション装置３０において，基準マーク検出部３４の相関値判定部３０７では，認識情報記憶部３０５に記憶された認識データ２４の判定閾値を所定の閾値として，相関値の判定を行う。
In the
図１９は，本実施の形態によるテンプレート画像の例（１）を示す図である。 FIG. 19 is a diagram showing an example (1) of a template image according to this embodiment.
図１９に示すテンプレート画像２７は，原点，基準位置，検出位置が同じ点である場合の例である。このとき，図１５に示す認識データ２４において，基準位置（ＸＰ，ＹＰ）＝（０，０），検出位置（ＸＯＦＦ，ＹＯＦＦ）＝（０，０）となる。
A
図１９に示すテンプレート画像２７において，基準マーク２６の中心位置の座標が目的とする検出位置である。基準マーク２６の大きさがテンプレート画像２７の大きさに対して十分に小さい場合などには，図１９に示すような原点，基準位置，検出位置が同じであるテンプレートが用意できる。
In the
図２０は，本実施の形態によるテンプレート画像の例（２）を示す図である。 FIG. 20 is a diagram illustrating an example (2) of the template image according to the present embodiment.
図２０において，基準マーク２６の中心位置の座標が目的とする検出位置であるものとする。このとき，図２０（Ａ）に示すように，基準マーク２６の大きさに対してテンプレート画像２７の大きさが十分でないような場合には，原点，基準位置，検出位置を同じ点に設定することが難しい。このような場合には，図２０（Ｂ）に示すように，原点，基準位置，検出位置が異なったテンプレート画像が用意される。
In FIG. 20, it is assumed that the coordinate of the center position of the
図２０（Ａ）において，特徴点は，画像認識において認識しやすい特徴のある点である。図２０（Ａ）に示す例では，矩形の基準マーク２６の角の部分が，認識が容易な特徴点となる。図２０（Ｂ）に示すように，認識しやすい特徴点が，テンプレート画像２７の基準位置として設定される。認識データ２４の基準位置（ＸＰ，ＹＰ）には，テンプレート画像２７の原点に対する特徴点の座標が設定される。
In FIG. 20A, feature points are points with features that are easy to recognize in image recognition. In the example shown in FIG. 20A, the corner portion of the
図２０（Ｂ）に示すように，検出位置は，図２０（Ａ）に示す基準マーク２６の中心位置である。認識データ２４の検出位置（ＸＯＦＦ，ＹＯＦＦ）には，テンプレート画像２７の原点に対する特徴点の座標が設定される。
As shown in FIG. 20B, the detection position is the center position of the
なお，図１９，図２０に示すテンプレート画像２７は，基準マーク２６を検出対象として，目的となる検出位置を求めるためのテンプレート画像２７である。検出対象が基準マーク２６以外，例えばプリント基板に搭載する半導体チップなどであってもよい。例えば，図２０に示すテンプレート画像２７において，検索対象が基準マーク２６ではなく基板に搭載するチップであり，基準位置がチップの角であり，検出位置がチップの中心位置であってもよい。
A
図２１は，本実施の形態の実装置によるテンプレート画像を用いた画像認識を説明する図である。 FIG. 21 is a diagram for explaining image recognition using a template image by the real apparatus according to the present embodiment.
実装置２０において，画像認識部２２は，図２１（Ａ）に示すように，テンプレートサーチを行い，テンプレート画像２７とマッチするカメラ画像２９上の領域を検出する。
In the
具体的には，画像認識部２２は，カメラ画像２９の領域を少しずつ変えながらテンプレート画像２７とのマッチングを行い，テンプレート画像２７との相関値が最大となるカメラ画像２９上の領域を検出する。画像認識部２２は，得られた最大の相関値が図１５に示す認識データの判定閾値以上である場合に，その相関値が得られたカメラ画像２９上の領域とテンプレート画像２７とがマッチすると判定する。そのテンプレート画像２７とマッチすると判定されたカメラ画像２９上の領域が，目的とする基準マーク２６が写った領域とされる。
Specifically, the
このように，実装置２０では，テンプレート画像２７とマッチする領域が，カメラ画像２９上に存在する場合に，基準マーク２６が検出されたものと判定される。逆に言えば，カメラ画像２９に基準マーク２６が写っていても，画像認識によって十分な相関値が得られなければ，テンプレート画像２７とマッチするカメラ画像２９上の領域はないと判定され，基準マーク２６が検出されなかったものと判定される。
As described above, in the
例えば，図２１（Ｂ）に示すように，基準マーク２６がカメラ画像２９の端の方に写っているようなケースも考えられる。このようなケースでは，カメラ画像２９上の基準マーク２６が写った部分にテンプレート画像２７とマッチする十分な領域が確保できない。すなわち，実装置２０では，カメラ視野内に基準マーク２６が存在しても，テンプレート画像とのマッチングでは，その基準マーク２６を検出できない場合がある。
For example, as shown in FIG. 21B, a case where the
これに対して，本実施の形態の三次元機構モデル３６０を用いたシミュレーション装置３０では，テンプレート画像２７を用いた画像認識を行わずに，三次元機構モデル３６０に設置された基準マークモデル３６４の検出を行う。具体的には，図１４（Ｂ）に示すように，シミュレーション装置３０では，マークセンサ検出領域３６５内に存在する基準マークモデル３６４の抽出が行われる。このとき，単純にマークセンサ検出領域３６５内から抽出された基準マークモデル３６４を基準マーク検出結果としてしまうと，実装置２０における画像認識では検出されない基準マーク２６に相当する基準マークモデル３６４が，検出されてしまう可能性がある。
On the other hand, in the
そこで，本実施の形態によるシミュレーション装置３０では，基準マーク検出部３４におけるテンプレート画像領域判定部３０６が，抽出された基準マークモデル３６４の周囲にテンプレート画像領域を設定する。テンプレート画像領域判定部３０６は，設定されたテンプレート画像領域が，マークセンサ検出領域３６５内に収まるか否かを判定する。
Therefore, in the
図２２は，本実施の形態によるテンプレート画像領域の設定と判定とを説明する図である。 FIG. 22 is a diagram for explaining setting and determination of a template image area according to the present embodiment.
図２２では，マークセンサ検出領域３６５が，基準マーク抽出部３０４により抽出された基準マークモデル３６４の位置を含むＸc −Ｙc 平面で表されている。これは，実装置２０におけるカメラ画像２９に相当する。
In FIG. 22, the mark
上述したように，本実施の形態では，基準マークモデル３６４は，ワークモデル３６２上の，実ワーク２５上のテンプレート画像２７の原点位置が想定された位置に設置されている。すなわち，三次元機構モデル３６０のシミュレーション空間上で，実装置２０において画像認識により基準マーク２６が検出されたときのテンプレート画像２７の領域をシミュレートすると，図２２（Ａ）に示すような基準マークモデル３６４を中心とする矩形領域となる。
As described above, in the present embodiment, the
テンプレート画像領域判定部３０６は，図２２（Ａ）に示すような基準マークモデル３６４を中心とする矩形領域を，テンプレート画像領域３６７として設定する。なお，本実施の形態による基準マーク検出部３４における認識情報記憶部３０５には，実装置２０と同じ認識データ２４が記憶されている。テンプレート画像領域判定部３０６は，認識情報記憶部３０５に記憶された認識データ２４から，テンプレート画像領域３６７のサイズ等を求めることができる。
The template image
テンプレート画像領域判定部３０６は，設定されたテンプレート画像領域３６７が，マークセンサ検出領域３６５内に収まるか否かを判定する。
The template image
図２２（Ａ）は，設定されたテンプレート画像領域３６７が，マークセンサ検出領域３６５内に収まっている例である。すなわち，図２２（Ａ）においてマークセンサ検出領域３６５から抽出された基準マークモデル３６４は，実装置２０における画像認識で検出され得る基準マーク２６に相当する基準マークモデル３６４であるといえる。
FIG. 22A shows an example in which the set
図２２（Ｂ）は，設定されたテンプレート画像領域３６７が，マークセンサ検出領域３６５内に収まっていない例である。すなわち，図２２（Ｂ）においてマークセンサ検出領域３６５から抽出された基準マークモデル３６４は，実装置２０における画像認識では検出されない基準マーク２６に相当する基準マークモデル３６４であるといえる。
FIG. 22B shows an example in which the set
このように，シミュレーション装置３０における基準マーク検出部３４のテンプレート画像領域判定部３０６により，実装置２０におけるテンプレート画像２７を用いたカメラ画像２９上の領域のマッチング走査を，シミュレートすることができる。
As described above, the template image
図２３〜図２７を用いて，基準マーク検出結果の設定について詳細に説明する。 The setting of the reference mark detection result will be described in detail with reference to FIGS.
図２３は，本実施の形態による検出結果データの例を示す図である。 FIG. 23 is a diagram illustrating an example of detection result data according to the present embodiment.
図２３に示す検出結果データ２１１は，実装置２０における基準マーク２６の検出結果である。また，図２３に示す検出結果データ２１１は，シミュレーション装置３０における基準マークモデル３６４の検出結果でもある。
The
実装置２０での検出結果データ２１１において，検出結果番号（１〜ＴＮＯ）は，検出された基準マーク２６の１つ１つに割り振られた番号である。また，シミュレーション装置３０での検出結果データ２１１において，検出結果番号（１〜ＴＮＯ）は，検出された基準マークモデル３６４の１つ１つに割り振られた番号である。
In the
実装置２０での検出結果データ２１１において，検出座標（ＴＸ，ＴＹ）は，基準マーク２６が検出されたと判定されたカメラ画像２９の領域の位置に基づいて求められた，検出位置の座標を示す。検出座標は，基準マーク２６の検出に用いられたテンプレート画像２７の原点，基準位置，検出位置の関係から求められる。また，シミュレーション装置３０での検出結果データ２１１において，検出座標（ＴＸ，ＴＹ）は，マークセンサ検出領域３６５から抽出された基準マークモデル３６４の位置に基づいて求められた，検出位置の座標を示す。
In the
実装置２０での検出結果データ２１１において，検出角度（ＴＡ）は，基準マーク２６が検出されたときのテンプレート画像２７の回転角度を示す。また，シミュレーション装置３０での検出結果データ２１１において，検出角度（ＴＡ）は，マークセンサ座標系と，検出された基準マークモデル３６４の基準マーク座標系との関係から求められた，基準マークモデル３６４の姿勢を示す角度である。なお，実装置２０またはシミュレーション装置３０において，検出角度は，認識データ２４の回転サーチ有無ＲＯＴＦＬＧが１である場合に，検出結果として求められる。
In the
実装置２０での検出結果データ２１１において，相関値（ＴＶ）は，基準マーク２６が検出されたときの，テンプレート画像２７とカメラ画像２９上の領域との間の相関値を示す。また，シミュレーション装置３０での検出結果データ２１１において，相関値（ＴＶ）は，マークセンサ検出領域３６５から抽出された基準マークモデル３６４の属性データに設定された相関値（ＴＨ）である。
In the
シミュレーション装置３０の基準マーク検出部３４において，検出結果データ２１１は，基準マーク検出結果記憶部３０９に記憶される。
In the reference
図２４は，本実施の形態の実装置による基準マーク検出結果を説明する図である。 FIG. 24 is a diagram for explaining the reference mark detection result by the actual apparatus of the present embodiment.
図２４において，破線の矩形枠で示す領域は，テンプレート画像２７とマッチすると判定されたカメラ画像２９上の領域である。検出位置がテンプレート画像２７の中心位置である場合には，図２４に示すカメラ画像２９において，破線の矩形枠で示す領域の中心位置が，目的とする基準マーク２６の検出位置となる。図２４に示すように，検出位置の座標（ＴＸ，ＴＹ）は，カメラ画像２９の座標系で表される。
In FIG. 24, an area indicated by a broken-line rectangular frame is an area on the
また，認識データ２４において，回転サーチ有無ＲＯＴＦＬＧ＝１である場合には，検出結果データ２１１に検出角度が設定される。このとき，例えば図２４に示すように，検出角度（ＴＡ）は，テンプレート画像２７の回転角度，すなわちカメラ画像２９に対する破線の矩形枠で示す領域の角度である。
Further, in the
図２５は，本実施の形態のシミュレーション装置による基準マークモデルの検出結果の設定（１）を説明する図である。 FIG. 25 is a diagram for explaining setting (1) of the detection result of the reference mark model by the simulation apparatus of the present embodiment.
図２５に示す例は，実装置２０における図１９に示す原点，基準位置，検出位置が同じテンプレート画像２７を用いた基準マーク２６の検出が，シミュレーション装置３０によってシミュレートされた場合の例である。
The example shown in FIG. 25 is an example in which the
図２５（Ａ）では，マークセンサ検出領域３６５が，基準マーク抽出部３０４により抽出された基準マークモデル３６４の位置を含むＸc −Ｙc 平面で表されている。これは，実装置２０におけるカメラ画像２９に相当する。
In FIG. 25A, the mark
図２５（Ａ）に示すように，マークセンサ検出領域３６５から抽出された基準マークモデル３６４を中心として，テンプレート画像領域３６７が設定されている。図２５に示すテンプレート画像領域３６７は，図１９に示すテンプレート画像２７に相当する。すなわち，図２５（Ｂ）に示すように，テンプレート画像領域３６７に，テンプレート画像２７の座標系を想定すると，基準マークモデル３６４の位置が，テンプレート画像２７の原点であると仮定できる。
As shown in FIG. 25A, a
シミュレーション装置３０の基準マーク検出部３４において，検出結果設定部３０８は，認識情報記憶部３０５に記憶された認識データ２４から，基準位置，検出位置のデータを取得する。ここでは，検出結果設定部３０８は，図１９に示すテンプレート画像２７の認識データ２４から，基準位置（ＸＰ，ＹＰ）＝（０，０），検出位置（ＸＯＦＦ，ＹＯＦＦ）＝（０，０）のデータを得る。
In the reference
取得された基準位置，検出位置のデータから，図２５（Ｂ）に示すように，テンプレート画像領域３６７において，テンプレート画像２７の原点，基準位置，検出位置は，すべて同じ位置である。すなわち，図２５に示す例において，基準マークモデル３６４の検出結果として求める検出座標は，基準マークモデル３６４の位置座標となる。
From the acquired reference position and detection position data, as shown in FIG. 25B, in the
図２５に示す例において，検出結果設定部３０８は，目的とする検出位置の座標，すなわち基準マークモデル３６４の位置座標を，基準マークモデル３６４の検出座標として，基準マーク検出結果記憶部３０９に記憶する検出結果データ２１１に設定する。本実施の形態では，図２５（Ａ）に示すように，検出座標として，マークセンサ座標系に変換された検出位置の座標（ＴＸ，ＴＹ）が，検出結果データ２１１に設定される。なお，ここで設定される検出座標は，カメラ画像２９の座標系を想定したマークセンサ座標系のＸc 軸，Ｙc 軸からなる二次元の位置座標である。
In the example shown in FIG. 25, the detection
図２６は，本実施の形態のシミュレーション装置による基準マークモデルの検出結果の設定（２）を説明する図である。 FIG. 26 is a diagram for explaining setting (2) of the detection result of the reference mark model by the simulation apparatus of the present embodiment.
図２６に示す例は，実装置２０における図２０（Ｂ）に示す原点，基準位置，検出位置がそれぞれ異なるテンプレート画像２７を用いた基準マーク２６の検出が，シミュレーション装置３０によってシミュレートされた場合の例である。
In the example illustrated in FIG. 26, the detection of the
図２６（Ａ）では，マークセンサ検出領域３６５が，基準マーク抽出部３０４により抽出された基準マークモデル３６４の位置を含むＸc −Ｙc 平面で表されている。これは，実装置２０におけるカメラ画像２９に相当する。
In FIG. 26A, the mark
図２６（Ａ）に示すように，マークセンサ検出領域３６５から抽出された基準マークモデル３６４を中心として，テンプレート画像領域３６７が設定されている。図２６に示すテンプレート画像領域３６７は，図２０（Ｂ）に示すテンプレート画像２７に相当する。すなわち，図２６（Ｂ）に示すように，テンプレート画像領域３６７に，テンプレート画像２７の座標系を想定すると，基準マークモデル３６４の位置が，テンプレート画像２７の原点であると仮定できる。
As shown in FIG. 26A, a
シミュレーション装置３０の基準マーク検出部３４において，検出結果設定部３０８は，認識情報記憶部３０５に記憶された認識データ２４から，基準位置，検出位置のデータを取得する。ここでは，検出結果設定部３０８は，図２０（Ｂ）に示すテンプレート画像２７の認識データ２４から，基準位置（ＸＰ，ＹＰ），検出位置（ＸＯＦＦ，ＹＯＦＦ）のデータを得る。
In the reference
図２６（Ｂ）に示すように，テンプレート画像領域３６７において，基準位置は，テンプレート画像２７の原点に対して（ＸＰ，ＹＰ）の位置となる。また，図２６（Ｂ）に示すように，テンプレート画像領域３６７において，検出位置は，基準位置に対して（ＸＯＦＦ，ＹＯＦＦ）の位置となる。検出結果設定部３０８は，テンプレート画像領域３６７において，テンプレート画像２７の原点，基準位置，検出位置との関係から，基準マークモデル３６４の位置に対する検出位置，すなわちテンプレート画像の原点に対する検出位置を求める。
As shown in FIG. 26B, in the
検出結果設定部３０８は，図２６（Ａ）に示すように，基準マークモデル３６４の位置に対する検出位置の座標をマークセンサ座標系に変換し，得られた座標（ＴＸ，ＴＹ）を検出座標として，基準マーク検出結果記憶部３０９に記憶する検出結果データ２１１に設定する。なお，ここで設定される検出座標は，カメラ画像２９の座標系を想定したマークセンサ座標系のＸc 軸，Ｙc 軸からなる二次元の位置座標である。
As shown in FIG. 26A, the detection
図２７は，本実施の形態のシミュレーション装置による検出角度の設定を説明する図である。 FIG. 27 is a diagram for explaining setting of the detection angle by the simulation apparatus of the present embodiment.
実装置２０では，図１５に示す認識データ２４の回転サーチ有無（ＲＯＴＦＬＧ）が１である場合に，回転されたテンプレート画像２７を用いた画像認識が行われる。このとき，実装置２０では，検出結果データ２１１に検出角度が設定される。
In the
シミュレーション装置３０では，認識情報記憶部３０５に記憶された認識データ２４の回転サーチ有無が１である場合に，基準マーク検出部３４の検出結果設定部３０８が，マークセンサ座標系と基準マーク座標系との関係に基づいて，基準マークモデル３６４の検出角度を求める。検出結果設定部３０８は，得られた検出角度を，基準マーク検出結果記憶部に記憶する検出結果データ２１１に設定する。
In the
本実施の形態では，上述したように，マークセンサモデル３６３に対してワークモデル３６２が正しい姿勢で設置されるときに，マークセンサ座標系のＸc 軸，Ｙc 軸と基準マーク座標系のＸm 軸，Ｙm 軸とがそれぞれ平行になるように，基準マーク座標系が設定される。すなわち，マークセンサ座標系のＸc 軸，Ｙc 軸と基準マーク座標系のＸm 軸，Ｙm 軸とが平行でなければ，基準マークモデル３６４が設置されたワークモデル３６２が，マークセンサモデル３６３に対して，正しい姿勢から回転した状態で設置されていることになる。
In this embodiment, as described above, when the
図２７では，マークセンサ検出領域３６５が，基準マーク抽出部３０４により抽出された基準マークモデル３６４の位置を含むＸc −Ｙc 平面で表されている。図２７に示すマークセンサ検出領域３６５において，マークセンサ座標系のＸc 軸，Ｙc 軸と，検出された基準マークモデル３６４に設定された基準マーク座標系のＸm 軸，Ｙm 軸とは，時計回りにＴＡだけズレていることがわかる。
In FIG. 27, the mark
検出結果設定部３０８が，マークセンサ座標系と基準マーク座標系との関係が，あらかじめ定められた関係からどのくらいの角度でズレているかを求め，得られたズレの角度ＴＡを検出角度として，検出結果データ２１１に設定する。
The detection
以下では，実装置２０による基準マーク検出処理の流れと比較して，シミュレーション装置３０の基準マーク検出部３４による基準マーク検出処理の流れを説明する。
Hereinafter, the flow of the reference mark detection process performed by the reference
図２８は，本実施の形態の実装置による基準マーク検出処理フローチャートである。 FIG. 28 is a flowchart of the reference mark detection process performed by the actual apparatus according to the present embodiment.
実装置２０が制御装置１０の機構制御処理部１１から基準マーク検出指令を受けると（ステップＳ１０），画像認識部２２は，基準マーク検出指令に含まれるカメラ番号，テンプレート番号で指示されたカメラデータ２３，認識データ２４を，記憶部から取得する（ステップＳ１１）。
When the
実装置２０は，基準マーク検出指令に含まれるカメラ番号で指示されたカメラ２１を，目的とする基準マーク２６を撮像するための所定の位置に移動する（ステップＳ１２）。このときのカメラ２１の移動先となる位置は，あらかじめ設定された位置である。
The
実装置２０は，目的とする基準マーク２６を撮像するカメラ２１の照明をＯＮにする（ステップＳ１３）。
The
画像認識部２２は，カメラ２１で撮像されたカメラ画像２９を取得する（ステップＳ１４）。
The
画像認識部２２は，画像認識処理を行う（ステップＳ１５）。具体的には，画像認識部２２は，カメラ画像２９上の領域と，基準マーク検出指令に含まれるテンプレート番号に応じたテンプレート画像２７とのマッチング処理を行う。画像認識部２２は，マッチング処理において，テンプレート画像２７との相関値が最も高くかつ所定の判定閾値より大きいカメラ画像２９上の領域が検出された場合に，そのカメラ画像２９上の領域が目的とする基準マーク２６が検出された領域であると判定する。画像認識部２２は，基準マーク検出指令に含まれるテンプレート番号で指示された認識データ２４に基づいて，基準マーク２６が検出されたと判定されたカメラ画像２９上の領域の位置から，目的とする検出位置の座標を求める。
The
実装置２０は，得られた検出位置の座標を基準マーク検出結果として，制御装置１０の機構制御処理部１１に出力する（ステップＳ１６）。また，実装置２０は，カメラ２１の照明をＯＦＦにする（ステップＳ１７）。
The
図２９，図３０は，本実施の形態のシミュレーション装置の基準マーク検出部による基準マーク検出処理フローチャートである。 FIG. 29 and FIG. 30 are reference mark detection processing flowcharts by the reference mark detection unit of the simulation apparatus of the present embodiment.
シミュレーション装置３０の基準マーク検出部３４において，基準マーク検出指令受付部３０１は，制御装置１０の機構制御処理部１１から発行された，基準マーク検出指令を受け付ける（ステップＳ２０）。基準マーク検出部３４は，受け付けられた基準マーク検出指令に含まれるカメラ番号とテンプレート番号とを取得する（ステップＳ２１）。
In the reference
カメラ部品移動処理部３０２は，三次元機構モデル３６０において，取得されたカメラ番号に対応するカメラモデル３６１を，目的とする基準マークモデル３６４が設置された所定の位置に移動する（ステップＳ２２）。このときのカメラモデル３６１の移動先となる位置は，あらかじめ設定された位置である。
In the three-
マークセンサ検出領域設定部３０３は，基準マーク検出指令に含まれるカメラ番号から，マークセンサ番号を取得する（ステップＳ２３）。例えば，実装置２０における該当カメラ２１のカメラ番号と，三次元機構モデル３６０における該当マークセンサモデル３６３に設定されたマークセンサ番号とが，同じ番号に設定されている場合には，マークセンサ検出領域設定部３０３は，カメラ番号をマークセンサ番号に読み替える。また，例えば，マークセンサ検出領域設定部３０３は，あらかじめ用意されたカメラ番号とマークセンサ番号との対応テーブルを参照して，カメラ番号からマークセンサ番号を取得する。
The mark sensor detection
ここで取得されたマークセンサ番号が属性データに設定されたマークセンサモデル３６３が，実装置２０におけてカメラ番号に該当するカメラ２１の役割を，シミュレーション装置３０の三次元機構モデル３６０上で実現するマークセンサモデル３６３となる。
The mark sensor model 363 in which the acquired mark sensor number is set in the attribute data realizes the role of the
マークセンサ検出領域設定部３０３は，三次元機構モデル情報記憶部３３に記憶された三次元機構モデル３６０のデータを参照し，マークセンサモデル３６３の属性データに設定された検出サイズ，検出距離，検出幅を取得する（ステップＳ２４）。
The mark sensor detection
マークセンサ検出領域設定部３０３は，取得された検出サイズ，検出距離，検出幅に基づいて，三次元機構モデル３６０のシミュレーション空間上に，マークセンサ検出領域３６５を設定する（ステップＳ２５）。なお，認識情報記憶部３０５に記憶された認識データ２４の範囲指定有無（ＡＲＥＦＬＧ）＝１である場合には，マークセンサ検出領域設定部３０３は，図１７に示すように，マークセンサ検出領域３６５を減縮した基準マーク抽出範囲３６６を設定する。
The mark sensor detection
基準マーク抽出部３０４は，三次元機構モデル情報記憶部３３に記憶された三次元機構モデル３６０のデータを参照し，三次元機構モデル３６０に設定されたすべての基準マークモデル３６４から，属性データに設定されたマークセンサ番号を確認する。基準マーク抽出部３０４は，マークセンサモデル３６３のマークセンサ番号と一致するマークセンサ番号が設定された基準マークモデル３６４を抽出する（ステップＳ２６）。
The reference
基準マーク検出部３４は，基準マーク検出処理による基準マークモデル３６４の検出数と，基準マークモデル３６４のカウンタｉとを初期化する。すなわち，基準マーク検出部３４は，検出数を０に設定し（ステップＳ２７），ｉを１に設定する（ステップＳ２８）。
The reference
基準マーク抽出部３０４は，三次元機構モデル情報記憶部３３の三次元機構モデル３６０のデータを参照し，抽出されたｉ番目の基準マークモデル３６４の座標を取得する（ステップＳ２９）。基準マーク抽出部３０４は，取得された座標から，抽出されたｉ番目の基準マークモデル３６４がマークセンサ検出領域３６５内に存在するか否かを判定する（ステップＳ３０）。
The reference
抽出されたｉ番目の基準マークモデル３６４がマークセンサ検出領域３６５内に存在しなければ（ステップＳ３０のＮＯ），基準マーク検出部３４は，ステップＳ３８の処理に進む。
If the extracted i-th
抽出されたｉ番目の基準マークモデル３６４がマークセンサ検出領域３６５内に存在すれば（ステップＳ３０のＹＥＳ），テンプレート画像領域判定部３０６は，抽出されたｉ番目の基準マークモデル３６４に対するテンプレート画像領域３６７を設定する（ステップＳ３１）。具体的には，テンプレート画像領域判定部３０６は，認識情報記憶部３０５に記憶された，基準マーク検出指令に含まれるテンプレート番号を持つ認識データ２４から，テンプレートサイズを取得する。テンプレート画像領域判定部３０６は，取得されたテンプレートサイズに基づいて，図２２に示すように，基準マークモデル３６４の位置を中心とするテンプレート画像領域３６７を設定する。
If the extracted i-th
テンプレート画像領域判定部３０６は，設定されたテンプレート画像領域３６７がマークセンサ検出領域３６５内に収まっているか否かを判定する（ステップＳ３２）。
The template image
設定されたテンプレート画像領域３６７がマークセンサ検出領域３６５内に収まっていなければ（ステップＳ３２のＮＯ），基準マーク検出部３４は，ステップＳ３８の処理に進む。
If the set
設定されたテンプレート画像領域３６７がマークセンサ検出領域３６５内に収まっていれば（ステップＳ３２のＹＥＳ），相関値判定部３０７は，抽出されたｉ番目の基準マークモデル３６４に設定された相関値を取得する（ステップＳ３３）。より具体的には，相関値判定部３０７は，三次元機構モデル情報記憶部３３に記憶された三次元機構モデル３６０のデータを参照し，抽出されたｉ番目の基準マークモデル３６４の属性データに設定された相関値を取得する。
If the set
相関値判定部３０７は，認識情報記憶部３０５に記憶された，基準マーク検出指令に含まれるテンプレート番号を持つ認識データ２４から判定閾値を取得し，取得された相関値が取得された判定閾値以上であるか否かを判定する（ステップＳ３４）。
The correlation
取得された相関値が取得された判定閾値以上でなければ（ステップＳ３４のＮＯ），すなわち取得された相関値が取得された判定閾値より小さければ，基準マーク検出部３４は，ステップＳ３８の処理に進む。
If the acquired correlation value is not equal to or greater than the acquired determination threshold value (NO in step S34), that is, if the acquired correlation value is smaller than the acquired determination threshold value, the reference
取得された相関値が取得された判定閾値以上であれば（ステップＳ３４のＹＥＳ），基準マーク検出部３４は，検出数をインクリメントする（ステップＳ３５）。
If the acquired correlation value is equal to or greater than the acquired determination threshold (YES in step S34), the reference
検出結果設定部３０８は，抽出されたｉ番目の基準マークモデル３６４の位置をテンプレート画像２７の原点としたときの検出位置の座標を，マークセンサモデル３６３のマークセンサ座標系に変換する（ステップＳ３６）。具体的には，検出結果設定部３０８は，認識情報記憶部３０５に記憶された，基準マーク検出指令に含まれるテンプレート番号を持つ認識データ２４から，該当テンプレート画像２７における基準位置，検出位置を取得する。検出結果設定部３０８は，取得された該当テンプレート画像２７における基準位置，検出位置に基づいて，抽出されたｉ番目の基準マークモデル３６４の位置をテンプレート画像２７の原点としたときの検出位置の座標を求める。検出結果設定部３０８は，得られた検出位置の座標を，マークセンサモデル３６３のマークセンサ座標系に変換する。
The detection
なお，認識情報記憶部３０５に記憶された認識データ２４の回転サーチ有無（ＲＯＴＦＬＧ）＝１である場合には，検出結果設定部３０８は，図２７に示すように，抽出されたｉ番目の基準マークモデル３６４の検出角度を求める。
When the rotation search presence / absence (ROTFLG) = 1 of the
検出結果設定部３０８は，抽出されたｉ番目の基準マークモデル３６４の検出結果を，基準マーク検出結果記憶部３０９に記憶される検出結果データ２１１に設定する（ステップＳ３７）。具体的には，検出結果設定部３０８は，検出結果データ２１１の検出結果番号に，検出数を設定する。また，検出結果設定部３０８は，検出結果データ２１１の検出座標に，マークセンサ座標系に変換された検出位置の座標を設定する。なお，ここで設定される検出座標は，カメラ画像２９の座標系を想定したマークセンサ座標系のＸc 軸，Ｙc 軸からなる二次元の位置座標となる。また，検出結果設定部３０８は，検出結果データ２１１の検出角度に，マークセンサ座標系と基準マーク座標系との関係から求められた検出角度を設定する。また，検出結果設定部３０８は，検出結果データ２１１の相関値に，基準マークモデル３６４の属性データから得られた相関値を設定する。
The detection
基準マーク検出部３４は，ステップＳ２６で抽出されたすべての基準マークモデル３６４についての処理が終了したか否かを判定する（ステップＳ３８）。
The reference
すべての基準マークモデル３６４についての処理が終了していなければ（ステップＳ３８のＮＯ），基準マーク検出部３４は，ｉをインクリメントし（ステップＳ３９），ステップＳ２９に戻って，次の基準マークモデル３６４についての処理に進む。
If the processing for all the
すべての基準マークモデル３６４についての処理が終了していれば（ステップＳ３８のＹＥＳ），基準マーク検出結果出力部３１０は，基準マーク検出結果記憶部３０９に記憶された検出結果データ２１１を，基準マーク検出結果として，制御装置１０の機構制御処理部１１に出力する（ステップＳ４０）。
If the processing for all the
以下では，実装置２０としてフリップチップボンダを想定し，三次元機構モデル３６０を用いたシミュレーション装置３０によって，フリップチップボンダにおける基板やチップなどの部品上にある基準マーク２６の検出をシミュレートする実施例の説明を行う。
In the following, it is assumed that a flip chip bonder is assumed as the
図３１は，本実施の形態によるフリップチップボンダの構成例を示す図である。 FIG. 31 is a diagram showing a configuration example of the flip chip bonder according to the present embodiment.
基板２９２上にチップ２９１を搭載するフリップチップボンダ２５０は，チップ供給部２６０，反転供給部２７０，チップ搭載部２８０を備える。なお，図３１では省略されているが，フリップチップボンダ２５０は制御装置１０に接続されており，フリップチップボンダ２５０は，制御装置１０からの制御により，各種動作，処理を行う。
The
チップ供給部２６０は，チップトレイ２６１からチップ２９１を供給する。チップ供給部２６０では，画像認識によってチップ２９１の外形を認識して，チップ２９１の中心位置や姿勢を検出するチップ外形認識が行われる。なお，チップ外形認識の処理は，検出対象が基準マーク２６の代わりにチップ２９１自身の外形となった，基準マーク認識処理であると考えてよい。このとき，例えば，図２０（Ｂ）に示すようなテンプレート画像２７を用いた，チップ２９１の中心位置を検出する画像認識が行われる。また，チップ供給部２６０では，プリアライメントと呼ばれる，チップ２９１の姿勢の調整が行われる。
The
反転供給部２７０は，チップ供給部２６０から供給されたチップ２９１を反転（フリップ）する。チップ２９１は，チップ供給部２６０のチップトレイ２６１上に，裏側が上を向いた状態で置かれている。反転供給部２７０は，裏側が上を向いた状態となっているチップ２９１を，表側が上を向いた状態に反転する。
The inversion supply unit 270 inverts (flips) the
チップ搭載部２８０は，チップ２９１を基板２９２に搭載する。チップ搭載部２８０では，アライメントと呼ばれる，チップ２９１と基板２９２との間の位置関係や姿勢の調整が行われる。
The
図３２は，本実施の形態のフリップチップボンダにおけるチップ供給部・チップ搭載部の機構の例を示す図である。 FIG. 32 is a diagram showing an example of the mechanism of the chip supply unit / chip mounting unit in the flip chip bonder of the present embodiment.
図３２（Ａ）は，チップ供給部２６０の機構の例を示す。チップ供給部２６０は，チップトレイ２６１，吸着ノズル２６２，チップ供給カメラ２６３，仮置き台２６４を備える。なお，図３２（Ａ）において，太線の矢印は，チップ供給部２６０の機構の可動方向を示している。
FIG. 32A shows an example of the mechanism of the
チップ供給部２６０は，チップトレイ２６１上の目的とするチップ２９１に，チップ供給カメラ２６３を位置決めする。チップ供給部２６０は，チップ供給カメラ２６３での撮像により得られたカメラ画像２９とテンプレート画像２７とを用いた画像認識によりチップ２９１の外形認識を行う。チップ供給部２６０では，チップ２９１の外形認識の結果として，チップ２９１の中心位置と，傾きの角度が得られる。なお，認識エラーが発生した場合，すなわちチップ２９１の外形認識に失敗した場合には，チップトレイ２６１上の該当位置にチップなしと判定され，次のチップ２９１に，チップ供給カメラ２６３が位置決めされる。
The
チップ供給部２６０は，チップ２９１の外形認識の結果に基づいて，目的とするチップ２９１の中心位置に吸着ノズル２６２を位置決めし，吸着ノズル２６２によりチップ２９１をピックアップする。チップ供給部２６０は，チップ２９１の外形認識の結果に基づいて，吸着ノズル２６２を回転させてチップ２９１の傾きを補正するプリアライメントを行い，チップ２９１を仮置き台２６４に設置する。
The
図３２（Ｂ）は，チップ搭載部２８０の機構の例を示す。チップ搭載部２８０は，アライメントカメラ２８１，カメラステージ２８２，上下２視野光学系部２８３，ヘッド２８４，アライメントステージ２８５を備える。なお，図３２（Ｂ）において，太線の矢印は，チップ搭載部２８０の機構の可動方向を示している。
FIG. 32B shows an example of the mechanism of the
チップ搭載部２８０において，カメラステージ２８２上のアライメントカメラ２８１の先に取り付けられた上下２視野光学系部２８３は，プリズムとミラーとを用いた仕組みによって，上下２視野の光景をアライメントカメラ２８１に送る。すなわち，アライメントカメラ２８１は，上下２視野光学系部２８３によって，ヘッド２８４に付いたチップ２９１側の上視野の画像と，アライメントステージ２８５上に置かれた基板２９２側の下視野画像とを，１台で撮像できる。
In the
チップ搭載部２８０は，上下２視野光学系部２８３を介したアライメントカメラ２８１の撮像により，ヘッド２８４に付いたチップ２９１の画像と，アライメントステージ２８５上に置かれた基盤２９２のチップ２９１を搭載する部分の画像とを取得する。チップ搭載部２８０は，得られたチップ２９１の画像と，基板２９２の画像とのそれぞれに対して画像認識による基準マーク２６の検出を行う。
The
ここでは，チップ２９１の画像と基盤２９２のチップ２９１を搭載する部分の画像とから，それぞれ２つずつ基準マーク２６が検出される。チップ搭載部２８０は，基準マーク２６の検出結果として，チップ２９１上の２つの基準マーク２６の位置と，基板２９２上の２つの基準マーク２６の位置とを取得する。それぞれ得られた２つずつの基準マーク２６の位置から，チップ２９１の中心位置と傾き，基盤２９２のチップ２９１を搭載する部分の中心位置と傾きを求めることができる。
Here, two
チップ搭載部２８０は，アライメントを行う。すなわち，チップ搭載部２８０は，アライメントステージ２８５を動作し，チップ２９１と傾きが同じになるように基板２９２を回転させる。また，チップ搭載部２８０は，アライメントステージ２８５を動作し，チップ２９１の中心位置と基盤２９２のチップ２９１を搭載する部分の中心位置とを合わせるように，基板２９２を移動する。
The
このようにチップ２９１の位置や傾きと基板２９２の位置や傾きとの関係が調整されたところで，チップ搭載部２８０は，基盤２９２へのチップ２９１の搭載を行う。
As described above, when the relationship between the position and inclination of the
図３３は，本実施の形態によるフリップチップボンダの三次元機構モデルへのマークセンサモデルの設置例を示す図である。 FIG. 33 is a diagram showing an installation example of the mark sensor model on the three-dimensional mechanism model of the flip chip bonder according to the present embodiment.
フリップチップボンダ２５０を制御するプログラムにおけるアライメントアルゴリズムや搭載データの検証が行われるときには，シミュレーション装置３０で用いるフリップチップボンダ２５０の三次元機構モデル３６０に対して，マークセンサモデル３６３が設置される。
When the alignment algorithm and the mounted data in the program for controlling the
上述のように，フリップチップボンダ２５０では，チップ供給部２６０とチップ搭載部２８０との２箇所で，画像認識による位置の取得が行われる。
As described above, in the
図３３において，チップ供給カメラモデル３６１ａは，図３２（Ａ）に示す実装置２０のチップ供給部２６０におけるチップ供給カメラ２６３をモデル化したものである。チップ供給カメラモデル３６１ａには，実装置２０におけるチップ供給カメラ２６３の撮像方向に合わせて，マークセンサモデル３６３ａが設置される。マークセンサモデル３６３ａには，Ｘc1軸，Ｙc1軸，Ｚc1軸からなるマークセンサ座標系が設定される。
33, the chip
図３３において，上下２視野光学系部モデル３６１ｂは，図３２（Ａ）に示す実装置２０のチップ搭載部２８０における上下２視野光学系部２８３をモデル化したものである。上述したように，チップ搭載部２８０では，上下２視野光学系部２８３を介してアライメントカメラ２８１で撮像を行うことにより，上下２方向の画像が１台のカメラ２１で撮像される。このことは，実質的に，上下２視野光学系部２８３の部分に，上視野を撮像するカメラ２１と下視野を撮像するカメラ２１とが別々に配置されていることと同じである。そのため，三次元機構モデル３６０では，上下２視野光学系部モデル３６１ｂに対して，２つのマークセンサモデル３６３が設置される。
In FIG. 33, an upper / lower two-field optical
上下２視野光学系部モデル３６１ｂには，実装置２０における上下２視野光学系部２８３の下視野方向に合わせて，マークセンサモデル３６３ｂが設置される。マークセンサモデル３６３ｂには，Ｘc2軸，Ｙc2軸，Ｚc2軸からなるマークセンサ座標系が設定される。また，上下２視野光学系部モデル３６１ｂには，実装置２０における上下２視野光学系部２８３の上視野方向に合わせて，マークセンサモデル３６３ｃが設置される。マークセンサモデル３６３ｃには，Ｘc3軸，Ｙc3軸，Ｚc3軸からなるマークセンサ座標系が設定される。
A
図３４は，本実施の形態によるフリップチップボンダの三次元機構モデルへの基準マークモデルの設置例を示す図である。 FIG. 34 is a diagram showing an installation example of the reference mark model on the three-dimensional mechanism model of the flip chip bonder according to the present embodiment.
図３４において，チップモデル３６２ａは，実装置２０のフリップチップボンダ２５０におけるワーク２５であるチップ２９１をモデル化したワークモデル３６２である。また，基板モデル３６２ｂは，実装置２０のフリップチップボンダ２５０におけるワーク２５である基板２９２をモデル化したワークモデル３６２である。
In FIG. 34, a
図３４に示すように，チップモデル３６２ａには，基準マークモデル３６４ａと，２つの基準マークモデル３６４ｃとが設置されている。なお，基準マークモデル３６４ａと基準マークモデル３６４ｃは，実ワーク２５であるチップ２９１の裏面に相当する，チップモデル３６２ａの面に設置されている。また，図３４に示すように，基板モデル３６２ｂには，シミュレーションにおいてチップモデル３６２を搭載する位置ごとに，２つずつの基準マークモデル３６４ｂが設置されている。設置された基準マークモデル３６４には，基準マーク座標系が設定される。
As shown in FIG. 34, the
なお，基準マークモデル３６４ａには，図３３に示すマークセンサモデル３６３ａに設定されたマークセンサ番号と同じマークセンサ番号が設定されている。また，基準マークモデル３６４ｂには，図３３に示すマークセンサモデル３６３ｂに設定されたマークセンサ番号と同じマークセンサ番号が設定されている。また，基準マークモデル３６４ｃには，図３３に示すマークセンサモデル３６３ｃに設定されたマークセンサ番号と同じマークセンサ番号が設定されている。
In the
本実施の形態では，フリップチップボンダ２５０のチップ供給部２６０におけるチップ外形認識で，検出対象であるチップ２９１の角の部分を基準位置とする，図２０（Ｂ）に示すようなテンプレート画像２７を用いた画像認識が行われる。すなわち，図２０（Ｂ）に示すテンプレート画像２７において，検出対象が基準マーク２６の代わりにチップ２９１自身であるものとする。なお，検出位置は，チップ２９１の中心位置である。
In the present embodiment, a
基準マークモデル３６４ａは，フリップチップボンダ２５０のチップ供給部２６０におけるチップ外形認識の処理をシミュレーション装置３０でシミュレートすることを想定して，チップモデル３６２ａ上に設置される。図３４に示すように，基準マークモデル３６４ａは，チップ２９１の左上角が写っているテンプレート画像２７の原点に相当する位置に設置される。
The
シミュレーション装置３０による，実装置２０のチップ供給部２６０におけるチップ外形認識のシミュレートでは，図３３に示すマークセンサモデル３６３ａの属性データから設定されるマークセンサ検出領域３６５からの基準マークモデル３６４ａの抽出が行われる。シミュレーション装置３０では，チップ外形認識のシミュレートによって，チップモデル３６２ａの中心位置が検出される。なお，設定されたマークセンサ番号が異なるので，マークセンサモデル３６３ａの属性データから設定されるマークセンサ検出領域３６５から，基準マークモデル３６４ｃは抽出されない。
In the simulation of chip outline recognition in the
また，その後のプリアライメントのシミュレートのために，マークセンサモデル３６３ａのマークセンサ座標系と基準マークモデル３６４ａの基準マーク座標系との関係から，基準マークモデル３６４ａの検出角度，すなわちチップモデル３６２ａの傾きが検出される。
In order to simulate the pre-alignment thereafter, the detection angle of the
本実施の形態では，フリップチップボンダ２５０のチップ搭載部２８０におけるアライメントのための基準マーク２６の検出で，図１９に示すような十字型の基準マーク２６のテンプレート画像２７を用いた画像認識が行われる。
In the present embodiment, image recognition using the
基準マークモデル３６４ｂは，フリップチップボンダ２５０のチップ搭載部２８０における基準マーク２６の検出処理をシミュレーション装置３０でシミュレートすることを想定して，基板モデル３６２ｂ上に設置される。基準マークモデル３６４ｂは，基準マーク２６が写っているテンプレート画像２７の原点に相当する位置に設置される。
The
また，基準マークモデル３６４ｃは，フリップチップボンダ２５０のチップ搭載部２８０における基準マーク２６の検出処理をシミュレーション装置３０でシミュレートすることを想定して，チップモデル３６２ａ上に設置される。基準マークモデル３６４ｃは，基準マーク２６が写っているテンプレート画像２７の原点に相当する位置に設置される。
The
シミュレーション装置３０による，実装置２０のチップ搭載部２８０における基準マーク２６検出のシミュレートでは，図３３に示すマークセンサモデル３６３ｂの属性データから設定されるマークセンサ検出領域３６５からの基準マークモデル３６４ｂの抽出が行われる。シミュレーション装置３０では，基準マーク２６検出のシミュレートによって，基板モデル３６２ｂ上のチップモデル３６２ａを搭載する部分の外側に配置された基準マーク３６４ｂの中心位置が検出される。
In the simulation of the
また，シミュレーション装置３０による，実装置２０のチップ搭載部２８０における基準マーク２６検出のシミュレートでは，図３３に示すマークセンサモデル３６３ｃの属性データから設定されるマークセンサ検出領域３６５からの基準マークモデル３６４ｃの抽出が行われる。シミュレーション装置３０では，基準マーク２６検出のシミュレートによって，チップモデル３６２ａの角部分に配置された基準マーク３６４ｃの中心位置が検出される。
In the simulation of the
以上説明した本実施の形態のシミュレーション装置３０による処理は，コンピュータが備えるＣＰＵ，メモリ等のハードウェアとソフトウェアプログラムとにより実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
The processing by the
以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。 Although the present embodiment has been described above, the present invention can naturally be modified in various ways within the scope of the gist thereof.
例えば，本実施の形態では，主にフリップチップボンダ等の部品搭載装置における基準マーク２６の位置検出を，三次元機構モデルを用いてシミュレートするシミュレーション装置３０について説明したが，本発明はこのような本実施の形態に限られるものではない。例えば，テンプレート画像２７を用いた画像認識により目的とする対象の位置検出を行う実装置２０のシミュレートであれば，本実施の形態で説明したシミュレーション装置３０の技術が，十分に適用可能である。
For example, in the present embodiment, the
また，必ずしもワーク２５やワーク２５上の基準マーク２６が検出対象である必要はない。例えば，検出対象が，実装置２０自身の一部であってもよい。
Further, the
１０ 制御装置
１１ 機構制御処理部
１２ モータ制御部
１３ アライメント制御部
２０ 実装置
２１ カメラ
２２ 画像認識部
２３ カメラデータ
２４ 認識データ
２５ ワーク
３０ シミュレーション装置
３１ 入出力処理部
３２ 三次元機構シミュレーション部
３３ 三次元機構モデル情報記憶部
３４ 基準マーク検出部
３５ 表示装置
３０１ 基準マーク検出指令受付部
３０２ カメラ部品移動処理部
３０３ マークセンサ検出領域設定部
３０４ 基準マーク抽出部
３０５ 認識情報記憶部
３０６ テンプレート画像領域判定部
３０７ 相関値判定部
３０８ 検出結果設定部
３０９ 基準マーク検出結果記憶部
３１０ 基準マーク検出結果出力部
DESCRIPTION OF
Claims (6)
シミュレーション空間上に，前記イメージセンサモデルによって決定されるイメージセンサ検出領域を設定する検出領域設定部と，
前記三次元モデル情報記憶部から，前記イメージセンサ検出領域内に存在する認識対象モデルを抽出する認識対象抽出部と，
前記抽出された認識対象モデルの位置に基づいて，シミュレーションが対象とする画像認識の目的である検出位置を求め，得られた検出位置を検出結果に設定する検出結果設定部とを備える
ことを特徴とするシミュレーション装置。 A three-dimensional model information storage unit for storing data of a three-dimensional model including an image sensor model used for image recognition simulation and a recognition target model detected by the image recognition simulation;
A detection area setting unit for setting an image sensor detection area determined by the image sensor model on a simulation space;
A recognition target extraction unit for extracting a recognition target model existing in the image sensor detection region from the three-dimensional model information storage unit;
A detection result setting unit that obtains a detection position that is an object of image recognition targeted by the simulation based on the position of the extracted recognition target model and sets the obtained detection position as a detection result; A simulation device.
前記テンプレート画像に関するデータに基づいて，前記抽出された認識対象モデルの位置に応じたテンプレート画像の領域を設定し，設定されたテンプレート画像の領域が前記イメージセンサ検出領域内であるか否かを判定するテンプレート画像領域判定部とをさらに備え，
前記検出結果設定部は，前記設定されたテンプレート画像の領域が前記イメージセンサ検出領域内であると判定された場合に，前記抽出された認識対象モデルの位置に基づいて，シミュレーションが対象とする画像認識の目的である検出位置を求め，得られた検出位置を検出結果に設定する
ことを特徴とする請求項１に記載のシミュレーション装置。 A recognition information storage unit for storing data relating to a template image used in the image recognition;
Based on the data related to the template image, a template image area is set according to the position of the extracted recognition target model, and it is determined whether or not the set template image area is within the image sensor detection area. A template image area determination unit for performing
The detection result setting unit, when it is determined that the set template image area is within the image sensor detection area, based on the position of the extracted recognition target model, The simulation apparatus according to claim 1, wherein a detection position which is a purpose of recognition is obtained, and the obtained detection position is set as a detection result.
ことを特徴とする請求項１または請求項２に記載のシミュレーション装置。 The detection result setting unit further obtains a detection angle of the extracted recognition target model from a relationship between a coordinate system of the image sensor model and a coordinate system of the extracted recognition target model, and obtains the detected angle The simulation apparatus according to claim 1, wherein: is set as a detection result.
前記検出結果設定部は，前記抽出された認識対象モデルのデータに設定された相関値が所定の閾値以上であると判定された場合に，前記抽出された認識対象モデルの位置に基づいて，シミュレーションが対象とする画像認識の目的である検出位置を求め，得られた検出位置を検出結果に設定する
ことを特徴とする請求項１から請求項３までのいずれかに記載のシミュレーション装置。 A correlation value determining unit that acquires a correlation value set in the extracted recognition target model and determines whether the acquired correlation value is equal to or greater than a predetermined threshold;
The detection result setting unit performs simulation based on the position of the extracted recognition target model when it is determined that the correlation value set in the extracted recognition target model data is equal to or greater than a predetermined threshold. The simulation apparatus according to any one of claims 1 to 3, wherein a detection position, which is an object of image recognition, is obtained, and the obtained detection position is set as a detection result.
前記コンピュータが，
前記記憶装置に記憶された三次元モデルに含まれるイメージセンサモデルによって決定されるイメージセンサ検出領域を，シミュレーション空間上に設定する過程と，
前記記憶装置に記憶された前記三次元モデルに含まれる認識対象モデルを，前記イメージセンサ検出領域から抽出する過程と，
前記抽出された認識対象モデルの位置に基づいて，シミュレーションが対象とする画像認識の目的である検出位置を求め，得られた検出位置を検出結果に設定する過程とを実行する
ことを特徴とするシミュレーション方法。 A computer simulation method capable of accessing a storage device storing data of a three-dimensional model,
The computer is
Setting an image sensor detection region determined by an image sensor model included in a three-dimensional model stored in the storage device on a simulation space;
Extracting a recognition target model included in the three-dimensional model stored in the storage device from the image sensor detection region;
And performing a process of obtaining a detection position which is a purpose of image recognition targeted by the simulation based on the extracted position of the recognition target model and setting the obtained detection position as a detection result. Simulation method.
前記コンピュータに，
前記記憶装置に記憶された三次元モデルに含まれるイメージセンサモデルによって決定されるイメージセンサ検出領域を，シミュレーション空間上に設定する手順と，
前記記憶装置に記憶された前記三次元モデルに含まれる認識対象モデルを，前記イメージセンサ検出領域から抽出する手順と，
前記抽出された認識対象モデルの位置に基づいて，シミュレーションが対象とする画像認識の目的である検出位置を求め，得られた検出位置を検出結果に設定する手順とを
実行させるためのシミュレーションプログラム。 A program for causing a computer accessible to a storage device in which data of a three-dimensional model is stored,
In the computer,
A procedure for setting an image sensor detection area determined by an image sensor model included in a three-dimensional model stored in the storage device on a simulation space;
Extracting a recognition target model included in the three-dimensional model stored in the storage device from the image sensor detection area;
A simulation program for executing a procedure for obtaining a detection position, which is a purpose of image recognition targeted by simulation, based on the extracted position of the recognition target model and setting the obtained detection position as a detection result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009215226A JP5365443B2 (en) | 2009-09-17 | 2009-09-17 | Simulation device, simulation method, and simulation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009215226A JP5365443B2 (en) | 2009-09-17 | 2009-09-17 | Simulation device, simulation method, and simulation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011065399A true JP2011065399A (en) | 2011-03-31 |
| JP5365443B2 JP5365443B2 (en) | 2013-12-11 |
Family
ID=43951577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009215226A Expired - Fee Related JP5365443B2 (en) | 2009-09-17 | 2009-09-17 | Simulation device, simulation method, and simulation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5365443B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013094961A (en) * | 2011-11-04 | 2013-05-20 | Fanuc Robotics America Corp | Robot teach device with 3-d display |
| JP2014045109A (en) * | 2012-08-28 | 2014-03-13 | Yamaha Motor Co Ltd | Bump recognition method of electronic component |
| JP2016157764A (en) * | 2015-02-24 | 2016-09-01 | 三菱電機株式会社 | Printed wiring board work support method and printed wiring board work support system |
| JPWO2015194043A1 (en) * | 2014-06-20 | 2017-04-20 | 株式会社牧野フライス製作所 | Machine tool controller |
| WO2023007621A1 (en) * | 2021-07-28 | 2023-02-02 | ファナック株式会社 | Simulation device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007241857A (en) * | 2006-03-10 | 2007-09-20 | Fanuc Ltd | Device for robot simulation, program, storage medium, and method |
| JP2009080514A (en) * | 2007-09-25 | 2009-04-16 | Mitsubishi Electric Corp | Sensor arrangement design support system |
| JP2009170516A (en) * | 2008-01-11 | 2009-07-30 | Yamaha Motor Co Ltd | Surface mounting machine, and electronic component mounting method |
-
2009
- 2009-09-17 JP JP2009215226A patent/JP5365443B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007241857A (en) * | 2006-03-10 | 2007-09-20 | Fanuc Ltd | Device for robot simulation, program, storage medium, and method |
| JP2009080514A (en) * | 2007-09-25 | 2009-04-16 | Mitsubishi Electric Corp | Sensor arrangement design support system |
| JP2009170516A (en) * | 2008-01-11 | 2009-07-30 | Yamaha Motor Co Ltd | Surface mounting machine, and electronic component mounting method |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013094961A (en) * | 2011-11-04 | 2013-05-20 | Fanuc Robotics America Corp | Robot teach device with 3-d display |
| US9415509B2 (en) | 2011-11-04 | 2016-08-16 | Fanuc America Corporation | Robot teach device with 3-D display |
| JP2014045109A (en) * | 2012-08-28 | 2014-03-13 | Yamaha Motor Co Ltd | Bump recognition method of electronic component |
| JPWO2015194043A1 (en) * | 2014-06-20 | 2017-04-20 | 株式会社牧野フライス製作所 | Machine tool controller |
| US10324451B2 (en) | 2014-06-20 | 2019-06-18 | Makino Milling Machine Co., Ltd. | Control device for machine tool |
| JP2016157764A (en) * | 2015-02-24 | 2016-09-01 | 三菱電機株式会社 | Printed wiring board work support method and printed wiring board work support system |
| WO2023007621A1 (en) * | 2021-07-28 | 2023-02-02 | ファナック株式会社 | Simulation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5365443B2 (en) | 2013-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11544874B2 (en) | System and method for calibration of machine vision cameras along at least three discrete planes | |
| US8559704B2 (en) | Three-dimensional vision sensor | |
| US10279473B2 (en) | Image processing device, image processing method, and computer program | |
| TWI670153B (en) | Robot and robot system | |
| JP6427972B2 (en) | Robot, robot system and control device | |
| JP5365443B2 (en) | Simulation device, simulation method, and simulation program | |
| JP4885867B2 (en) | POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM | |
| JP2016167229A (en) | Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination | |
| JP5111447B2 (en) | Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium recording the program | |
| US12002240B2 (en) | Vision system for a robotic machine | |
| US20220092330A1 (en) | Image processing device, work robot, substrate inspection device, and specimen inspection device | |
| JP2017146938A (en) | Book detection device, book detection method, and computer program for book detection | |
| CN109715307A (en) | Bending machine with workspace image capture device and the method for indicating workspace | |
| JP2007309808A (en) | Method and system for detecting position of object | |
| JP2020180914A (en) | Device, method, and program for detecting position attitude of object | |
| TWI290613B (en) | Position detecting method and position detecting device and position detecting system | |
| JP2018194542A (en) | Image processing system, image processing apparatus, and image processing program | |
| JP7331527B2 (en) | Apparatus, method and program for determining robot motion | |
| KR101535801B1 (en) | Process inspection device, method and system for assembling process in product manufacturing using depth map sensors | |
| JP4908523B2 (en) | POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM | |
| CN115153855B (en) | Positioning and aligning method and device for micro mechanical arm and electronic equipment | |
| JP2021024052A (en) | Image processing device, image processing method and program | |
| JPH0545117A (en) | Optical method for measuring three-dimensional position | |
| CN114295331A (en) | Multi-camera module optical axis testing method, device, equipment and medium | |
| JP4741943B2 (en) | Inspection apparatus and inspection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120605 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130813 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130826 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5365443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |