JP2009285951A - Measuring system, measuring method and measuring program for mold clamping apparatus - Google Patents
Measuring system, measuring method and measuring program for mold clamping apparatus Download PDFInfo
- Publication number
- JP2009285951A JP2009285951A JP2008139924A JP2008139924A JP2009285951A JP 2009285951 A JP2009285951 A JP 2009285951A JP 2008139924 A JP2008139924 A JP 2008139924A JP 2008139924 A JP2008139924 A JP 2008139924A JP 2009285951 A JP2009285951 A JP 2009285951A
- Authority
- JP
- Japan
- Prior art keywords
- mark
- mold
- mold clamping
- movable mold
- coordinate value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、型締装置の計測システム、型締装置の計測方法、及び型締装置の計測プログラムに関し、特に、型締装置の可動金型の姿勢等を計測する型締装置の計測システム、型締装置の計測方法、及び型締装置の計測プログラムに関する。 The present invention relates to a mold clamping device measurement system, a mold clamping device measurement method, and a mold clamping device measurement program, and in particular, a mold clamping device measurement system and a mold for measuring a posture of a movable mold of the mold clamping device. The present invention relates to a clamping device measurement method and a mold clamping device measurement program.
従来、射出成形機においては、樹脂を射出装置の射出ノズルから射出して固定金型と可動金型との間のキャビティ空間に充填(てん)し、固化させることによって成形品を得るようになっている。そして、固定金型に対して可動金型を移動させて型閉じ、型締め及び型開きを行うために型締装置が配設される。 2. Description of the Related Art Conventionally, in an injection molding machine, resin is injected from an injection nozzle of an injection device, filled into a cavity space between a fixed mold and a movable mold, and solidified to obtain a molded product. ing. A mold clamping device is provided to move the movable mold relative to the fixed mold to perform mold closing, mold clamping, and mold opening.
ここで、品質の良い成形品を得るためには、金型間の相対的な移動が非常に重要な要素となる。具体的には、可動金型の移動方向が意図した方向に対してズレを有していたり、可動金型が傾いていたりした場合、成形不良が生じる可能性が高くなる。特に、近年の成形品は非常に高い精度が要求されるため、当該ズレや傾き等についても人間の目視では確認できない微小なものであっても、成形品に悪影響を及ぼす可能性がある。 Here, in order to obtain a molded product of good quality, the relative movement between the molds is a very important factor. Specifically, if the moving direction of the movable mold has a deviation from the intended direction, or if the movable mold is tilted, there is a high possibility that defective molding will occur. In particular, since a molded product in recent years is required to have very high accuracy, even a minute one that cannot be confirmed by human eyes with respect to the deviation or the inclination may adversely affect the molded product.
そこで、可動金型の位置や姿勢に関して精度の高い計測手段が要求される。
しかしながら、従来は、体系化された計測方法は確立されておらず、現場の作業者のスキルに負うところが大きかった。例えば、成形品の状態を確認することにより、可動金型のズレや傾き等が推測されていた。 However, in the past, a systematic measurement method has not been established, and it has largely depended on the skills of workers on site. For example, by confirming the state of the molded product, a shift or inclination of the movable mold has been estimated.
本発明は、上記の点に鑑みてなされたものであって、型締装置における可動金型の姿勢等を適切に計測することのできる型締装置の計測システム、型締装置の計測方法、及び型締装置の計測プログラムの提供を目的とする。 The present invention has been made in view of the above points, and is a mold clamping device measurement system, a mold clamping device measurement method, and a mold clamping device measurement system capable of appropriately measuring the posture of the movable mold in the mold clamping device, and the like. The purpose is to provide a measurement program for mold clamping devices.
そこで上記課題を解決するため、本発明は、型締装置の可動金型又は前記可動金型保持部材に対して型開閉方向に略直交する方向にずれを有するように付加された少なくとも二つの第一のマークと、前記可動金型の移動に対して固定されている前記型締装置の固定部材に付加された第二のマークをと含むように型締め状態における時点と可動金型の移動過程における時点とにおいて撮像された複数の画像データのそれぞれについて、前記第二のマークに対する前記第一のマークの相対的な位置を示す座標値を算出する算出手段と、前記移動過程における時点に対する前記第一のマークの前記座標値を、型締め状態における時点に対する前記第一のマークの前記座標値に基づいて補正する補正手段と、補正された座標値に基づいて、前記移動過程における前記可動金型の姿勢を示す図を視認可能なように出力させる出力手段とを有することを特徴とする。 Therefore, in order to solve the above-described problem, the present invention provides at least two second molds added to the movable mold of the mold clamping device or the movable mold holding member so as to be displaced in a direction substantially perpendicular to the mold opening / closing direction. And a moving process of the movable mold so as to include one mark and a second mark added to a fixing member of the mold clamping device fixed to the movement of the movable mold. For each of a plurality of image data picked up at a time point in FIG. 5, a calculation means for calculating a coordinate value indicating a relative position of the first mark with respect to the second mark, and the first time with respect to the time point in the movement process Correction means for correcting the coordinate value of one mark based on the coordinate value of the first mark with respect to the time point in the mold-clamping state, and the movement excess based on the corrected coordinate value. And an outputting means for outputting a drawing showing a posture of the movable mold so as to be visible in.
また、本発明は、前記補正手段は、前記型締め状態における時点の前記第一のマークの位置を前記型開閉方向と略直交する直線上に配置するための変換を前記移動過程における時点の前記第一のマークの前記座標値に対して実行することを特徴とする。 In the invention, it is preferable that the correction unit performs conversion for arranging the position of the first mark at the time in the mold clamping state on a straight line substantially orthogonal to the mold opening / closing direction at the time of the moving process. It is performed on the coordinate value of the first mark.
また、本発明は、前記算出手段は、型前記移動過程において型締力がかけられていない複数の時点において撮像された複数の画像データのそれぞれについて、前記第一のマークの前記座表値を算出し、前記補正手段は、型締力がかけられていない複数の時点における前記第一のマークの前記座標値に基づく近似直線を基準として、前記移動過程における時点の前記第一のマークの前記座標値を補正することを特徴とする。 In the present invention, the calculation means may calculate the seating value of the first mark for each of a plurality of image data captured at a plurality of time points when a mold clamping force is not applied in the mold movement process. The correction means calculates the first mark at the time point in the moving process with reference to an approximate straight line based on the coordinate values of the first mark at a plurality of time points when a clamping force is not applied. The coordinate value is corrected.
また、本発明は、前記補正手段は、前記近似直線を前記型開閉方向と略平行な直線とするための変換を前記移動過程における時点の前記第一のマークの前記座標値に対して実行することを特徴とする。 Further, in the invention, the correction unit performs a conversion for making the approximate line a straight line substantially parallel to the mold opening / closing direction with respect to the coordinate value of the first mark at the time in the moving process. It is characterized by that.
また、本発明は、前記第一のマークごとに前記第二のマークが設けられ、前記画像データは、前記第一のマーク及び前記第二のマークの組ごとに異なる撮像装置によって撮像されることを特徴とする。 In the present invention, the second mark is provided for each of the first marks, and the image data is captured by a different imaging device for each set of the first mark and the second mark. It is characterized by.
また、本発明は、前記画像データは、少なくとも前記第一のマークが焦点深度外で撮像されたものであり、前記画像データにおいて前記第一のマークを含む領域の明暗分布を算出する明暗分布算出手段を有し、前記算出手段は、前記明暗分布に基づいて特定される位置について前記第二のマークに対する相対的な位置を算出することを特徴とする。 According to the present invention, the image data is obtained by taking at least the first mark out of the depth of focus, and calculates a light / dark distribution of a region including the first mark in the image data. Means for calculating a relative position of the second mark with respect to a position specified based on the brightness distribution.
また、本発明は、前記明暗分布算出手段は、前記第一のマークを含む領域の重心位置を算出し、前記算出手段は、前記重心位置について前記第二のマークに対する相対的な位置を算出することを特徴とする。 Further, according to the present invention, the light / dark distribution calculating means calculates a centroid position of an area including the first mark, and the calculating means calculates a relative position of the centroid position with respect to the second mark. It is characterized by that.
また、本発明は、前記明暗分布算出手段は、前記第一のマークを含む領域の明暗のピーク値を検出し、前記算出手段は、前記ピーク値を示す位置について前記第二のマークに対する相対的な位置を算出することを特徴とする。 Further, in the present invention, the light / dark distribution calculating means detects a light / dark peak value of an area including the first mark, and the calculating means relative to the second mark with respect to a position indicating the peak value. It is characterized in that a correct position is calculated.
また、本発明は、前記出力手段は、移動方向の距離を複数のマーク間の距離よりも相対的に短くして出力することを特徴とする。 Further, the present invention is characterized in that the output means outputs the distance in the moving direction relatively shorter than the distance between the plurality of marks.
本発明によれば、型締装置における可動金型の姿勢等を適切に計測することのできる型締装置の計測システム、型締装置の計測方法、及び型締装置の計測プログラムを提供することができる。 According to the present invention, it is possible to provide a mold clamping device measurement system, a mold clamping device measurement method, and a mold clamping device measurement program capable of appropriately measuring the posture of the movable mold in the mold clamping device. it can.
以下、図面に基づいて本発明の実施の形態を説明する。図1は、本発明の実施の形態における射出成形機の型締装置の概略図である。図1において、射出成形機の型締装置10は、フレーム17と、フレーム17に固定された固定金型支持装置としての固定プラテン12と、固定プラテン12との間に所定の距離を置いてフレーム17に対して移動可能に配設されたベースプレートとしてのトグルサポート15とを具備する。トグルサポート15はトグル式型締装置支持装置として機能する。固定プラテン12とトグルサポート15との間には、複数(例えば、四本)のガイド手段としてのタイバー16が延在している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic view of a mold clamping device of an injection molding machine according to an embodiment of the present invention. In FIG. 1, a
可動プラテン13は、固定プラテン12に対向して配設され、タイバー16に沿って進退(図における左右方向に移動)可能に配設された可動金型支持装置として機能する。金型装置11は、固定金型11aと可動金型11bとから成る。固定金型11aは、固定プラテン12における可動プラテン13と対向する金型取付面に取り付けられる。一方、可動金型11bは、可動プラテン13における固定プラテン12と対向する金型取付面に取り付けられる。
The
なお、可動プラテン13の後端 (図における右端) には、エジェクタピン(図示せず)を移動させるための駆動装置が取り付けられてもよい。
Note that a drive device for moving an ejector pin (not shown) may be attached to the rear end (right end in the drawing) of the
可動プラテン13とトグルサポート15との間には、トグル式型締装置としてのトグル機構20が取り付けられる。トグルサポート15の後端にはトグル機構20を作動させる型締用駆動源としての型締モータ26が配設される。型締モータ26は、回転運動を往復運動に変換するボールねじ機構等から成る運動方向変換装置(図示せず)を備え、駆動軸25を進退(図における左右方向に移動)させることによって、トグル機構20を作動させることができる。なお、型締モータ26は、サーボモータであることが好ましく、回転数を検出するエンコーダとしての型開閉位置センサ27を備える。
A
上述のトグル機構20は、駆動軸25に取り付けられたクロスヘッド24、クロスヘッド24に揺動可能に取り付けられた第2トグルレバー23、トグルサポート15に揺動可能に取り付けられた第1トグルレバー21、及び、可動プラテン13に揺動可能に取り付けられたトグルアーム22を有する。第1トグルレバー21と第2トグルレバー23との間、及び、第1トグルレバー21とトグルアーム22との間は、それぞれ、リンク結合される。なお、トグル機構20は、いわゆる、内巻五節点ダブルトグル機構であり、上下が対称の構成を有する。
The
型締モータ26が駆動して、被駆動部材としてのクロスヘッド24を進退させることによって、トグル機構20を作動させることができる。この場合、クロスヘッド24を前進(図における左方向に移動)させると、可動プラテン13が前進させられて型閉が行われる。そして、型締モータ26による推進力にトグル倍率を乗じた型締力が発生させられ、その型締力によって型締が行われる。
The
また、トグルサポート15の後端(図における右端)には、固定プラテン12に対するトグルサポート15の位置を調整するために、型締位置調整装置35が配設される。トグルサポート15には、タイバー挿通孔(図示せず)が複数、例えば、四つ形成され、タイバー16の図における右端が、それぞれのタイバー挿通孔に挿入される。なお、タイバー16の左端は、固定ナット16aによって固定プラテン12に固定されている。
In addition, a mold clamping
タイバー16は、図における右端の外周にねじが形成されたねじ部36を有し、調整ナット37がそれぞれのタイバー16のねじ部36に螺合される。なお、調整ナット37は、トグルサポート15の後端に回転可能に、かつ、タイバー16の軸方向に移動不能に取り付けられる。また、調整ナット37の外周には被駆動用歯車37aが取り付けられている。
The
トグルサポート15の後端における上方部には、型締位置調整用駆動源としての型厚モータ31が配設される。型厚モータ31の回転軸には、駆動用歯車33が取り付けられている。調整ナット37の被駆動用歯車37a及び駆動用歯車33の周囲には、チェーン、歯付きベルト等の駆動用線状体34が架け回されている。そのため、型厚モータ31を駆動して、駆動用歯車33を回転させると、それぞれのタイバー16のねじ部36に螺合された調整ナット37が同期して回転させられる。これにより、型厚モータ31を所定の方向に所定の回転数だけ回転させて、トグルサポート15を所定の距離だけ進退させることができる。なお、型厚モータ31は、サーボモータであることが好ましく、回転数を検出するエンコーダとしての型締位置センサ32を備える。
A
型厚モータ31の回転を調整ナット37に伝達する手段は、タイバー16のねじ部36に螺合された調整ナット37を同期して回転させられるものであれば、いかなるものであってもよい。例えば、駆動用線状体34に代えて、駆動用歯車33及び駆動用歯車33のすべてに係合する大径の歯車をトグルサポート15の後端に回転可能に配設することとしてもよい。
The means for transmitting the rotation of the
本実施の形態では、タイバー16の一つに型締力センサ18が配設される。型締力センサ18は、タイバー16の歪み(主に、伸び)を検出するセンサである。タイバー16には、型締の際に型締力に対応して引張力が加わり、型締力に比例して僅かではあるが伸長する。したがって、タイバー16の伸び量を型締力センサ18により検出することで、金型装置11に実際に印加されている型締力を知ることができる。
In the present embodiment, a mold
上述の型締力センサ18、型開閉位置センサ27、型締モータ26及び型厚モータ31は制御装置19に接続され、型締力センサ18及び型開閉位置センサ27から出力される検出信号は制御装置19に送られる。制御装置19は、検出信号に基づいて型締モータ26及び型厚モータ31の動作を制御する。
The above-described mold
ここで、通常の成形時における動作について説明する。型締モータ26を正方向に駆動させると、ボールねじ軸25が正方向に回転させられ、図1に示されるように、ボールねじ軸25は前進(図1における左方向に移動)させられる。それにより、クロスヘッド24が前進させられ、トグル機構20が作動させられると、可動プラテン13が前進させられる。
Here, an operation during normal molding will be described. When the
可動プラテン13に取り付けられた可動金型11bが固定金型11aに接触すると(型閉状態)、型締工程に移行する。型締工程では、型締モータ26を更に正方向に駆動することで、トグル機構20によって金型11に型締力が発生させられる。
When the
そして、図示されない射出装置に設けられた射出駆動部が駆動されてスクリュが前進することにより、金型11内に形成されたキャビティ空間に溶融樹脂が充填される。型開きを行なう場合、型締モータ26を逆方向に駆動すると、ボールねじ軸25が逆方向に回転させられる。それに伴って、クロスヘッド24が後退させられ、トグル機構20が作動されると、可動プラテン13が後退させられる。
And the injection drive part provided in the injection apparatus which is not shown in figure is driven, and a screw advances, The molten resin is filled in the cavity space formed in the metal mold | die 11. FIG. When opening the mold, when the
型開工程が完了すると、エジェクタ駆動部(図示せず)が駆動され、可動プラテンに取り付けられたエジェクタ装置が作動する。これにより、エジェクタピンが突き出され、可動金型11b内の成形品は可動金型11bより突き出される。また、エジェクタ駆動部の駆動と同時に、把持手段としての成形品取出機40が駆動され、成形品取出機40のアーム40aが固定金型11aと可動金型11bとの間に進入し、成形品取出位置で停止する。そして、エジェクタピンの前進により可動金型11bから突き出された成形品は成形品取出機40のアーム40aにより把持されて取り出され、射出成形機の外に設けられた搬送手段としてのコンベア装置まで搬送される。本実施の形態では、斯かる型締装置10において、可動金型11bの姿勢等を計測する例について説明する。当該計測には、図1では非図示とされていた位置計測システムが用いられる。
When the mold opening process is completed, an ejector driving unit (not shown) is driven, and the ejector device attached to the movable platen is operated. Thereby, an ejector pin protrudes and the molded article in the
図2は、本発明の実施の形態における位置計測システムの構成例を示す図である。図2において、位置計測システム1は、計測装置110、撮像装置120、及び光源130等より構成される。
FIG. 2 is a diagram illustrating a configuration example of the position measurement system according to the embodiment of the present invention. In FIG. 2, the
撮像装置120は、CCDカメラ121及びテレセントリックレンズ122等より構成され、例えば、一般的なデジタルカメラを用いてもよい。撮像装置120は、固定金型11a及び可動金型11bの上方に配設又は配置され、被写体140(固定金型11aの上面及び可動金型11bの上面)を、例えば型開閉方向と略直交する方向より撮像することにより、被写体140の電子的な画像情報(以下、「画像データ」)を取得し、その画像データを計測装置110に供給(転送)する。なお、一般的に、CCDカメラ121及びテレセントリックレンズ122は、被写体140に対して焦点が合うように配置されるが、本実施の形態では、被写体140(特に、後述されるターゲットマークTM)がレンズ焦点から外れるよう(焦点深度外になるよう)、配置される。
The
固定金型11a及び可動金型11bの上面は、例えば、水平面を形成し、それぞれの上面上には、可動金型11bの姿勢等を計測するためのマークが設けられている(付加されている)。固定金型11aには、三つの基準マークBM1、BM2、及びBM3(以下、総称する場合「基準マークBM」という。)が設けられている。また、可動金型11bには、二つのターゲットマークTMa及びTMb(以下、総称する場合「ターゲットマークTM」という。)が設けられている。二つのターゲットマークTMは、少なくとも型開閉方向に対して略直交する方向(図中における上下方向)にずれ(距離)を有するように設けられる。当該距離は、画角内に収まる範囲であれば大きい方が好ましい。
The upper surfaces of the fixed
なお、各マークと固定金型11a又は可動金型11bの上面とのコントラストを明瞭にするために、本実施の形態では、固定金型11aの上面に基準領域160が設けられ、基準領域160内に基準マークBMが設けられている。また、可動金型11bの上面にターゲット領域170a及び170b(以下、総称する場合「ターゲット領域170」という。)が設けられ、ターゲット領域170a内にターゲットマークTMaが、ターゲット領域170b内にターゲットマークTMbが設けられている。基準領域160、ターゲット領域170は、固定金型11a又は可動金型11bの上面に薄板等を貼り付けることにより形成してもよい。
In this embodiment, in order to clarify the contrast between each mark and the upper surface of the fixed
基準領域160及びターゲット領域170は、背景の輝度が一様であることが好ましい。例えば、研磨した金属やセラミックの他、ミラーが適する。また、各マークは、背景(基準領域160又はターゲット領域170)との輝度の差が明確であるように、印刷や穴加工により設けるとよい。
The
光源130は、撮像装置120が被写体140を撮像するときに、適切な明るさで被写体140を照射する。ターゲット領域170が鏡面の場合は、光源130を撮像装置120と同軸に設置するとよい。光源130の光量は、ターゲット領域170とターゲットマークTMとの輝度の差が明確であるように調節される。
The
計測装置110は、PC(Personal Computer)等の情報処理装置によって構成される。計測装置110は、ケーブル180を介して撮像装置120と接続され、撮像装置120より転送される画像データに基づいて、可動金型11bの姿勢等を計測する。
The measuring
計測装置110について更に詳しく説明する。図3は、本発明の実施の形態における計測装置のハードウェア構成例を示す図である。図3の計測装置110は、それぞれバスBで相互に接続されているドライブ装置100と、補助記憶装置102と、メモリ装置103と、CPU104と、インタフェース装置105と、表示装置106と、入力装置107とを有するように構成される。
The measuring
計測装置110での処理を実現するプログラムは、CD−ROM等の記録媒体101によって提供される。プログラムを記録した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
A program that realizes processing in the
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って計測装置110に係る機能を実現する。インタフェース装置105は、図2の撮像装置120や被写体140との間のケーブルに接続するためのインタフェースとして用いられる。例えば、画像処理ボードをインタフェース装置105として用いてもよい。表示装置106はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置107はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。
The
なお、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。
The program need not be installed from the
図4は、本発明の実施の形態における計測装置の機能構成例を示す図である。図4において、計測装置110は、撮像制御部112、位置計測部113、及び動作イメージ生成部114等より構成される。これら各部は、プログラムがCPU104実行させる処理によって実現される。
FIG. 4 is a diagram illustrating a functional configuration example of the measurement apparatus according to the embodiment of the present invention. In FIG. 4, the
撮像制御部112は、撮像装置120に撮像の指令を出力したり、撮像された画像データを撮像装置120より取り込んだりする。
The
位置計測部113は、撮像装置120によって撮像される画像データに基づいて可動金型11bが移動する過程の複数の時点におけるターゲットマークTMの位置を計測する。位置計測部113は、画像加工部1131、明暗分布算出部1132、及び位置判定部1133等より構成される。動作イメージ生成部114は、位置計測部113によって計測される各時点におけるターゲットマークTMの位置情報に基づいて、各時点における可動金型11bの姿勢を導出し、それに基づいて動作イメージを生成(構築)する。表示部115は、動作イメージ生成部114によって生成される情報を表示装置106に表示させる。
The
以下、位置計測システム1の動作について説明する。図5は、位置計測システムの動作を説明するためのフローチャートである。なお、以下のフローチャートでは、便宜上、型閉じ過程(型締工程の開始時も含まれる)における可動金型11bの姿勢の計測について説明する。
Hereinafter, the operation of the
型閉じ過程における複数の時点において、撮像制御部112は、撮像装置120に指令を出力し、被写体140を撮像させる(S101)。撮像装置120は、基準マークBM及びターゲットマークTMの双方が画角内に収まる状態から撮像を開始し、少なくとも固定金型11a及び可動金型11bが当接され型締力が十分かけられるまで所定の周期で撮像を継続する。したがって、複数の画像データが撮像され、画像データごとに撮像時刻が記録される。この際、撮像装置120は、ターゲットマークTMや基準マークBM、及び各マークの背景が焦点深度外となるように(ピンぼけするように)、但し、ターゲットマークTMによる明暗分布(濃度分布)が得られるように撮像を行う。撮像装置120の焦点については、ターゲットマークTMが焦点深度外となるように予め設定しておけばよい。なお、撮像制御部112による撮像装置120への指令は、操作者による指示入力に応じて行われてもよい、又は、制御装置19と計測装置10とをネットワーク等を介して接続し、制御装置19からの可動金型11b(可動プラテン13)の位置制御情報が所定の位置を示すときに自動的に行われても良い。また、撮像装置120を操作者が直接操作することにより手動で行われても良い。この場合、撮像制御部112はからの指令は不要である。
At a plurality of points in the mold closing process, the
続いて、撮像制御部112は、撮像装置120より複数の時点における複数の画像データ及びその撮像時刻を示す情報を取得し、計測装置110のメモリ装置103に記録する(S102)。
Subsequently, the
続いて、画像加工部1131は、メモリ装置103に記録された複数の画像データのうちの一つを処理対象とする(S103)。以降、ステップS104からS108までは、処理対象とされた画像データについて実行される。
Subsequently, the image processing unit 1131 sets one of a plurality of image data recorded in the
図6は、撮像された一画像の例を示す図である。図6中、図2と同一部分には同一符号を付している。図6に示されるように、画像(画角)200には固定金型11a及び可動金型11bの上面の画像が含まれている。固定金型11a上面には、基準領域160及び基準マークBMの画像が含まれている。可動金型11b上面には、ターゲット領域170及びターゲットマークTMの画像が含まれている。なお、図中では、便宜上、ターゲットマークTM及び基準マークBMは明瞭に示されている。しかし、上記のようにこれらのマークやその背景は焦点深度外において撮像されているため、実際にはピンぼけした(ぼやけた)状態で画像200に含まれる。
FIG. 6 is a diagram illustrating an example of a captured image. In FIG. 6, the same components as those in FIG. As shown in FIG. 6, the image (angle of view) 200 includes images of the upper surfaces of the fixed
続いて、画像加工部1131は、画像200より、ターゲット領域170a及び170b内でターゲットマークTMa又はTMbを含むような矩形領域(以下、それぞれを「処理対象範囲171a」、「処理対象範囲171b」といい、総称する場合「処理対象範囲171」という。)を仮想的に切り取り、各処理対象範囲171の範囲を特定するためのパラメータをメモリ装置103に記録する(S104)。当該パラメータは、例えば、処理対象範囲171の縦幅、及び横幅のサイズが予め決まっているのであれば、4つの頂点のうちのいずれか一つの頂点の座標値でよい。また、4つの頂点の全ての座標値でもよい。本実施の形態では、縦幅及び横幅のサイズが決まっており、処理対象範囲171aの左上の頂点TP1の座標値(X11,Y11)及び処理対象範囲171bの左上の頂点TP2(X22,Y22)を記録しておく場合を例とする。当該座標値は、画像200の座標系210における座標値となる。すなわち、画像200の左上頂点を(0,0)とし、画素を単位とした座標系における座標値である。以下、当該座標系を「画角座標系」という。
Subsequently, from the
画像加工部1131は、また、各基準マークBMについても、基準領域160内で当該基準マークBMを含むような矩形領域(処理対象範囲161a、処理対象範囲161b、処理対象範囲161c、以下、総称する場合、「処理対象範囲161」という。)を切り取り、各処理対象範囲161の領域を特定するパラメータをメモリ装置103に記録する。
The image processing unit 1131 also includes a rectangular area (
ところで、画像加工部1131による処理対象範囲171の切り出しは、例えば、制御装置19が可動金型11bを位置制御したはずの座標値に基づいて行えばよい。すなわち、画像加工部1131は、当該座標値に基づいて、ターゲットマークTMの画像200における座標値を算出し、その算出結果に基づいて、画像200における処理対象範囲171の位置(頂点TP1や頂点TP2の座標値)を決定する。
By the way, the extraction of the
但し、基準マークBMに関する処理対象範囲161の座標値については位置が固定されているため、例えば、予め補助記憶装置102に記録しておき、その値を用いてもよい。
However, since the position of the coordinate value of the processing target range 161 related to the reference mark BM is fixed, for example, the value may be recorded in advance in the
続いて、画像加工部1131は、処理対象範囲171及び処理対象範囲161のそれぞれについて、フィル夕処理を行う(S105)。すなわち、ノイズ除去を目的として、低域通過フィル夕、または、収縮膨張操作等の処理を行う。なお、画像200の状態に応じて、当該フィルタ処理は省略してもよい。
Subsequently, the image processing unit 1131 performs the fill processing for each of the
続いて、明暗分布算出部1132は、処理対象範囲171及び処理対象範囲161のそれぞれについて明暗分布を算出し、明暗分布に基づいて、ターゲットマークTM又は基準マークBMの検出位置を算出又は判定する(S106)。
Subsequently, the light / dark
具体的には、第一の方法として、処理対象範囲171及び処理対象範囲161のそれぞれについて、重心演算を行い、その結果算出される重心位置を検出位置とする。すなわち、処理対象範囲171の重心位置は、ターゲットマークTMの検出位置とされる。同様に、処理対象範囲161aの重心位置、処理対象範囲161bの重心位置、処理対象範囲161cの重心位置は、それぞれ、基準マークBM1、基準マークBM2、基準マークBM3の検出位置とされる。
Specifically, as a first method, the center of gravity is calculated for each of the
なお、重心演算は、以下の式に基づいて行えばよい。 The center of gravity calculation may be performed based on the following formula.
XG:処理対象範囲の重心位置
xn:処理対象範囲内のn番目の画素の位置
dn:n番目の画素の輝度
なお、輝度の闘値を設けてそれより大きい輝度を有する画素のみで重心演算を行うことにより、背景の影響を低減させるようにしてもよい。
X G : The barycentric position x n of the processing target range x n : The position of the n-th pixel in the processing target range d n : The luminance of the n-th pixel You may make it reduce the influence of a background by performing a gravity center calculation.
また、第二の方法として、処理対象範囲171及び処理対象範囲161のそれぞれについて明暗のピーク値を検出し、そのピーク値が検出される位置を各マークの検出位置としてもよい。
In addition, as a second method, a light and dark peak value may be detected for each of the
なお、検出位置は、処理対象範囲内の座標系(以下、「処理対象範囲座標系」という。)における座標値(すなわち、処理対象範囲内における画素の位置)によって表現される。例えば、図7は、ターゲットマークの検出位置を説明するための図である。 The detection position is expressed by a coordinate value (that is, a pixel position in the processing target range) in a coordinate system within the processing target range (hereinafter referred to as “processing target range coordinate system”). For example, FIG. 7 is a diagram for explaining the detection position of the target mark.
図中の例では、ターゲットマークTMaの検出位置が、(X12,Y12)として判定された例が示されている。ここで、(X12,Y12)は、処理対象範囲171aの左上頂点TP1からのX方向、Y方向の画素数を示す。なお、図中において、左上頂点TP1の座標値(X11,Y11)は、画角座標系における座標値によって示されているが、処理対象範囲座標系では(0,0)となる。
In the example in the figure, an example in which the detection position of the target mark TMa is determined as (X12, Y12) is shown. Here, (X12, Y12) indicates the number of pixels in the X direction and the Y direction from the upper left vertex TP1 of the
ターゲットマークTMb及び各基準マークBMの検出値についても同様に、それぞれの処理対象範囲座標系における座標値によって表現される。 Similarly, the detected values of the target mark TMb and each reference mark BM are expressed by coordinate values in the respective processing target range coordinate systems.
なお、本実施の形態では、各マークについては、焦点が合っていない「ぼやけた」画像が得られるため、マークの位置の検出にはエッジ検出やパターンマッチングは適さない。 In this embodiment, for each mark, an “out-of-focus” “blurred” image is obtained, and therefore edge detection and pattern matching are not suitable for detecting the position of the mark.
続いて、位置判定部1133は、各マークの検出位置の座標値について、それぞれの処理対象範囲の左上の頂点の画角座標系における座標値を加算することで、画角座標系の座標値に変換する(S107)。従って、例えば、図6の例によれば、ターゲットマークTMaの画角座標系の座標値(X10,Y10)は以下のようになる。
X10=X11+X12
Y10=Y11+Y12
続いて、位置判定部1133は、ターゲットマークTMの座標値を画角座標系から、3つの基準マークBMによって規定される座標系(以下「基準マーク座標系」という。)に変換する(S108)。
Subsequently, the
X10 = X11 + X12
Y10 = Y11 + Y12
Subsequently, the
ここで、基準マークBM1、BM2、BM3の画角座標系の座標値を、(X000、Y000)、(X001、Y001)、(X002、Y002)とした場合、基準マークBM1(X000、Y000)を原点とし、ベクトル(X000、Y000)→(X001、Y001)をX基底ベクトル、ベクトル(X000、Y000)→(X002、Y002)をY基底ベクトルとする座標系が基準マーク座標系に相当する。 Here, when the coordinate values of the view angle coordinate system of the reference marks BM1, BM2, and BM3 are (X000, Y000), (X001, Y001), (X002, Y002), the reference mark BM1 (X000, Y000) is set. A coordinate system having the origin, the vector (X000, Y000) → (X001, Y001) as the X basis vector, and the vector (X000, Y000) → (X002, Y002) as the Y basis vector corresponds to the reference mark coordinate system.
したがって、ステップS108では、ターゲットマークTMaの画角座標系の座標値(X10、Y10)及びターゲットマークTMbの画角座標系の座標値(X20,Y20)は、斯かる基準マーク座標系の座標値に変換される。 Therefore, in step S108, the coordinate values (X10, Y10) of the field angle coordinate system of the target mark TMa and the coordinate values (X20, Y20) of the field angle coordinate system of the target mark TMb are the coordinate values of the reference mark coordinate system. Is converted to
以上ステップS103〜S108までの処理が各時点における画像データに対して実行されることにより(S109)、図8に示されるような情報、すなわち、各時点における各ターゲットマークTMの基準マーク座標系における座標値(検出位置)が得られる。 By executing the processing from step S103 to S108 on the image data at each time point (S109), information as shown in FIG. 8, that is, the reference mark coordinate system of each target mark TM at each time point is obtained. A coordinate value (detection position) is obtained.
図8は、各時点における各ターゲットマークの基準マーク座標系における検出位置を示す図である。同図において、An(nは整数)によって示される各点は、各時点におけるターゲットマークTMaの検出位置を示す。また、Bn(nは整数)によって示される各点は、各時点におけるターゲットマークTMbの検出位置を示す。なお、An及びBnにおけるnは、時点を識別するための番号であり、時間の経過に応じて昇順となっている。したがって、A1とB1とは、同じ時点におけるターゲットマークTMa又はTMbの検出位置を示す。なお、A7以降は、ターゲットマークTMaの検出位置に変化が生じず、B5以降は、ターゲットマークTMbの検出位置に変化が生じなかったこととする。ここで、「変化が生じない」とは、変化が所定の閾値以内であることも含む。 FIG. 8 is a diagram showing the detection position of each target mark in the reference mark coordinate system at each time point. In the figure, each point indicated by An (n is an integer) indicates the detection position of the target mark TMa at each time point. Each point indicated by Bn (n is an integer) indicates the detection position of the target mark TMb at each time point. Note that n in An and Bn is a number for identifying a time point and is in ascending order as time passes. Therefore, A1 and B1 indicate detection positions of the target mark TMa or TMb at the same time point. It is assumed that the detection position of the target mark TMa does not change after A7, and the detection position of the target mark TMb does not change after B5. Here, “no change occurs” includes that the change is within a predetermined threshold.
続いて、動作イメージ生成部114は、固定金型11a及び可動金型11bが接触していない期間における各ターゲットマークTMの検出位置に基づいて、それぞれのターゲットマークTMの軌跡の近似直線を算出する(S110)。金型が接触していない期間は、双方のターゲットマークTMは直線的な軌跡を描くものと考えられる。したがって、ターゲットマークTMaの軌跡の近似曲線LAは、A1〜A3に基づいて算出され、ターゲットマークTMbの軌跡の近似曲線LBは、B1〜B3に基づいて算出される。
Subsequently, the motion
続いて、動作イメージ生成部114は、検出位置の変化が生じなくなった時点における検出位置(A7、B5)と近似直線LA及びLBとに基づいて、各検出位置(An、Bn)を補正することにより各時点における可動金型11bの姿勢を推定し、可動金型11bの動作イメージを構築する(S111)。
Subsequently, the motion
図9は、可動金型の動作イメージの構築方法を示す図である。同図において、A0は、A7以降のターゲットマークTMaの検出位置、B0は、B5以降のターゲットマークTMbの検出位置を示す。 FIG. 9 is a diagram illustrating a method for constructing an operation image of a movable mold. In the figure, A0 indicates the detection position of the target mark TMa after A7, and B0 indicates the detection position of the target mark TMb after B5.
同図に示されるように、A0及びB0をX軸(型開閉方向を示す軸)と直交(略直交)するY軸上に配置し、A0及びB0からY軸に直交する直線LA0及びLB0を生成する。直線LA0及びLB0は、可動金型11bの利用の動作直線を示す。
As shown in the figure, A0 and B0 are arranged on the Y axis orthogonal (substantially orthogonal) to the X axis (axis indicating the mold opening / closing direction), and straight lines LA0 and LB0 orthogonal to the Y axis from A0 and B0 are arranged. Generate. Straight lines LA0 and LB0 indicate operation straight lines for using the
続いて、各検出位置の間の相対的な位置関係を維持したまま、近似直線LA及びLBをLA0及びLB0に対して(すなわち、X軸に対して)平行(略平行)とするための変換を各検出位置の座標値(図9に示される座標系における座標値)に対して実行する。各検出位置は、図9に示されるように補正される。なお、近似曲線LA及びLBをX軸に対して平行とするのは、金型が接していない状態における可動金型11bの移動方向をX軸と平行とすることで、可動金型11bの動作イメージを見易いものとするためのである。したがって、見易さを考慮しないのであれば、必ずしも近似曲線をX軸に対して平行としなくてもよい。この場合、各検出位置の間の相対的な位置関係を維持したまま、A0及びB0をY軸上に配置するための変換を各検出位置の座標値に対して実行すればよい。
Subsequently, conversion is performed to make the approximate lines LA and LB parallel (substantially parallel) to LA0 and LB0 (that is, to the X axis) while maintaining the relative positional relationship between the respective detection positions. Is performed on the coordinate value of each detection position (coordinate value in the coordinate system shown in FIG. 9). Each detection position is corrected as shown in FIG. Note that the approximate curves LA and LB are parallel to the X axis because the movement direction of the
補正された各検出位置は、型締力が十分かけられた状態(型締め状態)における可動金型11bの姿勢を基準としたときの、各時点における可動金型11bの姿勢を示す。すなわち、可動金型11bの移動過程において仮に可動金型11bが傾きを有していたとしても、型締め状態においては、可動金型11bにおける固定金型11aに対する対向面は可動金型11bの移動方向に対して略直交するといった経験的事実がある。したがって、本実施の形態では、斯かる経験則に従って、型締め状態におけるターゲットマークTMの検出位置(A7以降(A0)、B5以降(B0))をY軸上に配置しているのである。なお、型締め状態のときは可動金型11bにおける各部分における移動量は非常に小さくなるため、A7以降及びB5以降は、型締め状態であると判断される。
Each corrected detection position indicates the attitude of the
A0及びB0がY軸上に配置されることによって、ターゲットマークTMaが付加された位置とターゲットマークTMbが付加された位置のずれが吸収される。したがって、二つのターゲットマークTMが全く対称な位置に付加されていなくても精度の高い可動金型11bの姿勢を得ることができる。
By disposing A0 and B0 on the Y axis, a shift between the position where the target mark TMa is added and the position where the target mark TMb is added is absorbed. Therefore, even if the two target marks TM are not added at symmetrical positions, it is possible to obtain a highly accurate attitude of the
続いて、表示部115は、動作イメージ生成部114による算出結果に基づいて、可動金型11bの動作イメージ(姿勢)を示す図を視認可能なように表示装置106に表示させる。例えば、各検出位置を、補正された座標値によって(図9に示されるような形式で)表示させてもよい。そうすることにより、可動金型11bの軌跡のずれ等を分かり易く示すことができる。
Subsequently, the
また、図9に示されるように、同一時点におけるターゲットマークTMaの検出位置とターゲットマークTMbとを結ぶ線分を表示させるようにしてもよい。当該線分の傾きは、その時点における可動金型11bの傾き(回転角度)を示す。したがって、当該線分により各時点における可動金型11bの姿勢(傾き)を分かりやすく示すことができる。
Further, as shown in FIG. 9, a line segment connecting the detection position of the target mark TMa and the target mark TMb at the same time may be displayed. The inclination of the line segment indicates the inclination (rotation angle) of the
但し、動作イメージ(姿勢)を示す図は、少なくとも視認可能なように出力されればよい。したがって、表示装置106ではなく、プリンタ等に印刷させてもよい。
However, the diagram showing the operation image (posture) may be output at least so as to be visible. Therefore, printing may be performed by a printer or the like instead of the
図9に示されるような図が表示されることにより、初期状態(A1及びB1)における状態におけるずれを観測することができる。したがって、初期状態のずれを修正することで、可動金型11bの送りをより適切なものとすることができる。但し、何が適切であるかについては絶対的な基準はなく、所望の姿勢又は動作イメージに対するずれを修正することになる。例えば、図9において、直線LA0及びLB0によって示される動作イメージが理想的なものである場合、可動金型11bを図面上において反時計回りに調整し、上方に並進させるような調整を行えばよい。更に、詳細を評価するためには、把握したい方向の距離を拡大表示するとよい、具体的にはA0−B0の距離を相対的に短くすることで、A6〜A1及びB6〜B1までの前後方向の距離を相対的に大きく表示することができる。このように、調整のために把握したい方向の表示を相対的に他の方向よりも大きく表示することで調整を容易に行うことができる。
By displaying a diagram as shown in FIG. 9, it is possible to observe a shift in the state in the initial state (A1 and B1). Therefore, by correcting the deviation in the initial state, the
なお、初期状態の姿勢のみの確認が必要な場合は、必ずしも、複数回周期的に撮像を行う必要はなく、A1及びB1の時点と、型締め状態(A7以降及びB5以降の時点)の二回のみについて撮像を行ってもよい。 Note that when it is necessary to check only the posture in the initial state, it is not always necessary to perform imaging periodically a plurality of times; the time points of A1 and B1 and the clamped state (time points after A7 and B5). Imaging may be performed only once.
また、上記では、型閉じ時の動作イメージを生成する例について説明したが、型開き時の可動金型11bの姿勢の計測又は動作イメージの構築も同様に行えばよい。すなわち、少なくとも型締め状態と、型開き開始後の所定の時点とにおいて撮像された画像データに基づいて、姿勢の計測等を行えばよい
ところで、上記では、二つのターゲット領域170に対して一つの基準領域160が設けられた例を示した。したがって、撮像時には二つのターゲットマークTMが同一の画角内に含まれるように撮像される必要があった。この場合、金型の大きさ及び二つのターゲット領域170の間の距離によっては、金型を遠方より撮像する必要があり、画像の精度が相対的に劣化してしまう可能性がある。
Moreover, although the example which produces | generates the operation | movement image at the time of a mold closing was demonstrated above, the measurement of the attitude | position of the movable metal mold | die 11b at the time of a mold opening or construction | assembly of an operation | movement image may be performed similarly. That is, posture measurement or the like may be performed based on image data captured at least at the mold clamping state and at a predetermined time after the mold opening is started. An example in which the
そこで、ターゲット領域170ごとに基準領域160を設けてもよい。図10は、ターゲット領域ごとに基準領域を設けた例を示す図である。図10中、図2と同一部分には同一符号を付し、その説明は省略する。
Therefore, a
図10では、ターゲット領域170aに対して基準領域160aが、ターゲット領域170bに対して基準領域160bが設けられている。
In FIG. 10, a
この場合、基準領域160とターゲット領域170との二つの組のそれぞれを撮像するために二つの撮像装置120が用いられる。図11は、二つの撮像装置の配置例を示す図である。
In this case, two
同図において、(A)は、固定金型11aの正面方向(図10における矢印a1によって示される方向)から見た図であり、(B)は、可動金型11bの側面方向(図10における矢印abによって示される方向)から見た図である。同図に示されるように、撮像装置120aは、基準領域160a及びターゲット領域170aを含む画角(以下、「画角A」という。)を撮像し、撮像装置120bは、基準領域160b及びターゲット領域170bを含む画角(以下、「画角B」という。)を撮像する。
In the same figure, (A) is the figure seen from the front direction (direction shown by arrow a1 in FIG. 10) of the fixed
図12は、二つの撮像装置のそれぞれの画角を示す図である。図12中、図10と同一部分には同一符号を付し、その説明は省略する。図12では、画角A及び画角Bが、それぞれ破線の矩形によって示されている。 FIG. 12 is a diagram illustrating the angle of view of each of the two imaging devices. In FIG. 12, the same parts as those in FIG. In FIG. 12, the angle of view A and the angle of view B are each indicated by a broken-line rectangle.
二つの撮像装置120による撮像は、各時点において同時に行われる。したがって、各時点において、画角Aに係る画像データと画角Bに係る画像データが得られる。
Imaging by the two
この場合、図5のテップS103〜S108までの処理は、各時点における画角Aに係る画像データと画角Bに係る画像データごとに行われる。その結果、各時点におけるターゲットマークTMaの検出位置は、基準マークBM1a、BM2a、及びBM3aに基づいて規定される基準マーク座標系(以下、「基準マーク座標系A」という。)における座標値として算出される。また、各時点におけるターゲットマークTMbの検出位置は、基準マークBM1b、BM2b、及びBM3bに基づいて規定される基準マーク座標系(以下、「基準マーク座標系B」という。)における座標値として算出される。すなわち、二つのターゲットマークTMの検出位置は、それぞれ異なる座標系の座標値として得られる。この点が、撮像装置120が一つの場合と異なる。
In this case, the processing from steps S103 to S108 in FIG. 5 is performed for each of the image data related to the angle of view A and the image data related to the angle of view B at each time point. As a result, the detection position of the target mark TMa at each time point is calculated as a coordinate value in a reference mark coordinate system (hereinafter referred to as “reference mark coordinate system A”) defined based on the reference marks BM1a, BM2a, and BM3a. Is done. The detection position of the target mark TMb at each time point is calculated as a coordinate value in a reference mark coordinate system (hereinafter referred to as “reference mark coordinate system B”) defined based on the reference marks BM1b, BM2b, and BM3b. The That is, the detection positions of the two target marks TM are obtained as coordinate values of different coordinate systems. This is different from the case where the number of the
図13は、各時点における各ターゲットマークの各基準マーク座標系における位置を示す図である。同図において、(A)は、基準マーク座標系AにおけるターゲットマークTMaの検出位置を示す。(B)は、基準マーク座標系BにおけるターゲットマークTMbの検出位置を示す。なお、同図における検出位置に対する符号の意味は、図8と同じである。 FIG. 13 is a diagram illustrating the position of each target mark in each reference mark coordinate system at each time point. In the figure, (A) shows the detection position of the target mark TMa in the reference mark coordinate system A. (B) shows the detection position of the target mark TMb in the reference mark coordinate system B. In addition, the meaning of the code | symbol with respect to the detection position in the same figure is the same as FIG.
但し、二つのターゲットマークTMが属する座標系が異なっていても、動作イメージ生成部114によって実行される処理内容は、撮像装置120が一つの場合(画角が一つの場合)と同様でよい。
However, even if the coordinate systems to which the two target marks TM belong are different, the processing content executed by the motion
すなわち、動作イメージ生成部114は、固定金型11a及び可動金型11bが接触していない期間における各ターゲットマークTMの検出位置に基づいて、それぞれのターゲットマークTMの軌跡の近似直線をそれぞれの基準マーク座標系において算出する(S110)。
In other words, the motion
続いて、動作イメージ生成部114は、検出位置の変化が生じなくなった時点における検出位置(A7、B5)と近似直線LA及びLBとに基づいて、各検出位置(An、Bn)を補正することにより各時点における可動金型11bの姿勢を推定し、可動金型11bの動作イメージを構築する(S111)。
Subsequently, the motion
図14は、各時点における可動金型の姿勢の推定方法を示す第二の図である。図14中における各符号の意味は、図9と同様である。 FIG. 14 is a second diagram illustrating a method for estimating the posture of the movable mold at each time point. The meaning of each symbol in FIG. 14 is the same as that in FIG.
同図に示されるように、A0及びB0をX軸と直交するY軸上に配置する。すなわち、異なる座標系における各検出位置を同一の座標系に転記する。この際、A0及びB0との相対的な位置関係はターゲットマークTMaとターゲットマークTMbとの距離(実測値)に基づいて定めればよい。続いて、A0及びB0からY軸に直交する直線LA0及びLB0を生成する。直線LA0及びLB0は、可動金型11bの利用の動作直線を示す。
As shown in the figure, A0 and B0 are arranged on the Y axis orthogonal to the X axis. That is, each detection position in a different coordinate system is transferred to the same coordinate system. At this time, the relative positional relationship between A0 and B0 may be determined based on the distance (measured value) between the target mark TMa and the target mark TMb. Subsequently, straight lines LA0 and LB0 orthogonal to the Y axis are generated from A0 and B0. Straight lines LA0 and LB0 indicate operation straight lines for using the
続いて、各検出位置の間の相対的な位置関係を維持したまま、近似直線LA及びLBをLA0及びLB0に対して(すなわち、X軸に対して)平行(略平行)とするための変換を各検出位置の座標値(図9に示される座標系における座標値)に対して実行する。各検出位置は、図14に示されるように補正される。なお、二つの撮像装置120が用いられる場合、近似曲線LA及びLBをX軸に対して平行とするのは、可動金型11bの動作イメージを見易いものとするためだけではなく、二つの基準マーク座標系のずれを補正する目的もある。
Subsequently, conversion is performed to make the approximate lines LA and LB parallel (substantially parallel) to LA0 and LB0 (that is, to the X axis) while maintaining the relative positional relationship between the respective detection positions. Is performed on the coordinate value of each detection position (coordinate value in the coordinate system shown in FIG. 9). Each detection position is corrected as shown in FIG. When two
すなわち、本実施の形態では、二つの撮像装置120が、全く同じ向きに配設されることは前提としていない。また、二つの基準マーク座標系の基底ベクトルが同一であることも前提としていない。したがって、二つの基準マーク座標系のそれぞれの基底ベクトルの向きは、ずれている可能性が高い。そこで、近似曲線LA及びLBをX軸に対して平行とすることにより、動作イメージの見易さを確保すると共に、二つの基準マーク座標系のずれを補正しているのである。
That is, in the present embodiment, it is not assumed that the two
近似曲線LA及びLBを平行とすることによって、二つの基準マーク座標系のずれが補正されるのは、金型が接していない状態においては、二つのターゲットマークTMの軌跡は平行していると仮定するのが妥当であるという考えに基づく。すなわち、二つのターゲットマークTMの軌跡が平行でないということは、可動金型11bが変形していることを意味し、そのような事態の発生は金型が接していない状態において考えにくいからである。
By making the approximate curves LA and LB parallel, the deviation between the two reference mark coordinate systems is corrected when the trajectories of the two target marks TM are parallel when the mold is not in contact. Based on the idea that it is reasonable to assume. That is, the fact that the trajectories of the two target marks TM are not parallel means that the
以降の処理内容については、撮像装置120が一つの場合と同様でよい。
Subsequent processing contents may be the same as in the case where there is one
なお、上記では、可動金型11b等の上面から撮像される画像に基づいて、可動金型11bの位置等を計測する例を示したが、可動金型11bの側面にターゲットマークTMを付加し、固定金型11aの側面に基準マークBMを付加し、当該側面を撮像装置110によって撮像してもよい。この場合、側面における可動金型11bの変位を観測することができる。
In the above, the example in which the position of the
更に、上面及び側面の双方を撮像し、双方における可動金型11bの位置等を計測してもよい。この場合、3次元における可動金型11bの変位を観測することができる。
Furthermore, both the upper surface and the side surface may be imaged, and the position of the
また、可動金型11bに対してターゲットマークTMを三つ以上付加し、各ターゲットマークについて、上述した処理を実行してもよい。この場合、可動金型11bの傾きだけでなく、変形等をも検出することができる。
Further, three or more target marks TM may be added to the
また、本実施の形態では、ターゲットマークTMや基準マークBMを用いて可動金型11bの位置を計測する例を示したが、マークの代わりに、点光源を利用したり、レーザの反射光を利用したりするようにしてもよい。
In the present embodiment, an example is shown in which the position of the
また、計測装置100と制御装置19とは一つのハードウェアによって構成されてもよし、計測装置100は型締装置10内に組み込まれていてもよい。
Further, the measuring
また、ターゲットマークTMは、可動金型11bではなく、可動金型11bと共に移動する部材(例えば、可動金型11bの保持部材としての可動プラテン13)に付加されてもよい。同様に、基準マークBMは、固定金型11aではなく、可動金型11bの移動に対して不変の(固定されている)部材に付加されてもよい。但し、ターゲットマークTMと基準マークBMとを同じ画角内に収めることを考慮すれば、本実施の形態のように可動金型11bと固定金型11aとにそれぞれのマークを付加するのが適切であると考える。
Further, the target mark TM may be added not to the
上述したように、本実施の形態によれば、固定金型11aに基準マークBMが設けられ、ターゲットマークTMと共に基準マークBMも画像に含められるように撮像が行われる。そして、ターゲットマークTMの検出位置の座標値は、当該ターゲットマークTMと同じ画像上の基準マークBMによって規定される基準マーク座標系における座標値として計測される。また、斯かる座標値に基づいて、可動金型11bの姿勢及び動作イメージが構築される。
As described above, according to the present embodiment, the fixed
したがって、撮像される画像に伸縮、傾き、回転などの変化があっても計測結果及び可動金型11bの動作イメージの構築に影響を及ぼすことはない。このため、撮像装置120が計測対象(可動金型11b)に対して動作した場合でも(すなわち、撮像装置120と被写体140との距離が変化したり、撮像装置120が傾いたり、撮像装置120が回転したりした場合でも)、可動金型11bの固定金型11aに対する計測結果は変わらず、撮像装置120が固定されている必要性を排除することができる。したがって、例えば、通常のデジタルカメラを用いて人によって撮像された画像でも、可動金型11bの位置等の計測に利用することできる。
Therefore, even if there is a change such as expansion / contraction, inclination, and rotation in the captured image, the measurement result and the construction of the operation image of the
裏返して言えば、撮像装置120が固定されている場合、必ずしも基準マークBMは必要ではない(すなわち、ターゲットマークTMの座標値の基準マーク座標系への変換は必要ではない。)。この場合、画角座標系と測定平面座標系との関係を予めキャリブレーション等によって求めておけば、ターゲットマークTMの座標値は、画角座標系から測定平面座標系に変換してしまえばよい。
In other words, when the
なお、本実施の形態では、ターゲットマークTMや基準マークBMを焦点深度外において撮像する例を示したが、焦点深度内において撮像し、パターンマッチングやエッジ検出等によって検出される各マークの位置に基づいて、可動金型11bの位置を計測してもよい。
In the present embodiment, an example in which the target mark TM and the reference mark BM are imaged outside the focal depth is shown. However, the image is captured within the focal depth and is detected at the position of each mark detected by pattern matching or edge detection. Based on this, the position of the
但し、本実施の形態のように、各マークを焦点深度外において撮像することで、以下のように高精度で安定した計測結果を得ることができる。更に、図9のように詳細を評価するためには、把握したい方向の距離を拡大表示するとよい、具体的にはA0−B0の距離を相対的に短くすることで、A6〜A1及びB6〜B1までの前後方向の距離を相対的に大きく表示することができる。このように、調整のために把握したい方向の表示を相対的に他の方向よりも大きく表示することで調整を容易に行うことができる。 However, by imaging each mark outside the depth of focus as in the present embodiment, a highly accurate and stable measurement result can be obtained as follows. Furthermore, in order to evaluate the details as shown in FIG. 9, it is preferable to enlarge and display the distance in the direction to be grasped. Specifically, by reducing the distance A0-B0 relatively, A6 to A1 and B6 to The distance in the front-rear direction up to B1 can be displayed relatively large. Thus, the adjustment can be easily performed by displaying the display of the direction to be grasped for adjustment relatively larger than the other directions.
図15は、マークを焦点深度外によって撮像することの利点を説明するための図である。図15において、(A)は焦点が合っている場合を示し、(B)は焦点が合っていない場合(焦点深度外の場合)を示す。 FIG. 15 is a diagram for explaining the advantage of imaging the mark outside the depth of focus. In FIG. 15, (A) shows the case where it is in focus, and (B) shows the case where it is out of focus (out of the depth of focus).
(A)に示されるように、焦点が合っている場合、カメラ画素は撮像対象の、それぞれ対応する狭い範囲からの光線に応じた出力をする。一方、本実施の形態のように焦点を外した場合、(B)に示されるように、カメラ画素は広い範囲からの光線に応じた出力をするいわゆる「ぼやけた」状態となり、マークの形状やエッジの状態、マークの背景の面の凹凸等といった細かい形状情報は撮像結果に現れにくくなる。この状態は、位置検出(位置計測)においては、被写体の条件や光線の状態による影響が小さくし、計測結果の安定性を向上させる要因となる。 As shown in (A), when the camera is in focus, the camera pixel outputs in accordance with light rays from the corresponding narrow range of the imaging target. On the other hand, when the focus is removed as in the present embodiment, as shown in (B), the camera pixel is in a so-called “blurred” state that outputs in accordance with light rays from a wide range, Fine shape information such as the state of the edge, unevenness of the background surface of the mark, and the like hardly appears in the imaging result. In this state, in the position detection (position measurement), the influence of the condition of the subject and the state of the light ray is reduced, and becomes a factor for improving the stability of the measurement result.
更に、焦点が合っている場合、マークの移動があると、限られた画素(マークの境界に係る画素)の出力が急激に変化することになるが、「ぼやけた」状態であれば、複数の画素の出力が連続的に変化するので、計測結果の安定性が向上するとともに、位置計測の分解能を画素より小さい単位とすることができる。 In addition, when the mark is in focus, if the mark moves, the output of limited pixels (pixels related to the boundary of the mark) will change abruptly. Since the output of the pixel continuously changes, the stability of the measurement result is improved and the resolution of the position measurement can be made smaller than the pixel.
また、焦点が合っていない場合は、焦点が合っている場合に比べて撮像装置と被写体との距離が変化した場合の撮像結果への影響も小さくなる。 In addition, when the focus is not achieved, the influence on the imaging result when the distance between the imaging device and the subject changes is smaller than when the focus is achieved.
また、本実施の形態の計測装置110は、重心演算やピーク検出といった、分散した情報から中心的な一点を抽出するアルゴリズムを利用している。斯かるアルゴリズムは、焦点深度外で撮像された画像との親和性が高く、その結果得られる検出位置は、光量や焦点距離の変化に関わらず再現性が高い。この点について、図を用いて説明する。
In addition, the
図16は、ターゲットマークが焦点深度内において撮像された場合の不都合を説明するための図である。図16は、ターゲットマークTMが焦点深度内で撮影された場合の処理対象範囲171の画像を示している。図16に示されるように、焦点深度内で撮像されると、処理対象範囲171の背景の模様又は凹凸や、ノイズN等までが画像にはっきりと出力されてしまう。したがって、重心演算やピーク検出の際に、これらの情報(模様等やノイズN等)による影響が大きくなる。例えば、ノイズNについて言えば、重心演算の結果がノイズN側に大きくずれたり、ノイズNの位置においてピークが検出されたりする。また、背景の模様等やノイズNは、光量や焦点距離の変化(処理対象範囲171の傾斜も含む)によって、画像に出力される態様が変化する(例えば、ノイズNは、光量によって画像に写し出されない場合がある。)。したがって、撮像の度に検出位置(重心位置やピーク検出位置)が変化する可能性が高い。
FIG. 16 is a diagram for explaining inconvenience when the target mark is imaged within the depth of focus. FIG. 16 shows an image of the
一方、本実施の形態のように、焦点深度外においてターゲットマークTMが撮像された場合、ターゲットマークTMの背景も焦点深度外となるため、背景の模様等やノイズN等もぼやけてしまう。その結果、背景の模様等やノイズN等が重心演算やピークの検出に与える影響が小さくなる。したがって、撮像の度に検出位置が大きく変化する可能性は低く(すなわわち、検出位置の再現性が高く)、安定した検出位置によって移動量を算出することができる。 On the other hand, when the target mark TM is imaged outside the focal depth as in the present embodiment, the background of the target mark TM is also out of the focal depth, so the background pattern, noise N, and the like are blurred. As a result, the influence of the background pattern, noise N, etc. on the centroid calculation and peak detection is reduced. Therefore, the detection position is unlikely to change greatly every time the image is taken (that is, the reproducibility of the detection position is high), and the movement amount can be calculated based on the stable detection position.
そして、位置計測においては、計測対象の移動と検出位置(重心位置やピーク位置)の移動が1対1に対応していればよいので、「ぼやけた」状態であることは検出精度の悪化にはつながらない。すなわち、可動金型11bが移動し、撮像が行われる度に重心位置やピーク位置が、毎回同じ位置(ほぼ同じ位置)に検出されば、その検出位置の相対的な移動に注目することによって、高い精度で移動量又は位置等を計測することができる。
In the position measurement, the movement of the measurement object and the movement of the detection position (the center of gravity position and the peak position) only need to correspond one-to-one, so that the “blurred” state deteriorates the detection accuracy. Not connected. That is, if the center of gravity or peak position is detected at the same position (substantially the same position) every time the
ところで、通常はテレセントリックレンズでは撮像対象までの距離によって倍率が変わらないことが利点であるが、本発明のように焦点から外れた場合は倍率が変わってくる場合がある。このような場合も本発明によるアルゴリズムによれば測定結果は変わることはない。 By the way, the telecentric lens usually has an advantage that the magnification does not change depending on the distance to the imaging target, but the magnification may change when the lens is out of focus as in the present invention. Even in such a case, the measurement result does not change according to the algorithm of the present invention.
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.
1 位置計測システム
10 型締装置
11 金型装置
12 固定プラテン
13 可動プラテン
15 トグルサポート
16 タイバー
18 型締力センサ
19 制御装置
20 トグル機構
26 型締モータ
27 型開閉位置センサ
31 型厚モータ
32 型締位置センサ
40 成形品取出機
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
106 表示装置
107 入力装置
110 計測装置
112 撮像制御部
113 位置計測部
114 動作イメージ生成部
115 表示部
120 撮像装置
121 CCDカメラ
122 テレセントリックレンズ
130 光源
140 被写体
160 基準領域
BM、BM1、BM2、BM3 基準マーク
170 ターゲット領域
TM ターゲットマーク
1131 画像加工部
1132 明暗分布算出部
1133 位置判定部
B バス
DESCRIPTION OF
105
Claims (11)
前記移動過程における時点に対する前記第一のマークの前記座標値を、型締め状態における時点に対する前記第一のマークの前記座標値に基づいて補正する補正手段と、
補正された座標値に基づいて、前記移動過程における前記可動金型の姿勢を示す図を視認可能なように出力させる出力手段とを有することを特徴とする型締装置の計測システム。 At least two first marks added to the movable mold of the mold clamping device or the movable mold holding member so as to have a deviation in a direction substantially perpendicular to the mold opening / closing direction, and the movement of the movable mold A plurality of image data captured at a time in the mold clamping state and a time in the moving process of the movable mold so as to include a second mark added to the fixing member of the mold clamping device fixed to the mold clamping device. For each, calculating means for calculating a coordinate value indicating a relative position of the first mark with respect to the second mark;
Correction means for correcting the coordinate value of the first mark with respect to the time point in the moving process based on the coordinate value of the first mark with respect to the time point in the mold clamping state;
A mold clamping device measuring system comprising: output means for outputting a view showing a posture of the movable mold in the moving process based on the corrected coordinate values so as to be visible.
前記補正手段は、型締力がかけられていない複数の時点における前記第一のマークの前記座標値に基づく近似直線を基準として、前記移動過程における時点の前記第一のマークの前記座標値を補正することを特徴とする請求項2記載の型締装置の計測システム。 The calculation means calculates the seating value of the first mark for each of a plurality of image data captured at a plurality of time points when a mold clamping force is not applied in the movement process of the mold,
The correcting means uses the approximate line based on the coordinate value of the first mark at a plurality of time points when no clamping force is applied as a reference, and calculates the coordinate value of the first mark at the time point in the moving process. The measuring system for a mold clamping apparatus according to claim 2, wherein correction is performed.
前記画像データにおいて前記第一のマークを含む領域の明暗分布を算出する明暗分布算出手段を有し、
前記算出手段は、前記明暗分布に基づいて特定される位置について前記第二のマークに対する相対的な位置を算出することを特徴とする請求項1乃至5いずれか一項記載の型締装置の計測システム。 The image data is obtained by capturing at least the first mark outside the depth of focus,
A light / dark distribution calculating means for calculating a light / dark distribution of an area including the first mark in the image data;
6. The mold clamping device according to claim 1, wherein the calculation unit calculates a relative position with respect to the second mark with respect to a position specified based on the brightness distribution. system.
前記算出手段は、前記重心位置について前記第二のマークに対する相対的な位置を算出することを特徴とする請求項6記載の型締装置の計測システム。 The light / dark distribution calculating means calculates a barycentric position of an area including the first mark,
The measurement system for a mold clamping apparatus according to claim 6, wherein the calculation unit calculates a relative position of the center of gravity position with respect to the second mark.
前記算出手段は、前記ピーク値を示す位置について前記第二のマークに対する相対的な位置を算出することを特徴とする請求項6記載の型締装置の計測システム。 The light / dark distribution calculating means detects a light / dark peak value of an area including the first mark,
The measurement system for a mold clamping apparatus according to claim 6, wherein the calculation unit calculates a relative position with respect to the second mark with respect to a position indicating the peak value.
型締装置の可動金型又は前記可動金型保持部材に対して型開閉方向に略直交する方向にずれを有するように付加された少なくとも二つの第一のマークと、前記可動金型の移動に対して固定されている前記型締装置の固定部材に付加された第二のマークをと含むように型締め状態における時点と可動金型の移動過程における時点とにおいて撮像された複数の画像データのそれぞれについて、前記第二のマークに対する前記第一のマークの相対的な位置を示す座標値を算出する算出手順と、
前記移動過程における時点に対する前記第一のマークの前記座標値を、型締め状態における時点に対する前記第一のマークの前記座標値に基づいて補正する補正手順と、
補正された座標値に基づいて、前記移動過程における前記可動金型の姿勢を示す図を視認可能なように出力させる出力手順とを有することを特徴とする型締装置の計測方法。 A method of measuring a mold clamping device executed by a computer,
At least two first marks added to the movable mold of the mold clamping device or the movable mold holding member so as to have a deviation in a direction substantially perpendicular to the mold opening / closing direction, and the movement of the movable mold A plurality of image data captured at a time in the mold clamping state and a time in the moving process of the movable mold so as to include a second mark added to the fixing member of the mold clamping device fixed to the mold clamping device. For each, a calculation procedure for calculating a coordinate value indicating a relative position of the first mark with respect to the second mark;
A correction procedure for correcting the coordinate value of the first mark with respect to the time point in the moving process based on the coordinate value of the first mark with respect to the time point in the mold clamping state;
A method for measuring a mold clamping device, comprising: an output procedure for outputting a view showing a posture of the movable mold in the movement process so as to be visible based on the corrected coordinate value.
型締装置の可動金型又は前記可動金型保持部材に対して型開閉方向に略直交する方向にずれを有するように付加された少なくとも二つの第一のマークと、前記可動金型の移動に対して固定されている前記型締装置の固定部材に付加された第二のマークをと含むように型締め状態における時点と可動金型の移動過程における時点とにおいて撮像された複数の画像データのそれぞれについて、前記第二のマークに対する前記第一のマークの相対的な位置を示す座標値を算出する算出手順と、
前記移動過程における時点に対する前記第一のマークの前記座標値を、型締め状態における時点に対する前記第一のマークの前記座標値に基づいて補正する補正手順と、
補正された座標値に基づいて、前記移動過程における前記可動金型の姿勢を示す図を視認可能なように出力させる出力手順とを実行させるための型締装置の計測プログラム。 On the computer,
At least two first marks added to the movable mold of the mold clamping device or the movable mold holding member so as to have a deviation in a direction substantially perpendicular to the mold opening / closing direction, and the movement of the movable mold A plurality of image data captured at a time in the mold clamping state and a time in the moving process of the movable mold so as to include a second mark added to the fixing member of the mold clamping device fixed to the mold clamping device. For each, a calculation procedure for calculating a coordinate value indicating a relative position of the first mark with respect to the second mark;
A correction procedure for correcting the coordinate value of the first mark with respect to the time point in the moving process based on the coordinate value of the first mark with respect to the time point in the mold clamping state;
A measurement program for a mold clamping device for executing an output procedure for outputting a view showing a posture of the movable mold in the movement process so as to be visible based on a corrected coordinate value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008139924A JP5122372B2 (en) | 2008-05-28 | 2008-05-28 | Mold clamping device measurement system, mold clamping device measurement method, and mold clamping device measurement program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008139924A JP5122372B2 (en) | 2008-05-28 | 2008-05-28 | Mold clamping device measurement system, mold clamping device measurement method, and mold clamping device measurement program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009285951A true JP2009285951A (en) | 2009-12-10 |
JP5122372B2 JP5122372B2 (en) | 2013-01-16 |
Family
ID=41455648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008139924A Expired - Fee Related JP5122372B2 (en) | 2008-05-28 | 2008-05-28 | Mold clamping device measurement system, mold clamping device measurement method, and mold clamping device measurement program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5122372B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101323292B1 (en) * | 2011-08-30 | 2013-10-30 | 주식회사 포스코 | Device for controlling thickness of continuous cating slab and method thereof |
DE102014009229A1 (en) | 2013-06-28 | 2014-12-31 | Fanuc Corporation | Injection molding machine with graphic display function |
JP2015139965A (en) * | 2014-01-29 | 2015-08-03 | 住友重機械工業株式会社 | Injection molding machine, information acquisition device for injection molding machine, and information acquisition method for injection molding machine |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5698331B2 (en) * | 2013-10-22 | 2015-04-08 | 住友重機械工業株式会社 | Injection molding machine |
-
2008
- 2008-05-28 JP JP2008139924A patent/JP5122372B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101323292B1 (en) * | 2011-08-30 | 2013-10-30 | 주식회사 포스코 | Device for controlling thickness of continuous cating slab and method thereof |
DE102014009229A1 (en) | 2013-06-28 | 2014-12-31 | Fanuc Corporation | Injection molding machine with graphic display function |
JP2015139965A (en) * | 2014-01-29 | 2015-08-03 | 住友重機械工業株式会社 | Injection molding machine, information acquisition device for injection molding machine, and information acquisition method for injection molding machine |
Also Published As
Publication number | Publication date |
---|---|
JP5122372B2 (en) | 2013-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504274B2 (en) | Three-dimensional shape data and texture information generation system, imaging control program, three-dimensional shape data and texture information generation method, and information recording medium | |
JP4164703B2 (en) | Wide-field image input method and apparatus | |
JP5122372B2 (en) | Mold clamping device measurement system, mold clamping device measurement method, and mold clamping device measurement program | |
JP6510502B2 (en) | Digital microscope with swivel stand, calibration method for such digital microscope and automatic tracking method of focus and image center | |
JP2010246088A (en) | Device and method for adjusting image captured by on-board camera device, and on-board camera device | |
WO2017179453A1 (en) | Inspecting device and inspecting method | |
JP5220471B2 (en) | Mold clamping device measurement system and mold clamping device measurement method | |
JP2014006179A (en) | Stereo camera calibrating apparatus and method, and distance measuring apparatus | |
WO2013121605A1 (en) | Apparatus for imaging dental arch in oral cavity | |
JP6235541B2 (en) | Injection molding system | |
JP2006308808A (en) | Enlarging observation device | |
KR102230321B1 (en) | Laser processing equipment | |
TWI290613B (en) | Position detecting method and position detecting device and position detecting system | |
KR101245529B1 (en) | Camera calibration method | |
JP2010145231A (en) | Apparatus and method for measuring displacement of object | |
JP2732230B2 (en) | Coaxial observation device in laser beam machining | |
JP5740649B2 (en) | Image measuring apparatus, autofocus control method, and autofocus control program | |
JP3941631B2 (en) | Three-dimensional imaging apparatus and method | |
JP5698331B2 (en) | Injection molding machine | |
JP5416082B2 (en) | Strain measuring apparatus and strain measuring method | |
JP5079779B2 (en) | Camera calibration method and camera calibration apparatus | |
JP5223683B2 (en) | Work holding position and orientation measurement system and work transfer system | |
JP2005136743A (en) | Position adjusting instrument and position adjusting method for image pickup device | |
WO2005036461A1 (en) | A method for measuring dimensions by means of a digital camera | |
JP2010054283A (en) | Device and method for measuring shape change |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121024 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5122372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |