JP2021160360A - 金型及びアタッチメントの法線ベクトルの推定方法及びシステム - Google Patents

Abstract

【課題】成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルの推定方法を提供する。【解決手段】画像から３カ所の取付ボルト８２等の取付具または３カ所の吸着パッドの深度データまたは座標データに基づいて、座標または深度決定部９８と法線ベクトル演算部９９を用いて、取出ヘッド６０の法線ベクトルを演算推定する。画像から固定金型３１または可動金型（３２，３４）の一部または周辺部品の一部であって固定金型３１と可動金型（３２，３４）の開閉方向と一致する方向に延びる少なくとも３点以上の延伸部分(３６Ａ乃至３６Ｄ，３５Ａ乃至３５）を特定する。特定した３点以上の延伸部分の深度データまたは座標データに基づいて、座標または深度決定部９８と法線ベクトル演算部９９を用いて金型の法線ベクトルを演算推定する。【選択図】 図１２

Description

本発明は、成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルの推定方法及びシステムに関するものである。

特開２００２−１２０１７５号公報（特許文献１）には、成形品取出機のティーチングに関する発明が開示されている。従来は、成形機の金型から成形品を取り出す際に、成形品取出機の進入フレームに取り付けられた取出ヘッド（アタッチメント）が、金型に衝突しないように作業者が取出ヘッドと金型の関係を見て、動かしながら進入フレームの経路及びアタッチメントの姿勢を事前にプログラムするティーチングプログラムの設定作業を行っている。

特開２００２−１２０１７５号公報

上記作業を行う場合に、取出ヘッドと金型が衝突して金型を損傷させる問題が起きている。この問題は、成形機に設置した金型の設置状況及び取出ヘッドの構成部品の取り付け状態は、常に変わらないという作業者の意識が原因となって生じている。しかしながら取出ヘッドの取付状態は、常に一定ではないのが実情である。このような実情の下で、金型と取出ヘッドとが衝突しないようにティーチングのプログラムを作成または修正するには、作業者の高い熟練度や観察眼が必要とされる。取出ヘッドが金型に対して傾いていると、例えば取出ヘッドの金型進入時に接触したり、面合わせ時に金型を損傷してしまう懸念がある。したがって、取出ヘッドと金型の傾きを把握し、金型進入時や面合わせ時の傾きを合わせる必要がある。

ティーチングの自動化や、高精度化を考えると、金型及びアタッチメントの取付状態を知る必要がある。金型及びアタッチメントの取付状態は、アタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルを知ることにより、認識することができる。

本発明の目的は、成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルの推定方法及びシステムをそれぞれ提供することにある。

本発明は、成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルの推定方法である。本発明では、成形機に装着されている状態の金型の固定金型及び可動金型のそれぞれの合わせ面と垂直なベクトルを金型の法線ベクトルと定義し、進入フレームが延びる方向に延び且つアタッチメントが固定金型及び可動金型の間に挿入されたときに合わせ面と平行になる仮想面と垂直なベクトルをアタッチメントの法線ベクトルと定義する。本願明細書において、可動金型には、一般的な固定金型と可動金型の間に入る中間金型も含まれる。そして被写体の深度データまたは座標データを含む画像を撮影可能な撮像装置を用いて、固定金型の合わせ面または可動金型の合わせ面の周囲にある周辺部品を含む画像を撮像し、画像から固定金型または可動金型の一部または周辺部品の一部であって固定金型と可動金型の開閉方向と一致する方向に延びる少なくとも３点以上の延伸部分を特定し、特定した３点以上の延伸部分の深度データまたは座標データに基づいて金型の法線ベクトルを推定する。

本願明細書において「深度データ」とは、三次元撮像装置から得られる点群データから得られる点の位置の座標データを含むデータである。即ち深度データとは、撮像装置（カメラ）から物体を見たときに、撮像装置から見たその物体の向き（角度で特定される）と距離ｒの情報のことを指す。そして「座標データ」とは、撮像装置（カメラ）を原点としたｘ、ｙ、ｚ直交座標系における物体の座標Ｐ（ｘ、ｙ、ｚ）のことを指す。そして深度データは座標データに変換することができる。

また本発明では、被写体の深度データまたは座標データを含む画像を撮影可能な撮像装置を用いて進入フレームと直交する方向に延びて進入フレームにアタッチメントを取り付ける３点以上の取付具または成形品と接触する３点以上の接触具を含む画像を撮像し、画像から３カ所の取付具または３カ所の接触具の深度データまたは座標データに基づいて、アタッチメントの法線ベクトルを推定する。深度データと座標データを出力する撮像装置としては、三次元撮像装置を用いることができる。また深度データまたは座標データに基づいて、３点以上のデータから法線ベクトルを推定する手法としては、公知の数学的手法を用いることができる。本発明では、撮像装置により、実際に使用する金型及びアタッチメントから得た深度データまたは座標データを含む画像データを採取して、アタッチメントの法線ベクトルと金型の法線ベクトルを推定するので、金型及びアタッチメントの実際の取付状態に密接な関係を有する法線ベクトルを推定することができる。したがってティーチングの自動化、アタッチメントの姿勢制御等を容易に実現することが可能になる。

本発明は、成形機に取り付けられた状態の金型の法線ベクトルの推定方法として特定してもよい。この場合も、成形機に装着されている状態の金型の固定金型及び可動金型のそれぞれの合わせ面と垂直なベクトルを前記金型の法線ベクトルと定義する。そして被写体の深度データまたは座標データを含む画像を撮影可能な撮像装置を用いて固定金型の合わせ面または可動金型の合わせ面の周囲にある周辺部品を含む画像を撮像する。画像から固定金型または可動金型の一部または周辺部品の一部であって固定金型と可動金型の開閉方向と一致する方向に延びる少なくとも３点以上の延伸部分を特定し、特定した３点以上の延伸部分の前記深度データまたは座標データに基づいて金型の法線ベクトルを推定する。

また本発明は、成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルの推定方法として特定してもよい。この場合も、進入フレームが延びる方向に延び且つアタッチメントが固定金型及び可動金型の間に挿入されたときに合わせ面と平行になる仮想面と垂直なベクトルをアタッチメントの法線ベクトルと定義する。そして被写体の深度データまたは座標データを含む画像を撮影可能な撮像装置を用いて進入フレームと直交する方向に延びて進入フレームにアタッチメントを取り付ける３点以上の取付具または成形品と接触する３点以上の接触具を含む画像を撮像する。この画像から３カ所の取付具または３カ所の接触具の深度データまたは座標データを得て、この深度データまたは座標データに基づいて、アタッチメントの法線ベクトルを推定する。

延伸部分は、金型のガイドピン、固定金型若しくは金型のエッジ面またはタイバー等を用いることができる。

取付具は、例えば、取付ボルトまたは取付金具（取付プレート）のエッジ面であり、接触具は、例えば吸着パッドである。

撮像装置は、開いている状態の金型の可動金型及び固定金型の一方の合わせ面を含む画像を撮影可能で、且つアタッチメントが金型の外にあるときにアタッチメントの取出面を含む画像を撮影可能に配置された三次元撮像装置である。

本発明の法線ベクトルの推定方法を用いて推定した金型の法線ベクトルとアタッチメントの法線ベクトルとを用いて、金型の法線ベクトルとアタッチメントの法線ベクトルとが一致する姿勢で取出動作ができるように、アタッチメントを金型内に挿入する際のアタッチメントの姿勢を決定することができる。

また本発明の法線ベクトルの推定方法を用いて推定したアタッチメントの法線ベクトルと撮像装置の画像を用いて、アタッチメントの法線ベクトルを三次元寸法の一次元寸法に沿うベクトルと定めて、アタッチメントの最大三次元寸法を正確に測定することもできる。

さらに発明は、成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルの推定システムとして把握することができる。本発明のシステムでは、プロセッサを含み、成形機に装着されている状態の前記金型の固定金型及び可動金型のそれぞれの合わせ面と垂直なベクトルを前記金型の法線ベクトルと定義し、進入フレームが延びる方向に延び且つアタッチメントが固定金型及び可動金型の間に挿入されたときに合わせ面と平行になる仮想面と垂直なベクトルを前記アタッチメントの法線ベクトルと定義する。そしてプロセッサは、被写体の深度データまたは座標データを含む画像を撮影可能な第１の撮像装置を用いて撮像した固定金型の合わせ面または可動金型の合わせ面の周囲にある周辺部品を含む画像から特定した、固定金型または可動金型の一部または周辺部品の一部であって固定金型と可動金型の開閉方向と一致する方向に延びる少なくとも３点以上の延伸部分の深度データまたは座標データを求め、深度データまたは座標データに基づいて前記金型の法線ベクトルを推定する。さらにプロセッサは、被写体の深度データまたは座標データを含む画像を撮影可能な第２の撮像装置を用いて撮像した進入フレームと直交する方向に延びて進入フレームにアタッチメントを取り付ける３点以上の取付具または成形品と接触する３点以上の接触具を含む画像から特定した、３カ所の取付具または３カ所の接触具の深度データまたは座標データを求め、深度データまたは座標データに基づいて、アタッチメントの法線ベクトルを推定する。

本発明の法線ベクトル推定方法を適用することができるＸ方向、Ｙ方向及びＺ方向に動作軸を有する直交三軸ロボットを含む成形品製造システムの斜視図である。 成形品製造システムの左側面図である。 成形品製造システムの正面図である。 成形品製造システムの平面図である。 本発明の法線ベクトルの推定方法を適用するために、成形品取出機の制御システム内に構築した最大方法測定システムの構成を示すブロック図である。 取出ヘッドの最大寸法を示す図である。 最大寸法の測定方法を説明するための画像表示である。 最大駿府の測定方法を説明するための画像表示である。 撮像装置として１台の三次元撮像装置を用いて最大寸法を測定する場合に用いる測定システムの構成を示すブロック図である。 （Ａ）乃至（Ｃ）は、点群データを用いてＸ方向及びＺ方向の最大寸法を測定する場合を説明するために用いる図である。 （Ａ）乃至（Ｃ）は、点群データを用いてＹ方向の最大寸法を測定する場合を説明するために用いる図である。 本発明の法線ベクトルの推定方法を成形品製造システムに適用する場合に用いる法線ベクトルの推定システムの構成を示すブロック図である。 取出ヘッドの法線ベクトルを推定する方法の例を説明するために用いる図である。 取出ヘッドの法線ベクトルを推定する方法の例を説明するために用いる図である。 （Ａ）は三次元撮像装置で得られるた深度データを説明するための図であり、（Ｂ）は三次元撮像装置で撮像対象の３点を撮像する場合の説明に用いる図である。 振動データから法線ベクトルを演算により推定する場合の流れを示すフローチャートである。 金型の法線ベクトルを推定する方法の例を説明するために用いる図である。 金型の法線ベクトルを推定する方法の例を説明するために用いる図である。

以下図面を参照して本発明の法線ベクトルの推定方法の実施の形態を詳細に説明する。図１乃至図４は、本発明の法線ベクトルの推定方法を適用することができ且つ最大寸法測定方法を適用することができる、Ｘ方向、Ｙ方向及びＺ方向に動作軸を有する直交三軸ロボットを含む成形品製造システム１の斜視図、左側面図、正面図及び平面図である。図１には、本実施の形態で用いるＸ方向、Ｙ方向及びＺ方向を示してある。成形品製造システム１は、樹脂成形機３と直交三軸ロボットとしての成形品取出機５が組み合わされて構成されている。成形品取出機５は、トラバース型の成形品取出機であり、樹脂成形機３の固定プラテン３０に基部が支持されている。

樹脂成形機３の固定プラテン３０には、固定金型３１が固定されており、可動プラテン３３には可動金型３４が固定されている。そして中間金型３２も可動金型とみなす。そして固定プラテン３０と可動プラテン３３との間には、可動プラテン３３の移動をガイドする４本のタイバー３５Ａ乃至３５Ｄが配置されている。４本のタイバー３５Ａ乃至３５Ｄは、等間隔をあけて配置されており、４本のタイバー３５Ａ乃至３５Ｄの中心を通る仮想中心線は固定金型３１及び可動金型（３２，３４）の中心（ノズルセンタ）を通っている。また中間金型３２及び可動金型３４は、それぞれガイドピン３６Ａ乃至３６Ｄによりガイドされている。４本のガイドピン３６Ａ乃至３６Ｄも、等間隔をあけて配置されており、４本のガイドピン３６Ａ乃至３６Ｄの中心を通る仮想中心線も固定金型３１及び可動金型３４の中心（ノズルセンタ）を通っている。

成形品取出機５は、横行軸５３と、第１の走行体５５と、引き抜き軸５７と、ランナ用昇降ユニット５８と、成形品吸着用昇降ユニット５９とを備えている。横行軸５３は、成形機３の長手方向に水平に直交したＸ軸方向に延設される片持ビーム構造を有している。第１の走行体５５は、横行軸５３に支持されており、サーボ機構に含まれるＡＣサーボモータを駆動源として横行軸５３に沿ってＸ軸方向に進退する。引き抜き軸５７は、第１の走行体５５に設けられており、成形機の長手方向と平行なＹ軸方向に延びている。引き抜き軸５７には、ランナ用昇降ユニット５８及び成形品吸着用昇降ユニット５９がサーボ機構に含まれるＡＣサーボモータを駆動源としてＹ方向に移動可能に支持されている。ランナ用昇降ユニット５８は、引き抜き軸５７に移動可能に支持された走行体５８ＡにＺ方向に昇降する昇降フレーム５８Ｂを備えた構造を有している。走行体５８Ａは、ＡＣサーボモータに駆動されてＹ方向に移動する。昇降フレーム５８Ｂは、駆動源によって上下方向（Ｚ方向）に昇降する。昇降フレーム５８Ｂは、廃棄されるランナを保持するアタッチメントとしてのチャック５８Ｃを備えている。

また成形品吸着用昇降ユニット５９に含まれる走行体５９Ａは、ＡＣサーボモータにより駆動されることにより、引き抜き軸５７上をＹ方向に移動する。成形品吸着用昇降ユニット５９は、駆動源によって上下方向（Ｚ方向）に昇降する昇降フレーム５９Ｂと、昇降フレーム５８Ｂの軸線を中心として回動する姿勢制御装置としての反転ユニット５９Ｃと、反転ユニット５９Ｃに設けられた取出ヘッド６０とを備えている。本実施の形態では、取出ヘッド６０をアタッチメントとしてその最大寸法を測定する場合等に取出ヘッド６０の法線ベクトルを推定する。

本実施の形態では、好ましい設置場所を試験的に探すために、８台の撮像装置Ｃ１乃至Ｃ８が、成形品取出機５及び成形機３の各部と、成形機３の側方に置かれた台７の上に設置されている。これらの撮像装置Ｃ１乃至Ｃ８としては、三次元カメラ（三次元撮像装置）を用いる。本実施の形態では、これらの撮像装置Ｃ１乃至Ｃ８の中から、好ましい画像が得られるものを選択して必要な画像を得ることができる。

図５は、アタッチメントの三次元形状寸法を測定する方法を実施するために、成形品取出機５の制御システム内に構築した最大寸法測定システムの構成を示すブロック図である。また図６は、取出ヘッド６０の最大寸法を示す図である。図７及び図８は、最大寸法を測定する方法を説明するための画像表示である。

本実施の形態の法線ベクトルの推定方法を利用する最大寸法の測定方法では、直交三軸ロボットとしての成形品取出機５の進入フレームとして昇降フレーム５９Ｂにアタッチメントとしての取出ヘッド６０が装着されている状態で、取出ヘッド６０が作業を開始する前に、少なくとも１以上の撮像装置（Ｃ１乃至Ｃ８）により撮影した取出ヘッド６０の画像に基づいて、取出ヘッド６０のＸ方向の最大寸法と、Ｙ方向の最大寸法とＺ方向の最大寸法を測定する。使用する測定方法にもよるが、撮像装置で得る画像は、取出ヘッド６０の三次元形状寸法の測定に必要な情報を含むように、少なくとも１以上の撮像装置により撮影する際の撮像装置の三次元の位置座標と、撮影される取出ヘッド（アタッチメント）６０の三次元の位置座標と、撮像装置の画角及び取出ヘッド（アタッチメント）６０の昇降フレーム５９Ｂ（進入フレーム）への取付姿勢が定められているのが好ましい。このように事前に座標情報や撮像装置の画角や、取付姿勢等の情報があればあるほど、画像に基づいて最大寸法を測定する際の演算が容易になる上、撮像装置の取り付け位置及び取り付け姿勢の相違に基づく、画像データの補正演算を少なくすことができる。そこで撮像装置の画角情報を得るために、本発明のアタッチメントの法線ベクトルの推定方法を利用することができる。すなわち取出ヘッド６０の法線ベクトルが分かれば、この法線ベクトルの角度が撮像装置の画角を一致させることができる。

図５のブロック図に示すシステムを用いて最大寸法を測定する場合には、作業者の操作により、最大寸法を測定するために、１以上の撮像装置を含む撮像システム７１は、取出ヘッド６０のＸ方向の最大寸法及びＺ方向の最大寸法を測定し得る姿勢にある取出ヘッド６０の第１の画像を得るための第１の撮像装置Ｃ１１と、取出ヘッド６０のＹ方向の最大寸法及びＺ方向の最大寸法を測定し得る姿勢にある取出ヘッド６０の第２の画像を得るための第２の撮像装置Ｃ１２と、第１の画像または第２の画像を表示する直交座標軸インジケータ付き画面７３を備えた画像表示装置７２を用いる。ここで直交座標軸インジケータ付き画面７３とは、直交する二つの軸（ＧＺ−ＧＸ，ＧＺ−ＧＹ）を有するゲージ画面である。

本実施の形態では、昇降フレーム５９Ａを、Ｘ方向に動かすＸ方向駆動源７４及びＸ方向移動量測定器７５と、Ｙ方向に動かすＹ方向駆動源７６及びＹ方向移動量測定器７７と、Ｚ方向に動かすＺ方向駆動源７８及びＺ方向移動量測定器７９とを用いる。作業者はコントローラに設けられている操作スイッチ等からなる操作部９７を用いて、次の操作を実施する。なお以下の操作において、画像表示装置７２の画面７３への画像表示は、成形品取出機５の制御部内に構成される制御装置９０内の画像制御部９６で実施される。また最大寸法の演算は、Ｘ方向移動量測定器７５乃至Ｚ方向移動量測定器７９の出力に基づいて寸法演算部９５で実施される。そして操作部９７からの操作に従ってＸ方向駆動源７４乃至Ｚ方向駆動源７８への動作指令は、駆動制御部９４から出力される。さらに制御装置９０は、後に説明するティーチングの操作をするティーチング部９１、ティーチングデータを記憶するデータ記憶部９２及び使用可能性判定部９３を備えている。

具体的には、第１の撮像装置Ｃ１１としては、取出ヘッド６０の姿勢を変えないとすれば、図１乃至図４に示した撮像装置Ｃ１またＣ２を用いることができる。第１の撮像装置Ｃ１１では、アタッチメントとしての取出ヘッド６０を正面から撮影する。また第２の撮像装置Ｃ１２としては、取出ヘッド６０の姿勢を変えないとすれば、図１乃至図４に示した撮像装置Ｃ６乃至Ｃ８を用いることができる。取出ヘッド６０の姿勢を変えるとすれば、図１乃至図４に示した撮像装置Ｃ１乃至Ｃ５を用いることができる。第１の撮像装置Ｃ１１では、アタッチメントとしての取出ヘッド６０を正面から撮影する。第２の撮像装置Ｃ１２は、取出ヘッド６０を側面から撮影する。第１及び第２の撮像装置Ｃ１１及びＣ１２を取出ヘッド６０の正面または側面に配置する際に、本発明の法線ベクトルの推定方法を利用することができる。

また具体的には、図７に示すように、画面７３上の直交座標軸付きインジケータＧの直交座標軸ＧＺ及びＧＸが延びる方向と第１の撮像装置Ｃ１１からの第１の画像におけるＸ方向及びＺ方向を一致させた状態にする。この状態にするためには、画面７３の画像とインジケータＧの画像を見ながら行う。そしてサーボモータ等からなるＺ方向駆動源７８を駆動して取出ヘッド６０をＺ方向に移動させている間に第１の画像中のＺ方向の一方向の取出ヘッド６０の最外端部である吸着パッド６０Ａが画面上の基準線（本例ではＧＸ）を通過（このときの測定値をＺｓとする）してからＺ方向の他方向の最外端部である吸着パッド６０Ｂが基準線（本例ではＧＸ）を通過する（このときの測定値をＺｅとする）までの間［図７（Ａ）乃至図７（Ｄ）］、エンコーダ等からなるＺ方向移動量測定器７９が測定した距離［図６のＺｓ−Ｚｅ参照］からＺ方向の最大寸法を演算する。

また画面７３上の直交座標軸付きインジケータＧの直交座標軸ＧＺ及びＧＹが延びる方向と第１の画像におけるＸ方向及びＺ方向を一致させた状態で、Ｘ方向駆動源７４を駆動して取出ヘッド６０をＸ方向に移動させている間に第１の画像中のＸ方向の一方向の最外端部である吸着パッド６０Ｃが画面上の基準線（本例ではＧＺ）を通過（このときの測定値をＸｓとする）してからＸ方向の他方向の最外端部である吸着パッド６０Ｄが基準線（ＧＺ）を通過する（このときの測定値をＸｅとする）までの間、Ｘ方向移動量測定器が測定した距離［図６のＸｓ−Ｘｅ参照］から前記Ｘ方向の最大寸法を測定する。

さらに図８に示すように、画面７３上の直交座標軸付きインジケータＧの直交座標軸ＧＺ−ＧＹが延びる方向と第２の画像（側面画像）におけるＹ方向及びＺ方向を一致させた状態で、Ｙ方向駆動源７６を駆動して取出ヘッド６０をＹ方向に移動させている間に第２の画像中のＹ方向の一方向の最外端部６０Ｅが画面上の基準線（本例ではＧＺ）を通過（このときの測定値をＹｓとする）してからＹ方向の他方向の最外端部６０Ｆが基準線（ＧＺ）を通過（このときの測定値をＹｅとする）するまので間、Ｙ方向移動量測定器が測定した距離［図６のＹｓ−Ｙｅ参照］からＹ方向の最大寸法を測定する。

この最大寸法の測定方法によれば、簡単な設備で且つ簡単な操作で、Ｘ方向、Ｙ方向及びＺ方向の最大寸法を測定することができる。成形品取出機５の昇降フレーム５９Ｂに装着される取出ヘッド６０は、修理で装着されている部品が設計仕様とは異なる部品と交換されたり、メンテナンスで装着されている部品の配置姿勢が変わることがしばしばある。例えば、進入フレームとしての昇降フレーム５９Ｂに取り付けられている状態の取出ヘッド６０は、取出ヘッド６０に動力を与えるエアチューブまたは配線を含む付属部品が組み合わされて構成されている。そのためこれらのエアーチユーブまたは配線は、取出ヘッド６０を交換するたびに、位置及び姿勢が変わることがある。また作業者が、誤った取出ヘッドを昇降フレーム５９Ｂに装着する場合もある。このような場合でも、昇降フレーム５９Ｂに装着した状態で、取出ヘッド６０のＸ・Ｙ・Ｚ方向の最大寸法を測定すれば、実際に取出ヘッド６０を用いて取出し作業を開始する前に、実際に使用しようとする取出ヘッド６０の形状の変更を判定することができる。その結果、取出ヘッド６０が移動経路にある部品等と衝突することや、誤った取出ヘッドが装着されていることを、事前に検知することができる。

（他の測定システム）
図９は、撮像装置として１台の三次元撮像装置Ｃ１３を用いて最大寸法を測定する場合に用いる測定システムの構成を示すブロック図である。この測定システムでは、最大寸法を、撮像装置として物体表面を計測して、三次元座標を有する多数の点の点群データとして出力する三次元撮像装置Ｃ１３を用いて測定する。三次元撮像装置Ｃ１３を用いて取出ヘッド６０を正面から撮像したときの画像データから、第１の点群データ取得部１０１Ａが、取出ヘッド６０のＸ方向の最大寸法及びＺ方向の最大寸法を測定し得る第１の点群データを取得する。また、三次元撮像装置Ｃ１３を用いて取出ヘッド６０を側面から撮像したときの画像データから、第２の点群データ取得部１０１Ｂが取出ヘッド６０のＹ方向の最大寸法及びＺ方向の最大寸法を測定し得る第２の点群データを取得する。三次元撮像装置Ｃ１３を取出ヘッド６０の正面または側面に配置する際に、本発明の法線ベクトルの推定方法を利用することができる。１台の三次元撮像装置を用いる場合には、図１の撮像装置Ｃ１を三次元撮像装置とし、正面画像を撮像した後に、姿勢変更装置としての反転ユニット５９Ｃを用いて取出ヘッド６０を９０度回転させて側面画像を取得すればよい。なお２台の三次元撮像装置を用いて、正面画像と側面画像の両方を得るようにしてもよいのは勿論である。

制御装置９０´中の最大寸法決定部１００は、第１の点群データからＺ方向の一方の最外端に位置する点の座標及び他方の最外端に位置する点の座標に基づいてＹ方向の最大寸法を測定する。また第１の点群データからＸ方向の一方の最外端に位置する点の座標及び他方の最外端に位置する点の座標に基づいてＸ方向の最大寸法を測定する。さらに第２の点群データからＹ方向の一方の最外端に位置する点の座標及び他方の最外端に位置する点の座標に基づいてＺ方向の最大寸法を測定する。

三次元撮像装置により得られる点群データは、物体表面を自動的に計測し、多数の点の三次元座標を点群としてデータファイルとしたものである。すなわち点群を構成する各点には、三次元座標の情報が含まれている。そこで図１０（Ａ）に示すような取出ヘッド６０を三次元撮像装置により撮像すると、図１０（Ｂ）に示すような点群データが得られる。各点には、三次元座標の情報が含まれている。そこで最大寸法決定部１００は、図１０（Ｃ）（Ｄ）に示すように、点群データの中から、Ｘ方向で同じ深度（同じＹ座標値）を有する点のうちＸ方向の座標が最も大きくなる点と最も小さくなる点の座標値を求め、これらの座標値の差をＸ方向の最大寸法Ｘｍとする。また点群データの中から、Ｚ方向で同じ深度（同じＹ座標値）を有する点のうちＺ方向の座標が最も大きくなる点と最も小さくなる点の座標値を求め、これらの座標値の差をＺ方向の最大寸法Ｚｍとする。次に図１１に示すように、第２の点群データ取得部１０１Ｂで取得した点群データの中から、Ｙ方向で同じ深度（同じＸ座標値）を有する点のうちＹ方向の座標が最も大きくなる点と最も小さくなる点の座標値を求め、これらの座標値の差をＹ方向の最大寸法Ｙｍとする。このようにすれば、点群データから取出ヘッド６０の三次元の最大寸法Ｘｍ，Ｙｍ，Ｚｍを得ることができる。最大寸法を得た後は、最初の実施の形態と同様にして、最大寸法を利用すればよい。

なお画像に基づいて最大寸法を測定する方法は、公知の測定技術を用いれば良いが、上記例によれば、作業者の熟練度の相違による測定誤差を最小限にすることができる。なお撮影データを用いると、正規の取出ヘッド（アタッチメント）の画像と撮影した画像との対比を行うことにより、その差異から最大寸法を自動で測定したり、画像認識を得意とするＡＩ技術を用いて、最大寸法を測定することも可能である。その結果、測定の自動化を可能にすることができる。

（アタッチメント及び金型の法線ベクトルの推定）
図１２は、本発明の法線ベクトルの推定方法を上記の成形品製造システムに適用する場合に用いる法線ベクトルの推定システムの構成を示すブロック図である。図１２のブロック図において、図５のブロック図の構成要素と共通する構成要素には、同じ符号が付されており、法線ベクトルの推定に不要な要素は図示していない。図１２のブロック図では、制御装置９０内に座標又は深度決定部９８と法線ベクトル演算部９９を備えており、また法線ベクトルの推定結果に基づいて、姿勢制御装置としての反転ユニット５９Ｃを制御する姿勢制御装置駆動部５９Ｄを図示してある。制御装置９０内の少なくとも座標又は深度決定部９８並びに法線ベクトル演算部９９は、それぞれプロセッサを用いて構成されている。

この法線ベクトルの推定システムは、成形品取出機５の進入フレームとしての昇降フレーム５９Ｂに取り付けられた状態のアタッチメントとしての取出ヘッド６０の法線ベクトルと成形機３に取り付けられた状態の金型３１，３２，３４の法線ベクトルを推定する。本実施の形態では、成形機３に装着されている状態の金型の固定金型３１及び可動金型（３２，３４）のそれぞれの合わせ面と垂直なベクトルが金型の法線ベクトルとなる。また進入フレームとしての昇降フレーム５９Ｂが延びる方向に延び且つアタッチメントとしての取出ヘッド６０が固定金型３１及び可動金型（３２，３４）の間に挿入されたときに合わせ面と平行になる仮想面と垂直なベクトルがアタッチメントとしての取出ヘッド６０の法線ベクトルとなる。

そして本実施の形態では、図１３及び図１４に示すように、被写体の深度データまたは座標データを含む画像を撮影可能な撮像装置Ｃ１１（三次元撮像装置）を用いて進入フレームとなる昇降フレーム５９Ｂと直交する方向（引抜方向）に延びて昇降フレーム５９Ｂに取出ヘッド（アタッチメント）６０を取り付ける３点以上の取付具としての取付ボルト８２または成形品と接触する３点以上の接触具としての吸着パッド６０Ａ乃至６０Ｄを含む画像を撮像する。第１の撮像装置Ｃ１１としては、図１乃至図４に示した撮像装置Ｃ１またＣ２を用いることができる。第１の撮像装置Ｃ１１は、アタッチメントとしての取出ヘッド６０を正面または背面から撮影する。三次元撮像装置によって撮影した画像データでには、被写体の深度データが含まれている。

図１４（Ａ）に示すように、取出ヘッド６０の背面に見える４本の取付ボルト８２は、取出ヘッドの取付基準となるものである。したがって４本の取付ボルト８２をつないで形成され且つ４本の取付ボルト８２と直交する仮想面ＰＳ１は、取出ヘッド６０の法線ベクトルと直交する面となる。また図１４（Ｂ）に示すように吸着パッド６０Ａ乃至６０Ｄの中心をつないで形成され且つ吸着パッド６０Ａ乃至６０Ｄと直交する仮想面ＰＳ２は、取出ヘッド６０の法線ベクトルと直交する面となる。そしてこれらの画像から３カ所の取付ボルト８２または３カ所の吸着パッドの深度データ又は座標データに基づいて、座標又は深度決定部９８と法線ベクトル演算部９９を用いて、取出ヘッド６０の法線ベクトルを演算推定する。座標又は深度決定部９８は、撮像装置Ｃ１１として用いられる三次元撮像装置が撮影した画像から得られる情報（データ記憶部９２に記憶したデータ）から、４本の取付ボルト８２または４つの吸着パッド６０Ａ乃至６０Ｄの深度データまたは座標データを取得する。なおこれらのデータは、使用する三次元撮像装置の仕様に応じたものとなるのは勿論である。本実施の形態では、取付具として取付ボルト８２を例にしたが、取付具には取付プレート８１も含まれる。取付金具（取付プレート）の場合にはその複数のエッジ面を３点以上の取付具とみなせばよい。

プロセッサを含んで構成される法線ベクトル演算部９９は、公知の空間での平面から法線ベクトルを求める演算方法に従って法線ベクトルを演算する。図１５（Ａ）は、深度データと座標データの関係を説明するために用いる図である。図１５（Ａ）において、Ｏ点は三次元撮像装置の位置であり、Ｐ点は例えば取出ヘッドの正面または背面のある一点であるとする。この場合、深度データとは、三次元撮像装置から取出ヘッドのＰ点を見たときに、三次元撮像装置から見た取出ヘッドの向き（角度θとφで特定される）と距離ｒの情報のことを指す。Ｐ点の座標データｘ、ｙ、ｚは、ｘ＝ｒsinθcosφ、ｙ＝ｒsinθsinφ、ｚ＝ｒcosθと表すことができる。

そこで図１５（Ｂ）に示すように、例えば、取出ヘッドの正面上の３点Ｐ，Ｑ，Ｒの座標データをＰ（ｘ1，ｙ1，ｚ1）、Ｑ（ｘ2，ｙ2，ｚ2）、Ｒ（ｘ3，ｙ3，ｚ3）としたときに、これら３点の座標データｘ、ｙ、ｚは、三次元撮像装置で得られる点Ｐ，Ｑ，Ｒの深度データＰ（ｒ1，φ1，θ1)、Ｑ（ｒ2，φ2，θ2)、Ｒ（ｒ3，φ3，θ3)を上記式［ｘ＝ｒsinθcosφ、ｙ＝ｒsinθsinφ、ｚ＝ｒcosθ］に入れることにより、求めることができる。ここでｘｙｚ直交座標空間内での平面は、Ａ，Ｂ，Ｃ，Ｄを実数として、Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０の平面方程式で与えられるとすると、取出ヘッドの正面の法線ベクトルｎはｎ＝（Ａ，Ｂ，Ｃ）であるので、Ｐ，Ｑ，Ｒの座標データを平面方程式に代入して、連立方程式を解くとＡ，Ｂ，Ｃが求められる。図１６は、この変換及び演算の流れを示している。

なお法線ベクトルを求める別の考え方として、ｘ軸、ｙ軸、ｚ軸の基底ベクトルをそれぞれ、ｉ，ｊ，ｋとすると、法線ベクトルａは、ａ＝Ａｉ＋Ｂｊ＋Ｃｋの式で表される。大きさ１の単位法線ベクトルｎはｎ＝（Ａｉ＋Ｂｊ＋Ｃｋ）／（Ａ²＋Ｂ²＋Ｃ²）^1/2の式で求まる。この演算法を用いて仮想面ＰＳ１またはＰＳ２の法線ベクトルを演算により求めてもよい。なおその他の演算法を用いてもよいのは勿論である。上記演算は、法線ベクトル演算部９９により実行される。

また本実施の形態では、金型の法線ベクトルを求める場合には、深度データ又は座標データを含む画像を撮影可能な第２の撮像装置Ｃ１２（三次元撮像装置）を用いて、固定金型３１の合わせ面または可動金型（３２，３４）の合わせ面の周囲にある周辺部品を含む画像を撮像する。第２の撮像装置Ｃ１２としては、図１乃至図４に示した位置で画角の調製が可能に設けられた撮像装置Ｃ２〜Ｃ８の少なくとも１つを用いることができる。そして、本実施の形態では、三次元撮像装置からなる第２の撮像装置によって撮影した画像から固定金型３１または可動金型（３２，３４）の一部または周辺部品の一部であって固定金型３１と可動金型（３２，３４）の開閉方向（引抜方向）と一致する方向に延びる少なくとも３点以上の延伸部分（図１７及び図１８の金型のガイドピン３６Ａ乃至３６Ｄ、固定金型３１若しくは可動金型３４のエッジ面３４Ａ、タイバー３５Ａ乃至３５Ｄ等参照）を特定する。この特定は、画像表示装置７２の画面７３に写る画像から特定することが可能である。前述した通り、三次元撮像装置によって撮影してデータ記憶部９２に記憶された画像データには、被写体の深度データと座標データも含まれているので、座標又は深度決定部９８により、特定した３点以上の延伸部分の深度データまたは座標データを決定する。そしてに座標又は深度決定部９８により決定した深度データまたは座標データに基づいて、法線ベクトル演算部９９が金型の法線ベクトルを演算により推定する。

図１７の例では、画像から、４本のガイドピン３６Ａ乃至３６Ｄまたはタイバー３５Ａ乃至３５Ｄの深度データまたは座標データを取得して、これらのデータに基づいて４本のガイドピン３６Ａ乃至３６Ｄまたはタイバー３５Ａ乃至３５Ｄと直交する仮想面ＰＳ３またはＰＳ４を求める。ガイドピン３６Ａ乃至３６Ｄまたはタイバー３５Ａ乃至３５Ｄは、金型を取り付ける際に変わらない延伸部分であり、これらを利用して装着された金型の合わせ面は、ガイドピン３６Ａ乃至３６Ｄまたはタイバー３５Ａ乃至３５Ｄの座標データまたは深度データによって求められる三次元の仮想面ＰＳ３またはＰＳ４と実質的に平行になる。したがってこのようすれば、前述の演算式を用いて金型の法線ベクトルを求めることができる。

図１８の例では、図１に示した撮像装置Ｃ５の位置に三次元撮像装置を取付けて、この三次元撮像装置を金型内に進入させて、可動金型３４のエッジ面３４Ａ（金型の合わせ面を囲む４つの縁）の４つの交点を含む三次元画像データを取得する。そしてこの画像データに付随して得られる４つの交点の座標データまたは深度データからこの４つの交点を含む三次元の仮想面ＰＳ５を求める。金型の合わせ面は、三次元の仮想面ＰＳ５と実質的に平行になる。そしてこれらのデータから引抜方向の法線ベクトルを求めることができる。この例では、金型の合わせ面に係わる部分の情報から法線ベクトルを求めるため、金型の取付状態によって変わり得る法線ベクトルを正確に推定することができる。

（使用可能性、ティーチング）
上記のように測定した最大寸法及び法線ベクトルの利用方法は任意である。上記実施の形態では、ティーチング部９１の操作を利用して、ティーチングを実施する前に、使用可能性判定部９３が取出ヘッド６０の三次元形状寸法の情報から取出ヘッド６０を用いる取出作業での使用の適否を判断して、使用不可であればアラームを使用可能性判定部９３から出力する。すなわち最大寸法から取出ヘッド６０が開いた金型内に金型と衝突することなく進入できるか否かを判定することができ、また取出ヘッドの法線ベクトルと金型の法線ベクトルの不一致度から取出ヘッドにより成形品が確実に取り出せるか否かを判定することができる。すなわちティーチングを実行すると、取出ヘッド６０の移動中に周囲の物と衝突する可能性があることまたは成形品を確実に取り出すことができないことを事前に判断して、取出ヘッド６０の使用可能性がなければ、アラームが出される。

取出ヘッド６０の取付姿勢の問題であれば、アラームに基づいて、取出ヘッド６０の取付け直しを行うか、または姿勢制御装置駆動部５９Ｄに指令を与えて姿勢制御装置としての反転ユニット５９Ｃを動作させることにより、取出ヘッド６０の姿勢を適正な姿勢に変えればよい。

本発明によれば、撮像装置により、実際に装着されている金型及びアタッチメントから得た深度データまたは座標データを含む画像データを採取して、アタッチメントの法線ベクトルと金型の法線ベクトルを推定するので、金型及びアタッチメントの実際の取付状態に密接な関係を有する法線ベクトルを推定することができる。したがってティーチングの自動化、アタッチメントの姿勢制御等を容易に実現することが可能になる。

１ 成形品製造システム
３ 成形機
３１ 固定金型
３２ 中間金型
３４ 可動金型
５ 成形品取出機
５９Ｂ 昇降フレーム（進入フレーム）
６ 取出ヘッド（アタッチメント）
７１ 撮像装置システム
７２ 画像表示装置
７３ 画面
７４ Ｘ軸方向駆動源
７５ Ｘ軸方向移動量測定部
７６ Ｙ軸方向駆動源
７７ Ｙ軸方向移動量測定部
７８ Ｚ軸方向駆動源
７９ Ｚ軸方向移動量測定部
Ｃ１１ 第１の撮像装置
Ｃ１２ 第２の撮像装置
９０ 制御装置
９１ ティーチング部
９２ データ記憶部
９３ 使用可能性判定部
９６ 画像制御部
９７ 操作部
９８ 座標または深度決定部
９９ 法線ベクトル演算部

Claims (10)

1. 成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルの推定方法であって、
   前記成形機に装着されている状態の前記金型の固定金型及び可動金型のそれぞれの合わせ面と垂直なベクトルを前記金型の法線ベクトルと定義し、前記進入フレームが延びる方向に延び且つ前記アタッチメントが前記固定金型及び可動金型の間に挿入されたときに前記合わせ面と平行になる仮想面と垂直なベクトルを前記アタッチメントの法線ベクトルと定義し、
   被写体の深度データまたは座標データを含む画像を撮影可能な第１の撮像装置を用いて前記固定金型の前記合わせ面または前記可動金型の前記合わせ面の周囲にある周辺部品を含む画像を撮像し、前記画像から前記固定金型または可動金型の一部または前記周辺部品の一部であって前記固定金型と前記可動金型の開閉方向と一致する方向に延びる少なくとも３点以上の延伸部分を特定し、特定した３点以上の延伸部分の深度データまたは座標データに基づいて前記金型の法線ベクトルを推定し、
   被写体の深度データまたは座標データを含む画像を撮影可能な第２の撮像装置を用いて前記進入フレームと直交する方向に延びて前記進入フレームに前記アタッチメントを取り付ける３点以上の取付具または成形品と接触する３点以上の接触具を含む画像を撮像し、前記画像から得た３カ所の前記取付具または３カ所の前記接触具の前記深度データまたは前記座標データに基づいて、前記アタッチメントの法線ベクトルを推定することを特徴とする法線ベクトルの推定方法。
2. 成形機に取り付けられた状態の金型の法線ベクトルの推定方法であって、
   前記成形機に装着されている状態の前記金型の固定金型及び可動金型のそれぞれの合わせ面と垂直なベクトルを前記金型の法線ベクトルと定義し、
   被写体の深度データまたは座標データを含む画像を撮影可能な撮像装置を用いて前記固定金型の前記合わせ面または前記可動金型の前記合わせ面の周囲にある周辺部品を含む画像を撮像し、前記画像から前記固定金型または可動金型の一部または前記周辺部品の一部であって前記固定金型と前記可動金型の開閉方向と一致する方向に延びる少なくとも３点以上の延伸部分を特定し、特定した３点以上の延伸部分の深度データまたは座標データに基づいて前記金型の法線ベクトルを推定することを特徴とする法線ベクトルの推定方法。
3. 成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルの推定方法であって、
   前記進入フレームが延びる方向に延び且つ前記アタッチメントが前記固定金型及び可動金型の間に挿入されたときに前記合わせ面と平行になる仮想面と垂直なベクトルを前記アタッチメントの法線ベクトルと定義し、
   被写体の深度データまたは座標データを含む画像を撮影可能な撮像装置を用いて前記進入フレームと直交する方向に延びて前記進入フレームに前記アタッチメントを取り付ける３点以上の取付具または前記成形品と接触する３点以上の接触具を含む画像を撮像し、前記画像から得た３カ所の前記取付具または３カ所の前記接触具の前記深度データまたは前記座標データに基づいて、前記アタッチメントの法線ベクトルを推定することを特徴とする法線ベクトルの推定方法。
4. 前記延伸部分は、前記金型のガイドピン、前記固定金型若しくは可動金型のエッジ面またはタイバーである請求項１または２に記載の法線ベクトルの推定方法。
5. 前記取付具は、取付ボルトまたは取付金具である請求項１または３に記載の法線ベクトルの推定方法。
6. 前記接触具は、吸着パッドである請求項１または３に記載の法線ベクトルの推定方法。
7. 前記撮像装置は、三次元撮像装置である請求項１乃至３のいずれか１項に記載の法線ベクトルの推定方法。
8. 請求項１の法線ベクトルの推定方法を用いて推定した前記金型の法線ベクトルと前記アタッチメントの法線ベクトルとを用いて、前記金型の法線ベクトルと前記アタッチメントの法線ベクトルとが一致する姿勢で取出動作ができるように、前記アタッチメントを前記金型内に挿入する際の前記アタッチメントの姿勢を決定することを特徴とするアタッチメントの姿勢決定方法。
9. 請求項３に記載の法線ベクトルの推定方法を用いて推定した前記アタッチメントの法線ベクトルと前記撮像装置の前記画像を用いて、前記アタッチメントの法線ベクトルを三次元寸法の一次元寸法に沿うベクトルと定めて、前記アタッチメントの最大三次元寸法を測定する方法。
10. 成形品取出機の進入フレームに取り付けられた状態のアタッチメントの法線ベクトルと成形機に取り付けられた状態の金型の法線ベクトルの推定システムであって、
    プロセッサを含み、
    前記成形機に装着されている状態の前記金型の固定金型及び可動金型のそれぞれの合わせ面と垂直なベクトルを前記金型の法線ベクトルと定義し、前記進入フレームが延びる方向に延び且つ前記アタッチメントが前記固定金型及び可動金型の間に挿入されたときに前記合わせ面と平行になる仮想面と垂直なベクトルを前記アタッチメントの法線ベクトルと定義し、
    前記プロセッサが、
    被写体の深度データまたは座標データを含む画像を撮影可能な第１の撮像装置を用いて撮像した前記固定金型の前記合わせ面または前記可動金型の前記合わせ面の周囲にある周辺部品を含む画像から特定した、前記固定金型または可動金型の一部または前記周辺部品の一部であって前記固定金型と前記可動金型の開閉方向と一致する方向に延びる少なくとも３点以上の延伸部分の深度データまたは座標データを求め、前記深度データまたは座標データに基づいて前記金型の法線ベクトルを推定し、
    被写体の深度データまたは座標データを含む画像を撮影可能な第２の撮像装置を用いて撮像した前記進入フレームと直交する方向に延びて前記進入フレームに前記アタッチメントを取り付ける３点以上の取付具または成形品と接触する３点以上の接触具を含む画像から特定した、３カ所の前記取付具または３カ所の前記接触具の深度データまたは前記座標データを求め、前記深度データまたは前記座標データに基づいて、前記アタッチメントの法線ベクトルを推定することを特徴とする法線ベクトルの推定システム。

Images