JP2023087271A - 姿勢判定方法、プログラム及び部品供給装置 - Google Patents

Abstract

【課題】部品の姿勢を精度よく判定する。【解決手段】姿勢判定方法は、複数の面を有する部品に対して取得した画像に基づき部品の姿勢を判定する。この姿勢判定方法は、画像から部品の外形を認識する認識ステップと、認識ステップにより認識した部品の外形に基づき、部品の一部である判定領域における表面形状の特徴量を検出する検出ステップと、判定ステップとを有する。判定ステップでは、部品の第１面の判定領域における基準の特徴量を示す第１基準量と、部品の第２面の判定領域における基準の特徴量を示す第２基準量と、検出ステップにより検出した特徴量と、を比較することにより部品の姿勢を判定する。【選択図】図１０

Description

本発明は、姿勢判定方法、プログラム及び部品供給装置に関する。

従来から、ワーク（部品）をカメラで撮影して、ワークの位置や傾きを求める画像認識処理が知られている。特許文献１には、部品毎に最適な画像認識条件を選択する画像認識条件の選択方法が記載されている。

特許文献１に記載された画像認識条件の選択方法では、認識条件として、複数種類のワークの撮像条件と、複数種類の処理条件を設定しておく。撮像条件は、例えば、ワークの角度や照明強度であり、処理条件は、例えば、撮像画像の前処理手法や認識処理手法である。次に、各撮像条件と各処理条件とを組み合わせた全ての画像認識条件における画像認識処理を実行して、画像認識条件毎に認識誤差を算出する。そして、認識誤差が最も小さかった画像認識条件を、最適画像認識条件として選択する。

特開平０９－２４５１７７号公報

ところで、部品の外部形状は、明瞭に撮影しやすいが、部品の表面形状は、外部形状のように明瞭に撮影することが難しい。そのため、同一の画像認識条件で部品を撮影すると、撮影した画像から得られる表面形状の情報が少なくなる。したがって、特許文献１に記載された画像認識条件の選択方法では、画像認識処理をした場合の認識誤差が大きくなり、部品の姿勢（表裏）を判定する精度が低くなる。

本発明は、上記の問題点を考慮し、部品の姿勢を精度よく判定することが可能な姿勢判定方法、プログラム及び部品供給装置を提供することを目的とする。

このような目的を達成するため、本発明の姿勢判定方法は、複数の面を有する部品に対して取得した画像に基づき部品の姿勢を判定する。この姿勢判定方法は、画像から部品の外形を認識する認識ステップと、認識ステップにより認識した部品の外形に基づき、部品の一部である判定領域における表面形状の特徴量を検出する検出ステップと、判定ステップとを有する。判定ステップでは、部品の第１面における判定領域における表面形状の基準の特徴量を示す第１基準量と、部品の第２面における判定領域における表面形状の基準の特徴量を示す第２基準量と、検出ステップにより検出した特徴量と、を比較することにより部品の姿勢を判定する。

本発明によれば、部品の姿勢を精度よく判定することができる。

本発明の第１実施形態の部品供給装置の斜視図である。 本発明の第１実施形態の部品供給装置の上面図である。 本発明の第１実施形態の部品供給装置の側面図である。 本発明の第１実施形態の部品供給装置における供給部の側面図である。 本発明の第１実施形態の部品供給装置における供給部のハンドブロックの構成を説明する図である。 本発明の第１実施形態の部品供給装置における制御系の構成例を示すブロック図である。 本発明の第１実施形態の部品供給装置の部品供給動作を説明する図である。 本発明の第１実施形態に係る部品の外形、表面形状、及び判定領域を説明する図である。 本発明の第１実施形態に係る第１基準量及び第２基準量と、検出した特徴量との比較を説明するグラフである。 本発明の第１実施形態の部品供給装置における姿勢判定処理の一例を示すフローチャートである。 本発明の第２実施形態に係る第１基準量及び第２基準量と、検出した特徴量との比較を説明するグラフである。 本発明の第２実施形態の部品供給装置における姿勢判定処理の一例を示すフローチャートである。

以下、本発明を適用した各実施の形態を、図面に基づいて詳細に説明する。

１．第１実施形態
［部品供給装置の構成］
まず、第１実施形態の部品供給装置の構成について、図１～３を参照して説明する。
図１は、第１実施形態の部品供給装置の斜視図である。図２は、第１実施形態の部品供給装置の上面図である。図３は、第１実施形態の部品供給装置の側面図である。

図１に示すように、第１実施形態に係る部品供給装置１は、フレーム２と、収容部３Ａ，３Ｂと、供給部４と、ピック台５Ａ，５Ｂと、プレイス台６Ａ，６Ｂと、制御基板７と、表示部８と、を備えている。収容部３Ａ，３Ｂ、供給部４、ピック台５Ａ，５Ｂ、プレイス台６Ａ，６Ｂ、及び制御基板７は、フレーム２に取り付けられている。部品供給装置１は、収容部３Ａ，３Ｂ内に収容された部品を、プレイス台６Ａ，６Ｂに姿勢を揃えて配置し、次工程の装置に供給する。

フレーム２は、略直方体状に形成されており、幅、奥行き、高さを有している。ここで、図１～図３において、Ｘ軸方向はフレーム２の幅方向を示し、Ｙ軸方向はフレーム２の奥行き方向を示し、Ｚ軸方向はフレーム２の高さ方向を示す。Ｘ軸方向及びＹ軸方向は、水平面に平行な二つの軸方向である水平二軸方向に相当し、Ｚ軸方向は、水平面に直交する方向である鉛直方向に相当する。フレーム２は、Ｘ軸方向又はＹ軸方向に延びる横部材と、Ｚ軸方向に延びる縦部材から構成されている。

収容部３Ａ，３Ｂは、フレーム２におけるＹ軸方向の一側に配置されている。収容部３Ａ，３Ｂは、Ｘ軸方向に適当な距離を空けて対向している。収容部３Ａ，３Ｂは、上面が開口した略箱状に形成されている。収容部３Ａ，３Ｂには、底部をＺ軸方向に移動させる昇降機構が設けられている。これにより、各収容部３Ａ，３Ｂは、収容可能な容量及び収容された部品の高さ位置を変更することができる。

例えば、収容部３Ａには第１の部品が収容され、収容部３Ｂには第１の部品とは異なる第２の部品が収容される。この場合の部品供給装置１は、次工程の装置に第１の部品と第２の部品を供給する。また、第１の期間において収容部３Ａ，３Ｂには第１の部品が収容され、第１の期間とは異なる第２の期間において収容部３Ａ，３Ｂには第２の部品が収容されるようにしてもよい。この場合の部品供給装置１は、第１の期間において次工程の装置に第１の部品を供給し、第２の期間において次工程の装置に第２の部品を供給する。

供給部４は、フレーム２の上部における略中央部に配置されている。供給部４は、収容部３Ａ，３Ｂに収容された多量の第１の部品又は多量の第２の部品の中から１つ又は複数の部品を把持して、ピック台５Ａ，５Ｂに落下させて供給する。これにより、第１の部品又は第２の部品は、ピック台５Ａ，５Ｂに載置される。また、供給部４は、ピック台５Ａ，５Ｂに載置された第１の部品又は第２の部品を１つずつ把持して、プレイス台６Ａ，６Ｂに供給する。供給部４の構成については、後で図４及び図５を参照して説明する。

ピック台５Ａ，５Ｂは、Ｘ軸方向において供給部４の両側に配置されている。また、ピック台５Ａ，５Ｂは、それぞれＹ軸方向において収容部３Ａ，３Ｂと隣り合っている。ピック台５Ａ，５Ｂは、収容部３Ａ，３Ｂよりも上方に位置している。

Ｚ軸方向において、ピック台５Ａの一部は、収容部３Ａと重なる。これにより、ピック台５Ａの一部から落下した部品は、収容部３Ａに収容される（戻される）。Ｚ軸方向において、ピック台５Ｂの一部は、収容部３Ｂと重なる。これにより、ピック台５Ｂの一部から落下した部品は、収容部３Ｂに収容される（戻される）。

プレイス台６Ａ，６Ｂは、本発明に係る供給位置に対応する。プレイス台６Ａ，６Ｂは、Ｙ軸方向へ部品を搬送するベルトコンベアを有している。また、プレイス台６Ａ，６Ｂは、Ｘ軸移動機構に取り付けられている。Ｘ軸移動機構は、プレイス台６Ａ，６ＢをＸ軸方向に移動させる。プレイス台６Ａ，６Ｂは、供給部４から供給された部品をＹ軸方向へ搬送して、所定の位置に位置決めする。位置決めされた部品は、次工程の装置に供給される。

図１及び図３に示すように、制御基板７は、フレーム２の側部に取り付けられている。制御基板７には、収容部３Ａ，３Ｂ、供給部４、及びプレイス台６Ａ，６Ｂの動作を制御する制御部７１（図６参照）が設けられている。

表示部８は、部品の供給に関する各種の設定内容を表示する。各種の設定内容としては、例えば、供給対象の部品の種類、残りの部品数、後述する判定領域、第１基準量、第２基準量等を挙げることができる。また、表示部８は、エラーを表示する。エラーとしては、例えば、供給部４の誤動作、後述する姿勢判定の誤判定等を挙げることができる。

表示部８は、タッチパネルディスプレイで構成されている。すなわち、表示部８は、部品の供給動作に関する各種設定を入力する入力部を兼ねる。そして、表示部８は、操作画面を表示する。ユーザーは、表示部８に表示される操作画面を見ながら、部品の供給動作に関する各種設定の入力、供給動作の実行指示等を行う。表示部８を用いて入力される設定は、制御基板７の制御部７１（図６参照）に供給される。

［供給部の構成］
次に、供給部４の構成について、図４及び図５を参照して説明する。
図４は、部品供給装置１における供給部４の側面図である。図５は、部品供給装置１における供給部４のハンドブロックの構成を説明する図である。

図４に示すように、供給部４は、アームブロック４１と、アームブロック４１に接続されたハンドブロック４２とを備える。アームブロック４１は、支持台４１１と、支持台４１１に取り付けられたアーム４１２とを有する。支持台４１１は、フレーム２（図３参照）に固定されている。支持台４１１は、アーム４１２を回転可能に支持する。

アーム４１２は、ハンドブロック４２をＸ軸方向、Ｙ軸方向、及びＺ軸方向に自在に移動させる。また、アーム４１２は、ハンドブロック４２をＸ軸周り、Ｙ軸周り、及びＺ軸周りに自在に回転させる。アーム４１２は、ベース部材４１３と、第１リンク部材４１４と、第２リンク部材４１５と、接続部材４１６とを有している。

ベース部材４１３は、支持台４１１に回転可能に接続されている。ベース部材４１３は、Ｚ軸（第１軸）を中心に回転する。第１リンク部材４１４の一端部は、ベース部材４１３に回動可能に接続されている。第１リンク部材４１４は、水平方向に延びる軸（第２軸）を中心に回動する。

第２リンク部材４１５は、回動部４１５ａと、回動部４１５ａに接続された旋回部４１５ｂとを有している。回動部４１５ａは、第１リンク部材４１４の他端部に回動可能に接続されている。回動部４１５ａは、水平方向に延びる軸（第３軸）を中心に回動する。旋回部４１５ｂは、回動部４１５ａに回転可能に接続されている。旋回部４１５ｂは、回動部４１５ａとの接続方向に延びる軸（第４軸）を中心に回転する。

接続部材４１６は、回動部４１６ａと、回動部４１６ａに接続される旋回部４１６ｂとを有している。回動部４１６ａは、第２リンク部材４１５の旋回部４１５ｂに回動可能に接続されている。回動部４１６ａは、水平方向に延びる軸（第５軸）を中心に回動する。旋回部４１６ｂは、回動部４１６ａに回転可能に接続されている。旋回部４１６ｂは、回動部４１６ａとの接続方向に延びる軸（第６軸）を中心に回転する。

図５に示すように、ハンドブロック４２は、ハウジング４２１と、ハウジング４２１に取り付けられたハンド４２２及びカメラ４２３とを有する。

ハウジング４２１は、アーム４１２における接続部材４１６の旋回部４１６ｂ（図４参照）に接続されている。ハウジング４２１は、略直方体状の筐体である。ハウジング４２１の下面には、ハンド用孔４２１ａと、カメラ用孔４２１ｂが形成されている。ハンド用孔４２１ａは、ハンド４２２を貫通させる。カメラ用孔４２１ｂは、カメラ４２３の後述する照明４２４を露出させる。

ハンド４２２は、複数（本実施形態では２つ）の把持片４２２ａから構成されている。ハウジング４２１の内部には、複数の把持片４２２ａを開閉させる開閉機構と、複数の把持片を昇降させる昇降機構が設けられている。複数の把持片４２２ａは、昇降機構により昇降されることにより、ハンド用孔４２１ａから突出する長さが変化する。複数の把持片４２２ａがハンド用孔４２１ａから突出する長さを長くすると、部品を抱えるためのスペースが広くなり、部品の把持数が多くなる。一方、複数の把持片４２２ａがハンド用孔４２１ａから突出する長さを短くすると、部品を抱えるためのスペースが狭くなり、部品の把持数が少なくなる。

複数の把持片４２２ａは、その先端部において１つの部品を把持することも可能である。ハンド４２２は、収容部３Ａ又は収容部３Ｂに収容された大量の部品から、１つ又は複数の部品を把持してピック台５Ａ又はピック台５Ｂに供給する。一方、ハンド４２２は、ピック台５Ａ又はピック台５Ｂ上に載っている１つ又は複数の部品から、１つの部品を把持してプレイス台６Ａ又はプレイス台６Ｂに供給する。

カメラ４２３は、ハウジング４２１に収納されている。カメラ４２３は、照明４２４と、偏光フィルタ４２５と、複数のレンズ４２６と、カメラ本体４２７とを有する。これらカメラ４２３を構成する部品は、被写体側から、照明４２４、偏光フィルタ４２５、複数のレンズ４２６、カメラ本体４２７の順で配置されている。被写体は、例えば、ピック台５Ａ，５Ｂ上の部品、収容部３Ａ，３Ｂに収容されている部品、ハンド４２２に把持された部品等を挙げることができる。

照明４２４は、カメラ用孔４２１ｂから露出されている。照明４２４は、被写体からの光を通過させるための撮影用孔を有するリング状に形成されている。照明４２４は、被写体に光を照射する。また、照明４２４は、光量を段階的に調節可能に構成されている。照明４２４のＯＮ・ＯＦＦ及び光量は、制御部７１の後述する認識制御部７１４によって制御される。

照明４２４の撮影用孔には、偏光フィルム４２８（図６参照）が配置されている。また、偏光フィルタ４２５は、照明４２４の撮影用孔に対向している。偏光フィルム４２８及び偏光フィルタ４２５は、被写体の反射光のうちの正反射成分を除去する。偏光フィルム４２８及び偏光フィルタ４２５で正反射成分が除去された被写体の反射光は、複数のレンズ４２６を通過する。

複数のレンズ４２６は、カメラ本体４２７における撮像素子の受光面に被写体像を結像させる。複数のレンズ４２６は、不図示の支持部に支持されている。不図示の支持部は、複数のレンズ４２６の各レンズを光軸方向に移動可能に支持する。各レンズの光軸方向への移動は、制御部７１の後述する認識制御部７１４によって制御される。

カメラ本体４２７は、撮像素子と、画像処理回路とを有する。撮像素子は、複数の受光素子（例えばフォトダイオード）と、各受光素子を駆動するための駆動回路とをする。各受光素子は、入射された光の光量に応じた電荷を発生する。駆動回路は、各受光素子において発生された電荷に対応する画素信号を画像処理回路に送信する。画像処理回路は、受信した画素信号を画像データに変換する。そして、カメラ本体４２７は、画像データを制御部７１の後述する認識制御部７１４に出力する。

［制御系の構成］
次に、部品供給装置１の制御系の構成について、図６を参照して説明する。
図６は、部品供給装置１における制御系の構成例を示すブロック図である。

制御基板７（図１参照）には、制御部７１と、記憶部７２が設けられている。制御部７１は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを備えている。制御部７１の各種機能は、ＣＰＵがＲＯＭに格納された所定の処理プログラムを実行することにより実現される。制御部７１の各種機能は、例えば、アーム制御部７１２によるアーム４１２の動作制御、ハンド制御部７１３によるハンド４２２の動作制御、認識制御部７１４による部品の姿勢判定処理、表示制御部７１５による表示部８の表示制御等がある。

図７に示すように、制御部７１は、全体制御部７１１と、アーム制御部７１２と、ハンド制御部７１３と、認識制御部７１４と、表示制御部７１５とを有する。

全体制御部７１１は、アーム制御部７１２、ハンド制御部７１３、認識制御部７１４、及び表示制御部７１５に接続されている。全体制御部７１１は、収容部３Ａ，３Ｂ、ハンド４２２等の各部の位置、ピック台５Ａ，５Ｂ上の部品の姿勢、ハンド４２２が把持している部品の個数等の検出結果を認識制御部７１４から受信する。

全体制御部７１１は、認識制御部７１４から受信した検出結果と、記憶部７２に記憶されている供給パラメータ等に基づいて、アーム制御部７１２とハンド制御部７１３の全体的な制御を行う。供給パラメータは、ピック台５Ａ，５Ｂやプレイス台６Ａ，６Ｂに部品を供給する際の供給部４の動作を決定するために用いられる。供給パラメータとしては、例えば、ハンド４２２が部品を把持する動作を開始する位置、アーム４１２による部品の搬送速度、ハンド４２２が部品の把持を解除する位置等を挙げることができる。

アーム制御部７１２は、アーム４１２の駆動部に接続されている。アーム制御部７１２は、全体制御部７１１から制御指令を受信する。アーム制御部７１２は、全体制御部７１１から受信した制御指令に基づいて、アーム４１２を駆動するためのアーム駆動信号を生成し、アーム４１２の駆動部に送信する。これにより、アーム４１２は、全体制御部７１１の制御指令に応じた動作を実行する。

ハンド制御部７１３は、ハンド４２２の駆動部に接続されている。ハンド制御部７１３は、全体制御部７１１から制御指令を受信する。ハンド制御部７１３は、全体制御部７１１から受信した制御指令に基づいて、ハンド４２２を駆動するためのハンド駆動信号を生成し、ハンド４２２の駆動部に送信する。これにより、ハンド４２２は、全体制御部７１１の制御指令に応じた動作を実行する。

認識制御部７１４は、カメラ４２３に接続されている。認識制御部７１４は、記憶部７２に記憶された撮影パラメータ７２１に基づいてカメラ４２３による撮影を制御する。また、認識制御部７１４は、カメラ４２３から受信した画像データに、記憶部７２に記憶された画像処理パラメータ（各種補正値）に基づく画像処理を施す。

認識制御部７１４は、画像処理を施した画像データと、記憶部７２に記憶された各種テンプレート７２４とを比較して、ピック台５Ａ，５Ｂ上の部品の種類を検出する。また、認識制御部７１４は、画像処理を施した画像データと、記憶部７２に記憶された表裏判定基準量に基づいて、部品の姿勢（表裏）を判定する。そして、認識制御部７１４は、検出結果及び判定結果を全体制御部７１１に送信する。

表示制御部７１５は、表示部８（図３参照）に接続されている。表示制御部７１５は、全体制御部７１１から制御指令を受信する。表示制御部７１５は、全体制御部７１１から受信した制御指令に基づいて、表示部８を制御するための表示部制御信号を生成し、表示部８に送信する。これにより、表示部８は、全体制御部７１１の制御指令に応じた各種の設定内容やエラーの内容を表示する。

記憶部７２には、撮影パラメータ７２１と、画像処理パラメータ７２２と、表裏判定基準量７２３と、各種テンプレート７２４と、キャリブレーションデータ７２５が記憶されている。

撮影パラメータ７２１は、カメラ４２３によって部品やピック台５Ａ，５Ｂ等を撮影する際に用いる。撮影パラメータ７２１としては、例えば、被写体（撮影対象）に応じた露光時間や照明の光量、画像サイズ等を挙げることができる。画像処理パラメータ７２２は、カメラ４２３から受信した画像データに画像処理を施す際に用いられる各種の補正値である。

表裏判定基準量７２３は、部品の表面形状における基準の特徴量である。表裏判定基準量７２３としては、部品の種類ごとに少なくとも第１基準量と第２基準量が用意されている。第１基準量は、第１面（例えば、表側の面）の表面形状の基準となる特徴量である。第２基準量は、第２面（例えば、裏側の面）の表面形状の基準となる特徴量である。特徴量としては、例えば、エッジの数（以下、「エッジ数」とする）や、エッジの長さ（以下、「エッジ長」とする）を挙げることができる。認識制御部７１４は、画像データから検出した部品の特徴量が、第１基準量と第２基準量のいずれに近いか又は一致するかに応じて、部品の姿勢（表裏）を判定する。

各種テンプレート７２４は、各種部品の２次元形状（外形）のマッチング用テンプレートである。各種テンプレート７２４は、部品の種類毎に少なくとも１つ用意されている。認識制御部７１４は、画像データから検出した部品の２次元形状と各種テンプレート７２４を比較して、一致又は近似するテンプレートから画像データの部品の種類を検出する。

キャリブレーションデータ７２５は、カメラ４２３の撮影位置を調整する際に用いる。キャリブレーションデータ７２５は、内部パラメータ７２７と、外部パラメータ７２８とを含む。内部パラメータ７２７としては、例えば、レンズ歪み補正量や、画角中心位置等を挙げることができる。また、外部パラメータ７２８としては、アーム４１２の座標に対するカメラ４２３の座標のズレ量を補正するための座標補正値を挙げることができる。

認識制御部７１４は、キャリブレーションデータ７２５と、カメラ４２３から送られてくる画像データに基づいて、カメラ４２３の撮影位置を決定する。全体制御部７１１は、認識制御部７１４が決定した撮影位置に応じて、アーム４１２の動作を制御するための制御指令をアーム制御部７１２に送信する。アーム制御部７１２は、全体制御部７１１の制御指令に応じてアーム４１２の駆動部を制御する。これにより、ハンドブロック４２に設けられたカメラ４２３が撮影位置に配置される。

［部品供給装置の部品供給動作］
次に、部品供給装置１の部品供給動作について、図７を参照して説明する。
図７は、部品供給装置１の部品供給動作を説明する図である。

図７に示すように、部品供給装置１により部品を次工程の装置に供給するには、まず、収容部３Ａ，３Ｂ（以下、「収容部３」とする）に部品を収容する。収容部３への部品の収容は、前工程における装置が行ってもよく、また、人が行ってもよい。

次に、供給部４が、収容部３内の大量の部品から１つ又は複数の部品を把持して、ピック台５Ａ又はピック台５Ｂ（以下、「ピック台５」とする）に供給する。このとき、供給部４は、把持した部品がピック台５上でばらけるような供給動作を行う。以下、部品がピック台５上でばらけるような供給動作を「部品のばらし動作」とする。

次に、カメラ４２３がピック台５上を撮影し、制御部７１の認識制御部７１４がピック台５上を俯瞰認識する。このとき、認識制御部７１４は、ピック台５上に把持可能な部品があるか否かを判定する。ピック台５上に把持可能な部品がないと判定した場合は、供給部４が、収容部３内の大量の部品から１つ又は複数の部品を把持する。

なお、ピック台５上に部品が載っていても、その部品が供給部４によって把持できない位置にある場合は、ピック台５上に把持可能な部品がないと判定される。この場合は、傾斜機構を駆動させてピック台５を傾斜させる。これにより、ピック台５に載っている部品は、ピック台５から落下して収容部３に回収される。

ピック台５上に把持可能な部品があると判定した場合に、認識制御部７１４は、ピック台５上にある部品のうちの１つを把持する部品として決定し、把持する部品をカメラ４２３により撮影させる。そして、認識制御部７１４は、把持する部品の画像データから部品の姿勢（表裏）を判定する。その後、認識制御部７１４は、供給部４のハンド４２２が部品を把持する位置を認識（決定）する。

次に、供給部４が、１つの部品を把持して、プレイス台６Ａ，６Ｂ（以下、「プレイス台６」とする）に供給する。プレイス台６は、供給された部品を所定の位置に位置決めする。所定の位置に位置決めされた部品は、次工程の装置に供給される。

供給部４が１つの部品をプレイス台６に供給すると、認識制御部７１４は、ピック台５上にある部品のうちの１つを把持する部品として決定し、上述したように、部品の姿勢（表裏）を判定すると共に、供給部４のハンド４２２が部品を把持する位置を認識（決定）する。このとき、ピック台５上に部品が無ければ、プレイス台６への部品の供給動作を終了する。そして、供給部４が、収容部３内の大量の部品から１つ又は複数の部品を把持する。その後、供給部４は、部品のばらし動作を行って、プレイス台６への部品の供給を繰り返す。

［部品の外形、表面形状、及び判定領域］
次に、部品の外形、表面形状、及び判定領域について、図８を参照して説明する。
図８は、部品の外形、表面形状、及び判定領域を説明する図である。

まず、図８に示す部品Ｗの第１面（表側の面）が上向きになる姿勢を第１の姿勢とする。また、部品Ｗの第２面（裏側の面）が上向きになる姿勢を第２の姿勢とする。本実施形態では、第１面の反対側の面を第２面としたが、第２面は、第１面と反対側の面以外の面であってもよい。

第１面の外部形状（外形）と第２面の外部形状（外形）が異なる場合は、画像データから得られる部品の外部形状（外形）から、部品の姿勢を判定することができる。しかし、図８に示すように、第１面の外部形状と第２面の外部形状が同一或いは略同一である場合は、画像データから得られる部品の外部形状から、部品の姿勢を判定することが難しい。そこで、本実施形態では、部品の表面形状における特徴量を検出して、検出した特徴量が第１の面の特徴量であるか第２の面の特徴量であるかを判定することで、部品の姿勢を判定する。

本実施形態では、特徴量としてエッジ数を採用する。図８に示すように、第１面及び第２面の表面には、複数のエッジが形成されている。部品Ｗには、成型（樹脂成型）にともなうテクスチャのばらつきが生じる。また、部品Ｗの画像データには、反射光のばらつきが生じる。その結果、部品Ｗの画像データでは、表面のエッジ形状にばらつきが生じてしまう。その結果、同じ種類（同じ形状）の部品Ｗであっても、第１面全体及び第２面全体のエッジの検出に再現性がない。

そこで、発明者は、第１面及び第２面におけるエッジ数の差が大きい領域に着目した。第１面のエッジ数と第２面のエッジ数の差が大きい領域であれば、エッジの検出に多少の誤差が生じても、第１面であるか又は第２面であるかを誤って判断することを抑制することができる。本実施形態では、第１面のエッジ数と第２面のエッジ数の差が大きい領域を判定領域に設定する。そして、撮影した部品Ｗの画像における判定領域のエッジ数と、第１面及び第２面における判定領域の基準のエッジ数とを比較して、部品Ｗの姿勢を判定する。

図８に示すように、本実施形態では、第１面においてエッジが安定して出現せず、第２面においてエッジが比較的多く出現する領域を判定領域として設定した。しかし、判定領域としては、第１面においてエッジが比較的多く出現し、第２面においてエッジが安定して出現しない領域であってもよい。また、成型（樹脂成型）にともなうテクスチャのばらつきが生じにくく、第１面及び第２面におけるエッジ数に差が生じる箇所を判定領域に設定してもよい。

エッジが出現する箇所は、部品の種類、部品を成型する金型、部品の姿勢等に応じて異なる。そのため、判定領域は、少なくとも、部品の種類ごとに設定する。また、部品の生産ロットに応じて異なる金型を使用する場合は、部品の生産ロットや金型ごとに判定領域を設定してもよい。

また、判定領域は、１箇所に限定されず、２箇所以上であってもよい。判定領域を２箇所以上にした場合は、検出したエッジの総和と基準のエッジ数を比較して、部品の姿勢を判定する。また、判定領域を２箇所以上にした場合は、各判定領域で検出したエッジ数の比と各判定領域の基準のエッジ数の比を比較して、部品の姿勢を判定してもよい。

画像から検出されるエッジは、影の影響を受ける。そのため、画角内に存在する部品の位置と回転姿勢（ピック台５の部品を配置する面に沿う回転方向）によって、エッジが検出されたり、検出されなかったりする。そこで、本実施形態では、エッジを検出するために撮影する画像における部品の位置及び回転姿勢を統一する。

部品の位置及び回転姿勢は、部品の外部形状から特定する。その後、カメラ４２３の撮影位置を調整して、同じ画角、同じ回転姿勢で部品を撮影する。これにより、統一された位置及び回転姿勢の部品の画像から、判定領域のエッジ数を検出することができる。その結果、部品の姿勢判定の精度を高めることができる。

第１面及び第２面における判定領域の基準のエッジ数は、例えば、多数のサンプルから判定領域のエッジ数を検出して、その最大値或いは最小値に基づいて決定してもよい。第１面における判定領域の基準のエッジ数は、第１基準量として記憶部７２に記憶しておく。また、第２面における判定領域の基準エッジ数は、第２基準量として記憶部７２に記憶しておく。第１基準量及び第２基準量は、上述した表裏判定基準量７２３に含まれる。

［第１基準量及び第２基準量と、検出した特徴量との比較］
次に、第１基準量及び第２基準量と、画像から検出した特徴量との比較について、図９を参照して説明する。
図９は、第１基準量及び第２基準量と、検出した特徴量との比較を説明するグラフである。

図９に示すグラフの横軸は、判定領域において検出された特徴量（エッジ数）を示し、縦軸は、検出した特徴量の発生頻度を示す。上述したように、判定領域では、第１面と第２面の特徴量に差が生じる。本実施形態では、第１面においてエッジが安定して出現せず、第２面においてエッジが比較的多く出現する領域を判定領域として設定した。そのため、第１特徴量群の特徴量は、第２特徴量群の特徴量よりも少ない。

第１の姿勢（第１面）の判定領域において検出された特徴量の集まりを、第１特徴量群とする。また、第２の姿勢（第２面）の判定領域において検出された特徴量の集まりを、第２特徴量群とする。第１特徴量群の特徴量の範囲と第２特徴量群の特徴量の範囲は、重複しない。すなわち、第１特徴量群の特徴量の範囲と第２特徴量群の特徴量の範囲が重複しない領域を、判定領域に設定する。

第１基準量は、サンプルとして取得された第１特徴量群における特徴量の最大値に設定されている。また、第２基準量は、サンプルとして取得された第２特徴量群における特徴量の最小値に設定されている。なお、第１基準量は、サンプルとして取得された第１特徴量群における＋３σの特徴量に設定し、第２基準量は、サンプルとして取得された第２特徴量群における－３σの特徴量に設定してもよい。

例えば、ピック台５上の部品を撮影した画像から検出した特徴量が、第２基準量よりも大きい場合は、部品が第２の姿勢（第２面が上向きになる姿勢）であると判定できる。しかし、ピック台５上の部品を撮影した画像から検出した特徴量が、第１基準量より大きく、且つ第２基準量未満の値であることも考えられる。

そこで、本実施形態では、第１基準量と第２基準量の中間値を判定閾値として設定する。そして、検出した特徴量が判定閾値以下（未満）である場合は、部品が第１の姿勢であると判定し、検出した特徴量が判定閾値より大きい（以上である）場合は、部品が第２の姿勢であると判定する。なお、本発明に係る判定閾値は、例えば、第１特徴量群の±３σ区間と第２特徴量群の±３σ区間の中間値としてもよい。

また、ピック台５上の部品を撮影した画像から検出する特徴量は、カメラ４２３と部品との距離（撮影距離）に応じて異なる。そのため、第１基準量、第２基準量及び判定閾値は、撮影距離に応じて変更するとよい。これにより、撮影距離が異なる場合であっても、部品の姿勢判定を精度よく行うことができる。

第１基準量、第２基準量及び判定閾値を変更する場合は、記憶部７２に予め記憶されたテーブルデータを参照して、撮影距離に対応するものを抽出するようにしてもよい。また、第１基準量、第２基準量及び判定閾値は、記憶部７２に予め記憶された計算式に、撮影距離を代入して算出するようにしてもよい。

［姿勢判定処理］
次に、認識制御部７１４により行われる姿勢判定処理について、図１０を参照して説明する。
図１０は、第１実施形態における姿勢判定処理の一例を示すフローチャートである。

まず、認識制御部７１４は、部品の外部形状を抽出するための画像をカメラ４２３に撮影させる（Ｓ１）。

次に、認識制御部７１４は、ステップＳ１で撮影された画像データから部品の外部形状を抽出する（Ｓ２）。この処理において、認識制御部７１４は、ガンマ補正値を用いて画像データの輝度差を広げる画像処理を施して、その後、２値化することにより部品の外部形状を抽出する。また、認識制御部７１４は、抽出した外部形状と各種テンプレート７２４から部品の種類を検出する。さらに、認識制御部７１４は、部品の位置及び回転姿勢を検出する。

次に、認識制御部７１４は、部品の位置及び回転姿勢に基づいてカメラ４２３の撮影位置を決定し、決定結果を全体制御部７１１に送る。これにより、全体制御部７１１は、アーム制御部７１２に制御指令を送り、カメラ４２３を撮影位置に配置する。そして、認識制御部７１４は、部品の表面形状を抽出するための画像をカメラ４２３に撮影させる（Ｓ３）。

次に、認識制御部７１４は、ステップＳ３で撮影された画像データから部品の表面形状を抽出する（Ｓ４）。この処理において、認識制御部７１４は、ガンマ補正値を用いて画像データの輝度勾配を際立たせる画像処理を施して、その後、例えばcanny法によりエッジを検出する。

次に、認識制御部７１４は、部品の種類及び外部形状から判定領域を決定し、判定領域の表面形状を抽出する（Ｓ５）。そして、認識制御部７１４は、判定領域における特徴量（エッジ数）を検出する（Ｓ６）。

次に、認識制御部７１４は、第１基準量と第２基準量に基づいて設定された判定閾値と、ステップＳ６で検出した特徴量と比較する（Ｓ７）。そして、認識制御部７１４は、ステップＳ７の比較結果から、ピック台５上に配置された部品の姿勢を判定する（Ｓ８）。ステップＳ８の処理後、認識制御部７１４は、姿勢判定処理を終了する。

このように、本実施形態に係る姿勢判定処理では、部品毎にエッジ形状にばらつきが生じていても、そのばらつきの影響が少ない判定領域において、検出した特徴量と予め定められた基準量（判定閾値）を比較することができる。その結果、部品の姿勢（表裏）を精度よく判定することができる。

２．第２実施形態
次に、第２実施形態に係る部品供給装置について説明する。第２実施形態に係る部品供給装置は、第１実施形態に係る部品供給装置１（図１参照）と同じ構成である。第２実施形態に係る部品供給装置が、第１実施形態に係る部品供給装置１と異なる部分は、姿勢判定処理である。そのため、ここでは、第２実施形態に係る姿勢判定処理について説明し、第１実施形態と重複する説明を省略する。

［第１基準量及び第２基準量と、検出した特徴量との比較］
まず、第２実施形態に係る、第１基準量及び第２基準量と、画像から検出した特徴量との比較について、図１１を参照して説明する。
図１１は、第２実施形態に係る、第１基準量及び第２基準量と、検出した特徴量との比較を説明するグラフである。

図１１に示すグラフの横軸は、判定領域において検出された特徴量（エッジ数）を示し、縦軸は、検出した特徴量の発生頻度を示す。上述したように、第１の姿勢（第１面）の判定領域において検出された特徴量の集まりである第１特徴量群と、第２の姿勢（第２面）の判定領域において検出された特徴量の集まりである第２特徴量群は、重複する範囲が無い。

第１基準量は、サンプルとして取得された第１特徴量群における特徴量の最大値に設定されている。また、第２基準量は、サンプルとして取得された第２特徴量群における特徴量の最小値に設定されている。なお、第１基準量は、サンプルとして取得された第１特徴量群における＋３σの特徴量に設定し、第２基準量は、サンプルとして取得された第２特徴量群における－３σの特徴量に設定してもよい。

ところで、検出した特徴量が、第１基準量よりも大きくなる、或いは第２基準量よりも小さくなる場合は、表面形状の抽出や特徴量の検出が正常に行われなかったなどの不具合が発生した可能性がある。そこで、本実施形態では、第１基準量より大きく、且つ、第２基準量未満の所定の範囲を再検出範囲として設定する。そして、検出した特徴量が再検出範囲に含まれる場合は、姿勢を判定する部品の撮影を新たに行って、特徴量の検出をやり直す。

再検出範囲は、第１基準量より大きく、且つ、第２基準量未満の範囲であれば、適宜設定することができる。例えば、再検出範囲は、第１基準量より大きく、且つ、第２基準量未満であってもよい。

［姿勢判定処理］
次に、第２実施形態に係る姿勢判定処理について、図１２を参照して説明する。
図１２は、第２実施形態における姿勢判定処理の一例を示すフローチャートである。

第２実施形態に係る姿勢判定処理のステップＳ２１～Ｓ２６は、第１実施形態に係る姿勢判定処理のステップＳ１～Ｓ６と同じである。そのため、ステップＳ２１～Ｓ２６の説明を省略する。

ステップＳ２６の処理後、認識制御部７１４は、第１基準量と第２基準量に基づいて設定された再検出範囲と、ステップＳ２６で検出した特徴量と比較する（Ｓ２７）。そして、認識制御部７１４は、ステップＳ２６で検出した特徴量が、再検出範囲に含まれるか否かを判定する（Ｓ２８）。

ステップＳ２８において、ステップＳ２６で検出した特徴量が、再検出範囲に含まれると判定（Ｓ２８がＹＥＳ判定）した場合に、全体制御部７１１は、アーム制御部７１２及びハンド制御部７１３に制御指令を送って、供給部４により部品の位置を変更する（Ｓ２９）。

ステップＳ２９の処理では、ハンド４２２で部品を把持して部品の位置を変更してもよく、また、ハンド４２２で部品を押して部品の位置を変更してもよい。これにより、部品の反射光が影響して、部品の表面形状の抽出や特徴量の検出が正常に行われないことが解消される可能性がある。

Ｓ２９の処理後、認識制御部７１４は、ステップＳ２１の処理に戻る。なお、特徴量の検出を複数回繰り返しても、検出した特徴量が再検出範囲に含まれる場合は、姿勢判定処理を中断して、判定エラーを不図示の表示部に出力してもよい。

ステップＳ２８において、ステップＳ２６で検出した特徴量が、再検出範囲に含まれないと判定（Ｓ２８がＮＯ判定）した場合に、認識制御部７１４は、ステップＳ２７の比較結果から、ピック台５上に配置された部品の姿勢を判定する（Ｓ３０）。ステップＳ３０の処理後、認識制御部７１４は、姿勢判定処理を終了する。

このように、本実施形態に係る姿勢判定処理では、部品毎にエッジ形状にばらつきが生じていても、そのばらつきの影響が少ない判定領域において、検出した特徴量と予め定められた基準量（判定閾値）を比較することができる。その結果、部品の姿勢（表裏）を精度よく判定することができる。また、表面形状の抽出や特徴量の検出が正常に行われなかったなどの不具合が生じた可能性がある場合に、再度、特徴量の検出をやり直す。その結果、部品の姿勢（表裏）判定の精度を高めることができる。

以上、本発明の姿勢判定方法、プログラム及び部品供給装置の実施形態について、その作用効果も含めて説明した。しかし、本発明の姿勢判定方法、プログラム及び部品供給装置は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。

例えば、上述した第１及び第２実施形態では、部品の表面形状における特徴量として、エッジ数を採用した。しかし、本発明に係る特徴量としては、前述したエッジの長さやエッジの面積を採用してもよい。

また、上述した第２実施形態では、検出した特徴量が再検出範囲に含まれる場合に、部品の位置を変更（図１２のＳ２９参照）してから、部品の画像を新たに撮影するようにした。しかし、検出した特徴量が再検出範囲に含まれる場合に、部品の位置を変更せずに、カメラの撮影位置或いは撮影姿勢を変更して、部品の画像を撮影するようにしてもよい。また、部品の位置とカメラの撮影位置或いは撮影姿勢の両方を変更するようにしてもよい。

また、上述した第１及び第２実施形態では、供給部４のハンド４２２が部品を把持してピック台５に供給する構成とした。しかし、本発明に係る供給部としては、把持する構成に限定されず、例えば、ベルト機構、吸着、エア吸引、磁気的吸引、容器状の部材による保持等のその他の方法で部品を持ち、そして持った部品を放すものであってもよい。

１，１００…部品供給装置、 ２…フレーム、 ３，３Ａ，３Ｂ…収容部、 ４…供給部、 ５，５Ａ，５Ｂ，１０５…ピック台、 ６，６Ａ，６Ｂ…プレイス台、 ７…制御基板、 ８…表示部、 ３１…スリット、 ３２…シャッター、 ３２ａ…フランジ、 ４１…アームブロック、 ４２…ハンドブロック、 ５１…積載板、 ５２，５３，５４…壁板、 ７１…制御部、 ７２…記憶部、 １０４…搬送部（収容部と供給部）、 １０８…ガイド板、 １２３，４２３…カメラ、 ４１１…支持台、 ４１２…アーム、 ４１３…ベース部材、 ４１４…第１リンク部材、 ４１５…第２リンク部材、 ４１６…接続部材、 ４２１…ハウジング、 ４２２…ハンド、 ４２２ａ…把持片、 ４２３…カメラ、 ４２４…照明、 ４２５…偏光フィルタ、 ４２６…複数のレンズ、 ４２７…カメラ本体、 ４２８…偏光フィルム、 ７１１…全体制御部、 ７１２…アーム制御部、 ７１３…ハンド制御部、 ７１４…認識制御部、 ７１５…表示制御部、 ７２１…撮影パラメータ、 ７２２…画像処理パラメータ、 ７２３…表裏判定基準量、 ７２４…各種テンプレート、 ７２５…キャリブレーションデータ

Claims (12)

1. 複数の面を有する部品に対して取得した画像に基づき部品の姿勢を判定する姿勢判定方法であって、
   前記画像から部品の外形を認識する認識ステップと、
   前記認識ステップにより認識した部品の外形に基づき、部品の一部である判定領域における表面形状の特徴量を検出する検出ステップと、
   部品の第１面の前記判定領域における基準の特徴量を示す第１基準量と、部品の第２面の前記判定領域における基準の特徴量を示す第２基準量と、検出ステップにより検出した特徴量と、を比較することにより部品の姿勢を判定する判定ステップと、を有する
   姿勢判定方法。
2. 前記第１基準量及び前記第２基準量は、２つ以上の前記判定領域の特徴量の比である
   請求項１に記載の姿勢判定方法。
3. 前記取得した画像の撮影距離に応じて、前記第１基準量及び前記第２基準量を変更する
   請求項１に記載の姿勢判定方法。
4. 前記検出ステップにより検出した特徴量が、前記第１基準量と前記第２基準量との間の所定範囲に含まれる場合に、部品の画像を新たに取得して姿勢判定を行う
   請求項１に記載の姿勢判定方法。
5. 前記部品の画像を新たに取得する場合は、撮影位置或いは撮影姿勢を変更する
   請求項４に記載の姿勢判定方法。
6. 前記特徴量は、前記部品の表面におけるエッジ数である
   請求項１～５のいずれか１項に記載の姿勢判定方法。
7. 前記特徴量は、前記部品の表面におけるエッジの長さである
   請求項１～５のいずれか１項に記載の姿勢判定方法。
8. ピック台上の部品を持って供給位置に配置する供給部を備える部品供給装置のコンピュータに、
   前記ピック台上の部品に対して取得した画像から部品の外形を認識する手順と、
   認識した部品の外形に基づき、部品の一部である判定領域における表面形状の特徴量を検出する手順と、
   部品の第１面の前記判定領域における基準の特徴量を示す第１基準量と、部品の第２面の前記判定領域における基準の特徴量を示す第２基準量と、前記画像から検出した特徴量と、を比較することにより部品の姿勢を判定する手順と、を実行させるための
   プログラム。
9. ピック台と、
   前記ピック台上の部品を撮影可能なカメラと、
   前記ピック台上の部品を持って供給位置へ配置する供給部と、
   前記ピック台上の部品の姿勢に応じて、前記供給部の動作を制御する制御部と、を備え、
   前記制御部は、前記カメラにより撮影した画像から部品の外形を認識し、認識した部品の外形に基づき、部品の一部である判定領域における表面形状の特徴量を検出して、部品の第１面の前記判定領域における基準の特徴量を示す第１基準量と、部品の第２面の前記判定領域における基準の特徴量を示す第２基準量と、前記画像から検出した特徴量と、を比較することにより部品の姿勢を判定する
   部品供給装置。
10. 前記第１基準量及び前記第２基準量を記憶する記憶部を備える
    請求項９に記載の部品供給装置。
11. 前記検出した特徴量が、前記第１基準量と前記第２基準量との間の所定範囲に含まれる場合に、前記カメラにより前記ピック台上の部品の画像を新たに撮影して姿勢判定を行う
    請求項１０に記載の部品供給装置。
12. 前記カメラにより前記ピック台上の部品の画像を新たに撮影する前に、前記供給部により部品を把持して当該部品の位置を変える
    請求項１１に記載の部品供給装置。

Images