JP2007179301A - 物品の荷崩れ検出方法および装置 - Google Patents

Abstract

【課題】ピッキングロボットによる物品の自動移載中に発生する荷崩れを検出することができ、さらに、移載作業終了後に発生する荷崩れも検出することができる物品の荷崩れ検出方法および装置を提供する。
【解決手段】（ａ）個々の物品１の移載毎に、その前後におけるパレット２に積付けられた物品群を上方から撮像して、物品１の移載前の画像１と、移載後の画像２を取得し、（ｂ）画像１と画像２を比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を判定する。
【選択図】図５

Description

本発明は、複数の物品が積付けられたパレットのような積付けエリアから、物品を移載する際に発生する物品の荷崩れを検出する方法および装置に関するものである。

物流センターや製造工場における自動倉庫では、例えば段ボール箱のような箱状の梱包材により梱包された各種の製品は、出荷に備えて、パレットに積載された状態で倉庫内の収納棚に一旦収納・保管される。通常、同一パレットには、同一寸法の梱包材が多数積載された状態で倉庫に保管される。以下、製品が梱包されたダンボールのような梱包材、その他ある位置から他の位置へ移載される対象物を「物品」という。
そして、物品を倉庫から出荷する場合、必要な種類の物品を積載したパレットをスタッカクレーンにより収納棚から取り出し、コンベアなどによってピッキングロボットに隣接する位置まで移動させ、ピッキングロボットにより必要な数の物品をパレットから自動的にピッキングして、出荷側に設置された搬出レーン上に順次荷下ろしする（例えば、下記特許文献１参照）。

このような物品の搬送・移載作業の完全な自動化に当たっては、パレット上に積載された物品が荷崩れを起こした場合に、その荷崩れを適切に検出することが重要となる。
このような事情に鑑み、下記特許文献２では、物品の荷崩れを検出する手段について一つの提案がなされている。
この特許文献２の従来技術は、複数の物品が積段されたパレットをコンベアによって搬送する搬送路上に、物品が積段された状態のパレットが通過できる門型枠を設け、この門型枠に、パレット上に積段された物品群の搬送方向の両側側面近傍を上下に通るような光・電波・音波などの信号を発信する物品検出器を設けたものであり、上記のパレットをコンベアによって搬送する間に、上記の物品検出器の信号が遮断されることをもって荷崩れ状態を検出するものである。

特開平８−９１５７９号公報 特開２００１−２９４３０３号公報

しかしながら、パレットの搬送中には荷崩れが生じていなくても、ピッキングロボットの制御の誤差や、パレット上の物品の位置情報の誤差により、ピッキングロボットによる物品の移載中に、積載された他の物品を押してその位置をずらしたり、転倒、落下させたりする恐れがあるという問題がある。
また、移載作業の結果、個々の物品の重心バランスが崩れ、移載作業が終了してから暫く時間が経過した後に、物品が落下、倒壊する等の荷崩れが発生する恐れがあるという問題がある。
したがって、物品の搬送・移載作業の完全な自動化のためには、このような荷崩れについても検出する必要がある。

本発明は、このような事情に鑑みてなされたものであり、ピッキングロボットによる物品の自動移載中に発生する荷崩れを検出することができ、さらに、移載作業終了後に発生する荷崩れも検出することができる物品の荷崩れ検出方法および装置を提供することを目的とする。

上記課題を解決するために、本発明の物品の荷崩れ検出方法は、以下の手段を採用する。
すなわち、本発明にかかる物品の荷崩れ検出方法は、複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する方法であって、（ａ）個々の物品の移載毎に、その前後における前記積付けエリアに積付けられた物品群を上方から撮像して、当該物品の移載前の第１の画像と、移載後の第２の画像を取得し、（ｂ）前記第１の画像と前記第２の画像を比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を判定する、ことを特徴とする。

このように、個々の物品の移載毎に、この物品が移載される前の第１の画像と、移載された後の第２の画像を撮像し、第１の画像と第２の画像を比較するので、物品の移載時に、移載した物品以外の物品が位置ずれした場合は、両画像のうち移載された物品が存在していた領域以外の物品領域に変化が現れる。したがって、この変化度合に基づいて荷崩れの発生の有無を判定することができる。
このため、ピッキングロボットによる物品の自動移載中に発生する荷崩れを検出することができる。
また、これにより、ピッキングロボットによる自動移載の信頼性を向上できる。
また、荷崩れの発生を監視員に通知することにより、常時監視する必要がなくなるため、監視員の負担が軽減される。

また、本発明にかかる物品の荷崩れ検出方法では、前記（ｂ）の段階において、前記第１の画像と前記第２の画像の各々のエッジ画像を生成して両画像を比較し、該エッジ画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第１マッチングと、前記第１の画像と前記第２の画像を濃淡画像又はカラー画像のまま比較し、該濃淡画像又はカラー画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第２マッチングと、を行う、ことを特徴とする。

このように、エッジ画像による幾何的なマッチング（第１マッチング）と、濃淡画像又はカラー画像をそのまま用いたパターンマッチング（第２マッチング）を行うので、一方のマッチングにより荷崩れを検知できなくても、他方のマッチングにより荷崩れを検知した場合には、荷崩れが発生したと判定される。このため、荷崩れの検出漏れを低減することができる。

また、本発明にかかる物品の荷崩れ検出方法では、前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前後の前記物品群を三次元計測し、作業前の第１の距離画像と、作業後の第２の距離画像を生成し、前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する、ことを特徴とする。

このように、移載作業の全工程の前後における物品群を三次元計測して距離画像を生成し、この距離画像を用いて、実際に移載された物品の個数を推定し、この推定個数と、移載すべき物品の個数（所望個数）とを比較し、一致するか否かを判定するので、移載作業の全工程後に荷崩れが発生した場合でもこれを検出することができる。すなわち、推定個数と所望個数とが不一致である場合は、移載作業終了後に残った物品群の重心バランスが崩れる等により、物品群が倒壊したなどの荷崩れが発生したと判断できるから、これを検出することができる。
また、これにより、実際には出荷されていないにもかかわらず、在庫データベース上においては出荷されたものと取り扱われる事態も防止される。このため、在庫データベース上における物品数と実際の物品数との不整合をなくすことができる。

また、本発明にかかる物品の荷崩れ検出方法では、個々の物品の移載毎、あるいは複数物品の移載毎に、該物品が移載される前の物品群を三次元計測して第３の距離画像を生成し、前記（ｂ）の段階において荷崩れが発生したと判定したときに、前記物品が移載された後の物品群を三次元計測して第４の距離画像を生成し、前記第３の距離画像と前記第４の距離画像を比較することにより、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を前記（ｂ）の段階における判定とは別に再度判定し、前記再度の判定において荷崩れが発生しなかったと判定した場合は、前記（ｂ）の段階における判定を否定して荷崩れの発生は無かったものとし、前記再度の判定において荷崩れが発生したと判定した場合は、前記（ｂ）の段階における判定を肯定して物品の移載時に荷崩れが発生したと決定する、ことを特徴とする。

このように、１度目の荷崩れ判定により荷崩れが発生したと判定された場合は三次元計測により荷崩れの有無を再度判定するので、１度目の荷崩れの判定に誤りがあった場合でも、計測精度の高い三次元計測を用いた判定により誤判定を否定し、正確な荷崩れ判定を行うことができる。
このため、荷崩れの検出精度を大幅に向上させることができ、誤検出による移載作業の中断などの弊害を防止することができる。

また、本発明にかかる物品の荷崩れ検出方法は、複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する方法であって、前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前後の前記物品群を三次元計測し、作業前の第１の距離画像と、作業後の第２の距離画像を生成し、前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する、ことを特徴とする。

上述したように、移載作業の全工程後に荷崩れが発生した場合でもこれを検出することができるので、在庫データベース上における物品数と実際の物品数との不整合をなくすことができる。

また、本発明にかかる物品の荷崩れ検出装置は、複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する装置であって、前記積付けエリアに積付けられた物品群を上方から撮像する撮像手段と、前記撮像手段により撮像した画像データに基づいて画像処理を行う画像処理手段と、を備え、前記撮像手段は、個々の物品の移載毎に、該物品が移載される前の第１の画像と、移載された後の第２の画像を撮像し、前記画像処理手段は、前記第１の画像と前記第２の画像を比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を判定する荷崩れ判定手段を備える、ことを特徴とする。

また、本発明にかかる物品の荷崩れ検出装置では、前記荷崩れ判定手段は、前記第１の画像と前記第２の画像の各々のエッジ画像を生成して両画像を比較し、該エッジ画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第１マッチング手段と、前記第１の画像と前記第２の画像を濃淡画像又はカラー画像のまま比較し、該濃淡画像又はカラー画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第２マッチング手段と、を備える、ことを特徴とする。

また、本発明にかかる物品の荷崩れ検出装置では、前記積付けエリアに積付けられた物品群を三次元計測する三次元計測手段をさらに備え、前記画像処理手段は、該三次元計測手段からの計測データに基づいて距離画像を生成する距離画像生成手段をさらに備え、前記三次元計測手段は、前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前後の物品群を三次元計測し、前記距離画像生成手段は、三次元計測データに基づいて前記作業前の第１の距離画像と作業後の第２の距離画像を生成し、前記画像処理手段は、前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する作業後荷崩れ判定手段を備える、ことを特徴とする。

また、本発明にかかる物品の荷崩れ検出装置では、前記三次元計測手段及び前記距離画像生成手段は、個々の物品の移載毎、あるいは複数物品の移載毎に、該物品が移載される前の物品群を三次元計測して第３の距離画像を生成し、前記荷崩れ判定手段が、荷崩れが発生したと判定したときに、前記物品が移載された後の物品群を三次元計測して第４の距離画像を生成し、前記画像処理手段は、前記荷崩れ判定手段が、荷崩れが発生したと判定したときに、前記第３の距離画像および第４の距離画像に基づいて荷崩れの発生を再度判定する荷崩れ再判定手段をさらに備え、該荷崩れ再判定手段は、前記第３の距離画像と第４の距離画像とを比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を再度判定し、該再度の判定において荷崩れが発生しなかったと判定した場合は、前記荷崩れ判定手段による判定を否定して荷崩れの発生は無かったものとし、前記再度の判定において荷崩れが発生したと判定した場合は、前記荷崩れ判定手段による判定を肯定して物品の移載時に荷崩れが発生したと決定する、ことを特徴とする。

また、本発明にかかる物品の荷崩れ検出装置は、複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する装置であって、前記積付けエリアに積付けられた物品群を三次元計測する三次元計測手段と、該三次元計測手段からの計測データに基づいて画像処理を行う画像処理手段と、を備え、前記三次元計測手段は、前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前の物品群を三次元計測し、前記画像処理手段は、前記三次元計測手段からの計測データに基づいて前記作業前の第１の距離画像と作業後の第２の距離画像を生成する距離画像生成手段と、前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する作業後荷崩れ判定手段と、を有する、ことを特徴とする。

上記の物品の荷崩れ検出装置により、上記の物品の荷崩れ検出方法を実施することができる。

本発明において、「積付けエリア」とは、物品が移載されるために積み付けられる所定の領域をいう。実施形態では、パレットがこれに該当する。

本発明によれば、ピッキングロボットによる物品の自動移載中に発生する荷崩れを検出することができ、さらに、移載作業終了後に発生する荷崩れも検出することができる、という優れた効果が得られる。

以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

［第１実施形態］
以下、本発明の第１実施形態について説明する。
図１は、第１実施形態にかかる物品の荷崩れ検出装置を適用したピッキングシステム１０の構成を示す図である。以下、物品の荷崩れ検出装置を、単に「荷崩れ検出装置」と呼称することがある。
図１に示すように、このピッキングシステム１０は、ピッキングロボット４と、荷崩れ検出装置２０とを備えている。

まず、ピッキングロボット４について説明する。
ピッキングロボット４は、複数の物品１が積載された積付けエリアとしてのパレット２から、物品１を一つずつピッキングして荷下ろし位置に移載する装置である。以下では、パレット２が「積付けエリア」に相当するものとして説明する。
ピッキングロボット４は、鉛直軸心Ｘを中心に回転可能な台座部５と、台座部５上に設置され水平軸心を中心に回転可能な複数の関節を持つアーム部６と、アーム部６の先端に接続され物品を把持する把持部７と、を備えている。
本実施形態において、把持部７は、鉛直軸心を中心に回転可能にアーム部６の先端部に取り付けられ、かつ、負圧により物品１の上面を吸着する吸着パッドを備えている。

このように構成されたピッキングロボット４では、アーム部６の関節の曲げと、台座部５の回転により、アーム部６の先端部に取り付けられた把持部７の高さ及び水平方向位置を変化させることができる。
なお、符号１４は、ピッキングロボット４及びパレットコンベア１２を制御するロボット・搬送制御装置である。

図１に示すように、この荷崩れ検出装置２０は、パレット２に積付けられた物品１の群（以下、物品群という。）を上方から撮像するカメラ２１と、物品群を三次元計測する三次元計測センサ２２と、画像処理を含む各種の情報処理を実行する情報処理装置２３とを備えている。

カメラは、物品群の全体を上方から撮像できるように、物品群のほぼ真上に配置されている。また、カメラ２１は、濃淡画像（モノクロ画像）、カラー画像のいずれを撮像するものであってもよいが、本実施形態では、濃淡画像を撮像するものを用いる。

三次元計測センサ２２は、物品群を三次元計測できるように配置されている。三次元計測センサ２２は、能動型、受動型のいずれでもよいが、本実施形態では、能動型として、線状あるいは扇状の光ビームを投光手段から物品群に投光するとともに、物品群を光ビームで走査し、半導体位置検知素子（ＰＳＤ）やカメラを受光手段に用いて光ビームにより形成される輝点または輝線の位置を監視することにより、輝点または輝線が形成される部位までの距離を求めるように構成される。
上記の受光手段は、一つ又は複数のいずれでもよいが、本実施形態では一つとする。また、受光手段が一つの場合、物品群の全体形状を捉えることができないため、物品群の上面形状を計測し、この上面形状と物品の形状データから物品群の全体形状を推定する。これの詳細については後述する。
なお、三次元計測センサ２２は受動型であってもよく、例えば、２台のカメラによりステレオ画像を撮像するステレオ画像法を用いたものであってもよい。

情報処理装置２３は、カメラ２１及び三次元計測センサ２２からの画像データ及び測定データを受け、各種の画像処理を実行する機能を有するものであり、パーソナルコンピュータ、または専用のマイクロチップを搭載した専用コンピュータで構成することができる。
また、情報処理装置２３には、出荷指令を指示するホストコンピュータ２４がＬＡＮ接続されており、ホストコンピュータ２４は物品１の寸法データからなる物品形状データが格納された物品情報データベース２６と接続されている。

情報処理装置２３の記憶部には、後述する荷崩れを検出するための処理をコンピュータに実行させるための荷崩れ検出プログラムが格納されている。
この荷崩れ検出プログラムは、情報処理装置２３がパーソナルコンピュータである場合は、ＣＤ−ＲＯＭ等の記録メディアからのインストールや、ネットワークを介したダウンロードにより、パーソナルコンピュータの記憶部に格納される。情報処理装置２３が専用コンピュータである場合は、そのマイクロチップに予め格納される。

図２は、本実施形態にかかる荷崩れ検出装置２０の機能ブロック図である。
図２に示すように、荷崩れ検出装置２０は、撮像手段３１と、三次元計測手段３２と、画像処理手段３３とを備えている。

撮像手段３１は、パレット２に積付けられた物品群を上方から撮像するものであり、図１に示したカメラ２１が、この撮像手段３１として機能する。
撮像手段は、パレット２に積付けられた個々の物品１の移載毎に、物品１が移載される前の画像（以下、「画像１」という。）と、移載された後の画像（以下、「画像２」という。）を撮像する。

三次元計測手段３２は、パレット２に積付けられた物品群を三次元計測するものであり、図１に示した三次元計測センサ２２が、この三次元計測手段３２として機能する。
三次元計測手段３２は、パレット２から所望個数の物品１を移載する移載作業の全工程におけるその作業前後の物品群を三次元計測する。

画像処理手段３３は、撮像手段３１と三次元計測手段３２からの画像データ及び計測データに基づいて画像処理を行うものであり、図１に示した情報処理装置２３が、この画像処理手段３３として機能する。
図２に示すように、画像処理手段３３は、荷崩れ判定手段３４と、距離画像生成手段３５と、作業後荷崩れ判定手段３６とを有している。
荷崩れ判定手段３４は、撮像手段３１により撮像された画像１と画像２を比較し、移載された物品１が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を判定する処理を実行するものである。本実施形態において、荷崩れ判定手段３４は、第１マッチング手段３４ａと、第２マッチング手段３４ｂとを有している。

図３は、第１マッチング手段３４ａによる物品の荷崩れ判定方法を説明する図である。
第１マッチング手段３４ａは、まず、画像１と画像２から、各々の画像に対してエッジ抽出処理を実行し、エッジ画像を生成する。図３では、この図でパレット上の右上の物品が移載されたものとし、（Ａ）が画像１に基づいて生成された移載前のエッジ画像であり、（Ｂ）が画像２に基づいて生成された移載後のエッジ画像である。
次に、第１マッチング手段３４ａは、両エッジ画像から検出した物品位置を比較し、エッジ画像のうち移載された物品が存在していた領域以外の物品の位置の変化度合を求める。そして、荷崩れが発生したと判断する基準として閾値を予め設定しておき、これに基づいて荷崩れの発生の有無を判定する。

図４は、第２マッチング手段３４ｂによる物品の荷崩れ判定方法を説明する図である。
図４では、（Ａ）が物品の移載前の画像であり、（Ｂ）が物品の移載後の画像である。
第２マッチング手段３４ｂは、画像１と画像２を濃淡画像又はカラー画像のまま比較し、濃淡画像又はカラー画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合を求める。この変化度合は、例えば、正規化相関法による類似度をもって規定することができる。そして、荷崩れが発生したと判断する基準として閾値を予め設定しておき、これに基づいて荷崩れの発生の有無を判定する。

なお、第１マッチング手段と第２マッチング手段による荷崩れ判定処理は、並行して行われるものであっても、順次行われるものであってもよい。
また、荷崩れ判定手段３４による荷崩れ判定は、上記の第１マッチング手段３４ａ及び第２マッチング手段３４ｂによるものに限られず、他の画像処理方法により、画像１と画像２に基づいて物品の移載前後の変化度合を求め、荷崩れ判定を行ってもよい。
また、いずれの画像処理方法によるかを問わないが、異なる２種以上の画像処理方法により、画像１と画像２に基づいて物品の移載前後の変化度合を求め、荷崩れ判定を行うことが好ましい。

このように、荷崩れ判定手段３４は、第１マッチング手段３４ａと第２マッチング手段３４ｂの各々において、荷崩れの発生の有無を判定し、少なくともいずれか一方において荷崩が発生したと判定した場合は、荷崩れが発生したと決定し、その結果を出力する。
出力信号は、図１のロボット・搬送制御装置１４に入力され、ピッキングロボット４の移載作業が中断される。

また、上記の荷崩れ検出装置２０は、画像処理手段３３（情報処理装置２３）により荷崩れの発生を検出したときに、荷崩れが発生したことを監視員に認知させるための情報を出力する荷崩れ情報出力手段（図示せず）をさらに備える。
荷崩れ情報出力手段は、例えば、情報処理装置２３の表示部（ディスプレイ）により表示させたり、警告ランプを点灯・点滅させたり、警告音を発したりする等、種々の形態を採用できる。
このため、荷崩れを検出した場合、監視員が、物品の積載状態の修正作業などの次善の対応作業に迅速に対応することが可能となる。

次に、図２に示した距離画像生成手段３５と作業後荷崩れ判定手段３６について説明する。
上述したように、三次元計測手段３２は、パレット２から所望個数の物品１を移載する移載作業の全工程におけるその作業前後の物品群を三次元計測する。
すなわち、三次元計測手段３２は、物品１を移載する位置までパレット２が搬送されてきた状態の物品群を三次元計測する。また、三次元計測手段３２は、所望個数の物品１の移載作業が全て終了した状態の物品群を三次元計測する。この所望個数は、ホストコンピュータ２４からの出荷指令で指示された個数であって、ピッキングロボット４により移載すべき物品１の個数である。

距離画像生成手段３５は、三次元計測手段３２からの計測データに基づいて、移載作業の全工程における作業前の距離画像（以下、「距離画像Ａ１」とする。）と、作業後の距離画像（以下、「距離画像Ａ２」とする。）を生成する。
作業後荷崩れ判定手段３６は、まず、距離画像Ａ１および距離画像Ａ２に基づいて移載作業の前後におけるパレット２上の物品群の体積を推定する。本実施形態における三次元計測手段３２は、上述したように、物品群の全体形状を直接捉えることができないため、物品群の上面形状を計測し、この上面形状と物品情報データベース２６（図１参照。）の物品形状データを用い、物品群の全体形状を推定する。すなわち、三次元計測手段３２（三次元計測センサ２２）により、物品群の上面形状、高さ及び面積を算出することができるから、これらのデータと、物品形状データとから、物品群の全体形状と体積を推定することができる。
そして、作業後荷崩れ判定手段３６は、移載作業前後における物品群の体積の差および物品形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する。

この判定は具体的には、以下のように行うことができる。
移載作業前と移載作業後の物品群の体積の差は、実際に移載された物品１の総体積と等しいはずであるから、求めた体積差を、物品形状データから算出される物品一つあたりの体積で除することにより、実際に移載された物品１の個数を推定することができる。
そして、作業後荷崩れ判定手段３６は、推定した物品１の個数と移載されるべき所望個数とを比較し、その一致度合に基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する。
すなわち、推定個数と所望個数とが不一致である場合は、移載作業終了後に残った物品群の重心バランスが崩れる等により、物品群が倒壊したなどの荷崩れが発生したと判断できる。
作業後荷崩れ判定手段３６は、荷崩れが発生したと判定した場合は、その結果を出力する。その出力信号は、図１のロボット・搬送制御装置１４に入力され、ピッキングロボット４の移載作業が中断される。

図５は、第１実施形態にかかる画像処理手段３３による荷崩れ判定処理のフローチャートを示す図である。
画像処理手段３３は、パレット搬入信号を受信すると（Ｓ１０１）、三次元計測手段に三次元計測を指令して物品群の三次元計測を行い、その計測データに基づいて、移載作業前の距離画像Ａ１を生成する（Ｓ１０２）。
次に、撮像手段に撮像を指令して物品１が移載される前の物品群の画像１を取得する（Ｓ１０３）。

次に、物品一つの自動移載作業が終了したことを知らせる信号を受信すると（Ｓ１０４）、撮像手段３１に撮像を指令して物品１が移載された後の物品群の画像２を取得する（Ｓ１０５）。
次に、荷崩れ判定手段３４により、画像１と画像２を比較し、上述した方法により、荷崩れの発生の有無を判定し（Ｓ１０６、Ｓ１０７）、荷崩れが発生したと判定した場合は、判定結果として、荷崩れを検出したことを通報する信号を出力する（Ｓ１１３）。

一方、荷崩れが発生しなかったと判定した場合は、移載されるべき所定の個数（上記の所望個数）に対応する回数の移載作業が完了したか否かを確認し（Ｓ１０８）、完了していない場合は、上記のＳ１０３〜Ｓ１０７の処理を繰り返す。
Ｓ１０８において、全ての移載作業が完了していることを確認した場合は、三次元計測手段３２に三次元計測を指令して物品群を三次元計測し、その計測データに基づいて、移載作業後の距離画像Ａ２を生成する（Ｓ１０９）。

次に、作業後荷崩れ判定手段３６により、距離画像Ａ１と距離画像Ａ２を比較し、上述した方法により荷崩の発生の有無を判定し（Ｓ１１０、Ｓ１１１）、荷崩れが発生したと判定した場合は、判定結果として、荷崩れを検出したことを通報する信号を出力する（Ｓ１１３）。
一方、荷崩れが発生しなかったと判定した場合は、移載作業の正常終了を知らせる信号を出力する（Ｓ１１２）。

以下、第１実施形態にかかる本発明の作用・効果について説明する。
本発明によれば、個々の物品の移載毎に、この物品が移載される前の画像１と、移載された後の画像２を撮像し、画像１と画像２を比較するので、物品の移載時に、移載した物品以外の物品が位置ずれした場合は、両画像のうち移載された物品が存在していた領域以外の物品領域に変化が現れる。したがって、この変化度合に基づいて荷崩れの発生の有無を判定することができる。
このため、ピッキングロボット４による物品の自動移載中に発生する荷崩れを検出することができる。
また、これにより、ピッキングロボット４による自動移載の信頼性を向上できる。
また、荷崩れの発生を監視員に通知することにより、常時監視する必要がなくなるため、監視員の負担が軽減される。

また、荷崩れ判定手段３４により、エッジ画像による幾何的なマッチング（第１マッチング）と、濃淡画像又はカラー画像をそのまま用いたパターンマッチング（第２マッチング）を行うので、一方のマッチングにより荷崩れを検知できなくても、他方のマッチングにより荷崩れを検知した場合には、荷崩れが発生したと判定される。このため、荷崩れの検出漏れを低減することができる。

また、移載作業の全工程の前後における物品群を三次元計測して距離画像Ａ１および距離画像Ａ２を生成し、この距離画像を用いて、実際に移載された物品の個数を推定し、この推定個数と、移載すべき物品の個数（所望個数）とを比較し、一致するか否かを判定するので、移載作業の全工程後に荷崩れが発生した場合でもこれを検出することができる。
また、これにより、実際には出荷されていないにもかかわらず、在庫データベース上においては出荷されたものと取り扱われる事態も防止される。このため、在庫データベース上における物品数と実際の物品数との不整合をなくすことができる。

［第２実施形態］
以下、本発明の第２実施形態について、図６〜図８を参照して説明する。
図６は、本実施形態にかかる荷崩れ検出装置２０の機能ブロック図である。
図６に示すように、本実施形態にかかる荷崩れ検出装置２０が第１実施形態におけるものと異なる点は、画像処理手段３３が荷崩れ再判定手段３７を備えている点である。画像処理手段３３の他の構成である、荷崩れ判定手段３４、距離画像生成手段３５および作業後荷崩れ判定手段３６は、以下に述べる点を除き、上述した第１実施形態と同様である。

本実施形態において、三次元計測手段３２および距離画像生成手段３５は、個々の物品１の移載毎、あるいは複数物品１の移載毎（例えば１段分の物品群毎）に、物品が移載される前の物品群を三次元計測して距離画像（以下、「距離画像Ｂ１」とする。）を生成し、荷崩れ判定手段３４が、荷崩れが発生したと判定したときに、物品１が移載された後の物品群を三次元計測して距離画像（以下、「距離画像Ｂ２」とする。）を生成する。

荷崩れ再判定手段３７は、荷崩れ判定手段３４が、荷崩れが発生したと判定したときに、距離画像Ｂ１および距離画像Ｂ２に基づいて荷崩れの発生を再度判定する。
すなわち、本実施形態において荷崩れ判定手段３４による判定は、仮判定であり、画像処理手段３３の確定的な判定は、荷崩れ再判定手段３７により行われる。

図７は、荷崩れ再判定手段３７による荷崩れ再判定方法を説明する図である。
荷崩れ再判定手段３７は、まず、距離画像Ｂ１および距離画像Ｂ２に基づいて、それぞれの距離画像に対応する状態における物品群の形状および体積を推定する。この形状および体積の推定は、上述した作業後荷崩れ判定手段３６による形状及び体積の推定と同様の方法により行う。
図７では、この図で最上段・右・奥に位置する物品が移載されたものとし、（Ａ）が距離画像Ｂ１に基づいて推定された物品群の形状であり、（Ｂ）が距離画像Ｂ２に基づいて推定された物品群の形状である。

次に、荷崩れ再判定手段３７は、移載された物品が存在していた領域以外の物品領域の変化度合を求める。
この変化度合は、例えば、正規化相関法による類似度をもって規定することができる。そして、荷崩れが発生したと判断する基準として閾値を予め設定しておき、これに基づいて荷崩れの発生の有無を判定する。

そして、荷崩れ再判定手段３７は、再度の判定において荷崩れが発生しなかったと判定した場合は、荷崩れ判定手段３４による仮の判定を否定して荷崩れの発生は無かったものとする。
一方、再度の判定において荷崩れが発生したと判定した場合は、荷崩れ判定手段３４による仮判定を肯定して物品１の移載時に荷崩れが発生したと決定し、その結果を出力する。
その出力信号は、図１のロボット・搬送制御装置１４に入力され、ピッキングロボット４の移載作業が中断される。

図８は、第２実施形態にかかる画像処理手段３３による荷崩れ判定処理のフローチャートを示す図である。
図８に示すフローチャートが第１実施形態にかかる図５に示すフローチャートと異なる点は、Ｓ１１４〜Ｓ１１７の処理が加わった点である。
すなわち、三次元計測手段３２および距離画像生成手段３５により、個々の物品１の移載毎、あるいは複数物品１の移載毎（例えば１段分の物品群毎）に、物品が移載される前の物品群を三次元計測して距離画像Ｂ１が生成される（Ｓ１１４）。
この距離画像Ｂ１の生成は、物品１の移載作業の全工程における最初の移載である場合は、距離画像Ａ１の生成で代用してもよい。

また、荷崩れ判定手段３４による仮の判定の結果（Ｓ１０６、Ｓ１０７）、荷崩れが発生したと判定した場合は、画像処理手段３３は、三次元計測手段３２に三次元計測を指令して物品群の三次元計測を行い、距離画像生成手段３５はその計測データに基づいて距離画像Ｂ２を生成する（Ｓ１１５）。
次に、荷崩れ再判定手段３７により、距離画像Ｂ１と距離画像Ｂ２を比較し、上述した方法により荷崩れの発生の有無を判定し（Ｓ１１６、Ｓ１１７）、荷崩れが発生したと判定した場合は、荷崩れ判定手段３４による仮判定を肯定して物品１の移載時に荷崩れが発生したと決定し、判定結果として、荷崩れを検出したことを通報する信号を出力する（Ｓ１１３）。

一方、Ｓ１１７において荷崩れが発生しなかったと判定した場合は、荷崩れ判定手段３４による仮判定を否定して荷崩れの発生は無かったものとし、移載されるべき所定の個数（上記の所望個数）に対応する回数の移載作業が完了したか否かを確認し（Ｓ１０８）、完了していない場合は、上記のＳ１０３〜Ｓ１０７、およびＳ１１４〜Ｓ１１７の処理を繰り返す。
その他の処理は、第１実施形態と同様である。

以下、第２実施形態にかかる本発明の作用・効果について説明する。
本発明によれば、荷崩れ判定手段３４による１度目の荷崩れ判定（仮判定）により荷崩れが発生したと判定された場合は三次元計測により荷崩れの有無を再度判定するので、１度目の荷崩れの判定に誤りがあった場合でも、計測精度の高い三次元計測を用いた判定により誤判定を否定し、正確な荷崩れ判定を行うことができる。
このため、荷崩れの検出精度を大幅に向上させることができ、誤検出による移載作業の中断などの弊害を防止することができる。

以上、各実施形態における作用・効果の説明から明らかなように、本発明によれば、ピッキングロボットによる物品の自動移載中に発生する荷崩れを検出することができ、さらに、移載作業終了後に発生する荷崩れも検出することができる、という優れた効果が得られる。

なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。

本発明の第１実施形態にかかる物品の荷崩れ検出装置を適用したピッキングシステムの構成を示す図である。 本発明の第１実施形態にかかる物品の荷崩れ検出装置の機能ブロック図である。 第１マッチング手段による物品の荷崩れ判定方法を説明する図である。 第２マッチング手段による物品の荷崩れ判定方法を説明する図である。 本発明の第１実施形態における画像処理手段による荷崩れ判定処理のフローチャートを示す図である。 本発明の第２実施形態にかかる物品の荷崩れ検出装置の機能ブロック図である。 荷崩れ再判定手段による物品の荷崩れ再判定方法を説明する図である。 本発明の第２実施形態における画像処理手段による荷崩れ判定処理のフローチャートを示す図である。

符号の説明

１ 物品
２ パレット
４ ピッキングロボット
５ 台座部
６ アーム部
７ 把持部
１０ ピッキングシステム
１２ パレットコンベア
１４ ロボット・搬送制御装置
２０ 荷崩れ検出装置
２１ カメラ
２２ 三次元計測センサ
２３ 情報処理装置
２４ ホストコンピュータ
２６ 物品情報データベース
３１ 撮像手段
３２ 三次元計測手段
３３ 画像処理手段
３４ 荷崩れ判定手段
３４ａ 第１マッチング手段
３４ｂ 第２マッチング手段
３５ 距離画像生成手段
３６ 作業後荷崩れ判定手段
３７ 荷崩れ再判定手段

Claims (10)

1. 複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する方法であって、
   （ａ）個々の物品の移載毎に、その前後における前記積付けエリアに積付けられた物品群を上方から撮像して、当該物品の移載前の第１の画像と、移載後の第２の画像を取得し、
   （ｂ）前記第１の画像と前記第２の画像を比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を判定する、
   ことを特徴とする物品の荷崩れ検出方法。
2. 前記（ｂ）の段階において、
   前記第１の画像と前記第２の画像の各々のエッジ画像を生成して両画像を比較し、該エッジ画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第１マッチングと、
   前記第１の画像と前記第２の画像を濃淡画像又はカラー画像のまま比較し、該濃淡画像又はカラー画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第２マッチングと、を行う、
   ことを特徴とする請求項１に記載の物品の荷崩れ検出方法。
3. 前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前後の前記物品群を三次元計測し、作業前の第１の距離画像と、作業後の第２の距離画像を生成し、
   前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、
   前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する、
   ことを特徴とする請求項１又は２に記載の物品の荷崩れ検出方法。
4. 個々の物品の移載毎、あるいは複数物品の移載毎に、該物品が移載される前の物品群を三次元計測して第３の距離画像を生成し、
   前記（ｂ）の段階において荷崩れが発生したと判定したときに、前記物品が移載された後の物品群を三次元計測して第４の距離画像を生成し、
   前記第３の距離画像と前記第４の距離画像を比較することにより、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を前記（ｂ）の段階における判定とは別に再度判定し、
   前記再度の判定において荷崩れが発生しなかったと判定した場合は、前記（ｂ）の段階における判定を否定して荷崩れの発生は無かったものとし、
   前記再度の判定において荷崩れが発生したと判定した場合は、前記（ｂ）の段階における判定を肯定して物品の移載時に荷崩れが発生したと決定する、
   ことを特徴とする請求項３に記載の物品の荷崩れ検出方法。
5. 複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する方法であって、
   前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前後の前記物品群を三次元計測し、作業前の第１の距離画像と、作業後の第２の距離画像を生成し、
   前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、
   前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する、
   ことを特徴とする物品の荷崩れ検出方法。
6. 複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する装置であって、
   前記積付けエリアに積付けられた物品群を上方から撮像する撮像手段と、
   前記撮像手段により撮像した画像データに基づいて画像処理を行う画像処理手段と、を備え、
   前記撮像手段は、個々の物品の移載毎に、該物品が移載される前の第１の画像と、移載された後の第２の画像を撮像し、
   前記画像処理手段は、前記第１の画像と前記第２の画像を比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を判定する荷崩れ判定手段を備える、
   ことを特徴とする物品の荷崩れ検出装置。
7. 前記荷崩れ判定手段は、
   前記第１の画像と前記第２の画像の各々のエッジ画像を生成して両画像を比較し、該エッジ画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第１マッチング手段と、
   前記第１の画像と前記第２の画像を濃淡画像又はカラー画像のまま比較し、該濃淡画像又はカラー画像のうち移載された物品が存在していた領域以外の物品領域に対応する部分の変化度合に基づいて荷崩れの発生の有無を判定する第２マッチング手段と、を備える、
   ことを特徴とする請求項６に記載の物品の荷崩れ検出装置。
8. 前記積付けエリアに積付けられた物品群を三次元計測する三次元計測手段をさらに備え、
   前記画像処理手段は、該三次元計測手段からの計測データに基づいて距離画像を生成する距離画像生成手段をさらに備え、
   前記三次元計測手段は、前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前後の物品群を三次元計測し、
   前記距離画像生成手段は、三次元計測データに基づいて前記作業前の第１の距離画像と作業後の第２の距離画像を生成し、
   前記画像処理手段は、前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する作業後荷崩れ判定手段を備える、
   ことを特徴とする請求項６又は７に記載の物品の荷崩れ検出装置。
9. 前記三次元計測手段及び前記距離画像生成手段は、個々の物品の移載毎、あるいは複数物品の移載毎に、該物品が移載される前の物品群を三次元計測して第３の距離画像を生成し、前記荷崩れ判定手段が、荷崩れが発生したと判定したときに、前記物品が移載された後の物品群を三次元計測して第４の距離画像を生成し、
   前記画像処理手段は、前記荷崩れ判定手段が、荷崩れが発生したと判定したときに、前記第３の距離画像および第４の距離画像に基づいて荷崩れの発生を再度判定する荷崩れ再判定手段をさらに備え、
   該荷崩れ再判定手段は、前記第３の距離画像と第４の距離画像とを比較し、移載された物品が存在していた領域以外の物品領域の変化度合に基づいて荷崩れの発生の有無を再度判定し、該再度の判定において荷崩れが発生しなかったと判定した場合は、前記荷崩れ判定手段による判定を否定して荷崩れの発生は無かったものとし、前記再度の判定において荷崩れが発生したと判定した場合は、前記荷崩れ判定手段による判定を肯定して物品の移載時に荷崩れが発生したと決定する、
   ことを特徴とする請求項８に記載の物品の荷崩れ検出装置。
10. 複数の物品が積付けられた積付けエリアから該物品を前記積付けエリアとは別の位置に移載する際の前記物品の荷崩れを検出する装置であって、
    前記積付けエリアに積付けられた物品群を三次元計測する三次元計測手段と、
    該三次元計測手段からの計測データに基づいて画像処理を行う画像処理手段と、を備え、
    前記三次元計測手段は、前記積付けエリアから所望個数の前記物品を移載する移載作業の全工程におけるその作業前の物品群を三次元計測し、
    前記画像処理手段は、
    前記三次元計測手段からの計測データに基づいて前記作業前の第１の距離画像と作業後の第２の距離画像を生成する距離画像生成手段と、
    前記第１の距離画像および前記第２の距離画像に基づいて前記移載作業の前後における前記荷積みエリア上の物品群の体積を推定し、前記移載作業前後における物品群の体積の差および物品の形状データに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定する作業後荷崩れ判定手段と、を有する、
    ことを特徴とする物品の荷崩れ検出装置。

Images