JP2022124932A - 検出方法、検出装置、検出システム及びコンピュータプログラム - Google Patents

Abstract

【課題】仕分け機における物体検知をより高速に且つ精度よく検出する検出方法、検出装置、検出システム及びコンピュータプログラムを提供する。【解決手段】検出方法は、搬送される物品が載置され、移動する箇所を撮像した撮像画像を取得し、取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定し、前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得し、前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断し、範囲外であると判断した場合、前記箇所に物品が存在することを検出する。【選択図】図２

Description

本発明は、仕分け機における物体検知をより高速に且つ精度よく検出する検出方法、検出装置、検出システム及びコンピュータプログラムに関する。

物品を搬送するために、搬送先別に物品を仕分けする仕分け機（ソータ）が、多数の物品の発送を担う物流センターで使用されている。物品識別コードが読み取られることにより、仕分け機は、投入された物品を識別し、識別した物品を梱包するコンテナ、又は箱が用意されるシュータ部へ吐き出す。

シュータ部への物品の吐き出しは、シュータ部の仕分け先の間口に対応する箇所で、物品が載せられたトレイが傾斜機構によって傾斜して物品が滑り出ることによって実現されるか、物品がシューによって押し出されることによって実現される。

シュータ部への吐き出しが不十分で、仕分け機の搬送部に物品が残存するケースがある。物品が軽量で滑り出ない、回転して押し出されないといった事象が起こり得る。そこで仕分け機には、吐き出されていない残品を検出する検出装置が設けられている。

特許文献１には、カメラを含み、反射光によって搬送物が搬送ベルトに搭載されているかを判定する判定装置を用いることが開示されている。特許文献１には、判定装置が、搬送ベルトの反射光と、残品からの反射光とを区別できずに誤判定する可能性があることが記載されている。

特開平１１－３１４７２０号公報

画像処理によって物品が存在するか否かを検出する装置は、特許文献１で提示されているように、仕分け機の誤動作を、低い確率であっても起こす可能性がある。物流センターで使用される仕分け機では、搬送スピードが速く、物品も軽量、コンパクト、透明パッケージ等と多岐に亘る。このため、画像処理を用いず、発光素子からの反射光の変位、又は発光素子から投じられた光が到達するか否かを受光素子で測定するセンサを用いた検出装置も使用されている。しかしながら、これらのセンサは、発光素子からビーム状に投じた光の反射又は透過を、点で測定するため、センサを複数用いたとしても検出不可領域が発生する。また、反射光の変位を測定するセンサは、雑誌やシャツのような薄物の物品の有無を検出できない場合がある。

本発明は、仕分け機における物体検知をより高速に且つ精度よく検出する検出方法、検出装置、検出システム及びコンピュータプログラムを提供することを目的とする。

本開示の一実施形態の検出方法は、搬送される物品が載置され、移動する箇所を撮像した撮像画像を取得し、取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定し、前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得し、前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断し、範囲外であると判断した場合、前記箇所に物品が存在することを検出する処理を含む。

本開示の一実施形態の検出装置は、搬送される物品が移動する箇所を撮像した撮像画像を取得する画像取得部、取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定する範囲決定部、前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得するデータ取得部、前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断する判断部、及び、範囲外であると判断した場合、前記箇所に物品が存在することを検出する検出部を備える。

本開示の一実施形態の検出システムは、投入される物品を搬送しながら搬送先別に仕分ける仕分け機の、搬送経路の箇所に設置され、前記箇所を、異なる角度から異なる色の光を照射する照明装置と、前記照明装置によって照射された箇所を撮像する撮像装置と、前記撮像装置から撮像される画像を取得して前記箇所に物品が存在するか否かを検出する検出装置とを含み、前記検出装置は、取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定し、前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得し、前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断し、範囲外であると判断した場合、前記箇所に物品が存在することを検出する。

本開示の一実施形態のコンピュータプログラムは、投入される物品を搬送しながら搬送先別に仕分ける仕分け機と接続されるコンピュータに、前記仕分け機における物品の搬送経路の箇所を撮像した撮像画像を取得し、取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定し、前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得し、前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断し、範囲外であると判断した場合、前記箇所に物品が存在することを検出する処理を実行させる。

本開示の検出方法、検出装置、検出システム及びコンピュータプログラムでは、仕分け機にて搬送経路を移動するトレイ、スラット等の物品が載置される箇所を写すように設置された撮像装置から得られる撮像画像に対して検出が実行される。撮像画像内の基準点として検出対象範囲が決定され、検出対象範囲内の画素の色相、彩度又は明度のうち、いずれかにおいて、予め記憶してあるそれぞれに対する値の範囲から外れた値がある場合、物品が写っていると検出される。

本開示の一実施形態の検出方法では、前記撮像画像は、前記箇所に対し、異なる角度から異なる色の光を照射して撮像される画像である。

本開示の検出方法では、前記物品が載置される箇所に対して異なる角度から異なる色の光が照射され、異なる色の影が投影される。異なる色の影が写っている範囲は、色相の差異によって検出が可能になる。透明な物品であっても異なる角度からの異なる光の影が一部でも生じた場合に、これを検出することができる。

本開示の一実施形態の検出方法は、記撮像画像内の、特定の色又は特定の形状に投じられた光が写る範囲における特定の一点を前記基準点として決定する。

本開示の検出方法では、撮像画像には、前記箇所の一部に投じられる特定の色又は特定の形状の光が写る。この特定の色又は特定の形状の光が写っている範囲における特定の一点が基準点とされ、搬送スピード、撮像スピード等の影響を低減して検出対象範囲を決定することが可能となる。

本開示の一実施形態の検出方法では、前記特定の光の色は、前記異なる色の内の少なくとも１つに対して補色である。

本開示の検出方法では、異なる角度から照射される光の内の１つと、特定の色又は特定の形状の光とを補色の関係とすることにより、特定の色又は特定の形状の光が写る範囲が、撮像画像から抽出されやすい。

本開示の一実施形態の検出方法は、物品が存在しない前記箇所に対し、異なる角度からの異なる色の光を照射して撮像された画像における色相、彩度、及び明度の範囲を予め記憶しておく処理を含む。

本開示の検出方法では、物品が存在しない時点で撮像されたトレイ、スラット等の箇所の撮像画像における異なる角度から異なる色の光が照射された状態における色相、彩度及び明度の範囲のデータが予め記憶されてあり、このデータとの比較によって検出が実行される。仕分け機が使用される前の状態のみならず、使用開始後の経年劣化で色味が変化する可能性がある空のトレイ、スラットとの比較が可能である。

本開示の一実施形態の検出方法では、前記撮像画像は、仕分け機にて搬送される物品が載置されるトレイを撮像した画像である。

本開示の検出方法では、物品のトレイを写して検出が実行される。トレイの色の色相、彩度、明度との比較の結果、いずれか１つでも相違があった場合に物品を検出したとすることで多様な素材、色の外装の物品の検出が可能である。

本開示によれば、搬送される物の有無を画像によって面で検出でき、透明パッケージ、薄物などの多様な物品の検出も精度よく実施できる。

本実施形態の検出方法の概要図である。 トレイに対するカメラによる撮影方法の概要図である。 検出装置の構成を示すブロック図である。 検出装置の処理部による検出処理手順の一例を示すフローチャートである。 トレイの撮像画像の一例を示す図である。 検出対象範囲及びマスク対象範囲の一例を示す図である。 物品が残っているトレイの撮像画像の一例を示す線図である。 抽出した色相の分布図である。 抽出した彩度の分布図である。 抽出した明度の分布図である。 物品が残っているトレイの撮像画像の他の一例を示す線図である。 抽出した色相の分布図である。 抽出した彩度の分布図である。 抽出した明度の分布図である。 変形例１における検出装置の処理手順の一例を示すフローチャートである。 変形例２における検出装置の処理手順の一例を示すフローチャートである。

本開示をその実施の形態を示す図面を参照して具体的に説明する。

図１は、本実施形態の検出方法の概要図である。図１には、検出方法を用いる仕分け機１００と、仕分け機１００で搬送される物品を写すように取り付けられたカメラ１０１と、カメラ１０１及び仕分け機１００の制御部１０に接続される検出装置２とを含む。カメラ１０１は、仕分け機１００にて仕分けされるシュート部１３よりも上流及び／又は下流で搬送される物品を写すように取り付けられる。検出装置２は、カメラ１０１で撮像された画像データに基づいて、搬送される物品の有無の検出結果を仕分け機１００へ通知する。

仕分け機１００は、投入部１１、搬送部１２、及びシュート部１３に分けられる。投入部１１では、オペレータ（又はロボット）が、物品に付されている識別コードをリーダに読ませて空いているトレイ１２１に載せる作業を行なう。

搬送部１２は、図１に示すように例えば無端環状の軌道で設けられたレール１２２に沿って連結して走行する複数のトレイ１２１を含む。搬送部１２には、図１に示すように、複数のトレイ１２１が、水平面に平行に循環するように設けられている。勿論、搬送部１２の構成はこれに限られず、複数のトレイ１２１が直線状に走行する構成であってもよいし、複数のトレイ１２１が螺旋状に循環するように走行する構成であってもよい。トレイ１２１の走行スピードは例えば１２０ｍ／分である。走行スピードは、仕分け機１００の設定によって定められ、後述する制御部１０によって制御される。

複数のトレイ１２１には、各々識別データが付されている。搬送部１２には、複数のトレイ１２１の内、少なくとも特定のトレイ１２１が、搬送部１２内のいずれの箇所に存在するかを検出する検出機構が備えられている。搬送部１２は、トレイ１２１の連結順序によって複数のトレイ夫々についてトレイの搬送部１２内における位置を検出することが可能である。検出機構は例えば、トレイ１２１を走行させる駆動部のモータに取り付けられたエンコーダと、エンコーダから出力されるパルス信号を受信して位置を検出する検出部とを含む機構である。検出機構は他の例では、トレイ１２１に取り付けられた識別タグを特定の場所で読み取るリーダを用いて位置を検出してもよい。

トレイ１２１を傾斜させる傾斜機構は例えば、レール１２２のトレイ１２１を支持する支持部が屈曲可能な構成で実現される。傾斜機構は、トレイ１２１の下面の一部を突き上げて傾斜させる機構であってもよい。

シュート部１３は、搬送部１２のトレイ１２１のレール１２２の一部に平行して設けられており、トレイ１２１の傾斜によってトレイから放出される物品を受け取る。シュート部１３には、図１に示すように搬送に用いられる小型コンテナ又は段ボール箱である物流資材Ｐが載置されている。シュート部１３は、区分けされた作業台であって、梱包作業者が作業台に放出された物品を物流資材Ｐに梱包してもよい。

仕分け機１００の投入部１１、搬送部１２及びシュート部１３は、制御部１０と信号線で接続され、制御部１０によって制御される。制御部１０は、仕分け作業者が投入部１１でリーダ１１２に物品の識別コードを読み取らせたタイミングで、識別コードが読み取られたこと及びその識別コードを検知する。制御部１０は、検知した識別コードについて、投入部１１で物品が投入されたトレイ１２１を、例えば重量センサを用いたトレイ１２１が空であるか否かを検出する装置で特定する。重量センサではなく、投入部１１の直下流に設けたカメラ１０１で撮影された画像から検出装置２で検出してもよい。これにより制御部１０は、いずれのトレイ１２１にいずれの識別コードの物品が載置されているかを特定することができる。制御部１０は、予め設定されている仕分けスケジュール、又は、外部装置からの制御に応じて、シュート部１３で傾斜させるトレイ１２１を決定し、決定したトレイ１２１の傾斜を搬送部１２へ指示する。

本実施形態の検出装置２は、シュート部１３の下流を走行するトレイ１２１を写し、残品を検出する。制御部１０からの制御によって傾斜させ、物品を吐き出したはずのトレイ１２１に、物品が残っている場合、その物品のシュート部１３への吐き出しが達成されていない。検出装置２は、残品の存在を検出した場合に、制御部１０へ通知する。制御部１０は、検出装置２からの検出通知に基づいて、残品がある場合、再度吐き出しを試行させるように搬送部１２へ指示するか、他のエラー用のバッファ部への吐き出しを試みてもよい。

検出装置２は、上述したように、投入部１１直下流で、トレイ１２１に物品が載置されたか否かを検出するためのセンサとして利用されてもよい。

本実施形態の仕分け機１００では、上述したように、トレイ１２１が分速１２０ｍで走行する。分速１２０ｍ（＝２０００ｍｍ／秒＝２ｍｍ／ミリ秒）で動くトレイ１２１の検出を画像処理で実行するので、検出装置２の処理は、できる限り高速であること、あるいは高速とするために簡易であることが求められる。

図２は、トレイ１２１に対するカメラ１０１による撮影方法の概要図である。物品の有無の検出対象であるトレイ１２１は、略矩形の底板の両短辺に沿って設けられた側壁を有している。両側壁は一長辺に近づくほどに高さが低く形成されている。底板に設けられたネジ穴で、レール１２２及び傾斜機構に接続され、開放された一長辺側から物品が滑り落ちることができるようにしてある。

カメラ１０１は、トレイ１２１の底板に略直交する向きに上方から見下ろすように、トレイ１２１全体が撮像範囲に含むような距離を取るようにして固定されている。本実施形態においてカメラ１０１は、トレイ１２１の走行方向が、撮像される画像における横方向（Horizontal）に対応し、トレイ１２１の走行方向に直交する方向が、撮像される画像における縦方向（Vertical）に対応するように設置される。走行方向が縦方向に対応するように設置されてもよい。カメラ１０１は、その撮影方向（奥行）が底板に対して直交する構成には限らず、少し傾けて設けられてもよい。カメラ１０１の撮像範囲にトレイ１２１の底板全体を含み、物品によって投影される影を捉えるためにできる限り、直交する向きであることが好ましい。

カメラ１０１に対して照明装置１０３が設置されている。照明装置１０３は、第１照明装置３１、第２照明装置３２、第３照明装置３３を含む。

第１照明装置３１は、トレイ１２１の走行方向に幅を持つ形状の光を投じる照明装置である。第１照明装置３１は例えば、トレイ１２１の走行方向に長さを持つ細長い矩形状の光を投じる所謂ラインレーザーである。その他、走行方向に長さを持つ丸、矩形等の特定の形状に光を投じる照明装置であってもよい。第１照明装置３１は、画像におけるトレイ１２１の境界部分を特定するために用いられる。第１照明装置３１は、投じた光の内、トレイ１２１の縁で反射した光と、トレイ１２１とトレイ１２１との隙間で反射しないか、若しくはトレイ１２１の下方に設けられた受け板で反射した光との間の不連続箇所を検出装置２で検出させる。

第２照明装置３２は、トレイ１２１に対し、斜め上方から光を照射する照明装置である。本実施形態の第２照明装置３２は、カメラ１０１の側方に設置され、図２に示すように、トレイ１２１の底板に対して約４５度で二方向から光を照射する。第２照明装置３２から照射される光は、トレイ１２１に載置される物品の影を、第３照明装置３３からの光による影と異なる向きに投影するように設置される。図２に示すように、第２照明装置３２は、トレイ１２１の走行方向に沿う鉛直面上に設置され、該鉛直面上に走行方向に対して４５度及び１３５度の向きを法線とする放射面を有する。

第３照明装置３３は、トレイ１２１の板部に略平行な光を照射する照明装置である。本実施形態の第３照明装置３３は、トレイ１２１の走行方向に平行、且つ底板に直交する向きで設置されており、照明面に拡散板を設置することで、ばらつきの少ない面状に光を投じ、トレイ１２１に載置された物品の影を大きく投影する。図２に示すように、第３照明装置３３は複数台、トレイ１２１の走行方向の両側に設けられる。

第１照明装置３１、第２照明装置３２、及び第３照明装置３３の設置角度及び位置は一例であって上述及び図２に示す形態に限られないことは勿論である。第１照明装置３１については上述したように、撮像画像から第１照明装置３１から投じられた光が写る範囲及び境界を特定できるように設置される。第２照明装置３２及び第３照明装置３３は、互いに異なる角度を持って設置され、一方の照明装置は、光がトレイ１２１の面上で略均一に拡散するように、他方の照明装置は、その光によって投影される影が明確になるように設置されるとよい。

第１照明装置３１、第２照明装置３２、及び第３照明装置３３からの光の色は一例では夫々、緑、赤色、青（詳細にはシアン）とする。本実施の形態では、トレイ１２１に光を照射する第２照明装置３２及び第３照明装置３３からの光の色を、トレイ１２１の色味と補色の関係に近く、かつ互いに区別し易い色を選定することが好ましい。第１照明装置３１からの光の色は、上述したように不連続性を検出するために第２照明装置３２又は第３照明装置３３からの光の色に対して分別できる色、できれば補色であることが好ましい。また、第１照明装置３１の光は、第２照明装置３２及び第３照明装置３３からの照射光と区別するため、レーザー光のように強く集光されていることが必要である。本実施の形態では、トレイ１２１の色が黄味を含むとして、第２照明装置３２及び第３照明装置３３からの光の色をそれぞれ、赤及び青に選定し、第１照明装置３１からの光の色を緑に選定した。光の配色は、これらの色に限らないが、試行錯誤の結果、この配色で後述の処理による検出精度が良好であった。

第１照明装置３１、第２照明装置３２、及び第３照明装置３３からの光を常時照射した状態で、カメラ１０１はトレイ１２１が走行する部分を撮像範囲として画像信号を、検出装置２へモニタ出力する。

カメラ１０１の撮像範囲にトレイ１２１が入ることを検知するためのセンサ１０４が用いられてもよい。センサ１０４は例えば、出射光の反射変位を測定する測距センサを用いる。センサ１０４は、測定した距離に応じた信号を検出装置２へ出力し続ける。

検出装置２は、センサ１０４からの信号レベルの変化を契機に、又は、定期的に（所定のキャプチャレートで）、カメラ１０１からの画像をキャプチャ（取得）する。

図２に示したような撮影方法で撮影した画像からトレイ１２１に物品が存在するか否かを検出する検出装置２の構成及び処理について詳細を説明する。

図３は、検出装置２の構成を示すブロック図である。検出装置２は、処理部２０及び記憶部２１を備える。処理部２０は、ＣＰＵ（Central Processing Unit ）である。処理部２０はマイクロコントローラであってもよい。処理部２０は、記憶部２１に記憶されている検出プログラム２Ｐを読み出して実行することにより、画像処理によって物品の有無を検出する。

処理部２０は、汎用入出力のピンを有し、仕分け機１００のＰＬＣ（Programmable Logic Controller ）を用いた制御部１０との間で信号を入出力する。処理部２０は、ＣＰＵの演算に用いる一時メモリを内蔵する。処理部２０は、仕分け機１００の制御部１０から、特定のトレイ１２１の位置を示すデータを所得できる。例えば処理部２０は、例えばトレイ１２１を走行させるモータのエンコーダ１２４からの出力を入力し、エンコーダ１２４からのパルスカウントによってトレイ１２１の位置を取得できる。処理部２０は、カメラ１０１からの画像信号を入力し、センサ１０４からの出力信号を入力する。

記憶部２１は、ＳＳＤ（Solid State Drive ）又はハードディスク等の不揮発性の記憶媒体である。処理速度を向上させるために読み出し速度が早いＳＳＤを採用することが好ましい。記憶部２１には、検出プログラム２Ｐが記憶されている。記憶部２１に記憶されている検出プログラム２Ｐは、記憶媒体９に記憶されている検出プログラム９Ｐを処理部２０が読み出して複製したものであってもよい。

記憶部２１は、検出前に予め記憶しておいたトレイ１２１のカラー情報を記憶する。カラー情報は、設定時に１度記憶されてもよいし、トレイ１２１の経時劣化に合わせるようにして定期的にカメラ１０１からの画像信号を用いて記憶されてもよい。

図４は、検出装置２の処理部２０による検出処理手順の一例を示すフローチャートである。処理部２０は、上述したように、１つのカメラ１０１について、対応するセンサ１０４からの入力信号の信号レベルの立ち上がりを契機に、又は、所定のキャプチャレート（例えば３０回／秒）で以下の処理を実行する。複数のカメラ１０１が接続されている場合、複数のカメラ１０１毎に処理を実行する。

処理部２０は、カメラ１０１からの画像信号から画像を取得する（ステップＳ１）。

処理部２０は、取得した画像内の、第１照明装置３１からの投光形状の不連続箇所から基準点を決定する（ステップＳ２）。

処理部２０は、ステップＳ２で決定した基準点を基準に、取得した画像内の検出対象範囲を決定する（ステップＳ３）。処理部２０は、ステップＳ３で決定した検出対象範囲におけるマスク対象範囲を決定する（ステップＳ４）。

記憶部２１は、ステップＳ２で決定される基準点からの検出対象範囲の画像内における相対位置の座標データを予め記憶している。記憶部２１は、ステップＳ４で用いるマスク対象範囲の座標データを、検出対象範囲からの相対位置、又は、基準点からの相対位置で記憶する。座標データは、点検時に書き換えられてもよい。マスク対象範囲は、トレイ１２１に存在する凹部、又はネジ等に対応する箇所である。凹部又はネジで投影される影による影響を排除するために設定されている。マスク対象が不要なトレイ１２１に対する検出処理では、ステップＳ４の処理は省略可能である。

処理部２０は、ステップＳ４でマスク対象範囲として決定された範囲以外の検出対象範囲の各画素における色相、彩度、及び明度のデータ（数値）を夫々、取得する（ステップＳ５）。

ステップＳ５において、検出対象範囲に含まれる全画素の色相、彩度、及び明度のデータを取得すると時間を要するので、処理部２０は、画像の縮小処理を施し、取得する値の数を減らしてから取得してもよい。

処理部２０は、ステップＳ５で取得した色相、彩度、又は明度の値群の中に、予め記憶部２１に記憶してあるカラー情報に含まれる色相、彩度、及び明度のいずれかの範囲から外れる値があるか否かを判断する（ステップＳ６）。

ステップＳ６において処理部２０は、色相のみの数値が、予め記憶してあるカラー情報の色相の範囲外である場合に、外れる値があると判断する。処理部２０は、彩度のみの数値が、予め記憶してあるカラー情報の彩度の範囲外である場合に、外れる値があると判断する。同様にして処理部２０は、明度のみの数値が、予め記憶してあるカラー情報の明度の範囲外である場合に、外れる値があると判断する。即ち、ステップＳ６において処理部２０は、検出対象範囲内の、画素の位置によらず、色相、彩度又は明度に対してＯＲで、カラー情報の範囲外の値があるか否かを判断する。

ステップＳ６において処理部２０は、検出対象範囲内のマスク対象範囲を除いた領域の画素のうち、カラー情報の範囲外の値を持つ画像が１つでも存在すれば、外れる値があると判断する。しかしながら、処理部２０は、１つではなく５画素以上、３０画素以上等、所定の複数の画素数以上で範囲外の値が持たれているかを判断してもよい。

ステップＳ６で外れる値があると判断された場合（Ｓ６：ＹＥＳ）、処理部２０は、ステップＳ１で取得した画像に対応するトレイ１２１に物品が存在することを検出する（ステップＳ７）。処理部２０は、ステップＳ１で画像を取得したタイミングでカメラ１０１の撮像範囲に入ったトレイ１２１の識別データを特定してもよい。処理部２０は、検出結果を制御部１０へ通知し（ステップＳ８）、１回の検出処理を終了する。

ステップＳ８において処理部２０は、物品の有無を信号レベルで識別可能な信号を制御部１０へ出力し続けておき、制御部１０が信号レベルでこれを検知する。処理部２０は、ステップＳ８において、特定したトレイ１２１の識別データと共に物品が存在することを示すメッセージを制御部１０へ送信してもよい。

ステップＳ６で外れる値がないと判断された場合（Ｓ６：ＮＯ）、処理部２０は、ステップＳ１で取得した画像に対応するトレイ１２１に物品が存在しないことを検出し（ステップＳ９）、処理をステップＳ８へ進める。

図４のフローチャートに示した処理手順で処理部２０は、ステップＳ５で検出範囲内の画素のデータをほぼ全て取得してから、カラー情報の色相、彩度、及び明度のデータと比較するとして説明した。しかしながらこれに限らず、処理部２０は、検出範囲内の画素のデータを検出範囲の特定の箇所の画素から順に画素単位で取得し、取得する都度に、データと予め記憶してあるカラー情報の色相、彩度、及び明度の範囲と比較してもよい。特定の箇所の画素から開始して１つ又は所定の数以上の画素で、カラー情報の色相、彩度、及び明度の範囲外のデータであると判断された時点で、検出範囲内の画素全てを取得せずとも、物品が存在すると検出（Ｓ７）してもよい。

図４のフローチャートに示した処理手順を、具体例を挙げて説明する。図５は、トレイ１２１の撮像画像の一例を示す図である。図５では撮像画像を線図で示している。図５に示す撮像画像の例は、矩形のトレイ１２１を上方から写した画像であるが、トレイ１２１は平行四辺形状で写っている。図５では、図２に示したようにトレイ１２１に設けられたネジ穴の凹部に相当する明度が低い領域が４か所写っている。図５の例において撮像画像は、トレイ１２１の走行方向を横方向として撮像されており、トレイ１２１の走行スピード（搬送スピード）と、カメラ１０１からの信号のキャプチャレートとの関係によって、図５に示したようにトレイ１２１が平行四辺形状に写る場合がある。検出装置２の処理部２０は、トレイ１２１が走行中に、撮像範囲内を横方向の１ラインごとに走査するためである。カメラ１０１が出力する画像信号からのキャプチャスピード、又は、カメラ１０１における撮像スピードが、トレイ１２１の走行スピードよりも速い場合、トレイ１２１は矩形状に撮像される。また、トレイ１２１が写る形状は、図５の撮像画像の形態には限られない。トレイ１２１の走行方向が縦方向となるように撮像する場合、キャプチャレートに応じてトレイ１２１の写る形状が歪む可能性がある。

図５の例において撮像画像は、第１照明装置３１がカメラ１０１の撮像範囲の左上の境界部分に投光するように設置されている条件下で撮像されている。図５中の符号Ａによって、第１照明装置３１から投光された光の反射を撮影した範囲が示されている。処理部２０は、撮像画像に対し、第１照明装置３１の光の色に対応する色相、彩度及び明度のカラー情報に基づいて、画像から範囲Ａを決定する。範囲Ａの中の、図５中の符号Ｂで示す左端が、反射の不連続箇所である。処理部２０は、範囲Ａにおけるトレイ１２１の走行先に該当する一端部を、符号Ｂで示す不連続箇所として特定し、その不連続箇所の画像内の座標を基準点として決定する（ステップＳ２）。

図６は、検出対象範囲及びマスク対象範囲の一例を示す図である。図６は、図５の例と同一の例の線図で示した撮像画像に対し、基準点Ｂを基準にして決定された検出対象範囲及びマスク対象範囲を、太実線及びハッチング範囲で図示したものである。図６の例では、符号Ｃを付した実線範囲が検出対象範囲である。検出対象範囲Ｃは、図５を参照して説明したように、トレイ１２１が走行中に横方向に１ライン毎に走査するため、平行四辺形状に設定してある。トレイ１２１の走行スピードと、カメラ１０１からのキャプチャスピードとによってトレイ１２１が矩形状に写る場合、検出対象範囲Ｃは、矩形状に設定されるし、他の歪んだ形状であっても、予め同じ条件でトレイ１２１が撮像された状態に応じて設定されればよい。検出対象範囲Ｃは、基準点Ｂを基準として４つの角の相対座標（図６中の矢符で示す）のデータで表され、記憶部２１に記憶される。検出対象範囲Ｃは、基準点Ｂを基準として画像内の左上隅の相対座標のデータ、横方向の画像内での長さのデータ（例えば画素数単位）、及び左下隅の相対座標のデータで表されてもよい。

図６の例では、符号Ｄを付したハッチング範囲が、マスク対象範囲である。マスク対象範囲Ｄは、図６に示すように、基準点Ｂを基準とした画像内のマスク対象画素の相対座標のデータで表される。図６の例の場合、マスク対象範囲Ｄは、４つのネジ穴の位置に対応する円の中心の基準点Ｂからの相対座標のデータと、各円の大きさ（半径又は直径）を示すデータで表される。

図６に示した検出対象範囲Ｃ及びマスク対象範囲Ｄを決定するための座標データは、記憶部２１に予め記憶してある。検出対象範囲Ｃ及びマスク対象範囲Ｄの座標データは、仕分け機１００の設置の際にカメラ１０１で撮像した画像に基づいて、保守担当者等によって設定されて記憶されてもよいし、定期的に更新されてもよい。

図５及び図６を参照して説明したように、第１照明装置３１が、第２照明装置３２及び第３照明装置３３からの光と異なる色の集光された光を投じ、これにより検出対象範囲Ｃが決定される。これにより、カメラ１０１の撮像範囲で走行するトレイ１２１が写る領域が上下左右にずれたとしても、検出装置２は検出対象範囲Ｃを正確に特定することができる。

次に、本実施の形態における検出装置２による検出の実施例を説明する。図７は、物品が残っているトレイ１２１の撮像画像の一例を示す線図である。図７の線図は、トレイ１２１の上に、プラスチック製の袋状パッケージの物品が残されている様子を写した画像を示している。図７の線図では、カメラ１０１からの画像に、トレイ１２１の画像における左上隅に、第１照明装置３１からの光が区別可能に写っていることが示されている。

図８～図１０は夫々、抽出した色相、彩度及び明度の分布図である。図８～図１０では、図７の画像から抽出した色相、彩度及び明度の値に対応するモノクロの濃淡をそれぞれ、説明のために、画像内の位置に図示したものである。なお処理部２０はこれらの画像を作成するわけではない。処理部２０は、抽出した色相、彩度又は明度について、画像内のいずれの位置の値であるかを判別しなくてよい。図８及び図９では、予め記憶してあるカラー情報の範囲外の色相、彩度又は明度の値の範囲から外れた値の画素が存在する箇所を、画像内でハッチングによって示している。また、図８～図１０には、画像に対して決定した基準点Ｂ、検出対象範囲Ｃ及びマスク対象範囲Ｄが示されている。

図８は、図７に示した画像のうち、記憶してあるカラー情報の色相の範囲から外れた値に対応する画素の位置をハッチングで示している。色相では、物品の外装を写した範囲の内、トレイ１２１の色味とは異なる色の部分が抽出されている。図７に示した画像に写っている物品の外装はプラスチック製で反射率が高く、第２照明装置３２及び第３照明装置３３からの光を多く反射している部分は色味が飛びやすい。この部分を含むパッケージの大部分は、図８に示すように抽出されない。また、トレイ１２１と色味が同様の部分も、図８に示すように、抽出されない。しかしながら、反射が少なく、且つ、トレイ１２１の色味と異なる部分は抽出でき、彩度、明度がトレイ１２１と同質であっても、図８に示すように一部のみでも抽出できる可能性が上がる。

図９は、図７に示した画像のうち、記憶してあるカラー情報の彩度の範囲から外れた値に対応する位置をハッチングで示している。彩度では、物品の外装を写した範囲の内、トレイ１２１の表面の彩度と異なる部分が抽出されている。図７に示した画像に写っている物品の外装は、パッケージデザインの一部以外は、トレイ１２１と同様の彩度の色を用いているとすると、図９に示すように、外装の大部分は抽出されない。しかしながら、パッケージデザインは、トレイ１２１のような工業利用されるものと異なり、彩度が高い色が少なくとも一部に選択される可能性が高く、図９に示すように一部のみでも予め記憶してあるカラー情報の彩度と異なる部分が存在すれば、抽出が可能である。

図１０は、図７に示した画像の明度分布を示している（範囲外の値を抽出していない）。明度では、物品の外装と、トレイ１２１とでは差が見分けられないとしても、図１０に示すように、袋の側部や影の部分の明度がトレイ１２１の平坦面が写る部分の明度と異なり、抽出できる可能性が高い。

このようにして、色相、彩度及び明度の内のいずれかにおいて、一部であっても、予め記憶したカラー情報の範囲から外れた値があると判断される場合に、物品の存在の検出が可能である。

本実施の形態における検出装置２による検出の他の実施例を説明する。図１１は、物品が残っているトレイ１２１の撮像画像の他の一例を示す線図である。図１１の線図は、トレイ１２１の上に、略透明のプラスチック製の箱状の物品が残されている様子を写した画像を示している。図１１の線図でも、カメラ１０１からの画像に、トレイ１２１の画像における左上隅に、第１照明装置３１からの光が区別可能に写っていることが示されている。

図１２～図１４は、抽出した色相、彩度及び明度の分布図である。図１２～図１４では、図１１の画像から抽出した色相、彩度及び明度の値に対応するモノクロの濃淡をそれぞれ、説明のために、画像内の位置に図示したものである。この他の例においても、処理部２０はこれらの画像を作成するわけでなく、予め記憶してあるカラー情報の範囲から外れた値の色相、彩度、又は明度を持つ画素の画像内の位置を判別する必要はない。図１２及び図１３では、予め記憶してあるカラー情報の範囲外の色相、彩度又は明度の値の範囲から外れた値の画素が存在する箇所を、画像内でハッチングによって示している。また、図１２～図１４には、画像に対して決定した基準点Ｂ、検出対象範囲Ｃ及びマスク対象範囲Ｄが示されている。

図１２は、図１１に示した画像のうち、記憶してあるカラー情報の色相の範囲から外れた値に対応する画素の位置をハッチングで示している。物品を写した範囲のトレイ１２１と異なる色相の色の部分が抽出されるが、物品は透明であるため、図１２に示すように、カラー情報の色相の範囲から外れた値に対応する画素はごく少ない。透明であっても、トレイ１２１の上方から赤色の光を照射する第２照明装置３２からの光と、トレイ１２１の側方から青色（シアン）の光を照射する第３照明装置３３からの光とによって、異なる部分に、異なる色の影が投影される可能性がある。これを上方から撮像するカメラ１０１によって、物品がない場合のトレイ１２１とは異なる色相の部分をとらえることができ、処理部２０は、色相の差異に基づいて物品を抽出することができる。

図１３は、図１１に示した画像のうち、記憶してあるカラー情報の彩度の範囲から外れた値に対応する画素の位置をハッチングで示している。物品を写した範囲のトレイ１２１と異なる彩度の色の部分が抽出されるが、物品は透明であるため、図１３に示すように、カラー情報の彩度の範囲から外れた値に対応する画素はほとんど抽出されない。

図１４は、図１１に示した画像の明度分布を示している（範囲外の値を抽出していない）。物品が透明である場合、図１４に示すように、物品に対して照明装置１０３で投影される異なる照射光からの影も同様の明度で、物品が存在しないトレイ１２１を照明装置１０３で照射した場合と差異が生じず、処理部２０は、明度では範囲外の値の画素を抽出しづらい。

このようにして、色相、彩度及び明度の内のいずれかにおいて、ごく少ないとしても、予め記憶したカラー情報の範囲から外れた値があると判断される場合に物品の存在を検出する。透明な物品であっても、照明装置１０３によって生じる影部分から、検出装置２が物品を検出できることが確認された。

（変形例１）
検出装置２の処理部２０は、検出対象範囲における画素の色相、彩度及び明度のデータを取得してカラー情報と比較することに代替して、事前に登録しておいた空のトレイ１２１の画像と、取得した検出対象のトレイ１２１の画像との間で正規化相関処理を実施してもよい。

トレイ１２１は走行し、物品が載置され、且つ傾斜機構でもって動くものであり、個々に除去できない傷、汚れが付着し、カメラ１０１で撮像された画像にこれらの傷、汚れが写る可能性がある。そこで、空のトレイ１２１の画像の事前登録を定期的に行ない、以下に示す手順によって、傷、汚れがあるトレイ１２１を使用しても撮像画像からの検出が可能である。

検出装置２の記憶部２１には、空の状態の各トレイ１２１を撮像した画像における検出対象範囲（マスク対象範囲を除く）を、トレイ１２１の識別データに対応付けて記憶しておく。記憶しておくデータは、マスク処理後の検出対象範囲から取得したカラー情報（色相、彩度、明度）であってもよい。この予め記憶する処理は、保守担当者又は仕分け機１００の管理者によって、仕分け機１００、仕分け機１００の上位制御装置、又は、検出装置２に設けられる操作部への操作が行われることで、検出装置２で行なわれてもよい。

このように、傷、汚れの影響を受けたトレイ１２１夫々のカラー情報が記憶された状態で、検出装置２は以下の検出処理を実行する。図１５は、変形例１における検出装置２の処理手順の一例を示すフローチャートである。図１５のフローチャートに示す処理手順の内、図４のフローチャートに示した手順と共通する手順には同一のステップ番号を付して詳細な説明を省略する。

処理部２０は、トレイ１２１の撮像画像を取得し（Ｓ１）、基準点、検出対象範囲及びマスク対象範囲を決定すると（Ｓ２－Ｓ４）、撮像画像にマスク処理を施した色相、彩度、及び明度のデータを取得する（ステップＳ１０１）。処理部２０は、取得したデータを、内蔵メモリの比較用領域Ｍ１へ転送する（ステップＳ１０２）。

処理部２０は、撮像画像に写っているトレイ１２１の識別データを取得する（ステップＳ１０３）。上位制御装置が、ステップＳ１で取得される撮像画像の対象のトレイ１２１の識別データ（トレイ番号）を、処理部２０へ通知し、処理部２０はこれを取得する。ステップＳ１０３の処理は、ステップＳ１０１、Ｓ１０２の処理の前に実行してもよい。トレイ番号は例えばＮｏ．２０等である。

処理部２０は、全トレイ（例えばＮｏ．１からＮｏ．１００）の中から、取得した識別データのトレイ１２１について、事前に空の状態で撮像された撮像画像にマスク処理を施した色相、彩度、及び明度データを記憶部２１から取得して内蔵メモリの比較用領域Ｍ２へ転送する（ステップＳ１０４）。

処理部２０は、比較用領域Ｍ１及び比較用領域Ｍ２の色相、彩度及び明度のデータに対し、正規化相関処理を実行する（ステップＳ１０５）。ステップＳ１０５において処理部２０は、色相のみについての正規化相関処理、彩度のみについての正規化相関処理、明度のみについての正規化相関処理を実行する。

処理部２０は、色相、彩度、及び明度についての正規化相関処理のいずれも一致の度合いが高いか否かを判断する（ステップＳ１０６）。ステップＳ１０６において処理部２０は、色相、彩度及び明度の３つ全てで一致度が所定値よりも高いか否かを判断する。

ステップＳ１０６で色相、彩度及び明度のいずれか１つでも一致度が所定値以下であると判断された場合（Ｓ１０６：ＮＯ）、処理部２０は、トレイ１２１に物品が存在することを検出する（Ｓ７）。ステップＳ１０６で３つとも一致度が高いと判断された場合（Ｓ１０６：ＹＥＳ）、処理部２０は、トレイ１２１に物品が存在しないことを検出する（Ｓ９）。

正規化相関処理を用いる処理は、制御部１０又は上位制御装置からの指示がある場合のみにしてもよい。つまり、傷、汚れがあるトレイ１２１のみに対して実行されてもよい。例えば後述の変形例２に示すように、一部異なる色のトレイ１２１を使用する場合、全てのトレイ１２１に同一の照明装置１０３を用いるから、異なる色のトレイ１２１を検出対象とする場合のみ、正規化相関処理を行なう、といった区別がされてもよい。

変形例１では、各トレイ１２１について傷、汚れがある場合の画像（検出対象範囲）を記憶し、正規化相関処理を実行した。その他の例として、定期的に全トレイ１２１を撮像し、それらの画像から得られる色相、彩度、明度の平均を含む所定の範囲を、カラー情報としてその都度記憶して使用し、検出装置２がステップＳ６で参照してもよい。カラー情報が示す色相、彩度、明度の範囲は、トレイ１２１の経年変化によってシフトする。これにより、カラー情報に傷、汚れによる影響が反映される。

（変形例２）
記憶部２１には、異なる色又は形状のトレイ１２１のカラー情報、検出対象範囲及びマスク対象範囲のデータを記憶しておき、仕分け機１００の制御部１０、又は仕分け機１００を含むマテハンシステム全体の上位制御装置から、いずれのトレイ１２１に対して検出を実行するかの指示を受けてから検出処理を実行してもよい。

図１６は、変形例２における検出装置２の処理手順の一例を示すフローチャートである。図１６のフローチャートに示す処理手順の内、図４のフローチャートに示した手順と共通する手順には同一のステップ番号を付して詳細な説明を省略する。

処理部２０は、検出指示を受けたか否かを判断する（ステップＳ２０１）。検出指示を受けないと判断された場合（Ｓ２０１：ＮＯ）、処理部２０は、処理をステップＳ２０１へ戻し、検出指示を受けたと判断するまで待機する。

ステップＳ２０１で検出指示を受けたと判断された場合（Ｓ２０１：ＹＥＳ）、処理部２０は、画像を取得し（Ｓ１）、検出指示に含まれる検出対象のトレイ１２１の種類のデータを特定する（ステップＳ２０２）。

処理部２０は、取得した画像に対して基準点を決定し（Ｓ２）、ステップＳ２０２で特定した種類に対応付けて記憶してある検出対象範囲のデータから、基準点に基づく検出対象範囲を決定する（ステップＳ２０３）。処理部２０は、ステップＳ２０２で特定した種類に対応付けて記憶してあるマスク対象範囲のデータから基準点に基づくマスク対象範囲を決定する（ステップＳ２０４）。処理部２０は、検出対象範囲のマスク対象範囲を除いた部分の色相、彩度及び明度のデータを取得する（Ｓ５）。

処理部２０は、ステップＳ２０２で特定した種類に対応して記憶してあるカラー情報を読み出し（ステップＳ２０５）、ステップＳ５で取得したデータが、読み出したカラー情報に含まれる色相、彩度及び明度のうちのいずれかの範囲外であるか否かを判断する（Ｓ６）。

処理部２０は、Ｓ６の判断によって物品の存在の有無を検出し（Ｓ７，Ｓ９）、検出結果を通知する（Ｓ８）。

このように、異なる色又は形状のトレイ１２１が混在しているとしても、トレイ１２１の種類を特定でき、事前にカラー情報等を記憶しておけば、検出が可能である。

なお、実施形態で示した検出装置２は、トレイ１２１で物品を搬送する仕分け機１００を対象にして残品の有無を検出する構成とした。しかしながら、これに限らず、検出装置２は、搬送ベルト、搬送スラットを撮像した撮像画像に対する画像処理によって物品の有無の検出をしてもよい。

上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。

１００ 仕分け機
１０ 制御部
２ 検出装置
２０ 処理部
２１ 記憶部
２Ｐ 検出プログラム

Claims (9)

1. 搬送される物品が載置され、移動する箇所を撮像した撮像画像を取得し、
   取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定し、
   前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得し、
   前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断し、
   範囲外であると判断した場合、前記箇所に物品が存在することを検出する
   検出方法。
2. 前記撮像画像は、前記箇所に対し、異なる角度から異なる色の光を照射して撮像される画像である
   請求項１に記載の検出方法。
3. 前記撮像画像内の、特定の色又は特定の形状に投じられた光が写る範囲における特定の一点を前記基準点として決定する
   請求項１又は２に記載の検出方法。
4. 前記特定の光の色は、前記異なる色の内の少なくとも１つに対して補色である
   請求項３に記載の検出方法。
5. 物品が存在しない前記箇所に対し、異なる角度からの異なる色の光を照射して撮像された画像における色相、彩度、及び明度の範囲を予め記憶しておく
   請求項１から請求項４のいずれか１項に記載の検出方法。
6. 前記撮像画像は、仕分け機にて搬送される物品が載置されるトレイを撮像した画像である
   請求項１から請求項５のいずれか１項に記載の検出方法。
7. 搬送される物品が移動する箇所を撮像した撮像画像を取得する画像取得部、
   取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定する範囲決定部、
   前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得するデータ取得部、
   前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断する判断部、及び、
   範囲外であると判断した場合、前記箇所に物品が存在することを検出する検出部
   を備える検出装置。
8. 投入される物品を搬送しながら搬送先別に仕分ける仕分け機の、搬送経路の箇所に設置され、前記箇所を、異なる角度から異なる色の光を照射する照明装置と、
   前記照明装置によって照射された箇所を撮像する撮像装置と、
   前記撮像装置から撮像される画像を取得して前記箇所に物品が存在するか否かを検出する検出装置と
   を含み、
   前記検出装置は、
   取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定し、
   前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得し、
   前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断し、
   範囲外であると判断した場合、前記箇所に物品が存在することを検出する
   検出システム。
9. 投入される物品を搬送しながら搬送先別に仕分ける仕分け機と接続されるコンピュータに、
   前記仕分け機における物品の搬送経路の箇所を撮像した撮像画像を取得し、
   取得した撮像画像内の基準点に基づいて前記箇所を含む検出対象範囲を決定し、
   前記撮像画像における前記検出対象範囲に含まれる画素の色相、彩度及び明度の内の少なくとも１つを取得し、
   前記検出対象範囲内の任意の画素の色相、彩度及び明度のいずれかが、色相、彩度及び明度それぞれについて記憶してある範囲外であるか否かを判断し、
   範囲外であると判断した場合、前記箇所に物品が存在することを検出する
   処理を実行させるコンピュータプログラム。

Images