JP2022010961A - 検知装置及び検知プログラム - Google Patents

Abstract

【課題】物品搬送に関する異常状態を簡易な設備で検知可能な検知装置及び検知プログラムを提供する。【解決手段】一実施形態の検知装置１０は、平面視において多角形状の商品Ｇが載置された状態で搬送されるトレー２２を上方から撮影することにより得られたトレー画像ＩＭ１を取得する取得部１１と、トレー画像ＩＭ１に対して画像認識を実行することにより、トレー画像ＩＭ１に含まれる商品Ｇの頂点領域Ａ３を検出する認識部１２と、認識部１２による頂点領域Ａ３の検出結果に基づいて、トレー２２に複数の商品Ｇが載置されているか否かを判定する判定部１３と、を備える。【選択図】図１

Description

本発明の一側面は、検知装置及び検知プログラムに関する。

コンベヤ等の搬送手段によって搬送される商品箱に収納される物品の検知を行う装置として、商品箱の上面のＸ線透過画像と、商品箱の側面のＸ線透過画像と、予め用意された物品の基準画像と、に基づいて商品箱に収納された物品を計数する装置が知られている（例えば特許文献１参照）。

また、コンベヤにより搬送される複数のワーク（物品）の重なりの有無を、３次元カメラによって撮影された搬送中のワークの３次元画像と、基準となるワークの３次元形状と、に基づいて検出する装置が知られている（例えば特許文献２参照）。

特開２０１６－１４１５４１号公報 特開２０１９－１１１６４０号公報

ところで、物流センタ等に設置される商品（物品）の仕分けを行うソーターシステムにおいては、コンベヤによって仕分け対象の商品を１つずつ搬送しなければならない場合がある。この場合、コンベヤ上を流れる１つのトレー上に複数の商品が載置される状態（いわゆる二重載せの状態）が作業ミス等に起因して発生した際には、当該トレーに載置された商品が誤った配送先に配送されてしまうことを防止するために、当該トレーを速やかに検知する必要がある。

上述した特許文献１，２に記載された仕組みによれば、このような異常状態（二重載せの状態）を検知できる可能性があるが、上記特許文献１に開示された装置には、２方向のＸ線透過画像を取得するためのＸ線撮像システム（Ｘ線発生装置、及びラインセンサ等のＸ線検出センサ等）が必要となる。このため、設備が大型化すると共に設備コストが比較的高額になるという問題がある。上記特許文献２に開示された装置においても、物品の３次元画像を撮影する３次元カメラが必要となるため、上記特許文献１の装置と同様の問題がある。

本発明の一側面は、物品搬送に関する異常状態を簡易な設備で検知可能な検知装置及び検知プログラムを提供することを目的とする。

本発明の一側面に係る検知装置は、平面視において多角形状の物品が載置された状態で搬送されるトレーを上方から撮影することにより得られたトレー画像を取得する取得部と、トレー画像に対して画像認識を実行することにより、トレー画像に含まれる物品の頂点を検出する認識部と、認識部による頂点の検出結果に基づいて、トレーに複数の物品が載置されているか否かを判定する判定部と、を備える。

本発明の一側面に係る検知装置においては、物品が載置された状態で搬送されるトレーの画像（トレー画像）に対する画像認識結果から、トレー画像に含まれる物品の頂点（角部）が検出される。そして、頂点の検出結果（例えば、頂点数）に基づいて、トレーに複数の物品が載置されている状態（いわゆる二重載せの状態）であるか否かが判定される。上記検知装置によれば、トレーの上方から撮影された画像に対する比較的簡易な解析処理によって異常状態（上述した二重載せの状態）を検知することができる。すなわち、物品搬送に関する異常状態を簡易な設備で検知することができる。

本発明の一側面によれば、物品搬送に関する異常状態を簡易な設備で検知可能な検知装置及び検知プログラムを提供することができる。

実施形態に係る検知装置を含む検知システムの構成を示す図である。 トレー画像の取得方法の一例を説明するための図である。 トレー画像及びトレー画像に対する画像認識結果の一例を示す図である。 二重載せ状態の第１の例を示す図である。 二重載せ状態の第２の例を示す図である。 二重載せ状態の第３の例を示す図である。 二重載せ状態の第４の例を示す図である。 頂点が誤検出された場合の例を示す図である。 検知装置の動作の一例を示すフローチャートである。 判定部による判定処理の手順の一例を示すフローチャートである。 検知装置のハードウェア構成の一例を示す図である。 記録媒体に格納された検知プログラムの構成を示す図である。

以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。

図１は、一実施形態に係る検知装置１０を含む検知システム１の構成を示す図である。検知システム１は、例えば、物流センタ等において用いられる。検知システム１は、検知装置１０と、ソーターシステム２０と、カメラ３０と、を備えている。

ソーターシステム２０は、商品Ｇ（物品）の仕分けを行うシステムである。商品Ｇは、平面視において多角形状を有している。商品Ｇは、特定の商品に限定されないが、例えばパッケージ（箱）に収納されたスマートフォン、タブレット端末等である。通常、パッケージは直方体状に形成されることが多い。また、商品Ｇの外形は、パッケージの形状と同様の形状となる。従って、この場合には、商品Ｇは、直方体状であり、平面視において四角形状を有する。以下の説明において、商品Ｇは、平面視において四角形状を有するものとする。

ソーターシステム２０は、コンベヤ２１と、コンベヤ２１上に配置されてコンベヤ２１上を流れる複数のトレー２２と、を含んでいる。トレー２２には、仕分け対象の商品Ｇが載置される。コンベヤ２１は、トレー２２に商品Ｇが載置された状態で、トレー２２を搬送する。なお、コンベヤ２１上には、商品Ｇが載置されていない空のトレー２２も流れている。コンベヤ２１によるトレー２２の搬送速度は、例えば分速８５ｍ程度であり、比較的高速である。

ソーターシステム２０において、商品Ｇの仕分けが適切に行われるためには、１つのトレー２２上に１つの商品Ｇのみが載置される必要がある。しかし、例えば商品Ｇをトレー２２上に載置する際における作業ミス等に起因して、１つのトレー２２上に複数（典型的には２つ）の商品Ｇが載置される異常状態（以下、「二重載せ」という。）が発生し得る。このような二重載せが発生すると、商品Ｇの仕分けミスが発生し、商品Ｇが誤った配送先（例えば店舗等）に配送される問題（誤配送）が生じるおそれがある。

そこで、検知システム１は、上述した二重載せを検知するためのシステムとして、検知装置１０及びカメラ３０を有している。カメラ３０は、例えば、コンベヤ２１の上方に設置され、コンベヤ２１により搬送されるトレー２２を上方から撮影する。

図２に示されるように、カメラ３０は、コンベヤ２１上において予め設定された撮影エリアＳＡを通過するトレー２２を撮影するように構成されている。カメラ３０は、例えばトリガーカメラである。カメラ３０は、例えば図示しないセンサ等によって撮影エリアＳＡにトレー２２の全体が進入したことが検知されると、当該センサからの検知信号に基づいて、撮影エリアＳＡを撮影する。このような撮影処理により、図３の左部に示されるようなトレー画像ＩＭ１が取得される。トレー画像ＩＭ１は、トレー２２の全体を被写体として含んだ静止画像である。図３の左部に示されるように、トレー２２には、トレー２２を識別するためのトレーＩＤが記載されたＩＤ領域が設けられている。図３の例では、「１０１」がトレーＩＤである。

なお、トレー画像ＩＭ１は、必ずしもトレー２２の全体を被写体として含んでいる必要はない。トレー画像ＩＭ１は、トレー２２において商品Ｇが載置されることが予定されている領域（例えば、トレー２２が箱形に形成されている場合には、箱の内側部分の領域）を被写体として含んでいればよい。また、ソーターシステム２０は、１つのカメラ３０のみを含んでいてもよいし、それぞれ異なる撮影エリアＳＡを有する複数のカメラ３０を含んでいてもよい。

検知装置１０は、カメラ３０によって撮影されたトレー画像ＩＭ１を取り込み、当該トレー画像ＩＭ１を解析することによって、二重載せを検知する。図１に示されるように、検知装置１０は、取得部１１と、認識部１２と、判定部１３と、を備えている。

取得部１１は、商品Ｇが載置された状態で搬送されるトレー２２を上方から撮影することにより得られたトレー画像ＩＭ１（図３の左部参照）を取得する。本実施形態では、取得部１１は、カメラ３０によって撮影されたトレー画像ＩＭ１を取得する。取得部１１は、カメラ３０から直接トレー画像ＩＭ１を取得してもよいし、カメラ３０とは別の記録媒体に一旦記録されたトレー画像ＩＭ１を取得してもよい。

認識部１２は、トレー画像ＩＭ１に対して画像認識を実行することにより、少なくともトレー画像ＩＭ１に含まれる商品Ｇの頂点を検出する。本実施形態では、認識部１２は、商品Ｇの頂点以外にも、商品領域（物品領域）と上述したＩＤ領域とを検出する。図３の右部に示されるように、認識部１２は、例えば、物体検出処理及びエッジ検出処理等を行うことにより、ＩＤ領域、商品領域、及び商品Ｇの頂点を検出する。図３の右部に示される結果画像ＩＭ２は、トレー画像ＩＭ１に対して認識部１２による認識結果を重畳表示させたものである。具体的には、結果画像ＩＭ２は、認識部１２によって検出されたＩＤ領域Ａ１、商品領域Ａ２、及び頂点領域Ａ３（商品Ｇの頂点を含む領域）をトレー画像ＩＭ１に重畳表示させたものである。

ＩＤ領域Ａ１は、トレー２２においてトレーＩＤ（図３の例では「１０１」）が記載された部分を含む領域である。ＩＤ領域Ａ１は、例えば矩形状の領域として設定される。

商品領域Ａ２は、トレー２２上に載置された一以上の商品Ｇの全体を含む領域である。商品領域Ａ２は、例えば矩形状の領域として設定される。例えば、商品領域Ａ２は、トレー２２上に載置された一以上の商品Ｇの全体を含む最小の矩形状の領域として設定される。或いは、商品領域Ａ２は、商品領域Ａ２の各辺と商品Ｇとが接しないように（例えば、各辺と商品Ｇとの間に所定長の隙間ができるように）設定されてもよい。ただし、商品領域Ａ２は、画像認識の結果として決定される領域であるため、必ずしも上記のように予め定めた通りに設定されるわけではない。すなわち、商品Ｇの一部が商品領域Ａ２よりも外側にはみ出る場合もあり得る。このように認識部１２により検出された領域と実際の領域とが異なり得る点は、商品領域Ａ２以外の領域についても同様である。

頂点領域Ａ３は、商品Ｇの頂点（本実施形態では、商品Ｇのパッケージの四隅に対応する部分）を含む領域である。頂点領域Ａ３は、例えば矩形状の領域として設定される。頂点領域Ａ３は、例えば、頂点を中心とする予め定められた大きさの矩形状の領域として設定される。

上述したＩＤ領域Ａ１、商品領域Ａ２、及び頂点領域Ａ３の位置は、例えば、各領域Ａ１，Ａ２，Ａ３の四隅に対応する座標によって特定される。各領域Ａ１，Ａ２，Ａ３には、それぞれ異なるクラス名（分類情報）が関連付けられる。例えば、ＩＤ領域Ａ１には、ＩＤ領域を示すクラス名「id」が関連付けられ、商品領域Ａ２には、商品領域を示すクラス名「item」が関連付けられ、頂点領域Ａ３には、頂点を示すクラス名「edge」が関連付けられる。このようなクラス名に基づいて、各領域Ａ１，Ａ２，Ａ３は、内部的に（すなわち、検知装置１０の内部の処理において）区別され得る。なお、各領域Ａ１，Ａ２，Ａ３には、検出結果の確からしさを示す評価値が関連付けられてもよい。認識部１２は、検出された領域のうち、予め定められた閾値以上の評価値を有する領域のみを、最終的な検出結果（領域Ａ１，Ａ２，Ａ３）として取得してもよい。

認識部１２は、予め学習された学習済みモデルを用いることによって、上述した物体検出処理を実行してもよい。学習済みモデルは、例えば、トレー画像ＩＭ１を読み込んで、当該トレー画像ＩＭ１に含まれる各領域Ａ１，Ａ２，Ａ３を検出するように学習されたモデルである。このような学習済みモデルは、例えば深層学習（ディープラーニング）等によって学習され得る。この場合、学習済みモデルは、多層ニューラルネットワークによって構成され得る。ただし、学習済みモデルに適用される機械学習の手法は上記例に限定されず、学習済みモデルの内部構造は、適用される機械学習の手法に応じて決定される。

上記学習のための教師データとしては、例えば、トレー画像ＩＭ１と、トレー画像ＩＭ１中におけるＩＤ領域、商品領域、及び頂点領域の位置（座標）を示す情報（すなわち正解ラベル）と、を互いに関連付けたデータが用いられ得る。また、上述した教師データを用いた学習は、例えば以下のように行われる。トレー２２が空の場合（第１の正常例）、トレー２２内に１つの商品Ｇが載置されている場合（第２の正常例）、及びトレー２２内に２つの商品Ｇが載置されている場合（二重載せ（異常）の例）等のパターン毎に複数の教師データが用意される。なお、様々なバリエーションに対応可能な学習済みモデルを生成するためには、第１の正常例については、トレー２２内に載置される商品Ｇの複数の異なる姿勢パターンの各々について教師データが用意されることが好ましい。また、二重載せの例については、後述する図４～図７に例示されるような種々のパターンについて教師データが用意されることが好ましい。このように用意された複数の教師データを用いた学習によって、上述した学習済みモデルが得られる。

図３の左部に示されるように、商品Ｇが平面視において四角形状を有する場合において、認識部１２による画像認識が適切に実行された場合には、１つのＩＤ領域Ａ１と、１つの商品領域Ａ２と、４つの頂点領域Ａ３と、が検出されることになる。一方、トレー２２が空の場合において、認識部１２による画像認識が適切に実行された場合には、１つのＩＤ領域Ａ１のみが検出されることになる。以下、認識部１２による検出結果のいくつかの例について説明する。なお、以下では、トレー２２内において商品Ｇが載置されるエリアのみに着目し、ＩＤ領域Ａ１の説明を省略する。

（二重載せ状態の第１の例）
図４は、二重載せ状態の第１の例を示す図である。この例では、２つの商品Ｇ１，Ｇ２が互いに離間した状態でトレー２２上に載置されている。この場合、図４に示されるように、認識部１２によって、２つの商品Ｇ１，Ｇ２の全体を含むように設定された商品領域Ａ２と、８つの頂点領域Ａ３（商品Ｇ１の４つの頂点領域Ａ３及び商品Ｇ２の４つの頂点領域Ａ３）と、が検出される。

（二重載せ状態の第２の例）
図５は、二重載せ状態の第２の例を示す図である。この例では、一方の商品Ｇ１の一部の上に他方の商品Ｇ２が重なった状態で、２つの商品Ｇ１，Ｇ２がトレー２２上に載置されている。また、商品Ｇ２によって、商品Ｇ１の１つの頂点が覆い隠されている。この場合、図５に示されるように、認識部１２によって、２つの商品Ｇ１，Ｇ２の全体を含むように設定された商品領域Ａ２と、７つの頂点領域Ａ３（商品Ｇ１の３つの頂点領域Ａ３及び商品Ｇ２の４つの頂点領域Ａ３）と、が検出される。すなわち、商品Ｇ２によって隠された商品Ｇ１の頂点が検出されず、それ以外の７つの頂点に対応する頂点領域Ａ３が検出される。

ここで、認識部１２は、商品領域Ａ２内において商品Ｇが占める商品占有領域Ａ４（物品占有領域）を推定してもよい。商品占有領域Ａ４は、商品領域Ａ２のうち実際に商品Ｇが占有する領域である。例えば、認識部１２は、トレー画像ＩＭ１（図３参照）において、トレー２２が占める領域（すなわち、商品Ｇが載置されていない領域）と商品Ｇが占める領域とを輝度等の画素値に基づく二値化処理によって切り分けてもよい。このような二値化処理により、商品Ｇが占める領域のみを切り出したシルエット画像（例えば、商品Ｇが占める領域を黒で表し、その他の領域を白で表した画像）が得られる。認識部１２は、当該シルエット画像に基づいて商品占有領域Ａ４を設定してもよい。ただし、商品占有領域Ａ４を推定する方法は、上記のシルエット画像に基づく方法に限定されない。例えば、認識部１２は、予め撮影された空のトレー２２の画像とトレー画像ＩＭ１とを比較することで差分（背景差分）を抽出し、当該差分に対応する領域を商品占有領域Ａ４として設定してもよい。

或いは、認識部１２は、例えば公知のセグメンテーション処理（例えば、セマンティックセグメンテーション等）を用いることにより、トレー画像ＩＭ１において商品占有領域Ａ４を抽出（推定）してもよい。例えば、認識部１２は、トレー画像ＩＭ１に対する画像認識として、上述した物体検出処理及びセグメンテーション処理の両方を実行することにより、図５に示されるような各領域Ａ１～Ａ４を検出することができる。ただし、トレー画像ＩＭ１における光の反射具合、ブレ等によっては、商品占有領域Ａ４を精度良く推定することができない場合もある。その場合には、認識部１２は、商品占有領域Ａ４を推定する処理を省略してもよい。

商品占有領域Ａ４が推定された場合には、各頂点を商品占有領域Ａ４の内側に位置する内包頂点（すなわち、トレー画像ＩＭ１において、トレー２２の領域と接さずに他の商品Ｇの領域と接する頂点）と、トレー２２の領域と接する外接頂点と、に区別して把握することが可能となる。図５における頂点領域Ａ３１は、内包頂点に対応する頂点領域である。この例では、内包頂点は、商品Ｇ２の頂点のうち商品Ｇ１の領域と接する頂点（言い換えれば、商品Ｇ１と重なる頂点）である。それ以外の頂点領域Ａ３は、外接頂点に対応する頂点領域である。

認識部１２は、例えば、商品占有領域Ａ４の内側であって、且つ、商品占有領域Ａ４を規定する境界線（図５の一点鎖線部）から予め定められた閾値距離以上離れた頂点を内包頂点として検出してもよい。この場合、商品占有領域Ａ４の十分内側にある頂点を内包頂点として検出することができるため、内包頂点の誤検出（すなわち、実際には内包頂点に該当しない頂点を内包頂点として検出すること）の発生を抑制することができる。

（二重載せ状態の第３の例）
図６は、二重載せ状態の第３の例を示す図である。第３の例は、商品Ｇ２によって商品Ｇ１の２つの頂点が覆い隠されている点において、第２の例（図５）と相違している。この場合、図６に示されるように、認識部１２によって、２つの商品Ｇ１，Ｇ２の全体を含むように設定された商品領域Ａ２と、６つの頂点領域Ａ３（商品Ｇ１の２つの頂点領域Ａ３及び商品Ｇ２の４つの頂点領域Ａ３）と、が検出される。ここで、認識部１２によって上述した商品占有領域Ａ４が推定された場合には、１つの内包頂点（すなわち、商品Ｇ２の頂点のうち商品Ｇ１の領域と接する頂点）に対応する頂点領域Ａ３１と、それ以外の５つの外接頂点に対応する頂点領域Ａ３と、が区別されて検出される。

（二重載せ状態の第４の例）
図７は、二重載せ状態の第４の例を示す図である。この例では、一方の商品Ｇ１の上に、商品Ｇ１よりも一回り小さい商品Ｇ２が完全に重なった状態で、２つの商品Ｇ１，Ｇ２がトレー２２上に載置されている。平面視において、商品Ｇ２は、商品Ｇ１の外側にはみ出さないように、商品Ｇ１の内側に配置されている。この場合、図７に示されるように、認識部１２によって、２つの商品Ｇ１，Ｇ２の全体（すなわち、商品Ｇ１）を含むように設定された商品領域Ａ２と、８つの頂点領域Ａ３（商品Ｇ１の４つの頂点領域Ａ３及び商品Ｇ２の４つの頂点領域Ａ３）と、が検出される。ここで、認識部１２によって上述した商品占有領域Ａ４が推定された場合には、４つの内包頂点（すなわち、商品Ｇ２の各頂点）に対応する頂点領域Ａ３１と、４つの外接頂点（すなわち、商品Ｇ１の各頂点）に対応する頂点領域Ａ３と、が区別されて検出される。

判定部１３は、認識部１２による頂点の検出結果に基づいて、トレー２２に複数の商品Ｇが載置されているか否か（すなわち、二重載せの状態であるか否か）を判定する。

例えば、判定部１３は、認識部１２により検出された頂点の数（すなわち、頂点領域Ａ３の数）に基づいて、二重載せの状態であるか否かを判定してもよい。一例として、商品ＧがＮ角形状であるとき、判定部１３は、認識部１２により検出された頂点領域Ａ３の数がＮと１以上の所定の閾値ｄとの和（すなわち、Ｎ＋ｄ）以上である場合に、二重載せの状態であると判定してもよい。ここで、Ｎは３以上の整数であり、本実施形態ではＮは４である。

図３の右部のように、トレー２２上に１つの商品Ｇのみが載置されている場合には、認識部１２により検出される頂点領域Ａ３の数はＮと一致する。また、トレー２２が空の場合には、認識部１２により検出される頂点領域Ａ３の数は０となる。一方、図４～図７に示される例のように、二重載せの状態では、認識部１２により検出される頂点領域Ａ３の数は、Ｎよりも大きい数（すなわち、「Ｎ＋１」以上）となる。具体的には、図４の例（第１の例）では、検出される頂点領域Ａ３の数は８（＝Ｎ＋４）であり、図５の例（第２の例）では、検出される頂点領域Ａ３の数は７（＝Ｎ＋３）であり、図６の例（第３の例）では、検出される頂点領域Ａ３の数は６（＝Ｎ＋２）であり、図７の例（第４の例）では、検出される頂点領域Ａ３の数は８（＝Ｎ＋４）である。従って、上記構成によれば、検出された頂点数と「Ｎ＋ｄ」とを比較することによって、二重載せの状態であるか否かを適切に判定することができる。

ここで、閾値ｄは２であってもよい。認識部１２による画像認識において、頂点領域Ａ３は、誤検出される可能性がある。具体的には、実際には商品Ｇの頂点に対応しない領域が、誤って頂点領域Ａ３として検出される場合があり得る。閾値ｄを２とすることにより、このような頂点領域Ａ３の誤検出に起因して生じる二重載せの誤判定を抑制することができる。例えば、トレー２２上に商品Ｇが１つだけ載置されているにもかかわらず、認識部１２によって実際には存在しない頂点に対応する頂点領域Ａ３が１つ誤検出された場合について考える。この場合、認識部１２により検出された頂点領域Ａ３の数は５つとなる。閾値ｄを２とした場合、判定部１３は、認識部１２により検出された頂点領域Ａ３の数が６つ以上である場合に二重載せであると判定することになる。その結果、上記場合に判定部１３が誤って二重載せであると判定してしまうことを防止できる。

なお、二重載せの状態において、認識部１２により検出される頂点領域Ａ３の数が「Ｎ＋１」となる場合もあり得る。例えば、図７の例のように一方の商品Ｇ１が他方の商品Ｇ２よりも大きい場合であって、商品Ｇ１が商品Ｇ２の「Ｎ－１」個（ここでは３つ）の頂点を覆い隠すように商品Ｇ２の上に重なる場合には、認識部１２によって検出される頂点領域Ａ３の数は「Ｎ＋１」個（ここでは５つ）となる。ただし、このような状態が発生する可能性は比較的低いと考えられる。従って、閾値ｄを２とすることによって二重載せの判定漏れ（実際には二重載せの状態であるにもかかわらず二重載せであると判定しないこと）が生じ得るものの、そのデメリットよりも、上述したような二重載せの誤判定（実際には二重載せの状態でないものを二重載せと判定すること）を抑制できるメリットの方が大きいと考えられる。

なお、二重載せの判定の正確性（適合率）よりも再現率を重視する場合（すなわち、誤判定が生じることをある程度許容して判定漏れが生じることを極力防止したい場合）には、閾値ｄを１とすればよい。逆に、二重載せの判定の再現率よりも適合率を重視する場合（すなわち、判定漏れが生じることをある程度許容して誤判定が生じることを極力防止したい場合）には、閾値ｄを大きくすればよい。このように、閾値ｄは、実現したい二重載せの判定の適合率及び再現率のバランスに応じて決定されればよい。また、閾値ｄは、認識部１２による画像認識の精度に応じて決定されてもよい。例えば、認識部１２によって頂点領域Ａ３が誤検出される確率が比較的低い場合には、閾値ｄを小さくし、認識部１２によって頂点領域Ａ３が誤検出される確率が比較的高い場合には、閾値ｄを大きくしてもよい。

また、判定部１３は、認識部１２により検出された頂点領域Ａ３のうち商品領域Ａ２の外側で検出された頂点領域Ａ３２（図８参照）を除外して、二重載せの状態であるか否かを判定してもよい。例えば、図８に示されるように、トレー２２の商品載置面の傷、模様、カメラ３０による撮影時における光の反射の具合等によって、商品領域Ａ２の外側の領域（トレー２２に対応する領域）において、頂点領域Ａ３が誤検出される場合がある。上述したように閾値ｄを２以上とすることによっても、このような頂点領域Ａ３が検出された場合に二重載せの誤判定が生じることを抑制できるが、判定部１３は、上述したように商品領域Ａ２の外側で検出された頂点領域Ａ３を除外する（無効にする）ことによっても、二重載せの誤判定が生じることを抑制できる。なお、頂点領域Ａ３の誤検出は、商品領域Ａ２の内側で生じることもあり得るため、閾値ｄを２以上に設定する処理と、商品領域Ａ２の外側で検出された頂点領域Ａ３２を除外する処理と、は併用されてもよい。

また、判定部１３は、認識部１２によって商品占有領域Ａ４（図５参照）の内側において頂点領域Ａ３（すなわち、内包頂点に対応する頂点領域Ａ３１）が検出された場合に、二重載せであると判定してもよい。商品占有領域Ａ４の内側で検出された頂点領域Ａ３１は、当該頂点領域Ａ３１が誤検出によるものではない場合には、一の商品Ｇ上に重なる他の商品Ｇの頂点に対応する頂点領域であることになる。従って、上記構成によれば、内包頂点が検出されたことに基づいて、二重載せの状態を適切に検知することができる。

判定部１３は、上述した判定結果を、例えば検知装置１０が備えるディスプレイ等の出力装置に出力してもよい。例えば、二重載せの状態が判定された場合に、判定部１３は、二重載せの状態が判定されたトレー２２のトレーＩＤと共に、当該トレーＩＤに示されるトレー２２において二重載せの状態が発生していることを示す情報を、ディスプレイ等に出力してもよい。或いは、判定部１３は、検知装置１０が備えるスピーカ等の出力装置からアラート（警報）を出力したり、現場に設置されたパトランプを点灯させたりすることによって、異常状態（二重載せの状態）が検知されたことを現場の作業員等に通知してもよい。

次に、図９のフローチャートを参照して、検知装置１０の動作の一例について説明する。

ステップＳ１において、取得部１１は、トレー画像ＩＭ１（図３参照）を取得する。トレー画像ＩＭ１は、撮影エリアＳＡ（図２参照）を通過するトレー２２をカメラ３０が撮影することによって得られた画像である。

ステップＳ２において、認識部１２は、トレー画像ＩＭ１に対する画像認識を実行することにより、ＩＤ領域Ａ１、商品領域Ａ２、及び頂点領域Ａ３を検出する。なお、トレー２２に商品Ｇが載置されていない場合には、ＩＤ領域Ａ１のみが検出される。また、認識部１２は、商品占有領域Ａ４（図５参照）を更に検出（推定）してもよい。

ステップＳ３において、判定部１３は、ステップＳ２における頂点（頂点領域Ａ３）の検出結果に基づいて、トレー２２に複数の商品Ｇが載置されているか否か（すなわち、二重載せの状態であるか否か）を判定する。

図１０のフローチャートを参照して、判定部１３による判定処理（図９のステップＳ３）の手順の一例について説明する。

ステップＳ３１において、判定部１３は、認識部１２によって商品占有領域Ａ４が推定されたか否かを判定する。商品占有領域Ａ４が推定されている場合（ステップＳ３１：ＹＥＳ）には、判定部１３は、ステップＳ３２の処理に進む。一方、商品占有領域Ａ４が推定されていない場合（ステップＳ３１：ＮＯ）には、判定部１３は、ステップＳ３４の処理に進む。

ステップＳ３２において、判定部１３は、認識部１２によって商品占有領域Ａ４の内側で頂点が検出されたか否かを判定する。すなわち、判定部１３は、内包頂点に対応する頂点領域Ａ３１が検出されたか否かを判定する。頂点領域Ａ３１が検出されている場合（ステップＳ３２：ＹＥＳ）には、判定部１３は、二重載せの状態であると判定する（ステップＳ３３）。一方、頂点領域Ａ３１が検出されていない場合（ステップＳ３２：ＮＯ）には、判定部１３は、ステップＳ３４の処理に進む。

ステップＳ３４において、判定部１３は、認識部１２によって商品領域Ａ２の外側で頂点（すなわち、頂点領域Ａ３２（図８参照））が検出されたか否かを判定する。頂点領域Ａ３２が検出されている場合（ステップＳ３４：ＹＥＳ）には、判定部１３は、当該頂点領域Ａ３２を除外し（ステップＳ３５）、ステップＳ３６の処理に進む。一方、頂点領域Ａ３２が検出されていない場合（ステップＳ３４：ＮＯ）には、判定部１３は、上記ステップＳ３５の処理をスキップして、ステップＳ３６の処理に進む。

ステップＳ３６において、判定部１３は、認識部１２によって検出された頂点数（頂点領域Ａ３の数）がＮ＋ｄ以上であるか否かを判定する（ステップＳ３６）。検出された頂点数がＮ＋ｄ以上である場合（ステップＳ３６：ＹＥＳ）、判定部１３は、二重載せの状態であると判定する（ステップＳ３３）。一方、検出された頂点数がＮ＋ｄ未満の場合（ステップＳ３６：ＮＯ）、判定部１３は、正常状態であると判定する（ステップＳ３７）。

なお、認識部１２による商品占有領域Ａ４（図５参照）の推定処理が省略される（或いは実行できない）ことが予め判明している場合等には、図１０におけるステップＳ３１及びＳ３２は省略されてもよい。この場合、判定処理は、ステップＳ３４から開始されることになる。また、商品領域Ａ２の外側で検出された頂点領域Ａ３２を除外する処理は必須ではない。すなわち、図１０におけるステップＳ３４及びＳ３５は、省略されてもよい。

また、判定部１３は、内包頂点に対応する頂点領域Ａ３２が検出されたか否かのみに基づいて、二重載せであるか否かを判定してもよい。すなわち、判定部１３は、図１０におけるステップＳ３１～Ｓ３３のみを実行し、図１０におけるステップＳ３４～Ｓ３７を省略してもよい。この場合、判定部１３は、図４に示される態様（２つの商品Ｇ１，Ｇ２同士が重なっていない態様）の二重載せを検知することはできないものの、図５～図７に示した態様の二重載せを検知することができる。従って、例えば、トレー２２の大きさに対して商品Ｇが十分に大きく、トレー２２上に２つの商品Ｇが載置されると必然的に２つの商品Ｇ同士が重なってしまう場合（すなわち、図４に示される態様の二重載せが発生し得ない場合）には、判定部１３は、図１０におけるステップＳ３１～Ｓ３３のみを実行することによって、適切に二重載せを検知することができる。

以上説明した検知装置１０においては、商品Ｇが載置された状態で搬送されるトレー２２の画像（トレー画像ＩＭ１）に対する画像認識結果から、トレー画像ＩＭ１に含まれる商品Ｇの頂点（角部）に対応する頂点領域Ａ３が検出される。そして、頂点領域Ａ３の検出結果（例えば、頂点数）に基づいて、トレー２２に複数の商品Ｇが載置されている状態（いわゆる二重載せの状態）であるか否かが判定される。検知装置１０によれば、トレー２２の上方から撮影されたトレー画像ＩＭ１に対する比較的簡易な解析処理によって異常状態（上述した二重載せの状態）を検知することができる。すなわち、物品搬送（商品Ｇの搬送）に関する異常状態（二重載せの状態）を、簡易な設備で検知することができる。

物流センタ等のソーターシステム２０のように商品Ｇを高速に仕分けする必要がある場合には、トレー２２の搬送速度が比較的速い。このため、例えばＲＧＢ－Ｄセンサ等によってトレー２２内の商品Ｇの３次元形状を捉えることは困難である。一方、検知装置１０では、上述したような３次元形状を認識するための特別なセンサ等を用いずに、カメラ３０によって取得された２次元のトレー画像ＩＭ１を用いて異常状態（二重載せ）を検知することができる。

また、トレー２２には、トレー２２を識別するためのトレーＩＤが記載されたＩＤ領域が設けられている（図３参照）。そして、認識部１２は、頂点領域Ａ３だけでなく、ＩＤ領域Ａ１も検出する。この場合、トレー２２毎の判定結果を容易に管理することが可能となる。例えば、二重載せが検知されたトレー２２をトレーＩＤによって特定できる。

なお、検知装置１０によって二重載せを判定される対象は、必ずしも消費者に販売されることが目的とされた商品Ｇでなくてもよく、商品用途以外の物品であってもよい。また、上記実施形態では「Ｎ＝４」の場合（すなわち、商品Ｇが平面視において四角形状である場合）について説明したが、商品Ｇは、三角形状、五角形状等の四角形状以外の形状であってもよい。また、トレー画像ＩＭ１の種類は特に限定されない。トレー画像ＩＭ１は、上述した画像解析が可能な画像であればよく、例えばＸ線を用いて取得されたＸ線画像等であってもよい。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。

例えば、本開示の一実施の形態における検知装置１０は、本開示の通信制御方法を行うコンピュータとして機能してもよい。図１１は、本開示の一実施の形態に係る検知装置１０のハードウェア構成の一例を示す図である。上述の検知装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。検知装置１０のハードウェア構成は、図１に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

検知装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、認識部１２は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る通信制御方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、検知装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

次に、コンピュータを、本実施形態の検知装置１０として機能させるための検知プログラムについて説明する。図１２は、検知プログラムＰの構成を示す図である。

検知プログラムＰは、検知装置１０における上記の処理を統括的に制御するメインモジュールｍ１０、取得モジュールｍ１１、認識モジュールｍ１２、及び判定モジュールｍ１３を有する。各モジュールｍ１１～ｍ１３により、検知装置１０における取得部１１、認識部１２、及び判定部１３が実現される。なお、検知プログラムＰは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１２に示されるように、記録媒体Ｍに記憶される態様であってもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０…検知装置、１１…取得部、１２…認識部、１３…判定部、２２…トレー、Ａ１…ＩＤ領域、Ａ２…商品領域（物品領域）、Ａ３，Ａ３１，Ａ３２…頂点領域、Ａ４…商品占有領域（物品占有領域）、Ｇ…商品（物品）、ＩＭ１…トレー画像。

Claims (8)

1. 平面視において多角形状の物品が載置された状態で搬送されるトレーを上方から撮影することにより得られたトレー画像を取得する取得部と、
   前記トレー画像に対して画像認識を実行することにより、前記トレー画像に含まれる前記物品の頂点を検出する認識部と、
   前記認識部による前記頂点の検出結果に基づいて、前記トレーに複数の前記物品が載置されているか否かを判定する判定部と、
   を備える検知装置。
2. 前記頂点の検出結果は、前記認識部により検出された前記頂点の数の情報を含んでおり、
   前記判定部は、前記認識部により検出された前記頂点の数に基づいて、前記トレーに複数の前記物品が載置されているか否かを判定する、請求項１に記載の検知装置。
3. 前記物品は、Ｎ角形状（Ｎは３以上の整数）であり、
   前記判定部は、前記認識部により検出された前記頂点の数が、Ｎと１以上の所定の閾値との和以上である場合に、前記トレーに複数の前記物品が載置されていると判定する、請求項２に記載の検知装置。
4. 前記閾値は２である、請求項３に記載の検知装置。
5. 前記認識部は、前記トレー画像において前記物品の全体を含む物品領域を更に検出し、
   前記判定部は、前記認識部により検出された前記頂点のうち前記物品領域の外側において検出された前記頂点を除外して、前記トレーに複数の前記物品が載置されているか否かを判定する、請求項１～４のいずれか一項に記載の検知装置。
6. 前記認識部は、前記物品領域内において前記物品が占める物品占有領域を推定し、
   前記判定部は、前記認識部によって前記物品占有領域の内側において前記頂点が検出された場合に、前記トレーに複数の前記物品が載置されていると判定する、請求項５に記載の検知装置。
7. 前記トレーには、前記トレーを識別するためのトレーＩＤが記載されたＩＤ領域が設けられており、
   前記認識部は、前記ＩＤ領域を更に検出する、請求項１～６のいずれか一項に記載の検知装置。
8. コンピュータを、
   多角形状の物品が載置された状態で搬送されるトレーを上方から撮影することにより得られたトレー画像を取得する取得部、
   前記トレー画像に対して画像認識を実行することにより、前記トレー画像に含まれる前記物品の頂点を検出する認識部、及び
   前記認識部による前記頂点の検出結果に基づいて、前記トレーに複数の前記物品が載置されているか否かを判定する判定部、
   として機能させる検知プログラム。

Images