JP2022021602A

JP2022021602A - 商品補充システム、および商品補充方法

Info

Publication number: JP2022021602A
Application number: JP2020125272A
Authority: JP
Inventors: 竜一玉田; Ryuichi Tamada
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2022-02-03
Anticipated expiration: 2040-07-22
Also published as: JP7512735B2; JP2024109698A

Abstract

【課題】商品棚に商品を補充する際のコストの低減、および設置スペースの低減を図ること。
【解決手段】商品補充システム１の制御部６０は、撮像部４０により撮像された撮像データに基づいて、商品棚２０に並べられた商品Ｇの数を検出し、検出された商品Ｇの数が所定以下である場合には、補充部３０を制御して、保管棚１０に保管されている商品Ｇを搬送するとともに、撮像部４０により撮像された撮像データに基づいて、回転部５０を制御して、商品Ｇの正面が商品棚２０の取り出し口２１側に向くように商品Ｇの向きを回転して商品棚２０に商品Ｇを補充する。
【選択図】図１

Description

本発明は、商品補充システム、および商品補充方法に関する。

従来、スーパーやコンビニエンスストア等において、飲料缶や飲料ペットボトルなどの商品が商品棚に配置して販売されている。買い物客が商品棚から商品を取り出すと、商品棚に配置されたレーン毎に補充された商品が店内側へ移動するため、商品が徐々に不足してくる。

このため、店員はバックヤードから商品棚へ商品を補充する必要がある。店員による商品の補充作業を補助するため、商品棚の商品が少なくなったことを検知して商品を補充する商品補充システムが提案されている（例えば、特許文献１参照）。

特開２０１８－１１０７５５号公報

しかしながら、特許文献１に記載の商品補充システムでは、商品が少なくなったことを検知するための検知センサを商品棚に配置されたレーン毎に配置する必要があるため、コストがかかる。また、商品棚のレーン毎に検知センサを設置しなければならず設置スペースに無駄が生じる。

また、特許文献１に記載の商品補充システムでは、商品棚に商品を配置する際に、二次元コードを起点として商品の向きを揃えるように制御しているが、二次元コードを検出するための計測部を検知センサとは別に設けなければならずコストがかかる。

本発明は、このような実情に鑑みてなされたものであり、商品棚に商品を補充する際のコストの低減、および設置スペースの低減を図ることができる商品補充システムおよび商品補充方法を提供することを目的の１つとする。

本実施形態の商品補充システムは、その一態様では、商品を撮像する撮像部と、保管棚に保管されている前記商品を商品棚に補充する補充部と、前記補充部により補充される前記商品の向きを回転する回転部と、前記撮像部、前記補充部、および前記回転部を少なくとも制御する制御部と、を備え、前記制御部は、前記撮像部により撮像された撮像データに基づいて、前記商品棚に並べられた前記商品の数を検出し、前記検出された前記商品が所定数以下である場合には、前記補充部を制御して、前記保管棚に保管されている前記商品を搬送するとともに、前記撮像部により撮像された撮像データに基づいて、前記回転部を制御して、前記商品の正面が前記商品棚の取り出し口側に向くように前記商品の向きを回転して前記商品棚に前記商品を補充することを特徴とする。

本実施形態の商品補充方法は、その一態様では、商品を撮像する撮像部と、保管棚に保管されている前記商品を商品棚に補充する補充部と、前記補充部により補充される前記商品の向きを回転する回転部と、前記撮像部、前記補充部、および前記回転部を少なくとも制御する制御部と、を備える商品補充システムが実行する商品補充方法であって、商品を撮像する撮像部により撮像された撮像データに基づいて、商品棚に並べられた前記商品の数を検出するステップと、前記検出された前記商品が所定数以下である場合には、前記補充部を制御して、前記保管棚に保管されている前記商品を搬送するステップと、前記搬送された前記商品を、前記撮像部により撮像された撮像データに基づいて、前記回転部を制御して、前記商品の正面が前記商品棚の取り出し口側に向くように前記商品の向きを回転するステップと、前記回転した前記商品を前記補充部を制御して前記商品棚に前記商品を補充するステップと、を有することを特徴とする。

本発明によれば、商品棚に商品補充する際のコストの低減、および設置スペースの低減を図ることができる。

本実施の形態に係る商品補充システムの全体斜視図である。商品補充システムの断面図である。商品補充システムの俯瞰図である。商品補充システムの側面図である。補充部の詳細を示す拡大図である。補充部の詳細を示す拡大図である。撮像部により商品までの距離を算出する模式図である。撮像部により商品までの距離を算出する模式図である。商品の向きを説明するための模式図である。商品補充システムで実行される商品補充処理の一例を示すフローチャートである。空きレーンチェック処理の一例を示すフローチャートである。在庫検知処理の一例を示すフローチャートである。商品補充処理の一例を示すフローチャートである。

以下、本発明に係る商品補充システムの実施形態について、図面を参照して説明する。図１～図４は、本実施の形態に係る商品補充システム構成の説明図である。図１～図４に示すように、本実施の形態に係る商品補充システム１は、保管棚１０に保管されている商品Ｇを搬送して商品棚２０に補充する。図１は、商品補充システム１の全体斜視図である。図２は、商品補充システム１の断面図である。図３は、商品補充システム１の俯瞰図である。図４は、商品補充システム１の側面図である。

本実施の形態において、保管棚１０から向かって商品棚２０の方向をＸ方向とする。Ｘ方向は、買い物客が商品棚２０から商品Ｇを取り出す方向、すなわち、商品棚２０の取り出し口２１の方向である。また、保管棚１０、および商品棚２０の幅方向をＹ方向とする。また、保管棚１０、および商品棚２０の高さ方向をＺ方向とする。

保管棚１０は、複数の棚板１１１により構成される。各棚板１１１には、商品格納位置毎に複数の種類の商品Ｇが保管されている。同一の商品格納位置には、同一種類の商品Ｇが保管されている。商品格納位置毎に保管されている商品Ｇは同一の種類であってもよいし、異なる種類であってもよい。

商品棚２０は、複数の棚板２１１により構成される。各棚板２１１には、レーン毎に複数の種類の商品Ｇが補充されている。同一のレーンには、同一種類の商品Ｇが補充されている。レーン毎に補充されている商品Ｇは同一の種類であってもよいし、異なる種類であってもよい。

商品補充システム１は、補充部３０、撮像部４０、回転部５０、制御部６０、および報知部７０、記憶部８０を備える。商品補充システム１は、図１～図４に示していない他の構成要素を含んでいてもよい。補充部３０、撮像部４０、回転部５０、制御部６０、報知部７０、および記憶部８０は、例えば、無線のネットワークを介して接続される。補充部３０、撮像部４０、回転部５０、制御部６０、および報知部７０は、有線のネットワークを介して接続されてもよい。

補充部３０は、保管棚１０に保管されている商品Ｇを商品棚２０に補充する。図５、図６は、補充部３０の詳細を示す拡大図である。図５は、補充部３０の全体斜視図である。図６は、補充部３０の側面図である。補充部３０は、例えば、スライド部３１０、および多関節のアーム部３２０により構成される。

スライド部３１０は、例えば、一対の左右スライド部３１１、３１２、上下スライド部３１３、および基台部３１４により構成される。一対の左右スライド部３１１、３１２は、商品棚２０の上下端においてそれぞれ幅方向に沿って配置される。上下スライド部３１３は、商品棚２０の高さ方向に沿って配置され、商品棚２０の上下端において、左右スライド部３１１、３１２に接続される。基台部３１４は、アーム部３２０を固定する台である。

アーム部３２０は、例えば、第１アーム部３２１、第２アーム部３２２、第３アーム部３２３、および把持部３２４により構成される。第１アーム部３２１は、例えば、円筒形状に形成される。第１アーム部３２１の一端は、基台部３１４に固定される。第１アーム部３２１は、基台部３１４から垂直方向（Ｚ軸方向）上方に向かって延設される。第１アーム部３２１の他端は、第２アーム部３２２と回動可能に軸支される。

第２アーム部３２２は、例えば、直方体形状に形成される。第２アーム部３２２の一端は、第１アーム部３２１の他端と回動可能に軸支される。第２アーム部３２２の他端は、第３アーム部３２３と回動可能に軸支される。

第３アーム部３２３は、例えば、直方体形状に形成される。第３アーム部３２３の一端は、第２アーム部３２２の他端と回動可能に軸支される。第３アーム部３２３の他端は、把持部３２４と回動可能に軸支される。

把持部３２４は、商品Ｇを把持できるよう形成される。把持部３２４は、例えば、断面コ字状に形成される。把持部３２４は、商品Ｇの幅や太さによって、把持する幅を自在に変更することができる。

アーム部３２０を固定する基台部３１４は、上下スライド部３１３において上下方向（Ｚ軸方向）に沿ってスライド可能に固定される。したがって、アーム部３２０は、商品棚２０の幅方向（Ｙ軸方向）および上下方向（Ｚ軸方向）に移動自在に固定されている。これにより補充部３０は、把持部３２４により把持した商品Ｇを自在に搬送することができる。

更に、基台部３１４は、水平方向に回転可能に軸支されている。これにより、図２の上方に示すように、基台部３１４を回転して保管部１０側に補充部３０を向けて保管部１０に保管されている商品Ｇを把持することができる。更に、図２の下方に示すように、基台部３１４を回転して商品棚２０側に補充部３０を向けた状態で把持部３２４による商品Ｇの把持を解放することにより、商品棚２０に商品Ｇを補充することができる。

撮像部４０は、商品Ｇを撮像する。撮像部４０は、例えば、補充部３０に配置されている。撮像部４０は、例えば、補充部３０の第１アーム部３２１に配置されている。撮像部４０は、例えば、被写界深度が異なる２組以上のステレオカメラである。撮像部４０は、例えば、２組のステレオカメラＬ、ステレオカメラＲにより構成される。

図７、図８は、撮像部４０により商品Ｇまでの距離を算出する模式図である。図７、図８に示すように、制御部６０は、互いに離れたステレオカメラＬ、ステレオカメラＲにより撮像された撮像データに基づき、撮像部４０から商品Ｇの点Ｐまで距離ｄを算出することができる。ステレオカメラＬ、ステレオカメラＲの主点がキャリブレーションされ、それぞれ左と右の画像内で同じピクセル座標を持つとする。さらに、これらの画像の行が揃っており、かつ、ステレオカメラＬ内にあるすべてのピクセルの行はステレオカメラＲの対応する行と正確に揃っていると仮定した場合、実世界の点Ｐが左右の画像ビューの中に存在し、その水平座標として,ｘ_ｌとｘ_ｒを持つとする。この時、ステレオカメラＬ、ステレオカメラＲ間の視差ｌ（ｍｅｔｅｒｓ）は、ｘ_ｌ－ｘ_ｒで定義される。制御部６０は、三角測量の原理で商品Ｇの点Ｐまでの距離ｄを、式１により算出する。
ｄ（ｍｅｔｅｒｓ）＝
（（ｌ（ｍｅｔｅｒｓ））×（ｆ（ｐｉｘｅｌｓ）））／（（ｘ_ｌ－ｘ_ｒ）（ｐｉｘｅｌｓ））・・・（式１）
ｆ＝焦点距離

制御部６０は、商品棚２０に補充されている商品Ｇに対し算出した距離ｄに基づいて、商品棚２０のレーンに配置されている商品の数を検出する。事前処理として、制御部６０は、例えば、補充部３０を制御して、記憶部８０に商品Ｇの種類を記憶している商品棚２０のレーンの正面に移動する。制御部６０は、移動したレーンにおいて、ステレオカメラＬ、ステレオカメラＲで撮像することにより商品Ｇまでの距離ｄを算出する。制御部６０は、例えば、算出した距離ｄから不足商品の商品数（不足数）を、以下の算出例１～３のいずれかにより算出する。各商品Ｇの種類のレーンは、記憶部８０のテーブルに記憶されている。また、各商品Ｇの種類のレーンは、図示せぬサーバに記憶されていてもよい。

（算出例１）制御部６０は、任意のレーンにおいて、算出した距離ｄから商品Ｇがレーンに充足された時（以下、「商品充足時」という）の距離ｄｆを減算した値を、そのレーンに補充されている商品Ｇ一本分の長さで割ることにより不足商品の商品数（不足数）を算出する。

（算出例２）制御部６０は、任意のレーンにおいて、商品充足時の距離ｄｆから、商品Ｇを１本ずつ減らして、空になるまでの距離ｄｅを計測する。制御部６０は、任意のレーンにおいて算出した距離ｄと、空になるまでの距離ｄｅと、照合することにより不足商品の商品数（不足数）を算出する。

（算出例３）制御部６０は、任意のレーンにおいて、商品充足時の距離ｄｆから、商品Ｇを１本ずつ減らして、空になるまでの距離ｄｅを計測するとともに、撮像部４０により撮像した撮像データをディープニューラルネットワーク（DNN：Deep Neural Network）に入力する。制御部６０は、ディープニューラルネットワークにより算出された値を不足商品の商品数（不足数）として算出する。

制御部６０は、算出例１～３のいずれかにより算出された不足商品の種類と、不足商品の商品数（不足数）を記憶部８０に記憶されている補充商品リストに記憶する。制御部６０は、上記不足本数の算出を商品棚２０に配置された全てのレーンに対して実行する。

制御部６０は、保管棚１０に保管されている商品Ｇに対して算出した距離ｄに基づいて、保管棚１０に保管されている商品Ｇの格納位置（以下、「商品格納位置」と呼ぶ）に配置されている商品Ｇの在庫数を検出する。事前処理として、制御部６０は、例えば、補充部３０を制御して、記憶部８０に商品Ｇの種類を記憶している保管棚１０の商品格納位置の正面に移動する。制御部６０は、移動した商品格納位置において、ステレオカメラＬ、ステレオカメラＲで撮像することにより商品Ｇまでの距離ｄを算出する。制御部６０は、例えば、算出した距離ｄから商品Ｇの在庫があるか否かを判断する。各商品Ｇの種類の商品格納位置は、記憶部８０に記憶されている。また、各商品Ｇの種類の商品格納位置は、図示せぬサーバに記憶されていてもよい。

保管棚１０の商品格納位置に商品Ｇの在庫がない場合には、制御部６０は、報知部７０を制御して、店員に商品Ｇの在庫がないことを報知する。報知部７０は、例えば、スピーカ、ディスプレイ、回転灯などにより形成され、店員に報知するメッセージ、音声などが報知される。報知部７０は、例えば、店員だけに認知できるように商品棚２０の背面、レジ台などに配置することができる。報知部７０による報知を受けた店員は、商品の在庫がないことをいち早く知ることができ、商品の欠品を抑制することができる。

保管棚１０の商品格納位置に商品Ｇの在庫がある場合には、制御部６０は、撮像部４０を制御して撮像した商品Ｇの撮像データに基づき商品の状態が良いか否かを判定する。制御部６０は、例えば、撮像部４０を制御して撮像した商品Ｇの撮像データにより得られた商品Ｇの特徴が、予め記憶部８０に記憶している商品Ｇの特徴と一致するか否かを判定することにより、商品Ｇの状態が良いか否かを判定することができる。商品Ｇの特徴は、図示しないサーバに記憶されていてもよい。商品Ｇが変形や、商品Ｇの転倒により、予め記憶している商品Ｇの特徴と一致しない場合には、報知部７０を制御して、店員に商品Ｇに異常があることを報知する。報知部７０による報知を受けた店員は、商品Ｇに異常があることをいち早く知ることができ、異常な商品Ｇにより顧客に迷惑がかかることを未然に防ぐことができる。

商品に異常がない場合には、制御部６０は、補充部３０を制御して、保管棚１０に保管されている商品Ｇを把持して、回転部５０の上に配置する。回転部５０は、補充部３０により補充される商品Ｇを回転して商品の向きを揃える。回転部５０は、例えば、円盤型の台により形成される。回転部５０は、制御部６０の制御に基づき、補充部３０により載置された商品Ｇを垂直方向の軸（Ｚ軸）を中心に回転して商品の向きを揃える。

図９は、商品Ｇの向きを説明するための模式図である。本実施の形態では、商品ＧのパッケージＣが貼付された面を正面、パッケージＣが貼付された面の反対側の面を背面とする。図９（Ａ）は、商品Ｇの正面を示す図である。図９（Ｂ）は、商品Ｇの背面を示す図である。図９（Ｃ）、図９（Ｄ）は、商品Ｇの側面を示す図である。

制御部６０は、回転部５０の上に載置した商品Ｇを回転させながら撮像部４０により商品Ｇを複数の方向から撮像した画像とのパターンマッチングを行うことにより、商品Ｇの正面、および背面を検出することができる。制御部６０は、撮像部４０により撮像された撮像データを、フェースアップするまでの回転角とともに記憶部８０に記憶しておく。制御部６０は、例えば、商品ＧのパッケージＣの模様に基づいてパターンマッチングを行うことができる。これにより、バーコード等の二次元コードに基づいて商品Ｇの正面や背面を検出する場合と比較して、読み取りエラー時のリカバリー時間が短縮することができる。パターンマッチングの情報は、記憶部８０に記憶されている。パターンマッチングの情報は、図示せぬサーバに記憶されていてもよい。

制御部６０は、回転部５０の回転速度と、撮像部４０により撮像されたパターンマッチングの位置と、の関係に基づいて商品Ｇの背面が補充部３０側となる位置で回転部５０の回転を停止する。制御部６０は、例えば、マッチングした画像データより、フェースアップする回転角だけ回転部５０を回転させ、図９（Ｂ）の位置で回転を停止する。

制御部６０は、補充部３０を制御して商品Ｇを背面側から把持した状態で、補充すべき商品棚２０のレーンに移動する。そして、制御部６０は、互いに離れたステレオカメラＬ、ステレオカメラＲにより撮像された撮像データに基づき、撮像部４０から商品棚２０のレーンに配置されている商品Ｇの点Ｐまでの距離ｄを算出する。

制御部６０は、算出された商品棚２０のレーンに配置されている商品Ｇの点Ｐまでの距離ｄに基づいて商品Ｇがレーンに充足しているか、すなわち、レーンに空きスペースがないか否かを判定する。

商品Ｇがレーンに充足している場合、すなわち、商品Ｇを補充する空きスペースがない場合には、制御部６０は、補充部３０を制御して、商品Ｇが保管されていた保管棚１０の元の商品格納位置に商品Ｇを戻す。この場合、制御部６０は、記憶部８０に記憶されている補充商品リストから該当する不足商品を削除または不足商品の商品数（不足数）を０にする。

商品Ｇがレーンに不足している場合、すなわち、商品Ｇを補充する空きスペースがある場合には、制御部６０は、補充部３０を制御して、図２に示すように、商品ＧのパッケージＣを商品棚２０の取り出し口２１に向かって配置する。これにより、商品ＧのパッケージＣを商品棚の正面側に向けて補充することができる。フェースアップを自動的に行うことができる。本実施の形態において、フェースアップとは、商品ＧのパッケージＣを商品棚２０の取り出し口２１側に配置する処理をいう。この場合、制御部６０は、記憶部８０に記憶されている補充商品リストから該当する不足商品の商品数（不足数）から１を減算する。

制御部６０は、例えば、ＣＰＵ（Central Processing Unit）、マルチコアＣＰＵ、またはプログラマブルなデバイス（ＰＬＤ（Programmable Logic Device））により構成される。制御部６０は、商品補充システム１全体の制御を行う。制御部６０は、記憶部８０に記憶されたプログラムに基づいて、各種制御や商品補充処理を行う。

次に、商品補充システム１で実行される商品補充処理による商品補充方法について説明する。図１０～図１３は、商品補充システム１で実行される商品補充処理の一例を示すフローチャートである。はじめに、制御部６０は、定期的に空きレーン検知処理を行う（ステップＳ１１）。空きレーン検知処理では、制御部６０は、商品棚２０をバックヤード側から定期的に商品Ｇが不足していないかチェックを行う。補充すべき商品Ｇ、すなわち、空きレーンがない場合には制御部６０は処理を待機する。

図１１は、図１０のステップＳ１１で実行される空きレーンチェック処理の一例を示すフローチャートである。初めに、制御部６０は、補充部３０を制御して事前に記憶した商品棚２０のレーンのうち未検査のレーンの正面に移動する（ステップＳ１１１）。制御部６０は、移動した未検査のレーンにおいて、撮像部４０から商品Ｇまでの距離ｄを撮像部４０のステレオカメラＬ、ステレオカメラＲで算出し、算出した距離ｄに基づいて商品の数を検出する（ステップＳ１１２）。

制御部６０は、ステップＳ１１２で検出した商品が所定数以下であるか否かを判定する（ステップＳ１１３）。検出した商品が所定数より多い場合（ステップＳ１１３：ＮＯ）の場合には、処理はステップＳ１１５に進む。検出した商品が所定数以下の場合（ステップＳ１１３：ＹＥＳ）の場合には、制御部６０は、所定数以下であると判定した商品を不足商品として、不足商品、及び、その不足商品の商品数（不足数）を記憶部８０に記憶されている補充商品リストに記憶する（ステップＳ１１４）。

ステップＳ１１５において、制御部６０は、商品棚２０に未検査のレーンがあるか否かを判定する。未検査のレーンがある場合（ステップＳ１１５：ＹＥＳ）には、ステップＳ１１１に移動し、制御部６０は、未検査のレーンがなくなるまでステップＳ１１１～ステップＳ１１５の処理を繰り返し実行する。そして、未検査のレーンがなくなった場合（ステップＳ１１５：ＮＯ）には、空きレーンチェック処理は終了となり、処理は図１０のステップＳ１２に移る。

図１０のステップＳ１２において、制御部６０は、空きレーンがあるか否かを判定する。空きレーンがない場合（ステップＳ１２：ＮＯ）には、空きレーンが出るまでの間処理は待機となる。空きレーンがある場合には、制御部６０は、在庫検知処理を行う（ステップＳ１３）。

図１２は、図１０のステップＳ１３で実行される在庫検知処理の一例を示すフローチャートである。初めに、制御部６０は、補充部３０を制御して保管棚１０の商品格納位置へ移動する（ステップＳ１３１）。

制御部６０は、移動した商品格納位置において、撮像部４０から商品Ｇまでの距離ｄを撮像部４０のステレオカメラＬ、ステレオカメラＲで算出し（ステップＳ１３２）、算出した距離ｄに基づいて商品の在庫があるか否かを判定する（ステップＳ１３３）。商品の在庫がない場合（ステップＳ１３３：ＮＯ）には、制御部６０は、報知部７０を制御して第１アラームにより商品の在庫がないことを店員へ警告する（ステップＳ１３４）。第１アラームは、音または光により店員に警告する報知内容である。店員へ第１アラームによる報知を行うことにより、商品の在庫がないことをいち早く知らせることができ、商品をいち早く補充することができる。この処理が終了すると在庫検知処理は終了となり、処理は図１０のステップＳ１４に移る。

商品の在庫がある場合（ステップＳ１３３：ＹＥＳ）には、制御部６０は、撮像部４０により商品Ｇを撮像して得られた撮像データに基づき商品Ｇの状態がよいか否かを判定する（ステップＳ１３５）。商品の状態が悪い場合（ステップＳ１３５：ＮＯ）には、制御部６０は、報知部７０を制御して第１アラームにより商品の状態が悪いことを店員へ警告する（ステップＳ１３４）。店員へ第１アラームによる報知を行うことにより、商品に異常があることをいち早く知らせることができ、異常がある商品が消費者の手に渡ることをいち早く止めることができる。この処理が終了すると在庫検知処理は終了となり、処理は図１０のステップＳ１４に移る。

商品Ｇの状態が良い場合（ステップＳ１３５：ＹＥＳ）には、制御部６０は、在庫商品が少ないか否かを判定する（ステップＳ１３６）。在庫商品が少ない場合（ステップＳ１３６：ＹＥＳ）には、制御部６０は、報知部７０を制御して第２アラームにより商品Ｇの在庫が少ないことを店員へ警告する（ステップＳ１３７）。店員へ第２アラームによる報知を行うことにより、商品Ｇの在庫が少ないことをいち早く知らせることができ、商品の欠品が発生するのを防ぐことができる。この処理が終了すると在庫検知処理は終了となり、処理は図１０のステップＳ１４に移る。在庫商品が多い場合（ステップＳ１３６：ＮＯ）には、在庫検知処理は終了となり、処理は図１０のステップＳ１４に移る。

図１０のステップＳ１４において、制御部６０は、補充すべき商品の在庫があるか否かを判定する（ステップＳ１４）。補充すべき商品の在庫がない場合（ステップＳ１４：ＮＯ）には、処理はステップＳ１６に進む。補充すべき商品の在庫がある場合（ステップＳ１４：ＹＥＳ）には、制御部６０は、商品補充処理を行う（ステップＳ１５）。

図１３は、図１０のステップＳ１５で実行される商品補充処理の一例を示すフローチャートである。初めに、制御部６０は、補充部３０を制御して保管棚１０の商品格納位置の商品Ｇを把持する（ステップＳ１５１）。制御部６０は、補充部３０を制御して把持した商品Ｇを回転部５０へ配置するとともに、回転部５０を制御して回転部５０に配置した商品Ｇを回転する（ステップＳ１５２）。

制御部６０は、回転部５０の上に載置した商品Ｇを回転させながら撮像部４０により商品Ｇを複数の方向から撮像した画像とのパターンマッチングを行うことにより、商品Ｇの正面、および背面を検出する（ステップＳ１５３）。

制御部６０は、回転部５０の回転速度と、撮像部４０により撮像されたパターンマッチングの位置と、の関係に基づいて商品Ｇの背面が補充部３０側となる位置で回転部５０の回転を停止する（ステップＳ１５４）。

制御部６０は、補充部３０を制御して商品Ｇを背面側から把持した状態で、商品ＧのパッケージＣが商品棚２０の補充位置まで移動する（ステップＳ１５５）。これにより、商品ＧのパッケージＣを商品棚の正面側に向けて、すなわち、フェースアップをした状態で商品Ｇを補充することができる。

制御部６０は、ステレオカメラＬ、ステレオカメラＲにより撮像された撮像データに基づき、商品棚２０に配置されている商品Ｇの点Ｐまでの距離ｄを算出する（ステップＳ１５６）。制御部６０は、算出した商品Ｇの点Ｐまでの距離ｄに基づき、商品が充足しているか、すなわち、空きレーンがないか否かを判定する（ステップＳ１５７）。

商品が不足している場合、すなわち、空きレーンがある場合（ステップＳ１５７：ＮＯ）には、制御部６０は、補充部３０を制御して商品Ｇを補充する（ステップＳ１５８）。制御部６０は、補充商品リストから補充した商品Ｇの種類の数を１減算する（ステップＳ１５９）。この処理が終了すると商品補充処理は終了となり、処理は図１０のステップＳ１６に移る。

商品が充足している場合、すなわち、空きレーンがない場合（ステップＳ１５７：ＹＥＳには、制御部６０は、保管棚１０へ商品Ｇを戻す（ステップＳ１６０）。制御部６０は、補充商品リストから戻した商品Ｇの種類を削除する（ステップＳ１６１）。この処理が終了すると商品補充処理は終了となり、処理は図１０のステップＳ１６に移る。

図１０のステップＳ１６において、制御部６０は、補充商品リストに商品が記憶されているか否かを判定する（ステップＳ１６）。補充商品リストに商品が記憶されている場合（ステップＳ１６：ＹＥＳ）には、処理はステップＳ１４に戻り、補充商品リスト内の商品がなくなるまでの間、ステップＳ１４～ステップＳ１６の処理が繰り返し実行される。補充商品リスト内の商品がなくなった場合（ステップＳ１６：ＮＯ）には、商品補充処理は終了となる。

以上の商品補充システム１の制御部６０は、撮像部４０により撮像された撮像データに基づいて、商品棚２０に並べられた商品Ｇの数を検出する。制御部６０は、検出された商品Ｇの数が所定以下である場合には、補充部３０を制御して、保管棚１０に保管されている商品Ｇを搬送するとともに、撮像部４０により撮像された撮像データに基づいて、回転部５０を制御して、商品Ｇの正面が商品棚２０の取り出し口側に向くように商品Ｇの向きを回転して商品棚２０に商品Ｇを補充する。
したがって、撮像部４０を制御することにより、商品棚２０に並べられた商品Ｇの数を検出することができるとともに、商品Ｇの正面が商品棚２０の取り出し口側に向くように商品Ｇの向きを回転してフェースアップを行うことができる。これにより、別途センサを設けずに商品Ｇの補充を行うことができるため、商品棚２０に商品を補充する際のコストの低減、および設置スペースの低減を図ることができる。

本発明の商品補充システム及び商品補充方法は、商品棚に商品を補充する際のコストの低減、および設置スペースの低減を図ることができる効果を有するものであり、あらゆる商品補充機器に好適である。

１：商品補充システム
１０：保管棚
１１１：棚板
２０：商品棚
２１：取り出し口
２１１：棚板
３０：補充部
３１０：スライド部
３１１：左右スライド部
３１２：左右スライド部
３１３：上下スライド部
３１４：基台部
３２０：アーム部
３２１：第１アーム部
３２２：第２アーム部
３２３：第３アーム部
３２４：把持部
４０：撮像部
５０：回転部
６０：制御部
７０：報知部
８０：記憶部
Ｇ：商品
Ｌ：ステレオカメラ
Ｒ：ステレオカメラ

Claims

商品を撮像する撮像部と、
保管棚に保管されている前記商品を商品棚に補充する補充部と、
前記補充部により補充される前記商品の向きを回転する回転部と、
前記撮像部、前記補充部、および前記回転部を少なくとも制御する制御部と、を備え、
前記制御部は、
前記撮像部により撮像された撮像データに基づいて、前記商品棚に並べられた前記商品の数を検出し、
前記検出された前記商品が所定数以下である場合には、前記補充部を制御して、前記保管棚に保管されている前記商品を搬送するとともに、前記撮像部により撮像された撮像データに基づいて、前記回転部を制御して、前記商品の正面が前記商品棚の取り出し口側に向くように前記商品の向きを回転して前記商品棚に前記商品を補充する
ことを特徴とする商品補充システム。
請求項１に記載の商品補充システムであって、
前記撮像部は、ステレオカメラであって、
前記制御部は、前記ステレオカメラにより撮像された撮像データに基づいて、前記商品棚に並べられた前記商品までの距離を算出し、算出した距離に基づいて前記商品棚の前記商品が充足していることを検出する
ことを特徴とする商品補充システム。
請求項２に記載の商品補充システムであって、
前記制御部は、
前記商品棚の前記商品が充足していない場合には、前記補充部を制御して、前記保管棚に保管されている前記商品を前記商品棚に補充する
ことを特徴とする商品補充システム。
請求項２または３に記載の商品補充システムであって、
前記制御部は、前記ステレオカメラにより撮像された撮像データに基づいて、前記保管棚に並べられた前記商品までの距離を算出し、算出した距離に基づいて前記保管棚の前記商品の在庫を検出する
ことを特徴とする商品補充システム。
請求項１から４のうちいずれかに記載の商品補充システムであって、
前記制御部は、前記撮像部により撮像された撮像データに基づくパターンマッチングに基づいて、前記回転部を制御して、前記商品の正面が前記商品棚の取り出し口側に向くように前記商品の向きを回転して、前記補充部を制御して前記商品棚に前記商品を補充する
ことを特徴とする商品補充システム。
請求項１から５のうちいずれかに記載の商品補充システムであって、
異常を報知する報知部を更に備え、
前記制御部は、前記撮像部により撮像された撮像データに基づいて、前記検出された前記商品が所定数以下である場合には、前記報知部を制御して報知する
ことを特徴とする商品補充システム。
請求項１から５のうちいずれかに記載の商品補充システムであって、
異常を報知する報知部を更に備え、
前記制御部は、前記撮像部により撮像された撮像データに基づいて、前記検出された前記商品の特徴が予め記憶されている特徴と異なる場合には、前記報知部を制御して報知する
ことを特徴とする商品補充システム。
商品を撮像する撮像部と、
保管棚に保管されている前記商品を商品棚に補充する補充部と、
前記補充部により補充される前記商品の向きを回転する回転部と、
前記撮像部、前記補充部、および前記回転部を少なくとも制御する制御部と、を備える商品補充システムが実行する商品補充方法であって、
商品を撮像する撮像部により撮像された撮像データに基づいて、商品棚に並べられた前記商品の数を検出するステップと、
前記検出された前記商品が所定数以下である場合には、前記補充部を制御して、前記保管棚に保管されている前記商品を搬送するステップと、
前記搬送された前記商品を、前記撮像部により撮像された撮像データに基づいて、前記回転部を制御して、前記商品の正面が前記商品棚の取り出し口側に向くように前記商品の向きを回転するステップと、
前記回転した前記商品を前記補充部を制御して前記商品棚に前記商品を補充するステップと、
を有することを特徴とする商品補充方法。