JP2023114860A - 在庫管理システム - Google Patents

Abstract

【課題】商品を撮影することで商品の出入りを特定し、在庫管理を可能とする在庫管理システムを提供することを目的とする。
【解決手段】商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、前記監視装置は、商品を撮影する撮影手段を有し、前記管理サーバは、該撮影手段によって撮影した前記商品の撮影画像から複数の特定の画像ののみを抽出する抽出手段と、該抽出手段によって抽出された複数の画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、該加算平均処理画像から商品を識別する識別手段と、該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする。
【選択図】 図１

Description

本発明は、商品を撮影することで商品の在庫を管理する在庫管理システムに関する。

近年、小売りや物流などの業界において人材不足や物流効率化の観点で、これまで以上に効率的な在庫管理が求められており、特に商品在庫を保管している棚においては現状の在庫数のカウントは人手中心で行われている。

このような問題を解決する発明として、特許文献１に記載されている棚在庫管理システムでは、ＲＦＩＤリーダライタと上位サーバとを備えており、上位サーバは、まず、ＲＦＩＤリーダライタで読み取った物品ＩＤを入力し、所定時間内の物品ＩＤの読み取り回数をカウントして棚ＩＤごとの物品ＩＤの読取率を計算し、その棚ＩＤごとの読取率に基づいて現在読取中の棚ＩＤを決定する。そして、上位サーバは、ＲＦＩＤリーダライタで読み取った物品ＩＤと在庫管理ＤＢ上の在庫情報とを照合して、読み取った物品ＩＤが属する棚ＩＤが読取中の棚ＩＤと一致するかどうかを判断し、その判断結果に基づいて読み取った物品ＩＤに対応する物品の位置が正しいかを判定している。

特開２０１０－３７１０４号公報

しかしながら、特許文献１に記載の発明によると、物品ごとのＲＦＩＤタグを貼付する必要があり、物品を保管する保管棚に作業者が近付いて物品タグを読み取るといった作業も必要であることから人的コストが膨大となるおそれがある。

本発明は係る問題に鑑みてなされたものであり、商品を撮影することで商品の出入りを特定し、在庫管理を可能とする在庫管理システムを提供することを目的とする。

上記目的を達成するために、本発明の在庫管理システムは、商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、前記監視装置は、商品を撮影する撮影手段を有し、前記管理サーバは、該撮影手段によって撮影した前記商品の撮影画像から複数の特定の画像ののみを抽出する抽出手段と、該抽出手段によって抽出された複数の画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、該加算平均処理画像から商品を識別する識別手段と、該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする。

また、本発明の在庫管理システムは、商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、前記監視装置は、商品を撮影する撮影手段と、人を感知する人感知手段と、を有し、該人感知手段による人の感知の有無によって該撮影手段による商品の撮影のオン／オフを切り換え、前記管理サーバは、前記撮影手段によって撮影された商品の複数の撮影画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、
該加算平均処理画像から商品を識別する識別手段と、該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする。

また、本発明の在庫管理システムは、前記撮影手段は、予め設定された時間に撮影を開始し、一定時間、商品の撮影を実行することを特徴とする。

また、本発明の在庫管理システムは、前記人感知手段は、前記商品の前方を横切る又は立ち止まるような人を感知し、感知した場合には、撮影手段は撮影をオフにすることを特徴とする。

また、本発明の在庫管理システムは、前記撮影手段は、前記人感知手段による人の感知状態が継続している間は撮影をオフにすることを特徴とする。

また、本発明の在庫管理システムは、前記撮影手段による商品の撮影画像は連続した複数の画像から構成されており、前記抽出手段は、連続した複数の画像から人が映っていない商品のみが撮影された複数の画像のみを抽出することを特徴とする。

また、本発明の在庫管理システムは、前記加算平均処理手段は、前記抽出手段によって抽出された複数の画像を加算平均処理することで、前記識別手段による識別処理に不要となる被写体を排除することを特徴とする。

また、本発明の在庫管理システムは、前記加算平均処理手段は、前記撮影手段によって撮影された複数の撮影画像を加算平均処理することで前記識別手段による識別処理に不要となる被写体を排除することを特徴とする。

また、本発明の在庫管理システムは、前記識別手段は、画像に映っている商品を識別するための識別データを有しており、前記識別手段は、該識別データに基づいて前記加算平均処理画像に映っている商品を商品ごとに識別可能とし、前記商品ごとに異なる識別情報を付した識別結果となる識別画像データを生成することを特徴とする。

また、本発明の在庫管理システムは、前記識別データは、前記商品の色や輪郭、テクスチャーに基づいて前記商品ごとの特徴から構成されていることを特徴とする。

また、本発明の在庫管理システムは、前記個数判定手段は、前記識別手段によって生成された識別画像データから商品ごとの個数を集計して個数を判定することを特徴とする。

また、本発明の在庫管理システムは、前記個数判定手段は、前記識別画像データに付された前記商品ごとの識別情報を集計することで前記商品の個数を判定することを特徴とする。

さらに、本発明の在庫管理システムは、前記個数判定手段は、前記商品ごとの在庫数に対して設定されている閾値より下回っているかを判断し、個数判定した前記商品の在庫数が閾値より下回っている場合には、前記ユーザ端末に前記商品の在庫の補充を促す通知を送信することを特徴とする。

本発明によれば、複数の商品を撮影した撮影画像から人物が映っていない画像のみを抽出した抽出画像を加算平均処理し、処理された加算平均処理画像を基にして商品の識別を行うことで商品の個数判定が容易となる。
また、人物を感知する感知手段を用いることで感知結果に応じて商品の撮影のオン／オフを切り換えることができ、商品のみを撮影した撮影画像を得ることが可能となる。

さらに、撮影画像の識別処理のみで商品の在庫数を判定することができるため、従来のようなＩＣタグを商品ごとに貼付したりＩＣタグを管理する必要がないことから人的及び管理コストを大幅に削減することが可能である。

本実施形態に係る在庫管理システムの構成を示した図である。 ユーザ端末の構成を示した図である。 在庫管理サーバの構成を示した図である。 記憶部の構成を示した図である。 ユーザデータベースの構成を示した図である。 店舗データベースの構成を示した図である。 撮影画像データベースの構成を示した図である。 商品データベースの構成を示した図である。 商品在庫データベースの構成を示した図である。 監視装置３０１の構成を示した図である。 商品を撮影する方法を示した模式図である。 商品棚を撮影するカメラの動作を示したフローチャートである。 在庫管理方法の動作を示すフローチャートである。 撮影データを構成する複数のフレームを示した図である。 図１５（ａ）は、教師データを構成する撮影画像データを示す図であり、図１５（ｂ）は、教師データを構成するテキストデータを示す図であり、図１５（ｃ）は、学習処理データを示す図であり、 加算平均処理データを学習処理によって学習処理データを生成した状態を示した図である。 センサを用いた人物検知による撮影方法を示した模式図である。 センサ及びカメラの動作を示すフローチャートである。 センサ及びカメラの動作を示した模式図である。

次に、図面を参照して本実施形態に係る在庫管理システムの構成を説明する。
図１は、本実施形態に係る在庫管理システムの構成を示した図であり、図２は、ユーザ端末の構成を示した図であり、図３は、在庫管理サーバの構成を示した図であり、図４は、記憶部の構成を示した図である。
図１に示すように、在庫管理システムは、複数のユーザ端末１００と、在庫管理サーバ２００と、店舗３００に設置されている監視装置３０１とから構成されている。
ユーザ端末１００は、スマートフォンやタブレット型のＰＣ、パーソナルコンピュータであって、店舗３００の商品の在庫管理する担当者や店舗３００に商品を納入する納品業者が所持するものである。

在庫管理サーバ２００は、店舗３００の監視装置３０１から送信される撮影データに基づいて在庫管理を行い、在庫状況をユーザ端末１００へ送信する。店舗３００に設置されている監視装置３０１は、店舗内に置かれている商品を撮影することで撮影データを在庫管理サーバ２００へ送信する。

次に、各構成要件について具体的に説明する。
＜ユーザ端末１００＞
ユーザ端末１００は、図２に示すように、制御部１０１と、表示部１０２と、操作部１０３と、記憶部１０４と、通信部１０５とから構成されている。
制御部１０１は、ＣＰＵやＲＯＭ、ＲＡＭ等によって構成されており、ＲＯＭは各種プログラムやデータを記憶し、ＲＡＭは、各種プログラムを一時的に記憶するとともに各種データを書き換え自在に記憶する。また、制御部１０１は、バス等を介して表示部１０２、操作部１０３、記憶部１０４、通信部１０５に接続されている。

表示部１０２は、例えば、液晶ディスプレイ等の表示デバイスであり、制御部１０１の制御の下、各種の情報を表示する。操作部１０３は、ユーザが操作入力を行うための各種の操作キーを有しており、表示部１０２がタッチパネルを備えてもよく、この場合、タッチパネルが操作部１０３として機能する。

記憶部１０４は、例えばＨＤＤやＳＳＤ等の補助記憶装置であり、制御部１０１が実行する各種プログラムを記憶する。通信部１０５は、制御部１０１の制御の下、ネットワーク１に接続された在庫管理サーバ２００と通信を行う。

＜在庫管理サーバ２００＞
在庫管理サーバ２００は、図３に示すように、制御部２０１と、表示部２０２と、操作部２０３と、記憶部２０４と、加算平均処理部２０５と、動体検出部２０６と、学習処理部２０７と、個数判定部２０８と、通信部２０９とから構成されている。
制御部２０１は、ＣＰＵやＲＯＭ、ＲＡＭ等によって構成されており、ＲＯＭは各種プログラムやデータを記憶し、ＲＡＭは、各種プログラムを一時的に記憶するとともに各種データを書き換え自在に記憶する。また、制御部２０１は、バス等を介して、表示部２０２、操作部２０３、記憶部２０４、加算平均処理部２０５、動体検出部２０６、学習処理部２０７、個数判定部２０８、通信部２０９と、に接続されている。

表示部２０２は、例えば、液晶ディスプレイ等の表示デバイスであり、制御部２０１の下、各種の情報を表示する。操作部１０３は、ユーザ操作入力を行うための各種の操作キーを有しており、例えばキーボードを備える。記憶部２０４は、例えばＨＤＤやＳＳＤ等の補助記憶装置であり、制御部２０１が実行する各種プログラムや後述する在庫管理に必要となる複数のデータベースを記憶している。

加算平均処理部２０５は、店舗３００の監視装置３０１から受信した撮影データを加算平均処理して学習処理部２０６で学習処理するための加算平均処理データを生成する。動体検出部２０６は、撮影データから動体（人物）を検出する処理を行う。学習処理部２０６は、加算平均処理データから画像処理を行うことで在庫管理に必要とする画像データを生成する。個数判定部２０７は、学習処理部２０６で処理された画像データから商品などの個数を記録する。
通信部２０７は、制御部２０１の制御の下、ネットワーク１に接続されているユーザ端末１００や店舗３００の監視装置３０１と通信を行う。

次に、在庫管理サーバ２００の記憶部２０４が備える複数のデータベースについて説明する。
図４は、在庫管理サーバの記憶部の構成を示しており、図５は、ユーザデータベースの構成を示しており、図６は、店舗データベースの構成を示した図であり、図７は、撮影画像データベースの構成を示した図であり、図８は、商品データベースの構成を示した図であり、図９は、商品在庫データベースの構成を示した図である。
図示するように、記憶部２０４は、ユーザデータベース２０４ａと、店舗データベース２０４ｂと、撮影画像データベース２０４ｃと、商品データベース２０４ｄと、商品在庫データベース２０４ｅと、を有している。

ユーザデータベース２０４ａは、図５に示すように、在庫管理システムを利用するユーザのユーザ情報を格納しており、ユーザの氏名、住所、電話番号、メールアドレス、納品物、納品先を情報として格納している。図示するように、氏名に「山田太郎」、住所に「神奈川県横須賀市〇－〇－〇」、電話番号に「０３－１２３４－７８９６」、メールアドレスに「ｘｘｘ＠ｙｙｙ．ｃｏ．ｊｐ」、納品物に「ウーロン茶」、納品先に「〇〇スーパー」といった情報が格納されている。
図５に示すユーザ情報は一例であって、格納する情報の項目を追加することは可能である。

店舗データベース２０４ｂは、図６に示すように、在庫管理システムを利用する店舗の店舗情報を格納しており、店舗情報として店舗名、店舗の住所、店舗の電話番号である。図示するように、店舗名に「〇〇スーパー」、住所に「神奈川県横須賀市〇－〇－〇」、電話番号に「０３－９８７６－１２３４」といった情報を格納している。
ユーザデータベース２０４ａと同様に格納する店舗情報は一例であって、他の情報の項目を追加することは可能である。

撮影画像データベース２０４ｃは、図７に示すように、店舗３００ごとの監視装置３０１で撮影された静止画又は動画を撮影画像データとして格納している。
図示するように、店舗Ａを例にして説明すると、店舗Ａにはカメラ１～１０が設置されており、各カメラが対象となる商品棚を決められた時間に撮影する。まず、店舗Ａの開店前の９：００に各カメラが対象の商品棚の撮影を行い、その後は決められた時間帯（１０時、１２時、１５時、１８時、１９時）に撮影を実行する。そして、最後に店舗Ａの閉店後２０：００に撮影を行う。
撮影については、例えば数分間の動画撮影もしくは静止画を連写して複数枚撮影を行う。
カメラ１～１０で撮影された撮影データは随時、撮影画像データベース２０４ｃに格納される。

商品データベース２０４ｄは、図８に示すように、店舗ごとに置かれている商品をデータ管理するためのものであり、店舗ごとに付けられた店舗コードと、商品ごとに付けられた商品コード、商品名、種別、価格、商品画像がそれぞれ関連付けて商品データベース２０４ｄに格納されている。
例えば、店舗コード「Ｓ０００１」の店舗に置かれている商品に付けられた商品コード「Ａ０００１」であって、この商品コードを示す商品が「ウーロン茶」であり、種別が「飲料」であり、価格が「１２０円」である。そして、商品の画像をこれらのデータに関連付けて格納している。

商品在庫データベース２０４ｅは、図９に示すように、店舗ごとの商品の在庫を管理するデータベースであって、店舗コードに紐付けられた商品コードと商品名、種別、価格、在庫数、商品最低在庫数がデータとして格納されている。
在庫数については、店舗ごとの売り上げによる在庫変動が反映される。

＜監視装置３０１について＞
図１０は、監視装置３０１の構成を示した図であり、図１１は、商品を撮影する方法を示した模式図である。
監視装置３０１は、制御部３０２と、カメラ３０３（１～Ｎ台）と、センサ３０４と、通信部３０５とから構成されている。
制御部３０２は、監視装置３０１全体を制御するためのものであるほか、予め設定された時刻にカメラ３０３による撮影を実行させるプログラムを有している。カメラ３０３は、図１１に示すように、商品棚４００に陳列される商品を撮影（動画又は静止画）するためのものであり、商品棚４００を撮影したときに陳列されている商品４０１の陳列状態が把握できるような位置に設置されている。なお、１台のカメラ３０３で１つの商品棚を撮影してもよく、又は１台のカメラ３０３で複数の商品棚を撮影してもよい。

センサ３０４は、赤外線などを利用した従来からある人感センサであり、商品棚の前方を通過したり、商品棚の前方に立ち止まったりした人物を検知すると検知信号を制御部３０２に送信する。制御部３０２は、検知信号を受信すると該当する商品棚４００を撮影しているカメラ３０３の撮影をＯＦＦにする。センサ３０４は、人物を検知し続ける間は常時検知信号を制御部３０２に送信する。
制御部３０２は、検知信号を受信し続ける間はカメラ３０３の撮影を止めておき、検知信号を受信しなくなった場合にカメラ３０３に対して撮影を再度実行させるよう制御を行う。

＜在庫管理方法について＞
次に、在庫管理方法について説明する。
図１２は、商品棚を撮影するカメラの動作を示したフローチャートである。
図１２に示すように、まず、監視装置３０１の制御部３０２が所定時刻になったかどうかを判断する（ステップＳ１００）。例えば、店舗ごとに設定された撮影スケジュールに対応する時間になったら（ステップＳ１００／ＹＥＳ）制御部３０１は、カメラ３０２に撮影実行の指示を送信する。
また、所定時刻に到達していない場合には（ステップＳ１００／ＮＯ）、所定時刻が到達するまで待機状態とする。

所定時刻になりカメラ３０２が商品棚４００に陳列されている商品を撮影する（ステップＳ１０１）。カメラ３０２は、決められた商品棚４００に陳列されている複数の商品が映るように一定時間撮影（動画又は静止画）を実行する。
なお、カメラ３０２の撮影時間については、店舗ごとに変更することは可能である。
そして、カメラ３０２によって撮影された撮影データは、監視装置３０１の通信部３０５が在庫管理サーバ２００へ送信し（ステップＳ１０２）、記憶部２０４の撮影画像データベース２０４ｃに格納する。

次に、在庫管理サーバにおける在庫管理方法について説明する。
図１３は、在庫管理方法の動作を示すフローチャートであり、図１４は、撮影データを構成する複数のフレームを示した図であり、図１５（ａ）は、教師データを構成する撮影画像データを示す図であり、図１５（ｂ）は、教師データを構成するテキストデータを示す図であり、図１５（ｃ）は、学習処理データを示す図であり、図１６は、加算平均処理データを学習処理によって学習処理データを生成した状態を示した図である。

図１３に示すように、まず、在庫管理サーバ２００は、監視装置３０１から受信した所定時刻に撮影された撮影データを受信する（ステップＳ２００）。次に、撮影データから商品棚のみが撮影されているフレームを抽出する（ステップＳ２０１）。ここでは、在庫管理サーバ２００の動体検出部２０６が、撮影データから人物が映っているフレームを特定し、人物が映っていない複数のフレームを抽出する。そして、人物が映っていない複数のフレームを加算平均処理する（ステップＳ２０２）。
具体的に処理方法については下記に示す。

＜加算平均処理について＞
ここで、撮影データをもとにして加算平均処理データを生成する方法について説明する。
まず、カメラ３０２によって所定時刻に一定時間、商品棚４００に陳列された商品４０１を撮影した撮影データは、図１４に示すように、複数のフレームから構成されており、複数のフレームには、商品棚４００のみが撮影されたフレーム（商品フレーム５００）と商品棚４００の前方に人物などが映っているフレーム（商品＋人物フレーム５０１）とがある。

本実施形態では、撮影データを構成する複数のフレームから商品棚４００のみが映っている商品フレーム５００のみを抽出し、この商品フレーム５００を加算平均処理して加算平均処理データを生成する。
つまり、図１４に示す撮影データのように、人物が映っているフレームと、次に人物が映っているフレームとの間にある商品のみが売っている商品フレーム５００のみを加算平均処理区間として、この複数の商品フレーム５００を抽出する。

このような処理をする理由としては、人物が映っている商品＋人物フレーム５０１では、人物が商品棚４００から商品４０１を取り出して商品４０１の個数の変動があることや、人物が映ることによって商品４０１を確実に撮影できないといったことから、商品４０１の個数判定に不向きなフレームとなる。
従って、最初の人物が映っている商品＋人物フレーム５０１と次に人物が映る商品＋人物フレーム５０１との間の商品４０１のみが映っている商品フレーム５００であれば、商品４０１の個数の変動はなく、現時点での商品４０１の個数判定に最適なフレームとなる。
よって、商品４０１のみが映っている商品フレーム４０１だけを抽出することで今後の個数判定の解析を確実に行うことが可能となる。
また、商品フレーム５００を抽出したときに、この商品フレーム５００にノイズ（商品カートやゴミ）が映っている可能性があることから、加算平均処理を実行することでノイズを除去することが可能となる。

撮影データから加算平均処理区間の対象となる商品フレーム５００を特定するには、まず、動体検出２０６が、撮影データから動体を検出する。動体検出部２０６は、撮影データのフレーム間隔ごとに比較して、比較結果から差分を抽出して、動きのある領域を特定し、動体として検出する。なお、動体検出部２０６は、背景差分法により、各フレームから動体を検出してもよい。例えば、動体検出２０６は、人物が映っていない商品棚を予め撮影した撮影データを背景画像データとして保持しておき、現在の撮影データとこの背景画像データとの差分の領域を、動体の領域として抽出するようにしてもよい。

このように、動体検出部２０６は、撮影データから人物が映っている商品＋人物フレーム５０１を特定することで、商品＋人物フレーム５０１間の複数の商品フレーム５００のみを抽出し、この複数の商品フレーム５００を加算平均処理部２０５へ送信する。

加算平均処理部２０５は、動体検出部２０６から受信した複数の商品フレーム５００を加算平均処理し、人物以外の物体を除去する。
人物以外の物体は、例えば、商品売り場で顧客が利用するカートや買い物かごといった物や、商品の個数を特定するのに不必要な物体を示す。
加算平均処理部２０５は、複数の商品フレーム５００を加算処理することで人物以外の物体を除去した加算平均処理データを生成する。

次に、図１３に戻り、加算平均処理部２０５によって生成された加算平均処理データから学習処理部２０７によって個数判定用データを生成する（ステップＳ２０３）。
学習処理部２０７は、加算平均処理データをもとに商品棚４００に置かれている商品にラベルを付与した個数判定用データを生成する。
学習処理部２０７は、事前に教師データによって商品棚４００に置かれている商品の種類及び位置を学習済である。教師データは、図１５に示すように、商品４０１が置かれた商品棚４００の撮影画像と、教師ラベルとから構成されている。

図示するように、撮影画像（図１５（ａ））は複数の商品が置かれている商品棚４００を撮影したものであり、商品棚４００ごとに画像が用意されている。
また、教師ラベル（図１５（ｂ））とは、商品棚４００におかれている商品４０１の種類（商品名や種別など）と、商品の外観を矩形状に囲ったときの矩形サイズと、商品がどの位置にあるかを示す座標情報から構成されている。
教師ラベルは、商品の特徴である色や輪郭、テクスチャーなどの要素から生成されており、この生成方法は従来からある手法を利用することが可能である。

そして、撮影画像と教師ラベルとを組み合わせたものを学習処理部２０７に学習させることで、学習処理部２０７に入力される加算平均処理データから図１５（ｃ）に示すような商品ごとに商品を矩形状に囲んだ画像を学習データとして出力することが可能となる。
また、個数判定用データには、商品の種類（商品１～３）と矩形状のサイズ、座標情報を含むテキストデータも有している。

次に、出力された個数判定用データから個数判定部２０８は、商品ごとの個数を集計する。集計方法は、学習データに含まれる商品の種類を集計することで、現時点での商品の在庫を集計することが可能である。

個数判定部２０８は、集計された商品が在庫数を記憶部２０４の商品在庫データベース２０４ｅの商品最低在庫数（閾値）より下回っているかをさらに判定する（ステップＳ２０４）。集計された商品の在庫数が閾値より下回っていない場合には（ステップＳ２０５／ＮＯ）、そのまま終了となる。一方、閾値より下回っている場合には（ステップＳ２０５／ＹＥＳ）、制御部２０１により該当する商品を納品しているユーザを記憶部２０４のユーザデータベース２０４ａから検索し、ユーザのメールアドレス宛に商品の補充を促すようなメールを送信する（ステップＳ２０６）。

＜センサを利用する場合＞
次に、他の実施形態として、センサを用いた撮影画像の処理方法について説明する。
図１７は、センサを用いた人物検知による撮影方法を示した模式図であり、図１８は、センサ及びカメラの動作を示すフローチャートであり、図１９は、センサ及びカメラの動作を示した模式図である。
センサ３０４は、上記したように人感センサから構成されており、図１７に示すように、商品棚４００の前方を通過する人物を検知する。センサ３０４の設置位置については、商品棚４００の前方を通過する人物を検知可能な位置であればよい。なお、各センサ３０４は、各商品棚４００と、各商品棚４００を撮影するカメラ３０３と対応つけられており、図示するように、商品棚Ａの前方を通過する人物を検知したセンサ３０４は、商品棚Ａを撮影するカメラ３０３の撮影をＯＦＦにする。

図１８、センサを利用した撮影画像の処理方法を示したフローチャートであり、図１９は、センサによる人物検知とカメラによる撮影の動作を示す図である。
まず、監視装置３０１の制御部３０２は、店舗ごとに設定された撮影時間に到達したかを判断する（ステップＳ３００）。撮影時間に到達していない場合には（ステップＳ３００／ＮＯ）、一方、撮影時間に到達した場合に（ステップＳ３００／ＹＥＳ）、次に、センサ３０４が人物を検知したか否かを判断する（ステップＳ３０１）。

図１９に示すように、時間ｔ１においてセンサ３０４が商品棚４００の前方に人物を検知した場合（ステップＳ３０１／ＹＥＳ）、センサ３０４は、検知信号を制御部３０２に送信する（ステップＳ３０２）。制御部３０２は、センサ３０４からの検知信号を受信するとカメラ３０３に撮影のＯＦＦ信号を送信し、カメラ３０３の撮影をＯＦＦする（ステップＳ３０３）。そして、時間が経過し、センサ３０４が人物を検知したか否かの判断に戻る。

一方、ステップＳ３００において撮影時間に到達し（時間ｔ３のような場合）、センサ３０４が人物を検知していない場合（ステップＳ３０１／ＮＯ）、カメラ３０３の撮影がＯＮとなり（ステップＳ３０４）、一定時間経過するまで商品棚４００を撮影する。一定時間が経過したかを判断し（ステップＳ３０５）、一定時間経過していない場合には（ステップＳ３０５／ＮＯ）、撮影を継続させる（時間ｔ３～ｔ５）。また、一定時間が経過した場合（ステップＳ３０５／ＹＥＳ）、制御部３０１は、カメラ３０３による撮影をＯＦＦにする（ステップＳ３０６）。

このように、センサ３０４で商品棚４００の前方を通過する人物を検知したときに商品棚４００の撮影をＯＦＦにすることが可能となる。これにより、カメラ３０３によって撮影された撮影データには、人物である動体が映っていないことから上記のような動体検出をすることなく、撮影データを加算平均処理することが可能となる。

以上のように、本発明の実施形態では、カメラ３０３によって商品が置かれている商品棚を撮影し、撮影データを構成する複数のフレームから撮影中に人物が映ったフレームを検出することが可能であり、人物が映ったフレームの間にある商品及び商品棚のみが映ったフレームを抽出することが可能となる。
このフレームを加算平均処理することで機械学習による学習処理の妨げになるような物体などを除去したデータを生成し、このデータを機械学習による学習処理によって商品の個数判定が可能な学習データを生成することができる。
よって、この学習データから個数判定をすることで、撮影した時間における商品の個数を集計することが可能である。個数の集計をすることによって現時点での在庫情報を容易に把握することができ、また在庫が不足している状況であれば、即時に商品を納入する業者などに連絡することが可能である。

また、センサを利用することでカメラの撮影のＯＮ／ＯＦＦを切り換えることも可能である。センサは人感センサであって、商品が置かれた商品棚の前方を通過する人物を検知したときに、カメラの撮影をＯＦＦにすることで、人物が映っていない撮影データを取得することが可能となる。従って、この撮影データに対して動体検出の処理を行うことなく加算平均処理をして機械学習による学習処理を行うことができる。
なお、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形が可能である。

１ ネットワーク
１００ ユーザ端末
２００ 在庫管理サーバ
３００ 店舗
３０１ 監視装置

Claims (13)

1. 商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、
   前記監視装置は、商品を撮影する撮影手段を有し、
   前記管理サーバは、該撮影手段によって撮影した前記商品の撮影画像から複数の特定の画像ののみを抽出する抽出手段と、
   該抽出手段によって抽出された複数の画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、
   該加算平均処理画像から商品を識別する識別手段と、
   該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする在庫管理システム。
2. 商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、
   前記監視装置は、商品を撮影する撮影手段と、人を感知する人感知手段と、を有し、
   該人感知手段による人の感知の有無によって該撮影手段による商品の撮影のオン／オフを切り換え、
   前記管理サーバは、前記撮影手段によって撮影された商品の複数の撮影画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、
   該加算平均処理画像から商品を識別する識別手段と、
   該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする在庫管理システム。
3. 前記撮影手段は、予め設定された時間に撮影を開始し、一定時間、商品の撮影を実行することを特徴とする請求項１または２記載の在庫管理システム
4. 前記人感知手段は、前記商品の前方を横切る又は立ち止まるような人を感知し、感知した場合には、撮影手段は撮影をオフにすることを特徴とする請求項２記載の在庫管理システム。
5. 前記撮影手段は、前記人感知手段による人の感知状態が継続している間は撮影をオフにすることを特徴とする請求項４記載の在庫管理システム。
6. 前記撮影手段による商品の撮影画像は連続した複数の画像から構成されており、前記抽出手段は、連続した複数の画像から人が映っていない商品のみが撮影された複数の画像のみを抽出することを特徴とする請求項１記載の在庫管理システム。
7. 前記加算平均処理手段は、前記抽出手段によって抽出された複数の画像を加算平均処理することで、前記識別手段による識別処理に不要となる被写体を排除することを特徴とする請求項６記載の在庫管理システム。
8. 前記加算平均処理手段は、前記撮影手段によって撮影された複数の撮影画像を加算平均処理することで前記識別手段による識別処理に不要となる被写体を排除することを特徴とする請求項５記載の在庫管理システム。
9. 前記識別手段は、画像に映っている商品を識別するための識別データを有しており、前記識別手段は、該識別データに基づいて前記加算平均処理画像に映っている商品を商品ごとに識別可能とし、前記商品ごとに異なる識別情報を付した識別結果となる識別画像データを生成することを特徴とする請求項１から８のいずれか１項に記載の在庫管理システム。
10. 前記識別データは、前記商品の色や輪郭、テクスチャーに基づいて前記商品ごとの特徴から構成されていることを特徴とする請求項９記載の在庫管理システム。
11. 前記個数判定手段は、前記識別手段によって生成された識別画像データから商品ごとの個数を集計して個数を判定することを特徴とする請求項１から１０のいずれか１項に記載の在庫管理システム。
12. 前記個数判定手段は、前記識別画像データに付された前記商品ごとの識別情報を集計することで前記商品の個数を判定することを特徴とする請求項１から１０のいずれか１項に記載の在庫管理システム。
13. 前記個数判定手段は、前記商品ごとの在庫数に対して設定されている閾値より下回っているかを判断し、個数判定した前記商品の在庫数が閾値より下回っている場合には、前記ユーザ端末に前記商品の在庫の補充を促す通知を送信することを特徴とする請求項１から１２のいずれか１項に記載の在庫管理システム。

Images