JP2019040227A - 在庫管理システム - Google Patents

Abstract

【課題】店舗等での在庫を可能な限り抑えつつも欠品発生を回避するための機動的な在庫管理技術を提供する。
【解決手段】カメラ搭載モバイル端末１０１で撮影した画像から、物体領域抽出機能３１２と画像特徴量抽出機能３１１により物体領域から画像特徴量を抽出し、ＤＢサーバ１０２に登録している画像マスタ２１２と照合する事で、物体の特定と数量を取得する。ＤＢサーバ１０２における在庫情報テーブル２１７の陳列数、センシング数、センシング差異数、センシング時刻をそれぞれ更新、格納する事で、陳列棚やバックヤードの商品と数量をセンシングする度に最新の在庫情報マスタに更新が可能であると共に、入荷/発注システム・POSシステムと連携し、販売済み/入荷済みの商品と数量で在庫情報マスタを更新する事で、最新の陳列数と店舗在庫数を自動で取得する在庫管理システム。
【選択図】図１

Description

本発明は、センシング技術を活用した物体認識・数量把握に関するものであり、具体的には、店舗や倉庫等での棚卸・在庫管理・陳列作業において、画像を用いて物体認識・数量把握をする技術に関する。

スーパー、コンビニエンスストアなどの小売業において、販売商品を適切な数量で適切な位置に陳列し、売上好調な商品の更なる売上増加や、売上不調な商品の過剰在庫抑制を図ることは経営上の重要事項である。そうした状況を維持する場合、各店舗での在庫を可能な限り抑えつつも欠品発生を回避するための機動的な在庫管理が必要となる。一方、店舗業務は接客が中心であり、人手による機動的な在庫管理には限界があり、効率的で迅速な管理業務の実行が要求されることになる。

特許文献１に開示する発明では、商品移動を検知するセンサーとして、重量センサーを棚に配置し、商品の移動を検知すると共に、POSデータや発注データと連動させることで、リアルタイムな店舗在庫を把握するシステムなどが提案されている。このシステムにより、店舗の陳列状況を監視することなく、効率的に店舗在庫を把握する事が出来る。

特開２０００−０４８２６２号公報

しかしながら、重量センサーでは、商品の移動を検知する事は可能であるが、移動した商品（物体）の特定は困難であり、予めそれぞれの棚にどの商品を配置するかなどの棚割情報がインプットデータとして必要不可欠となるが、各店舗の最新の棚割情報をデータ管理出来ている小売業は極めて少ない。また、重量センサーを店舗の全ての棚に配置するには、膨大なコストが掛かると共に、既存の棚や設備の入替えを伴う。

そこで本発明は、カメラ搭載のモバイル端末を用いた物体認識技術を活用する事で、既存の棚や設備の入替えを必要とせず、センシングと同時に物体の特定と数量を自動で取得する、効率的かつ機動的な在庫管理を可能とする技術を提供する。

上記課題を解決するために、本発明の好ましい例によれば、在庫管理システムは、商品別のテンプレート画像、および画像特徴量を登録した画像マスタＤＢと、店舗名、棚割ＩＤ、および商品名を対応付けしたデータレコードを登録した店舗マスタＤＢと、棚割ＩＤ、ゴンドラ位置、棚位置、および商品名を対応付けしたデータレコードを登録した棚割マスタＤＢと、店舗別の少なくとも商品名、陳列数、および在庫数を対応付けしたデータレコードを登録した在庫情報ＤＢとを備えるＤＢサーバと、各店舗の陳列棚に配置された商品の画像を、管理担当ユーザにより撮影するカメラ搭載モバイル端末と、前記カメラ搭載モバイル端末１０１で撮影した画像から、物体領域抽出機能３１２と画像特徴量抽出機能３１１により物体領域から画像特徴量を抽出し、ＤＢサーバ１０２に登録している前記画像マスタＤＢ２１２に登録してあるテンプレート画像、および画像特徴量と照合する事で、物体の特定と数量を取得するＡＰサーバとを備え、前記ＤＢサーバが、取得した商品名と数量に基づき、前記在庫情報ＤＢの在庫数を更新することを特徴とする。

また、本発明の他の特徴として、前記在庫管理システムにおいて、前記ＤＢサーバは、前記ＡＰサーバが陳列棚の撮影画像から商品名と数量を取得した結果を受け取り、陳列棚に現在配置されている商品の数量と、在庫情報ＤＢに登録されている陳列数との差異数を計算して、現在の数量が多い場合には、前記在庫情報ＤＢの在庫数を前記差異数により減算して更新する。

また、本発明の更に他の特徴として、前記在庫管理システムにおいて、前記ＤＢサーバは、前記ＡＰサーバが陳列棚の撮影画像から商品名と数量を取得した結果を受け取り、陳列棚に現在配置されている商品の数量によって、前記在庫情報ＤＢの陳列数を更新する。

本発明により、小売業において、棚卸等の陳列数や店舗在庫数の把握を伴う業務を効率化し、各店舗での在庫を可能な限り抑えつつも欠品発生を回避するための機動的な在庫管理が可能となる。また、小売業の本部において各店舗の棚割情報を一元管理出来る他、物流センターや配送業者における検品/ピッキング業務の効率化、本発明によって得られる副次的な成果物である商品/画像マスタや棚割情報などのデータ提供ビジネスへの活用が可能となる。

本実施形態におけるシステム構成例を示す図である。 本実施形態におけるＤＢサーバのハードウェア構成例を示す図である。 本実施形態におけるＡＰサーバのハードウェア構成例を示す図である。 本実施形態の商品マスタのデータ構成例を示す図である。 本実施形態の画像マスタのデータ構成例を示す図である。 本実施形態の店舗マスタのデータ構成例を示す図である。 本実施形態の棚割マスタのデータ構成例を示す図である。 本実施形態の入荷情報テーブルのデータ構成例を示す図である。 本実施形態の販売情報テーブルのデータ構成例を示す図である。 本実施形態の在庫情報テーブルのデータ構成例を示す図である。 本実施形態の全体の処理の流れを示すフローチャートである。 本実施形態のマスタ更新処理を示すシーケンス図である。 本実施形態の入荷/販売更新処理の流れを示すシーケンス図である。 本実施形態の新規商品登録処理の流れを示すシーケンス図である。 本実施形態の物体認識処理の流れを示すシーケンス図である。 本実施形態の在庫更新処理の流れを示すシーケンス図である。

《システム構成》
以下に本発明の実施形態について、小売業における在庫管理に適用した場合を例に、図面を用いて詳細に説明する。図１は、本実施形態の在庫管理システム１００の全体構成例を示す図である。

図１に例示する在庫管理システム１００は、各店舗における管理担当ユーザが使用するカメラ搭載モバイル端末１０１と、小売業全体の在庫管理処理に必要なデータベースを格納したＤＢサーバ１０２と、このＤＢサーバ１０２の保持するデータとカメラ搭載モバイル端末１０１により撮影された画像情報を用いて、各店舗の陳列棚に配列された商品を認識する処理を実行するＡＰサーバ１０３と、各店舗に既設された入荷/発注システム１０４、およびＰＯＳシステム１０５がインターネット等のネットワーク１０６を介して接続されたコンピュータシステムである。

なお、入荷/発注システム１０４は、小売業の各店舗で入荷した商品について、その入荷情報をネットワーク１０６を介してＤＢサーバ１０２に送信する機能を備えている。一方、ＤＢサーバ１０２は、この入荷情報を受信して入荷情報テーブル２１５に格納することとなる。入荷/発注システム１０４の機能がＤＢサーバ１０２ないしＡＰサーバ１０３に備わる構成を想定してもよい。

また、ＰＯＳシステム１０５は、小売業の各店舗で販売した商品について、その販売情報をネットワーク１０６を介してＤＢサーバ１０２に送信する機能を備えている。一方、ＤＢサーバ１０２は、この販売情報を受信して販売情報テーブル２１６に格納することとなる。入荷/発注システム１０４の機能がＤＢサーバ１０２ないしＡＰサーバ１０３に備わる構成を想定してもよい。

カメラ搭載モバイル端末１０１は、ＲＧＢカメラ、またはＲＧＢ-Ｄカメラを搭載したモバイル端末を想定している。各店舗における管理担当ユーザが、カメラ搭載モバイル端末を適宜携帯して、陳列棚上に陳列された商品を撮影して、撮像されたＲＧＢ画像、および距離画像は、ネットワーク１０６を介してＡＰサーバ１０３ヘ送られる。本実施形態では、ＲＧＢ-Ｄカメラを搭載したモバイル端末を使用した例を説明する。

続いて上述の在庫管理システム１００のうち、本実施形態における在庫管理方法の実行主体となるＤＢサーバ１０２とＡＰサーバ１０３の構成例について説明する。

ＤＢサーバ１０２は、図２で例示するように、一般的なコンピュータであるサーバ装置により構成されており、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置２０１と、ＲＡＭなど揮発性記憶素子で構成されるメモリ２０３と、装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵ２０２と、ネットワーク１０６を介して他装置との通信制御を行う通信端末２０４を具備する。なお、各装置２０１〜２０４はＢＵＳ等により接続されている。

なお、記憶装置２０１には、データベース２１０、およびプログラム２２０を格納している。このデータベース２１０は、商品マスタ２１１、画像マスタ２１２、店舗マスタ２１３、棚割マスタ２１４、入荷情報テーブル２１５、販売情報テーブル２１６、および、在庫情報テーブル２１７が含まれている。これら各テーブル類２１１〜２１７のデータ構成の具体例については後述する。また、プログラム２２０は各テーブルのデータをアクセスするデータベース管理機能２２１、および在庫情報テーブルを更新する在庫管理機能２２２を含んでいる。

上述のＤＢサーバ１０２にアクセスして情報を取得し、画像認識処理を実行するＡＰサーバ１０３のハードウェア構成例を図３に示す。このＡＰサーバ１０３も上述のＤＢサーバ１０２と同様に、一般的なコンピュータであるサーバ装置により構成されており、ＳＳＤやハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置３０１と、ＲＡＭなど揮発性記憶素子で構成されるメモリ３０３と、装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵ３０２と、ネットワーク１０６を介した他装置との通信制御を行う通信端末３０４を具備する。なお、各装置３０１〜３０４はＢＵＳ等により接続されている。

また、記憶装置３０１には、カメラ搭載モバイル端末１０１で撮影した画像の特徴量を抽出する画像特徴量抽出機能３１１と、撮影画像から物体の候補領域を抽出する物体領域抽出機能３１２と、撮影画像情報とＤＢサーバ１０２の画像マスタ２１２を照合する照合処理機能３１３と、ＤＢサーバ１０２に登録されている各種マスタデータテーブルに新たなデータの登録、既存のデータの更新を実行するマスタ更新機能３１４と、新たな商品のテンプレート画像をＤＢサーバ１０２の画像マスタ２１２へ登録するためのテンプレート画像作成機能３１５と、および撮影画像から陳列棚上に在る商品、その数を認識、集計して出力する商品名、数認識機能３１６に対応したプログラム３１０を格納している。

なお、本実施形態の各機能は、ＤＢサーバ１０２とＡＰサーバ１０３の各サーバがプログラムを実行することで実現される機能である。勿論、実際の在庫管理システムとしても、こうした二つのサーバに機能を分けて配置した構成ではなく、単体のサーバ装置で構成するとしてもよい。
《データ構造例》
次に、本実施形態のＤＢサーバ１０２が保持、更新および管理し、ＡＰサーバ１０３が処理に用いるテーブル類のデータ構造について説明する。
図４は、ＤＢサーバ１０２が具備する商品マスタ２１１のデータ構成例を示す図である。本実施形態における商品マスタ２１１は、本実施形態で取り扱う商品情報の形状データをレコードとして格納するテーブルであり、商品を一意に示す商品名２１１ａをキーに、幅２１１ｂ、奥行き２１１ｃ、および高さ２１１ｄの各値を対応付けたレコードの集合体となっている。

また図５は、本実施形態のＤＢサーバ１０２が具備する画像マスタ２１２のデータ構成例を示す図である。本実施形態における画像マスタ２１２は、カメラ搭載モバイル端末１０１の撮影画像から新しい商品のテンプレート画像を切り出し、テンプレート画像から画像特徴量を抽出して、商品名と共に登録するテーブルであり、商品名２１２ａをキーに、画像特徴量２１２ｂ、およびテンプレート画像２１２ｃの各データを対応付けたレコードの集合体となっている。このうち、商品名２１２ａは、図４において前記する商品マスタ２１１の商品名２１１ａと紐付く値となる。

続いて図６は、本実施形態におけるＤＢサーバ１０２が具備する店舗マスタ２１３のデータ構成例を示す図である。店舗マスタ２１３は、各店舗において陳列棚に商品を割付ける識別情報を格納するテーブルである。本実施形態の店舗マスタ２１３は、店舗名２１３ａ、および棚割ＩＤ２１３ｂをキーに、商品名２１３ｃの各値を対応付けたレコードの集合体となっている。このうち、商品名２１３ｃは、図４において前記する商品マスタ２１１の商品名２１１ａと、図５において前記する画像マスタ２１２の商品名２１２ａと紐付く値となる。

また図７は、本実施形態におけるＤＢサーバ１０２が具備する棚割マスタ２１４のデータ構成例を示す図である。棚割マスタ２１４は、各店舗におけるどのゴンドラ(商品陳列をするための什器の一部、陳列棚)位置のどの棚位置に商品を割付けるかを規定する棚割ＩＤを格納するテーブルである。本実施形態の棚割マスタ２１４は、棚割ＩＤ２１４ａをキーに、ゴンドラ位置２１４ｂ、棚位置２１４ｃ、および商品名２１４ｄの各値を対応付けたレコードの集合体となっている。このうち、棚割ＩＤ２１４ａは、図６において前記する店舗マスタ２１３の棚割ＩＤ２１３ｂと紐付く値となる。また、商品名２１４ｄは、図４において前記する商品マスタ２１１の商品名２１１ａと、図５において前記する画像マスタ２１２の商品名２１２ａと、および図６において前記する店舗マスタ２１３の商品名２１３ｃと紐付く値となる。

また図８は、本実施形態におけるＤＢサーバ１０２が各店舗別に個別に具備する入荷情報テーブル２１５のデータ構成例を示す図である。本実施形態の入荷情報テーブル２１５は、入荷/発注システム１０４による入荷情報が記録されたテーブルであり、商品名２１５ａをキーに、入荷数２１５ｂ、入荷時刻２１５ｃの各値を対応付けたレコードの集合体となっている。また、商品名２１５ａは、図４において前記する商品マスタ２１１の商品名２１１ａと、図５において前記する画像マスタ２１２の商品名２１２ａと、図６において前記する店舗マスタ２１３の商品名２１３ｃと、および図７において前記する棚割マスタ２１４の商品名２１４ｄと紐付く値となる。

また図９は、本実施形態におけるＤＢサーバ１０２が各店舗別に個別に具備する販売情報テーブル２１６のデータ構成例を示す図である。本実施形態の販売情報テーブル２１６は、ＰＯＳシステム１０５による販売情報が記録されたテーブルであり、商品名２１６ａをキーに、販売数２１６ｂ、販売時刻２１６ｃの各値を対応付けたレコードの集合体となっている。また、商品名２１６ａは、図４において前記する商品マスタ２１１の商品名２１１ａと、図５において前記する画像マスタ２１２の商品名２１２ａと、図６において前記する店舗マスタ２１３の商品名２１３ｃと、図７において前記する棚割マスタ２１４の商品名２１４ｄと、および図８において前記する入荷情報テーブル２１５の商品名２１５ａと紐付く値となる。

また図１０は、本実施形態におけるＤＢサーバ１０２が各店舗別に個別に具備する在庫情報テーブル２１７のデータ構成例を示す図である。本実施形態の在庫情報テーブル２１７は、入荷/発注システム１０４による入荷情報とＰＯＳシステム１０５による販売情報、およびカメラ搭載モバイル端末１０１によるセンシング情報から算出した在庫情報が記録されたテーブルであり、商品名２１７ａをキーに、陳列数２１７ｂ、在庫数２１７ｃ、センシング数２１７ｄ、センシング差異数２１７ｅ、およびセンシング時刻２１７ｆの各値を対応付けたレコードの集合体となっている。また、商品名２１７ａは、図４において前記する商品マスタ２１１の商品名２１１ａと図５において前記する画像マスタ２１２の商品名２１２ａと、図６において前記する店舗マスタ２１３の商品名２１３ｃと、図７において前記する棚割マスタ２１４の商品名２１４ｄと、図８において前記する入荷情報テーブル２１５の商品名２１５ａと、および図９において前記する販売情報テーブル２１６の商品名２１６ａと紐付く値となる。
《在庫管理処理の手順例》
以下、本実施形態における在庫管理処理の実施手順について図に基づき説明する。以下で説明する在庫管理処理に対応する各種動作は、カメラ搭載モバイル端末１０１、ＤＢサーバ１０２、およびＡＰサーバ１０３がメモリ等に読み出して実行するプログラム、および、入荷/発注システム１０４とＰＯＳシステム１０５によって実現される。

図１１は、本実施形態における在庫管理処理の処理手順の全体の流れを示すフローチャートである。本実施形態では、マスタ更新処理（Ｓ１００）を実行後、入荷/販売更新処理（Ｓ１０１）、または物体認識処理（Ｓ１０２）のいずれかの処理を実行要求が発生したら実行し、物体認識処理に続いて在庫更新処理（Ｓ１０３）を実行する。入荷/販売更新処理、または在庫更新処理の終了後、全体の処理を終了させる指示が無ければ再び入荷/販売更新処理、または物体認識処理の実行要求待ちを繰り返す。
以下、順を追って説明する。

図１２は、本実施形態における在庫管理処理の処理手順のマスタ更新処理（Ｓ１００）を示すシーケンス図である。ここでは、カメラ搭載モバイル端末１０１を操作して、ＤＢサーバ１０２における商品マスタ２１１、画像マスタ２１２、店舗マスタ２１３、および棚割マスタ２１４のメンテナンスを行う状況から説明を行うものとする。

ステップＳ２００において、カメラ搭載モバイル端末１０１は、入力インターフェイスより管理担当ユーザから開始指示を受け付けてログイン画面を表示し、ログイン画面より受け付けた管理担当ユーザのＩＤ、パスワードといった認証情報を含むログイン要求を、ＡＰサーバ１０３に送信する。

ステップＳ２０１において、ＡＰサーバ１０３は、Ｓ２００のログイン要求が含む認証情報を受け付けてタスク更新機能３１４を起動し、ＤＢサーバ１０２に格納するユーザテーブル(図示せず)の各レコードに照合して認証処理を実行し、その結果が認証成功である場合に（Ｓ２０２：ｙ）、およびマスタ変更がある場合に（Ｓ２０３：ｙ）、所定のマスタメンテナンス用画面のデータ（記憶装置にて予め保持。以下、各画面データに関して同様）をカメラ搭載モバイル端末１０１に返す（Ｓ２０３）。

ステップＳ２０４において、カメラ搭載モバイル端末１０１は、ＡＰサーバ１０３より受け付けた前記マスタメンテナンス用画面を出力インターフイスに表示させ、このマスタメンテナンス用画面にて、メンテナンス対象となる、商品マスタ２１１、画像マスタ２１２、店舗マスタ２１３、または棚割マスタ２１４のいずれかについての管理担当ユーザの選択を受付ける。その選択に応じてＤＢサーバ１０２から読み出した該当マスタの内容を表示し、表示した該当マスタに対する新規レコードの登録や既存レコードの内容変更等の各種指示をカメラ搭載モバイル端末の入力部(図示せず)より受け付けて、受け付けた新規登録データ、および変更データをＤＢサーバ１０２へ送る。

ステップＳ２０５において、ＤＢサーバ１０２は、カメラ搭載モバイル端末１０１から受け付けた新規登録データ、および変更データに基づき、該当マスタを更新する。

マスタ更新処理（Ｓ１００）によるこうしたメンテナンス処理は、新規商品の登録時や新規店舗登録時など、各種マスタの修正が必要なタイミングを管理担当ユーザが判断して適宜に実行されるものである。

ステップＳ２０４において、管理担当ユーザが新規商品を登録するために画像マスタ２１２の更新を選択した場合には、図１４に示す新規商品の登録処理のシーケンスに移行する。

ステップＳ４００において、管理担当ユーザはカメラ搭載モバイル端末１０１を使用して、新規商品を撮影する。１個の新規商品が陳列棚に置かれる姿勢を想定して、同様の姿勢で全体を視野に納めて撮像される。撮像されたＲＧＢ画像、および距離画像に、商品名を添付してＡＰサーバ１０３へ送られる。

ステップＳ４０１において、新規商品の画像データを受け付けたＡＰサーバ１０３は、テンプレート画像作成機能３１５を起動して、画像データから物体領域情報の抽出を行う。物体領域情報の抽出処理では、例えばＲＧＢ画像のエッジ検出を施し、距離画像に基づく点群を平面フィッティング、曲面フィッティング処理することで、商品を構成する面領域を特定して、物体領域情報の抽出処理を行う。抽出した物体領域に従い、該当新規商品のテンプレート画像を切り出す。

ステップＳ４０２において、Ｓ４０１で作成したテンプレート画像から、画像特徴量の抽出を行う。例えば、公知の手法であるSIFT(Scale-Invariant Feature Transform)特徴量を抽出する。SIFT特徴量としては、テンプレート画像にDifference-of-Gaussian処理を施し、DoG(Difference-of-Gaussian)画像から極値(極大値or極小値)を検出して特徴点を抽出し、各特徴点周りの輝度勾配などの画像特徴量を抽出する。

ステップＳ４０３において、Ｓ４０１で作成した新規商品のテンプレート画像、およびＳ４０２で抽出した各特徴点の位置、輝度勾配などの画像特徴量を、商品名を添付してＤＢサーバ１０２へ送る。

ステップＳ４０４において、ＤＢサーバ１０２は、受け付けた商品名、画像特徴量、およびテンプレート画像を画像マスタ２１２へ新規商品のデータレコードとして登録する。

また、ステップＳ２０４において、管理担当ユーザが棚割マスタ２１４の更新を選択して、管理担当ユーザがカメラ搭載モバイル端末１０１を使用して、陳列棚に配置された商品を撮影して、棚割マスタ２１４の更新処理を実行する方法も可能とする。
この場合には、カメラ搭載モバイル端末１０１が撮像した画像データがＡＰサーバ１０３へ送られ、後述する図１５の物体認識処理により、陳列棚に配置された商品の認識処理を実行して、ＡＰサーバ１０３は商品名を出力する。

ステップＳ２０５において、ＤＢサーバ１０２は、カメラ搭載モバイル端末１０１から受け付けた棚割ＩＤ２１４ａのデータレコードに、ＡＰサーバ１０３が認識した商品名を商品名２１４ｄの欄に記載して、棚割マスタ２１４の更新処理を実行する。

上述のようなマスタメンテナンスの処理を経て、各マスタが適宜な内容となった状況下において、図１３に示す入荷/販売更新処理の流れを示すシーケンス図に記載している処理(入荷/販売更新処理Ｓ１０１)を実行する。

ステップＳ３００において、入荷/発注システム１０４は、新たな入荷があった場合には、入荷情報（店舗名、商品名、入荷数、入荷時刻）をＤＢサーバ１０２へ報告する。

ステップＳ３０１において、ＤＢサーバ１０２は、小売店舗に関する入荷情報の報告を受けたら在庫管理機能２２２を起動し、入荷情報により該当する店舗の入荷情報テーブル２１５を更新する。この入荷商品がバックヤード保管(店舗の倉庫に一旦保管する)が必要な場合は（Ｓ３０２：ｙ）在庫情報テーブル２１７の在庫数２１７ｃに入荷数を加算し（Ｓ３０３）、入荷商品がバックヤード保管無しの場合は（Ｓ３０２：ｎ）、在庫情報テーブル２１７の陳列数２１７ｂに入荷数を加算する（Ｓ３０４）。

ステップＳ３０５において、ＰＯＳシステム１０５は、商品の販売があった場合には、販売情報（店舗名、商品名、販売数、販売時刻）をＤＢサーバ１０２へ報告する。

ステップＳ３０６において、ＤＢサーバ１０２は、小売店舗に関する販売情報の報告を受けたら在庫管理機能２２２を起動し、販売情報により該当する店舗の販売情報テーブル２１６を更新する。そして、在庫情報テーブル２１７の販売した商品名の行のデータレコードの陳列数２１７ｂに販売数を減算して更新する（Ｓ３０７）。

次に、各店舗の在庫管理担当ユーザが陳列棚に配置された商品の数を確認するために、カメラ搭載モバイル端末１０１を使用して撮影して、画像処理によって商品の数を認識する物体認識処理（Ｓ１０２）の流れを示すシーケンス図を図１５にて説明する。

ステップＳ５００において、各店舗の在庫管理担当ユーザがカメラ搭載モバイル端末１０１を使用して陳列棚上の商品配置を撮影する。撮像されたＲＧＢ画像、および距離画像は、店舗情報を付加されて、ＡＰサーバ１０３へ送られる。なお、撮影したゴンドラ位置、および棚位置の特定方法は、原則としてゴンドラの各棚の前面にバーコードが貼り付けてあり、陳列棚上の商品配置を撮影する際に、視野内にバーコードを入れて撮影する。そして、画像処理の際に、バーコードを認識処理する。

ステップＳ５０１において、陳列棚上の商品配置の画像データを受け付けたＡＰサーバ１０３は、物体領域抽出機能３１２を起動して、画像データから物体領域情報の抽出を行う。
物体領域情報の抽出処理では、例えばＲＧＢ画像から前処理としてBING(Binarized normed gradients)を使用して画像中からオブジェクト候補領域を抽出後、エッジ検出、距離画像に基づく点群を平面フィッティング、および曲面フィッティング処理により、複数の商品候補領域を抽出する。

ステップＳ５０２において、Ｓ５０１で抽出した複数の各商品候補領域ごとに、画像特徴量抽出機能３１１が例えばSIFT特徴量を抽出する。

ステップＳ５０３において、商品名、数認識機能３１６を起動して、Ｓ５０１で抽出した複数の各商品候補領域ごとに、Ｓ５０２で抽出してSIFT特徴量を、ＤＢサーバ１０２の画像マスタ２１２に登録されているデータレコードのうち、照合する候補を順次読み出して(Ｓ５０４)、順次照合処理を行う。

ここで、照合する候補は、撮影した画像内に入っているバーコードを認識処理して、ゴンドラ位置、および棚位置を特定する。そして、店舗情報とともに、店舗マスタ２１３、棚割マスタ２１４を検索して、該当する１つ以上の商品名候補(１つの棚に複数種の商品を配列する場合も想定する。)を特定する。
そして、特定した商品名候補に従って、画像マスタ２１２を検索して該当する照合候補のデータレコードを読み出し、照合処理を行う。

照合処理は、例えばＳ５００で撮影した画像の各商品候補領域と、画像マスタ２１２の各照合候補のテンプレート画像間で、SIFT特徴量の対応点探索を行い、対応点の位置・スケール・方向を比較して、最も近いテンプレート画像を有する商品名を該当商品候補領域の商品名とする。なお、商品を認識処理する際には、商品マスタ２１１から読み出した商品の寸法情報も参照する。そして、画像内の全ての商品候補領域の照合処理を行う。

ステップＳ５０５において、Ｓ５０３で照合処理により認識した商品名を集計して、商品名ごとの数を出力する。（なお、図１５のシーケンス図の説明で詳細を述べていないが、Ｓ５００で撮影した画像情報には、カメラ搭載モバイル端末１０１より店舗名の情報が付加されており、また、上記画像情報には、ゴンドラの各棚の前面に貼られたバーコードの画像が含まれており、そのバーコードの画像認識処理によって、ゴンドラ位置、棚位置の情報が得られている。これらの情報も合わせて出力する。）
続いて、図１６に示す在庫更新処理の流れを示すシーケンス図にて、陳列棚上の物体認識処理実行後の在庫更新処理について説明する。
ステップＳ６００において、ＡＰサーバ１０３より、陳列棚上の商品配置画像の認識処理結果として、画像内に含まれていた商品名とその数、および撮影をした店舗名、ゴンドラ位置、棚位置の各情報をＤＢサーバ１０２へ送る。

ステップＳ６０１において、ＤＢサーバ１０２は、ＡＰサーバ１０３より物体認識処理（Ｓ１０２）の結果を受け取ると、在庫管理機能２２２を起動する。在庫更新処理は、受け取った店舗名に対応する在庫情報テーブル２１７を読み出し、認識処理結果の該当商品名のデータレコードのセンシング数２１７ｄの欄を、認識処理結果の該当商品名の数で更新する。
この場合、該当商品名のデータレコードのセンシング数２１７ｄの値は、現在の陳列棚に配列されている該当商品の数であり、該当商品名のデータレコードの陳列数２１７ｂの値は、前回以前の在庫更新処理時または入荷更新処理時に更新された陳列棚に配列されている該当商品の数である。

ステップＳ６０２において、該当商品名のデータレコードのセンシング数２１７ｄと、該当商品名のデータレコードの陳列数２１７ｂとを比較する。値が等しければＳ６０７へ移行する。値が等しく無ければＳ６０３へ移行する。

ステップＳ６０３において、次式(数１)を計算して、
（数１） （センシング差異数）＝（センシング数）−（陳列数）
算出したセンシング差異数を、該当商品名のデータレコードのセンシング差異数２１７ｅの欄に記録する。

ステップＳ６０４において、センシング数２１７ｄが陳列数２１７ｂより大であればＳ６０５へ移行し、それ以外であればＳ６０６へ移行する。

ステップＳ６０５において、センシング数が陳列数より多いのは、店員がバックヤード保管してある在庫の商品を陳列棚へセンシング差異数だけ移して配置したことによると判定して、該当商品名のデータレコードの在庫数２１７ｃに、センシング差異数２１７ｅを減算する。
（なお、センシング差異数がマイナスとなっている場合は、商品が販売されて陳列数が減っていることを意味する。この場合は、例えば陳列数が所定数より少ない場合には、バックヤード保管してある在庫より商品を陳列棚へ移すように促すメッセージをカメラ搭載モバイル端末１０１へ表示することが良い。）
ステップＳ６０６において、該当商品名のデータレコードの陳列数２１７ｂをセンシング数２１７ｄで更新する。

ステップＳ６０７において、該当商品名のデータレコードのセンシング時刻２１７ｆを更新する。

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

こうした本実施形態によれば、小売業における在庫管理に適用した場合、店舗の管理担当ユーザは、日々の通常店舗業務と在庫管理とを並行しつつも効率的に機動的な在庫管理を実行出来る。また、店舗業務と並行した目視確認による陳列数の管理やバックヤード在庫数の管理を実施する事に対して、機械的に自動で在庫数を取得する事が可能なため、作業効率の上昇とより精度の高い在庫管理とがあわせて図られることとなる。

一方、本実施形態では、カメラ搭載モバイル端末１０１を活用する事で、どの棚にどの商品がいくつ並んでいるかという情報を自動で取得する事が可能となり、各店舗における棚割情報も取得/管理する事が可能となる。

これにより、例えば、小売の本部において各店舗の棚割戦略を一元管理できるようになり、売上好調な店舗の棚割戦略を他の店舗に横展開することが可能となる。また、新規出店する店舗においても地域特徴等の外部情報と連携し、類似特徴を持つ売上好調店舗の棚割を基にした戦略の策定が可能となる。なお、棚割と各商品の売上情報と紐づけて、各種メーカーや棚卸の商品開発や販促施策に活用すべく、情報提供する事も可能である。

他にも、本実施形態では、カメラ搭載モバイル端末１０１により画像情報を収集/蓄積/照合することが可能となる。これにより、例えば、物流センターや配送業者において、検品作業やピッキング作業に活用出来る他、カタログやＥＣサイトへの画像情報の提供なども可能である。

１００ 在庫管理システム
１０１ カメラ搭載モバイル端末
１０２ ＤＢサーバ
１０３ ＡＰサーバ
１０４ 入荷/発注システム
１０５ ＰＯＳシステム
１０６ ネットワーク
２０１ 記憶装置
２０２ ＣＰＵ
２０３ メモリ
２０４ 通信端末
２１０ データベース
２１１ 商品マスタ
２１２ 画像マスタ
２１３ 店舗マスタ
２１４ 棚割マスタ
２１５ 入荷情報テーブル
２１６ 販売情報テーブル
２１７ 在庫情報テーブル
２２０ プログラム
２２１ データベース管理機能
２２２ 在庫管理機能
３０１ 記憶装置
３０２ ＣＰＵ
３０３ メモリ
３０４ 通信端末
３１０ プログラム
３１１ 画像特徴量抽出機能
３１２ 物体領域抽出機能
３１３ 照合処理機能
３１４ マスタ更新機能
３１５ テンプレート画像作成機能
３１６ 商品名、数認識機能

Claims (8)

1. 商品別のテンプレート画像、および画像特徴量を登録した画像マスタＤＢと、
   店舗名、棚割ＩＤ、および商品名を対応付けしたデータレコードを登録した店舗マスタＤＢと、
   棚割ＩＤ、ゴンドラ位置、棚位置、および商品名を対応付けしたデータレコードを登録した棚割マスタＤＢと、
   店舗別の少なくとも商品名、陳列数、および在庫数を対応付けしたデータレコードを登録した在庫情報ＤＢとを備えるＤＢサーバと、
   各店舗の陳列棚に配置された商品の画像を、管理担当ユーザにより撮影するカメラ搭載モバイル端末と、
   前記カメラ搭載モバイル端末で撮影した画像から、物体領域抽出機能と画像特徴量抽出機能により物体領域から画像特徴量を抽出し、前記画像マスタＤＢに登録してあるテンプレート画像、および画像特徴量と照合する事で、物体の特定と数量を取得するＡＰサーバとを備え、
   前記ＤＢサーバが、取得した商品名と数量に基づき、前記在庫情報ＤＢの在庫数を更新する
   ことを特徴とする在庫管理システム。
2. 前記ＤＢサーバは、前記ＡＰサーバが陳列棚の撮影画像から商品名と数量を取得した結果を受け取り、陳列棚に現在配置されている商品の数量と、在庫情報ＤＢに登録されている陳列数との差異数を計算して、現在の数量が多い場合には、前記在庫情報ＤＢの在庫数を前記差異数により減算して更新することを特徴とする請求項１に記載の在庫管理システム。
3. 前記ＤＢサーバは、前記ＡＰサーバが陳列棚の撮影画像から商品名と数量を取得した結果を受け取り、陳列棚に現在配置されている商品の数量によって、前記在庫情報ＤＢの陳列数を更新することを特徴とする請求項１に記載の在庫管理システム。
4. 前記ＤＢサーバは、店舗に新たに入荷が有った場合、入荷/発注システムより小売店舗に関する入荷情報を受信し、バックヤード保管が要の場合には前記在庫情報ＤＢの在庫数に前記入荷情報を加算して更新し、またはバックヤード保管が否の場合には前記在庫情報ＤＢの陳列数に前記入荷情報を加算して更新することを特徴とする請求項１に記載の在庫管理システム。
5. 前記ＤＢサーバは、店舗に新たに販売が有った場合、ＰＯＳシステムより小売店舗に関する販売情報を受信し、前記在庫情報ＤＢの陳列数に販売情報を減算して更新することを特徴とする請求項１に記載の在庫管理システム。
6. 前記カメラ搭載モバイル端末により、新規の商品を撮影して、
   前記ＡＰサーバは、前記カメラ搭載モバイル端末で撮影した画像から、物体領域抽出機能と画像特徴量抽出機能により物体領域から画像特徴量を抽出し、前記物体領域からテンプレート画像を切り出し、
   前記ＤＢサーバは、前記ＡＰサーバから受け付けた商品名、画像特徴量、およびテンプレート画像により、前記画像マスタＤＢに新規商品のデータを登録することを特徴とする請求項１に記載の在庫管理システム。
7. 前記カメラ搭載モバイル端末で撮影した画像は、ＲＧＢ画像のみ、または、ＲＧＢ画像および距離画像の両画像であることを特徴とする請求項１、または請求項６に記載の在庫管理システム。
8. 前記カメラ搭載モバイル端末より、棚割マスタＤＢの更新が選択入力されて、陳列棚に配置された商品の撮影が実行され、
   前記ＡＰサーバが、前記カメラ搭載モバイル端末で撮影した画像から、認識処理によって商品名を特定し、
   前記ＤＢサーバが、特定された商品名により棚割マスタＤＢの更新処理を実行することを特徴とする請求項１に記載の在庫管理システム。

Images