JP2023114860A - 在庫管理システム - Google Patents
在庫管理システム Download PDFInfo
- Publication number
- JP2023114860A JP2023114860A JP2022017412A JP2022017412A JP2023114860A JP 2023114860 A JP2023114860 A JP 2023114860A JP 2022017412 A JP2022017412 A JP 2022017412A JP 2022017412 A JP2022017412 A JP 2022017412A JP 2023114860 A JP2023114860 A JP 2023114860A
- Authority
- JP
- Japan
- Prior art keywords
- product
- inventory
- photographing
- identification
- management system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 62
- 238000012806 monitoring device Methods 0.000 claims abstract description 26
- 238000012935 Averaging Methods 0.000 claims description 49
- 239000000284 extract Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 56
- 238000010586 diagram Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 235000006468 Thea sinensis Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 235000020333 oolong tea Nutrition 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Abstract
【解決手段】商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、前記監視装置は、商品を撮影する撮影手段を有し、前記管理サーバは、該撮影手段によって撮影した前記商品の撮影画像から複数の特定の画像ののみを抽出する抽出手段と、該抽出手段によって抽出された複数の画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、該加算平均処理画像から商品を識別する識別手段と、該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする。
【選択図】 図1
Description
該加算平均処理画像から商品を識別する識別手段と、該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする。
また、人物を感知する感知手段を用いることで感知結果に応じて商品の撮影のオン/オフを切り換えることができ、商品のみを撮影した撮影画像を得ることが可能となる。
図1は、本実施形態に係る在庫管理システムの構成を示した図であり、図2は、ユーザ端末の構成を示した図であり、図3は、在庫管理サーバの構成を示した図であり、図4は、記憶部の構成を示した図である。
図1に示すように、在庫管理システムは、複数のユーザ端末100と、在庫管理サーバ200と、店舗300に設置されている監視装置301とから構成されている。
ユーザ端末100は、スマートフォンやタブレット型のPC、パーソナルコンピュータであって、店舗300の商品の在庫管理する担当者や店舗300に商品を納入する納品業者が所持するものである。
<ユーザ端末100>
ユーザ端末100は、図2に示すように、制御部101と、表示部102と、操作部103と、記憶部104と、通信部105とから構成されている。
制御部101は、CPUやROM、RAM等によって構成されており、ROMは各種プログラムやデータを記憶し、RAMは、各種プログラムを一時的に記憶するとともに各種データを書き換え自在に記憶する。また、制御部101は、バス等を介して表示部102、操作部103、記憶部104、通信部105に接続されている。
在庫管理サーバ200は、図3に示すように、制御部201と、表示部202と、操作部203と、記憶部204と、加算平均処理部205と、動体検出部206と、学習処理部207と、個数判定部208と、通信部209とから構成されている。
制御部201は、CPUやROM、RAM等によって構成されており、ROMは各種プログラムやデータを記憶し、RAMは、各種プログラムを一時的に記憶するとともに各種データを書き換え自在に記憶する。また、制御部201は、バス等を介して、表示部202、操作部203、記憶部204、加算平均処理部205、動体検出部206、学習処理部207、個数判定部208、通信部209と、に接続されている。
通信部207は、制御部201の制御の下、ネットワーク1に接続されているユーザ端末100や店舗300の監視装置301と通信を行う。
図4は、在庫管理サーバの記憶部の構成を示しており、図5は、ユーザデータベースの構成を示しており、図6は、店舗データベースの構成を示した図であり、図7は、撮影画像データベースの構成を示した図であり、図8は、商品データベースの構成を示した図であり、図9は、商品在庫データベースの構成を示した図である。
図示するように、記憶部204は、ユーザデータベース204aと、店舗データベース204bと、撮影画像データベース204cと、商品データベース204dと、商品在庫データベース204eと、を有している。
図5に示すユーザ情報は一例であって、格納する情報の項目を追加することは可能である。
ユーザデータベース204aと同様に格納する店舗情報は一例であって、他の情報の項目を追加することは可能である。
図示するように、店舗Aを例にして説明すると、店舗Aにはカメラ1~10が設置されており、各カメラが対象となる商品棚を決められた時間に撮影する。まず、店舗Aの開店前の9:00に各カメラが対象の商品棚の撮影を行い、その後は決められた時間帯(10時、12時、15時、18時、19時)に撮影を実行する。そして、最後に店舗Aの閉店後20:00に撮影を行う。
撮影については、例えば数分間の動画撮影もしくは静止画を連写して複数枚撮影を行う。
カメラ1~10で撮影された撮影データは随時、撮影画像データベース204cに格納される。
例えば、店舗コード「S0001」の店舗に置かれている商品に付けられた商品コード「A0001」であって、この商品コードを示す商品が「ウーロン茶」であり、種別が「飲料」であり、価格が「120円」である。そして、商品の画像をこれらのデータに関連付けて格納している。
在庫数については、店舗ごとの売り上げによる在庫変動が反映される。
図10は、監視装置301の構成を示した図であり、図11は、商品を撮影する方法を示した模式図である。
監視装置301は、制御部302と、カメラ303(1~N台)と、センサ304と、通信部305とから構成されている。
制御部302は、監視装置301全体を制御するためのものであるほか、予め設定された時刻にカメラ303による撮影を実行させるプログラムを有している。カメラ303は、図11に示すように、商品棚400に陳列される商品を撮影(動画又は静止画)するためのものであり、商品棚400を撮影したときに陳列されている商品401の陳列状態が把握できるような位置に設置されている。なお、1台のカメラ303で1つの商品棚を撮影してもよく、又は1台のカメラ303で複数の商品棚を撮影してもよい。
制御部302は、検知信号を受信し続ける間はカメラ303の撮影を止めておき、検知信号を受信しなくなった場合にカメラ303に対して撮影を再度実行させるよう制御を行う。
次に、在庫管理方法について説明する。
図12は、商品棚を撮影するカメラの動作を示したフローチャートである。
図12に示すように、まず、監視装置301の制御部302が所定時刻になったかどうかを判断する(ステップS100)。例えば、店舗ごとに設定された撮影スケジュールに対応する時間になったら(ステップS100/YES)制御部301は、カメラ302に撮影実行の指示を送信する。
また、所定時刻に到達していない場合には(ステップS100/NO)、所定時刻が到達するまで待機状態とする。
なお、カメラ302の撮影時間については、店舗ごとに変更することは可能である。
そして、カメラ302によって撮影された撮影データは、監視装置301の通信部305が在庫管理サーバ200へ送信し(ステップS102)、記憶部204の撮影画像データベース204cに格納する。
図13は、在庫管理方法の動作を示すフローチャートであり、図14は、撮影データを構成する複数のフレームを示した図であり、図15(a)は、教師データを構成する撮影画像データを示す図であり、図15(b)は、教師データを構成するテキストデータを示す図であり、図15(c)は、学習処理データを示す図であり、図16は、加算平均処理データを学習処理によって学習処理データを生成した状態を示した図である。
具体的に処理方法については下記に示す。
ここで、撮影データをもとにして加算平均処理データを生成する方法について説明する。
まず、カメラ302によって所定時刻に一定時間、商品棚400に陳列された商品401を撮影した撮影データは、図14に示すように、複数のフレームから構成されており、複数のフレームには、商品棚400のみが撮影されたフレーム(商品フレーム500)と商品棚400の前方に人物などが映っているフレーム(商品+人物フレーム501)とがある。
つまり、図14に示す撮影データのように、人物が映っているフレームと、次に人物が映っているフレームとの間にある商品のみが売っている商品フレーム500のみを加算平均処理区間として、この複数の商品フレーム500を抽出する。
従って、最初の人物が映っている商品+人物フレーム501と次に人物が映る商品+人物フレーム501との間の商品401のみが映っている商品フレーム500であれば、商品401の個数の変動はなく、現時点での商品401の個数判定に最適なフレームとなる。
よって、商品401のみが映っている商品フレーム401だけを抽出することで今後の個数判定の解析を確実に行うことが可能となる。
また、商品フレーム500を抽出したときに、この商品フレーム500にノイズ(商品カートやゴミ)が映っている可能性があることから、加算平均処理を実行することでノイズを除去することが可能となる。
人物以外の物体は、例えば、商品売り場で顧客が利用するカートや買い物かごといった物や、商品の個数を特定するのに不必要な物体を示す。
加算平均処理部205は、複数の商品フレーム500を加算処理することで人物以外の物体を除去した加算平均処理データを生成する。
学習処理部207は、加算平均処理データをもとに商品棚400に置かれている商品にラベルを付与した個数判定用データを生成する。
学習処理部207は、事前に教師データによって商品棚400に置かれている商品の種類及び位置を学習済である。教師データは、図15に示すように、商品401が置かれた商品棚400の撮影画像と、教師ラベルとから構成されている。
また、教師ラベル(図15(b))とは、商品棚400におかれている商品401の種類(商品名や種別など)と、商品の外観を矩形状に囲ったときの矩形サイズと、商品がどの位置にあるかを示す座標情報から構成されている。
教師ラベルは、商品の特徴である色や輪郭、テクスチャーなどの要素から生成されており、この生成方法は従来からある手法を利用することが可能である。
また、個数判定用データには、商品の種類(商品1~3)と矩形状のサイズ、座標情報を含むテキストデータも有している。
次に、他の実施形態として、センサを用いた撮影画像の処理方法について説明する。
図17は、センサを用いた人物検知による撮影方法を示した模式図であり、図18は、センサ及びカメラの動作を示すフローチャートであり、図19は、センサ及びカメラの動作を示した模式図である。
センサ304は、上記したように人感センサから構成されており、図17に示すように、商品棚400の前方を通過する人物を検知する。センサ304の設置位置については、商品棚400の前方を通過する人物を検知可能な位置であればよい。なお、各センサ304は、各商品棚400と、各商品棚400を撮影するカメラ303と対応つけられており、図示するように、商品棚Aの前方を通過する人物を検知したセンサ304は、商品棚Aを撮影するカメラ303の撮影をOFFにする。
まず、監視装置301の制御部302は、店舗ごとに設定された撮影時間に到達したかを判断する(ステップS300)。撮影時間に到達していない場合には(ステップS300/NO)、一方、撮影時間に到達した場合に(ステップS300/YES)、次に、センサ304が人物を検知したか否かを判断する(ステップS301)。
このフレームを加算平均処理することで機械学習による学習処理の妨げになるような物体などを除去したデータを生成し、このデータを機械学習による学習処理によって商品の個数判定が可能な学習データを生成することができる。
よって、この学習データから個数判定をすることで、撮影した時間における商品の個数を集計することが可能である。個数の集計をすることによって現時点での在庫情報を容易に把握することができ、また在庫が不足している状況であれば、即時に商品を納入する業者などに連絡することが可能である。
なお、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形が可能である。
100 ユーザ端末
200 在庫管理サーバ
300 店舗
301 監視装置
Claims (13)
- 商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、
前記監視装置は、商品を撮影する撮影手段を有し、
前記管理サーバは、該撮影手段によって撮影した前記商品の撮影画像から複数の特定の画像ののみを抽出する抽出手段と、
該抽出手段によって抽出された複数の画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、
該加算平均処理画像から商品を識別する識別手段と、
該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする在庫管理システム。 - 商品の在庫数の通知を受信するユーザ端末と、商品の在庫を監視する監視装置と、在庫数の管理を行う管理サーバと、が通信可能な在庫管理システムにおいて、
前記監視装置は、商品を撮影する撮影手段と、人を感知する人感知手段と、を有し、
該人感知手段による人の感知の有無によって該撮影手段による商品の撮影のオン/オフを切り換え、
前記管理サーバは、前記撮影手段によって撮影された商品の複数の撮影画像を加算平均処理して加算平均処理画像を生成する加算平均処理手段と、
該加算平均処理画像から商品を識別する識別手段と、
該識別手段によって識別された商品の個数を判定する個数判定手段と、を有することを特徴とする在庫管理システム。 - 前記撮影手段は、予め設定された時間に撮影を開始し、一定時間、商品の撮影を実行することを特徴とする請求項1または2記載の在庫管理システム
- 前記人感知手段は、前記商品の前方を横切る又は立ち止まるような人を感知し、感知した場合には、撮影手段は撮影をオフにすることを特徴とする請求項2記載の在庫管理システム。
- 前記撮影手段は、前記人感知手段による人の感知状態が継続している間は撮影をオフにすることを特徴とする請求項4記載の在庫管理システム。
- 前記撮影手段による商品の撮影画像は連続した複数の画像から構成されており、前記抽出手段は、連続した複数の画像から人が映っていない商品のみが撮影された複数の画像のみを抽出することを特徴とする請求項1記載の在庫管理システム。
- 前記加算平均処理手段は、前記抽出手段によって抽出された複数の画像を加算平均処理することで、前記識別手段による識別処理に不要となる被写体を排除することを特徴とする請求項6記載の在庫管理システム。
- 前記加算平均処理手段は、前記撮影手段によって撮影された複数の撮影画像を加算平均処理することで前記識別手段による識別処理に不要となる被写体を排除することを特徴とする請求項5記載の在庫管理システム。
- 前記識別手段は、画像に映っている商品を識別するための識別データを有しており、前記識別手段は、該識別データに基づいて前記加算平均処理画像に映っている商品を商品ごとに識別可能とし、前記商品ごとに異なる識別情報を付した識別結果となる識別画像データを生成することを特徴とする請求項1から8のいずれか1項に記載の在庫管理システム。
- 前記識別データは、前記商品の色や輪郭、テクスチャーに基づいて前記商品ごとの特徴から構成されていることを特徴とする請求項9記載の在庫管理システム。
- 前記個数判定手段は、前記識別手段によって生成された識別画像データから商品ごとの個数を集計して個数を判定することを特徴とする請求項1から10のいずれか1項に記載の在庫管理システム。
- 前記個数判定手段は、前記識別画像データに付された前記商品ごとの識別情報を集計することで前記商品の個数を判定することを特徴とする請求項1から10のいずれか1項に記載の在庫管理システム。
- 前記個数判定手段は、前記商品ごとの在庫数に対して設定されている閾値より下回っているかを判断し、個数判定した前記商品の在庫数が閾値より下回っている場合には、前記ユーザ端末に前記商品の在庫の補充を促す通知を送信することを特徴とする請求項1から12のいずれか1項に記載の在庫管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022017412A JP2023114860A (ja) | 2022-02-07 | 2022-02-07 | 在庫管理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022017412A JP2023114860A (ja) | 2022-02-07 | 2022-02-07 | 在庫管理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023114860A true JP2023114860A (ja) | 2023-08-18 |
Family
ID=87569586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022017412A Pending JP2023114860A (ja) | 2022-02-07 | 2022-02-07 | 在庫管理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023114860A (ja) |
-
2022
- 2022-02-07 JP JP2022017412A patent/JP2023114860A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2727084C1 (ru) | Устройство и способ определения информации о заказе | |
CN109726759B (zh) | 无人售货方法、装置、系统、电子设备及计算机可读介质 | |
TWI567676B (zh) | 管理放置於貨架上之產品的方法與設備 | |
US11663571B2 (en) | Inventory management computer system | |
JP7038543B2 (ja) | 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム | |
RU2739542C1 (ru) | Система автоматической регистрации для торговой точки | |
WO2020042966A1 (zh) | 漏扫识别方法、装置、自助收银终端及系统 | |
US20120284132A1 (en) | Display device attachable to shopping carts, shopping cart, and digital signage display | |
JP2009301297A (ja) | 情報提供装置、コンピュータプログラム及び店舗システム | |
JP5923962B2 (ja) | 情報解析システム | |
JP7384516B2 (ja) | 情報処理装置、商品推薦方法、プログラム、及びシステム | |
US20210097478A1 (en) | Real-time shelf inventory and notification | |
CA3011318A1 (en) | Automatic product identification in inventories, based on multimodal sensor operation | |
JP2016115298A (ja) | 商品登録装置、商品登録方法、および、商品画像提供システム | |
US20120166356A1 (en) | Information terminal and sales data display method | |
CN114358881A (zh) | 自助结算方法、装置和系统 | |
Yaw Wong et al. | Radio frequency identification data capture and its impact on shelf replenishment | |
US20240193995A1 (en) | Non-transitory computer-readable recording medium, information processing method, and information processing apparatus | |
JP2023114860A (ja) | 在庫管理システム | |
CN208689618U (zh) | 一种售货系统 | |
JP6443499B2 (ja) | 情報解析システム | |
TWI601083B (zh) | 基於離線商務模式的購物系統 | |
JP2020077275A (ja) | 商品決済システム、商品運搬カート及び商品決済方法 | |
JP7506854B2 (ja) | 精算装置及び制御方法 | |
US20220270061A1 (en) | System and method for indicating payment method availability on a smart shopping bin |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221212 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20221212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240702 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240709 |