JP2021189990A - 管理装置及び管理システム - Google Patents

管理装置及び管理システム Download PDF

Info

Publication number
JP2021189990A
JP2021189990A JP2020097462A JP2020097462A JP2021189990A JP 2021189990 A JP2021189990 A JP 2021189990A JP 2020097462 A JP2020097462 A JP 2020097462A JP 2020097462 A JP2020097462 A JP 2020097462A JP 2021189990 A JP2021189990 A JP 2021189990A
Authority
JP
Japan
Prior art keywords
article
product
distance
processor
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020097462A
Other languages
English (en)
Inventor
哲也 信岡
Tetsuya Nobuoka
唯志 竹野
Tadashi Takeno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2020097462A priority Critical patent/JP2021189990A/ja
Priority to US17/091,150 priority patent/US11587031B2/en
Publication of JP2021189990A publication Critical patent/JP2021189990A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Display Racks (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

【課題】物品の増減数を効果的に算出することができる管理装置及び管理システムを提供する。【解決手段】商品を自動的に決済するシステムなどにおいて用いられ管理システムにおいて、管理装置10は、センサインターフェース110と、プロセッサ11と、を備える。センサインターフェース110は、所定の位置から、並ぶ方向に付勢され最前面から支持された物品から構成される物品列の最背面までの距離を測定する距離センサとデータを送受信する。プロセッサ11は、距離センサが測定した距離が変動した場合、変動前の距離と変動後の距離とに基づいて物品列の長さを算出し、物品列の長さと棚割情報が示す物品の厚さと整合するかを判定し、物品列の長さと棚割情報が示す物品の厚さと整合すると判定した場合、物品列の長さに基づいて物品の増減数を算出する。【選択図】図3

Description

本発明の実施形態は、管理装置及び管理システムに関する。
店舗などにおいてユーザが棚から取り出した商品(物品)を画像処理によって特定する装置が提供されている。このような装置は、画像処理によってユーザが棚から取り出した各商品の画像を分離して取り出された商品の個数をカウントする。
従来、そのような装置は、画像の分離に失敗して商品の個数のカウントに失敗するというおそれがある。
特開2018−206372号公報
上記の課題を解決するため、物品の増減数を効果的に算出することができる管理装置及び管理システムを提供する。
実施形態によれば、管理装置は、センサインターフェースと、プロセッサと、を備える。センサインターフェースは、所定の位置から、並ぶ方向に付勢され最前面から支持された物品から構成される物品列の最背面までの距離を測定する距離センサとデータを送受信する。プロセッサは、前記距離センサが測定した距離が変動した場合、変動前の距離と変動後の距離とに基づいて前記物品列の長さを算出し、前記物品列の長さと棚割情報が示す物品の厚さと整合するかを判定し、前記物品列の長さと前記棚割情報が示す物品の厚さと整合すると判定した場合、前記物品列の長さに基づいて前記物品の増減数を算出する。
図1は、実施形態に係る管理システムの構成例を概略的に示す図である。 図2は、実施形態に係る棚の断面図を概略的に示す図である。 図3は、実施形態に係る管理装置の構成例を示すブロック図である。 図4は、実施形態に係る管理システムの動作例を示す図である。 図5は、実施形態に係る電子棚札の表示例を示す図である。 図6は、実施形態に係る管理装置の動作例を示すフローチャートである。 図7は、実施形態に係る管理装置の動作例を示すフローチャートである。 図8は、実施形態に係るカメラの変形例を示す図である。
以下、実施形態について、図面を参照して説明する。
実施形態に係る管理システムは、店舗などにおいてユーザが棚などから取り出した商品の個数又はオペレータが投入した商品の個数を算出する。管理システムは、商品を自動的に決済するシステムなどにおいて用いられる。また、管理システムは、倉庫又は工場などにおいて物品の増減数を算出するものであってもよい。
図1は、管理システム1の構成例を概略的に示す。図2は、実施形態に係る管理システム1が備える棚100の断面図である。図1及び図2が示すように、管理システム1は、管理装置10、カメラ20、電子棚札30、距離センサ40及び棚100などを備える。
管理装置10は、カメラ20、電子棚札30及び距離センサ40に接続する。
なお、管理システム1は、図1及び図2が示すような構成の他に必要に応じた構成を具備したり、管理システム1から特定の構成が除外されたりしてもよい。
ここでは、管理システム1は、棚100に陳列されている商品A、商品B及び商品Cの増減数を算出する。
管理装置10は、距離センサ40からのセンサ信号などに基づいて棚100に陳列されている商品の増減数を算出する。管理装置10については、後に詳述する。
カメラ20は、商品A、商品B及び商品Cを撮影する。ここでは、カメラ20は、先頭にある商品A、商品B及び商品Cの前面(フェイス)を撮影する。カメラ20は、管理装置10からの制御に従って商品A乃至Cを撮影する。カメラ20は、撮影した画像を管理装置10へ送信する。
たとえば、カメラ20は、商品A乃至Cの上に形成される棚段に下向きに設置されている。
電子棚札30は、管理装置10からの制御に従って種々の情報を表示する。たとえば、電子棚札30は、商品の名称又は価格などを表示する。また、電子棚札30は、商品の陳列が誤っていることを示すエラーを表示してもよい。
ここでは、電子棚札30は、電子棚札30a、30b及び30cから構成される。電子棚札30a、30b及び30cは、それぞれ商品A、商品B及び商品Cに対応する。
また、棚100の棚段には、支持部材101(支持機構)が形成されている。支持部材101は、矩形の棒状に形成されている。支持部材101は、棚段の前面に所定の長さに形成されている。支持部材101は、商品A乃至Cの高さよりも低く形成される。
後述するように、商品A乃至Cは、前面に向けて付勢されている。支持部材101は、付勢されている商品A乃至Cを前面から支持する。支持部材101は、商品A乃至Cの下端に接触して商品A乃至Cを支持する。
図2が示すように、棚100には、付勢部材102が形成されている。ここでは、商品Aを付勢する付勢部材102について説明する。付勢部材102は、商品Aが並ぶ方向に商品Aを付勢する。付勢部材102は、棚段の奥から前方方向へ商品Aを付勢する。
付勢部材102は、板102a及びバネ102bなどから構成される。板102aは、棚100の棚段において奥行き方向(商品Aが並ぶ方向)に移動可能に設置されている。
バネ102bは、板102aを棚段の奥から前方方向に付勢する。バネ102bは、一端を棚段の前面付近に固定され、他端を板102aに固定される。バネ102bは、自然長よりも伸びた状態で板102aに固定される。
付勢部材102は、バネ102bの張力によって板102aを棚段の前方方向に付勢する。そのため、支持部材101と板102aとの間に並ぶ商品Aは、付勢部材102によって前方に付勢される
棚100の背板には、距離センサ40が設置されている。距離センサ40は、背板から商品Aが形成する商品列(物品列)の最背面までの距離を測定する。即ち、距離センサ40は、最も奥に配置されている商品A(最後尾の商品A)の裏面との距離を測定する。ここでは、距離センサ40は、板102aとの距離を測定する。距離センサ40は、測定した距離を管理装置10へ送信する。
たとえば、距離センサ40は、光源から照射される光(可視光又は不可視光)の反射光に基づいて距離を測定する。距離センサ40は、照射された光が測定対象で反射し光センサに届くまでの時間に基づいて当該測定対象との距離を測定するToF(Time−of−Flight)方式を行ってもよい。
距離センサ40の構成は、特定の構成に限定されるものではない。
なお、付勢部材102及び距離センサ40は、商品列ごとに棚100に形成されている。即ち、付勢部材102及び距離センサ40は、商品Bの列及び商品Cの列に対しても形成されている。
また、付勢部材102は、棚100と独立した部材であってもよい。たとえば、付勢部材102は、棚板の上に置かれていてもよい。付勢部材102は、商品を前方に付勢させる機構であればよく、特定の構成に限定されるものではない。
次に、管理装置10について説明する。
図3は、管理装置10の構成例を示す。図3が示すように、管理装置10は、プロセッサ11、ROM12、RAM13、NVM14、通信部15、操作部16、表示部17、カメラインターフェース18、棚札インターフェース19及びセンサインターフェース110などを備える。
プロセッサ11と、ROM12、RAM13、NVM14、通信部15、操作部16、表示部17、カメラインターフェース18、棚札インターフェース19及びセンサインターフェース110と、は、データバスなどを介して互いに接続する。
なお、管理装置10は、図3が示すような構成の他に必要に応じた構成を具備したり、管理装置10から特定の構成が除外されたりしてもよい。
プロセッサ11は、管理装置10全体の動作を制御する機能を有する。プロセッサ11は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ11は、内部メモリ、ROM12又はNVM14が予め記憶するプログラムを実行することにより種々の処理を実現する。
なお、プロセッサ11がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ11は、ハードウエア回路により実行される機能を制御する。
ROM12は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ROM12に記憶される制御プログラム及び制御データは、管理装置10の仕様に応じて予め組み込まれる。
RAM13は、揮発性のメモリである。RAM13は、プロセッサ11の処理中のデータなどを一時的に格納する。RAM13は、プロセッサ11からの命令に基づき種々のアプリケーションプログラムを格納する。また、RAM13は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
NVM14は、データの書き込み及び書き換えが可能な不揮発性のメモリである。NVM14は、たとえば、HDD(Hard Disk Drive)、SSD(Solid State Drive)又はフラッシュメモリなどから構成される。NVM14は、管理装置10の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
通信部15は、外部装置とデータを送受信するためのインターフェースである。たとえば、通信部15は、有線又は無線のLAN(Local Area Network)接続をサポートするインターフェースである。
操作部16は、オペレータから種々の操作の入力を受け付ける。操作部16は、入力された操作を示す信号をプロセッサ11へ送信する。操作部16は、タッチパネルから構成されてもよい。

表示部17は、プロセッサ11からの画像データを表示する。たとえば、表示部17は、液晶モニタから構成される。操作部16がタッチパネルから構成される場合、表示部17は、操作部16と一体的に形成されてもよい。
カメラインターフェース18は、カメラ20とデータを送受信するためのインターフェースである。カメラインターフェース18は、有線又は無線でカメラ20に接続する。たとえば、カメラインターフェース18は、プロセッサ11の制御に従ってカメラ20へ画像を撮影させる信号を送信する。また、カメラインターフェース18は、カメラ20が撮影した画像をプロセッサ11に送信する。
棚札インターフェース19は、電子棚札30とデータを送受信するためのインターフェースである。棚札インターフェース19は、有線又は無線で電子棚札30に接続する。たとえば、棚札インターフェース19は、プロセッサ11の制御に従って画像を表示させる信号を電子棚札30に送信する。
センサインターフェース110は、距離センサ40とデータを送受信するためのインターフェースである。センサインターフェース110は、有線又は無線で距離センサ40に接続する。たとえば、センサインターフェース110は、距離センサ40が測定した距離をプロセッサ11に送信する。
カメラインターフェース18、棚札インターフェース19及びセンサインターフェース110は、一体的に形成されるものであってもよい。
次に、管理装置10が実現する機能について説明する。管理装置10が実現する機能は、プロセッサ11が内部メモリ、ROM12又はNVM14などに格納されるプログラムを実行することで実現される。
まず、プロセッサ11は、距離センサ40が測定する距離に基づいて棚100に陳列されている商品の個数を取得する機能を有する。
たとえば、オペレータが棚100への商品の陳列を完了した場合などに、プロセッサ11は、棚割情報を取得する。棚割情報は、棚100の各位置において陳列される商品を示す。
棚割情報を取得すると、プロセッサ11は、所定の位置において陳列される商品の厚さを取得する。ここで、商品の厚さは、棚100に陳列された場合における奥行き方向の距離である。
商品の厚さは、棚割情報に含まれるものであってもよい。この場合、プロセッサ11は、棚割情報を参照して商品の厚さを取得する。また、プロセッサ11は、商品の外寸を格納するデータベースから商品の厚さを取得してもよい。この場合、データベースは、NVM14などに格納されてもよいし、外部装置に格納されてもよい。
商品の厚さを取得すると、プロセッサ11は、距離センサ40を用いて商品列の最背面までの距離を取得する。
商品列の最背面までの距離を取得すると、プロセッサ11は、取得した距離に基づいて、当該商品の個数を算出する。たとえば、プロセッサ11は、当該商品の厚さと、商品列の最背面までの距離とを取得する。当該商品の厚さと当該距離とを取得すると、プロセッサ11は、棚段の奥行きと当該距離とに基づいて当該商品が形成する商品列の長さ(商品の最前面から最背面までの距離)を算出する。商品列の長さを取得すると、プロセッサ11は、商品列の長さと当該商品の厚さとに基づいて、当該商品の個数(商品列を構成する商品の個数)を算出する。当該商品の個数を算出すると、プロセッサ11は、算出した個数を当該商品の初期値として格納する。
プロセッサ11は、各位置において同様に商品の初期値を格納する。
また、プロセッサ11は、距離センサ40が測定する距離が変動したかを判定する機能を有する。
即ち、プロセッサ11は、距離センサ40が測定する距離に基づいて商品が取り出されたか又は商品が投入されたかを判定する。
たとえば、プロセッサ11は、距離センサ40が測定した距離と移動平均値又は直前の測定値との差が所定の閾値を超えたかを判定する。プロセッサ11は、差が所定の閾値を超えたと判定すると、距離が変動したと判定する。また、プロセッサ11は、差が所定の閾値を超えていないと判定すると、距離が変動していないと判定する。
また、プロセッサ11は、距離センサ40が測定した距離が変動した場合、棚割情報が示す商品が陳列されているかを判定する機能を有する。
距離センサ40が測定した距離が変動した場合、プロセッサ11は、変動後の距離に基づいて商品列の長さを算出する。商品列の長さの算出は、前述の通りである。
商品列の長さを算出すると、プロセッサ11は、棚割情報が示す商品の厚さと商品列の長さとが整合するかを判定する。たとえば、プロセッサ11は、商品列の長さが当該商品の厚さの整数倍であるか(又は、商品列の長さと厚さの整数倍との差が所定の閾値以下であるか)を判定する。商品列の長さが当該商品の厚さの整数倍であると判定すると、プロセッサ11は、棚割情報が示す商品の厚さと商品列の長さとが整合すると判定する。また、商品列の長さが当該商品の厚さの整数倍でないと判定すると、プロセッサ11は、棚割情報が示す商品の厚さと商品列の長さとが整合しないと判定する。
棚割情報が示す商品の厚さと商品列の長さとが整合しないと判定した場合、プロセッサ11は、棚割情報が示す商品が陳列されていないと判定する。
図4は、棚割情報が示す商品の厚さと商品列の長さとが整合しない場合の例を示す。図4が示す例では、棚割情報は、図4が示す位置において陳列される商品として商品Aを示すものとする。図4が示すように、商品Aの厚みと異なる厚みを有する商品Bが前面に陳列されている。この場合、商品列の長さは、商品Aの厚さの整数倍とならない。よって、プロセッサ11は、棚割情報が示す商品の厚さと商品列の長さとが整合しないと判定する。
棚割情報が示す商品の厚さと商品列の長さとが整合すると判定した場合、プロセッサ11は、カメラ20を用いて最前面の商品の画像を撮影する。最前面の商品の画像を撮影すると、プロセッサ11は、画像処理によって撮影した画像に基づいて最前面の商品を特定する。
たとえば、NVM14は、商品を特定するための辞書情報を予め格納する。辞書情報は、各商品の特徴点又は特徴量などを示すものであってもよい。また、辞書情報は、商品を特定するためのネットワークを示すものであってもよい。辞書情報の構成は、特定の構成に限定されるものではない。
プロセッサ11は、辞書情報を用いて撮影画像に写る商品を特定する。
最前面の商品を特定すると、プロセッサ11は、棚割情報が示す商品と特定した商品とが一致するかを判定する。両者が一致すると判定する場合、プロセッサ11は、棚割情報が示す商品が陳列されていると判定する。また、両者が一致しないと判定した場合、プロセッサ11は、棚割情報が示す商品が陳列されていないと判定する。
また、プロセッサ11は、棚割情報が示す商品が陳列されていると判定した場合、商品の増減数をカウントする機能を有する。
棚割情報が示す商品が陳列されていると判定すると、プロセッサ11は、変動前の距離と変動後の距離との差を算出する。差を算出すると、プロセッサ11は、算出した差を商品の厚さで除算した値を商品の増減数として算出する。ここでは、プロセッサ11は、変動後の距離が変動前の距離よりも長い場合、棚段の商品が減少した(商品が取り出された)と判定する。また、プロセッサ11は、変動後の距離が変動前の距離よりも短い場合、棚段の商品が増加した(商品が投入された)と判定する。
商品の増減数を算出すると、プロセッサ11は、現在の商品の個数を算出する。たとえば、プロセッサ11は、商品の初期値と商品の増減数とに基づいて現在の商品の個数を算出する。現在の商品の個数を算出すると、プロセッサ11は、商品の初期値を算出した個数に更新する。
なお、プロセッサ11は、通信部15などを通じて商品の増減数を外部装置に送信してもよい。
また、プロセッサ11は、棚割情報が示す商品が陳列されていないと判定した場合、エラーを出力する機能を有する。
ここでは、プロセッサ11は、棚札インターフェース19を通じて電子棚札30にエラーを表示させる。プロセッサ11は、棚割情報が示す商品が陳列されていない位置に対応する電子棚札30に商品の陳列に誤りがあることを示すエラーを表示させる。
なお、プロセッサ11は、エラーとして棚割情報が示す商品を示す情報を表示してもよい。
プロセッサ11は、棚割情報が示す商品が陳列されるまでエラーを出力しつづけてもよい。たとえば、プロセッサ11は、距離センサ40が測定する距離が変動前の距離と一致するまで(又は、差が閾値以下になるまで)、エラーを電子棚札30に表示しつづける。
また、プロセッサ11は、商品の画像を撮影してフェイスの商品を特定してもよい。この場合、プロセッサ11は、特定した商品と棚割情報が示す商品とが一致するまでエラーを出力しつづけてもよい。
図5は、エラーを表示する電子棚札30の例を示す。図5は、棚100を正面から見た図である。図5が示す例では、プロセッサ11は、左に陳列されている商品と棚割情報が示す商品とが一致しないと判定したものとする。
図5が示すように、プロセッサ11は、左に陳列されている商品に対応する電子棚札30aにエラーを表示させる。
なお、プロセッサ11は、通信部15を通じて外部装置にエラーを通知してもよい。また、プロセッサ11は、表示部17にエラーを表示してもよい。
次に、管理装置10の動作例について説明する。
図6は、管理装置10の動作例について説明するためのフローチャートである。
ここでは、オペレータは、棚100への商品の陳列を完了したものとする。
まず、プロセッサ11は、陳列された商品の個数を初期値として設定する(ACT11)。初期値を設定すると、プロセッサ11は、距離センサ40を用いて背板から商品列の最背面までの距離を測定する(ACT12)。
距離を測定すると、プロセッサ11は、距離が変動したかを判定する(ACT13)。距離が変動したと判定すると(ACT13、YES)、プロセッサ11は、変動後の距離に基づいて商品の厚さと商品列の長さとが整合するかを判定する(ACT14)。
商品の厚さと商品列の長さとが整合すると判定すると(ACT14、YES)、プロセッサ11は、カメラ20を用いて陳列されている商品の画像を取得する(ACT15)。画像を取得すると、プロセッサ11は、画像処理によって画像に写る商品を特定する(ACT16)。
商品を特定すると、プロセッサ11は、特定した商品と棚割情報が示す商品とが一致するかを判定する(ACT17)。特定した商品と棚割情報が示す商品とが一致すると判定すると(ACT17、YES)、プロセッサ11は、変動前の距離、変動後の距離及び商品の厚さなどに基づいて商品の増減数を算出する(ACT18)。増減数を算出すると、プロセッサ11は、増減数に基づいて商品の初期値を更新する(ACT19)。
商品の初期値を更新すると、プロセッサ11は、動作を終了するかを判定する(ACT20)。
距離が変動していないと判定した場合(ACT13、NO)、又は、動作を終了しないと判定した場合(ACT20、NO)、プロセッサ11は、ACT12に戻る。
商品の厚さと商品列の長さとが整合しないと判定した場合(ACT14、NO)、又は、特定した商品と棚割情報が示す商品とが一致しないと判定した場合(ACT17、NO)、プロセッサ11は、電子棚札30にエラーを表示させる(ACT21)。
エラーを表示させると、プロセッサ11は、棚割情報が示す商品が陳列されたかを判定する(ACT22)。棚割情報が示す商品が陳列されていないと判定すると(ACT22、NO)、プロセッサ11は、ACT22に戻る。
棚割情報が示す商品が陳列されたと判定すると(ACT22、YES)、プロセッサ11は、ACT12に戻る。なお、プロセッサ11は、エラーの表示を終了してもよい。
次に、プロセッサ11が陳列された商品の個数を初期値として設定する動作例(ACT11)について説明する。
図7は、プロセッサ11が陳列された商品の個数を初期値として設定する動作例(ACT11)について説明するためのフローチャートである。
まず、プロセッサ11は、棚割情報を取得する(ACT31)。棚割情報を取得すると、プロセッサ11は、距離センサ40を用いて背板から商品列の最背面までの距離を取得する(ACT32)。
距離を取得すると、プロセッサ11は、棚割情報が示す商品の厚さ及び取得した距離などに基づいて商品の個数を算出する(ACT33)。商品の個数を算出すると、プロセッサ11は、算出した個数を初期値として設定する(ACT34)。
初期値を設定すると、プロセッサ11は、動作を終了する。
プロセッサ11は、商品が陳列されている各位置において、ACT11乃至22及びACT31乃至34を実行する。
カメラ20は、1つの商品のフェイスを撮影するものであってもよい。
また、プロセッサ11は、棚100から取り出された商品の個数に基づいて商品を決済するものであってもよい。
また、棚100の棚段は、前方に傾いた構造であってもよい。この場合、棚段は、付勢機構である。
また、棚段は、所定の方向に並ぶように商品を側面から支持するガイドなどを備えるものであってもよい。
また、棚100は、カメラ20及び距離センサ40に接続する中継機器を備えるものであってもよい。この場合、管理装置10は、当該中継機器に接続する。
次に、カメラ20の変形例について説明する。
ここでは、カメラ20は、商品列を構成する各商品(たとえば、各商品の上面)を撮影する。たとえば、カメラ20は、棚段の中央部に下向きに設置される。
図8は、カメラ20が撮影した画像(撮影画像)の例を示す。図8が示す例では、カメラ20は、4つの商品Aが形成する商品列を上から撮影する。
プロセッサ11は、撮影画像から商品列が写る商品列領域を特定する。たとえば、プロセッサ11は、棚割情報が示す商品の厚みと当該商品の個数(初期値)とに基づいて商品列が写る領域の大きさ及び位置を推定する。プロセッサ11は、推定された領域に基づいて商品列領域を特定する。ここでは、プロセッサ11は、商品列領域200を特定する。
商品列領域を特定すると、プロセッサ11は、当該商品の個数に基づいて各商品が写る商品領域を特定する。即ち、プロセッサ11は、商品が並ぶ方向において商品列領域を当該商品の個数で分割して各商品領域を特定する。
各商品領域を特定すると、プロセッサ11は、各商品領域に商品を特定する。
上記の動作により、プロセッサ11は、同一の厚みを有する異なる商品が商品列に混入した場合であっても陳列にミスがあると判定することができる。
たとば、プロセッサ11は、ACT19の後に上記の動作を行ってもよい。
以上のように構成された管理システムは、所定の位置から商品列の最背面までの距離を測定する。管理システムは、距離に変動が生じた場合に、変動前の距離及び変動後の距離などに基づいて商品の増減数を算出する。その結果、管理システムは、商品の増減数を効果的に算出することができる。
また、管理システムは、変動後の距離及びフェイスの画像に基づいて棚割情報が示す商品が陳列されているかを判定する。その結果、管理システムは、商品が増減した場合に適切な商品が陳列されているかを判定することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…管理システム、10…管理装置、11…プロセッサ、12…ROM、13…RAM、14…NVM、15…通信部、16…操作部、17…表示部、18…カメラインターフェース、19…棚札インターフェース、20…カメラ、30(30a乃至30c)…電子棚札、40…距離センサ、100…棚、101…支持部材、102…付勢部材、102a…板、102b…バネ、110…センサインターフェース、200…商品列領域。

Claims (5)

  1. 所定の位置から、並ぶ方向に付勢され最前面から支持された物品から構成される物品列の最背面までの距離を測定する距離センサとデータを送受信するセンサインターフェースと、
    前記距離センサが測定した距離が変動した場合、変動前の距離と変動後の距離とに基づいて前記物品列の長さを算出し、前記物品列の長さと棚割情報が示す物品の厚さと整合するかを判定し、
    前記物品列の長さと前記棚割情報が示す前記物品の厚さと整合すると判定した場合、前記物品列の長さに基づいて前記物品の増減数を算出する、
    プロセッサと、
    を備える管理装置。
  2. 前記物品の画像を撮影するカメラとデータを送受信するカメラインターフェースを備え、
    前記プロセッサは、変動後に前記画像を撮影し、撮影された前記画像に基づいて前記物品列を構成する物品を特定し、特定した前記物品と前記棚割情報が示す前記物品とが一致する場合、前記物品列の長さに基づいて前記物品の増減数を算出する、
    請求項1に記載の管理装置。
  3. 前記プロセッサは、前記物品列の長さが、前記棚割情報が示す前記物品の厚さの整数倍である場合、前記物品列の長さと前記棚割情報が示す前記物品の厚さと整合すると判定する、
    請求項1又は2に記載の管理装置。
  4. 電子棚札とデータを送受信する棚札インターフェースを備え、
    前記プロセッサは、前記物品列の長さと前記棚割情報が示す前記物品の厚さと整合しないと判定した場合、前記電子棚札にエラーを表示させる、
    請求項1乃至3の何れか1項に記載の管理装置。
  5. 物品が並ぶ方向に前記物品を付勢する付勢機構と、
    前記物品から構成される物品列を最前面から支持する支持機構と、
    所定の位置から前記物品列の最背面までの距離を測定する距離センサと、
    前記距離センサが測定した距離が変動した場合、変動前の距離と変動後の距離とに基づいて前記物品列の長さを算出し、前記物品列の長さと棚割情報が示す物品の厚さと整合するかを判定し、
    前記物品列の長さと前記棚割情報が示す前記物品の厚さと整合すると判定した場合、前記物品列の長さに基づいて前記物品の増減数を算出する、
    プロセッサと、
    を備える管理システム。
JP2020097462A 2020-06-04 2020-06-04 管理装置及び管理システム Pending JP2021189990A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020097462A JP2021189990A (ja) 2020-06-04 2020-06-04 管理装置及び管理システム
US17/091,150 US11587031B2 (en) 2020-06-04 2020-11-06 Management device and management system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020097462A JP2021189990A (ja) 2020-06-04 2020-06-04 管理装置及び管理システム

Publications (1)

Publication Number Publication Date
JP2021189990A true JP2021189990A (ja) 2021-12-13

Family

ID=78817667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020097462A Pending JP2021189990A (ja) 2020-06-04 2020-06-04 管理装置及び管理システム

Country Status (2)

Country Link
US (1) US11587031B2 (ja)
JP (1) JP2021189990A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7376958B1 (ja) 2022-12-27 2023-11-09 株式会社SEtech 商品陳列棚

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102293869B1 (ko) * 2019-06-21 2021-08-26 주식회사 솔루엠 전자 선반 라벨 및 그 정보 표시 제어 방법
CN111340422A (zh) * 2020-02-20 2020-06-26 京东方科技集团股份有限公司 物品更换信息生成方法、物品整理方法、装置及电子设备
US20230368131A1 (en) * 2022-05-16 2023-11-16 365 Retail Markets, Llc Distance-based product event detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169660B1 (en) * 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting inventory items using image analysis
JP2019513274A (ja) * 2016-03-29 2019-05-23 ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. 品物の設置、特定および計数のためのシステムおよび方法
US9922254B1 (en) * 2016-09-13 2018-03-20 Chi Fai Ho Apparatus and method to determine a distance of a visual object using a label
JP2018206372A (ja) 2018-05-15 2018-12-27 株式会社 ディー・エヌ・エー 商品を管理するためのシステム、方法、及びプログラム
WO2021222786A1 (en) * 2020-04-30 2021-11-04 Simbe Robotics, Inc. Method for maintaining perpetual inventory within a store

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7376958B1 (ja) 2022-12-27 2023-11-09 株式会社SEtech 商品陳列棚

Also Published As

Publication number Publication date
US20210383312A1 (en) 2021-12-09
US11587031B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
JP2021189990A (ja) 管理装置及び管理システム
US11380098B2 (en) Shelf label detection device, shelf label detection method, and shelf label detection program
US20200334620A1 (en) Shelf monitoring device, shelf monitoring method, and shelf monitoring program
US11403843B2 (en) Image processing apparatus, display control apparatus, image processing method and recording medium
JP7019295B2 (ja) 情報収集装置および情報収集システム
US10636391B2 (en) Electronic label system including control device for controlling electronic labels
US20190122168A1 (en) Merchandise management device and merchandise management method
CA2956632C (en) Systems and methods for demand tracking in a retail environment
CN107728410B (zh) 激光投影仪的图像失真校正方法和激光投影仪
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
EP3611117A1 (en) Article management assistance device, article management assistance system, and article management assistance method
WO2020054298A1 (ja) 情報処理装置、描画制御方法及びそのプログラムを記録した記録媒体
US20210042806A1 (en) Information processing system, information processing method, and storage medium
EP3176765A1 (en) Display device of a point-of-sale terminal and control method thereof
CN112449106B (zh) 架板拍摄装置及信息处理装置
US20210295498A1 (en) Commodity management device and commodity management system
CN113382663B (zh) 零售货架层分隔器
US10768039B2 (en) Method and system for stock management
US20220230127A1 (en) Notification device and notification method
JP2021080087A (ja) 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240522