JP2018048024A - Article control device - Google Patents
Article control device Download PDFInfo
- Publication number
- JP2018048024A JP2018048024A JP2017177743A JP2017177743A JP2018048024A JP 2018048024 A JP2018048024 A JP 2018048024A JP 2017177743 A JP2017177743 A JP 2017177743A JP 2017177743 A JP2017177743 A JP 2017177743A JP 2018048024 A JP2018048024 A JP 2018048024A
- Authority
- JP
- Japan
- Prior art keywords
- article
- unit
- distance information
- information
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
- A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
- A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
- A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明の実施形態は、物品管理装置に関する。 Embodiments described herein relate generally to an article management apparatus.
例えば、スーパーなどの店舗には棚が設置され、棚には物品（商品等）が陳列される。一般的に、棚の商品は売れ行きに応じて定期的に補充されるが、商品が欠品してしまうこともある。商品が欠品している状態が長く続くと、その間、販売機会が失われ、売上げ低下につながるおそれがある。そこで、商品の欠品期間を短くするため、商品の欠品を検知するための様々な技術が提案されている。 For example, shelves are installed in stores such as supermarkets, and articles (products, etc.) are displayed on the shelves. Generally, merchandise on the shelf is regularly replenished according to sales, but the merchandise may be out of stock. If a product is out of stock for a long time, sales opportunities may be lost during that time, leading to a decline in sales. In order to shorten the shortage period of merchandise, various techniques for detecting a shortage of merchandise have been proposed.
上記に加えて、棚の商品が不足している状態（所謂、品薄状態）も好ましくない。品薄状態は購買者の購買意欲の低下を招き、その結果、売上げ低下を引き起こす可能性がある。 In addition to the above, a state in which the shelves are short of goods (so-called low-stock condition) is also not preferable. Out of stock conditions can reduce buyers' willingness to purchase and, as a result, can reduce sales.
棚の商品の欠品を検知するための様々な技術が提案されているが、欠品だけでなく品薄状態等を検出する技術が望まれている。 Various techniques for detecting a shortage of merchandise on the shelf have been proposed, but a technique for detecting not only a shortage but also a shortage of goods is desired.
本発明の実施形態が解決しようとする課題は、棚等に並べられた物品の状況検出に優れた物品管理装置を提供することである。 The problem to be solved by the embodiment of the present invention is to provide an article management apparatus that is excellent in detecting the status of articles arranged on a shelf or the like.
実施形態に係る物品管理装置は、物品までの距離情報を取り込む距離情報取込部と、前記距離情報取込部により取り込まれた前記距離情報と距離情報記憶部に記憶される閾値を比較して、品薄状態に対応する座標値を出力する距離情報比較部と、を具備する。 The article management device according to the embodiment compares the distance information fetching unit that fetches distance information to the article, the distance information fetched by the distance information fetching unit, and a threshold value stored in the distance information storage unit. And a distance information comparison unit that outputs coordinate values corresponding to the shortage state.
以下、図面を参照していくつかの実施形態について説明する。 Hereinafter, some embodiments will be described with reference to the drawings.
＜実施形態１＞
図１Ａは、実施形態１に係る物品管理システム（物品管理装置を含む）の側面図の一例を示す。図１Ａに示す通り、物品管理システムは、物品管理装置１及び三次元距離センサ２を備える。物品管理装置１は、距離情報取得手段として三次元距離センサ２に接続される。三次元距離センサ２は、先端から測定範囲内の物品や棚４（棚４の奥）までの距離を取得する。物品管理装置１は、三次元距離センサ２から得られた情報と品薄と判定するための閾値である品薄閾値Ｔを用いて、棚４に陳列された物品５の状況、例えば在庫状況を管理する。三次元距離センサ２の測距方式はステレオカメラ方式やパターン光投影方式等、三次元情報が取得できるものであればいずれでも良い。
<Embodiment 1>
FIG. 1A shows an example of a side view of an article management system (including an article management apparatus) according to the first embodiment. As shown in FIG. 1A, the article management system includes an article management apparatus 1 and a three-dimensional distance sensor 2. The article management apparatus 1 is connected to the three-dimensional distance sensor 2 as distance information acquisition means. The three-dimensional distance sensor 2 acquires the distance from the tip to the article within the measurement range and the shelf 4 (the back of the shelf 4). The article management device 1 manages the status of the articles 5 displayed on the shelf 4, for example, the inventory status, using the information obtained from the three-dimensional distance sensor 2 and the stock threshold T that is a threshold for determining the stock shortage. . The distance measurement method of the three-dimensional distance sensor 2 may be any method that can acquire three-dimensional information, such as a stereo camera method or a pattern light projection method.
図１Ｂは、実施形態１に係る物品管理装置の構成図の一例を示す。図１Ｂに示す通り、物品管理装置１は、三次元距離センサ２からの距離情報を取得するためのI/F１１、距離情報記憶部１２１を含む記憶部１２、距離情報取込部１３１と距離情報比較部１３２を含む処理部１３から構成される。なお、複数の処理部が協働して距離情報取込部１３１及び距離情報比較部１３２の処理を実行するようにしてもよい。また、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、プロセッサ、メモリ、データ記憶部、各種I/F等の入力部、及び表示部等の出力部により構成されるコンピュータ（又はパーソナルコンピュータ）等で実現することができる。また、処理部１３はプロセッサを含んでいる。 FIG. 1B illustrates an example of a configuration diagram of the article management apparatus according to the first embodiment. As shown in FIG. 1B, the article management apparatus 1 includes an I / F 11 for acquiring distance information from the three-dimensional distance sensor 2, a storage unit 12 including a distance information storage unit 121, a distance information capturing unit 131, and distance information. The processing unit 13 includes a comparison unit 132. A plurality of processing units may cooperate to execute the processing of the distance information capturing unit 131 and the distance information comparison unit 132. In addition to this configuration, the article management apparatus 1 may include an input unit and a display unit. For example, the article management apparatus 1 can be realized by a computer (or a personal computer) configured by a processor, a memory, a data storage unit, an input unit such as various I / Fs, and an output unit such as a display unit. The processing unit 13 includes a processor.
図１Ｃは、実施形態１に係る物品管理装置による物品管理処理のフローチャートの一例を示す。まず、距離情報取込部１３１は、I/F１１を介して、三次元距離センサ２からあらかじめ設定しておいた測定範囲Ｒ１（図１Ａ参照）に応じた距離画像を取り込む（ＡＣＴ１１）。例えば、距離画像とは、測定範囲中の距離の下限値を0の値、測定範囲中の距離の上限値を255の値として正規化し、0の値を白、255の値を黒とした場合の8bitデジタル画像を指している。このとき、三次元距離センサ２からは距離画像でなく距離点群を取込んでも良い。距離情報比較部１３２は取り込んだ距離画像と、距離情報記憶部１２１に記憶される画素値の値である品薄閾値Ｔ（図１Ａ参照）を比較し、品薄閾値Ｔより小さい画素値の座標値又は座標群（以下、座標群として説明）を品薄である物品５の位置として出力する（ＡＣＴ１２）。 FIG. 1C shows an example of a flowchart of article management processing by the article management apparatus according to the first embodiment. First, the distance information capturing unit 131 captures a distance image corresponding to the measurement range R1 (see FIG. 1A) set in advance from the three-dimensional distance sensor 2 via the I / F 11 (ACT 11). For example, the distance image is normalized when the lower limit value of the distance in the measurement range is 0, the upper limit value of the distance in the measurement range is normalized to 255, and the value 0 is white and the value 255 is black. Points to 8bit digital images. At this time, a distance point group may be captured from the three-dimensional distance sensor 2 instead of the distance image. The distance information comparison unit 132 compares the captured distance image with the stock value threshold value T (see FIG. 1A) that is the value of the pixel value stored in the distance information storage unit 121, and the coordinate value of the pixel value smaller than the stock value threshold value T or A coordinate group (hereinafter, described as a coordinate group) is output as the position of the article 5 that is in short supply (ACT 12).
品薄閾値Ｔは固定でなく画像の位置によって変化があっても良いし、過去に取得した距離情報を利用するなど、時間によって変動があっても良い。また、物品の補充時刻（補充時刻帯）が定まっているような場合、時刻によって品薄閾値Ｔが変動してもよい。例えば、補充時刻の直後の品薄閾値Ｔが最大値で、補充時刻から時間経過に応じて品薄閾値Ｔの値は減少し、補充時刻の直前の品薄閾値Ｔが最小値となり、再び、補充時刻の直後で品薄閾値Ｔが最大値となる。このように変動する品薄閾値Ｔを用いることにより、通常の物品の売れ行きより過剰に物品が売れた場合に品薄を判定することが可能となる。また、入力が距離画像でなく距離点群であれば、品薄閾値Ｔは距離情報であっても良い。 The stock threshold T may not be fixed but may vary depending on the position of the image, or may vary with time, such as using distance information acquired in the past. In addition, when the article replenishment time (replenishment time zone) is fixed, the shortage threshold T may vary depending on the time. For example, the shortage threshold T immediately after the replenishment time is the maximum value, the value of the shortage threshold T decreases as time passes from the replenishment time, the shortage threshold T immediately before the replenishment time becomes the minimum value, and the replenishment time again Immediately after that, the shortage threshold T becomes the maximum value. By using the stock threshold value T that varies in this way, it is possible to determine the stock shortage when an article is sold in excess of the normal sales of the article. Further, if the input is not a distance image but a distance point group, the shortage threshold T may be distance information.
距離情報比較部１３２が出力した物品５の位置は、表示部などにアラートとして表示しても良いし、あらかじめ決めておいた範囲内の座標値が座標群に含まれているか否かでアラートを出しても良いし、k-means法などのクラス分類手法により出力座標中に棚奥以外のクラスが発見された場合に、棚奥以外のクラスの領域があらかじめ決めておいた面積以上ならばアラートを出しても良いものとする。 The position of the article 5 output by the distance information comparison unit 132 may be displayed as an alert on a display unit or the like, or an alert is generated based on whether or not coordinate values within a predetermined range are included in the coordinate group. If a class other than the back of the shelf is found in the output coordinates by a class classification method such as the k-means method, an alert will be given if the area of the class other than the back of the shelf exceeds the predetermined area. May be issued.
この処理によって、棚４にある物品５が欠品であるか否か、及び品薄状態であるか否かを簡便に知ることが出来る。即ち、棚４に陳列した物品５の欠品だけでなく棚４に陳列した物品５の品薄状態を、物品５に手を加えること無く、また三次元距離センサ２を用いた比較的安価な構成で検知することが可能となる。実施形態１によれば、効率良く品薄状態を検知することが可能な物品管理装置を提供することができる。 By this process, it is possible to easily know whether or not the article 5 on the shelf 4 is a missing item and whether or not it is in a shortage state. That is, not only the shortage of the article 5 displayed on the shelf 4 but also the shortage state of the article 5 displayed on the shelf 4 without changing the article 5 and a relatively inexpensive configuration using the three-dimensional distance sensor 2. It becomes possible to detect with. According to the first embodiment, it is possible to provide an article management apparatus capable of efficiently detecting a stock shortage state.
＜実施形態２＞
図２Ａは、実施形態２に係る物品管理装置の構成図の一例を示す。なお、実施形態２に係る物品管理装置を含む物品管理システムは、図１Ａに示す実施形態１に係る物品管理システムと実質同様であり、図示を省略する。実施形態２では、主に実施形態１との差分について説明する。図２Ａに示す通り、物品管理装置１においては、記憶部１２がさらに棚情報記憶部１２２を含み、処理部１３がさらに物品領域指定部１３３を含む。なお、複数の処理部が協働して距離情報取込部１３１、距離情報比較部１３２、及び物品領域指定部１３３の処理を実行するようにしてもよい。実施形態１と同様、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、コンピュータ等で実現することができる。
<Embodiment 2>
FIG. 2A shows an example of a configuration diagram of an article management apparatus according to the second embodiment. The article management system including the article management apparatus according to the second embodiment is substantially the same as the article management system according to the first embodiment illustrated in FIG. In the second embodiment, differences from the first embodiment will be mainly described. As shown in FIG. 2A, in the article management apparatus 1, the storage unit 12 further includes a shelf information storage unit 122, and the processing unit 13 further includes an article area designation unit 133. A plurality of processing units may cooperate to execute the processing of the distance information capturing unit 131, the distance information comparison unit 132, and the article area specifying unit 133. Similar to the first embodiment, the article management apparatus 1 may include an input unit and a display unit in addition to this configuration. For example, the article management apparatus 1 can be realized by a computer or the like.
図２Ｂは、実施形態２に係る物品管理装置による物品管理処理のフローチャートの一例を示す。距離情報取込部１３１による距離情報取込（ＡＣＴ１１）と距離情報比較部１３２による距離情報比較（ＡＣＴ１２）については実施形態１と同様の動作をする。 FIG. 2B is a flowchart illustrating an article management process performed by the article management apparatus according to the second embodiment. The distance information acquisition (ACT 11) by the distance information acquisition unit 131 and the distance information comparison (ACT 12) by the distance information comparison unit 132 operate in the same manner as in the first embodiment.
物品領域指定部１３３は、あらかじめ棚情報記憶部１２２に記憶されている物品配置位置Ｅと物品配置位置Ｅに対応する物品識別情報ＩＤに基づいて、品薄状態である物品領域を指定し、品薄状態である物品識別情報ＩＤを出力する（ＡＣＴ１３）。例えば、物品識別情報ＩＤは、物品名称（商品名等）、物品画像（物品パッケージ画像等）、及び物品製造メーカの名称等の少なくとも一つである。以下、物品識別情報ＩＤを物品名称と記載する。 The article area designating unit 133 designates an article area that is in a shortage state based on the article arrangement position E stored in advance in the shelf information storage unit 122 and the article identification information ID corresponding to the article arrangement position E. Is output (ACT 13). For example, the article identification information ID is at least one of an article name (such as a merchandise name), an article image (such as an article package image), and the name of an article manufacturer. Hereinafter, the item identification information ID is referred to as an item name.
物品領域指定部での詳細な処理を説明するため、図２Ｃに物品配置位置の例を示す。例えば、図２Ｃに示すように、物品配置位置Ｅ１及びＥ２が含まれる。物品領域指定部１３３は、距離情報比較部１３２から出力された品薄閾値Ｔより小さい画素の座標群の面積Ａ０と物品配置位置Ｅ１の面積Ａ１とを比較して商品の有無を判定し商品を特定する。例えば、面積Ａ０が一定サイズ（例えば陳列される物品の最小サイズ）より大きい場合に商品が品薄であると判定する。或いは、面積Ａ０が面積Ａ１に対して所定比率の範囲に収まる場合に面積Ａ０は物品配置位置Ｅ１の商品が品薄であると判定し、その物品配置位置Ｅ１に対応する物品名称ＩＤ１を出力する。このとき、物品配置位置Ｅ１と物品名称ＩＤ１は必ずしも棚情報記憶部１２２に記憶されていなくてもよく、メモリ上に保存されていても良い。また、必ずしも物品名称ＩＤ１を用いなくてもよく、出力として物品配置位置Ｅ１を返しても良い。物品領域指定部１３３が出力した物品名称ＩＤ１は、表示部などにアラートとして表示しても良い。 FIG. 2C shows an example of the article arrangement position in order to explain the detailed processing in the article area designating unit. For example, as shown in FIG. 2C, article placement positions E1 and E2 are included. The article region designation unit 133 compares the area A0 of the pixel group smaller than the article thinness threshold T output from the distance information comparison unit 132 with the area A1 of the article arrangement position E1 to determine the presence / absence of the merchandise and identify the merchandise. To do. For example, when the area A0 is larger than a certain size (for example, the minimum size of an article to be displayed), it is determined that the product is in short supply. Alternatively, when the area A0 falls within a range of a predetermined ratio with respect to the area A1, the area A0 determines that the product at the article placement position E1 is in short supply, and outputs the article name ID1 corresponding to the article placement position E1. At this time, the article placement position E1 and the article name ID1 are not necessarily stored in the shelf information storage unit 122, and may be stored in the memory. In addition, the article name ID1 is not necessarily used, and the article placement position E1 may be returned as an output. The article name ID1 output by the article area specifying unit 133 may be displayed as an alert on a display unit or the like.
この処理によって、棚４にあるどの物品５が品薄状態であるかを簡便に知ることができる。即ち、棚４に陳列した物品５の品薄状態を、物品５に手を加えること無く、また三次元距離センサ２を用いた比較的安価な構成で検知することが可能となる。実施形態２によれば、効率良く品薄状態を検知することが可能な物品管理装置を提供することができる。 By this process, it is possible to easily know which article 5 on the shelf 4 is in a shortage state. That is, it is possible to detect the shortage state of the article 5 displayed on the shelf 4 without changing the article 5 and with a relatively inexpensive configuration using the three-dimensional distance sensor 2. According to the second embodiment, it is possible to provide an article management apparatus capable of efficiently detecting a stock shortage state.
＜実施形態３＞
図３Ａは、実施形態３に係る物品管理システム（物品管理装置を含む）の外観図の一例を示す。図３Ａに示す通り、移動機構３の移動により、移動機構３に搭載された三次元距離センサ２の距離情報取得範囲Ｒ２に対象物が含まれる。対象物は、棚４（背面）、物品５、及びマーカ６を含む。なお、物品管理装置１は三次元距離センサ２と接続されている。
<Embodiment 3>
FIG. 3A shows an example of an external view of an article management system (including an article management apparatus) according to the third embodiment. As shown in FIG. 3A, the object is included in the distance information acquisition range R <b> 2 of the three-dimensional distance sensor 2 mounted on the moving mechanism 3 by the movement of the moving mechanism 3. The object includes a shelf 4 (back surface), an article 5, and a marker 6. The article management device 1 is connected to a three-dimensional distance sensor 2.
例えば、三次元距離センサ２は、TOF（Time of Flight）やパターン光方式など、自ら光を発光することによって三次元距離センサ２から対象物（対象物に含まれる棚４（背面）、物品５、及びマーカ６）までの距離を観測するものを用いる。TOFは対象物に光を照射し、反射して戻ってくるまでの時間から距離を測る方式であり、パターン光方式は対象物に既知のパターン光を照射し、パターンの歪みから距離を測る方式である。三次元距離センサ２には測定範囲があらかじめ設定されており、測定範囲は対象物の距離情報を取得できるように任意の値に設定するか、三次元距離センサ２の測定可能な最大距離と最少距離を設定する。例えば、マーカ６はQRコード（登録商標）であり、QRコードの黒色部分は三次元距離センサ２の出力光を吸収する材料で描かれている。マーカ６は赤外線を吸収する材料で描かれていれば1次元バーコードや印となる決まったテクスチャの記号や図、文字でもよい。移動機構３については、図３Ａに示すような台車の他、棚前に固定設置されていても良いし、レールガイドに沿って吊り下げ型の三次元距離センサ２が移動する構造でも良いし、自律型移動ロボットなどに搭載しても良い。 For example, the three-dimensional distance sensor 2 emits light by itself, such as TOF (Time of Flight) or a pattern light method, so that the object (shelf 4 (back), article 5 included in the object) is obtained from the three-dimensional distance sensor 2. And a device that observes the distance to the marker 6). TOF is a method that measures the distance from the time it takes to irradiate the object and reflects it back, and the pattern light method irradiates the object with a known pattern light and measures the distance from the distortion of the pattern. It is. A measurement range is set in advance in the three-dimensional distance sensor 2, and the measurement range is set to an arbitrary value so that distance information of the object can be acquired, or the maximum and minimum distances that can be measured by the three-dimensional distance sensor 2 Set the distance. For example, the marker 6 is a QR code (registered trademark), and the black portion of the QR code is drawn with a material that absorbs the output light of the three-dimensional distance sensor 2. The marker 6 may be a symbol, figure, or character of a predetermined texture that becomes a one-dimensional barcode or mark as long as it is drawn with a material that absorbs infrared rays. As for the moving mechanism 3, in addition to the cart as shown in FIG. 3A, it may be fixedly installed in front of the shelf, or a structure in which the suspended three-dimensional distance sensor 2 moves along the rail guide, It may be mounted on an autonomous mobile robot.
図３Ｂは、実施形態３に係る物品管理装置１の構成図を示す。図３Ｂに示す通り、物品管理装置１は、I/F１１、棚情報記憶部１２２と物品情報記憶部１２３を含む記憶部１２、距離情報取込部１３１、マーカ情報取得部１３４、物品距離情報抽出部１３５、物品数推定部１３６、品薄状態判定部１３７を含む処理部１３から構成される。なお、複数の処理部が協働して距離情報取込部１３１、マーカ情報取得部１３４、物品距離情報抽出部１３５、物品数推定部１３６、及び品薄状態判定部１３７の処理を実行するようにしてもよい。また、処理部１３はプロセッサを含んでいる。また、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、コンピュータ等で実現することができる。 FIG. 3B is a configuration diagram of the article management apparatus 1 according to the third embodiment. As shown in FIG. 3B, the article management apparatus 1 includes an I / F 11, a storage unit 12 including a shelf information storage unit 122 and an article information storage unit 123, a distance information capture unit 131, a marker information acquisition unit 134, and article distance information extraction. The processing unit 13 includes a unit 135, an article number estimation unit 136, and a shortage state determination unit 137. A plurality of processing units cooperate to execute the processes of the distance information capturing unit 131, the marker information acquisition unit 134, the article distance information extraction unit 135, the article number estimation unit 136, and the shortage state determination unit 137. May be. The processing unit 13 includes a processor. In addition to this configuration, the article management apparatus 1 may include an input unit and a display unit. For example, the article management apparatus 1 can be realized by a computer or the like.
図３Ｃは、実施形態３に係る物品管理装置１の物品管理処理のフローチャートの一例を示す。また、図３Ｆは、物品管理処理で取り上げられる基準面とオフセットを説明するための図である。 FIG. 3C shows an example of a flowchart of an article management process of the article management apparatus 1 according to the third embodiment. FIG. 3F is a diagram for explaining the reference plane and offset taken up in the article management process.
i)距離情報取込部１３１は、I/F１１を介して、三次元距離センサ２から測定範囲に応じた距離点群（第１の距離情報）を取り込む（ＡＣＴ１１）。このとき、測定範囲外の距離は測定範囲の上限の値を代入する。取り込んだ距離点群は、距離画像に変換したものがマーカ情報取得部１３４に、距離点群そのものが物品距離情報抽出部１３５に入力される。距離画像への変換は、実施形態１と同様に、測定範囲中の距離の下限値を0の値、測定範囲中の距離の上限値を255の値として正規化し、0の値を白、255の値を黒とした場合の8bitデジタル画像を指している。距離が取得できなかった場合には、測定範囲の上限の値を取る。 i) The distance information capturing unit 131 captures a distance point group (first distance information) corresponding to the measurement range from the three-dimensional distance sensor 2 via the I / F 11 (ACT 11). At this time, the distance outside the measurement range is substituted with the upper limit value of the measurement range. The captured distance point group converted into a distance image is input to the marker information acquisition unit 134 and the distance point group itself is input to the article distance information extraction unit 135. As in the first embodiment, the conversion to the distance image is performed by normalizing the lower limit value of the distance in the measurement range as a value of 0 and the upper limit value of the distance in the measurement range as a value of 255. An 8-bit digital image when the value of is black. If the distance cannot be obtained, the upper limit value of the measurement range is taken.
ii)距離画像が入力されるマーカ情報取得部１３４は、距離画像をQRコードデコードにかけることでQRコードに含まれる棚特定用情報と、QRコードの位置情報を得る（ＡＣＴ１４）。QRコードのデコードについては、次の段落で詳細に説明をする。 ii) The marker information acquisition unit 134 to which the distance image is input obtains shelf specifying information and QR code position information included in the QR code by subjecting the distance image to QR code decoding (ACT 14). QR code decoding will be explained in detail in the next paragraph.
iii)距離点群が入力される物品距離情報抽出部は、棚情報記憶部１２２に記憶された物品配置位置と物品名称、QRコードの位置情報を用いて三次元距離センサ２から各物品５までの距離（第２の距離情報）、及び三次元距離センサ２からQRコードまでの距離（第３の距離情報）を抽出する（ＡＣＴ１５）。棚情報記憶部１２２の情報は、マーカ情報取得部１３４から出力される棚特定用情報で棚情報記憶部１２２を照会して得る。 iii) The article distance information extraction unit to which the distance point group is input uses the article arrangement position, the article name, and the QR code position information stored in the shelf information storage unit 122, from the three-dimensional distance sensor 2 to each article 5. Distance (second distance information) and a distance from the three-dimensional distance sensor 2 to the QR code (third distance information) are extracted (ACT 15). The information in the shelf information storage unit 122 is obtained by referring to the shelf information storage unit 122 with the shelf specifying information output from the marker information acquisition unit 134.
iv)物品数推定部１３６は、棚情報記憶部１２２に記憶される基準面ＲＥＦ（図３Ｆ参照）までのオフセットＯＦＳ（図３Ｆ参照）と棚４の奥行、物品情報記憶部１２３に記憶される各物品５の厚みＷ（図３Ｆ参照）、三次元距離センサ２からQRコードまでの距離、三次元距離センサ２から各物品５までの距離を用いて、棚４に配置されている物品５の数と棚４に配置可能な物品５の数を判定する（ＡＣＴ１６）。このとき物品５の厚みとは、物品５を棚４に配置した時の、棚４の前面から棚４の背面方向の長さであり、単一の物品５の長さである。物品距離情報抽出部１３５と同様、棚情報記憶部１２２の情報は、マーカ情報取得部１３４から出力される棚特定用情報で棚情報記憶部１２２を照会して得る。物品情報記憶部１２３の情報は、棚４に配置される物品名称で物品情報記憶部１２３を照会して得る。 iv) The article number estimation unit 136 is stored in the offset OFS (see FIG. 3F) up to the reference plane REF (see FIG. 3F) stored in the shelf information storage unit 122, the depth of the shelf 4, and the article information storage unit 123. Using the thickness W of each article 5 (see FIG. 3F), the distance from the three-dimensional distance sensor 2 to the QR code, and the distance from the three-dimensional distance sensor 2 to each article 5, the articles 5 arranged on the shelf 4 The number and the number of articles 5 that can be placed on the shelf 4 are determined (ACT 16). In this case, the thickness of the article 5 is the length of the single article 5 from the front side of the shelf 4 to the back side of the shelf 4 when the article 5 is arranged on the shelf 4. Similar to the article distance information extraction unit 135, the information in the shelf information storage unit 122 is obtained by referring to the shelf information storage unit 122 with the shelf specifying information output from the marker information acquisition unit 134. Information in the article information storage unit 123 is obtained by referring to the article information storage unit 123 with the article name arranged on the shelf 4.
v)品薄状態判定部１３７は、棚４に配置されている物品５の数を配置可能な物品５の数で除算して物品５の配置割合を算出し、棚情報記憶部１２２に記憶される品薄閾値Ｔと比較する。物品５の配置割合が閾値Ｔより下回った場合には、品薄であると判定し、上回っている場合には品薄でないと判定する（ＡＣＴ１７）。このとき、品薄閾値Ｔを品薄と判断するための最小の物品数とし、推測した物品５の配置割合ではなく推測した棚４に配置されている物品５の数と比較しても良い。品薄であると判断した場合は、推測した棚４に配置可能な物品５の数や推測した棚４に配置されている物品５の数を含め、表示部などにアラートとして表示しても良い。 v) The out-of-stock state determination unit 137 calculates the arrangement ratio of the articles 5 by dividing the number of the articles 5 arranged on the shelf 4 by the number of the articles 5 that can be arranged, and stores it in the shelf information storage unit 122. Compared to the shortage threshold T. When the arrangement ratio of the articles 5 is lower than the threshold value T, it is determined that the goods are in short supply. At this time, the shortage threshold T may be set to the minimum number of articles for determining the shortage, and may be compared with the estimated number of articles 5 arranged on the shelf 4 instead of the estimated arrangement ratio of the articles 5. If it is determined that the product is in short supply, the number of articles 5 that can be placed on the estimated shelf 4 and the number of articles 5 that are placed on the estimated shelf 4 may be displayed as an alert on the display unit or the like.
マーカ情報取得部１３４での動作を詳細に説明するため、図３Ｄに距離画像の例を示す。マーカ情報取得部１３４は、取り込んだ距離画像に対してQRコードデコードを行い、デコード結果である棚特定用情報と距離画像中のQRコードの所定位置（例えば中心位置）、三次元距離センサ２からQRコードまでの距離として、QRコードの範囲内での下限の距離を出力する。QRコードの黒色部分は三次元距離センサ２の出力光を吸収する材料で描かれているため、黒色部分の距離情報は取得できないか、もしくは白色部分と比較して遠い距離情報が得られる。距離情報の違いにより距離画像中にはQRコードの模様が表示され、距離画像に対してQRコードデコードをかけることで配置されたQRコードの情報が取得できる。QRコードには棚特定用情報が含まれており、棚特定用情報で棚情報記憶部１２２を照会すると、少なくとも棚４内の物品５の配置位置、物品配置位置に対応した物品名称、QRコードから基準面ＲＥＦまでのオフセットＯＦＳ、棚４の奥行Ｗを取り出すことが出来る。それぞれの情報は事前に棚情報記憶部１２２に記憶させておくものとする。 In order to describe the operation in the marker information acquisition unit 134 in detail, an example of a distance image is shown in FIG. 3D. The marker information acquisition unit 134 performs QR code decoding on the captured distance image, and determines the shelf identification information as a decoding result and a predetermined position (for example, the center position) of the QR code in the distance image, from the three-dimensional distance sensor 2. The lower limit distance within the QR code range is output as the distance to the QR code. Since the black portion of the QR code is drawn with a material that absorbs the output light of the three-dimensional distance sensor 2, distance information of the black portion cannot be acquired, or far distance information is obtained compared to the white portion. Due to the difference in distance information, a QR code pattern is displayed in the distance image, and information on the arranged QR code can be acquired by performing QR code decoding on the distance image. The QR code includes shelf specifying information. When the shelf information storage unit 122 is inquired with the shelf specifying information, at least the arrangement position of the article 5 in the shelf 4, the article name corresponding to the article arrangement position, the QR code To the reference plane REF, the offset OFS and the depth W of the shelf 4 can be taken out. Each piece of information is stored in the shelf information storage unit 122 in advance.
物品距離情報抽出部１３５の動作を詳細に説明するため、図３Ｅに物品配置位置の例を示す。物品距離情報抽出部１３５は、QRコードの所定位置とあらかじめ棚情報記憶部１２２に記憶されている物品配置位置、物品配置位置に対応する物品名称に基づいて、得られた距離点群から物品毎の距離情報（QRコードの所定位置から物品までの距離情報）を抽出する。図３Ｅに示すように、物品配置位置には、QRコードの所定位置からの相対座標ＲＣ１及びＲＣ２と、物品配置領域Ｅ１及びＥ２が含まれる。出力する物品５の距離情報は、物品配置領域内で一番近い距離とする。このとき、同一商品が横並びになっており、同じ物品配置領域内に存在する場合は、物品配置領域を分割して、分割した領域ごとの一番近い距離の平均を物品５の距離情報としても良い。移動機構３により、距離画像中にQRコードが存在しない場合は、過去に取得した距離画像同士の対応関係から移動量を推定し、物品配置領域を指定しても良い。 In order to describe the operation of the article distance information extraction unit 135 in detail, FIG. 3E shows an example of the article placement position. The article distance information extraction unit 135 determines, based on a predetermined position of the QR code, an article arrangement position stored in the shelf information storage unit 122 in advance, and an article name corresponding to the article arrangement position, for each article from the obtained distance point group. Distance information (distance information from a predetermined position of the QR code to the article) is extracted. As shown in FIG. 3E, the article arrangement position includes relative coordinates RC1 and RC2 from a predetermined position of the QR code, and article arrangement areas E1 and E2. The distance information of the article 5 to be output is the closest distance in the article arrangement area. At this time, when the same product is arranged side by side and exists in the same article arrangement area, the article arrangement area is divided, and the average of the closest distances for each divided area is also used as the distance information of the article 5. good. When the QR code is not present in the distance image by the moving mechanism 3, the movement amount may be estimated from the correspondence relationship between the distance images acquired in the past, and the article placement area may be designated.
図３Ｆは、実施形態１に係る物品管理システム（移動機構を除く）の側面図の一例を示す。図３Ａで示す外観図と同様、棚４、物品５、物品管理装置１、三次元距離センサ２が存在し、マーカ６が棚４に備えられている。物品数推定部１３６では、図３Ｆ中に示される情報を用いて棚４に配置可能な物品数と棚４に陳列されている物品数を推定する。例えば、棚４に配置可能な数は、棚４の奥行を物品５の厚み情報で除算して、小数点第一位で切り捨てして算出する。このとき、棚４に配置可能な物品５の数は棚情報記憶部１２２にあらかじめ記憶しておき、記憶されている情報を用いても良い。棚４に陳列されている物品数は、三次元距離センサ２から棚４の背面までの距離と三次元距離センサ２から物品までの距離と、物品５の厚み情報を用いて算出する。三次元距離センサ２から棚４の背面までの距離は、三次元距離センサ２からQRコードまでの距離から、QRコードから基準面ＲＥＦまでのオフセットＯＦＳを減算することで三次元距離センサ２から基準面ＲＥＦまでの距離を得て、この三次元距離センサ２から基準面ＲＥＦまでの距離に棚４の奥行Ｗを加算することで算出する。このとき基準面ＲＥＦとは、棚４に物品５が最大数陳列された時の三次元距離センサ２から物品５までと同じ距離になる面のことを指す。算出した三次元距離センサ２から棚４の背面までの距離から抽出した物品５の距離情報を減算し、物品５の厚み情報で除算し、小数点第一位で切り捨てした整数値を棚４に配置されている物品５の数とする。 FIG. 3F shows an example of a side view of the article management system (excluding the moving mechanism) according to the first embodiment. Similar to the external view shown in FIG. 3A, there are a shelf 4, an article 5, an article management device 1, and a three-dimensional distance sensor 2, and a marker 6 is provided on the shelf 4. The article number estimation unit 136 estimates the number of articles that can be placed on the shelf 4 and the number of articles displayed on the shelf 4 using the information shown in FIG. 3F. For example, the number that can be arranged on the shelf 4 is calculated by dividing the depth of the shelf 4 by the thickness information of the article 5 and rounding down to the first decimal place. At this time, the number of articles 5 that can be placed on the shelf 4 may be stored in advance in the shelf information storage unit 122 and the stored information may be used. The number of articles displayed on the shelf 4 is calculated using the distance from the three-dimensional distance sensor 2 to the back of the shelf 4, the distance from the three-dimensional distance sensor 2 to the article, and the thickness information of the article 5. The distance from the three-dimensional distance sensor 2 to the back of the shelf 4 is obtained by subtracting the offset OFS from the QR code to the reference plane REF from the distance from the three-dimensional distance sensor 2 to the QR code. The distance to the surface REF is obtained and calculated by adding the depth W of the shelf 4 to the distance from the three-dimensional distance sensor 2 to the reference surface REF. At this time, the reference plane REF refers to a plane having the same distance from the three-dimensional distance sensor 2 to the article 5 when the maximum number of articles 5 is displayed on the shelf 4. Subtract the distance information of the article 5 extracted from the calculated distance from the three-dimensional distance sensor 2 to the back of the shelf 4, divide by the thickness information of the article 5, and place the integer value rounded down to the first decimal place on the shelf 4 It is assumed that the number of articles 5 being used.
この処理によって、棚４にあるどの物品５がどの程度品薄状態であるかを簡便に知ることができる。即ち、棚４に陳列した物品５の品薄状態を、物品５に手を加えること無く、また三次元距離センサ２を用いた比較的安価な構成で検知することが可能となる。実施形態３によれば、効率良く品薄状態を検知することが可能な物品管理装置を提供することができる。 By this processing, it is possible to easily know how many items 5 on the shelf 4 are in a shortage state. That is, it is possible to detect the shortage state of the article 5 displayed on the shelf 4 without changing the article 5 and with a relatively inexpensive configuration using the three-dimensional distance sensor 2. According to the third embodiment, it is possible to provide an article management apparatus capable of efficiently detecting a shortage state.
＜実施形態４＞
図４Ａ及び４Ｂは、実施形態４に係る物品管理システムによる物品管理の一例を説明するための模式図である。図４Ａ及び４Ｂに示す通り、物品管理システムは、物品管理装置１及びカメラＣを備える。物品管理装置１は、カメラＣに接続される。カメラＣは、店内等を撮影するカメラであり、カメラＣにより棚４に並べられた物品等が撮影される。
<Embodiment 4>
4A and 4B are schematic diagrams for explaining an example of article management by the article management system according to the fourth embodiment. As shown in FIGS. 4A and 4B, the article management system includes an article management apparatus 1 and a camera C. The article management apparatus 1 is connected to the camera C. The camera C is a camera that photographs the inside of the store and the like, and the articles etc. arranged on the shelf 4 are photographed by the camera C.
例えば、図４Ａ及び４Ｂは、棚に並べられた物品Ｍ１を側面から捕らえた状況を示し、カメラＣの撮影方向（前後方向）に物品Ｍ１が並べられる。例えば、カメラＣは、物品が並べられた棚４までの距離を固定した監視カメラである。なお、カメラＣは、店舗内及び並べられた複数の物品等の監視のために、パルスモータ等により回動軸を基点として左右方向及び上下方向に回動可能であってもよい。この場合、物品管理装置１は、パルスモータ等への制御信号に基づきカメラＣの回動量を検知することもできる。 For example, FIGS. 4A and 4B show a situation where the articles M1 arranged on the shelf are caught from the side, and the articles M1 are arranged in the shooting direction (front-rear direction) of the camera C. For example, the camera C is a surveillance camera in which the distance to the shelf 4 on which articles are arranged is fixed. Note that the camera C may be rotatable in the left-right direction and the up-down direction with a rotation axis as a base point by a pulse motor or the like for monitoring the inside of the store and a plurality of arranged articles. In this case, the article management apparatus 1 can also detect the amount of rotation of the camera C based on a control signal to a pulse motor or the like.
例えば、図４Ａは、棚４における物品Ｍ１の陳列状況１００％の一例を示し、図４Ｂは、棚４における物品Ｍ１の陳列状況２５％の一例を示す。また、図４Ｃは、各物品について物品識別情報と物品サイズ情報（奥行き含む）と物品登録画像と基準画像サイズと不足判定閾値とを関連付けた物品管理情報の一例を示す図である。カメラＣにより撮影される撮影画像には、物品Ｍ１の撮影画像が含まれる。物品管理装置１は、物品管理情報（物品登録画像等）に基づき、撮影画像に含まれる物品Ｍ１の撮影画像を認識し、物品Ｍ１の撮影画像のサイズと物品Ｍ１の基準画像サイズとを比較し、比較結果から物品Ｍ１までの距離を推定する。 For example, FIG. 4A shows an example of the display status 100% of the article M1 on the shelf 4, and FIG. 4B shows an example of the display status 25% of the article M1 on the shelf 4. FIG. 4C is a diagram illustrating an example of article management information in which article identification information, article size information (including depth), an article registration image, a reference image size, and a shortage determination threshold are associated with each article. The captured image captured by the camera C includes a captured image of the article M1. The article management apparatus 1 recognizes the photographed image of the article M1 included in the photographed image based on the article management information (article registration image or the like), and compares the size of the photographed image of the article M1 with the reference image size of the article M1. The distance to the article M1 is estimated from the comparison result.
例えば、図４Ａのケースでは、物品管理装置１は、物品Ｍ１の基準画像サイズに対する物品Ｍ１の撮影画像のサイズの比率が第１の不足判定閾値以上と判定される。つまり、図４Ａのケースでは、物品管理装置１は、カメラＣから物品Ｍ１までの距離は比較的近く（棚４の手前まで物品Ｍ１が並べられている）、陳列不足は生じていないと判定する。 For example, in the case of FIG. 4A, the article management apparatus 1 determines that the ratio of the size of the captured image of the article M1 to the reference image size of the article M1 is equal to or greater than the first shortage determination threshold. That is, in the case of FIG. 4A, the article management apparatus 1 determines that the distance from the camera C to the article M1 is relatively short (the articles M1 are arranged up to the front of the shelf 4) and that there is no shortage of display. .
また、図４Ｂのケースでは、物品管理装置１は、物品Ｍ１の登録画像サイズに対する物品Ｍ１の撮影画像のサイズの比率が第１の不足判定閾値未満と判定される。つまり、図４Ｂのケースでは、物品管理装置１は、物品Ｍ１までの距離は比較的遠く（棚４の奥にしか物品Ｍ１が並べられていない）、陳列不足が生じていると判定する。 In the case of FIG. 4B, the article management apparatus 1 determines that the ratio of the size of the captured image of the article M1 to the registered image size of the article M1 is less than the first shortage determination threshold. In other words, in the case of FIG. 4B, the article management apparatus 1 determines that the distance to the article M1 is relatively long (the article M1 is arranged only in the back of the shelf 4), and the display is insufficient.
なお、物品管理装置１は、カメラＣの回動量を検知することができるので、回動量に応じて不足判定閾値を変更することができる。例えば、回動量が大きい場合には回動量に応じて不足判定閾値を下げる。これにより、カメラＣの回動に応じて撮影画像に含まれる物品の画像のサイズが小さくなっても、適切な陳列不足判定を実現することができる。 Since the article management apparatus 1 can detect the rotation amount of the camera C, the shortage determination threshold value can be changed according to the rotation amount. For example, when the rotation amount is large, the shortage determination threshold value is lowered according to the rotation amount. Thereby, even if the size of the image of the article included in the photographed image is reduced according to the rotation of the camera C, it is possible to realize an appropriate display deficiency determination.
図４Ｄは、実施形態４に係る物品管理装置の構成図の一例を示す。図４Ｄに示す通り、物品管理装置１は、カメラＣからの撮影画像等を取得するI/F１１、物品管理情報を記憶する記憶部１２、処理部１３から構成される。処理部１３は、取得部１３２１と、認識部１３２２と、比較部１３２３と、検出部１３２４とを含む。なお、複数の処理部が協働して取得部１３２１と認識部１３２２と比較部１３２３と検出部１３２４の処理を実行するようにしてもよい。また、物品管理装置１にはこの構成のほかに入力部や表示部があっても良い。例えば、物品管理装置１は、プロセッサ、メモリ、データ記憶部、各種I/F等の入力部、及び表示部等の出力部により構成されるコンピュータ（又はパーソナルコンピュータ）等で実現することができる。また、処理部１３は１又は複数のプロセッサを含んでいる。 FIG. 4D illustrates an example of a configuration diagram of the article management apparatus according to the fourth embodiment. As shown in FIG. 4D, the article management apparatus 1 includes an I / F 11 that acquires a captured image from the camera C, a storage unit 12 that stores article management information, and a processing unit 13. The processing unit 13 includes an acquisition unit 1321, a recognition unit 1322, a comparison unit 1323, and a detection unit 1324. A plurality of processing units may cooperate to execute the processes of the acquisition unit 1321, the recognition unit 1322, the comparison unit 1323, and the detection unit 1324. In addition to this configuration, the article management apparatus 1 may include an input unit and a display unit. For example, the article management apparatus 1 can be realized by a computer (or a personal computer) configured by a processor, a memory, a data storage unit, an input unit such as various I / Fs, and an output unit such as a display unit. The processing unit 13 includes one or more processors.
図４Ｅは、実施形態４に係る物品管理装置による物品管理処理のフローチャートの一例を示す。取得部１３２１は、I/F１１を介して、カメラＣから撮影画像を取得する（ＡＣＴ２１）。例えば、撮影画像は、物品Ｍ１の撮影画像を含む。認識部１３２２は、物品管理情報に基づき、撮影画像に含まれる物品Ｍ１の画像を認識する。つまり、撮影画像から物品Ｍ１を認識する（ＡＣＴ２２）。比較部１３２３は、物品管理情報に基づき、物品Ｍ１の撮影画像のサイズと物品Ｍ１の基準画像サイズとを比較する（ＡＣＴ２３）。検出部１３２４は、サイズの比較結果から物品Ｍ１の置かれた状況を検出する（ＡＣＴ２４）。 FIG. 4E shows an example of a flowchart of an article management process by the article management apparatus according to the fourth embodiment. The acquisition unit 1321 acquires a captured image from the camera C via the I / F 11 (ACT 21). For example, the photographed image includes a photographed image of the article M1. The recognition unit 1322 recognizes the image of the article M1 included in the photographed image based on the article management information. That is, the article M1 is recognized from the photographed image (ACT22). The comparison unit 1323 compares the size of the captured image of the article M1 with the reference image size of the article M1 based on the article management information (ACT23). The detection unit 1324 detects the situation where the article M1 is placed from the size comparison result (ACT 24).
例えば、物品管理情報は、各物品について物品サイズ（奥行き）に応じて設定される不足判定閾値を含む。比較部１３２３は、物品Ｍ１の基準画像サイズに対する物品Ｍ１の撮影画像のサイズの比率を算出する。検出部１３２４は、算出された比率が物品Ｍ１の不足判定閾値より低い場合に物品の陳列不足を検出する。検出部１３２４は、検出結果を記憶部１２等へ出力することができる。 For example, the article management information includes a shortage determination threshold set for each article according to the article size (depth). The comparison unit 1323 calculates the ratio of the size of the captured image of the article M1 to the reference image size of the article M1. The detection unit 1324 detects an insufficient display of the article when the calculated ratio is lower than the shortage determination threshold for the article M1. The detection unit 1324 can output the detection result to the storage unit 12 or the like.
以上により、実施形態４に係る物品管理システムによれば、カメラＣにより監視対象エリアを撮影するだけで、監視対象エリアの物品の状況を検出することができる。つまり、低コストで物品の不足状況等を検出することができる。 As described above, according to the article management system according to the fourth embodiment, the state of the article in the monitoring target area can be detected only by photographing the monitoring target area with the camera C. That is, it is possible to detect a shortage of articles at a low cost.
ここで、図４Ｆ及び４Ｇを参照して、物品サイズ（奥行き）に応じて設定される不足判定閾値について詳しく説明する。例えば、図４Ｆは、棚４における物品Ｍ２の陳列状況１００％の一例を示し、図４Ｇは、棚４における物品Ｍ２の陳列状況５０％の一例を示す。カメラＣにより撮影される撮影画像には、物品Ｍ２の撮影画像が含まれる。物品管理装置１は、物品管理情報に基づき、撮影画像に含まれる物品Ｍ２の撮影画像を認識し、物品Ｍ２の撮影画像のサイズと物品Ｍ２の基準画像サイズとを比較し、比較結果から物品Ｍ２までの距離を推定する。 Here, with reference to FIGS. 4F and 4G, the shortage determination threshold set according to the article size (depth) will be described in detail. For example, FIG. 4F shows an example of the display status 100% of the article M2 on the shelf 4, and FIG. 4G shows an example of the display status 50% of the article M2 on the shelf 4. The captured image captured by the camera C includes a captured image of the article M2. The article management apparatus 1 recognizes the photographed image of the article M2 included in the photographed image based on the article management information, compares the size of the photographed image of the article M2 with the reference image size of the article M2, and based on the comparison result, the article M2 Estimate the distance to.
例えば、図４Ｆのケースでは、物品管理装置１は、物品Ｍ２の基準画像サイズに対する物品Ｍ２の撮影画像のサイズの比率が第２の不足判定閾値以上と判定される。つまり、図４Ｆのケースでは、物品管理装置１は、物品Ｍ２までの距離は比較的近く、陳列不足は生じていないと判定する。 For example, in the case of FIG. 4F, the article management apparatus 1 determines that the ratio of the size of the captured image of the article M2 to the reference image size of the article M2 is greater than or equal to the second shortage determination threshold. That is, in the case of FIG. 4F, the article management apparatus 1 determines that the distance to the article M2 is relatively close and that there is no display shortage.
また、図４Ｇのケースでは、物品管理装置１は、物品Ｍ２の登録画像サイズに対する物品Ｍ２の撮影画像のサイズの比率が第２の不足判定閾値未満と判定される。つまり、図４Ｇのケースでは、物品管理装置１は、物品Ｍ２までの距離は比較的遠く、陳列不足が生じていると判定する。 In the case of FIG. 4G, the article management apparatus 1 determines that the ratio of the size of the captured image of the article M2 to the registered image size of the article M2 is less than the second shortage determination threshold. That is, in the case of FIG. 4G, the article management apparatus 1 determines that the distance to the article M2 is relatively long and that display is insufficient.
例えば、処理部１３は、各物品の物品サイズ（奥行き）に応じて不足判定閾値を設定する。例えば、奥行きの短い（薄い）物品Ｍ１については、比較的小さい値の第１の不足判定閾値を設定し、奥行きの長い（厚い）物品Ｍ２については、比較的大きい値の不足判定閾値を設定する。これにより、例えば、物品Ｍ１の残数が３個未満で陳列不足が判定され、同様に、物品Ｍ２の残数も３個未満で陳列不足が判定される。なお、奥行きに関係なく、同一の不足判定閾値を設定するようにしてもよい。 For example, the processing unit 13 sets a shortage determination threshold according to the article size (depth) of each article. For example, a first shortage determination threshold value with a relatively small value is set for a short (thin) article M1 and a shortage determination threshold value with a relatively large value is set for a long (thick) article M2. . Thereby, for example, it is determined that the remaining number of articles M1 is less than three and the display is insufficient. Similarly, the remaining number of articles M2 is also determined to be less than three and the display is determined to be insufficient. Note that the same deficiency determination threshold value may be set regardless of the depth.
ここで、複数種類の物品状況検出について説明する。例えば、取得部１３２１により取得される撮影画像が、物品Ｍ１及びＭ２の画像を含むとする。認識部１３２２は、物品管理情報に基づき、撮影画像に含まれる物品Ｍ１の撮影画像を認識し、また、物品Ｍ２の撮影画像も認識する。つまり、撮影画像から物品Ｍ１及びＭ２を認識する。比較部１３２３は、物品管理情報に基づき、物品Ｍ１の撮影画像のサイズと物品Ｍ１の基準画像サイズとを比較し、また、物品Ｍ２の撮影画像のサイズと物品Ｍ２の基準画像サイズとを比較する。検出部１３２４は、比較結果から物品Ｍ１の置かれた状況を検出し、また、物品Ｍ１の置かれた状況も検出する。つまり、検出部１３２４は、物品Ｍ１の基準画像サイズに対する物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値より低い場合に物品の陳列不足を検出し、物品Ｍ２の基準画像サイズに対する物品Ｍ２の撮影画像のサイズの比率が物品Ｍ２の不足判定閾値より低い場合に物品の陳列不足を検出する。 Here, a plurality of types of article status detection will be described. For example, it is assumed that the captured image acquired by the acquisition unit 1321 includes images of the articles M1 and M2. The recognition unit 1322 recognizes the captured image of the article M1 included in the captured image based on the article management information, and also recognizes the captured image of the article M2. That is, the articles M1 and M2 are recognized from the captured image. The comparison unit 1323 compares the size of the photographed image of the article M1 with the reference image size of the article M1 based on the article management information, and compares the size of the photographed image of the article M2 with the reference image size of the article M2. . The detection unit 1324 detects the situation where the article M1 is placed from the comparison result, and also detects the situation where the article M1 is placed. In other words, the detection unit 1324 detects an insufficient display of the article when the ratio of the size of the photographed image of the article M1 to the reference image size of the article M1 is lower than the lack determination threshold of the article M1, and detects the article with respect to the reference image size of the article M2. When the ratio of the size of the photographed image of M2 is lower than the shortage determination threshold for the article M2, the lack of display of the article is detected.
以上により、実施形態４に係る物品管理システムによれば、カメラＣにより監視対象エリアを撮影するだけで、監視対象エリアの複数種類の物品の状況を検出することができる。つまり、低コストで複数種類の物品の不足状況等を検出することができる。 As described above, according to the article management system according to the fourth embodiment, the situation of a plurality of types of articles in the monitoring target area can be detected only by photographing the monitoring target area with the camera C. That is, it is possible to detect a shortage of a plurality of types of articles at a low cost.
図４Ｈは、物品Ｍ１の複数列配置の一例を示す図である。図４Ｈは、物品Ｍ１が３列に並べられ、１列目及び２列目が８個で、３列目が２個のケースを示す。１列目単独では陳列状況が１００％であると仮定する。同様に、２列目単独では陳列状況が１００％であると仮定する。３列目単独では陳列状況が２５％であると仮定する。各列について陳列不足を判定するようにしてもよいが、同一商品について総合的に陳列不足を判定するようにしてもよい。 FIG. 4H is a diagram illustrating an example of a multi-row arrangement of the article M1. FIG. 4H shows a case where the articles M1 are arranged in three rows, the first row and the second row are eight, and the third row is two. It is assumed that the display status of the first row alone is 100%. Similarly, it is assumed that the display status of the second column alone is 100%. Assume that the display status of the third row alone is 25%. Insufficient display may be determined for each column, but it may be determined comprehensively for the same product.
例えば、取得部１３２１により取得される撮影画像が、各列先頭の物品Ｍ１の撮影画像を含むとする。認識部１３２２は、物品管理情報に基づき、撮影画像に含まれる複数の物品Ｍ１の撮影画像を認識する。つまり、撮影画像から複数の物品Ｍ１を認識する。比較部１３２３は、物品管理情報に基づき、複数の物品Ｍ１の撮影画像のサイズのそれぞれと物品Ｍ１の基準画像サイズとを比較する。検出部１３２４は、比較結果から各列における物品Ｍ１の置かれた状況を検出し、総合的に物品Ｍ１の置かれた状況を判定する。 For example, it is assumed that the captured image acquired by the acquisition unit 1321 includes a captured image of the article M1 at the head of each column. The recognition unit 1322 recognizes the captured images of the plurality of articles M1 included in the captured image based on the article management information. That is, a plurality of articles M1 are recognized from the captured image. The comparison unit 1323 compares each of the sizes of the captured images of the plurality of articles M1 with the reference image size of the article M1 based on the article management information. The detection unit 1324 detects the situation where the article M1 is placed in each column from the comparison result, and comprehensively determines the situation where the article M1 is placed.
例えば、検出部１３２４は、物品Ｍ１の基準画像サイズに対する１列目の物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値以上の場合に１列目において物品Ｍ１の陳列不足は生じていないと判定し、また、物品Ｍ１の基準画像サイズに対する２列目の物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値以上の場合に２列目において物品Ｍ１の陳列不足は生じていないと判定し、また、物品Ｍ１の基準画像サイズに対する３列目の物品Ｍ１の撮影画像のサイズの比率が物品Ｍ１の不足判定閾値未満の場合に３列目において物品Ｍ１の陳列不足が生じていると判定する。検出部１３２４は、複数列中の少なくとも１列において陳列不足が生じていない場合には総合的に陳列不足が生じていないと判定する。或いは、検出部１３２４は、複数列中の半分以上の列で陳列不足が生じていない場合には総合的に陳列不足が生じていないと判定するようにしてもよい。 For example, the detection unit 1324 has an insufficient display of the article M1 in the first row when the ratio of the size of the captured image of the article M1 in the first row to the reference image size of the article M1 is equal to or greater than the lack determination threshold of the article M1. In addition, when the ratio of the size of the photographed image of the article M1 in the second row to the reference image size of the article M1 is equal to or greater than the lack determination threshold for the article M1, there is an insufficient display of the article M1 in the second row. If the ratio of the size of the captured image of the article M1 in the third row to the reference image size of the article M1 is less than the lack determination threshold for the article M1, the display of the article M1 is insufficient in the third row. It is determined that The detection unit 1324 determines that there is no shortage of display comprehensively when there is no shortage of display in at least one of the plurality of rows. Alternatively, the detection unit 1324 may determine that there is no shortage of display comprehensively when there is no shortage of display in more than half of the plurality of rows.
或いは、比較部１３２３は、各列における物品Ｍ１の撮影画像のサイズの比率の平均値を算出し、検出部１３２４は、平均値と物品Ｍ１の不足判定閾値とを比較し、比較結果に基づき総合的に物品Ｍ１の置かれた状況を判定してもよい。 Or the comparison part 1323 calculates the average value of the ratio of the size of the captured image of the article M1 in each column, and the detection part 1324 compares the average value with the lack determination threshold value of the article M1, and comprehensively based on the comparison result. Alternatively, the situation where the article M1 is placed may be determined.
以上により、実施形態４に係る物品管理システムによれば、同一物品が複数列で並べられている状況であっても、低コストで物品の不足状況等を検出することができる。 As described above, according to the article management system according to the fourth embodiment, even if the same article is arranged in a plurality of rows, it is possible to detect a shortage of articles at a low cost.
なお、物品管理装置１による物品管理処理は１以上のソフトウェアに基づき１以上のプロセッサによって実行することが可能である。このため、上記物品管理処理の手順を実行する１以上のプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じて１以上のプログラムを物品管理装置１の記憶部１２へインストールして実行するだけで、上記処理を容易に実現することができる。例えば、物品管理装置１は、上記プログラムをネットワーク経由でダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。或いは、物品管理装置１は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。 The article management processing by the article management apparatus 1 can be executed by one or more processors based on one or more software. For this reason, only by installing and executing one or more programs in the storage unit 12 of the article management apparatus 1 through a computer-readable storage medium storing one or more programs for executing the article management processing procedure, Can be easily realized. For example, the article management apparatus 1 can download the program via a network, store the downloaded program, and complete the installation of the program. Alternatively, the article management apparatus 1 can read the program from the information storage medium, store the read program, and complete the installation of the program.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
１…物品管理装置
２…三次元距離センサ
３…移動機構
４…棚
５…物品
６…マーカ
１２…記憶部
１３…処理部
１２１…距離情報記憶部
１２２…棚情報記憶部
１２３…物品情報記憶部
１３１…距離情報取込部
１３２…距離情報比較部
１３３…物品領域指定部
１３４…マーカ情報取得部
１３５…物品距離情報抽出部
１３６…物品数推定部
１３７…品薄状態判定部
DESCRIPTION OF SYMBOLS 1 ... Article management apparatus 2 ... Three-dimensional distance sensor 3 ... Moving mechanism 4 ... Shelf 5 ... Article 6 ... Marker 12 ... Storage part 13 ... Processing part 121 ... Distance information storage part 122 ... Shelf information storage part 123 ... Article information storage part 131 ... Distance information capturing unit 132 ... Distance information comparing unit 133 ... Article area specifying unit 134 ... Marker information acquiring unit 135 ... Article distance information extracting unit 136 ... Article number estimating unit 137 ... Out of stock state determining unit
Claims (10)
前記距離情報取込部により取り込まれた前記距離情報と距離情報記憶部に記憶される閾値を比較して、品薄状態に対応する座標値を出力する距離情報比較部と、
を具備する物品管理装置。 A distance information capturing unit that captures distance information to the article;
A distance information comparison unit that compares the distance information captured by the distance information capture unit with a threshold value stored in the distance information storage unit, and outputs a coordinate value corresponding to a shortage state;
An article management apparatus comprising:
を具備する請求項１の物品管理装置。 An article region designating unit that outputs an article arrangement position corresponding to a low-stock state based on the coordinate value obtained by the distance information comparison unit and the article arrangement position stored in the shelf information storage unit;
The article management apparatus according to claim 1 comprising:
前記距離情報比較部により得られる前記座標値と、前記棚情報記憶部に記憶される前記物品配置位置及び前記物品配置位置に対応した物品識別情報とに基づいて、品薄状態の物品識別情報を出力する請求項２の物品管理装置。 The article area designating unit is
Based on the coordinate value obtained by the distance information comparison unit, the article arrangement position stored in the shelf information storage unit, and the article identification information corresponding to the article arrangement position, output the article identification information in a low stock state. The article management apparatus according to claim 2.
前記距離情報取込部により取り込まれた前記第１の距離情報に基づいて前記マーカの位置及び前記マーカの情報を取得するマーカ情報取得部と、
棚情報記憶部に記憶される物品配置位置と前記物品配置位置に対応した物品識別情報、及び前記マーカ情報取得部で取得された前記マーカの位置に基づいて、前記距離情報取込部により取り込まれた前記第１の距離情報から前記物品の第２の距離情報と前記マーカの第３の距離情報を抽出する物品距離情報抽出部と、
前記物品距離情報抽出部により得られた前記第２及び第３の距離情報と前記棚情報記憶部に記憶される閾値を比較して、品薄状態の物品識別情報を出力する品薄状態判定部と、を具備する物品管理装置。 A distance information capturing unit that captures first distance information to an object including an article and a marker;
A marker information acquisition unit for acquiring the marker position and the marker information based on the first distance information acquired by the distance information acquisition unit;
Based on the article arrangement position stored in the shelf information storage unit, the article identification information corresponding to the article arrangement position, and the position of the marker acquired by the marker information acquisition unit, the distance information acquisition unit captures it. An article distance information extraction unit that extracts second distance information of the article and third distance information of the marker from the first distance information;
A stock condition determination unit that compares the threshold values stored in the shelf information storage unit with the second and third distance information obtained by the product distance information extraction unit, and outputs product identification information in a stock state, An article management apparatus comprising:
前記品薄状態判定部は、前記物品数推定部で推定した前記物品数と前記棚情報記憶部に記憶される前記閾値を比較して、品薄状態の物品識別情報を出力する請求項４の物品管理装置。 An article number estimation unit for estimating the number of articles on the shelf based on the second and third distance information obtained by the article distance information extraction unit and an offset to a reference plane stored in the shelf information storage unit; Equipped,
The article management according to claim 4, wherein the out-of-stock condition determination unit compares the number of articles estimated by the article number estimation unit with the threshold value stored in the shelf information storage unit, and outputs article identification information in the out-of-stock state. apparatus.
各物品について物品登録画像と基準画像サイズとを関連付けた物品管理情報に基づき、前記撮影画像に含まれる第１の物品撮影画像から第１の物品を認識する認識部と、
前記物品管理情報に基づき、前記第１の物品撮影画像のサイズと前記第１の物品の基準画像サイズとを比較する比較部と、
比較結果から前記第１の物品の状況を検出する検出部と、
を備える物品管理装置。 An acquisition unit for acquiring a captured image;
A recognition unit that recognizes a first article from a first article photographed image included in the photographed image based on article management information that associates an article registration image and a reference image size for each article;
A comparison unit that compares the size of the first article photographed image with the reference image size of the first article based on the article management information;
A detection unit for detecting the status of the first article from the comparison result;
An article management apparatus comprising:
前記比較部は、前記複数の第１の物品撮影画像のサイズのそれぞれと前記第１の物品の基準画像サイズとを比較し、
前記検出部は、前記複数の第１の物品撮影画像のサイズのそれぞれの比較結果から総合的に前記第１の物品の不足を検出する請求項７又は８の物品管理装置。 The recognizing unit recognizes a plurality of first articles included in the captured image;
The comparison unit compares each of the sizes of the plurality of first article photographed images with a reference image size of the first article,
The article management device according to claim 7 or 8, wherein the detection unit comprehensively detects a shortage of the first article from a comparison result of sizes of the plurality of first article photographed images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021135546A JP2021183547A (en) | 2016-09-15 | 2021-08-23 | Article control device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016180317 | 2016-09-15 | ||
| JP2016180317 | 2016-09-15 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021135546A Division JP2021183547A (en) | 2016-09-15 | 2021-08-23 | Article control device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018048024A true JP2018048024A (en) | 2018-03-29 |
| JP7034640B2 JP7034640B2 (en) | 2022-03-14 |
Family
ID=61643306
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017177743A Active JP7034640B2 (en) | 2016-09-15 | 2017-09-15 | Goods management device |
| JP2021135546A Pending JP2021183547A (en) | 2016-09-15 | 2021-08-23 | Article control device |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021135546A Pending JP2021183547A (en) | 2016-09-15 | 2021-08-23 | Article control device |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP7034640B2 (en) |
| CN (1) | CN107822400B (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020166463A1 (en) * | 2019-02-12 | 2020-08-20 | サンデン・リテールシステム株式会社 | Load state determination system |
| JP2021050917A (en) * | 2019-09-20 | 2021-04-01 | ピクシーダストテクノロジーズ株式会社 | Control device, marker, method and program |
| CN112686585A (en) * | 2019-10-17 | 2021-04-20 | 北京京东乾石科技有限公司 | Method, device, terminal and storage medium for generating article shelving information |
| JP2022512604A (en) * | 2018-10-05 | 2022-02-07 | ゼブラ テクノロジーズ コーポレイション | Methods, systems and equipment for determining the depth of the support structure |
| JP7393184B2 (en) | 2019-11-07 | 2023-12-06 | 東芝テック株式会社 | Point cloud data processing device |
| JP7434880B2 (en) | 2019-12-23 | 2024-02-21 | Ｔｏｐｐａｎホールディングス株式会社 | Electronic shelf labels, electronic shelf label systems, and product management methods |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830518A (en) * | 2018-04-11 | 2018-11-16 | 厦门上特展示系统工程有限公司 | Cargo stock's monitoring system and monitoring method |
| CN109446883B (en) * | 2018-09-05 | 2022-08-23 | 北京三快在线科技有限公司 | Commodity state identification method and device, electronic equipment and readable storage medium |
| CN110231034B (en) * | 2019-06-10 | 2023-05-09 | 国网江苏省电力有限公司南京供电分公司 | Indirect positioning method for materials of outdoor storage yard and visual model |
| CN110806189B (en) * | 2019-10-17 | 2022-03-08 | 苏州佳世达电通有限公司 | Article management system |
| CN113288664A (en) * | 2021-05-21 | 2021-08-24 | 熊阳阳 | Multifunctional chronic wound nursing dressing change cart |
| CN114973577B (en) * | 2022-05-20 | 2024-03-08 | 深圳市胜思达科技有限公司 | Fire-fighting monitoring method, system, equipment and medium for battery warehouse |
| JP7481058B1 (en) | 2022-09-26 | 2024-05-10 | 株式会社LexxPluss | TRANSPORT SYSTEM, TRANSPORT CONTROL METHOD, AND PROGRAM |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014044480A (en) * | 2012-08-24 | 2014-03-13 | Fujifilm Corp | Article collation device and method and program |
| WO2015136847A1 (en) * | 2014-03-12 | 2015-09-17 | 日本電気株式会社 | Display condition analysis device, display condition analysis method, and program recording medium |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0337788A (en) * | 1989-07-05 | 1991-02-19 | Sanyo Electric Co Ltd | Automatic vending machine |
| JP2844143B2 (en) * | 1991-11-10 | 1999-01-06 | 株式会社フジタック | Inventory control device |
| US8190497B2 (en) * | 2004-07-02 | 2012-05-29 | Hallmark Cards, Incorporated | Handheld scanner device with display location database |
| JP5259286B2 (en) * | 2008-07-16 | 2013-08-07 | 株式会社日立製作所 | 3D object recognition system and inventory system using the same |
| JP5382454B2 (en) * | 2010-02-25 | 2014-01-08 | 株式会社ダイフク | Article processing equipment |
| CN203350950U (en) * | 2013-06-04 | 2013-12-18 | 宁波大学 | Management system of automatic beverage dispenser |
| GB2531072A (en) * | 2014-10-10 | 2016-04-13 | Shopatm B V | Vending machine and associated methods |
| JP2016103208A (en) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | Measurement method, information processing apparatus, program, and commodity counting system |
-
2017
- 2017-09-15 CN CN201710834119.2A patent/CN107822400B/en active Active
- 2017-09-15 JP JP2017177743A patent/JP7034640B2/en active Active
-
2021
- 2021-08-23 JP JP2021135546A patent/JP2021183547A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014044480A (en) * | 2012-08-24 | 2014-03-13 | Fujifilm Corp | Article collation device and method and program |
| WO2015136847A1 (en) * | 2014-03-12 | 2015-09-17 | 日本電気株式会社 | Display condition analysis device, display condition analysis method, and program recording medium |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022512604A (en) * | 2018-10-05 | 2022-02-07 | ゼブラ テクノロジーズ コーポレイション | Methods, systems and equipment for determining the depth of the support structure |
| WO2020166463A1 (en) * | 2019-02-12 | 2020-08-20 | サンデン・リテールシステム株式会社 | Load state determination system |
| JP2021050917A (en) * | 2019-09-20 | 2021-04-01 | ピクシーダストテクノロジーズ株式会社 | Control device, marker, method and program |
| CN112686585A (en) * | 2019-10-17 | 2021-04-20 | 北京京东乾石科技有限公司 | Method, device, terminal and storage medium for generating article shelving information |
| JP7393184B2 (en) | 2019-11-07 | 2023-12-06 | 東芝テック株式会社 | Point cloud data processing device |
| JP7434880B2 (en) | 2019-12-23 | 2024-02-21 | Ｔｏｐｐａｎホールディングス株式会社 | Electronic shelf labels, electronic shelf label systems, and product management methods |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7034640B2 (en) | 2022-03-14 |
| JP2021183547A (en) | 2021-12-02 |
| CN107822400B (en) | 2020-12-15 |
| CN107822400A (en) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018048024A (en) | Article control device | |
| US20240106991A1 (en) | Action Detection During Image Tracking | |
| JP7019357B2 (en) | Shelf information estimation device and information processing program | |
| US20230394503A1 (en) | Object type identifying apparatus, object type identifying method, and recording medium | |
| US10740653B2 (en) | Learning data generation device, learning data generation method, and recording medium | |
| US11625918B2 (en) | Detecting shelf interactions using a sensor array | |
| US11721041B2 (en) | Sensor mapping to a global coordinate system | |
| US11756211B2 (en) | Topview object tracking using a sensor array | |
| US11657538B2 (en) | Shelf position calibration in a global coordinate system using a sensor array | |
| US11676289B2 (en) | Sensor mapping to a global coordinate system using homography | |
| JP6789670B2 (en) | Image processing device | |
| US11756216B2 (en) | Object re-identification during image tracking | |
| US11568554B2 (en) | Contour-based detection of closely spaced objects | |
| US11645698B2 (en) | Topview item tracking using a sensor array | |
| US11461733B2 (en) | Behavior analysis device, behavior analysis system, behavior analysis method, and program | |
| US10860855B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
| JP2017014014A (en) | Image processing apparatus | |
| EP3953879A1 (en) | System and method for associating products and product labels | |
| US11720952B2 (en) | Identifying non-uniform weight objects using a sensor array | |
| JPWO2015140855A1 (en) | POS terminal device, POS system, image processing method and program | |
| US10534072B2 (en) | Object detection device, POS terminal device, object detection method, program, and program recording medium | |
| US20240086993A1 (en) | Detecting and Identifying Misplaced Items Using a Sensor Array | |
| US10675659B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
| US20220058425A1 (en) | System and method for the automatic enrollment of object images into a gallery | |
| US10471474B2 (en) | Projection indicator, cargo assortment system, and projection indicating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220302 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7034640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |