KR20190085231A - Complement method for recognition malfunction in unmanned store and the system thereof - Google Patents

Complement method for recognition malfunction in unmanned store and the system thereof Download PDF

Info

Publication number
KR20190085231A
KR20190085231A KR1020180003098A KR20180003098A KR20190085231A KR 20190085231 A KR20190085231 A KR 20190085231A KR 1020180003098 A KR1020180003098 A KR 1020180003098A KR 20180003098 A KR20180003098 A KR 20180003098A KR 20190085231 A KR20190085231 A KR 20190085231A
Authority
KR
South Korea
Prior art keywords
event
item
module
malfunction
items
Prior art date
Application number
KR1020180003098A
Other languages
Korean (ko)
Inventor
김종민
Original Assignee
트라이큐빅스 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트라이큐빅스 인크. filed Critical 트라이큐빅스 인크.
Priority to KR1020180003098A priority Critical patent/KR20190085231A/en
Publication of KR20190085231A publication Critical patent/KR20190085231A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/187—Machine fault alarms

Abstract

The present invention relates to a complement method for recognition malfunction in an unmanned store and a system thereof. More specifically, the present invention uses residual modules except modules, in which malfunction occurs, between a sensor module and an image module to realize an event for a plurality of items displayed on a display stand, and compare change data generated by the event and inventory data so as to manage the items.

Description

무인 점포에서의 인식 오작동에 대한 보완 방법 및 그 시스템{COMPLEMENT METHOD FOR RECOGNITION MALFUNCTION IN UNMANNED STORE AND THE SYSTEM THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a compensation method for a recognition malfunction in an unattended shop,

본 발명은 무인 점포에서의 인식 오작동에 대한 보완 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 센서 모듈 및 이미지 모듈 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 진열대에 진열된 복수의 아이템을 관리하는 기술에 관한 것이다. The present invention relates to a method and a system for compensating for a malfunction of recognition in an unattended shop, and more particularly, to a method and system for compensating for a malfunction in a plurality of To a technique for managing items.

소매업자, 도매업자 및 기타 제품의 대리점은 일반적으로 고객이나 거래처 등에 의해 주문 및 구입이 가능한 다양한 상품의 재고를 유지하고 있다. 예를 들어 일반적인 마트의 모습을 살펴보면, 사용자(고객)는 마트에 진입하여 상품을 고르고, 상품이 담긴 카트를 가지고 계산대에 줄을 선다. 이후, 마트 직원은 사용자가 선택한 상품에 대한 바코드를 인식하여 계산을 수행한다. Retailers, wholesalers and distributors of other products generally maintain inventories of various products that can be ordered and purchased by customers or customers. For example, if you look at a typical Mart, the user (customer) enters the mart, picks the product, draws a line at the counter with the cart containing the product. After that, the Mart employee recognizes the barcode for the product selected by the user and performs the calculation.

최근에 각광받는 4차 산업혁명은 빅데이터, 사물인터넷, 인공지능과 딥러닝 등의 대표 키워드를 포함한다. 4차 산업혁명의 기술은 우리의 실생활에 직접적인 영향을 미칠 수 있으며, 우리의 삶에 편의적인 도구가 되는 것을 넘어 학습과 분석을 통해 진화하고 있다.The 4th industrial revolution, which has recently been spotlighted, includes major keywords such as Big Data, Internet of Things, Artificial Intelligence and Deep Learning. The technology of the Fourth Industrial Revolution can have a direct impact on our lives and evolves through learning and analysis beyond being a convenient tool in our lives.

이러한 기술 발전에 따라 최근에는 4차 산업혁명이 적용된 오프라인 쇼핑에 대한 관심이 증가하고 있다.With this technological advancement, interest in offline shopping, which is applied to the fourth industrial revolution, is increasing recently.

아마존(Amazon)은 이러한 기술 변화에 따라 새로운 오프라인 마트인 '아마존고(Amazon Go)'를 오픈했다. 아마존고는 식료품과 잡화 등을 판매하는 일반 마트와 크게 다르지 않다. 다만, 아마존고 내의 사용자는 상품을 선택한 후, 따로 계산을 수행하지 않아도 된다. 아마존고는 사용자에 의해 선택된 상품을 자동으로 인식하고, 사용자에 대응하는 결제 수단을 이용하여 인식된 상품에 대한 결제를 청구한다. Amazon has opened a new offline mart "Amazon Go" in response to this technology change. The Amazon Go is not much different from a general store selling groceries and miscellaneous goods. However, the user in the Amazon Keeper does not need to perform the calculation separately after selecting the product. Amazon.com automatically recognizes the product selected by the user and uses the payment means corresponding to the user to request payment for the recognized product.

이에 아마존이 출원한 특허인 미국공개특허 US2015/0012396는 'Transitioning items from a materials handling facility'에 관한 기술로, 상품의 제거 또는 배치를 추적하여 사용자 상품 리스트의 갱신을 수행하는 방법을 개시한다.US Patent Application Publication No. US2015 / 0012396, which is a patent filed by Amazon, discloses a technique relating to a 'transitioning items from a materials handling facility', and discloses a method of updating a user goods list by tracking the removal or placement of goods.

다만, 미국공개특허 US2015/0012396는 RFID(Radio Frequency IDentification)를 이용하여 상품의 움직임을 인식하고, 카메라를 이용하여 사용자의 움직임을 인식하는 방법으로, 상품(이하에서는 '아이템(item)'이라 칭함)의 제거 또는 배치를 추적하는 데 한계가 존재하였다.However, U.S. Patent Application Publication No. US2015 / 0012396 discloses a method of recognizing a movement of a product using RFID (Radio Frequency Identification) and recognizing movement of a user by using a camera, and a product (hereinafter referred to as an 'item' There was a limit in tracking the removal or placement of the implant.

즉, 상기 특허는 다양한 센서를 이용함을 기재하고 있으나, 센서의 적용에 대한 실시예 또는 권리가 명시되어 있지 않으며, 주로 Wi­Fi, NFC, RFID 및 카메라를 이용한다. 나아가, 종래의 무인점포 시스템은 주로 인공지능, 컴퓨터 비전 또는 센서 등 다양한 기술을 이용하고 있으나, 실생활에서 사용자가 상품 구매 시, 발생할 수 있는 다양한 상황에서의 아이템 관리에 대한 정확도가 낮다는 한계가 존재하였다. That is, although the patent discloses that various sensors are used, embodiments or rights of application of sensors are not specified, and mainly WiFi, NFC, RFID and camera are used. Further, while the conventional unmanned shop system uses various technologies such as artificial intelligence, computer vision, and sensors, there is a limit in that the accuracy of item management in various situations that may occur when a user purchases a product in a real life is low Respectively.

미국공개특허 US2015/0012396(2015.01.08 공개), "Transitioning items from a materials handling facility"U.S. Published Patent Application No. US2015 / 0012396 (published on Aug. 20, 2015), "Transitioning items from a materials handling facility"

본 발명의 목적은 진열대에 진열된 복수의 아이템 부근에 위치하는 포토 센서, 카메라 및 로드셀 센서 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 보다 정확하게 인식할 수 있는 기술을 제공하고자 한다. The object of the present invention is to provide a module for detecting pick-up or drop-out according to a user's choice, using modules other than a module in which malfunction occurs among a photosensor, a camera and a load cell sensor located near a plurality of items displayed on a shelf We want to provide a technique that can more accurately recognize the item that caused the put-down event.

또한, 본 발명의 목적은 이벤트가 발생된 아이템에 대한 변동 데이터와 복수의 아이템에 관련된 인벤토리 데이터를 활용하여 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하여 아이템을 관리하는 시스템을 보다 안정적이고 효율적으로 설계할 수 있는 기술을 제공하고자 한다. It is another object of the present invention to provide a system for managing items by determining whether an item is moved, opened, fixed, or returned by utilizing fluctuation data of an item in which an event is generated and inventory data related to a plurality of items To design a more stable and efficient system.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 방법은 진열대에 진열된 복수의 아이템을 인식하는 센서 모듈 및 이미지 모듈 중 적어도 어느 하나 이상의 오작동을 감지하는 단계, 상기 센서 모듈 및 상기 이미지 모듈 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 상기 복수의 아이템에 대한 이벤트를 인식하는 단계 및 상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 단계를 포함한다.A method for compensating for a malfunction of recognition according to an embodiment of the present invention includes detecting a malfunction of at least one of a sensor module and an image module for recognizing a plurality of items displayed on a shelf, Recognizing an event for the plurality of items using modules other than the generated module, and managing the item by comparing the variable data generated by the event with the inventory data related to the plurality of items .

상기 센서 모듈은 복수의 행들 및 복수의 열들에 의해 구획되는 상기 진열대에 복수의 열로 진열된 상기 복수의 아이템 각각에 대한 행 위치를 감지하는 포토 센서 및 상기 복수의 아이템 하단에 위치하여 무게를 감지하는 로드셀 센서를 포함할 수 있다.Wherein the sensor module includes a photosensor for detecting a row position for each of the plurality of items displayed on the shelf divided by a plurality of rows and a plurality of columns, And may include a load cell sensor.

상기 이미지 모듈은 카메라인 것을 특징으로 하며, 상기 카메라는 상기 진열대에 진열된 상기 복수의 아이템 중 진열된 아이템의 인벤토리 데이터, 이벤트가 발생된 아이템 및 아이템에 접근하는 사용자의 신체 일부에 대한 상기 이미지 정보를 획득할 수 있다.Wherein the image module is a camera, the camera including inventory data of the displayed items among the plurality of items displayed on the shelf, items in which events are generated, and image information Can be obtained.

상기 아이템을 관리하는 단계는 상기 이벤트의 인식과 상기 센서 모듈 및 상기 이미지 모듈 기반의 인식 시스템을 결합하여 상기 인벤토리 데이터를 업데이트할 수 있다. The managing of the item may update the inventory data by combining the recognition of the event with the recognition module based on the sensor module and the image module.

상기 오작동을 감지하는 단계는 상기 센서 모듈 및 상기 이미지 모듈 중 적어도 어느 하나 이상의 모듈에 대한 오작동을 감지하고, 상기 오작동이 발생한 모듈이 위치하는 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 중 적어도 어느 하나 이상을 획득할 수 있다.Wherein the detecting of the malfunction includes detecting a malfunction of at least one of the sensor module and the image module, detecting at least one of shelf information, position information, weight information, and image information of the item in which the malfunctioning module is located Any one or more can be obtained.

상기 복수의 아이템에 대한 이벤트를 인식하는 단계는 포토 센서가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식할 수 있다.The step of recognizing the events for the plurality of items may include a step of picking up or putting down according to the user's selection by using the load cell sensor when the photosensor is the module in which the malfunction occurred Recognizes the item, and can use the image module to re-recognize the event as an item in the shelf.

상기 복수의 아이템에 대한 이벤트를 인식하는 단계는 카메라가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하며, 포토 센서를 이용하여 상기 진열대에서 변동되는 아이템을 재인식할 수 있다.The step of recognizing an event for the plurality of items may include: if the camera is a module in which the malfunction has occurred, a pick up or put down event according to a user's selection using the load cell sensor is generated Recognizing the item, and using the photosensor to re-recognize the item in the shelf.

상기 복수의 아이템에 대한 이벤트를 인식하는 단계는 로드셀 센서가 상기 오작동이 발생한 모듈인 경우, 포토 센서 및 상기 인벤토리 데이터를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식할 수 있다.The step of recognizing the events for the plurality of items may include picking up or putting down according to the user's selection using the photo sensor and the inventory data when the load cell sensor is the module in which the malfunction occurred, Recognizes the item in which the event of the event has occurred, and re-recognizes the event by using the image module.

상기 아이템을 관리하는 단계는 상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단할 수 있다.The managing of the item may include comparing the inventory data including at least one of a display position, a brand, a category, a size, a weight, a number, and a price of the plurality of items with the fluctuation data generated by the event Whether or not the item is moved, whether the item is opened, whether it is fixed, whether it is returned, or the like.

상기 아이템을 관리하는 단계는 상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트할 수 있다.The step of managing the item may update the inventory data based on a result of the determination based on a comparison between the inventory data and the fluctuation data.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 진열대에 진열된 복수의 아이템을 인식하는 센서 모듈 및 이미지 모듈 중 적어도 어느 하나 이상의 오작동을 감지하는 감지부, 상기 센서 모듈 및 상기 이미지 모듈 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 상기 복수의 아이템에 대한 이벤트를 인식하는 이벤트 인식부 및 상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 인벤토리 관리부를 포함한다.A supplementary system for recognition malfunction according to an embodiment of the present invention includes a sensing unit for sensing a malfunction of at least one of a sensor module and an image module for recognizing a plurality of items displayed on a shelf, An event recognition unit for recognizing an event for the plurality of items by using other modules except for the generated module, and an inventory management unit for comparing the variable data generated by the event with the inventory data related to the plurality of items, And an inventory management unit.

상기 감지부는 상기 센서 모듈 및 상기 이미지 모듈 중 적어도 어느 하나 이상의 모듈에 대한 오작동을 감지하고, 상기 오작동이 발생한 모듈이 위치하는 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 중 적어도 어느 하나 이상을 획득할 수 있다.The sensing unit detects a malfunction of at least one of the sensor module and the image module, and detects at least one of shelf information, position information, weight information, and image information of the item in which the malfunctioning module is located Can be obtained.

상기 이벤트 인식부는 포토 센서가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식할 수 있다.The event recognizing unit recognizes an item in which a pick up or put down event according to a user's selection is generated using the load cell sensor when the photo sensor is a module in which the malfunction occurred, The module can be used to re-recognize the event of the item that is displayed on the shelf.

상기 이벤트 인식부는 카메라가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하며, 포토 센서를 이용하여 상기 진열대에서 변동되는 아이템을 재인식할 수 있다.The event recognizing unit recognizes an item in which a pick up or put down event according to a user's selection is generated using the load cell sensor when the camera is a module in which the malfunction occurred, It is possible to re-recognize the item which is changed on the display shelf by using the display unit.

상기 이벤트 인식부는 로드셀 센서가 상기 오작동이 발생한 모듈인 경우, 포토 센서 및 상기 인벤토리 데이터를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식할 수 있다.If the load cell sensor is a module in which the malfunction has occurred, the event recognizing unit recognizes an item in which a pick up or put down event according to a user's selection is generated by using the photo sensor and the inventory data And the image module can be used to re-recognize an event of an item that is changed in the shelf.

상기 인벤토리 관리부는 상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단할 수 있다.Wherein the inventory management unit compares the inventory data including at least one of a display position, a brand, a category, a size, a weight, a number, and a price of the plurality of items with the fluctuation data generated by the event, Whether it is moving, whether it is opened, whether it is fixed, or whether it is returned.

상기 인벤토리 관리부는 상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트할 수 있다. The inventory management unit may update the inventory data based on a result of the comparison between the inventory data and the variation data.

본 발명의 실시예에 따르면, 진열대에 진열된 복수의 아이템 부근에 위치하는 포토 센서, 카메라 및 로드셀 센서 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 보다 정확하게 인식할 수 있다.According to the embodiment of the present invention, except for a module in which a malfunction occurs among a photosensor, a camera, and a load cell sensor located near a plurality of items displayed on a shelf, up or put-down events can be more accurately recognized.

또한, 본 발명의 실시예에 따르면, 이벤트가 발생된 아이템에 대한 변동 데이터와 복수의 아이템에 관련된 인벤토리 데이터를 활용하여 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하여 아이템을 관리하는 시스템을 보다 안정적이고 효율적으로 설계할 수 있다.In addition, according to the embodiment of the present invention, it is possible to determine whether the item is moved, opened, fixed, or returned by utilizing the variable data of the item in which the event is generated and the inventory data related to the plurality of items, The system to be managed can be designed more stably and efficiently.

도 1은 본 발명의 실시예에 따른 인식 오작동에 대한 보완 방법의 흐름도를 도시한 것이고, 도 2는 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템의 세부 구성을 블록도로 도시한 것이다.
도 3은 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템과 센서 모듈 및 이미지 모듈의 세부구성 간의 통신을 개념적으로 설명하기 위해 도시한 것이다.
도 4는 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템의 적용 예를 도시한 것이다.
도 5 및 도 6은 본 발명의 실시예에 따른 포토 센서 및 카메라를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 로드셀 센서를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 포토 센서의 적용 예를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 로드셀 센서의 적용 예를 도시한 것이다.
도 10은 본 발명의 실시예에 따른 카메라의 적용 예를 도시한 것이다.FIG. 1 is a flowchart illustrating a method of supplementing a recognition malfunction according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating a detailed configuration of a supplementary system for a recognition malfunction according to an embodiment of the present invention.
3 is a conceptual illustration of communication between a complementary system for recognition malfunctions and a detailed configuration of a sensor module and an image module according to an embodiment of the present invention.
FIG. 4 illustrates an application example of a complementary system for a recognition malfunction according to an embodiment of the present invention.
5 and 6 illustrate an example of sensing an item using a photosensor and a camera according to an embodiment of the present invention.
7A to 7C illustrate an example of sensing an item using a load cell sensor according to an embodiment of the present invention.
8A and 8B illustrate application examples of a photosensor according to an embodiment of the present invention.
FIG. 9 shows an application example of a load cell sensor according to an embodiment of the present invention.
FIG. 10 shows an application example of a camera according to an embodiment of the present invention.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. In addition, the same reference numerals shown in the drawings denote the same members.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Also, terminologies used herein are terms used to properly represent preferred embodiments of the present invention, which may vary depending on the viewer, the intention of the operator, or the custom in the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.

도 1은 본 발명의 실시예에 따른 인식 오작동에 대한 보완 방법의 흐름도를 도시한 것이고, 도 2는 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템의 세부 구성을 블록도로 도시한 것이다.FIG. 1 is a flowchart illustrating a method of supplementing a recognition malfunction according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating a detailed configuration of a supplementary system for a recognition malfunction according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 방법 및 그 시스템은 센서 모듈 및 이미지 모듈 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 진열대에 진열된 복수의 아이템에 대한 이벤트를 인식하며, 이벤트에 의해 발생된 변동 데이터와 인벤토리 데이터를 비교하여 아이템을 관리한다.Referring to FIGS. 1 and 2, a supplementary method for recognizing malfunctions according to an embodiment of the present invention, and a system thereof, includes a sensor module and an image module, Recognizes an event for a plurality of items, and manages items by comparing the variable data generated by the event with the inventory data.

이를 위해, 도 2에서 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 감지부(210), 이벤트 인식부(220) 및 인벤토리 관리부(230)를 포함한다. 또한, 도 1의 각 단계들(단계 110 내지 130)은 도 2의 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)의 구성요소들 즉, 감지부(210), 이벤트 인식부(220) 및 인벤토리 관리부(230)에 의해 수행될 수 있다.2, the complementary system 200 for recognition malfunction according to an embodiment of the present invention includes a sensing unit 210, an event recognition unit 220, and an inventory management unit 230. In addition, the steps (steps 110 to 130) of FIG. 1 correspond to the components of the complementary system 200 for the recognition malfunction, that is, the sensing unit 210, the event recognition unit 220 and the inventory management unit 230, respectively.

단계 110에서, 감지부(210)는 진열대에 진열된 복수의 아이템을 인식하는 센서 모듈 및 이미지 모듈 중 적어도 어느 하나 이상의 오작동을 감지한다. In step 110, the sensing unit 210 detects malfunctions of at least one of a sensor module and an image module that recognize a plurality of items displayed on the shelf.

예를 들면, 감지부(210)는 복수의 센서 모듈 및 복수의 이미지 모듈 중 기 설정된 시간 동안 신호가 수신되지 않는 모듈, 신호의 세기가 약한 모듈 및 신호의 수신 간격이 불안정한 모듈 중 적어도 어느 하나로부터 오작동이 발생한 모듈을 감지할 수 있다. 이에, 감지부(210)는 센서 모듈 및 이미지 모듈 중 적어도 어느 하나 이상의 모듈에 대한 오작동을 감지하고, 오작동이 발생한 모듈이 위치하는 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 중 적어도 어느 하나 이상을 획득할 수 있다.For example, the sensing unit 210 may include at least one of a module in which a signal is not received for a predetermined period of time among the plurality of sensor modules and a plurality of image modules, a module in which the intensity of the signal is weak, It is possible to detect a malfunctioning module. The sensing unit 210 detects a malfunction of at least one of the sensor module and the image module, and detects at least one of the shelf information, the position information, the weight information, and the image information of the item where the malfunctioning module is located Or more.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 특정 공간 내 진열대 부근에 위치하는 센서 모듈 및 이미지 모듈을 이용하여 복수의 선반 각각에 진열된 복수의 아이템을 감지할 수 있다. 이 때, 상기 특정 공간은 쇼핑몰, 대형 마트, 매장, 음식점 또는 기타 상업 시설의 특정 공간일 수 있으며, 상품 또는 물품을 판매하는 공간을 나타낸다. 또한, 상기 진열대는 냉장고 또는 아이템(상품)을 진열하는 가구의 일종일 수 있다. The supplementary system 200 for recognizing malfunctions according to the embodiment of the present invention can detect a plurality of items displayed on each of a plurality of shelves using a sensor module and an image module located near a shelf in a specific space. At this time, the specific space may be a specific space of a shopping mall, a large-sized mart, a store, a restaurant, or other commercial facilities, and represents a space for selling goods or goods. In addition, the shelf may be a refrigerator or a piece of furniture for displaying items (goods).

예를 들면, 센서 모듈은 진열대에 진열된 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함한다.For example, the sensor module includes a photosensor that senses a row position for a plurality of items displayed on a shelf, and a load cell sensor that senses the weight of a plurality of items.

센서 모듈은 복수의 행들 및 복수의 열들에 의해 구획되는 진열대에 복수의 열로 진열된 복수의 아이템 각각에 대한 행 위치를 감지하는 포토 센서 및 복수의 아이템 하단에 위치하여 무게를 감지하는 로드셀 센서를 포함할 수 있다.The sensor module includes a photosensor for detecting a row position for each of a plurality of items arranged in a plurality of rows on a shelf partitioned by a plurality of rows and a plurality of columns, and a load cell sensor positioned at a lower end of the plurality of items for sensing weight can do.

예를 들면, 포토 센서는 LED(Light Emitting Diode, 발광 다이오드) 또는 레이저와 같은 광을 조사하는 발광부 및 발광부와 소정 간격으로 이격되어 한 쌍을 이루는 수광부를 포함할 수 있으며, 진열대에 진열된 복수의 아이템의 행 위치 및 열 위치 각각에 위치하여 이벤트가 발생된 아이템 또는 아이템을 선택하는 사용자의 신체 일부에 대한 거리를 측정할 수 있다. 이 때, 포토 센서는 광 센서(Photo sensor) 또는 적외선 센서일 수 있으며, 실시예에 따라서는 로드셀 센서보다 포토 센서의 수가 더 많을 수 있다. For example, the photo sensor may include a light emitting unit for emitting light such as an LED (Light Emitting Diode) or a laser, and a light receiving unit spaced apart from the light emitting unit by a predetermined distance, It is possible to measure the distance to the body part of the user who is located in the row position and column position of the plurality of items and selects the item or item in which the event is generated. At this time, the photosensor may be a photo sensor or an infrared sensor, and in some embodiments, the number of photo sensors may be larger than that of the load cell sensor.

또한, 이미지 모듈은 복수의 아이템에 대한 이미지 정보를 획득한다. 이미지 모듈은 카메라일 수 있으며, 진열대에 진열된 복수의 아이템 중 이벤트가 발생된 아이템 및 아이템에 접근하는 사용자의 신체 일부에 대한 이미지 정보를 획득할 수 있다. 또한, 이미지 모듈은 진열대에 진열된 아이템의 인벤토리 데이터에 기반하여 상기 이미지 정보를 획득할 수 있다. The image module also obtains image information for a plurality of items. The image module can be a camera, and can acquire image information about a body part of a user who accesses an item and an item from among a plurality of items displayed on the shelf. The image module may also obtain the image information based on inventory data of the items displayed on the shelf.

실시예에 따라서, 이미지 모듈은 센서 모듈로부터 센싱되는 신호에 기초하여 이벤트가 발생된 아이템 및 사용자의 신체 일부에 대한 이미지 정보를 획득할 수 있다. 예를 들면, 이미지 모듈은 오프(off) 또는 대기모드(sleep mode) 상태인 것을 기본으로 하며, 센서 모듈로부터 수신되는 센싱 신호 또는 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)의 신호에 기초하여 활성화(wake up)되어 해당 위치에서의 이미지 정보를 획득할 수 있다. 이에 따라서, 본 발명은 주로 센서를 이용하고, 카메라 사용을 최소화하여 이미지 프로세싱 타임을 최소화하는 효과를 제공한다. According to an embodiment, the image module may obtain image information about an item of the event and a body part of the user based on a signal sensed from the sensor module. For example, it is assumed that the image module is in the off or standby mode, and that the sensing signal received from the sensor module or the sensing system malfunctions of the supplementary system 200 And can acquire image information at the corresponding position. Accordingly, the present invention mainly uses sensors, and minimizes camera use, thereby minimizing image processing time.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)의 감지부(210)는 진열대 진열된 복수의 아이템 부근에 위치하는 복수의 센서 모듈 및 복수의 이미지 모듈 중 적어도 2개 이상을 이용하여 복수의 아이템에 대한 이벤트를 감지할 수 있으며, 센서 및 카메라의 조합을 통해 사용자의 아이템에 대한 행위를 보다 정확히 인식할 수 있고, 기기의 오작동 및 오류를 신속히 감지할 수 있다. The sensing unit 210 of the complementary system 200 for recognizing malfunctions according to an embodiment of the present invention uses at least two or more of a plurality of sensor modules and a plurality of image modules located near a plurality of items displayed on a shelf It is possible to detect an event for a plurality of items, and the user can more accurately recognize the behavior of the item through the combination of the sensor and the camera, and can quickly detect malfunction and error of the device.

단계 120에서, 이벤트 인식부(220)는 센서 모듈 및 이미지 모듈 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 복수의 아이템에 대한 이벤트를 인식한다. In step 120, the event recognition unit 220 recognizes an event for a plurality of items using modules other than the module in which a malfunction occurred among the sensor module and the image module.

이벤트 인식부(220)는 정상적으로 작동하는 센서 모듈 및 이미지 모듈로부터 복수의 아이템에 대한 이벤트를 인식할 수 있으며, 모듈 중 오작동이 감지되는 경우, 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 복수의 아이템에 대한 이벤트를 인식할 수 있다.The event recognizing unit 220 can recognize an event of a plurality of items from the normally operating sensor module and the image module. If a malfunction is detected in the module, An event for a plurality of items can be recognized.

정상적으로 센서 모듈 및 이미지 모듈이 작동되는 예를 들면, 이벤트 인식부(220)는 센서 모듈 및 이미지 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down, 또는 반납)의 움직임이 발생된 이벤트를 인식할 수 있으며, 이벤트가 발생된 아이템의 선반 정보, 위치 정보 및 무게 정보를 인식할 수 있다. 이 때, 픽 업은 사용자가 아이템을 집어 올리는 동작일 수 있고, 풋 다운은 사용자가 들고 있는 아이템을 내려놓는 동작일 수 있으며, 이벤트 인식부(220)는 포토 센서, 카메라 및 로드셀 센서로부터 센싱된 신호의 조합으로 픽 업, 풋 다운, 아이템의 선반 정보, 위치 정보 및 아이템의 무게 정보를 인식할 수 있다. For example, the event recognition unit 220 may detect a pick-up or put-down (or return) according to a user's selection by using the sensor module and the image module. It is possible to recognize the event in which the motion has occurred and recognize the shelf information, the position information, and the weight information of the item in which the event occurred. In this case, the pick-up may be an operation of picking up an item by the user, and the foot-down may be an operation of releasing an item held by a user, and the event recognizing unit 220 recognizes a signal sensed from a photosensor, The pick-up, the foot-down, the item shelf information, the position information, and the weight information of the item.

실시예에 따라서, 사용자는 진열대에 진열된 복수의 아이템 중 임의의 아이템을 픽 업할 수 있으며, 아이템을 다시 진열대에 풋 다운할 수 있다. 또한, 사용자는 진열대에 진열된 아이템을 픽 업한 뒤, 정위치에 풋 다운할 수 있으며, 정위치가 아닌 다른 위치에 풋 다운할 수도 있다. 또한, 사용자의 부주의에 의해 아이템의 움직임이 발생할 수도 있다. 즉, 이벤트 인식부(220)는 센서 모듈 및 이미지 모듈을 통해 전술한 상황에 대한 이벤트를 인식할 수 있다. According to an embodiment, the user can pick up any of a plurality of items displayed on the shelf, and put the item back down on the shelf. In addition, the user can pick up the items displayed on the shelf, then put down to the correct position, or put down to a position other than the correct position. In addition, movement of the item may occur due to carelessness of the user. That is, the event recognition unit 220 can recognize an event of the above-described situation through the sensor module and the image module.

모듈 중 오작동이 감지되는 예를 들면, 이벤트 인식부(220)는 포토 센서가 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 이미지 모듈을 이용하여 진열대에서 변동되는 아이템을 이벤트를 재인식할 수 있다.For example, when the photo sensor is a module in which a malfunction has occurred, the event recognition unit 220 may detect a malfunction by using a load cell sensor to pick up or put down according to a user's selection, The user can recognize the item in which the event of the event is generated, and re-recognize the event by using the image module.

보다 상세하게는 일 예로, 포토 센서가 동작하지 않은 경우, 이벤트 인식부(220)는 로드셀 센서를 이용하여 특정 선반 및 특정 열(세로 열)에서 아이템의 이벤트(픽 업 또는 풋 다운)를 인식하고, 인벤토리 데이터 중 무게 정보를 활용하여 어느 아이템에 이벤트가 발생하였는지에 대한 상품군(예를 들면, 500ml 또는 350ml 등)을 인식할 수 있다. 또한, 이벤트 인식부(220)는 카메라로부터 획득되는 이미지 정보를 이용하여 아이템의 이벤트(픽 업 또는 풋 다운)를 재인식할 수도 있다. More specifically, for example, when the photosensor does not operate, the event recognition unit 220 recognizes an event (pick-up or foot-down) of an item on a specific shelf and a specific column (column) using a load cell sensor , Weight information of the inventory data can be used to recognize a product group (for example, 500ml or 350ml) on which item an event has occurred. Also, the event recognition unit 220 may re-recognize an event (pick-up or foot-down) of the item using the image information obtained from the camera.

이벤트 인식부(220)는 카메라가 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하며, 포토 센서를 이용하여 상기 진열대에서 변동되는 아이템을 재인식할 수 있다.If the camera has a malfunction, the event recognition unit 220 recognizes an item in which a pick up event or a put down event is generated according to a user's selection using the load cell sensor, The sensor can be used to re-recognize items that are changing on the shelf.

보다 상세하게는 다른 예로, 카메라가 동작하지 않은 경우, 이벤트 인식부(220)는 포토 센서 및 로드셀 센서를 이용하여 특정 선반 및 특정 열(세로 열)에서 아이템의 이벤트(픽 업 또는 풋 다운)를 인식할 수 있으며, 특히 로드셀 센서를 이용하여 아이템에 대한 한 번의 이벤트 또는 두 번 이상의 이벤트를 감지할 수 있다. 또한, 이벤트 인식부(220)는 포토 센서를 이용하여 정위치가 아닌 다른 위치에 풋 다운되는 아이템을 인식할 수 있다. More specifically, in another example, when the camera is not operated, the event recognition unit 220 uses the photo sensor and the load cell sensor to detect an event (pick-up or foot-down) of an item in a specific shelf and a specific column In particular, the load cell sensor can be used to detect one event or two or more events for an item. In addition, the event recognition unit 220 can recognize an item that is put down at a position other than the fixed position using the photosensor.

이벤트 인식부(220)는 로드셀 센서가 오작동이 발생한 모듈인 경우, 포토 센서 및 인벤토리 데이터를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식할 수 있다. If the load cell sensor is a module in which a malfunction has occurred, the event recognizing unit 220 may identify an item in which a pick up or put down event according to the user's selection is generated using the photo sensor and the inventory data And re-recognize the event by using the image module to change the item on the shelf.

보다 상세하게는 또 다른 예로, 로드셀 센서가 동작하지 않은 경우, 이벤트 인식부(220)는 포토 센서 및 인벤토리 데이터를 이용하여 특정 선반 및 특정 열(세로 열)에서 아이템의 이벤트(픽 업 또는 풋 다운)를 인식할 수 있으며, 카메라로부터 획득되는 이미지 정보를 이용하여 아이템이 이동하는 경로를 파악하여 아이템을 선택하는 행위(픽 업) 또는 반납하는 행위(풋 다운)를 인식할 수 있다. 예를 들면, 이벤트 인식부(220)는 카메라로부터 획득된 이미지 정보를 이용하여 아이템이 선반에서 사용자 방향으로 이동하였는지, 아니면 선반 방향으로 이동하였는지를 감지할 수 있다.More specifically, when the load cell sensor is not operated, the event recognition unit 220 may use the photosensor and the inventory data to detect an event (pick-up or foot-down) of an item in a specific shelf and a specific column (Pick-up) or returning (foot-down) of selecting an item by recognizing a route through which the item is moved using the image information obtained from the camera. For example, the event recognition unit 220 can detect whether the item has moved in the user direction from the shelf or in the shelf direction using the image information obtained from the camera.

단계 130에서, 인벤토리 관리부(230)는 이벤트에 의해 발생된 변동 데이터와 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리한다. 또한, 인벤토리 관리부(230)는 이벤트의 인식과 센서 모듈 및 이미지 모듈 기반의 인식 시스템을 결합하여 인벤토리 데이터를 업데이트할 수 있다. In step 130, the inventory management unit 230 manages items by comparing the fluctuation data generated by the event with the inventory data related to a plurality of items. Also, the inventory management unit 230 may update the inventory data by combining the recognition of the event, the sensor module, and the recognition module based on the image module.

인벤토리 관리부(230)는 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 인벤토리 데이터와, 이벤트에 의해 발생된 변동 데이터를 비교하여 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단할 수 있다.The inventory management unit 230 compares the inventory data including at least one of a display position, a brand, a category, a size, a weight, a number, and a price for a plurality of items with variation data generated by the event, Whether it is opened, whether it is opened, whether it is fixed, whether it is returned or not.

예를 들면, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 데이터베이스부(240)를 더 포함할 수 있으며, 데이터베이스부(240)는 특정 공간 내 복수의 진열대 각각에 진열된 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수, 가격, 할인 정보, 유통기한, 입고일, 재고일, 식별 정보, 배급회사 정보, 관리자 정보, 주의사항 정보, 개봉 전 이미지, 개봉 후 이미지 및 상/하/좌/우 이미지 중 적어도 어느 하나 이상을 포함하는 인벤토리 데이터를 저장하여 유지할 수 있다. 이 때, 데이터베이스부(240)에 저장되어 유지되는 인벤토리 데이터는 실시간 발생되는 이벤트에 의해 삭제, 변경, 추가, 경고 등의 업데이트될 수 있다. For example, the supplementary system 200 for recognizing malfunctions according to an embodiment of the present invention may further include a database unit 240, and the database unit 240 may include a plurality of Brand, category, size, weight, number, price, discount information, expiration date, stock date, stock date, identification information, distribution company information, manager information, pre-release image, opening image, opening And store at least one of an after image and an up / down / left / right image. At this time, the inventory data stored and held in the database unit 240 may be updated by deleting, changing, adding, warning, or the like depending on the event that occurs in real time.

이에 따라서, 인벤토리 관리부(230)는 데이터베이스부(240)에 저장되어 유지되는 인벤토리 데이터와, 픽 업(pick up) 또는 풋 다운(put down)의 이벤트에 의해 발생된 해당 아이템에 대한 변동 데이터를 비교하고, 비교 결과에 따라 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부를 판단할 수 있다. Accordingly, the inventory management unit 230 compares the inventory data stored and held in the database unit 240 with the change data for the corresponding item generated by an event of pick up or put down, And whether the item is moved, opened, fixed, or returned depending on the comparison result.

일 예로, 아이템의 픽 업 이벤트가 발생하는 경우, 인벤토리 관리부(230)는 픽 업 이벤트에 따른 해당 아이템에 대한 변동 데이터와 인벤토리 데이터를 비교하여 움직임을 판단할 수 있다. For example, when a pick-up event of an item occurs, the inventory management unit 230 may compare the variation data of the item corresponding to the pick-up event with the inventory data to determine the movement.

다른 예로, 아이템의 풋 다운 이벤트가 발생하는 경우, 인벤토리 관리부(230)는 풋 다운 이벤트에 따른 해당 아이템의 반환 위치를 파악한 후, 반환 위치에 따른 변동 데이터와 인벤토리 데이터를 비교하여 반환을 판단하고, 동시에 개봉 여부를 판단할 수 있다. 실시예에 따라서, 아이템을 생수라 가정할 때, 사용자가 생수를 개봉하여 일정 부분 섭취 후, 정위치 또는 정위치가 아닌 다른 위치에 반납할 수 있다. 이에 따라서, 인벤토리 관리부(230)는 풋 다운 이벤트가 발생하는 경우, 반환 여부와 개봉 여부 및 정위치 여부를 모두 판단할 수 있다. In another example, when a foot-down event of an item occurs, the inventory management unit 230 compares the return position of the corresponding item according to the put-down event and then compares the variable data with the inventory data to determine return, At the same time, it can be judged whether or not it is opened. According to the embodiment, when the item is assumed to be living water, the user can open the bottled water and return it to a place other than the fixed position or the fixed position after taking a certain portion. Accordingly, when a put-down event occurs, the inventory management unit 230 can determine whether the return is made, whether it is opened or not, and whether it is a correct position or not.

이후, 인벤토리 관리부(230)는 인벤토리 데이터와 변동 데이터의 비교에 따른 판단 결과에 기초하여, 인벤토리 데이터를 업데이트할 수 있다. 예를 들면, 인벤토리 관리부(230)는 비교 결과에 따른 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등에 기초하여 삭제, 변경, 추가, 경고 등의 인벤토리 데이터를 업데이트할 수 있다. Thereafter, the inventory management unit 230 may update the inventory data based on the determination result based on the comparison between the inventory data and the variation data. For example, the inventory management unit 230 may update the inventory data such as deletion, change, addition, warning, and the like based on whether the item is moved according to the comparison result, whether the item is opened, whether the item is fixed,

실시예에 따라서, 사용자가 아이템을 선택하는 경우, 인벤토리 관리부(230)는 인벤토리 데이터에서 해당 아이템을 삭제 또는 변경할 수 있으며, 사용자가 아이템을 정위치가 아닌 다른 위치에 풋 다운하는 경우, 인벤토리 관리부(230)는 인벤토리 데이터에서 해당 아이템을 추가 또는 경고할 수 있다. 아이템의 개봉 이벤트 또는 정위치가 아닌 다른 위치에 반납되는 이벤트가 발생하는 경우, 인벤토리 관리부(230)는 해당 아이템에 대한 경고 문구와 함께 데이터베이스부(240)에 인벤토리 데이터를 업데이트할 수 있으며, 특정 공간을 관리하는 관리자가 소지하는 모바일 디바이스, 특정 공간 내 서버 또는 아이템 관리 서버에 해당 아이템에 대한 경고 신호를 발송할 수 있다. According to the embodiment, when the user selects an item, the inventory management unit 230 can delete or change the item in the inventory data. If the user puts down the item at a position other than the predetermined position, the inventory management unit 230) may add or alert the item in the inventory data. The inventory management unit 230 can update the inventory data in the database unit 240 together with the warning message for the item when the event is released or the event is returned to a place other than the definite position, A warning message for the item can be sent to the mobile device, the server in the specific space, or the item management server owned by the manager who manages the item.

이 때, 관리자가 소지하는 모바일 디바이스는 PC(personal computer), 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿 PC(tablet PC), 웨어러블 컴퓨터(wearable computer) 등의 단말 장치로, 인식 오작동에 대한 보완 시스템(200)과 통신하여 특정 공간에 관련된 사이트의 접속 또는 서비스 전용 어플리케이션(Application)의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 상기 모바일 디바이스는 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장, 결제, 청구 등 서비스 전반의 동작을 수행할 수 있다.At this time, the mobile device possessed by the manager is a terminal device such as a PC (personal computer), a laptop computer, a smart phone, a tablet PC, a wearable computer, Can refer to all terminal devices that can communicate with the supplementary system 200 for malfunctions to install and execute a service-specific application or connection of a site related to a specific space. The mobile device can perform service-wide operations such as service screen configuration, data input, data transmission / reception, data storage, payment, and billing under the control of a web / mobile site or a dedicated application.

또한, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 통신 모듈을 통해 관리자가 소지하는 모바일 디바이스, 특정 공간 내 서버 또는 아이템 관리 서버로 업데이트되는 인벤토리 데이터에 관련된 정보 및 신호를 송신할 수 있다. 이 때, 상기 통신 모듈은 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크 및 기타 장치와 무선 통신에 의해 통신할 수 있으며, 상기 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W­CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi­Fi(Wireless Fidelity), VoIP(voice over Internet Protocol), Wi­MAX, LTE(Long Term Evolution), 지그비(Zigbee), Z­wave, BLE(Bluetooth Low Energy), 비콘(Beacon), IMAP(Internet Message Access Protocol) 및/또는 POP(Post Office Protocol) 등의 이메일용 프로토콜, XMPP(eXtensible Messaging and Presence Protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service), 또는 SMS(Short Message Service), 등의 인스턴트 메시징, 또는 본원의 출원일 당시에 개발되지 않은 통신 프로토콜을 포함할 수 있다. 다만, 상술한 무선 통신에는 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술들이 사용될 수 있다.In addition, the supplementary system 200 for recognizing malfunctions according to the embodiment of the present invention transmits information and signals related to inventory data updated to a mobile device, a specific space server, or an item management server possessed by an administrator through a communication module can do. The communication module may be a wireless network such as a cellular telephone network, a wireless local area network (LAN) and / or a metropolitan area network (MAN), a network such as the Internet called an intranet and / or the World Wide Web (WCDMA), a code division multiple access (CDMA), a time division multiple access (TDMA) communication system, a wireless communication system, and a wireless communication system. (Wireless Fidelity), Voice over Internet Protocol (VoIP), WiMAX, Long Term Evolution (LTE), and the like) such as time division multiple access (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g and / or IEEE 802.11n) Zigbee, Zwave, Bluetooth Low Energy (BLE), Beacon, Internet Message Access Protocol (IMAP) and / or Post Office Protocol (POP), eXtensible Messaging and Presence Protocol (XMPP) , SIMPLE (Session Initiation P Instant Messaging and Presence Leverage Extensions), IMPS (Instant Messaging and Presence Service), or SMS (Short Message Service), or communication protocols not developed at the time of filing of the present application. However, a plurality of communication standards, protocols, and techniques may be used for the above-mentioned wireless communication, without being limited thereto.

도 3은 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템과 센서 모듈 및 이미지 모듈의 세부구성 간의 통신을 개념적으로 설명하기 위해 도시한 것이다.3 is a conceptual illustration of communication between a complementary system for recognition malfunctions and a detailed configuration of a sensor module and an image module according to an embodiment of the present invention.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 포토 센서(10), 카메라(20) 및 로드셀 센서(30)를 포함할 수 있다. 도 3에서는, 포토 센서(10), 카메라(20) 및 로드셀 센서(30)를 단수로 도시하였으나, 이는 복수 개일 수 있다. A supplemental system 200 for recognition malfunctions according to an embodiment of the present invention may include a photosensor 10, a camera 20, and a load cell sensor 30. 3, the photosensor 10, the camera 20, and the load cell sensor 30 are shown in the singular, but they may be plural.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 포토 센서(10), 카메라(20) 및 로드셀 센서(30)을 이용하여 아이템의 구매 또는 반납 행위를 정확하게 인식할 수 있다. The supplementary system 200 for the recognition malfunction according to the embodiment of the present invention can accurately recognize the purchase or return of the item using the photosensor 10, the camera 20 and the load cell sensor 30. [

도 3을 참조하면, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 USB, USB­UART(Universal asynchronous receiver/transmitter: 범용 비동기화 송수신기) 또는 블루투스(Bluetooth)의 통신 방식을 이용하여 포토 센서(10), 카메라(20) 및 로드셀 센서(30) 각각으로부터 아이템의 위치 정보, 무게 정보, 이벤트 정보 및 이미지 정보를 수신할 수 있으며, 수신된 정보를 이용하여 아이템의 이벤트 및 사용자의 신체 일부에 대한 움직임을 인식할 수 있다. 또한, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 포토 센서(10), 카메라(20) 및 로드셀 센서(30)와 유무선통신채널로 연결되어 정보를 송수신할 수도 있다.Referring to FIG. 3, the system 200 for recognizing malfunctions according to an exemplary embodiment of the present invention includes a USB (Universal Serial Bus), asynchronous receiver / transmitter (universal asynchronous receiver / transmitter) Weight information, event information, and image information from each of the sensor 10, the camera 20, and the load cell sensor 30, and receives the event of the item and the body part of the user Can be recognized. The supplementary system 200 for recognizing malfunctions according to an embodiment of the present invention may be connected to the photosensor 10, the camera 20, and the load cell sensor 30 through a wired / wireless communication channel to transmit and receive information.

실시예에 따라서, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 동작 전 센서 모듈 및 이미지 모듈의 동작 여부를 미리 확인할 수 있다. According to the embodiment, the supplementary system 200 for the recognition malfunction according to the embodiment of the present invention can confirm beforehand whether the sensor module and the image module operate before operation.

도 4는 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템의 적용 예를 도시한 것이다.FIG. 4 illustrates an application example of a complementary system for a recognition malfunction according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 특정 공간(1) 내의 진열대에 포함된 복수의 포토 센서(미도시), 카메라(20) 및 로드셀 센서(미도시)를 포함한다. Referring to FIG. 4, a supplementary system for recognition malfunction according to an embodiment of the present invention includes a plurality of photosensors (not shown), a camera 20, and a load cell sensor (not shown) included in a shelf in a specific space 1, .

예를 들면, 특정 공간(1) 내에 위치하는 진열대는 복수의 선반을 포함하며, 선반 각각에는 복수의 열로 진열된 복수의 아이템(40)을 포함할 수 있다. 이 때, 다양한 종류의 아이템(40)을 구분하는 영역은 하나의 선반 상에 복수 개로 위치할 수 있으며, 영역에 의해 복수의 아이템(40)은 종류에 따라 열로 진열될 수 있다. 이 때, 영역은 선반에서 아이템(40)을 카테고리, 종류 또는 상표 별로 구분하기 위한 트레이 또는 파티션일 수 있으며, 하기의 도 9에 도시된 격벽(930)에 의해 분류된 공간을 의미할 수도 있다.For example, a shelf located in a particular space 1 may include a plurality of shelves, each shelf may include a plurality of items 40 arranged in a plurality of rows. At this time, the areas for sorting the various kinds of items 40 can be located on one shelf, and the plurality of items 40 can be displayed in rows according to the types. At this time, the area may be a tray or a partition for sorting the items 40 on the shelf by category, kind, or trademark, and may mean a space classified by the partition 930 shown in Fig. 9 below.

실시예에 따라서, 아이템(40)은 도 4에 도시된 바와 같이 진열된 형태일 뿐 아니라, 적층된 형태일 수도 있다. Depending on the embodiment, item 40 may be in the form of a shelf as well as in a stacked form as shown in Fig.

또한, 특정 공간(1) 내 진열대의 각 선반과 복수의 아이템(40) 사이 즉, 복수의 아이템(40)이 진열된 영역의 하단에는 복수의 아이템(40)의 무게를 감지하는 로드셀 센서가 위치할 수 있다. 또한, 복수의 아이템(40)이 진열된 영역의 상단에는 복수의 아이템(40)의 이미지 정보, 이벤트가 발생된 아이템(41)의 이미지 정보 및 아이템(40)을 선택하는 사용자의 신체 일부에 대한 이미지 정보를 획득하는 카메라(20)가 위치할 수 있다. 또한, 진열대의 각 선반의 측면에는 복수의 열로 진열된 복수의 아이템(40)의 첫 행 위치를 감지하고, 이벤트가 발생된 아이템(41)의 거리를 측정하는 포토 센서가 위치할 수 있다.A load cell sensor for sensing the weight of the plurality of items 40 is positioned at the lower end of each shelf of the shelf in the specific space 1 and between the plurality of items 40, can do. At the top of the area where the plurality of items 40 are displayed, image information of the plurality of items 40, image information of the item 41 in which the event is generated, A camera 20 for acquiring image information can be located. In addition, a photosensor may be located on the side of each shelf of the shelf to sense the first row position of the plurality of items 40 arranged in rows and to measure the distance of the item 41 in which the event occurred.

이 때, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 로드셀 센서보다 포토 센서의 수를 더 많이 포함하는 것을 특징이라 할 수 있다. At this time, the complementary system 200 for the recognition malfunction according to the embodiment of the present invention is characterized in that it includes more photosensors than the load cell sensor.

도 5 및 도 6은 본 발명의 실시예에 따른 포토 센서 및 카메라를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다.5 and 6 illustrate an example of sensing an item using a photosensor and a camera according to an embodiment of the present invention.

보다 구체적으로, 도 5는 진열대에 진열된 아이템과, 센서 모듈 및 이미지 모듈의 배치 예를 설명하기 위해 도시한 것이고, 도 6은 이벤트가 발생된 아이템에 대한 센서 모듈의 감지 예를 설명하기 위해 도시한 것이다.5 is a view for explaining items arranged on a shelf and an example of arrangement of sensor modules and image modules. FIG. 6 is a view illustrating an example of sensing the sensor module for an item in which an event is generated. It is.

특정 공간 내에는 복수의 진열대가 위치하고, 진열대는 복수의 선반(510)으로 복층 형태로 구분될 수 있다. 이 때, 선반(510)에는 카테고리, 종류 또는 상표 별로 복수의 아이템(40)을 분류하여 진열하기 위한 영역이 존재하며, 영역은 트레이 또는 파티션일 수 있다. A plurality of shelves are located in a specific space, and the shelves can be divided into a plurality of shelves 510 in a multi-layered form. At this time, the shelf 510 has an area for displaying a plurality of items 40 sorted by category, type, or trademark, and the area may be a tray or a partition.

도 5를 참조하여 선반(510)을 예로 들면, 복수의 아이템(40)은 서로 다른 종류, 카테고리, 상표, 개수 및 크기에 따라 분류되어 복수의 열로 진열될 수 있으며, 복수의 아이템(40)의 상단에는 복수의 카메라(20)가 위치하고, 복수의 아이템(40)의 측면에는 행 위치의 포토 센서(10)가 위치할 수 있다. 이 때, 카메라(20) 및 포토 센서(10)의 위치 및 개수는 한정되지 않는다.5, for example, the plurality of items 40 may be classified according to different categories, categories, brands, numbers, and sizes, and may be displayed in a plurality of rows, A plurality of cameras 20 are positioned at the upper end, and a photosensor 10 at a row position may be positioned at a side of the plurality of items 40. At this time, the position and the number of the camera 20 and the photosensor 10 are not limited.

카메라(20)는 좌측 카메라(20L), 중심 카메라(20C), 우측 카메라(20R)를 포함할 수 있으며, 선반(510)에 진열된 복수의 아이템(40)에 대한 이미지 정보, 이벤트가 발생된 아이템(41)에 대한 이미지 정보 및 아이템(40)을 선택하는 사용자의 신체 일부에 대한 이미지 정보 중 적어도 어느 하나 이상을 획득할 수 있다.Camera 20 is image information for the left camera (20 L), center camera (20 C), a plurality of items (40) displayed on the right may include a camera (20 R), the shelf 510, the event At least one or more of image information about the generated item 41 and image information about the body part of the user who selects the item 40 can be obtained.

나아가, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 선반(510)의 측면에 위치하는 행 위치의 포토 센서(10)뿐 아니라, 복수의 아이템(40)의 열 위치를 감지하는 포토 센서(10)를 더 포함할 수 있으며, 행 위치의 포토 센서(10) 및 열 위치의 포토 센서(10)는 행 위치 및 열 위치에서 이벤트가 발생된 아이템(41)을 감지하며, 이벤트가 발생된 아이템(41)의 거리를 측정하고, 아이템을 선택하는 사용자의 신체 일부의 움직임을 감지할 수 있다.The supplemental system for recognition malfunction according to an embodiment of the present invention includes a photosensor 10 in a row position located on the side of the shelf 510, The photosensor 10 in the row position and the photosensor 10 in the row position sense the item 41 in which the event occurred in the row position and the column position, It is possible to measure the distance of the item 41 and sense the movement of a part of the user's body that selects the item.

도 6을 참조하면, 포토 센서(10)는 영역에 의해 분류되어 복수의 열로 진열된 복수의 아이템(40)의 행 위치 방향에 위치하는 것을 확인할 수 있다. 실시예에 따라서, 포토 센서(10)는 LED(Light Emitting Diode, 발광 다이오드) 또는 레이저와 같은 광을 조사하는 발광부 및 발광부와 소정 간격으로 이격되어 한 쌍을 이루는 수광부를 포함하며, 이벤트가 발생된 아이템(41)에 반사되어 수광부로 수신되는 신호를 이용하여 이벤트가 발생된 아이템(41) 및 해당 아이템을 선택하는 사용자의 신체 일부의 움직임을 감지하고, 이벤트가 발생된 아이템(41)의 거리를 측정할 수 있다. Referring to FIG. 6, it can be seen that the photosensor 10 is located in the row position direction of a plurality of items 40 sorted by a region and displayed in a plurality of rows. According to the embodiment, the photosensor 10 includes a light emitting unit that emits light such as an LED (light emitting diode) or a laser, and a light receiving unit that is spaced apart from the light emitting unit by a predetermined distance, A motion of the user's body part for selecting the item and the item 41 in which the event is generated is sensed using a signal reflected by the generated item 41 and received by the light receiving part, Distance can be measured.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 진열대의 복수의 선반 각각과, 선반(510)에 위치하는 포토 센서(10), 카메라(20) 및 로드셀 센서(미도시)에 서로 다른 식별 정보를 부가할 수 있으며, 포토 센서(10), 카메라(20) 및 로드셀 센서(미도시)로부터 수신되는 정보와 각각의 식별 정보에 기초하여 아이템(40)의 이벤트 및 변동 데이터(예를 들면, 해당 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 등)를 보다 빠르고 정확하게 인지할 수 있다.The system for recognizing malfunctions according to the embodiment of the present invention may be configured to identify different types of shelves in the shelf 510 and the photosensor 10, the camera 20, and the load cell sensor (not shown) Information on the event 40 and the variation data of the item 40 based on the information received from the photosensor 10, the camera 20 and the load cell sensor (not shown) and the respective identification information (for example, The shelf information, the position information, the weight information, and the image information of the item) can be recognized more quickly and accurately.

도 7a 내지 도 7c는 본 발명의 실시예에 따른 로드셀 센서를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다. 7A to 7C illustrate an example of sensing an item using a load cell sensor according to an embodiment of the present invention.

본 발명의 실시예에 따른 로드셀 센서(30)는 도 5에서 선반(510)과 복수의 아이템(40) 사이 즉, 복수의 아이템(40)의 하단에 위치할 수 있다. The load cell sensor 30 according to the embodiment of the present invention may be located between the shelf 510 and the plurality of items 40, that is, the lower ends of the plurality of items 40 in FIG.

로드셀 센서(30)는 무게 센서일 수 있으며, 복수의 아이템(40)의 무게를 감지할 수 있다. 예를 들면, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 복수의 아이템에 관련된 인벤토리 데이터를 저장하여 유지하고 있으며, 인벤토리 데이터에는 복수의 아이템(40) 각각에 대한 무게 정보를 포함할 수 있다. 이에 따라서, 로드셀 센서(30)는 실시간으로 복수의 아이템(40)에 대한 무게를 감지할 수 있으며, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 실시간으로 감지된 무게 정보와 인벤토리 데이터를 비교하여 아이템(40)의 개봉 여부 또는 정위치 여부를 판단할 수 있다. The load cell sensor 30 may be a weight sensor and may sense the weight of the plurality of items 40. [ For example, the supplementary system for recognition malfunctions according to the embodiment of the present invention stores and maintains inventory data related to a plurality of items, and the inventory data may include weight information for each of the plurality of items 40 have. Accordingly, the load cell sensor 30 can sense the weight of the plurality of items 40 in real time, and the supplementary system for the recognition malfunction according to the embodiment of the present invention can detect weight information and inventory data It is possible to determine whether the item 40 is opened or not.

본 발명의 실시예에 따른 로드셀 센서(30)는 도 7a에 도시된 바와 같이, 동일한 선반 상에 진열된 복수의 아이템(40) 하단에 위치할 수 있으며, 도 7b에 도시된 바와 같이, 카테고리, 종류 또는 상표에 따라 분류된 아이템(40) 하단에 위치할 수 있다. 또한, 도 7c를 참조하면, 로드셀 센서(30)는 진열된 복수의 아이템(40)의 각 열 하단에 위치할 수도 있다. 실시예에 따라서는 선반 상에 로드셀 센서(30)가 적층되고, 적층된 로드셀 센서(30) 상에 복수의 아이템(40)이 진열된 형태일 수도 있으므로, 로드셀 센서(30)의 개수 및 배열 형태는 이에 한정되지 않는다. The load cell sensor 30 according to the embodiment of the present invention may be located at the lower end of the plurality of items 40 displayed on the same shelf as shown in FIG. 7A, May be located at the bottom of item (40) classified by type or brand. Also, referring to FIG. 7C, the load cell sensor 30 may be positioned at the bottom of each row of the plurality of items 40 displayed. The load cell sensor 30 may be stacked on the shelf and the plurality of items 40 may be displayed on the stacked load cell sensor 30. Therefore, The present invention is not limited thereto.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 로드셀 센서(30)의 수를 포토 센서 및 카메라의 수 보다 적게 포함하는 것을 특징으로 한다. 이는 로드셀 센서(30)의 수를 줄이고, 카메라 및 포토 센서를 이용하여 보다 정확한 아이템의 이벤트를 인식할 수 있는 효과를 제공하고자 한다.The complementary system for the recognition malfunction according to the embodiment of the present invention is characterized in that the number of the load cell sensors 30 is less than the number of the photosensors and the cameras. This is to reduce the number of the load cell sensors 30 and to provide an effect of recognizing a more accurate item event by using a camera and a photo sensor.

도 8a 및 도 8b는 본 발명의 실시예에 따른 포토 센서의 적용 예를 도시한 것이다.8A and 8B illustrate application examples of a photosensor according to an embodiment of the present invention.

보다 상세하게는, 도 8a는 포토 센서를 포함하는 센서 보드(sensor board)의 예를 도시한 것이고, 도 8b는 센서 보드가 적용된 진열대의 예를 도시한 것이다.More specifically, FIG. 8A shows an example of a sensor board including a photosensor, and FIG. 8B shows an example of a shelf to which a sensor board is applied.

도 8a를 참조하면, 센서 보드(810)는 발광부(811) 및 수광부(812)를 포함하며, 본 발명에서는 발광부(811) 및 수광부(812)를 포함하여 포토 센서라 칭한다.8A, the sensor board 810 includes a light emitting unit 811 and a light receiving unit 812. In the present invention, the sensor board 810 includes a light emitting unit 811 and a light receiving unit 812 and is referred to as a photosensor.

발광부(811)는 LED(Light Emitting Diode, 발광 다이오드) 또는 레이저와 같은 광을 조사하고, 수광부(812)는 발광부(811)와 소정 간격으로 이격되어 한 쌍을 이루며, 발광부(811)에 의해 조사되어 아이템 또는 사용자의 신체 일부에 의해 반사되어 입사되는 광을 수신한다. 이 때, 발광부(811) 및 수광부(812)는 일정 간격에 따라 반복적으로 배치될 수 있으며, 상기 일정 간격은 진열대의 크기 및 종류 또는 아이템의 종류에 따라 다양하게 적용될 수 있다. 이 때, 발광부(811) 및 수광부(812)의 종류, 형태 및 개수는 한정되지 않으며, 센서 보드(810)의 재질, 기판 종류 및 형태 또한 한정되지 않는다.The light emitting unit 811 emits light such as an LED (Light Emitting Diode) or a laser. The light receiving unit 812 is spaced apart from the light emitting unit 811 by a predetermined distance. The light emitting unit 811, And receives the light reflected by the item or the body part of the user. At this time, the light emitting unit 811 and the light receiving unit 812 can be repeatedly arranged at regular intervals, and the predetermined interval can be variously applied according to the size and type of the display shelf or the type of the item. At this time, the type, shape, and number of the light emitting portion 811 and the light receiving portion 812 are not limited, and the material, substrate type, and shape of the sensor board 810 are not limited.

도 8b를 참조하면, 센서 보드(810)는 진열대의 사방에 부착될 수 있으며, 하네스(820)에 의해 연결 및 고정될 수 있다.Referring to FIG. 8B, the sensor board 810 may be attached to the four sides of the shelf, and may be connected and fixed by the harness 820.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 복수의 센서 보드(810) 각각에 포함된 포토 센서(811, 812)로부터 이벤트가 발생된 아이템을 감지하고, 이벤트가 발생된 아이템의 거리를 측정하며, 아이템을 선택하고자 하는 사용자의 신체 일부에 대한 움직임 및 거리를 감지할 수 있다. The supplementary system 200 for recognition malfunction according to the embodiment of the present invention detects an item in which an event is generated from the photosensors 811 and 812 included in each of the plurality of sensor boards 810, And can detect a movement and a distance to a part of a user who wants to select an item.

실시예에 따라서, 복수의 센서 보드(810) 각각은 서로 다른 식별 정보를 포함할 수 있으며, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템은 포토 센서(811, 812)로부터 수신되는 센싱 정보, 거리 정보 및 식별 정보에 기반하여 이벤트가 발생된 아이템에 대한 변동 데이터를 보다 정확히 감지할 수 있다. 상기 변동 데이터는 이벤트가 발생된 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 중 적어도 어느 하나 이상을 포함할 수 있다. According to the embodiment, each of the plurality of sensor boards 810 may include different identification information, and the supplementary system for the recognition malfunction according to the embodiment of the present invention may include sensing information received from the photosensors 811 and 812 , The distance data for the item in which the event is generated can be detected more accurately based on the distance information and the identification information. The variation data may include at least one of shelf information, position information, weight information, and image information of an item in which an event has occurred.

도 9는 본 발명의 실시예에 따른 로드셀 센서의 적용 예를 도시한 것이다.FIG. 9 shows an application example of a load cell sensor according to an embodiment of the present invention.

도 9를 참조하면, 진열대는 복수의 선반(910)으로 분류되며, 복수의 선반(910) 상에는 복수의 로드셀 센서(920)가 배치될 수 있다. 이 때, 각 선반(910)에는 아이템을 분류하기 위한 격벽(930)이 포함될 수 있으며, 이는 선반(910) 상에 복수 개로 형성될 수 있다. 실시예에 따라서, 로드셀 센서(920)는 선반(910) 상에 넓은 면적으로 배치될 수 있으며, 격벽(930)에 의해 분류된 영역 하단에 배치될 수도 있다. 즉, 도 4 내지 도 7c에 도시된 바와 같이, 복수의 열로 배열된 복수의 아이템은 격벽(930)에 의해 분류된 공간을 의미할 수 있으며, 본 발명이 적용되는 실시예에 따라 상기 영역은 포함되거나, 불 포함될 수도 있다.9, the shelves are classified into a plurality of shelves 910, and a plurality of load cell sensors 920 may be disposed on the plurality of shelves 910. At this time, each shelf 910 may include a partition wall 930 for sorting items, which may be formed on a plurality of shelves 910. Depending on the embodiment, the load cell sensor 920 may be disposed on the shelf 910 in a large area, and may be disposed at the bottom of the area classified by the partition wall 930. That is, as shown in FIGS. 4 to 7C, a plurality of items arranged in a plurality of columns may mean a space classified by the partition wall 930, and according to an embodiment to which the present invention is applied, Or may be omitted.

로드셀 센서(920)는 선반(910) 상에 진열된 복수의 아이템의 무게를 감지할 수 있으며, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 해당 선반(910)에 진열된 복수의 아이템의 개수에 따른 무게를 인식할 수 있다. 예를 들면, 선반(910) 아이템을 생수라 가정할 때, 사용자가 하나의 생수를 섭취한 후, 풋 다운하는 경우 또는, 사용자가 두 개 이상의 생수를 동시에 픽 업하는 경우, 로드셀 센서(920)는 해당 무게의 변화를 감지하고, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 무게의 변화에 기초하여 카메라 및 포토 센서로부터 수신되는 정보를 통해 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부를 판단하며, 사용자에게 판단 결과에 따른 결제를 청구하거나, 인벤토리 데이터를 업데이트할 수 있다. The load cell sensor 920 may sense the weight of a plurality of items displayed on the shelf 910 and the supplementary system 200 for the recognition malfunction according to the embodiment of the present invention may be installed on the shelf 910, The weight according to the number of the plurality of items can be recognized. For example, assuming that the shelf 910 item is living water, when the user takes a single bottled water and then puts it down, or when the user picks up two or more bottled water at the same time, The complementary system 200 for recognizing malfunctions according to an embodiment of the present invention detects whether the item is moved, opened or not through the information received from the camera and the photosensor based on the change in weight, Whether or not it is in a fixed position, whether or not it is returned, and can charge the user according to the judgment result, or update the inventory data.

로드셀 센서(920)는 사용자에 의한 아이템의 이동을 감지할 수 있다. 예를 들면, 사용자가 최상위 선반에 진열된 생수를 픽 업하여 최하위 선반에 풋 다운하는 경우, 최상위 선반의 로드셀 센서(920)는 무게의 감소를 감지하고, 최하위 선반의 로드셀 센서(920)는 무게의 증가를 감지할 수 있다. 다만, 이러한 경우, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 무게 정보 외에, 카메라 및 포토 센서로부터 수신되는 정보를 추가로 인식하여 아이템의 움직임 여부, 정위치 여부 또는 반환 여부를 판단하고, 사용자가 아이템을 소지하고 있지 않은 것으로 판단하여 구매행위로 처리하지 않을 수 있다. The load cell sensor 920 may sense movement of the item by the user. For example, when the user picks up the bottled water displayed on the uppermost shelf and puts down on the lowest shelf, the load cell sensor 920 of the uppermost shelf senses a decrease in weight, and the load cell sensor 920 of the lowest shelf detects the weight Can be detected. In this case, the supplementary system 200 for recognition malfunction according to the embodiment of the present invention further recognizes the information received from the camera and the photo sensor in addition to the weight information, and determines whether the item is moved, It is determined that the user does not possess the item, and it is not processed as the purchase behavior.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 로드셀 센서(920)로부터 수신되는 무게 정보 외에 카메라 및 포토 센서를 이용하여 아이템의 이벤트 여부를 판단하고, 아이템이 정위치에 진열되지 않거나, 무게에 변동이 있을 경우, 특정 공간을 관리하는 관리자 또는 서버로 해당 아이템의 정보를 전송할 수 있다. The supplementary system 200 for recognition malfunction according to the embodiment of the present invention determines whether an item is an event using a camera and a photo sensor in addition to the weight information received from the load cell sensor 920, Or if there is a change in the weight, the information of the item can be transmitted to the manager or the server managing the specific space.

도 10은 본 발명의 실시예에 따른 카메라의 적용 예를 도시한 것이다.FIG. 10 shows an application example of a camera according to an embodiment of the present invention.

도 10을 참조하면, 진열대의 벽면에 복수의 카메라(1010)가 배치될 수 있다. 실시예에 따라서, 카메라(1010)는 마이크로소프트(Microsoft)의 720P급 PC CAM일 수 있다. Referring to FIG. 10, a plurality of cameras 1010 may be disposed on a wall surface of a shelf. According to an embodiment, the camera 1010 may be a Microsoft 720P PC CAM.

카메라(1010)는 오프(off) 또는 대기모드(sleep mode) 상태인 것을 기본으로 하며, 포토 센서 및 로드셀 센서로부터 수신되는 센싱 신호 또는 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)의 신호에 기초하여 활성화(wake up)되어 해당 위치에서의 이미지 정보를 획득할 수 있다. The camera 1010 is based on the off or standby mode and may include a sensing signal received from the photosensor and load cell sensors or a complementary system 200 for recognition malfunctions according to embodiments of the present invention. And the image information at the corresponding position can be obtained.

본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 카메라(1010) 사용을 최소화하고, 센서 모듈(포토 센서 및 로드셀 센서)을 주로 이용함으로써, 카메라의 이미지 프로세싱 타임(Image Processing Time)을 최소화하는 효과를 제공한다.The supplementary system 200 for recognition malfunctions according to the embodiment of the present invention minimizes the use of the camera 1010 and mainly uses the sensor module (photosensor and load cell sensor) To minimize the effect of the system.

보다 상세하게는, 본 발명의 실시예에 따른 인식 오작동에 대한 보완 시스템(200)은 포토 센서 및 로드셀 센서를 이용하여 사용자의 신체 일부에 대한 움직임 및 이벤트가 발생된 아이템을 감지하고, 이벤트가 발생된 해당 위치에서의 카메라(1010)를 활성화하여 사용자의 신체 일부에 대한 움직임 및 이벤트가 발생된 아이템에 대한 이미지 정보를 획득한다. 즉, 본 발명의 실시예에 따른 카메라(1010)는 아이템을 선택하는 사용자의 신체 일부에 대한 움직임 및 아이템의 이벤트가 발생되는 경우에 활성화되는 것을 특징으로 하여 이미지 처리의 속도를 향상시킬 수 있고, 처리 용량을 효율적으로 관리할 수 있다. More specifically, the supplementary system 200 for recognizing malfunctions according to the embodiment of the present invention detects movement and events of a user's body part using a photosensor and a load cell sensor, And activates the camera 1010 at the corresponding position to acquire image information about the movement of the user's body and the item where the event occurred. That is, the camera 1010 according to the embodiment of the present invention is activated when motion of a user's body part and selection of an item are selected and an event of an item is generated, thereby improving the speed of image processing, The processing capacity can be efficiently managed.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

10: 포토 센서
20, 1010: 이미지 모듈(또는 카메라)
30, 920: 로드셀 센서
40: 아이템
41: 이벤트가 발생된 아이템
510, 910: 선반
810: 센서 보드
811: 발광부
812: 수광부
820: 하네스
930: 격벽10: Photo sensor
20, 1010: Image module (or camera)
30, 920: Load cell sensor
40: Items
41: Item where the event occurred
510, 910: Shelf
810: Sensor board
811:
812:
820: Harness
930:

Claims (18)

진열대에 진열된 복수의 아이템을 인식하는 센서 모듈 및 이미지 모듈 중 적어도 어느 하나 이상의 오작동을 감지하는 단계;
상기 센서 모듈 및 상기 이미지 모듈 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 상기 복수의 아이템에 대한 이벤트를 인식하는 단계; 및
상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 단계
를 포함하는 인식 오작동에 대한 보완 방법. Detecting a malfunction of at least one of a sensor module and an image module recognizing a plurality of items displayed on a shelf;
Recognizing an event for the plurality of items by using a module other than the module in which the malfunction occurred among the sensor module and the image module; And
Managing the item by comparing the variation data generated by the event with the inventory data related to the plurality of items;
A method of complementing a recognition malfunction. 제1항에 있어서,
상기 센서 모듈은
복수의 행들 및 복수의 열들에 의해 구획되는 상기 진열대에 복수의 열로 진열된 상기 복수의 아이템 각각에 대한 행 위치를 감지하는 포토 센서 및 상기 복수의 아이템 하단에 위치하여 무게를 감지하는 로드셀 센서를 포함하는 인식 오작동에 대한 보완 방법.The method according to claim 1,
The sensor module
A photosensor for sensing a row position for each of the plurality of items displayed on the shelf, the plurality of rows being divided by a plurality of rows and a plurality of columns, and a load cell sensor positioned at a lower end of the plurality of items for sensing weight A method of complementing the recognition malfunction. 제2항에 있어서,
상기 이미지 모듈은
카메라인 것을 특징으로 하며,
상기 카메라는 상기 진열대에 진열된 상기 복수의 아이템 중 진열된 아이템의 인벤토리 데이터, 이벤트가 발생된 아이템 및 아이템에 접근하는 사용자의 신체 일부에 대한 상기 이미지 정보를 획득하는 인식 오작동에 대한 보완 방법.3. The method of claim 2,
The image module
And a camera,
Wherein the camera obtains the image information of the body part of the user accessing the item and the inventory data of the displayed items among the plurality of items displayed on the shelf, the item where the event occurred, and the item. 제3항에 있어서,
상기 아이템을 관리하는 단계는
상기 이벤트의 인식과 상기 센서 모듈 및 상기 이미지 모듈 기반의 인식 시스템을 결합하여 상기 인벤토리 데이터를 업데이트하는 인식 오작동에 대한 보완 방법.The method of claim 3,
The step of managing the item
Wherein the sensor module and the image module based recognition system are combined to update the inventory data. 제1항에 있어서,
상기 오작동을 감지하는 단계는
상기 센서 모듈 및 상기 이미지 모듈 중 적어도 어느 하나 이상의 모듈에 대한 오작동을 감지하고, 상기 오작동이 발생한 모듈이 위치하는 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 중 적어도 어느 하나 이상을 획득하는 인식 오작동에 대한 보완 방법.The method according to claim 1,
The step of detecting the malfunction
Detecting a malfunction of at least one of the sensor module and the image module and obtaining at least one of shelf information, position information, weight information and image information of the item in which the malfunctioning module is located, Supplementary method for malfunction. 제1항에 있어서,
상기 복수의 아이템에 대한 이벤트를 인식하는 단계는
포토 센서가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식하는 것을 특징으로 하는 인식 오작동에 대한 보완 방법.The method according to claim 1,
The step of recognizing an event for the plurality of items
When the photo sensor is a module in which the malfunction has occurred, the load cell sensor is used to recognize an item in which an event of pick-up or put-down according to the user's selection is generated, And re-recognizing an event of the item that is displayed on the display shelf. 제1항에 있어서,
상기 복수의 아이템에 대한 이벤트를 인식하는 단계는
카메라가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하며, 포토 센서를 이용하여 상기 진열대에서 변동되는 아이템을 재인식하는 것을 특징으로 하는 인식 오작동에 대한 보완 방법. The method according to claim 1,
The step of recognizing an event for the plurality of items
When the camera is a module in which the malfunction has occurred, the load cell sensor is used to recognize an item in which an event of pick-up or put-down according to the user's selection is generated, And recognizing an item that is changed in the second step. 제1항에 있어서,
상기 복수의 아이템에 대한 이벤트를 인식하는 단계는
로드셀 센서가 상기 오작동이 발생한 모듈인 경우, 포토 센서 및 상기 인벤토리 데이터를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식하는 것을 특징으로 하는 인식 오작동에 대한 보완 방법.The method according to claim 1,
The step of recognizing an event for the plurality of items
When the load cell sensor is a module in which the malfunction has occurred, the image sensor recognizes an item in which a pick up or put down event is generated according to a user's selection using the photo sensor and the inventory data, Wherein the module re-recognizes the event of the item that is displayed on the display panel. 제1항에 있어서,
상기 아이템을 관리하는 단계는
상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하는 인식 오작동에 대한 보완 방법.The method according to claim 1,
The step of managing the item
The inventory data including at least one of a display position, a brand, a category, a size, a weight, a number, and a price of the plurality of items is compared with the fluctuation data generated by the event, A method of supplementing the recognition malfunction that determines whether or not it is opened, whether it is in the correct position, or whether it is returned. 제9항에 있어서,
상기 아이템을 관리하는 단계는
상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트하는 인식 오작동에 대한 보완 방법.10. The method of claim 9,
The step of managing the item
And updating the inventory data based on a result of determination based on a comparison between the inventory data and the variation data. 제1항 내지 제10항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램. 11. A computer program stored in a computer-readable medium for performing the method of any one of claims 1 to 10. 진열대에 진열된 복수의 아이템을 인식하는 센서 모듈 및 이미지 모듈 중 적어도 어느 하나 이상의 오작동을 감지하는 감지부;
상기 센서 모듈 및 상기 이미지 모듈 중 오작동이 발생한 모듈을 제외하고, 그 외의 모듈을 이용하여 상기 복수의 아이템에 대한 이벤트를 인식하는 이벤트 인식부; 및
상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 인벤토리 관리부
를 포함하는 인식 오작동에 대한 보완 시스템. A sensing unit for sensing a malfunction of at least one of a sensor module and an image module for recognizing a plurality of items displayed on a shelf;
An event recognizing unit for recognizing an event for the plurality of items by using other modules except for the sensor module and the image module having a malfunction; And
An inventory management unit for managing items by comparing the variable data generated by the event with the inventory data related to the plurality of items,
A supplemental system for a recognition malfunction comprising: 제12항에 있어서,
상기 감지부는
상기 센서 모듈 및 상기 이미지 모듈 중 적어도 어느 하나 이상의 모듈에 대한 오작동을 감지하고, 상기 오작동이 발생한 모듈이 위치하는 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 중 적어도 어느 하나 이상을 획득하는 인식 오작동에 대한 보완 시스템.13. The method of claim 12,
The sensing unit
Detecting a malfunction of at least one of the sensor module and the image module and obtaining at least one of shelf information, position information, weight information and image information of the item in which the malfunctioning module is located, Supplementary system for malfunction. 제12항에 있어서,
상기 이벤트 인식부는
포토 센서가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식하는 것을 특징으로 하는 인식 오작동에 대한 보완 시스템.13. The method of claim 12,
The event recognition unit
When the photo sensor is a module in which the malfunction has occurred, the load cell sensor is used to recognize an item in which an event of pick-up or put-down according to the user's selection is generated, And re-recognizing an event of an item which is changed in the shelf. 제12항에 있어서,
상기 이벤트 인식부는
카메라가 상기 오작동이 발생한 모듈인 경우, 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하며, 포토 센서를 이용하여 상기 진열대에서 변동되는 아이템을 재인식하는 것을 특징으로 하는 인식 오작동에 대한 보완 시스템.13. The method of claim 12,
The event recognition unit
When the camera is a module in which the malfunction has occurred, the load cell sensor is used to recognize an item in which an event of pick-up or put-down according to the user's selection is generated, And recognizing the item which is changed in the second step. 제12항에 있어서,
상기 이벤트 인식부는
로드셀 센서가 상기 오작동이 발생한 모듈인 경우, 포토 센서 및 상기 인벤토리 데이터를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 인식하고, 상기 이미지 모듈을 이용하여 상기 진열대에서 변동되는 아이템을 이벤트를 재인식하는 것을 특징으로 하는 인식 오작동에 대한 보완 시스템.13. The method of claim 12,
The event recognition unit
When the load cell sensor is a module in which the malfunction has occurred, the image sensor recognizes an item in which a pick up or put down event is generated according to a user's selection using the photo sensor and the inventory data, Wherein the module re-recognizes an event of an item that is changed on the display shelf. 제12항에 있어서,
상기 인벤토리 관리부는
상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하는 인식 오작동에 대한 보완 시스템.13. The method of claim 12,
The inventory management unit
The inventory data including at least one of a display position, a brand, a category, a size, a weight, a number, and a price of the plurality of items is compared with the fluctuation data generated by the event, A complementary system to the recognition malfunction that determines whether or not it is opened, whether it is in the correct position, or whether it is returned. 제17항에 있어서,
상기 인벤토리 관리부는
상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트하는 인식 오작동에 대한 보완 시스템.
18. The method of claim 17,
The inventory management unit
And a system for updating the inventory data based on a result of comparison between the inventory data and the variation data.
KR1020180003098A 2018-01-10 2018-01-10 Complement method for recognition malfunction in unmanned store and the system thereof KR20190085231A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180003098A KR20190085231A (en) 2018-01-10 2018-01-10 Complement method for recognition malfunction in unmanned store and the system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180003098A KR20190085231A (en) 2018-01-10 2018-01-10 Complement method for recognition malfunction in unmanned store and the system thereof

Publications (1)

Publication Number Publication Date
KR20190085231A true KR20190085231A (en) 2019-07-18

Family

ID=67469458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180003098A KR20190085231A (en) 2018-01-10 2018-01-10 Complement method for recognition malfunction in unmanned store and the system thereof

Country Status (1)

Country Link
KR (1) KR20190085231A (en)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
미국공개특허 US2015/0012396(2015.01.08 공개), "Transitioning items from a materials handling facility"

Similar Documents

Publication Publication Date Title
US10882692B1 (en) Item replacement assistance
US11526840B2 (en) Detecting inventory changes
US10769488B1 (en) Item variation management
US11823094B1 (en) Disambiguating between users
US20220108270A1 (en) Transitioning items from a materials handling facility
KR20190093733A (en) Items recognition system in unmanned store and the method thereof
EP3454698B1 (en) System and method for computer vision driven applications within an environment
KR102522774B1 (en) Purchasing­transaction recognition system and method thereof
US11315073B1 (en) Event aspect determination
US10163149B1 (en) Providing item pick and place information to a user
US11475503B1 (en) Materials handling facility to present predicted items to a user
KR102637070B1 (en) Goods sales system using sensors and method thereof
US11288539B1 (en) Tiered processing for item identification
US10713614B1 (en) Weight and vision based item tracking
US10422852B1 (en) System for determining position of an object
KR20190085231A (en) Complement method for recognition malfunction in unmanned store and the system thereof
US11030541B1 (en) Proactive resolution of event information
KR20210041795A (en) Operation method of unmanned convenience store using unmanned kiosk based on big data and internet of things
US20240119409A1 (en) Clustering of items with heterogeneous data points
US11556891B2 (en) Operations system for combining independent product monitoring systems to automatically manage product inventory and product pricing and automate store processes

Legal Events

Date Code Title Description
E902 Notification of reason for refusal