KR102606379B1

KR102606379B1 - Automatic payment method and online image recognition system for non-contact vending machines

Info

Publication number: KR102606379B1
Application number: KR1020210074132A
Authority: KR
Inventors: 이필규
Original assignee: 인하대학교 산학협력단
Priority date: 2021-06-08
Filing date: 2021-06-08
Publication date: 2023-11-24
Also published as: KR20220165468A

Abstract

비접촉 자판기를 위한 자동 결제방법 및 온라인 영상인식 시스템이 개시된다. 일 실시예에 따른 영상인식 시스템에 의해 수행되는 자동 결제 방법은, 전자 기기에서 촬영된 자판기 내의 구매 대상 상품을 포함하는 영상 정보를 획득하는 단계; 온라인 영상 인식을 위한 학습 모델을 이용하여 상기 획득된 영상 정보에 포함된 구매 대상 상품을 검출하는 단계; 상기 검출된 구매 대상 상품에 대한 메타정보를 상기 전자 기기에게 제공하는 단계; 상기 제공된 메타정보를 통해 상기 검출된 구매 대상 상품에 대한 사용자의 결제 요청을 수신하는 단계; 상기 수신된 결제 요청에 기초하여 상기 구매 대상 상품이 상기 사용자에게 전달되도록 상기 구매 대상 상품을 포함하고 있는 자판기를 제어하는 단계; 및 상기 수신된 결제 요청에 따라 결제가 승인된 구매 대상 상품이 상기 자판기의 투출구를 통해서 꺼내질 때에 영상 센서, 적외선 센서, 초음파센서, RFID, 무게센서 또는 감지센서 중에 적어도 하나 이상의 센서를 이용하여 상기 자판기에서 나가는 상품의 종류 및 개수를 카운트해서 자판기의 재고량 파악의 정확성을 보장하는 단계를 포함할 수 있다. An automatic payment method and online image recognition system for non-contact vending machines are disclosed. An automatic payment method performed by an image recognition system according to an embodiment includes the steps of acquiring image information including a product to be purchased in a vending machine captured by an electronic device; Detecting a purchase target product included in the acquired image information using a learning model for online image recognition; providing meta information about the detected product to be purchased to the electronic device; Receiving a user's payment request for the detected product to be purchased through the provided meta information; Controlling a vending machine containing the product to be purchased so that the product to be purchased is delivered to the user based on the received payment request; And when the purchase product for which payment has been approved according to the received payment request is taken out through the outlet of the vending machine, using at least one sensor among an image sensor, an infrared sensor, an ultrasonic sensor, an RFID, a weight sensor, or a detection sensor. It may include a step of ensuring the accuracy of determining the inventory amount of the vending machine by counting the type and number of products leaving the vending machine.

Description

Automatic payment method and online image recognition system for non-contact vending machines {AUTOMATIC PAYMENT METHOD AND ONLINE IMAGE RECOGNITION SYSTEM FOR NON-CONTACT VENDING MACHINES}

아래의 설명은 전자 기기의 영상 정보를 이용한 자판기 자동구매 대상 방법 및 이를 위한 온라인 학습 기반 영상 인식 시스템에 관한 것이다.The explanation below relates to a vending machine automatic purchase target method using image information from electronic devices and an online learning-based image recognition system for this purpose.

코로나 19 사태로 언택트(Untact) 서비스가 새로운 서비스 형태로 부각되고 있다. 비접촉 기기의 수요가 매우 빠르게 증가하고 있다. 기존에 많이 보급되고 있는 자판기 또는 셀프결제 키오스크는 현금, 카드, 모바일 앱 등의 결제방식을 제공하지만 물리적인 버튼이나 스크린 터치가 요구되어서 비접촉 언택트 서비스가 제공되지 못하고 있다. 또한, 사용절차가 여러 단계로 구성되어 있어서 사용자, 특히, 노약자가 사용하기에는 많은 어려운 점이 있다. 다양한 자판기 설치환경에서 완전 비접촉 자판기를 구현하기 위한 기존의 자판기의 이원화되어 있는 상품선택과 구매 대상방식의 번거로움을 해결하고 비접촉으로 사용자가 이동 단말기로 상품을 선택하고 구매 대상을 진행할 수 있도록 온라인 영상인식 기반의 자동결제 방법을 필요로 한다. Due to the COVID-19 incident, untact services are emerging as a new service type. The demand for non-contact devices is growing very rapidly. Existing widely distributed vending machines or self-payment kiosks provide payment methods such as cash, cards, and mobile apps, but they require physical buttons or screen touches, so non-contact and untact services cannot be provided. In addition, since the usage procedure consists of several steps, there are many difficulties for users, especially the elderly and infirm, to use it. In order to implement a completely non-contact vending machine in various vending machine installation environments, the hassle of dual product selection and purchase method of existing vending machines is solved, and online video is used to enable users to select products and purchase objects through a mobile terminal without contact. A recognition-based automatic payment method is needed.

딥러닝의 출현으로 시각인지 기술이 획기적으로 발전하였으나, 현재 보편적으로 사용되는 컴퓨터 비젼 기술은 대부분 오프라인 방식으로 기존에 학습된 환경에 존재하지 않는 새로운 상품이 등장하는 경우 인식성능이 급격히 떨어져서 이동 단말기를 활용한 비접촉 자판기 상용화에 큰 장애요소이다. 기존 오프라인 학습기반 영상인식 방식에서는 환경 변화를 수용하기 위해 고비용의 잦은 인식모델 업데이트가 필요하여 비용과 시간 면을 고려할 때 오프라인 학습 기반 영상인식 방식의 상용화는 현실적으로 거의 불가능하다.Although visual recognition technology has advanced dramatically with the advent of deep learning, most of the computer vision technologies currently commonly used are offline, and when a new product that does not exist in the previously learned environment appears, recognition performance drops sharply, making it necessary to use mobile terminals. This is a major obstacle to commercializing non-contact vending machines. Existing offline learning-based image recognition methods require high-cost and frequent recognition model updates to accommodate environmental changes, so commercialization of offline learning-based image recognition methods is practically impossible considering cost and time.

사용 환경변화에 취약한 오프라인 학습기반 영상인식 기술 적용의 한계를 극복하기 위해 비접촉 자판기용 온라인 학습기반 영상인식 방법 및 시스템을 제공하기로 한다. In order to overcome the limitations of applying offline learning-based image recognition technology, which is vulnerable to changes in the usage environment, we will provide an online learning-based image recognition method and system for non-contact vending machines.

영상 인식 기반의 비접촉 자판기용 온라인 자동 결제 방법 및 시스템을 제공할 수 있다. An online automatic payment method and system for non-contact vending machines based on image recognition can be provided.

자동 결제 시스템에 의해 수행되는 영상 인식 기반의 자동 결제 방법은, 전자 기기에서 촬영된 자판기 내의 구매 대상 상품을 포함하는 영상 정보를 획득하는 단계; 온라인 영상 인식을 위한 학습 모델을 이용하여 상기 획득된 영상 정보에 포함된 구매 대상 상품을 검출하는 단계; 상기 검출된 구매 대상 상품에 대한 메타정보를 상기 전자 기기에게 제공하는 단계; 상기 제공된 메타정보를 통해 상기 검출된 구매 대상 상품에 대한 사용자의 결제 요청을 수신하는 단계; 및 상기 수신된 결제 요청에 기초하여 상기 구매 대상 상품이 상기 사용자에게 전달되도록 상기 구매 대상 상품을 포함하고 있는 자판기를 제어하는 단계를 포함할 수 있다. An automatic payment method based on image recognition performed by an automatic payment system includes the steps of acquiring image information including a product to be purchased in a vending machine captured by an electronic device; Detecting a purchase target product included in the acquired image information using a learning model for online image recognition; providing meta information about the detected product to be purchased to the electronic device; Receiving a user's payment request for the detected product to be purchased through the provided meta information; and controlling a vending machine containing the product to be purchased so that the product to be purchased is delivered to the user based on the received payment request.

상기 검출하는 단계는, 상기 획득된 영상 정보를 자동으로 라벨링하고, 상기 라벨링된 영상 정보를 훈련 데이터 및 테스트 데이터로 구분하고, 상기 구분된 훈련 데이터로 사용하여 준지도 학습을 수행하여 온라인 영상 인식을 위한 학습 모델을 생성하고, 상기 테스트 데이터를 이용하여 상기 생성된 온라인 영상 인식을 위한 학습 모델을 검증하는 단계를 포함할 수 있다. The detecting step includes automatically labeling the acquired image information, dividing the labeled image information into training data and test data, and performing semi-supervised learning using the divided training data to perform online image recognition. It may include generating a learning model for online image recognition and verifying the generated learning model for online image recognition using the test data.

상기 검출하는 단계는, 상기 검출된 구매 대상 상품의 검출인식 신뢰도를 산출하는 단계를 포함하고, 상기 제공하는 단계는, 상기 산출된 검출인식 신뢰도가 임계치 이상인 경우, 상기 전자 기기에 상기 구매 대상 상품의 메타정보를 제공하고, 상기 제공된 구매 대상 상품의 메타정보가 상기 전자 기기에 디스플레이되는 단계를 포함할 수 있다. The detecting step includes calculating the detection recognition reliability of the detected product to be purchased, and the providing step includes, when the calculated detection recognition reliability is greater than a threshold, the electronic device to determine the reliability of the detection recognition of the product to be purchased. It may include providing meta information and displaying the provided meta information of the product to be purchased on the electronic device.

상기 검출하는 단계는, 기 저장된 상품 정보를 이용하여 상기 검출된 구매 대상 상품의 상품명, 가격정보를 매칭하여 메타정보를 생성하는 단계를 포함할 수 있다. The detecting step may include generating meta information by matching the product name and price information of the detected product to be purchased using pre-stored product information.

상기 검출하는 단계는, 전자 기기가 상기 자판기에 접근됨에 따라 상기 전자 기기를 통해 사용자 ID가 활성화되고, 상기 활성화된 ID가 상기 전자 기기에 설치된 어플리케이션에 기록됨에 따라 상기 활성화된 ID와 대응되는 고유식별자를 인식하는 단계를 포함할 수 있다. In the detecting step, as the electronic device approaches the vending machine, the user ID is activated through the electronic device, and as the activated ID is recorded in the application installed on the electronic device, a unique identifier corresponding to the activated ID is generated. It may include a step of recognizing.

상기 제공하는 단계는, 상기 검출된 구매 대상 상품의 메타정보가 인지되도록 상기 전자 기기에게 음성 데이터, 텍스트 데이터, 알림음, 진동 신호, LED 불빛 중 어느 하나를 이용하여 상기 메타정보와 관련된 발생 정보를 통보하는 단계를 포함할 수 있다. The step of providing generates information related to the meta information to the electronic device using any one of voice data, text data, notification sounds, vibration signals, and LED lights so that the detected meta information of the product to be purchased is recognized. It may include a notification step.

상기 제공하는 단계는, 상기 산출된 검출인식 신뢰도가 임계치보다 낮을 경우, 상기 자판기와 전자 기기의 위치에 따라 설정된 인식 범위에 기초하여 상기 전자 기기의 위치가 이동되도록 유도하는 단계를 포함할 수 있다. The providing step may include inducing the location of the electronic device to be moved based on a recognition range set according to the location of the vending machine and the electronic device when the calculated detection recognition reliability is lower than the threshold.

상기 제공하는 단계는, 상기 전자 기기의 이동된 위치에서 상기 전자 기기가 상기 자판기에 재인식되고, 상기 재인식을 통해 상기 전자 기기로부터 구매 대상 상품을 재촬영됨에 따라 영상 정보를 획득하는 단계를 포함할 수 있다. The providing step may include the step of re-recognizing the electronic device in the vending machine at the moved location of the electronic device, and obtaining image information as the product to be purchased is re-photographed from the electronic device through the re-recognition. there is.

상기 제공하는 단계는, 상기 산출된 검출인식 신뢰도가 임계치보다 높고, 사용자로부터 구매 대상 상품에 대한 구매 의사가 판단됨에 따라 상기 구매 대상 상품에 대한 메타정보를 제공하는 단계를 포함할 수 있다. The providing step may include providing meta information about the product to be purchased when the calculated detection recognition reliability is higher than a threshold and the user's intention to purchase the product to be purchased is determined.

상기 제어하는 단계는, 상기 수신된 결제 요청에 대응되는 구매 대상 상품의 결제를 승인하고, 상기 자판기에서 상기 결제가 승인된 구매 대상 상품을 떨어뜨려 거래를 성사시키는 단계를 포함할 수 있다. The controlling step may include approving payment for the product to be purchased corresponding to the received payment request, and completing the transaction by dropping the product to be purchased for which payment has been approved from the vending machine.

상기 제어하는 단계는, 상기 수신된 결제 요청에 따라 결제가 승인된 구매 대상 상품이 상기 자판기의 투출구를 통해서 꺼내질 때에 영상 센서, 적외선 센서, 초음파 센서, RFID, 터치센서 또는 무게센서를 포함하는 센서들 중에 적어도 하나 이상의 센서를 이용하여 상기 자판기에서 나가는 상품의 개수를 카운트해서 자판기의 재고량을 파악하는 단계를 포함할 수 있다.The controlling step includes an image sensor, an infrared sensor, an ultrasonic sensor, an RFID, a touch sensor, or a weight sensor when the purchase target product for which payment has been approved according to the received payment request is taken out through the outlet of the vending machine. It may include the step of determining the inventory amount of the vending machine by counting the number of products leaving the vending machine using at least one of the sensors.

상기 자판기는 키오스크이고, 상기 제어하는 단계는, 키오스크에 디스플레이 된 구매 대상 상품에 대한 자동 결제가 실행된 후 키오스크와 연동된 POS에 전달되어서 주문 내용에 따라서 상품, 커피, 음식과 관련 서비스를 제공하는 단계를 포함할 수 있다. The vending machine is a kiosk, and the controlling step is to execute automatic payment for the product to be purchased displayed on the kiosk and then transfer it to the POS linked to the kiosk to provide products, coffee, food, and related services according to the order contents. May include steps.

자동 결제 시스템은, 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 전자 기기에서 촬영된 자판기 내의 구매 대상 상품을 포함하는 영상 정보를 획득하고, 온라인 영상 인식을 위한 학습 모델을 이용하여 상기 획득된 영상 정보에 포함된 구매 대상 상품을 검출하고, 상기 검출된 구매 대상 상품에 대한 메타정보를 상기 전자 기기에게 제공하고, 상기 제공된 메타정보를 통해 상기 검출된 구매 대상 상품에 대한 사용자의 결제 요청을 수신하고, 상기 수신된 결제 요청에 기초하여 상기 구매 대상 상품이 상기 사용자에게 전달되도록 상기 구매 대상 상품을 포함하고 있는 자판기를 제어할 수 있다. The automatic payment system includes at least one processor configured to execute computer-readable instructions included in a memory, wherein the at least one processor acquires image information including a product to be purchased in a vending machine captured by an electronic device, and , detects the product to be purchased included in the acquired image information using a learning model for online image recognition, provides meta information about the detected product to be purchased to the electronic device, and provides meta information about the detected product to the electronic device through the provided meta information. The user's payment request for the detected purchase target product may be received, and the vending machine containing the purchase target product may be controlled to deliver the purchase target product to the user based on the received payment request.

학습이 되지 않은 새로운 환경에서 상품 카테고리를 검출하는 능력이 급격히 떨어져 변화의 다양성이 존재하는 실제 환경에서 자판기 진열대 안의 상품을 검출인식 하기에는 한계가 있었고, 학습한 데이터의 종류에 따라 미리 설정된 상황에서의 인식이 가능해 범용적인 사용에 큰 어려움이 있었으나, 본 발명에서는 온라인 딥러닝 기술로 실용성이 있는 모바일 영상인식 기술을 확보해서 비접촉 자판기 기술의 본격적인 상용화를 추진할 수 있을 것으로 기대된다.The ability to detect product categories in a new environment without learning was drastically reduced, so there was a limit to detecting and recognizing products on vending machine shelves in a real environment where diversity of changes exists, and recognition in preset situations depending on the type of data learned. Although this has caused great difficulties in general-purpose use, the present invention is expected to secure practical mobile image recognition technology using online deep learning technology and promote full-scale commercialization of non-contact vending machine technology.

사용자가 소지하는 전자 기기를 통해 상품 검출을 수행하기 때문에, 자판기에 현금입력기, 카드입력기 등을 별도로 설치할 필요가 없어 자판기 시스템 설치비 및 유지비를 획기적으로 줄일 수 있다. Since product detection is performed through the user's electronic device, there is no need to separately install a cash input machine or card input machine, etc. in the vending machine, which can dramatically reduce the installation and maintenance costs of the vending machine system.

또한, 모바일 단말기를 통한 상품의 선택 및 결제를 일률적으로 수행할 수 있기 때문에 종래의 방법보다 결제지연 시간을 획기적으로 줄일 수 있고, 지각 장애인이나 지각능력이 떨어지는 고령자 등 사회약자에 용이한 상품 선택의 도구로 제공될 수 있다.In addition, because product selection and payment can be performed uniformly through a mobile terminal, payment delay time can be dramatically reduced compared to conventional methods, and product selection is easy for socially disadvantaged people such as people with cognitive disabilities or elderly people with poor perception skills. It can be provided as a tool.

도 1은 일 실시예에 따른 종래의 자판기를 사용하는 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 자동 결제 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 자동 결제 시스템의 구성을 설명하기 위한 블록도이다.
도 4는 일 실시예에 따른 자동 결제 시스템에서 영상 인식 기반의 자동 결제 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 자동 결제 시스템에서 영상 인식 기반의 자동 결제 방법을 설명하기 위한 또 다른 흐름도이다.1 is a diagram for explaining an operation using a conventional vending machine according to an embodiment.
Figure 2 is a diagram for explaining the general operation of an automatic payment system according to an embodiment.
Figure 3 is a block diagram for explaining the configuration of an automatic payment system according to an embodiment.
Figure 4 is a flowchart illustrating an image recognition-based automatic payment method in an automatic payment system according to an embodiment.
Figure 5 is another flowchart for explaining an image recognition-based automatic payment method in an automatic payment system according to an embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

기존의 딥러닝 학습은 오프라인 구조로 증강학습 기능이 없어서 변화한 환경에 대응하기가 어려운데 반하여 온라인 영상인식 기술의 특징은 환경변화로 인해 나타나는 새로운 클래스 및 데이터 분포로 인한 자판기 진열장내 상품의 오인식을 신속하게 해결하기 위하여 온라인 학습으로 영상인식 방법을 제공할 수 있다. 실시예에서는 구매 대상 상품의 인식 신뢰도를 보장하기 위한 소량의 온라인 학습 데이터로 단시간에 성능이 우월한 영상인식 모델을 생성하기 위해서, 온라인 학습 데이터 자동 생성과 학습 기반의 온라인 영상인식 동작에 대하여 설명하기로 한다. Existing deep learning learning has an offline structure and does not have an augmented learning function, making it difficult to respond to changed environments, but the characteristic of online image recognition technology is that it quickly eliminates misidentification of products in the vending machine display case due to new classes and data distribution that appear due to environmental changes. To solve this problem, an image recognition method can be provided through online learning. In the embodiment, the automatic generation of online learning data and the learning-based online image recognition operation will be described in order to create an image recognition model with superior performance in a short period of time with a small amount of online learning data to ensure recognition reliability of the product to be purchased. do.

실시예에서 "상품"은, 물건 또는 물품뿐만 아니라 셀프 결제 키오스크에 디스플레이된 상품 영상도 포함될 수 있다. 예컨대, 셀프 결제 키오스크는 셀프 결제 커피숍, 음식점의 주문 결제 키오스크 등을 의미한다. 또한, 상품 또는 커피, 음식의 구매에만 적용되는 것이 아니라, 서비스를 받는 키오스크 등 서비스 기기에서도 적용될 수 있다. 아래에서는 설명의 편의를 위하여 비접촉 자판기 서비스를 예를 들어 설명하기로 한다. In an embodiment, “product” may include not only an object or article, but also a product image displayed on a self-payment kiosk. For example, a self-payment kiosk refers to a self-payment coffee shop, a restaurant order payment kiosk, etc. In addition, it can be applied not only to the purchase of goods, coffee, or food, but also to service devices such as kiosks where services are received. Below, for convenience of explanation, the non-contact vending machine service will be explained as an example.

실시예에서 검출 신뢰도란 물체 검출 알고리즘에 의해 검출된 상품 영역 내에 해당 상품이 존재할 확률을 의미한다. 명세서 및 청구범위 전체에서, 검출(객체 탐지)이란 컴퓨터 비전과 이미지 처리와 관련된 기술로서, 디지털 이미지와 비디오로부터 특정한 클래스의 시맨틱 객체 인스턴스(예: 물리적 상품, 상품을 나타내는 사진, 드로잉 등) 감지를 나타낸다.In the embodiment, detection reliability means the probability that the corresponding product exists within the product area detected by the object detection algorithm. Throughout the specification and claims, detection (object detection) refers to a technique related to computer vision and image processing that detects instances of specific classes of semantic objects (e.g., physical goods, photographs representing goods, drawings, etc.) from digital images and videos. indicates.

실시예에서 "자판기"는 사용자에 의해 상품의 구매가 수행되는 기기로서, 자판기가 위치하고 있는 위치 데이터 및 자판기에 부여된 식별 데이터(ID, 태그 등)가 전자 기기, 중앙 서버 및/또는 자동 결제 시스템에 저장되어 있을 수 있다. 이때, 전자 기기, 중앙 서버 및/또는 자동 결제 시스템 중 어느 하나에 인식된 자판기에 존재하는 상품들의 이름(상품명), 수량, 위치 등이 저장되어 있을 수 있다. In an embodiment, a “vending machine” is a device through which a purchase of a product is performed by a user, and the location data where the vending machine is located and the identification data (ID, tag, etc.) assigned to the vending machine are stored in an electronic device, a central server, and/or an automatic payment system. It may be stored in . At this time, the name (product name), quantity, location, etc. of products existing in the vending machine recognized by any one of the electronic device, the central server, and/or the automatic payment system may be stored.

도 1은 일 실시예에 따른 종래의 자판기를 사용하는 동작을 설명하기 위한 도면이다. 1 is a diagram for explaining an operation using a conventional vending machine according to an embodiment.

도 1을 참고하면, 일반적인 자판기를 나타낸 것이다. 사용자는 자판기의 버튼을 이용하여 구매 대상 상품을 선택할 수 있다. 자판기는 사용자로부터 선택된 구매 대상 상품에 대한 결제를 요청할 수 있다. 사용자는 카드, 현금, 포인트 등의 결제 수단을 이용하여 구매 대상 상품에 대한 금액을 지불할 수 있다. 자판기는 사용자로부터 금액이 지불된 구매 대상 상품을 제공할 수 있다. 자판기는 자판기에 보관되어 있는 구매 대상 상품을 떨어뜨릴 수 있다. 사용자는 자판기에 떨어진 구매 대상 상품을 획득할 수 있다. Referring to Figure 1, it shows a typical vending machine. Users can select the product to purchase using the vending machine's button. The vending machine may request payment for the product selected by the user to be purchased. Users can pay for the product being purchased using payment methods such as cards, cash, and points. A vending machine may provide products to be purchased for which a user has paid. The vending machine can drop the product to be purchased that is stored in the vending machine. Users can obtain products for purchase that fell into the vending machine.

도 2는 일 실시예에 따른 자동 결제 시스템의 개괄적인 동작을 설명하기 위한 도면이다. Figure 2 is a diagram for explaining the general operation of an automatic payment system according to an embodiment.

자동 결제 시스템(100)은 비접촉 자판기 서비스를 제공할 수 있다. 자동 결제 시스템(100)은 중앙 서버(110)와 전자 기기(120) 간의 송수신되는 데이터를 이용하여 자판기(130)에 대한 영상 인식 및 영상 인식 기반의 온라인 결제를 수행할 수 있다. 이때, 자동 결제 시스템은 전자 기기 내에서 플랫폼 또는 어플리케이션 형태로 구동될 수 있다. 또는, 자동 결제 시스템은 전자 기기로부터 전송되는 영상 인식 및 결제를 위한 데이터를 이용하여 온라인 결제를 수행하는 서버일 수 있다. The automatic payment system 100 can provide non-contact vending service. The automatic payment system 100 can perform image recognition and image recognition-based online payment for the vending machine 130 using data transmitted and received between the central server 110 and the electronic device 120. At this time, the automatic payment system may be run in the form of a platform or application within the electronic device. Alternatively, the automatic payment system may be a server that performs online payment using data for image recognition and payment transmitted from an electronic device.

도 2에서 비접촉 자판기 서비스 환경에서 사용자는 전자 기기(120)를 휴대하고 있으며, 중앙 서버(110)가 설치되어 전자 기기(120)로부터 상품의 영상 정보 및 사용자 정보가 전송될 수 있다. 사용자의 전자 기기(120)를 이용하여 사용자의 구매 의사 정보가 중앙 서버(110)로 전송될 수 있다. 영상 정보를 통한 사용자가 원하는 객체 인식을 가능하게 하여 자판기에서 사용자의 구매 의사가 중앙 서버(110)로 전달될 수 있다. In FIG. 2 , in a non-contact vending machine service environment, a user carries an electronic device 120, and a central server 110 is installed so that product image information and user information can be transmitted from the electronic device 120. Information on the user's purchase intention may be transmitted to the central server 110 using the user's electronic device 120. By enabling recognition of the user's desired object through image information, the user's purchase intention can be transmitted from the vending machine to the central server 110.

비접촉 자판기 서비스 환경에서는 전자 기기(120)의 사용자가 자판기의 진열대 상품으로 이동하여 영상을 촬영하기 때문에, 현금 입/출력기, 카드 결제기 등의 하드웨어 비용을 종래 방식에 비하여 획기적으로 줄일 수 있다.In a non-contact vending machine service environment, the user of the electronic device 120 moves to the product on the vending machine's shelf and takes an image, so the cost of hardware such as a cash input/output machine and a card payment machine can be dramatically reduced compared to the conventional method.

한편, 자동 결제 시스템(100)은 필요에 따라 다른 입력 장치를 더 포함할 수 있다. 예를 들면, 상품을 인식하거나 영상 촬영의 최적 위치를 찾는 수단을 강화하기 위하여, 초음파 센서, 적외선 센서 또는 터치 센서 등이 더 설치될 수 있다. Meanwhile, the automatic payment system 100 may further include other input devices as needed. For example, ultrasonic sensors, infrared sensors, or touch sensors may be further installed to enhance means of recognizing products or finding the optimal location for image capture.

중앙 서버(110)는 자판기 내 자동 결제 시스템의 전체적인 운영을 담당할 수 있으며, 사용자의 자판기 내 구매 상품에 대한 자동 결제를 지원할 수 있다.The central server 110 may be responsible for the overall operation of the automatic payment system within the vending machine and may support automatic payment for products purchased by the user within the vending machine.

전자 기기(120)는 컴퓨터 시스템으로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 전자 기기(120)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device)(예를 들면, 스마트 워치, 스마트 글라스), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등이 있다. 전자 기기(120)는 전자 기기(120)에 설치된 어플리케이션 형태의 프로그램을 통해 중앙 서버(100)로부터 정보를 제공받아 사용자에게 상품 정보를 제공하고, 광고 및 보너스 정보를 제공할 수 있다. The electronic device 120 may be a fixed terminal implemented with a computer system or a mobile terminal. Examples of electronic devices 120 include smart phones, mobile phones, navigation devices, computers, laptops, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), tablet PCs, and game consoles. console), wearable devices (e.g., smart watches, smart glasses), IoT (internet of things) devices, VR (virtual reality) devices, AR (augmented reality) devices, etc. The electronic device 120 may receive information from the central server 100 through an application-type program installed on the electronic device 120 and provide product information to the user, as well as advertising and bonus information.

자동 결제 시스템(100)은 전자 기기에서 촬영된 영상 정보를 획득할 수 있다. 사용자는 전자 기기를 이용하여 자판기에 진열되어 있는 상품들 중 일부를 촬영할 수 있다. 구매 대상 상품의 영상 정보는 전자 기기(예를 들면, 이동 단말기)에서 촬영된 1인칭 시점의 영상으로 사용자가 구매하려는 상품을 인식하기 위한 최적의 위치에서 촬영된 영상을 의미할 수 있다. The automatic payment system 100 can acquire image information captured by an electronic device. Users can use electronic devices to take pictures of some of the products displayed in the vending machine. The image information of the product to be purchased is a first-person perspective image captured by an electronic device (e.g., a mobile terminal) and may refer to an image captured at an optimal location for recognizing the product the user wants to purchase.

일례로, 사용자는 자판기에 존재하는 태그를 인식시킨 후, 상품을 촬영할 수 있다. 다른 예로서, 전자 기기(120)에 사용자의 위치 데이터에 따른 자판기 리스트가 제공될 수 있고, 사용자로부터 자판기가 선택되거나, GPS 또는 레이저, 라이더와 같은 센서 데이터를 이용하여 사용자의 위치 데이터와 일치 또는 근접한 자판기가 인식될 수 있다. 이 후, 사용자는 전가 기기(120)를 이용하여 상품을 촬영할 수 있다. For example, a user can recognize a tag present in a vending machine and then take a photo of the product. As another example, a list of vending machines according to the user's location data may be provided to the electronic device 120, and a vending machine may be selected by the user, or may match the user's location data using sensor data such as GPS, laser, or lidar. Nearby vending machines can be recognized. After this, the user can photograph the product using the electronic device 120.

또한, 자동 결제 시스템은 사용자로부터 전자 기기를 이용하여 자판기에 있는 상품이 촬영됨에 따라 자판기가 인식될 수 있고, 인식된 자판기와 전자 기기를 매칭할 수 있다. 자동 결제 시스템은 매칭된 자판기의 정보와 전자 기기의 정보를 획득할 수 있다.Additionally, the automatic payment system can recognize the vending machine as the product in the vending machine is photographed by the user using an electronic device, and match the recognized vending machine with the electronic device. The automatic payment system can obtain information on the matched vending machine and information on the electronic device.

자동 결제 시스템(100)은 온라인 영상 인식을 위한 학습 모델을 이용하여 획득된 영상 정보에 포함된 구매 대상 상품을 검출할 수 있다. 자동 결제 시스템(100)은 훈련 데이터 및 테스트 데이터로 구분하고, 구분된 훈련 데이터로 사용하여 준지도 학습을 수행하여 온라인 영상 인식을 위한 학습 모델을 생성할 수 있다. 자동 결제 시스템(100)은 테스트 데이터를 이용하여 생성된 온라인 영상 인식을 위한 학습 모델을 검증할 수 있다.The automatic payment system 100 can detect the purchase target product included in the acquired image information using a learning model for online image recognition. The automatic payment system 100 can divide training data and test data and perform semi-supervised learning using the separated training data to create a learning model for online image recognition. The automatic payment system 100 can verify a learning model for online image recognition created using test data.

자동 결제 시스템(100)은 검출된 구매 대상 상품에 대한 메타정보를 전자 기기(120)에게 제공할 수 있다. 자동 결제 시스템(100)은 제공된 메타정보를 통해 검출된 구매 대상 상품에 대한 사용자의 결제 요청을 수신할 수 있다. 자동 결제 시스템(100)은 수신된 결제 요청에 기초하여 구매 대상 상품이 사용자에게 전달되도록 구매 대상 상품을 포함하고 있는 자판기를 제어할 수 있다. The automatic payment system 100 may provide meta information about the detected purchase target product to the electronic device 120. The automatic payment system 100 may receive a user's payment request for a product to be purchased detected through the provided meta information. The automatic payment system 100 may control a vending machine containing a product to be purchased so that the product to be purchased is delivered to the user based on the received payment request.

자동 결제 시스템(100)은 수신된 결제 요청에 따라 결제가 승인된 구매 대상 상품이 자판기의 투출구를 통해서 꺼내질 때에 영상 센서, 적외선 센서, 초음파 센서, RFID, 터치센서 또는 무게센서를 포함하는 센서들 중에 적어도 하나 이상의 센서를 이용하여 자판기에서 나가는 상품의 개수를 카운트해서 자판기의 재고량 파악의 정확성을 보장할 수 있다. 또한, 자동 결제 시스템(100)은 키오스크에 디스플레이 된 구매 대상 상품에 대한 자동 결제가 실행된 후 키오스크와 연동된 POS에 전달되어서 주문 내용에 따라서 상품, 커피, 음식과 관련된 서비스를 제공할 수 있다. The automatic payment system 100 uses a sensor including an image sensor, an infrared sensor, an ultrasonic sensor, an RFID, a touch sensor, or a weight sensor when the product to be purchased for which payment has been approved according to the received payment request is taken out through the outlet of the vending machine. Among these, at least one sensor can be used to count the number of products leaving the vending machine, thereby ensuring the accuracy of determining the inventory amount of the vending machine. In addition, the automatic payment system 100 executes automatic payment for the product to be purchased displayed on the kiosk and then transfers the payment to the POS linked to the kiosk to provide services related to products, coffee, and food according to the order contents.

실시예에 따르면, 전자 기기를 활용하여 비접촉으로 상품구매 행위가 진행될 수 있다. 자판기의 물리적 버튼이나 스크린 패널의 접촉을 배제해서 비접촉으로 자판기의 사용이 가능하게 한다. 또한, 자판기 사용 단계인 상품선택과 결재를 이동단말기의 화면에서 처리해서, 노약자들에게서 자주 나타나는 자판기 또는 셀프결제기의 사용법에 익숙해져야 되는 부담을 줄일 뿐만 아니라, 신속한 구매행위가 가능하다.According to the embodiment, the act of purchasing a product may be performed non-contactly using an electronic device. It allows for non-contact use of the vending machine by eliminating contact with the physical buttons or screen panels of the vending machine. In addition, product selection and payment, which are steps for using a vending machine, are processed on the screen of the mobile terminal, which not only reduces the burden of having to become familiar with how to use a vending machine or self-payment machine, which often appears among the elderly, but also enables quick purchasing.

도 3은 일 실시예에 따른 자동 결제 시스템의 구성을 설명하기 위한 블록도이다.Figure 3 is a block diagram for explaining the configuration of an automatic payment system according to an embodiment.

도 3의 블록도는 자동 결제 시스템(100)을 예시하기 위한 것이며, 이에 한정되는 것은 아니다. 따라서 자동 결제 시스템(100)이 다른 형태로도 변형될 수 있다.The block diagram of FIG. 3 is for illustrating the automatic payment system 100, but is not limited thereto. Accordingly, the automatic payment system 100 may be modified into other forms.

중앙 서버(110)는 입력 모델(301), 통신 모듈(103), 메모리(305) 및 프로세서(307)를 포함할 수 있다. 이외에, 중앙 서버(110)는 다른 부품을 더 포함할 수 있으며, 이하에서는, 중앙 서버(110)에 포함된 각 부품들을 더욱 상세하게 설명하기로 한다. The central server 110 may include an input model 301, a communication module 103, a memory 305, and a processor 307. In addition, the central server 110 may further include other components, and hereinafter, each component included in the central server 110 will be described in more detail.

입력 모듈(301)은 중앙 서버(110)에 포함된 다른 부품들에 사용되는 명령 또는 데이터를 입력할 수 있다. 입력 모듈(101)은 입력부, 센서부 및 인터페이스부를 포함할 수 있다. 입력부로는 마이크로폰, 마우스 또는 키보드를 사용한다. 운영자는 입력부를 통해 입력 모듈(301)에 직접적으로 명령 또는 데이터를 입력할 수 있다. 센서부는 자판기에 설치되어 있는 주변 환경을 감지하여 데이터를 생성할 수 있다. 인터페이스부는 자판기(130)와의 상호 작용으로 영상 데이터를 전자 기기(120)의 카메라로부터 수신한다. 인터페이스부는 예를 들어 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신 등의 통신 기술을 이용하여 자판기(130)로부터 데이터를 수신할 수 있다.The input module 301 can input commands or data used in other components included in the central server 110. The input module 101 may include an input unit, a sensor unit, and an interface unit. A microphone, mouse, or keyboard is used as input. The operator can directly input commands or data into the input module 301 through the input unit. The sensor unit can generate data by detecting the surrounding environment installed in the vending machine. The interface unit receives image data from the camera of the electronic device 120 through interaction with the vending machine 130. The interface unit includes, for example, Bluetooth communication, BLE (Bluetooth Low Energy) communication, Near Field Communication (NFC), WLAN communication, Zigbee communication, Infrared Data Association (IrDA) communication, and WFD ( Data can be received from the vending machine 130 using communication technologies such as Wi-Fi Direct) communication, UWB (ultra-wideband) communication, WIFI communication, and RFID (Radio Frequency Identification) communication.

한편, 통신 모듈(303)은 중앙 서버(100)와 외부 장치(미도시)와의 통신을 수행할 수 있다. 통신 모듈(303)은 중앙 서버(100)와 외부 장치와의 통신 채널을 생성할 수 있다. 그 결과, 중앙 서버(100)는 통신 채널을 통하여 외부 장치와 통신할 수 있다. 통신 모듈(303)은 유선 또는 무선 모두 가능하다. 통신 모듈(303)이 무선인 경우, 원거리 통신망 또는 근거리 통신망을 통해 외부 장치와 통신할 수 있다. Meanwhile, the communication module 303 may perform communication between the central server 100 and an external device (not shown). The communication module 303 can create a communication channel between the central server 100 and an external device. As a result, the central server 100 can communicate with external devices through a communication channel. The communication module 303 can be either wired or wireless. If the communication module 303 is wireless, it can communicate with an external device through a long-distance communication network or a local area communication network.

메모리(305)는 분산 데이터 입력부로서 기능한다. 즉, 메모리(305)는 전자 기기(120)에서 취득되는 영상을 포함하는 자판기 내 센싱 정보를 저장할 수 있다. 또한 메모리(305)는 일 실시예에 따른 자판기 자동 결제 프로그램을 저장할 수 있다. 이외에, 이동 카메라, 초음파 센서, 터치 센서 또는 적외선 센서 등으로부터 입력되는 데이터를 저장할 수도 있다. 메모리(305)로서 휘발성 메모리 또는 비휘발성 메모리가 사용될 수 있다. 메모리(305)를 이용해 자판기 내 상품의 재고상황을 저장해 사용자의 상품 안내에 사용한다.The memory 305 functions as a distributed data input unit. That is, the memory 305 can store sensing information within the vending machine, including images acquired from the electronic device 120. Additionally, the memory 305 may store a vending machine automatic payment program according to an embodiment. In addition, data input from a mobile camera, ultrasonic sensor, touch sensor, or infrared sensor can also be stored. Volatile memory or non-volatile memory may be used as the memory 305. The memory 305 is used to store the inventory status of products in the vending machine and use it to guide the user about products.

프로세서(307)는 메모리(305)에 저장된 일 실시예에 따른 자판기 자동 결제 프로그램을 실행할 수 있다. 프로그램 실행에 따라 중앙 서버(110)에 포함된 부품들을 제어하고 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(307)는 통신 모듈(303)을 통하여 자판기에 접근한 전자 기기(120)와 통신할 수 있다. 프로세서(307)는 메모리(305)의 자판기 내 재고정보를 이용하여 상품이 위치한 진열대의 위치정보를 지정할 수 있다. 그리고 프로세서(307)는 진열대의 상품재고 정보를 전자 기기(120)에 제공하고, 사용자가 상품이 위치한 자판기까지 오면, 사용자에게 최적의 촬영 위치정보도 제공할 수 있다.The processor 307 may execute a vending machine automatic payment program stored in the memory 305 according to an embodiment. According to program execution, parts included in the central server 110 can be controlled and data processing or calculations can be performed. The processor 307 can communicate with the electronic device 120 that approaches the vending machine through the communication module 303. The processor 307 can use the inventory information in the vending machine in the memory 305 to specify the location information of the shelf where the product is located. In addition, the processor 307 provides product inventory information on the shelf to the electronic device 120, and when the user comes to the vending machine where the product is located, it can also provide optimal shooting location information to the user.

전자 기기(120)는 카메라 유닛(301), 입력 유닛(303), 출력 유닛(305), 통신 유닛(307), 메모리(308) 및 프로세서(309)를 포함할 수 있다. 이외에, 전자 기기(120)는 다른 부품들을 더 포함할 수 있다. 이하에서는 전자 기기(120)에 포함된 각 부품들을 좀더 상세하게 설명하기로 한다. 카메라 유닛(301)을 이용하여 사용자는 이동하는 중에 주위의 영상을 촬영할 수 있다. 이를 위해 카메라 유닛(301)은 렌즈, 이미지 센서, 이미지 시그널 프로세서 또는 플래시를 포함한다. 카메라 유닛(301)은 사용자의 몸에 착용(접촉)되는 형태로 사용될 수 있다. 카메라 유닛(301)으로서 에고센트릭 카메라가 사용될 수 있다. 모바일 카메라는 카메라 유닛(301)과 센서 유닛(310)을 포함하는 전자 기기(120)가 사용자 이동에 따라 직접 영상 인식을 통해 사용자의 구매 의사를 보다 정확히 판단할 수 있다. 또한, 전자 기기(120)가 수집한 데이터를 통해 사용자의 구매 패턴 등을 분석하여 선호하는 제품을 좀 더 정확히 추천할 수도 있다. 자동 결제 시스템은 온라인 딥러닝 알고리즘 기술을 이용하여 다른 기술에 비해 그 운영 비용을 최소화할 수 있다.The electronic device 120 may include a camera unit 301, an input unit 303, an output unit 305, a communication unit 307, a memory 308, and a processor 309. In addition, the electronic device 120 may further include other components. Below, each component included in the electronic device 120 will be described in more detail. Using the camera unit 301, the user can capture surrounding images while moving. To this end, the camera unit 301 includes a lens, an image sensor, an image signal processor, or a flash. The camera unit 301 may be worn (in contact with) the user's body. An egocentric camera may be used as the camera unit 301. The mobile camera allows the electronic device 120, which includes the camera unit 301 and the sensor unit 310, to more accurately determine the user's purchase intention through direct image recognition as the user moves. In addition, the user's purchasing patterns, etc. may be analyzed through data collected by the electronic device 120 to more accurately recommend preferred products. The automatic payment system can minimize its operating costs compared to other technologies by using online deep learning algorithm technology.

입력 유닛(303)을 통해서는 전자 기기(120) 내에서 사용될 명령이나 데이터가 입력된다. 입력 유닛(303)은 전자 기기(120)에 포함된 입력 유닛(303) 이외의 부품들에 사용되는 명령 또는 데이터를 입력할 수 있다. 입력 유닛(303)은 마이크로폰, 마우스 또는 키보드를 포함할 수 있다. 운영자는 입력 유닛(303)을 통해 명령 또는 데이터를 직접 입력할 수 있다. 입력 유닛(303)은 마이크로폰, 키보드 또는 키패드일 수 있다. Commands or data to be used within the electronic device 120 are input through the input unit 303. The input unit 303 may input commands or data used in components other than the input unit 303 included in the electronic device 120. Input unit 303 may include a microphone, mouse, or keyboard. The operator can directly input commands or data through the input unit 303. Input unit 303 may be a microphone, keyboard, or keypad.

출력 유닛(205)은 전자 기기(120)의 외부로 정보를 제공할 수 있다. 출력 유닛(205)은 표시부 또는 오디오부를 포함한다. 표시부는 정보를 시각적으로 제공한다. 표시부는 디스플레이를 그 예로 들 수 있다. 오디오부는 정보를 청각적으로 제공한다. 표시부는 터치를 감지하도록 설정된 터치 회로 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로일 수 있다. The output unit 205 may provide information to the outside of the electronic device 120. The output unit 205 includes a display section or an audio section. The display unit provides information visually. An example of the display unit may be a display. The audio section provides information audibly. The display unit may be a touch circuit configured to detect a touch or a sensor circuit configured to measure the intensity of force generated by the touch.

전자 기기(120)는 통신 유닛(307)을 통해 중앙 서버(110) 등의 외부 장치(미도시)와 작동 명령 또는 데이터를 주고 받을 수 있다. 통신 유닛(307)은 전자 기기(120)와 외부 장치 사이에 통신 채널을 형성한다. 통신 유닛(307)은 메모리(305) 또는 프로세서(309)와 연결된다. 통신 유닛(307)은 유선 또는 무선일 수 있다. 통신은 원거리 또는 근거리 통신망일 수 있다. The electronic device 120 may exchange operation commands or data with an external device (not shown) such as the central server 110 through the communication unit 307. The communication unit 307 forms a communication channel between the electronic device 120 and an external device. Communication unit 307 is connected to memory 305 or processor 309. Communication unit 307 may be wired or wireless. Communication may be a long-distance or local area network.

메모리(308)는 전자 기기(120)의 각 부품들에 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(308)는 매장 내 지도 정보를 저장하거나, 앱 형태의 매장 내 자동 결제 프로그램을 저장한다. 메모리(208)는 휘발성 또는 비휘발성 메모리일 수 있다. The memory 308 can store various data used in each component of the electronic device 120. For example, the memory 308 stores in-store map information or stores an in-store automatic payment program in the form of an app. Memory 208 may be volatile or non-volatile memory.

프로세서(309)는 메모리(308)에 저장된 프로그램을 실행한다. 프로세서(309)는 전자 기기(120)에 포함된 부품들을 제어하거나 데이터를 처리하거나 연산을 수행할 수 있다. 프로세서(309)는 매장 내에서 통신 유닛(307)을 통해 중앙 서버(110)와 통신할 수 있다. 프로세서(309)는 중앙 서버(110)를 통해 구매 상품의 메타정보를 파악할 수 있다. 프로세서(309)는 출력 유닛(305)을 통해 매장 내 영상 인식 및 자동 결제 서비스와 관련된 UI(user interface)를 제공한다. 프로세서(309)는 자판기 내 메타정보도 제공할 수 있다. The processor 309 executes the program stored in the memory 308. The processor 309 may control components included in the electronic device 120, process data, or perform calculations. The processor 309 may communicate with the central server 110 through a communication unit 307 within the store. The processor 309 can determine the meta information of the purchased product through the central server 110. The processor 309 provides a user interface (UI) related to in-store image recognition and automatic payment services through the output unit 305. The processor 309 can also provide meta information within the vending machine.

도 4는 일 실시예에 따른 자동 결제 시스템에서 영상 인식 기반의 자동 결제 방법을 설명하기 위한 흐름도이다. Figure 4 is a flowchart illustrating an image recognition-based automatic payment method in an automatic payment system according to an embodiment.

자동 결제 시스템은 전자 기기에서 촬영된 자판기 내 구매 대상 상품을 포함하는 영상 정보를 획득할 수 있다(S400). 이때, 영상 정보는 동영상 또는 이미지 형태 모두 포함될 수 있다. 사용자가 매장에서 이동할 때 가지고 다니는 전자 기기를 이용하여 상품 영상이 촬영될 수 있다. The automatic payment system can acquire image information including the product to be purchased in the vending machine captured by an electronic device (S400). At this time, the video information may be included in either video or image form. Product videos may be captured using electronic devices carried by users as they move around the store.

자동 결제 시스템은 온라인 영상 인식을 위한 학습 모델을 이용하여 획득된 영상 정보에 포함된 구매 대상 상품을 검출할 수 있다(S401). 예를 들면, 자동 결제 시스템은 구대 대상 상품의 이름, 종류 등을 검출할 수 있다. 자동 결제 시스템은 획득된 영상 정보를 자동으로 라벨링하고, 라벨링된 영상 정보를 훈련 데이터 및 테스트 데이터로 구분하고, 구분된 훈련 데이터로 사용하여 준지도 학습을 수행하여 온라인 영상 인식을 위한 학습 모델을 생성하고, 테스트 데이터를 이용하여 생성된 온라인 영상 인식을 위한 학습 모델을 검증할 수 있다. 자동 결제 시스템은 전자 기기의 최적의 신뢰도를 산출할 수 있도록 한다.The automatic payment system can detect the purchase target product included in the acquired image information using a learning model for online image recognition (S401). For example, the automatic payment system can detect the name and type of the product being purchased. The automatic payment system automatically labels the acquired image information, divides the labeled image information into training data and test data, and performs semi-supervised learning using the separated training data to create a learning model for online image recognition. And, the learning model for online image recognition created using test data can be verified. The automatic payment system allows calculating the optimal reliability of electronic devices.

자동 결제 시스템은 구매 대상 상품의 검출인식 신뢰도를 산출할 수 있다(S402). 이때, 검출인식 신뢰도 산출을 위한 학습 모델을 이용하여 검출된 구매 대상 영상 정보의 건출인식 신뢰도가 산출될 수 있다. 또는, 자판기와 전자 기기 간의 거리 데이터 또는/및 위치 데이터에 따라 신뢰도 정도가 설정되어 있을 수 있고, 설정된 신뢰도 정도에 기초하여 검출된 구매 대상 상품의 검출인식 신뢰도가 산출될 수 있다. 예를 들면, 검출인식 신뢰도는 백분율과 같이 정형화된 수치로 산출할 수 있다.The automatic payment system can calculate the detection and recognition reliability of the product to be purchased (S402). At this time, the detection recognition reliability of the detected image information of the purchase object can be calculated using a learning model for calculating detection recognition reliability. Alternatively, a reliability level may be set according to distance data or/and location data between the vending machine and the electronic device, and the detection recognition reliability of the detected product to be purchased may be calculated based on the set reliability level. For example, detection recognition reliability can be calculated as a standardized number such as a percentage.

자동 결제 시스템은 산출된 검출인식 신뢰도가 임계치보다 큰 지 여부를 판단할 수 있다(S403). 이때, 임계치는 사전에 운영자 또는 컴퓨터에 의해 설정될 수 있다. 예를 들면, 전자 기기가 웨어러블 디바이스인 경우, 사용자의 손 위치가 추적되어 사용자의 손이 구매 대상 상품을 용이하게 잡을 수 있는 거리에 위치하였는지 추가적으로 판단될 수 있다.The automatic payment system can determine whether the calculated detection recognition reliability is greater than the threshold (S403). At this time, the threshold may be set in advance by an operator or computer. For example, if the electronic device is a wearable device, the position of the user's hand may be tracked to additionally determine whether the user's hand is located at a distance where the user can easily grasp the product to be purchased.

자동 결제 시스템은 산출된 검출인식 신뢰도가 임계치보다 작을(미만/이하)일 경우, 전자 기기의 위치가 이동되도록 유도할 수 있다(S410). 자동 결제 시스템은 자판기와 전자 기기의 위치에 따라 설정된 인식 범위에 기초하여 전자 기기의 위치가 이동되도록 유도할 수 있다. 예를 들면, 자동 결제 시스템은 자판기에 위치된 구매 대상 상품의 위치로 전자 기기를 상, 화, 좌, 우 등을 안내할 수 있다. 자동 결제 시스템은 사용자가 전자 기기를 이용하여 상품 영상을 촬영할 때, 전자 기기의 위치를 검출인식 신뢰도가 최적인 위치로 이동시키도록 유도하여 재촬영시킬 수 있다. 예를 들면, 자동 결제 시스템은 자판기를 응시하고 있는 전자 기기의 카메라 각도, 카메라 위치, 전자 기기와 자판기와의 거리 데이터를 고려하여 전자 기기의 위치가 이동되도록 유도할 수 있다. 다시 말해서, 검출인식 신뢰도를 향상시키기 위한 전자 기기의 위치가 이동되도록 유도될 수 있다. 자동 결제 시스템은 자동 결제 시스템은 이동된 위치에서 재촬영된 영상 정보를 재인식할 수 있다.The automatic payment system can induce the location of the electronic device to move when the calculated detection recognition reliability is less than (less than/less than) the threshold (S410). The automatic payment system can induce the location of the electronic device to move based on the recognition range set according to the location of the vending machine and the electronic device. For example, the automatic payment system can guide the electronic device up, down, left, right, etc. to the location of the product to be purchased located in the vending machine. When a user captures a product image using an electronic device, the automatic payment system can guide the user to move the electronic device to a location with optimal detection and recognition reliability and re-record the image. For example, an automatic payment system can induce the location of the electronic device to move by considering the camera angle of the electronic device looking at the vending machine, the camera position, and the distance data between the electronic device and the vending machine. In other words, the position of the electronic device can be induced to move to improve detection and recognition reliability. The automatic payment system can re-recognize image information re-photographed at a moved location.

자동 결제 시스템은 산출된 검출인식 신뢰도가 임계치보다 클(이상/초과) 경우, 구매 대상 상품의 상품명, 가격정보를 매칭하여 메타정보를 생성할 수 있다(S404). 예를 들면, 자동 결제 시스템은 데이터베이스에 저장된 자판기와 관련된 정보(예를 들면, 자판기에 있는 상품 정보)를 이용하여 검출된 구매 대상 상품의 상품명, 가격정보를 매칭하여 메타정보를 생성할 수 있다. 이때, 자동 결제 시스템은 검출된 구매 대상 상품의 메타정보가 인지되도록 전자 기기에게 음성 데이터, 텍스트 데이터, 알림음, 진동 신호, LED 불빛, 햅틱 중 어느 하나를 이용하여 메타정보와 관련된 발생 정보를 통보할 수 있다. If the calculated detection recognition reliability is greater than (above/exceeds) the threshold, the automatic payment system can generate meta information by matching the product name and price information of the product to be purchased (S404). For example, the automatic payment system can generate meta information by matching the product name and price information of the detected product to be purchased using information related to the vending machine (e.g., product information in the vending machine) stored in the database. At this time, the automatic payment system notifies the electronic device of generated information related to the meta information using any one of voice data, text data, notification sounds, vibration signals, LED lights, and haptics so that the meta information of the detected product to be purchased is recognized. can do.

자동 결제 시스템은 전자 기기에 구매 대상 상품의 메타정보를 제공할 수 있다(S405). 제공된 구매 대상 상품의 메타정보가 전자 기기에 디스플레이될 수 있다. The automatic payment system may provide meta information of the product to be purchased to the electronic device (S405). Meta information about the provided product to be purchased may be displayed on the electronic device.

자동 결제 시스템은 제공된 구매 대상 상품의 메타정보를 확인함에 따라 구매 대상 상품인지 확인할 수 있다(S406). 사용자는 전자 기기에 디스플레이된 구매 대상 상품의 메타정보를 확인하여 구매 대상 상품을 확인하고, 구매할 것인 것 여부를 포함하는 구매 의사를 전달할 수 있다. 예를 들면, 전자 기기를 통해 구매 의사 여부가 사용자로부터 선택될 수 있다. 상세하게는, 사용자는 전가 기기를 통해 구매 대상 상품의 수량, 사이즈, 타입(예를 들면, 서로 다른 향, 맛 등)를 선택할 수 있다. The automatic payment system can check whether the product is eligible for purchase by checking the meta information of the provided product (S406). The user can confirm the product to be purchased by checking the meta information of the product to be purchased displayed on the electronic device and convey the intention to purchase, including whether or not to purchase it. For example, the user may select whether to purchase something through an electronic device. In detail, the user can select the quantity, size, and type (eg, different scents, flavors, etc.) of the product to be purchased through the electronic device.

자동 결제 시스템은 사용자로부터 구매 대상 상품의 구매가 요청됨에 따라 결제 프로세스를 진행할 수 있다. 자동 결제 시스템은 구매 대상 상품에 대한 사용자의 결제 요청을 수신할 수 있다(S407). 전자 기기를 통해 자판기를 접촉하지 않고도 결제가 이루어질 수 있다. The automatic payment system can proceed with the payment process as the user requests the purchase of the product to be purchased. The automatic payment system may receive the user's payment request for the product to be purchased (S407). Payments can be made through electronic devices without touching the vending machine.

자동 결제 시스템은 자판기에서 결제가 승인된 구매 대상 상품을 출구 박스에 드롭하도록 제어할 수 있다(S408). 자동 결제 시스템은 수신된 결제 요청에 기초하여 구매 대상 상품이 사용자에게 전달되도록 구매 대상 상품을 포함하고 있는 자판기를 제어할 수 있다. 자동 결제 시스템은 수신된 결제 요청에 대응되는 구매 대상 상품의 결제를 승인하고, 자판기에서 결제가 승인된 구매 대상 상품을 드롭(Drop)하여 거래를 성사시킬 수 있다. 예를 들면, 사용자로부터 사전 결제 수단이 설정될 수 있을 수 있다. 사전 결제 수단이란, 사용자가 상품마다 결제할 수단을 선택하지 않아도 미리 결제할 수단을 저장해놓는 것을 의미한다. 자동 결제 시스템은 사용자로부터 설정된 사전 결제 수단을 이용하여 구매 대상 상품에 대한 결제를 진행할 수 있다. 또는, 사용자로부터 구매 대상 상품에 대한 결제를 진행하고자 하는 결제 수단(예를 들면, 카드 결제, 계좌 이체, 포인트 결제 등)이 선택될 수 있다. 자동 결제 시스템은 사용자로부터 설정된 사전 결제 수단을 이용하여 구매 대상 상품에 대한 결제를 진행할 수 있다. 결제가 정상적으로 진행됨에 따라 구매 대상 상품에 대한 금액이 지불될 수 있다. 사용자는 자판기를 통해 구매 대상 상품을 획득할 수 있게 된다. The automatic payment system can control the vending machine to drop the purchase product for which payment has been approved into the exit box (S408). The automatic payment system can control the vending machine containing the product to be purchased so that the product to be purchased is delivered to the user based on the received payment request. The automatic payment system can approve payment for the product to be purchased corresponding to the received payment request and drop the product for which payment has been approved from the vending machine to complete the transaction. For example, a prior payment method may be set by the user. Pre-payment method means saving the payment method in advance even if the user does not select the payment method for each product. The automatic payment system can proceed with payment for the product to be purchased using a pre-payment method set by the user. Alternatively, the payment method (eg, card payment, account transfer, point payment, etc.) through which the user wishes to pay for the product to be purchased may be selected. The automatic payment system can proceed with payment for the product to be purchased using a pre-payment method set by the user. As the payment proceeds normally, the amount for the product to be purchased may be paid. Users can obtain products for purchase through vending machines.

도 5는 일 실시예에 따른 자동 결제 시스템에서 영상 인식 기반의 자동 결제 방법을 설명하기 위한 또 다른 흐름도이다.Figure 5 is another flowchart for explaining an image recognition-based automatic payment method in an automatic payment system according to an embodiment.

자동 결제 시스템은 전자 기기가 자판기에 근접함에 따라 전자 기기를 통해 사용자 고유 ID를 활성화 할 수 있다(S500). 사용자 고유 ID는 전자 기기에 설치된 어플리케이션(App) 상에 기록된 것일 수 있다. 다시 말해서, 사용자가 자판기에 근접함에 따라 사용자 또는 전자 기기에 부여된 고유식별자가 인식될 수 있다. The automatic payment system can activate the user's unique ID through the electronic device as the electronic device approaches the vending machine (S500). The user's unique ID may be recorded on an application (App) installed on the electronic device. In other words, as the user approaches the vending machine, the unique identifier assigned to the user or electronic device may be recognized.

자동 결제 시스템은 사용자 고유 ID에 기초하여 구매 대상 상품 정보를 획득할 수 있다(S501). 예를 들면, 어플리케이션에서 추천된 상품 또는 사용자에 의해 직접 입력된 상품일 수 있다. 사용자는 전자 기기에서 동작되고 있는 어플리케이션을 통해 구매 대상 상품을 입력할 수 있다. 또는, 사용자의 구매 이력 또는 사용자의 식별 정보에 기초하여 구매 대상 상품이 추천될 수 있다.The automatic payment system can obtain product information to be purchased based on the user's unique ID (S501). For example, it may be a product recommended in the application or a product directly entered by the user. A user can input a product to be purchased through an application running on an electronic device. Alternatively, a product to be purchased may be recommended based on the user's purchase history or the user's identification information.

자동 결제 시스템은 전자 기기에서 촬영된 자판기 내 구매 대상 상품을 포함하는 영상 정보를 획득할 수 있다(S502). 사용자가 매장에서 이동할 때 가지고 다니는 전자 기기를 이용하여 상품 영상이 촬영될 수 있다. 예를 들면, 사용자는 전자 기기의 카메라를 이용하여 사용자 고유 ID에 기초하여 획득된 구매 대상 상품 정보에 대응하는 자판기 내 구매 대상 상품을 촬영할 수 있다. The automatic payment system can acquire image information including the product to be purchased in the vending machine captured by an electronic device (S502). Product videos may be captured using electronic devices carried by users as they move around the store. For example, a user can use the camera of an electronic device to photograph a product to be purchased in a vending machine that corresponds to product information to be purchased based on the user's unique ID.

자동 결제 시스템은 온라인 영상 인식을 위한 학습 모델을 이용하여 획득된 영상 정보에 포함된 구매 대상 상품을 검출할 수 있다(S503). 자동 결제 시스템은 획득된 영상 정보를 자동으로 라벨링하고, 라벨링된 영상 정보를 훈련 데이터 및 테스트 데이터로 구분하고, 구분된 훈련 데이터로 사용하여 준지도 학습을 수행하여 온라인 영상 인식을 위한 학습 모델을 생성하고, 테스트 데이터를 이용하여 생성된 온라인 영상 인식을 위한 학습 모델을 검증할 수 있다. 자동 결제 시스템은 전자 기기의 최적의 신뢰도를 산출할 수 있도록 한다.The automatic payment system can detect the purchase target product included in the acquired image information using a learning model for online image recognition (S503). The automatic payment system automatically labels the acquired image information, divides the labeled image information into training data and test data, and performs semi-supervised learning using the separated training data to create a learning model for online image recognition. And, the learning model for online image recognition created using test data can be verified. The automatic payment system allows calculating the optimal reliability of electronic devices.

자동 결제 시스템은 구매 대상 상품의 검출인식 신뢰도를 산출할 수 있다(S504). 이때, 검출인식 신뢰도 산출을 위한 학습 모델을 이용하여 검출된 구매 대상 영상 정보의 건출인식 신뢰도가 산출될 수 있다. 또는, 자판기와 전자 기기 간의 거리 데이터에 따라 신뢰도 정도가 설정되어 있을 수 있고, 설정된 신뢰도 정도에 기초하여 검출된 구매 대상 상품의 검출인식 신뢰도가 산출될 수 있다. The automatic payment system can calculate the detection and recognition reliability of the product to be purchased (S504). At this time, the detection recognition reliability of the detected image information of the purchase object can be calculated using a learning model for calculating detection recognition reliability. Alternatively, the reliability level may be set according to distance data between the vending machine and the electronic device, and the detection recognition reliability of the detected product to be purchased may be calculated based on the set reliability level.

자동 결제 시스템은 산출된 검출인식 신뢰도가 임계치보다 큰 지 여부를 판단할 수 있다(S505). 이때, 임계치는 사전에 운영자 또는 컴퓨터에 의해 설정될 수 있다. The automatic payment system can determine whether the calculated detection recognition reliability is greater than the threshold (S505). At this time, the threshold may be set in advance by an operator or computer.

자동 결제 시스템은 산출된 검출인식 신뢰도가 임계치보다 작을(미만/이하)일 경우, 전자 기기의 위치가 이동되도록 유도할 수 있다(S511). 자동 결제 시스템은 자판기와 전자 기기의 위치에 따라 설정된 인식 범위에 기초하여 전자 기기의 위치가 이동되도록 유도할 수 있다. 자동 결제 시스템은 사용자가 전자 기기를 이용하여 상품 영상을 촬영할 때, 전자 기기의 위치를 검출인식 신뢰도가 최적인 위치로 이동시키도록 유도하여 재촬영시킬 수 있다. 예를 들면, 자동 결제 시스템은 자판기를 응시하고 있는 전자 기기의 카메라 각도, 카메라 위치, 전자 기기와 자판기와의 거리 데이터를 고려하여 전자 기기의 위치가 이동되도록 유도할 수 있다. 다시 말해서, 검출인식 신뢰도를 향상시키기 위한 전자 기기의 위치가 이동되도록 유도될 수 있다. 자동 결제 시스템은 자동 결제 시스템은 이동된 위치에서 재촬영된 영상 정보를 재인식할 수 있다. The automatic payment system can induce the location of the electronic device to move when the calculated detection recognition reliability is less than (less than/less than) the threshold (S511). The automatic payment system can induce the location of the electronic device to move based on the recognition range set according to the location of the vending machine and the electronic device. When a user captures a product image using an electronic device, the automatic payment system can guide the user to move the electronic device to a location with optimal detection and recognition reliability and re-record the image. For example, an automatic payment system can induce the location of the electronic device to move by considering the camera angle of the electronic device looking at the vending machine, the camera position, and the distance data between the electronic device and the vending machine. In other words, the position of the electronic device can be induced to move to improve detection and recognition reliability. The automatic payment system can re-recognize image information re-filmed at a moved location.

자동 결제 시스템은 산출된 검출인식 신뢰도가 임계치보다 클(이상/초과) 경우, 구매 대상 상품의 상품명, 가격정보를 매칭하여 메타정보를 생성할 수 있다(S506). 예를 들면, 자동 결제 시스템은 데이터베이스에 저장된 자판기와 관련된 정보(예를 들면, 자판기에 있는 상품 정보)를 이용하여 검출된 구매 대상 상품의 상품명, 가격정보를 매칭하여 메타정보를 생성할 수 있다. If the calculated detection recognition reliability is greater than (above/exceeds) the threshold, the automatic payment system can generate meta information by matching the product name and price information of the product to be purchased (S506). For example, the automatic payment system can generate meta information by matching the product name and price information of the detected product to be purchased using information related to the vending machine (e.g., product information in the vending machine) stored in the database.

자동 결제 시스템은 전자 기기에 구매 대상 상품의 메타정보가 디스플레이되도록 제공할 수 있다(S507). 제공된 구매 대상 상품의 메타정보가 전자 기기에 디스플레이될 수 있다. The automatic payment system can provide meta information about the product to be purchased to be displayed on the electronic device (S507). Meta information about the provided product to be purchased may be displayed on the electronic device.

자동 결제 시스템은 제공된 구매 대상 상품의 메타정보를 확인함에 따라 구매 대상 상품인지 확인할 수 있다(S508). 자동 결제 시스템은 초음파 센서, 적외선 센서 등의 복수의 분산 데이터 입력 장치에 의해 수집된 데이터를 이용하여 사용자 또는 전자 기기가 자판기를 기준으로 설정된 자판기 영역에 들어왔는지 여부를 감지할 수 있다. 자판기 영역이란 사용자가 자판기에서 선택된 구매 대상 상품을 어플리케이션에 제공되는 자판기의 진열 품목 리스트에서 삭제하고, 사용자에게 메타정보를 제공하기 위한 것을 의미할 수 있다. 사용자는 전자 기기에 디스플레이된 구매 대상 상품의 메타정보를 확인하여 구매 대상 상품을 확인하고, 구매할 것인 것 여부를 포함하는 구매 의사를 전달할 수 있다. 예를 들면, 전자 기기를 통해 구매 의사 여부가 사용자로부터 선택될 수 있다. The automatic payment system can check whether the product is eligible for purchase by checking the meta information of the provided product (S508). The automatic payment system can use data collected by a plurality of distributed data input devices such as ultrasonic sensors and infrared sensors to detect whether a user or an electronic device has entered a vending machine area set based on the vending machine. The vending machine area may mean that the user deletes the purchase target product selected from the vending machine from the list of items displayed in the vending machine provided to the application and provides meta information to the user. The user can confirm the product to be purchased by checking the meta information of the product to be purchased displayed on the electronic device and convey the intention to purchase, including whether or not to purchase it. For example, the user may select whether to purchase something through an electronic device.

자동 결제 시스템은 사용자로부터 구매 대상 상품의 구매가 요청됨에 따라 결제 프로세스를 진행할 수 있다. 자동 결제 시스템은 구매 대상 상품에 대한 사용자의 결제 요청을 수신할 수 있다(S509). 전자 기기를 통해 자판기를 접촉하지 않고도 결제가 이루어질 수 있다. The automatic payment system can proceed with the payment process as the user requests the purchase of the product to be purchased. The automatic payment system may receive the user's payment request for the product to be purchased (S509). Payments can be made through electronic devices without touching the vending machine.

자동 결제 시스템은 자판기에서 결제가 승인된 구매 대상 상품을 출구 박스에 드롭하도록 제어할 수 있다(S510). 자동 결제 시스템은 수신된 결제 요청에 기초하여 구매 대상 상품이 사용자에게 전달되도록 구매 대상 상품을 포함하고 있는 자판기를 제어할 수 있다. 자동 결제 시스템은 수신된 결제 요청에 대응되는 구매 대상 상품의 결제를 승인하고, 자판기에서 결제가 승인된 구매 대상 상품을 드롭(Drop)하여 거래를 성사시킬 수 있다. 예를 들면, 자동 결제 시스템은 분할 결제 서비스를 제공할 수 있다. 사용자에 의해 일부 카드 결제 및 나머지 포인트 결제 등의 분할 결제를 위한 결합 결제 수단이 선택될 수 있다. 자동 결제 시스템은 사용자로부터 선택된 하나의 결제 수단 또는 결합 결제 수단을 이용하여 구매 대상 상품에 대한 결제를 진행할 수 있다. 자동 결제 시스템은 사용자로부터 선택된 어느 하나의 결제 수단을 이용하여 구매 대상 상품에 대한 결제를 진행할 수 있다. 결제가 정상적으로 진행됨에 따라 구매 대상 상품에 대한 금액이 지불될 수 있다. 사용자는 자판기를 통해 구매 대상 상품을 획득할 수 있게 된다. The automatic payment system can control the vending machine to drop the purchase product for which payment has been approved into the exit box (S510). The automatic payment system can control the vending machine containing the product to be purchased so that the product to be purchased is delivered to the user based on the received payment request. The automatic payment system can approve payment for the product to be purchased corresponding to the received payment request and drop the product for which payment has been approved from the vending machine to complete the transaction. For example, an automatic payment system may provide a split payment service. The user may select a combined payment method for partial payment, such as partial card payment and remaining point payment. The automatic payment system can proceed with payment for the product to be purchased using one payment method or a combination payment method selected by the user. The automatic payment system can proceed with payment for the product to be purchased using any payment method selected by the user. As the payment proceeds normally, the amount for the product to be purchased may be paid. Users can obtain products for purchase through vending machines.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. A processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be embodied in . Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.

Claims

In an automatic payment method based on image recognition performed by an automatic payment system,
Obtaining image information including a product to be purchased in a vending machine captured by an electronic device;
Detecting a purchase target product included in the acquired image information using a learning model for online image recognition;
providing meta information about the detected product to be purchased to the electronic device;
Receiving a user's payment request for the detected product to be purchased through the provided meta information; and
The detected purchase target product is included so that the detected purchase target product is delivered to the user as payment is made for the detected purchase target product using a pre-payment method set by the user based on the received payment request. Steps to control a vending machine in operation
Including,
The detecting step is,
Calculating the detection recognition reliability of the detected purchase target product
Including,
The steps provided above are:
If the calculated detection recognition reliability is higher than a threshold, meta information of the product to be purchased is provided to the electronic device, and if the calculated detection recognition reliability is lower than the threshold, a recognition range is set according to the location of the vending machine and the electronic device. Based on this, the position of the electronic device is induced to move, the electronic device is re-recognized by the vending machine at the moved position of the electronic device, and the product to be purchased is re-photographed from the electronic device through the re-recognition, thereby providing image information Obtaining, and if the detection recognition reliability calculated from the purchase target product detected from the image information acquired through the re-shooting is more than a threshold, meta information of the detected purchase target product is provided to the electronic device, and the provided purchase The meta information of the target product is displayed on the electronic device, and the meta information of the product to be purchased is confirmed, confirming the product to be purchased, and receiving a purchase intention for the confirmed product to be purchased from the user. step
includes
The controlling step is,
When the purchase target product for which payment has been approved according to the received payment request is taken out through the outlet of the vending machine, at least one of the sensors including an image sensor, an infrared sensor, an ultrasonic sensor, an RFID, a touch sensor, or a weight sensor Step of determining the inventory amount of the vending machine by counting the number of products leaving the vending machine using a sensor
Automatic payment methods, including .

According to paragraph 1,
The detecting step is,
Automatically label the acquired image information, divide the labeled image information into training data and test data, and perform semi-supervised learning using the divided training data to create a learning model for online image recognition; , verifying the generated learning model for online image recognition using the test data.
Automatic payment methods, including .

delete

According to paragraph 1,
The detecting step is,
A step of generating meta information by matching the product name and price information of the detected product to be purchased using previously stored product information.
Automatic payment methods, including .

According to paragraph 1,
The detecting step is,
As the electronic device approaches the vending machine, a user ID is activated through the electronic device, and the activated ID is recorded in an application installed on the electronic device, thereby recognizing a unique identifier corresponding to the activated ID.
Automatic payment methods, including .

According to paragraph 1,
The steps provided above are:
Notifying the electronic device of generated information related to the meta information using any one of voice data, text data, notification sounds, vibration signals, and LED lights so that the detected meta information of the product to be purchased is recognized.
Automatic payment methods, including .

delete

According to paragraph 1,
The controlling step is,
Approving payment for the product to be purchased corresponding to the received payment request, and concluding the transaction by dropping the product to be purchased for which payment has been approved from the vending machine.
Automatic payment methods, including .

delete

According to paragraph 1,
The vending machine is a kiosk,
The controlling step is,
A step in which automatic payment is made for products displayed on the kiosk and then delivered to the POS linked to the kiosk to provide products, coffee, food, and related services according to the order.
Automatic payment methods, including .

In the automatic payment system,
At least one processor configured to execute computer readable instructions contained in memory
Including,
The at least one processor,
Obtain video information including products to be purchased in a vending machine captured by an electronic device,
Detect the purchase target product included in the obtained image information using a learning model for online image recognition,
Provide meta information about the detected purchase target product to the electronic device,
Receiving a user's payment request for the detected purchase target product through the provided meta information,
The detected purchase target product is included so that the detected purchase target product is delivered to the user as payment is made for the detected purchase target product using a pre-payment method set by the user based on the received payment request. Including controlling a vending machine that is operating,
The at least one processor calculates the detection recognition reliability of the detected product to be purchased, and when the calculated detection recognition reliability is greater than or equal to a threshold, provides meta information of the product to be purchased to the electronic device, and provides meta information of the product to be purchased to the electronic device. If the detection recognition reliability is lower than the threshold, the position of the electronic device is induced to move based on the recognition range set according to the positions of the vending machine and the electronic device, and at the moved position of the electronic device, the electronic device is connected to the vending machine. When the product is re-recognized, and image information is acquired as the product to be purchased is re-photographed from the electronic device through the re-recognition, and the detection recognition reliability calculated from the product to be purchased detected from the image information acquired through the re-photography is above the threshold. , providing meta information of the detected product to be purchased to the electronic device, the provided meta information of the product to be purchased is displayed on the electronic device, and the product to be purchased is selected as the meta information of the provided product to be purchased is confirmed. Confirms, receives purchase intent for the confirmed purchase target product delivered from the user, and when the purchase target product for which payment has been approved according to the received payment request is taken out through the outlet of the vending machine, an image sensor; Counting the number of products leaving the vending machine using at least one sensor including an infrared sensor, ultrasonic sensor, RFID, touch sensor, or weight sensor to determine the inventory amount of the vending machine.
An automatic payment system characterized by: