KR102051655B1 - Method and apparatus of providing product information based on recognition of integrated image - Google Patents

Method and apparatus of providing product information based on recognition of integrated image Download PDF

Info

Publication number
KR102051655B1
KR102051655B1 KR1020170098868A KR20170098868A KR102051655B1 KR 102051655 B1 KR102051655 B1 KR 102051655B1 KR 1020170098868 A KR1020170098868 A KR 1020170098868A KR 20170098868 A KR20170098868 A KR 20170098868A KR 102051655 B1 KR102051655 B1 KR 102051655B1
Authority
KR
South Korea
Prior art keywords
product
image
recognition mode
information
code
Prior art date
Application number
KR1020170098868A
Other languages
Korean (ko)
Other versions
KR20180016313A (en
Inventor
한윤동
Original Assignee
주식회사 미라클솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 미라클솔루션 filed Critical 주식회사 미라클솔루션
Publication of KR20180016313A publication Critical patent/KR20180016313A/en
Application granted granted Critical
Publication of KR102051655B1 publication Critical patent/KR102051655B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/0004—Hybrid readers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

일 실시예에 따른 상품 정보를 제공하는 방법 및 장치는 대상 상품과 관련된 외형 정보, 식별 정보 및 코드 정보 중 적어도 하나를 포함하는 통합 이미지를 획득하고, 통합 이미지에 기초하여 결정된 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드에 따라 상품 데이터베이스로부터 대상 상품에 대한 상품 정보를 추출하여 제공한다.Method and apparatus for providing product information according to an embodiment obtains an integrated image including at least one of the appearance information, identification information and code information associated with the target product, the image recognition mode, barcode recognition determined based on the integrated image According to at least one of the mode and the QR code recognition mode, the product information for the target product is extracted and provided from the product database.

Figure R1020170098868
Figure R1020170098868

Description

통합 이미지의 인식에 기초하여 상품 정보를 제공하는 방법 및 장치{METHOD AND APPARATUS OF PROVIDING PRODUCT INFORMATION BASED ON RECOGNITION OF INTEGRATED IMAGE}Method and apparatus for providing product information based on recognition of integrated image {METHOD AND APPARATUS OF PROVIDING PRODUCT INFORMATION BASED ON RECOGNITION OF INTEGRATED IMAGE}

아래 실시예들은 통합 이미지의 인식에 기초하여 상품 정보를 제공하는 방법 및 장치에 관한 것이다.Embodiments below relate to a method and apparatus for providing commodity information based on recognition of an integrated image.

바코드(barcode)를 통하여 상품을 인식하거나, QR(Quick Response) 코드를 통하여 상품과 관련된 URL(Uniform Resource Locator)에 접근하거나, 이미지 인식을 통하여 상품을 인식하는 기술은 사용자들의 편의성을 향상시켰다. 하지만, 바코드 인식 기술, QR 코드 인식 기술, 및 이미지 인식 기술은 서로 개별적으로만 이용되어 왔으며, 사용자 편의성 및 인식 정확도를 보다 향상시키기 위하여 서로 다른 유형의 인식 기법들을 통합적으로 이용하는 기술이 요구된다.The technology of recognizing a product through a barcode, accessing a Uniform Resource Locator (URL) related to the product through a Quick Response (QR) code, or recognizing the product through image recognition has improved user convenience. However, bar code recognition technology, QR code recognition technology, and image recognition technology have been used only separately from each other, a technique that uses a combination of different types of recognition techniques are required to further improve user convenience and recognition accuracy.

일 측에 따른 상품 정보를 제공하는 방법은 대상 상품과 관련된 통합 이미지- 상기 통합 이미지는 상기 대상 상품의 외형 정보, 식별 정보 및 코드 정보 중 적어도 하나를 포함함-를 획득하는 단계; 상기 통합 이미지에 기초하여 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하는 단계; 상기 인식 모드에 따라, 상품 데이터베이스로부터 상기 대상 상품에 대한 상품 정보를 추출하는 단계; 및 상기 상품 정보를 제공하는 단계를 포함한다. According to one or more exemplary embodiments, a method of providing product information may include obtaining an integrated image associated with a target product, wherein the integrated image includes at least one of appearance information, identification information, and code information of the target product; Determining at least one recognition mode among an image recognition mode, a barcode recognition mode, and a QR code recognition mode based on the integrated image; Extracting product information on the target product from a product database according to the recognition mode; And providing the product information.

상기 상품 정보는 제1 레벨의 상품 정보 및 제2 레벨의 상품 정보 중 적어도 하나를 포함할 수 있다. The product information may include at least one of product information of a first level and product information of a second level.

상기 상품 정보를 추출하는 단계는 상기 상품 정보의 레벨에 기초하여, 사용자에게 상기 대상 상품과 관련된 이미지를 추가 촬영할 것을 안내하는 단계; 상기 안내에 따라 추가 촬영된 이미지가 기 저장된 코드 정보의 규격 이미지를 포함하는지 여부에 기초하여, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 어느 하나의 인식 모드를 재결정하는 단계; 및 상기 재결정된 인식 모드에 따라, 상기 상품 데이터베이스로부터 상기 대상 상품에 대한 제2 레벨의 상품 정보를 추출하는 단계를 포함할 수 있다. The extracting of the product information may include instructing a user to additionally photograph an image related to the target product based on the level of the product information; Re-determining one of the barcode recognition mode and the QR code recognition mode based on whether the additionally photographed image includes a standard image of prestored code information according to the guidance; And extracting second level product information on the target product from the product database according to the re-determined recognition mode.

상기 추가 촬영할 것을 안내하는 단계는 상기 인식 모드에 따라 추출된 상품 정보의 레벨이 제1 레벨인지를 판단하는 단계; 및 상기 상품 정보의 레벨이 제1 레벨로 판단되면, 상기 사용자에게 상기 대상 상품에 포함된 QR 코드 또는 바코드를 추가 촬영할 것을 안내하는 단계를 포함할 수 있다. The step of guiding the additional photographing may include determining whether a level of extracted product information is a first level according to the recognition mode; And when the level of the product information is determined as the first level, instructing the user to additionally photograph the QR code or the barcode included in the target product.

상기 코드 정보는 QR 코드 및 바코드 중 적어도 하나를 포함하고, 상기 인식 모드를 결정하는 단계는 상기 통합 이미지가 기 저장된 상품 이미지 및 기 저장된 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부에 기초하여, 상기 이미지 인식 모드, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하는 단계를 포함할 수 있다. The code information includes at least one of a QR code and a barcode, and the determining of the recognition mode is based on whether the integrated image includes at least one of pre-stored product images and standard images of pre-stored code information. And determining at least one recognition mode among the image recognition mode, the barcode recognition mode, and the QR code recognition mode.

상기 인식 모드를 결정하는 단계는 상기 통합 이미지에 포함된 상품 이미지 및 상기 코드 정보의 이미지의 이미지 품질이 미리 설정된 기준에 해당하는지 여부에 따라, 상기 인식 모드를 결정하는 단계를 포함할 수 있다. The determining of the recognition mode may include determining the recognition mode according to whether an image quality of a product image included in the integrated image and an image of the code information correspond to a preset criterion.

상기 인식 모드를 결정하는 단계는 상기 통합 이미지가 상기 기 저장된 상품 이미지를 포함하는 경우, 상기 이미지 인식 모드를 상기 인식 모드로 결정하는 단계를 포함할 수 있다. The determining of the recognition mode may include determining the image recognition mode as the recognition mode when the integrated image includes the pre-stored product image.

상기 인식 모드를 결정하는 단계는 상기 통합 이미지가 상기 기 저장된 상품 이미지 및 기 저장된 QR 코드의 규격 이미지를 포함하는 경우, 상기 QR 코드 인식 모드를 상기 인식 모드로 결정하는 단계를 포함할 수 있다. The determining of the recognition mode may include determining the QR code recognition mode as the recognition mode when the integrated image includes the pre-stored product image and a standard image of the pre-stored QR code.

상기 인식 모드를 결정하는 단계는 상기 통합 이미지가 상기 기 저장된 상품 이미지 및 기 저장된 바코드의 규격 이미지를 포함하는 경우, 상기 바코드 인식 모드를 상기 인식 모드로 결정하는 단계를 포함할 수 있다. The determining of the recognition mode may include determining the barcode recognition mode as the recognition mode when the integrated image includes the pre-stored product image and a standard image of a pre-stored barcode.

상기 인식 모드를 결정하는 단계는 상기 통합 이미지가 상기 기 저장된 상품 이미지 및 상기 코드 정보의 규격 이미지들을 모두 포함하는 경우, 상기 코드 정보의 규격 이미지들의 이미지 품질에 기초하여, 상기 인식 모드를 결정하는 단계를 포함할 수 있다. The determining of the recognition mode may include determining the recognition mode based on image quality of standard images of the code information when the integrated image includes both the pre-stored product image and standard images of the code information. It may include.

상기 코드 정보의 규격 이미지들의 이미지 품질에 기초하여, 상기 인식 모드를 결정하는 단계는 QR 코드의 규격 이미지가 상기 바코드의 규격 이미지보다 더 높은 이미지 품질을 갖는 경우, 상기 QR 코드 인식 모드를 상기 적어도 하나의 인식 모드로 결정하는 단계; 및 상기 바코드의 규격 이미지가 상기 QR 코드의 규격 이미지보다 더 높은 이미지 품질을 갖는 경우, 상기 바코드 인식 모드를 상기 적어도 하나의 인식 모드로 결정하는 단계를 포함할 수 있다. The determining of the recognition mode based on the image quality of the standard images of the code information may include determining the QR code recognition mode when the standard image of the QR code has a higher image quality than the standard image of the barcode. Determining a recognition mode of; And when the standard image of the barcode has a higher image quality than the standard image of the QR code, determining the barcode recognition mode as the at least one recognition mode.

상기 인식 모드를 결정하는 단계는 상기 통합 이미지가 상기 기 저장된 상품 이미지 및 코드 정보의 규격 이미지들을 포함하지 않는 경우, 사용자에게 상기 대상 상품과 관련된 이미지를 추가 촬영할 것을 안내하는 단계; 및 상기 안내에 따라 추가 촬영된 이미지가 상기 기 저장된 상품 이미지 및 상기 기 저장된 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부에 기초하여, 상기 이미지 인식 모드, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 재결정하는 단계를 포함할 수 있다. The determining of the recognition mode may include: instructing a user to additionally photograph an image related to the target product when the integrated image does not include standard images of the stored product image and code information; And the image recognition mode, the barcode recognition mode, and the QR code recognition based on whether the additionally photographed image includes at least one of the pre-stored product image and standard images of the pre-stored code information. Re-determining at least one recognition mode of the modes.

상기 추가 촬영할 것을 안내하는 단계는 상기 대상 상품과 관련된 상품 이미지를 추가 촬영할 것을 안내하는 단계; 상기 대상 상품과 관련된 바코드를 추가 촬영할 것을 안내하는 단계; 및 상기 대상 상품과 관련된 QR 코드를 추가 촬영할 것을 안내하는 단계 중 적어도 하나를 포함할 수 있다. The step of guiding the additional shooting may include guiding the further shooting of a product image related to the target product; Guiding an additional photographing of a barcode related to the target product; And guiding additional photographing of the QR code related to the target product.

상기 상품 정보를 추출하는 단계는 상기 인식 모드에 따라 상기 통합 이미지를 판독하는 단계; 및 상기 판독 결과를 기초로, 상기 상품 데이터베이스로부터 상기 대상 상품에 대한 상품 정보를 추출하는 단계를 포함할 수 있다. Extracting the product information may include reading the integrated image according to the recognition mode; And extracting product information on the target product from the product database based on the read result.

상기 상품 데이터베이스는 복수의 상품들 각각에 대응하는 상품 정보를 포함할 수 있다. The product database may include product information corresponding to each of a plurality of products.

상기 복수의 상품들은 상기 복수의 상품들 각각에 대한 공산품 라벨 정보를 기초로 상기 상품 데이터베이스에 등록되거나, 상기 복수의 상품들을 취급하는 가맹점에 의해 등록된 정보를 기초로 상기 상품 데이터베이스에 등록될 수 있다. The plurality of commodities may be registered in the commodity database based on industrial product label information for each of the plurality of commodities, or may be registered in the commodity database based on information registered by a merchant that handles the plurality of commodities. .

상기 통합 이미지를 획득하는 단계는 상기 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함하는지 여부를 판단하는 단계; 상기 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함한다고 판단되면, 자동으로 상기 통합 이미지를 촬영하는 단계; 및 상기 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함하지 않는다고 판단되면, 사용자의 입력에 따라 상기 통합 이미지를 촬영하는 단계를 포함할 수 있다. The acquiring of the integrated image may include determining whether at least a part of the integrated image includes an area meeting a preset standard condition; Photographing the integrated image automatically when it is determined that at least a part of the integrated image includes a region meeting a preset standard condition; And if it is determined that at least a part of the integrated image does not include a region that meets a preset standard condition, photographing the integrated image according to a user input.

일 측에 따른 상품 정보를 제공하는 장치는 대상 상품과 관련된 통합 이미지- 상기 통합 이미지는 상기 대상 상품의 외형 정보, 식별 정보 및 코드 정보 중 적어도 하나를 포함함-를 획득하는 이미지 센서; 상기 대상 상품에 대한 상품 정보를 포함하는 상품 데이터베이스를 저장하는 메모리; 상기 통합 이미지에 기초하여 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하고, 상기 적어도 하나의 인식 모드에 따라, 상기 상품 데이터베이스로부터 상기 대상 상품에 대한 상품 정보를 추출하는 프로세서; 및 상기 상품 정보를 제공하는 출력 인터페이스를 포함한다. According to an aspect, an apparatus for providing commodity information may include: an image sensor obtaining an integrated image associated with a target product, wherein the integrated image includes at least one of appearance information, identification information, and code information of the target product; A memory for storing a product database including product information on the target product; Determine at least one recognition mode among an image recognition mode, a barcode recognition mode, and a QR code recognition mode based on the integrated image, and extract product information on the target product from the product database according to the at least one recognition mode. A processor; And an output interface for providing the product information.

상기 코드 정보는 QR 코드 및 바코드 중 적어도 하나를 포함하고, 상기 프로세서는 상기 통합 이미지가 기 저장된 상품 이미지 및 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부에 기초하여, 상기 이미지 인식 모드, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정할 수 있다.The code information includes at least one of a QR code and a barcode, and the processor is further configured to determine whether the integrated image includes at least one of pre-stored product images and standard images of code information. At least one of a barcode recognition mode and a QR code recognition mode may be determined.

도 1은 일 실시예에 따른 상품 정보를 제공하는 장치가 통합 이미지의 인식에 기초하여 상품 정보를 제공하는 방법을 설명하기 위한 도면.
도 2는 일 실시예에 따른 상품 정보를 제공하는 방법을 나타낸 흐름도.
도 3은 다른 실시예에 따른 상품 정보를 제공하는 방법을 설명하기 위한 도면.
도 4는 도 3에서 설명된 상품 정보를 제공하는 방법을 나타낸 흐름도이다.
도 5는 일 실시예에 따른 상품 데이터베이스를 설명하기 위한 도면.
도 6은 다른 실시예에 따른 상품 정보를 제공하는 방법을 나타낸 흐름도.
도 7은 일 실시예에 따른 통합 이미지를 획득하는 방법을 나타낸 흐름도.
도 8은 일 실시예에 따른 상품 정보를 제공하는 장치의 블록도.1 is a diagram for describing a method of providing, by an apparatus for providing product information, product information based on recognition of an integrated image, according to an exemplary embodiment;
2 is a flowchart illustrating a method of providing commodity information according to an exemplary embodiment.
3 is a view for explaining a method for providing product information according to another embodiment.
4 is a flowchart illustrating a method of providing commodity information described in FIG. 3.
5 is a diagram for describing a merchandise database according to one embodiment;
6 is a flowchart illustrating a method of providing commodity information according to another exemplary embodiment.
7 is a flowchart illustrating a method of obtaining an integrated image according to an embodiment.
8 is a block diagram of an apparatus for providing commodity information according to an exemplary embodiment.

본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Specific structural or functional descriptions disclosed herein are illustrated for the purpose of describing embodiments only in accordance with a technical concept, and the embodiments may be embodied in various other forms and limited to the embodiments described herein. It doesn't work.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but these terms should be understood only for the purpose of distinguishing one component from another. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between. Expressions describing the relationship between the components, such as "between liver" and "immediately between" or "neighboring to" and "direct neighboring to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the stated feature, number, step, operation, component, part, or combination thereof is present, but one or more other features or numbers, It is to be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined herein. Do not.

도 1은 일 실시예에 따른 상품 정보를 제공하는 장치가 통합 이미지의 인식에 기초하여 상품 정보를 제공하는 방법을 설명하기 위한 도면이다. 1 is a diagram for describing a method of providing, by an apparatus for providing product information, product information based on recognition of an integrated image, according to an exemplary embodiment.

도 1을 참조하면, 일 실시예에 따른 상품 정보를 제공하는 장치(이하, '제공 장치')(130)는 대상 상품(target product)(110) 및 대상 상품(110)에 포함된 상표(111), 바코드(Bar code)(113), QR 코드(Quick Response code)(115) 및 마크(117) 등을 촬영할 수 있다. 여기서, '대상 상품(110)에 포함'된다는 것은 대상 상품(110) 자체뿐만 아니라, 대상 상품(110)의 포장지나 상품택 등과 같은 대상 상품의 부착물 등을 모두 포함하는 의미로 이해될 수 있다. Referring to FIG. 1, an apparatus for providing product information (hereinafter, 'providing device') 130 according to an exemplary embodiment may include a target product 110 and a trademark 111 included in the target product 110. ), A bar code 113, a quick response code 115, a mark 117, and the like can be photographed. Here, the term 'included in the target product 110' may be understood to include not only the target product 110 itself but also all the attachments of the target product, such as a wrapping paper or a merchandise of the target product 110.

제공 장치(130)는 예를 들어, 사용자의 스마트 폰, 각종 웨어러블 디바이스, 및 기타 컴퓨팅 장치를 포함할 수 있다. 또는 제공 장치(130)는 예를 들어, 단일의 서버 컴퓨터 또는 이와 유사한 시스템이거나, 또는 하나 이상의 서버 뱅크들(server banks) 또는 그 외 다른 배열들로 배열되는 복수의 서버들일 수 있다. 제공 장치(130)는 단일 시설에 놓일 수도 있고, 혹은 많은 서로 다른 지리적 위치들 간에 분산된 서버 "클라우드(cloud)"일 수도 있다. The providing device 130 may include, for example, a user's smartphone, various wearable devices, and other computing devices. Alternatively, the providing device 130 may be, for example, a single server computer or a similar system, or may be a plurality of servers arranged in one or more server banks or other arrangements. The providing device 130 may be located in a single facility or may be a server "cloud" distributed among many different geographic locations.

또는, 제공 장치(130)는 백화점 또는 마트 등에 설치된 쇼핑 카트(shopping cart) 일 수도 있다. 이 밖에도 제공 장치(130)는 사용자의 스마트 폰에 설치되는 어플리케이션의 형태로 구현될 수도 있다.Alternatively, the providing apparatus 130 may be a shopping cart installed in a department store or a mart. In addition, the providing apparatus 130 may be implemented in the form of an application installed in the user's smart phone.

제공 장치(130)는 대상 상품(110)을 촬영하여 대상 상품과 관련된 통합 이미지를 획득할 수 있다. 이때, 통합 이미지는 예를 들어, 대상 상품(110) 자체의 외형, 또는 형태를 포함하는 외형 정보, 대상 상품(110)에 포함된 상표(111), 마크(117) 등과 같은 식별 정보, 대상 상품(110)에 포함된 바코드(113), 및 QR 코드(115) 등과 같은 코드 정보 등을 포함할 수 있다. The providing apparatus 130 may acquire the integrated image related to the target product by photographing the target product 110. In this case, the integrated image may include, for example, appearance information including the appearance or form of the target product 110 itself, identification information such as a trademark 111, a mark 117, etc. included in the target product 110, a target product. Code information such as a barcode 113 included in the 110 and the QR code 115 may be included.

실시예에 따라서, 제공 장치(130)는 제공 장치(130)와 구별되는 외부의 별도장치에 의해 촬영된 통합 이미지를 수신함으로써 통합 이미지를 획득하거나, 제공 장치(130)에 미리 저장된 이미지를 통합 이미지로 획득할 수 있다. According to an exemplary embodiment, the providing apparatus 130 may acquire an integrated image by receiving an integrated image photographed by an external separate device that is distinguished from the providing apparatus 130, or may integrate the image stored in advance in the providing apparatus 130. Can be obtained as

제공 장치(130)는 통합 이미지가 단순한 상품 이미지를 포함하는지, 바코드의 규격 이미지 또는 QR 코드의 규격 이미지를 포함하는지 혹은 이들의 조합을 포함하는지에 따라 인식 모드를 결정할 수 있다. 인식 모드는 예를 들어, 이미지 인식 모드, QR 코드 인식 모드 및 바코드 인식 모드 등을 포함할 수 있다. The providing device 130 may determine the recognition mode according to whether the integrated image includes a simple product image, a standard image of a barcode, a standard image of a QR code, or a combination thereof. The recognition mode may include, for example, an image recognition mode, a QR code recognition mode, a barcode recognition mode, and the like.

예를 들어, 인식 모드가 이미지 인식 모드로 결정되면, 제공 장치(130)는 통합 이미지에 포함된 대상 상품(110)의 상표, 마크, 텍스트 및 로고 등과 같은 이미지를 인식 또는 판독할 수 있다. 인식 모드가 QR 코드 인식 모드로 결정되면, 제공 장치(130)는 통합 이미지에 포함된 QR 코드를 판독할 수 있다. 인식 모드가 바코드 인식 모드로 결정되면, 제공 장치(130)는 통합 이미지에 포함된 바코드를 판독할 수 있다. For example, when the recognition mode is determined as the image recognition mode, the providing device 130 may recognize or read an image such as a trademark, a mark, a text, a logo, and the like of the target product 110 included in the integrated image. When the recognition mode is determined as the QR code recognition mode, the providing device 130 may read the QR code included in the integrated image. When the recognition mode is determined as the barcode recognition mode, the providing apparatus 130 may read the barcode included in the integrated image.

제공 장치(130)는 인식 모드에 따른 판독 결과를 기초로, 상품 데이터베이스(150)로부터 대상 상품(110)에 대한 상품 정보를 추출하여 사용자 등에게 제공할 수 있다. 예를 들어, 제공 장치(130)는 이미지 인식 모드에 따라 인식된 상품 이미지와 상품 데이터베이스(150)에 기 저장된 상품 이미지를 비교하여 동일한 경우, 상품 데이터베이스(150)에서 기 저장된 상품 이미지에 대응하는 상품 정보를 추출할 수 있다. 또한, 제공 장치(130)는 바코드(또는 QR 코드) 인식 모드에 따라 바코드(또는 QR 코드)로부터 대상 상품(110)의 시리얼 넘버(Serial Number)(또는 URL) 등을 판독하고, 상품 데이터베이스(150)로부터 시리얼 넘버(또는 URL)에 대응하는 상품 정보를 추출하여 사용자에게 제공할 수 있다. The providing device 130 may extract product information about the target product 110 from the product database 150 and provide the same to the user based on the read result according to the recognition mode. For example, the providing device 130 compares a product image recognized according to an image recognition mode with a product image previously stored in the product database 150, and when the product image is the same, the product corresponding to the product image previously stored in the product database 150 is identical. Information can be extracted. In addition, the providing device 130 reads the serial number (or URL) of the target product 110 and the like from the barcode (or QR code) according to the barcode (or QR code) recognition mode, and the product database 150. ), Product information corresponding to the serial number (or URL) may be extracted and provided to the user.

제공 장치(130)는 유, 무선 네트워크를 통하여 상품 데이터베이스(150)에 접속할 수 있다.The providing device 130 may access the product database 150 through a wired or wireless network.

상품 데이터베이스(150)는 복수의 상품들 각각에 대응하는 상품 이미지, 상표, 마크, 텍스트 및 로고 등과 같은 이미지뿐만 아니라, 서로 다른 레벨의 상품 정보를 포함할 수 있다. 상품 데이터베이스(150)는 상품 이미지에 대응하는 제1 레벨의 상품 정보를 포함할 수도 있고, 시리얼 넘버 또는 URL 등에 대응하는 제2 레벨의 상품 정보를 포함할 수도 있다. The product database 150 may include product information of different levels as well as images such as product images, trademarks, marks, texts, and logos corresponding to each of the plurality of products. The merchandise database 150 may include merchandise information of a first level corresponding to a merchandise image, or may include merchandise information of a second level corresponding to a serial number or a URL.

예를 들어, 제1 레벨의 상품 정보는 해당 상품의 상품 이미지, 제조사, 및 상품명 등을 포함할 수 있다. 또는 제2 레벨의 상품 정보는 제1 레벨의 상품 정보에 더하여 예를 들어, 상품 성분, 용량, 유통 기한, 구입, 교환처, 유의 사항 등과 같은 보다 구체적인 상품 관련 정보들을 포함할 수 있다. 제2 레벨의 상품 정보가 상술한 예에 한정되는 것은 아니고, 이 밖에도, 다양한 상품 관련 정보들을 더 포함할 수 있다. For example, the product information of the first level may include a product image, a manufacturer, a product name, and the like of the corresponding product. Alternatively, the second level product information may include, in addition to the first level product information, more specific product related information such as, for example, a product component, a capacity, an expiration date, a purchase, an exchange destination, and an attention point. The second level of product information is not limited to the above-described example, and may further include various product related information.

상품 데이터베이스(150)는 도 1에 도시된 것과 같이 제공 장치(130)와 별개로 이격되거나, 또는 제공 장치(130) 내에 포함될 수 있다. 상품 데이터베이스(150)에 정보를 저장하는 방법은 도 5를 참조하여 설명한다. The merchandise database 150 may be spaced apart from the providing device 130 as shown in FIG. 1 or may be included in the providing device 130. A method of storing information in the product database 150 will be described with reference to FIG. 5.

도 2는 일 실시예에 따른 상품 정보를 제공하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 제공 장치는 대상 상품과 관련된 통합 이미지를 획득한다(210). 통합 이미지는 대상 상품의 외형 정보, 식별 정보 및 코드 정보 중 적어도 하나를 포함한다. 제공 장치가 통합 이미지를 획득하는 방법은 도 7을 참조하여 구체적으로 설명한다. 2 is a flowchart illustrating a method of providing commodity information according to an exemplary embodiment. 2, in operation 210, the providing apparatus acquires an integrated image related to a target product. The integrated image includes at least one of appearance information, identification information, and code information of the target product. A method of obtaining an integrated image by the providing apparatus will be described in detail with reference to FIG. 7.

제공 장치는 통합 이미지에 기초하여 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정한다(220). 제공 장치는 통합 이미지가 기 저장된 상품 이미지 및 기 저장된 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부에 기초하여, 적어도 하나의 인식 모드를 결정할 수 있다. 통합 이미지는 상품 이미지, 바코드의 규격 이미지, 및 QR 코드 이미지의 규격 이미지 중 어느 하나의 이미지를 포함하거나, 또는 이들의 조합을 포함할 수 있다. The providing apparatus determines at least one recognition mode among an image recognition mode, a barcode recognition mode, and a QR code recognition mode based on the integrated image (220). The providing apparatus may determine at least one recognition mode based on whether the integrated image includes at least one of pre-stored product images and standard images of pre-stored code information. The integrated image may include an image of any one of a product image, a standard image of a barcode, and a standard image of a QR code image, or a combination thereof.

바코드는 대상 상품의 제조 업체 또는 유통 업체가 대상 제품의 포장지 등에 8~16 개의 세로 줄로 생산국, 제조업체, 상품 종류, 유통 경로 등을 저장할 수 있다. 이 때, 바코드 아래에는 예를 들어, 13개의 숫자가 포함될 수 있다. 13개의 숫자들 중 앞쪽 세 자리 숫자는 국가별 식별 코드를, 다음의 네 자리 숫자는 업체 별 고유 코드를, 그 다음의 다섯 자리 숫자는 제조 업체 코드를 부여 받은 업체가 자사에서 상품에 부여하는 코드에 해당할 수 있다. 마지막의 한 자리 숫자는 바코드가 정확히 구성되어 있는가를 보장해 주는 컴퓨터 체크 디지트(check digit)로, 신뢰도를 높여 줄 수 있다. The barcode can store the producing country, manufacturer, product type, distribution channel, etc. in 8 to 16 vertical lines on the package of the target product. At this time, for example, 13 numbers may be included below the barcode. The first three digits of the 13 numbers are country-specific identification codes, the next four digits are vendor specific codes, and the next five digits are the codes assigned by the vendor to the company. It may correspond to. The last single digit is a computer check digit that ensures that the barcode is configured correctly, which can increase reliability.

또한, QR 코드는 2차원 바코드로서, 예를 들어, 2 cm2 또는 0.5 cm2 크기의 정사각형 내에 흑백 격자 무늬 패턴을 포함할 수 있다. In addition, the QR code is a two-dimensional barcode, for example, may include a black and white plaid pattern in a square of 2 cm 2 or 0.5 cm 2 size.

일 실시예에서 '바코드의 규격 이미지'는 예를 들어, 8~16 개의 세로 줄 아래에 13개의 숫자가 포함된 이미지에 해당할 수 있다. 또한, 'QR 코드의 규격 이미지'는 예를 들어, 2 cm2 또는 0.5 cm2 크기의 정사각형 내에 흑백 격자 무늬 패턴이 포함된 이미지에 해당할 수 있다. 이 밖에도, 바코드의 규격 이미지 및 QR 코드의 규격 이미지는 각 국가 또는 세계 공통의 바코드 또는 QR 코드의 규격에 부합하는 다양한 규격 이미지에 해당할 수 있다. In one embodiment, the 'standard image of the barcode' may correspond to, for example, an image including 13 numbers under 8 to 16 vertical lines. In addition, the 'standard image of the QR code' may correspond to, for example, an image in which a black and white plaid pattern is included in a square having a size of 2 cm 2 or 0.5 cm 2 . In addition, the standard image of the barcode and the standard image of the QR code may correspond to various standard images that conform to the standard of the bar code or QR code common to each country or the world.

또한, 통합 이미지에 상품 이미지, 바코드의 규격 이미지, 및 QR 코드의 규격 이미지의 조합이 포함된 경우, 제공 장치가 인식 모드를 결정하는 방법은 다음과 같다.In addition, when the integrated image includes a combination of a commodity image, a standard image of a barcode, and a standard image of a QR code, the method of determining the recognition mode by the providing apparatus is as follows.

제공 장치는 통합 이미지가 상품 데이터베이스 등에 기 저장된 상품 이미지를 포함하는 경우, 이미지 인식 모드를 인식 모드로 결정할 수 있다. 제공 장치는 통합 이미지가 기 저장된 상품 이미지 및 기 저장된 QR 코드의 규격 이미지를 포함하는 경우, QR 코드 인식 모드를 인식 모드로 결정할 수 있다. 제공 장치는 통합 이미지가 기 저장된 상품 이미지 및 기 저장된 바코드의 규격 이미지를 포함하는 경우, 바코드 인식 모드를 인식 모드로 결정할 수 있다. When the integrated image includes a product image previously stored in a product database or the like, the providing apparatus may determine the image recognition mode as the recognition mode. When the integrated image includes a pre-stored product image and a standard image of the pre-stored QR code, the providing device may determine the QR code recognition mode as the recognition mode. When the integrated image includes a pre-stored product image and a standard image of a pre-stored barcode, the providing apparatus may determine the barcode recognition mode as the recognition mode.

또는, 제공 장치는 통합 이미지에 포함된 상품 이미지 및 코드 정보의 이미지의 이미지 품질이 미리 설정된 기준에 해당하는지 여부에 따라, 인식 모드를 결정할 수 있다. Alternatively, the providing apparatus may determine the recognition mode according to whether the image quality of the product image and the code information included in the integrated image correspond to a preset criterion.

여기서, '이미지 품질이 미리 설정된 기준에 해당한다'는 것은 통합 이미지에 상품 이미지(및/또는 코드 정보의 이미지)의 일부가 아닌 전체가 포함되어 있으며, 상품 이미지(및/또는 코드 정보의 이미지)를 통해 해당 상품을 인식하기에 충분한 정도의 명확성을 가지는 것으로 이해될 수 있다. 예를 들어, 통합 이미지에 상품 이미지(및/또는 코드 정보의 이미지)의 일부만이 포함되거나, 상품 이미지(및/또는 코드 정보의 이미지)가 다른 이미지와 겹쳐지거나 또는 분리되어 판독이 어려운 경우, 또는 상품 이미지(및/또는 코드 정보의 이미지)가 흐려서 명확한 식별이 어려운 경우, 제공 장치는 이미지 품질이 미리 설정된 기준에 해당하지 않는 것으로 보아 인식 모드를 결정하지 않을 수 있다. Here, 'the image quality corresponds to a preset criterion' means that the integrated image includes the entire product image (and / or the image of the code information), not a part of the product image (and / or the image of the code information). It can be understood to have a degree of clarity sufficient to recognize the product through. For example, the integrated image contains only part of the product image (and / or the image of the code information), or the product image (and / or the image of the code information) overlaps or separates from another image, making it difficult to read, or If the product image (and / or the image of the code information) is blurred and it is difficult to clearly identify, the providing apparatus may not determine the recognition mode because the image quality does not correspond to a preset criterion.

예를 들어, 통합 이미지가 상품 데이터베이스에 기 저장된 QR 코드 규격 이미지 및 기 저장된 상품 이미지를 함께 포함한다고 하자. 제공 장치는 통합 이미지에 포함된 QR 코드 규격 이미지의 이미지 품질이 미리 설정된 기준에 해당하면 QR 코드 인식 모드를 인식 모드로 결정할 수 있다. QR 코드 규격 이미지의 이미지 품질 및 상품 이미지의 이미지 품질이 모두 미리 설정된 기준에 해당하는 경우에도 마찬가지로, 제공 장치는 QR 코드 인식 모드를 인식 모드로 결정할 수 있다. For example, assume that the integrated image includes a QR code standard image previously stored in the product database and a previously stored product image. The providing device may determine the QR code recognition mode as the recognition mode when the image quality of the QR code standard image included in the integrated image corresponds to a preset criterion. Similarly, even when both the image quality of the QR code standard image and the image quality of the product image correspond to a preset standard, the providing apparatus may determine the QR code recognition mode as the recognition mode.

또는 제공 장치는 통합 이미지에 포함된 바코드 규격 이미지의 이미지 품질이 미리 설정된 기준에 해당하면 바코드 인식 모드를 인식 모드로 결정할 수 있다. 바코드 규격 이미지의 이미지 품질 및 상품 이미지의 이미지 품질이 모두 미리 설정된 기준에 해당하는 경우, 제공 장치는 바코드 인식 모드를 인식 모드로 결정할 수 있다. 제공 장치는 통합 이미지에 포함된 바코드 규격 이미지의 이미지 품질이 미리 설정된 기준에 해당하지 않고, 통합 이미지에 포함된 상품 이미지의 이미지 품질이 미리 설정된 기준에 해당하면, 이미지 인식 모드를 인식 모드로 결정할 수 있다. Alternatively, the providing apparatus may determine the barcode recognition mode as the recognition mode when the image quality of the barcode specification image included in the integrated image corresponds to a preset criterion. When both the image quality of the barcode standard image and the image quality of the product image correspond to a preset standard, the providing apparatus may determine the barcode recognition mode as the recognition mode. If the image quality of the barcode standard image included in the integrated image does not correspond to a preset standard, and the image quality of the product image included in the integrated image corresponds to a preset standard, the providing device may determine the image recognition mode as the recognition mode. have.

제공 장치는 통합 이미지에 포함된 QR 코드 이미지의 이미지 품질이 미리 설정된 기준에 해당하지 않고, 상품 이미지의 이미지 품질이 미리 설정된 기준에 해당하면 이미지 인식 모드를 인식 모드로 결정할 수 있다.The providing apparatus may determine the image recognition mode as the recognition mode when the image quality of the QR code image included in the integrated image does not correspond to a preset standard and the image quality of the product image corresponds to a preset standard.

또는 제공 장치는 예를 들어, QR 코드의 규격 이미지가 바코드의 규격 이미지보다 더 높은 이미지 품질을 갖는 경우, QR 코드 인식 모드를 인식 모드로 결정할 수 있다. 제공 장치는 바코드의 규격 이미지가 QR 코드의 규격 이미지보다 더 높은 이미지 품질을 갖는 경우, 바코드 인식 모드를 인식 모드로 결정할 수 있다. Or, for example, when the standard image of the QR code has a higher image quality than the standard image of the barcode, the providing apparatus may determine the QR code recognition mode as the recognition mode. When the standard image of the barcode has a higher image quality than the standard image of the QR code, the providing apparatus may determine the barcode recognition mode as the recognition mode.

제공 장치는 단계(220)에서 결정된 적어도 하나의 인식 모드에 따라, 상품 데이터베이스로부터 대상 상품에 대한 상품 정보를 추출한다(230). 제공 장치는 단계(220)에서 결정된 적어도 하나의 인식 모드에 따라 통합 이미지를 판독하고, 판독 결과를 기초로, 상품 데이터베이스로부터 대상 상품에 대한 상품 정보를 추출할 수 있다. The providing apparatus extracts product information on the target product from the product database according to the at least one recognition mode determined in operation 220 (230). The providing apparatus may read the integrated image according to the at least one recognition mode determined in step 220, and extract product information about the target product from the product database based on the read result.

제공 장치는 단계(230)에서 추출한 상품 정보를 제공한다(240).The providing device provides the product information extracted in operation 230 (240).

도 3은 다른 실시예에 따른 상품 정보를 제공하는 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 일 실시예에 따른 제공 장치(130)는 인식 모드에 따라 추출된 상품 정보의 레벨에 기초하여, 단계 별로 상품 정보를 제공할 수 있다. 3 is a diagram for describing a method of providing commodity information according to another exemplary embodiment. Referring to FIG. 3, the providing apparatus 130 according to an embodiment may provide product information step by step based on the level of the extracted product information according to the recognition mode.

예를 들어, 사용자가 제공 장치(130)를 이용하여 대상 상품(예를 들어, 자켓)(110)을 촬영함에 따라 자켓의 이미지가 통합 이미지로 획득되었다고 하자.For example, as the user photographs the target product (eg, the jacket) 110 using the providing device 130, it is assumed that an image of the jacket is obtained as an integrated image.

제공 장치(130)는 통합 이미지(자켓의 이미지)가 상품 데이터베이스(150)에 기 저장된 상품 이미지에 해당한다고 판단되면, 이미지 인식 모드를 인식 모드로 결정할 수 있다. 제공 장치(130)는 이미지 인식 모드에 따라 상품 데이터베이스(150)에 기 저장된 상품 이미지(자켓 이미지)에 대응하는 상품 정보를 추출하여 자켓에 관한 상품 정보를 제공할 수 있다. 이때, 대상 상품(110)에 대한 상품 정보의 레벨이 상품에 대한 간략 정보를 포함하는 제1 레벨이라고 하자.If it is determined that the integrated image (the image of the jacket) corresponds to a product image previously stored in the product database 150, the providing device 130 may determine the image recognition mode as the recognition mode. The providing device 130 may provide product information about the jacket by extracting product information corresponding to a product image (jacket image) previously stored in the product database 150 according to the image recognition mode. In this case, it is assumed that the level of the product information on the target product 110 is a first level including brief information about the product.

제공 장치(130)는 대상 상품(110)에 대한 보다 구체적인 제2 레벨의 상품 정보를 획득하기 위하여, 사용자에게 대상 상품(110)과 관련된 이미지를 추가 촬영할 것을 안내할 수 있다. 제공 장치(130)는 예를 들어, 대상 상품(110)에 부착된 바코드 혹은 QR 코드를 추가 촬영할 것을 안내(또는 유도)할 수 있다. The providing device 130 may guide the user to additionally photograph an image related to the target product 110 in order to acquire more detailed second level product information about the target product 110. For example, the providing device 130 may guide (or induce) to additionally photograph a barcode or a QR code attached to the target product 110.

안내에 따라 사용자가 대상 상품(110)의 바코드 혹은 QR 코드를 추가로 촬영한 경우, 제공 장치(130)는 추가 촬영된 이미지(예를 들어, QR 코드 또는 바코드)가 상품 데이터베이스(150)에 기 저장된 코드 정보의 규격 이미지를 포함하는지를 판단할 수 있다. 추가 촬영된 이미지가 기 저장된 코드 정보의 규격 이미지를 포함한다고 판단되면, 제공 장치(130)는 바코드 인식 모드 및 QR 코드 인식 모드 중 어느 하나의 인식 모드를 재결정할 수 있다. 제공 장치(130)는 재결정된 인식 모드에 따라, 추가 촬영된 이미지를 판독할 수 있다. 제공 장치(130)는 판독 결과를 기초로, 상품 데이터베이스(150)로부터 대상 상품(110)에 대한 상품 정보(제2 레벨의 상품 정보)를 추출할 수 있다. When the user additionally photographed a barcode or QR code of the target product 110 according to the guidance, the providing device 130 writes the additionally photographed image (for example, a QR code or barcode) to the product database 150. It may be determined whether a standard image of the stored code information is included. If it is determined that the additionally photographed image includes a standard image of pre-stored code information, the providing apparatus 130 may re-determine any one of a barcode recognition mode and a QR code recognition mode. The providing device 130 may read the additionally photographed image according to the re-determined recognition mode. The providing device 130 may extract product information (product information of the second level) of the target product 110 from the product database 150 based on the read result.

도 4는 도 3에서 설명된 상품 정보를 제공하는 방법을 나타낸 흐름도이다. 도 4를 참조하면, 일 실시예에 따른 제공 장치는 대상 상품과 관련된 통합 이미지를 획득한다(405).4 is a flowchart illustrating a method of providing commodity information described in FIG. 3. Referring to FIG. 4, in operation 405, the providing apparatus acquires an integrated image related to a target product.

제공 장치는 통합 이미지에 기초하여 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정한다(410).The providing apparatus determines at least one recognition mode among an image recognition mode, a barcode recognition mode, and a QR code recognition mode based on the integrated image (410).

제공 장치는 단계(410)에서 결정된 적어도 하나의 인식 모드에 따라, 상품 데이터베이스로부터 대상 상품에 대한 상품 정보를 추출한다(415).The providing apparatus extracts product information about the target product from the product database according to the at least one recognition mode determined in step 410 (415).

제공 장치는 적어도 하나의 인식 모드에 따라 추출된 상품 정보의 레벨에 기초하여, 사용자에게 대상 상품과 관련된 이미지를 추가 촬영할 것을 안내할 수 있다. 제공 장치는 단계(410)에서 결정된 적어도 하나의 인식 모드에 따라 단계(415)에서 추출된 상품 정보의 레벨이 제1 레벨인지를 판단할 수 있다(420).The providing apparatus may guide the user to additionally photograph an image related to the target product based on the level of the product information extracted according to the at least one recognition mode. The providing device may determine whether the level of the product information extracted in step 415 is the first level according to the at least one recognition mode determined in step 410 (420).

단계(420)에서 상품 정보의 레벨이 제1 레벨이 아니라고 판단되면(다시 말해 상품 정보의 레벨이 제2 레벨이라고 판단되면), 제공 장치는 제2 레벨의 상품 정보를 제공할 수 있다(455).If it is determined in step 420 that the level of the product information is not the first level (in other words, it is determined that the level of the product information is the second level), the providing device may provide the product information of the second level (455). .

단계(420)에서 상품 정보의 레벨이 제1 레벨이라고 판단되면, 제공 장치는 사용자에게 대상 상품과 관련된 QR 코드 또는 바코드를 추가 촬영할 것을 안내할 수 있다(425). If it is determined in step 420 that the level of product information is the first level, the providing device may guide the user to additionally photograph the QR code or barcode associated with the target product (425).

제공 장치는 단계(425)의 안내에 따라 추가 촬영된 코드(QR 코드 또는 바코드)가 기 저장된 코드 정보의 규격 이미지를 포함하는지 여부에 판단할 수 있다(430).The providing apparatus may determine whether the additionally photographed code (QR code or barcode) includes a standard image of pre-stored code information according to the guidance of step 425 (430).

단계(430)에서 추가 촬영된 코드가 상품 데이터베이스에 기 저장된 코드 정보의 규격 이미지를 포함하지 않는다고 판단되면, 제공 장치는 단계(415)에서 추출된 상품 정보(다시 말해, 제1 레벨의 상품 정보)를 제공할 수 있다(435).If it is determined in step 430 that the additionally photographed code does not include the standard image of the code information previously stored in the product database, the providing apparatus may extract the product information extracted in step 415 (that is, the product information of the first level). 435 may be provided.

단계(430)에서 추가 촬영된 코드가 상품 데이터베이스에 기 저장된 코드 정보의 규격 이미지를 포함한다고 판단되면, 제공 장치는 바코드 인식 모드 및 QR 코드 인식 모드 중 어느 하나의 인식 모드를 재결정할 수 있다(440).If it is determined in step 430 that the additionally photographed code includes a standard image of code information previously stored in the product database, the providing device may re-determine any one of a barcode recognition mode and a QR code recognition mode (440). ).

제공 장치는 단계(440)에서 재결정된 인식 모드에 따라, 통합 이미지를 판독할 수 있다(445). The providing device may read the integrated image 445 according to the recognition mode re-determined in step 440.

제공 장치는 단계(445)의 판독 결과를 기초로, 상품 데이터베이스로부터 대상 상품에 대한 제2 레벨의 상품 정보를 추출할 수 있다(450).The providing apparatus may extract the second level of product information on the target product from the product database based on the reading result of step 445 (450).

제공 장치는 단계(450)에서 추출한 제2 레벨의 상품 정보를 제공할 수 있다(455).In operation 455, the providing apparatus may provide the second level of product information extracted in operation 450.

도 5는 일 실시예에 따른 상품 데이터베이스를 설명하기 위한 도면이다. 도 5를 참조하면, 일 실시예에 따른 상품 데이터베이스(150)가 도시된다. 5 is a diagram illustrating a product database, according to an exemplary embodiment. Referring to FIG. 5, a merchandise database 150 is shown, according to one embodiment.

상품 데이터베이스(150)는 복수의 상품들 각각에 대응하는 상품 정보를 포함할 수 있다. 여기서, 복수의 상품들은 '상품 원소들'이라고도 부를 수 있다. The product database 150 may include product information corresponding to each of the plurality of products. Here, the plurality of products may also be referred to as 'product elements'.

복수의 상품들 각각은 공산품 라벨 등록을 통하여 상품 데이터베이스(150)에 등록될 수 있다. 복수의 상품들 각각은 복수의 상품들 각각에 대한 공산품 라벨 정보를 기초로 데이터베이스(150)에 등록될 수 있다.Each of the plurality of products may be registered in the product database 150 through a product label registration. Each of the plurality of products may be registered in the database 150 based on industrial product label information for each of the plurality of products.

또는 복수의 상품들 각각은 복수의 상품들을 취급하는 가맹점에 의해 등록된 정보를 기초로 상품 데이터베이스(150)에 등록될 수 있다. 이 경우, 통합 이미지의 인식을 통한 서비스를 제공하는 기업체의 비즈니스 모델로 상품 데이터베이스(150)에 등록 가능한 슬롯들이 가맹점들에 유상으로 판매될 수 있다.Alternatively, each of the plurality of products may be registered in the product database 150 based on information registered by the affiliate store that handles the plurality of products. In this case, slots that can be registered in the product database 150 may be sold to merchants for a fee as a business model of an enterprise providing a service through recognition of the integrated image.

도 6은 다른 실시예에 따른 상품 정보를 제공하는 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 제공 장치는 대상 상품과 관련된 통합 이미지를 획득한다(610). 6 is a flowchart illustrating a method of providing commodity information according to another exemplary embodiment. Referring to FIG. 6, in operation 610, the providing apparatus obtains an integrated image related to a target product.

제공 장치는 단계(610)에서 획득한 통합 이미지가 상품 데이터베이스에 기 저장된 상품 이미지, 및 코드 정보의 규격 이미지 중 적어도 하나를 포함하는지 여부를 판단할 수 있다(620). 단계(620)에서, 통합 이미지가 기 저장된 상품 이미지, 및 코드 정보의 규격 이미지를 포함하지 않는 것으로 판단되는 경우는 예를 들어, 통합 이미지와 일치하는 상품 이미지가 상품 데이터베이스에 저장되어 있지 않은 경우뿐만 아니라, 통합 이미지와 일치하는 상품 이미지가 상품 데이터베이스에 저장되어 있으나 통합 이미지의 촬영 품질이 떨어져 일치하지 않는 것으로 판단되는 경우 및 통합 이미지가 코드 정보의 규격 이미지와 일치하지 않는 경우를 모두 포함하는 의미로 이해될 수 있다. In operation 620, the providing apparatus may determine whether the integrated image acquired in operation 610 includes at least one of a product image previously stored in a product database and a standard image of code information. In step 620, when it is determined that the integrated image does not include a pre-stored product image and a standard image of code information, for example, only when a product image corresponding to the integrated image is not stored in the product database. In other words, the merchandise image matching the unified image is stored in the commodity database, but the shooting quality of the unified image is judged to be inconsistent due to poor quality, and the unified image does not match the standard image of the code information. Can be understood.

단계(620)에서 통합 이미지가 기 저장된 상품 이미지, 코드 정보의 규격 이미지 중 적어도 하나를 포함하지 않는다고 판단되면, 제공 장치는 사용자에게 대상 상품과 관련된 이미지를 추가 촬영할 것을 안내할 수 있다(630). 단계(630)에서 제공장치는 대상 상품과 관련된 상품 이미지, 바코드 이미지, QR 코드 이미지 중 적어도 하나를 추가 촬영할 것을 안내할 수 있다. If it is determined in operation 620 that the integrated image does not include at least one of a pre-stored product image and a standard image of code information, the providing apparatus may guide the user to additionally photograph an image related to the target product (630). In operation 630, the providing apparatus may guide to photograph at least one of a product image, a barcode image, and a QR code image related to the target product.

제공 장치는 단계(630)의 안내에 따라 추가 촬영된 이미지가 상품 데이터베이스에 기 저장된 상품 이미지 및 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부를 판단할 수 있다(640). 단계(640)에서 추가 촬영된 이미지가 상품 데이터베이스에 기 저장된 상품 이미지 및 코드 정보의 규격 이미지들 중 적어도 하나를 포함하지 않는다고 판단되면, 제공 장치는 동작을 종료할 수 있다. In operation 640, the providing apparatus may determine whether the additionally photographed image includes at least one of product images previously stored in a product database and standard images of code information. If it is determined in step 640 that the additionally photographed image does not include at least one of standard images of the product image and code information pre-stored in the product database, the providing apparatus may end the operation.

단계(640)에서 추가 촬영된 이미지가 상품 데이터베이스에 기 저장된 상품 이미지 및 코드 정보의 규격 이미지들 중 적어도 하나를 포함한다고 판단되면, 제공 장치는 추가 촬영된 이미지에 대응하는 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 재결정할 수 있다(650).If it is determined in step 640 that the additionally photographed image includes at least one of standard images of a product image and code information pre-stored in a product database, the providing apparatus may determine an image recognition mode and a barcode recognition mode corresponding to the additionally captured image. And re-determining at least one recognition mode from the QR code recognition mode (650).

제공 장치는 단계(650)에서 재결정된 인식 모드에 따라, 통합 이미지를 판독하고(670), 판독 결과를 기초로, 상품 데이터베이스로부터 대상 상품에 대한 상품 정보를 추출할 수 있다(680). 제공 장치는 단계(680)에서 추출한 상품 정보를 사용자에게 제공할 수 있다(690). The providing apparatus may read the integrated image 670 according to the recognition mode re-determined in step 650, and extract product information about the target product from the product database based on the reading result (680). The providing device may provide the user with the product information extracted in operation 680 (690).

단계(620)에서 통합 이미지가 기 저장된 상품 이미지, 및 코드 정보의 규격 이미지 중 적어도 하나를 포함한다고 판단되면, 제공 장치는 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정할 수 있다(660). If it is determined in operation 620 that the integrated image includes at least one of a pre-stored product image and a standard image of code information, the providing apparatus may select at least one recognition mode among an image recognition mode, a barcode recognition mode, and a QR code recognition mode. It may be determined 660.

제공 장치는 단계(660)에서 결정된 적어도 하나의 인식 모드에 따라, 통합 이미지를 판독하고(670), 판독 결과를 기초로, 상품 데이터베이스로부터 대상 상품에 대한 상품 정보를 추출할 수 있다(680).The providing apparatus may read the integrated image 670 according to the at least one recognition mode determined in operation 660, and extract product information about the target product from the product database based on the reading result (680).

제공 장치는 단계(670)에서 추출한 상품 정보를 예를 들어, 제공 장치에 구비된 디스플레이 등을 통해 제공할 수 있다(690). The providing device may provide the product information extracted in operation 670 through, for example, a display provided in the providing device (690).

도 7은 일 실시예에 따른 통합 이미지를 획득하는 방법을 나타낸 흐름도이다. 도 7을 참조하면, 일 실시예에 따른 제공 장치는 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함하는지 여부를 판단할 수 있다(710). 여기서, '통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함한다'는 것은 예를 들어, 통합 이미지가 바코드의 규격에 해당하는 영역 또는 QR 코드의 규격에 해당하는 영역을 포함하는 것으로 이해될 수 있다. 7 is a flowchart illustrating a method of obtaining an integrated image, according to an exemplary embodiment. Referring to FIG. 7, in operation 710, the providing apparatus according to an exemplary embodiment may determine whether at least a part of the integrated image includes a region that meets a preset standard condition. Here, 'at least a part of the integrated image includes an area that meets a preset specification condition' means that the integrated image includes an area corresponding to a standard of a barcode or an area corresponding to a standard of a QR code. Can be understood.

예를 들어, 단계(710)에서 통합 이미지의 적어도 일부가 일정 간격 또는 서로 다른 간격으로 8~16개의 세로 줄 및 해당 세로 줄들의 아래의 13개의 숫자가 표시된 영역을 포함하는 경우, 제공 장치는 통합 이미지가 바코드의 규격 조건에 부합하는 영역을 포함하는 것으로 판단할 수 있다. For example, if at least a portion of the unified image at step 710 includes 8-16 vertical rows and 13 numbered areas below those vertical rows at regular or different intervals, then the providing device is integrated. It can be determined that the image includes an area that meets the specifications of the barcode.

또는, 단계(710)에서 통합 이미지의 적어도 일부가 2 cm2 또는 0.5 cm2 크기의 흑백 격자 무늬 패턴이 포함된 정사각형이 표시된 영역을 포함하는 경우, 제공 장치는 통합 이미지가 QR 코드의 규격 조건에 부합하는 영역을 포함하는 것으로 판단할 수 있다. Or, in step 710, if at least a portion of the integrated image comprises a square marked area that includes a black and white plaid pattern of 2 cm 2 or 0.5 cm 2 size, then the providing device may determine that the integrated image is in compliance with the QR code specification. It can be determined to include the matching area.

단계(710)에서 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함한다고 판단되면, 제공 장치는 자동으로 통합 이미지를 촬영할 수 있다(720).If it is determined in step 710 that at least a part of the integrated image includes a region meeting a preset standard condition, the providing apparatus may automatically capture the integrated image (720).

단계(710)에서 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함하지 않는다고 판단되면, 제공 장치는 사용자의 입력에 따라 통합 이미지를 촬영할 수 있다(730). If it is determined in operation 710 that at least a part of the integrated image does not include a region that meets a preset standard condition, the providing device may capture the integrated image according to a user input (730).

도 8은 일 실시예에 따른 상품 정보를 제공하는 장치의 블록도이다. 도 8을 참조하면, 일 실시예에 따른 제공 장치(800)는 이미지 센서(810), 메모리(820), 프로세서(830) 및 출력 인터페이스(840)를 포함한다. 이미지 센서(810), 메모리(820), 프로세서(830) 및 출력 인터페이스(840)는 통신 버스(805)를 통해 서로 연결될 수 있다. 8 is a block diagram of an apparatus for providing product information, according to an exemplary embodiment. Referring to FIG. 8, the providing apparatus 800 according to an embodiment includes an image sensor 810, a memory 820, a processor 830, and an output interface 840. The image sensor 810, the memory 820, the processor 830, and the output interface 840 may be connected to each other via the communication bus 805.

이미지 센서(810)는 대상 상품과 관련된 통합 이미지를 획득(또는 촬영)한다. 통합 이미지는 대상 상품의 외형 정보, 식별 정보 및 코드 정보 중 적어도 하나를 포함한다. 실시예에 따라서, 이미지 센서(810)는 선택적으로 포함될 수도 있다. 예를 들어, 제공 장치(800)는 이미지 센서(810)가 아닌 제공 장치(800)의 외부에서 촬영된 통합 이미지를 수신함으로써 획득할 수도 있다. 이 경우, 제공 장치(810)는 이미지 센서(810)가 아닌 통신 인터페이스(미도시)를 통해 통합 이미지를 수신할 수도 있다. The image sensor 810 acquires (or captures) an integrated image related to the target product. The integrated image includes at least one of appearance information, identification information, and code information of the target product. According to an embodiment, the image sensor 810 may be optionally included. For example, the providing apparatus 800 may be obtained by receiving an integrated image photographed from the outside of the providing apparatus 800 instead of the image sensor 810. In this case, the providing device 810 may receive the integrated image through a communication interface (not shown) instead of the image sensor 810.

메모리(820)는 대상 상품에 대한 상품 정보를 포함하는 상품 데이터베이스를 저장한다. 메모리(820)는 예를 들어, DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), DDR RAM(Double data rate synchronous dynamic random access memory) 또는 다른 고속 액세스 고체 상태 메모리 장치 등과 같은 고속 랜덤 액세스 메모리(high-speed random access memory)를 포함할 수 있다. 메모리(820)는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 메모리(820)는 프로세서(830)로부터 원격에 위치하는 적어도 하나의 저장 장치를 선택적으로 포함할 수 있다.The memory 820 stores a product database including product information on the target product. The memory 820 may be a fast random access device such as, for example, a dynamic random access memory (DRAM), a static random access memory (SRAM), a double data rate synchronous dynamic random access memory (DDR RAM), or another fast access solid state memory device. Memory (high-speed random access memory). The memory 820 may include a volatile memory and a nonvolatile memory. The memory 820 may optionally include at least one storage device remotely located from the processor 830.

프로세서(830)는 통합 이미지에 기초하여 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하고, 적어도 하나의 인식 모드에 따라, 메모리(820)에 저장된 상품 데이터베이스로부터 대상 상품에 대한 상품 정보를 추출한다. The processor 830 determines at least one recognition mode among an image recognition mode, a barcode recognition mode, and a QR code recognition mode based on the integrated image, and according to the at least one recognition mode, the processor 830 may determine an object from a product database stored in the memory 820. Extract product information about the product.

출력 인터페이스(840)는 프로세서(830)에서 추출한 상품 정보를 제공한다. The output interface 840 provides product information extracted by the processor 830.

이 밖에도, 프로세서(830)는 도 1 내지 도 7을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서는 프로그램을 실행하고, 제공 장치(800)를 제어할 수 있다. 프로세서(830)에 의하여 실행되는 프로그램 코드는 메모리(820)에 저장될 수 있다.In addition, the processor 830 may perform an algorithm corresponding to at least one method or at least one method described above with reference to FIGS. 1 to 7. The processor may execute a program and control the providing apparatus 800. Program code executed by the processor 830 may be stored in the memory 820.

전술한 동작들은 예시적인 사항에 해당하며, 실시예들은 전술한 동작으로부터 다양하게 변형될 수 있다.The above-described operation corresponds to an example, and embodiments may be variously modified from the above-described operation.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. The embodiments described above may be implemented as hardware components, software components, and / or combinations of hardware components and software components. For example, the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, a central processing unit (CPU), a graphics processing unit (GPU), an ALU (for example). arithmetic logic units, digital signal processors, microcomputers, field programmable gate arrays (FPGAs), programmable logic units (PLUs), microprocessors, application specific integrated circuits (ASICS), or instructions ( Like any other device capable of executing and responding to instructions, it may be implemented using one or more general purpose or special purpose computers.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Although the embodiments have been described with reference to the accompanying drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or even if replaced or substituted by equivalents, an appropriate result can be achieved. Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.

Claims (20)

대상 상품과 관련된 통합 이미지- 상기 통합 이미지는 상기 대상 상품의 외형 정보, 식별 정보 및 코드 정보 중 적어도 둘을 포함함-를 획득하는 단계;
상기 통합 이미지에 포함된 상기 외형 정보, 상기 식별 정보 및 상기 코드 정보 중 적어도 둘의 이미지 품질 각각이 미리 설정된 기준에 해당하는지 여부에 따라, 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하는 단계;상기 인식 모드에 따라, 상품 데이터베이스로부터 상기 대상 상품에 대한 상품 정보를 추출하는 단계; 및
상기 상품 정보를 제공하는 단계
를 포함하는, 상품 정보를 제공하는 방법.Obtaining an integrated image associated with a target product, wherein the integrated image includes at least two of appearance information, identification information, and code information of the target product;
At least one of an image recognition mode, a barcode recognition mode, and a QR code recognition mode, depending on whether each of the image quality of at least two of the appearance information, the identification information, and the code information included in the integrated image corresponds to a preset standard. Determining a recognition mode of the product; extracting product information on the target product from a product database according to the recognition mode; And
Providing the product information
Including, product information providing method. 제1항에 있어서,
상기 상품 정보는
제1 레벨의 상품 정보 및 제2 레벨의 상품 정보 중 적어도 하나를 포함하는, 상품 정보를 제공하는 방법.The method of claim 1,
The product information
And at least one of product information of the first level and product information of the second level. 제2항에 있어서,
상기 상품 정보를 추출하는 단계는
상기 상품 정보의 레벨에 기초하여, 사용자에게 상기 대상 상품과 관련된 이미지를 추가 촬영할 것을 안내하는 단계;
상기 안내에 따라 추가 촬영된 이미지가 기 저장된 코드 정보의 규격 이미지를 포함하는지 여부에 기초하여, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 어느 하나의 인식 모드를 재결정하는 단계; 및
상기 재결정된 인식 모드에 따라, 상기 상품 데이터베이스로부터 상기 대상 상품에 대한 제2 레벨의 상품 정보를 추출하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 2,
Extracting the product information
Instructing a user to additionally photograph an image related to the target product based on the level of the product information;
Re-determining one of the barcode recognition mode and the QR code recognition mode based on whether the additionally photographed image includes the standard image of prestored code information according to the guide; And
Extracting second level product information on the target product from the product database according to the re-determined recognition mode;
Including, product information providing method. 제3항에 있어서,
상기 추가 촬영할 것을 안내하는 단계는
상기 인식 모드에 따라 추출된 상품 정보의 레벨이 제1 레벨인지를 판단하는 단계; 및
상기 상품 정보의 레벨이 제1 레벨로 판단되면, 상기 사용자에게 상기 대상 상품에 포함된 QR 코드 또는 바코드를 추가 촬영할 것을 안내하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 3,
The step of guiding the additional shooting
Determining whether the level of the extracted product information is a first level according to the recognition mode; And
If it is determined that the level of the product information is the first level, instructing the user to additionally photograph the QR code or barcode included in the target product.
Including, product information providing method. 제1항에 있어서,
상기 코드 정보는
QR 코드 및 바코드 중 적어도 하나를 포함하고,
상기 인식 모드를 결정하는 단계는
상기 통합 이미지가 기 저장된 상품 이미지 및 기 저장된 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부에 기초하여, 상기 이미지 인식 모드, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하는 단계
를 포함하는. 상품 정보를 제공하는 방법.The method of claim 1,
The code information is
At least one of a QR code and a barcode,
The determining of the recognition mode
Based on whether the integrated image includes at least one of pre-stored commodity images and standard images of pre-stored code information, at least one recognition mode among the image recognition mode, the barcode recognition mode, and the QR code recognition mode is selected. Decision Step
Containing. How to provide product information. 삭제delete 제5항에 있어서,
상기 인식 모드를 결정하는 단계는
상기 통합 이미지가 상기 기 저장된 상품 이미지를 포함하는 경우, 상기 이미지 인식 모드를 상기 인식 모드로 결정하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 5,
The determining of the recognition mode
Determining the image recognition mode as the recognition mode when the integrated image includes the stored product image.
Including, product information providing method. 제5항에 있어서,
상기 인식 모드를 결정하는 단계는
상기 통합 이미지가 상기 기 저장된 상품 이미지 및 기 저장된 QR 코드의 규격 이미지를 포함하는 경우, 상기 QR 코드 인식 모드를 상기 인식 모드로 결정하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 5,
The determining of the recognition mode
Determining the QR code recognition mode as the recognition mode when the integrated image includes the pre-stored product image and a standard image of the pre-stored QR code.
Including, product information providing method. 제5항에 있어서,
상기 인식 모드를 결정하는 단계는
상기 통합 이미지가 상기 기 저장된 상품 이미지 및 기 저장된 바코드의 규격 이미지를 포함하는 경우, 상기 바코드 인식 모드를 상기 인식 모드로 결정하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 5,
The determining of the recognition mode
Determining the barcode recognition mode as the recognition mode when the integrated image includes the pre-stored product image and a standard image of the pre-stored barcode.
Including, product information providing method. 제5항에 있어서,
상기 인식 모드를 결정하는 단계는
상기 통합 이미지가 상기 기 저장된 상품 이미지 및 상기 코드 정보의 규격 이미지들을 모두 포함하는 경우,
상기 코드 정보의 규격 이미지들의 이미지 품질에 기초하여, 상기 인식 모드를 결정하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 5,
The determining of the recognition mode
When the integrated image includes both the pre-stored product image and the standard image of the code information,
Determining the recognition mode based on image quality of standard images of the code information
Including, product information providing method. 제10항에 있어서,
상기 코드 정보의 규격 이미지들의 이미지 품질에 기초하여, 상기 인식 모드를 결정하는 단계는
QR 코드의 규격 이미지가 상기 바코드의 규격 이미지보다 더 높은 이미지 품질을 갖는 경우, 상기 QR 코드 인식 모드를 상기 적어도 하나의 인식 모드로 결정하는 단계; 및
상기 바코드의 규격 이미지가 상기 QR 코드의 규격 이미지보다 더 높은 이미지 품질을 갖는 경우, 상기 바코드 인식 모드를 상기 적어도 하나의 인식 모드로 결정하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 10,
Based on the image quality of the standard images of the code information, determining the recognition mode is
If the standard image of the QR code has a higher image quality than the standard image of the barcode, determining the QR code recognition mode as the at least one recognition mode; And
If the standard image of the barcode has a higher image quality than the standard image of the QR code, determining the barcode recognition mode as the at least one recognition mode
Including, product information providing method. 제5항에 있어서,
상기 인식 모드를 결정하는 단계는
상기 통합 이미지가 상기 기 저장된 상품 이미지 및 코드 정보의 규격 이미지들을 포함하지 않는 경우,
사용자에게 상기 대상 상품과 관련된 이미지를 추가 촬영할 것을 안내하는 단계; 및
상기 안내에 따라 추가 촬영된 이미지가 상기 기 저장된 상품 이미지 및 상기 기 저장된 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부에 기초하여, 상기 이미지 인식 모드, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 재결정하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 5,
The determining of the recognition mode
If the integrated image does not include standard images of the pre-stored product image and code information,
Instructing a user to additionally photograph an image related to the target product; And
The image recognition mode, the barcode recognition mode and the QR code recognition mode based on whether the additionally photographed image includes at least one of the pre-stored product image and standard images of the pre-stored code information according to the guidance. Re-determining at least one recognition mode of the
Including, product information providing method. 제12항에 있어서,
상기 추가 촬영할 것을 안내하는 단계는
상기 대상 상품과 관련된 상품 이미지를 추가 촬영할 것을 안내하는 단계;
상기 대상 상품과 관련된 바코드를 추가 촬영할 것을 안내하는 단계; 및
상기 대상 상품과 관련된 QR 코드를 추가 촬영할 것을 안내하는 단계
중 적어도 하나를 포함하는, 상품 정보를 제공하는 방법.The method of claim 12,
The step of guiding the additional shooting
Guiding an additional photographing of a product image related to the target product;
Guiding an additional photographing of a barcode related to the target product; And
Guiding further shooting of a QR code related to the target product
And at least one of the following. 제1항에 있어서,
상기 상품 정보를 추출하는 단계는
상기 인식 모드에 따라 상기 통합 이미지를 판독하는 단계; 및
상기 판독 결과를 기초로, 상기 상품 데이터베이스로부터 상기 대상 상품에 대한 상품 정보를 추출하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 1,
Extracting the product information
Reading the integrated image according to the recognition mode; And
Extracting product information on the target product from the product database based on the read result;
Including, product information providing method. 제1항에 있어서,
상기 상품 데이터베이스는
복수의 상품들 각각에 대응하는 상품 정보를 포함하는, 상품 정보를 제공하는 방법.The method of claim 1,
The product database
And product information corresponding to each of the plurality of products. 제15항에 있어서,
상기 복수의 상품들은
상기 복수의 상품들 각각에 대한 공산품 라벨 정보를 기초로 상기 상품 데이터베이스에 등록되거나, 상기 복수의 상품들을 취급하는 가맹점에 의해 등록된 정보를 기초로 상기 상품 데이터베이스에 등록되는, 상품 정보를 제공하는 방법.The method of claim 15,
The plurality of products
A method for providing product information, which is registered in the product database based on industrial product label information for each of the plurality of products, or registered in the product database based on information registered by a merchant handling the plurality of products. . 제1항에 있어서,
상기 통합 이미지를 획득하는 단계는
상기 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함하는지 여부를 판단하는 단계;
상기 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함한다고 판단되면, 자동으로 상기 통합 이미지를 촬영하는 단계; 및
상기 통합 이미지의 적어도 일부가 미리 설정된 규격 조건에 부합하는 영역을 포함하지 않는다고 판단되면, 사용자의 입력에 따라 상기 통합 이미지를 촬영하는 단계
를 포함하는, 상품 정보를 제공하는 방법.The method of claim 1,
Acquiring the integrated image
Determining whether at least a part of the integrated image includes an area meeting a preset standard condition;
Photographing the integrated image automatically when it is determined that at least a part of the integrated image includes a region meeting a preset standard condition; And
Photographing the integrated image according to a user input if it is determined that at least a part of the integrated image does not include a region meeting a preset standard condition;
Including, product information providing method. 하드웨어와 결합되어 제1항 내지 제5항, 제7항 내지 제17항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.18. A computer program stored in a medium in combination with hardware to carry out the method of any one of claims 1-5. 대상 상품과 관련된 통합 이미지- 상기 통합 이미지는 상기 대상 상품의 외형 정보, 식별 정보 및 코드 정보 중 적어도 둘을 포함함-를 획득하는 이미지 센서;
상기 대상 상품에 대한 상품 정보를 포함하는 상품 데이터베이스를 저장하는 메모리;
상기 통합 이미지에 포함된 상기 외형 정보, 상기 식별 정보, 및 상기 코드 정보 중 적어도 둘의 이미지 품질 각각이 미리 설정된 기준에 해당하는지 여부에 따라, 이미지 인식 모드, 바코드 인식 모드 및 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하고, 상기 적어도 하나의 인식 모드에 따라, 상기 상품 데이터베이스로부터 상기 대상 상품에 대한 상품 정보를 추출하는 프로세서; 및
상기 상품 정보를 제공하는 출력 인터페이스
를 포함하는, 상품 정보를 제공하는 장치.An image sensor for acquiring an integrated image associated with a target product, wherein the integrated image includes at least two of appearance information, identification information, and code information of the target product;
A memory for storing a product database including product information on the target product;
At least one of an image recognition mode, a barcode recognition mode, and a QR code recognition mode, depending on whether each of the image quality of at least two of the appearance information, the identification information, and the code information included in the integrated image corresponds to a preset criterion; A processor for determining one recognition mode and extracting product information on the target product from the product database according to the at least one recognition mode; And
An output interface for providing the product information
Apparatus for providing product information comprising a. 제19항에 있어서,
상기 코드 정보는
QR 코드 및 바코드 중 적어도 하나를 포함하고,
상기 프로세서는
상기 통합 이미지가 기 저장된 상품 이미지 및 코드 정보의 규격 이미지들 중 적어도 하나를 포함하는지 여부에 기초하여, 상기 이미지 인식 모드, 상기 바코드 인식 모드 및 상기 QR 코드 인식 모드 중 적어도 하나의 인식 모드를 결정하는, 상품 정보를 제공하는 장치.The method of claim 19,
The code information is
At least one of a QR code and a barcode,
The processor is
Determining at least one recognition mode of the image recognition mode, the barcode recognition mode, and the QR code recognition mode based on whether the integrated image includes at least one of standard images of a pre-stored product image and code information. , A device for providing product information.
KR1020170098868A 2016-08-04 2017-08-04 Method and apparatus of providing product information based on recognition of integrated image KR102051655B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160099635 2016-08-04
KR1020160099635 2016-08-04

Publications (2)

Publication Number Publication Date
KR20180016313A KR20180016313A (en) 2018-02-14
KR102051655B1 true KR102051655B1 (en) 2019-12-04

Family

ID=61229921

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170098868A KR102051655B1 (en) 2016-08-04 2017-08-04 Method and apparatus of providing product information based on recognition of integrated image

Country Status (1)

Country Link
KR (1) KR102051655B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102275899B1 (en) * 2020-10-08 2021-08-11 주식회사 써드아이코리아 System and method for cargo management for secure cargo, and a recording medium having computer readable program for executing the method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102645291B1 (en) * 2019-10-30 2024-03-07 선문대학교 산학협력단 Smart vending machine management device that works with applications that can provide product information and order products

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563135B1 (en) * 2010-06-09 2015-10-28 에스케이플래닛 주식회사 System and Method for Providing Goods, Portable Terminal
KR20150023970A (en) * 2013-08-23 2015-03-06 삼성에스디에스 주식회사 Apparatus and method for trading goods using unique code

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102275899B1 (en) * 2020-10-08 2021-08-11 주식회사 써드아이코리아 System and method for cargo management for secure cargo, and a recording medium having computer readable program for executing the method

Also Published As

Publication number Publication date
KR20180016313A (en) 2018-02-14

Similar Documents

Publication Publication Date Title
US20170091844A1 (en) Online clothing e-commerce systems and methods with machine-learning based sizing recommendation
JP6619635B2 (en) Image processing apparatus and image processing method
JP2015230236A (en) Merchandise guidance device, terminal equipment, merchandise guidance method, and program
JP5869989B2 (en) Article collation apparatus and method, and program
US11017345B2 (en) Method for providing delivery item information and apparatus therefor
JP5891143B2 (en) Article master table creation apparatus and method, and program
JP2014170314A (en) Information processing system, information processing method, and program
US11514665B2 (en) Mapping optical-code images to an overview image
US9165220B2 (en) Image object recognition based on a feature vector with context information
KR102051655B1 (en) Method and apparatus of providing product information based on recognition of integrated image
JP2023073432A (en) Information processor, method for processing information, and program
US20160188634A1 (en) Product identification via image analysis
JP2022183305A (en) Information processor, information processing method and program
KR102243731B1 (en) Receipt advertisement recommendation apparatus using products purchased by customers in cooperation with pos terminal
US10430627B2 (en) Label creating device, system, and label
US20220189151A1 (en) Processing system, estimation apparatus, processing method, and non-transitory storage medium
US9853972B2 (en) Pharmacy authentication methods and systems
CN109558809B (en) Image processing method and device
WO2019096192A1 (en) Unmanned sales method and device based on electronic tags and identity recognition
US11281932B2 (en) System and method for managing loyalty scheme data
JP2018147137A (en) Image generation program, image generation apparatus, image generation method, advertisement editing program, advertisement editing apparatus, and advertisement editing method
US20210342876A1 (en) Registration system, registration method, and non-transitory storage medium
JP7464162B2 (en) Processing device, processing method, and program
JP6682827B2 (en) Information processing apparatus and information processing program
KR102428862B1 (en) Customized marketing contents providing platform using augmented reality technology

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant