KR101081438B1 - Digital bar code identification system and method thereof - Google Patents

Digital bar code identification system and method thereof Download PDF

Info

Publication number
KR101081438B1
KR101081438B1 KR1020110057637A KR20110057637A KR101081438B1 KR 101081438 B1 KR101081438 B1 KR 101081438B1 KR 1020110057637 A KR1020110057637 A KR 1020110057637A KR 20110057637 A KR20110057637 A KR 20110057637A KR 101081438 B1 KR101081438 B1 KR 101081438B1
Authority
KR
South Korea
Prior art keywords
barcode
video
digital
information
dedicated application
Prior art date
Application number
KR1020110057637A
Other languages
Korean (ko)
Inventor
홍성남
Original Assignee
주식회사 지웨이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지웨이 filed Critical 주식회사 지웨이
Priority to KR1020110057637A priority Critical patent/KR101081438B1/en
Application granted granted Critical
Publication of KR101081438B1 publication Critical patent/KR101081438B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/08—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code using markings of different kinds or more than one marking of the same kind in the same record carrier, e.g. one marking being sensed by optical and the other by magnetic means
    • G06K19/083—Constructional details
    • G06K19/086—Constructional details with markings consisting of randomly placed or oriented elements, the randomness of the elements being useable for generating a unique identifying signature of the record carrier, e.g. randomly placed magnetic fibers or magnetic particles in the body of a credit card
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1092—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing by means of TV-scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PURPOSE: A method for recognizing a digital barcode in a moving picture is provided to selectively offer information related with the moving picture. CONSTITUTION: A dedicated application(110) of a user terminal a moving picture which includes a digital barcode in an arbitrary location and recognizes and reads the digital barcode through a frame image analysis. The dedicated application transfers barcode information and displays the digital barcode information on a screen. An authentication management server(200) offers the digital barcode information which is stored corresponding to the barcode intrinsic information to the dedicated application.

Description

디지털 바코드 인식 시스템 및 방법{DIGITAL BAR CODE IDENTIFICATION SYSTEM AND METHOD THEREOF}DIGITAL BAR CODE IDENTIFICATION SYSTEM AND METHOD THEREOF

본 발명은 디지털 바코드 인식 시스템 및 방법에 관한 것으로서, 특히 사용자 단말에 설치된 전용 애플리케이션을 통해 디지털 바코드가 삽입된 동영상을 재생하고 해당 동영상에서 디지털 바코드를 식별, 판독하여 대응하는 표시정보를 사용자에게 제공하도록 한 디지털 바코드 인식 시스템에 관한 것이다.
The present invention relates to a digital barcode recognition system and method, and more particularly, to play a video inserted with a digital barcode through a dedicated application installed in a user terminal and to identify and read the digital barcode from the video to provide corresponding display information to the user. One relates to a digital barcode recognition system.

바코드(Bar Code)란 상품의 코드나 가격을 흑백의 평행한 줄로 짜맞추어 표시한 것으로서, 데이터 등의 입력을 간략화하기 위해서 사용된다. 바코드는 광학적 표식독해장치 즉, 바코드 스캐너를 통해 자동으로 독해가 되어 입력된다.A bar code is a bar code that displays a product code or price in black and white parallel lines and is used to simplify input of data and the like. Bar codes are automatically read and input through an optical marker reading device, that is, a barcode scanner.

이러한 바코드는 일차원으로 정보를 내장하므로 포함할 수 있는 정보의 한계가 있어, 주로 내장 정보가 적어도 가능한 분야에 주로 사용되고 있다.These barcodes have a limitation of information that can be included because they embed information in one dimension, and are mainly used in at least embedded fields.

일 예로 상품의 종류를 나타내거나 재고관리 등에 사용되고 있으며 슈퍼마켓에서 매상정보관리(POS) 등에 이용되고 있다.For example, it is used to indicate the type of merchandise or inventory management, and is used in supermarkets for sales information management (POS).

한편, 최근에는 정보의 표시량이 점차 늘어남에 따라 기존의 일차원적인 바코드 대신 이차원 바코드가 많이 사용되고 있다.On the other hand, in recent years, as the display amount of information gradually increases, two-dimensional barcodes are used instead of the conventional one-dimensional barcodes.

이러한 이차원 바코드 중 대표적인 것으로, QR코드(Quick Response Code)를 들 수 있다.Representative of such a two-dimensional barcode is a QR code (Quick Response Code).

QR코드는 흑백 격자무늬 패턴으로 정보를 나타내는 매트릭스 형식의 바코드로, 기존 바코드가 용량 제한에 따라 가격과 상품명 등 한정된 정보만 담는 데 비해 3차원적인 다양한 정보를 담을 수 있다.The QR code is a matrix barcode that displays information in a black and white lattice pattern, and it can contain various information in three dimensions, compared to existing barcodes that contain only limited information such as price and brand name due to capacity limitations.

또한, 최근에는 급속한 이동 전자 기기의 발전으로 인해 이러한 일차원 바코드 또는 QR코드를 이동 전자 기기에 용이하게 소지할 수 있도록 하는 다양한 형태의 디지털 바코드(Digital Barcode)가 선보이고 있다.In addition, recently, due to the rapid development of mobile electronic devices, various types of digital barcodes have been introduced to easily carry such one-dimensional barcodes or QR codes in mobile electronic devices.

디지털 바코드는 기존의 바코드를 전자적 형태로 저장하여 관리하는 것으로, 기프티콘과 같은 형태로 많이 사용되고 있다.Digital barcodes are used to store and manage existing barcodes in electronic form.

그러나, 이러한 디지털 바코드의 경우 사용자에 의한 식별을 통해 위,변조가 용이할 뿐만 아니라, 원래의 바코드가 갖는 평면적인 형태 그대로 많이 사용되어 이동 전자 기기를 통해 사람들이 많이 시청하는 동영상 등의 콘텐츠에는 용이하게 적용하여 사용하기 어려운 점이 있다.
However, such a digital barcode is not only easy to forgery and forgery through identification by the user, but also used as a flat form of the original barcode, so that it is easy for contents such as videos that people watch a lot through mobile electronic devices. It is difficult to apply.

전술한 문제점을 개선하기 위한 본 발명 실시 예의 목적은 사용자 단말에 설치된 전용 애플리케이션을 통해 디지털 바코드가 삽입된 동영상을 재생하고 삽입된 해당 디지털 바코드를 식별, 판독하여 대응하는 표시정보를 사용자에게 제공함으로써 동영상 시청에 여하한 시각적 간섭없이 상기 동영상과 연관된 정보를 사용자에게 선택적으로 제공할 수 있도록 한 디지털 바코드 인식 시스템 및 방법을 제공하는 것이다.An object of the embodiment of the present invention for improving the above-described problem is to play a video by inserting a digital bar code through a dedicated application installed in the user terminal, identify and read the inserted digital bar code to provide the user with corresponding display information The present invention provides a digital barcode recognition system and method for selectively providing information related to the video to a user without any visual interference with viewing.

전술한 문제점을 개선하기 위한 본 발명 실시 예의 다른 목적은 해당 디지털 바코드와 대응되는 위치 정보를 더 포함한 동영상을 생성하여 배포함으로써 상기 동영상의 재생시 상기 전용 애플리케이션을 통해 사용자가 선택한 위치 정보를 이용하여 해당 동영상 내에서 식별한 디지털 바코드 중 하나를 선택하여 판독하도록 한 디지털 바코드 인식 시스템 및 방법을 제공하는 것이다.Another object of the embodiment of the present invention for improving the above-mentioned problem is that by using the location information selected by the user through the dedicated application during the playback of the video by generating and distributing the video further including the location information corresponding to the corresponding digital barcode The present invention provides a digital barcode recognition system and method for selecting and reading one of digital barcodes identified in a video.

전술한 문제점을 개선하기 위한 본 발명 실시 예의 또 다른 목적은 상기 전용 애플리케이션이 디지털 바코드의 판독을 통해 얻은 바코드 고유 정보로서 해당 디지털 바코드의 유효성을 인증함으로써 상기 바코드 고유 정보의 식별이 상기 전용 애플리케이션을 통해서 가능하여 사용자에 의한 위,변조가 용이하지 않도록 한 디지털 바코드 인식 시스템 및 방법을 제공하는 것이다.
Another object of the embodiment of the present invention for improving the above-mentioned problem is that the identification of the barcode unique information through the dedicated application by authenticating the validity of the digital barcode as the barcode unique information obtained by reading the digital barcode. It is to provide a digital barcode recognition system and method that is not possible forgery, forgery by the user.

상기한 목적을 달성하기 위한 본 발명의 실시 예에 따른 디지털 바코드 인식 시스템은 디지털 바코드를 별도의 삽입 위치 정보 없이 임의의 위치에 시각적으로 보이지 않는 프레임 간격으로 영상에 삽입한 동영상을 재생하면서 상기 디지털 바코드를 프레임 영상분석을 통해 식별 및 판독하고, 판독을 통해 얻은 바코드 고유 정보를 전송하여 이의 응답으로 전송받은 상기 디지털 바코드의 표시 정보를 화면에 표시하는 전용 애플리케이션을 구비한 사용자 단말;및 상기 전용 애플리케이션으로부터 상기 바코드 고유 정보를 전송받아 이를 확인하여 상기 바코드 고유 정보와 대응하여 기 저장된 상기 디지털 바코드의 표시 정보를 상기 전용 애플리케이션에 응답으로 제공하는 인증 관리 서버;를 포함한다.Digital barcode recognition system according to an embodiment of the present invention for achieving the above object while playing the video inserted into the image at a frame interval that is not visually visible at any position without additional insertion position information the digital barcode And a user terminal having a dedicated application for identifying and reading the data through frame image analysis, transmitting the barcode specific information obtained through the reading, and displaying the display information of the digital barcode received in response thereto on the screen; and from the dedicated application. And an authentication management server that receives the barcode unique information and checks the barcode unique information to provide display information of the digital barcode previously stored in correspondence with the barcode unique information in response to the dedicated application.

상기 전용 애플리케이션은 상기 동영상의 재생시 사용자가 선택한 프레임 내의 위치 정보를 이용하여 해당 동영상 내에서 식별한 디지털 바코드 중 대응 위치에 배치된 것을 선택하여 판독하는 것이 바람직하다.Preferably, the dedicated application selects and reads one of the digital barcodes identified in the corresponding video using the location information in the frame selected by the user when the video is played.

상기 전용 애플리케이션 또는 상기 인증 관리 서버는 동영상에 상기 디지털 바코드를 삽입하는 편집 기능을 더 구비하는 것이 바람직하다.Preferably, the dedicated application or the authentication management server further includes an editing function of inserting the digital barcode into a video.

이때, 상기 전용 애플리케이션 또는 상기 인증 관리 서버는 상기 디지털 바코드의 삽입시, 해당 동영상 내에서 상기 디지털 바코드의 프레임 내 위치 정보가 삽입 위치에 따라 확인될 수 있도록 바코드 삽입 위치를 편집할 수 있다.At this time, the dedicated application or the authentication management server may edit the barcode insertion position so that the position information in the frame of the digital barcode in the video can be confirmed according to the insertion position when the digital barcode is inserted.

또는, 상기 전용 애플리케이션 또는 상기 인증 관리 서버는 상기 디지털 바코드의 삽입시, 기 설정된 표시 간격 또는 회수에 따라 상기 동영상 내의 해당 프레임 내의 위치에 상기 디지털 바코드를 삽입하도록 할 수 있다.Alternatively, the dedicated application or the authentication management server may insert the digital barcode at a position within a corresponding frame in the video according to a preset display interval or number when the digital barcode is inserted.

혹은, 상기 전용 애플리케이션 또는 상기 인증 관리 서버는 상기 동영상 내의 해당 프레임의 크기 및 색상 값을 추출하고 삽입할 디지털 바코드의 크기 및 색상 값을 이와 비교한 후, 상기 디지털 바코드의 크기 및 색상을 변환하여 상기 디지털 바코드를 삽입하도록 할 수도 있다.Alternatively, the dedicated application or the authentication management server extracts the size and color value of the corresponding frame in the video and compares the size and color value of the digital barcode to be inserted therein, and then converts the size and color of the digital barcode to convert the size and color. You can also insert a digital barcode.

한편, 상기 인증 관리 서버는 상기 디지털 바코드에 대한 관련 정보로서, 상기 동영상에 대한 저작권 정보, 상기 동영상의 배포 장소 및 시간, 상기 동영상의 시청자에게 제공하는 제공 정보 중 하나 이상을 포함하여 관리하며, 이 중 일부를 상기 표시 정보로서 상기 전용 애플리케이션으로 전송할 수 있다.Meanwhile, the authentication management server manages one or more of the copyright information for the video, the distribution place and time of the video, and the provision information provided to the viewer of the video as the related information on the digital barcode. Some of the information may be transmitted as the display information to the dedicated application.

상기 디지털 바코드는 QR코드인 것이 바람직하다.
The digital barcode is preferably a QR code.

상기한 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 디지털 바코드 인식 방법은 a)사용자 단말의 전용 애플리케이션이 별도의 삽입 위치 정보 없이 임의의 위치에 시각적으로 보이지 않는 프레임 간격으로 영상에 디지털 바코드를 삽입한 동영상을 재생하면서 상기 디지털 바코드를 프레임 영상분석을 통해 식별 및 판독하는 단계; b) 상기 전용 애플리케이션이 판독을 통해 얻은 바코드 고유 정보를 인증 관리 서버로 전송하는 단계; c) 상기 인증 관리 서버가 상기 바코드 고유 정보를 확인하여 상기 바코드 고유 정보와 대응하여 기 저장된 상기 디지털 바코드의 표시 정보를 상기 전용 애플리케이션에 응답으로 제공하는 단계; 및 d) 상기 전용 애플리케이션이 상기 디지털 바코드의 표시 정보를 화면에 표시하는 단계;를 포함한다.Digital barcode recognition method according to another embodiment of the present invention for achieving the above object is a) a dedicated application of the user terminal to the digital barcode on the image at frame intervals that are not visible at any position without additional insertion position information Identifying and reading the digital barcode through frame image analysis while playing the inserted video; b) transmitting, by the dedicated application, barcode unique information obtained through reading to an authentication management server; c) checking, by the authentication management server, the barcode unique information and providing display information of the digital barcode previously stored in correspondence with the barcode unique information to the dedicated application; And d) displaying, by the dedicated application, display information of the digital barcode on a screen.

상기 a)단계는 상기 전용 애플리케이션이 상기 동영상의 재생시 사용자가 선택한 프레임 내의 위치 정보를 이용하여 해당 동영상 내에서 식별한 디지털 바코드 중 대응 위치에 배치된 것을 선택하여 판독할 수 있다.In step a), when the dedicated application plays back the video, the dedicated application may select and read one of the digital barcodes identified in the video using the location information in the frame selected by the user.

한편, 상기 디지털 바코드 인식 방법은 e) 상기 전용 애플리케이션 또는 상기 인증 관리 서버가 동영상에 상기 디지털 바코드를 삽입하여 편집하는 단계;를 더 포함할 수 있다.On the other hand, the digital barcode recognition method may further comprise the step of editing by inserting the digital barcode in the video or the dedicated application or the authentication management server.

이때, 상기 e)단계는 상기 전용 애플리케이션 또는 상기 인증 관리 서버가 상기 디지털 바코드의 삽입시, 해당 동영상 내에서 상기 디지털 바코드의 프레임 내의 위치 정보가 삽입 위치에 따라 확인될 수 있도록 바코드 삽입 위치를 편집하도록 할 수 있다.In this case, the step e) is to edit the barcode insertion position so that when the dedicated application or the authentication management server inserts the digital barcode, the position information in the frame of the digital barcode in the video can be confirmed according to the insertion position. can do.

또는, 상기 e)단계는 상기 전용 애플리케이션 또는 상기 인증 관리 서버가 상기 디지털 바코드의 삽입시, 기 설정된 표시 간격 또는 회수에 따라 상기 동영상 내의 해당 프레임 내의 위치에 상기 디지털 바코드를 삽입하도록 할 수도 있다.Alternatively, step e) may allow the dedicated application or the authentication management server to insert the digital barcode at a position within a corresponding frame in the video image according to a preset display interval or number when the digital barcode is inserted.

또한, 상기 e)단계는 상기 전용 애플리케이션 또는 상기 인증 관리 서버가 상기 동영상 내의 해당 프레임의 크기 및 색상 값을 추출하고 삽입할 디지털 바코드의 크기 및 색상 값을 이와 비교한 후, 상기 디지털 바코드의 크기 및 색상을 변환하여 상기 디지털 바코드를 삽입할 수 있다.In the step e), the dedicated application or the authentication management server extracts the size and color value of the corresponding frame in the video and compares the size and color value of the digital barcode to be inserted therein. The digital barcode can be inserted by converting colors.

더불어, 상기 디지털 바코드 인식 방법은 상기 인증 관리 서버가 상기 바코드 고유 정보를 전송받아 이를 검사하여 대응하는 상기 디지털 바코드의 유효성을 인증하는 단계;를 더 포함할 수 있다.In addition, the digital barcode recognition method may further include the step of authenticating the validity of the corresponding digital barcode by receiving the barcode unique information received by the authentication management server.

한편, 상기 c)단계는 상기 인증 관리 서버가 상기 디지털 바코드에 대한 관련 정보로서, 상기 동영상에 대한 저작권 정보, 상기 동영상의 배포 장소 및 시간, 상기 동영상의 시청자에게 제공하는 제공 정보 중 하나 이상을 포함하여 관리하며, 이 중 일부를 상기 표시 정보로서 상기 전용 애플리케이션으로 전송하는 것이 바람직하다.
On the other hand, step c) is at least one of the copyright information for the video, the distribution place and time of the video, the providing information provided to the viewer of the video as the relevant information on the digital barcode by the authentication management server It is preferable to transmit some of this as the display information to the dedicated application.

본 발명의 일 실시 예에 따른 디지털 바코드 인식 시스템 및 방법은 사용자 단말에 설치된 전용 애플리케이션을 통해 디지털 바코드가 삽입된 동영상을 재생하고 삽입된 해당 디지털 바코드를 식별, 판독하여 대응하는 표시정보를 사용자에게 제공함으로써 동영상 시청에 여하한 시각적 간섭없이 상기 동영상과 연관된 정보를 사용자에게 선택적으로 제공할 수 있도록 하여 영상쿠폰, PPL광고 등 다양한 분야에 범용적으로 사용할 수 있는 효과가 있다.Digital barcode recognition system and method according to an embodiment of the present invention to play the video embedded with the digital barcode through a dedicated application installed on the user terminal and to identify and read the inserted digital barcode to provide the corresponding display information to the user By doing so, it is possible to selectively provide information related to the video to the user without any visual interference in watching the video, and thus it can be used universally in various fields such as a video coupon, a PPL advertisement.

본 발명의 일 실시 예에 따른 디지털 바코드 인식 시스템 및 방법은 해당 디지털 바코드와 대응되는 위치 정보를 더 포함한 동영상을 생성하여 배포함으로써 상기 동영상의 재생시 상기 전용 애플리케이션을 통해 사용자가 선택한 위치 정보를 이용하여 해당 동영상 내에서 식별한 디지털 바코드 중 하나를 선택하여 판독하도록 하여 장면 관계 광고와 같이 동영상 내의 특정 물품과 연계된 광고에도 용이하게 적용할 수 있는 효과가 있다.The digital barcode recognition system and method according to an embodiment of the present invention generates and distributes a video including location information corresponding to the corresponding digital barcode, thereby using the location information selected by the user through the dedicated application. By selecting and reading one of the digital barcodes identified in the video, there is an effect that can be easily applied to an advertisement associated with a specific item in the video, such as a scene relationship advertisement.

본 발명의 일 실시 예에 따른 디지털 바코드 인식 시스템 및 방법은 상기 전용 애플리케이션이 디지털 바코드의 판독을 통해 얻은 바코드 고유 정보로서 해당 디지털 바코드의 유효성을 인증함으로써 상기 바코드 고유 정보의 식별이 상기 전용 애플리케이션을 통해서 가능하여 사용자에 의한 위,변조가 용이하지 않도록 하여 해당 디지털 바코드에 대한 유효 인증의 보안성이 한층 강화되는 효과가 있다.
The digital barcode recognition system and method according to an embodiment of the present invention is the barcode unique information obtained by reading the digital barcode by the dedicated application by authenticating the validity of the corresponding digital barcode to identify the barcode unique information through the dedicated application. As it is possible to prevent forgery and forgery by the user, the security of valid authentication for the corresponding digital barcode is further enhanced.

도 1은 본 발명의 일 실시 예에 따른 디지털 바코드 인식 시스템의 예시도.
도 2는 본 발명의 일 실시 예에 따른 동영상에 디지털 바코드를 삽입하는 예시도.
도 3은 본 발명의 일 실시 예에 따른 위치 정보에 따라 디지털 바코드를 선택하는 예시도.
도 4는 본 발명의 일 실시 예에 따른 인증 관리 서버의 구성도.
도 5는 본 발명의 일 실시 예에 따른 전용 애플리케이션의 구성도.
도 6은 본 발명의 일 실시 예에 따른 디지털 바코드 인식 방법의 데이터 흐름도.1 is an exemplary diagram of a digital barcode recognition system according to an embodiment of the present invention.
2 is an exemplary diagram of inserting a digital barcode in a video according to an embodiment of the present invention.
3 is an exemplary diagram for selecting a digital barcode according to the location information according to an embodiment of the present invention.
4 is a block diagram of an authentication management server according to an embodiment of the present invention.
5 is a block diagram of a dedicated application according to an embodiment of the present invention.
6 is a data flowchart of a digital barcode recognition method according to an embodiment of the present invention.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시 예들을 통해 상세히 설명하도록 한다.The present invention as described above will be described in detail with reference to the accompanying drawings and embodiments.

도 1은 본 발명의 일 실시 예에 따른 디지털 바코드 인식 시스템의 예시도로서, 상기 디지털 바코드 인식 시스템은 상기 디지털 바코드를 인증하고 관리하는 인증 관리 서버(200) 및 사용자 단말(100)에 설치되어 디지털 바코드가 삽입된 동영상(50)을 통해 디지털 바코드를 스캐닝하여 판독하는 전용 애플리케이션(110)을 포함한다.1 is an illustration of a digital barcode recognition system according to an embodiment of the present invention, the digital barcode recognition system is installed in the authentication management server 200 and the user terminal 100 to authenticate and manage the digital barcode digital And a dedicated application 110 for scanning and reading the digital barcode through the barcode 50 inserted video.

상기 디지털 바코드의 일 예로서, 본 실시 예에서는 QR코드(Quick Response Code)를 이용하여 설명하나 일반적인 동영상 포맷에 삽입할 수 있는 어떠한 디지털 바코드라도 무방하다.As an example of the digital barcode, the present embodiment will be described using a QR code (Quick Response Code), but any digital barcode that can be inserted into a general video format may be used.

QR코드는 가로, 세로 두 방향으로 정보를 가짐으로써 기록할 수 있는 정보량을 비약적으로 증가시킨 코드로서, 모바일쿠폰, 점포정보, 기업사이트정보 등 다양한 형태로 활용되고 있으며 나아가 개인적인 정보를 담아 활용하는 정보 매체로서 주목받고 있다.QR code is a code that dramatically increases the amount of information that can be recorded by having information in two directions, horizontally and vertically, and is used in various forms such as mobile coupons, store information, and company site information. It is attracting attention as a medium.

상기 인증 관리 서버(200)는 상기 전용 애플리케이션(110)을 배포(5)하고 관리할 수 있으나, 앱스토어와 같은 일반적 배포 수단을 통해 상기 전용 애플리케이션을 배포(5)하는 것이 더욱 바람직하다.The authentication management server 200 may distribute (5) and manage the dedicated application (110), but more preferably distribute the dedicated application (5) through a general distribution means such as an app store.

또한, 사용자는 상기 인증 관리 서버(200) 또는 상기 전용 애플리케이션(110)을 이용하여 배포하고자 하는 동영상에 디지털 바코드를 삽입할 수 있다.In addition, a user may insert a digital barcode into a video to be distributed using the authentication management server 200 or the dedicated application 110.

코드를 발행하고자 하는 코드 발행자(400)는 상기 인증 관리 서버(200)에 접속하여 QR코드 발행자로 등록하고, 자신의 사용자 정보를 제공한다(1).Code issuer 400 to issue a code is connected to the authentication management server 200 to register as a QR code issuer, and provides its user information (1).

아울러, 상기 코드 발행자(400)는 배포하고자 하는 동영상을 제공하면서 해당 동영상에 삽입될 QR코드와 관련하여 상기 동영상에 대한 저작권 정보, 상기 동영상이 배포되는 장소와 시간대 정보를 포함한 배포 정보, 상기 QR코드를 사용하는 사용자에게 제공할 추가정보나 이벤트 정보를 담은 URL과 같은 추가 정보를 상기 인증 관리 서버(200)로 제공한다(2).In addition, the code issuer 400 provides a video to be distributed and provides copyright information for the video in relation to the QR code to be inserted into the video, distribution information including the location and time zone information of the video distribution, and the QR code. Provide additional information such as URL containing additional information or event information to be provided to the user using the authentication management server 200 (2).

상기 인증 관리 서버(200)는 해당 동영상에 삽입할 QR코드를 생성(3)한 후, 상기 코드 발행자(400)로 상기 QR코드에 대응하는 QR코드 아이디를 발행한다(13).The authentication management server 200 generates a QR code to be inserted into the video (3), and then issues a QR code ID corresponding to the QR code to the code issuer 400 (13).

이후, 상기 인증 관리 서버(200)는 해당 동영상에 생성한 QR코드를 삽입한다(4).
Thereafter, the authentication management server 200 inserts the QR code generated in the video (4).

이때, 해당 동영상에 상기 QR코드를 삽입하는 바람직한 실시 예로서, 상기 동영상을 시청하는 사용자가 시각적으로 상기 QR코드를 확인할 수 없도록 하기 위해 기 설정된 소정 프레임에만 삽입하는 것이 바람직하다.In this case, the QR code may be inserted into the corresponding video, and it is preferable to insert only the predetermined frame so that the user who views the video cannot visually check the QR code.

이를 위해, 상기 인증 관리 서버(200)는 상기 QR코드의 표시 간격 및 표시 회수를 결정하여 삽입할 수 있다.To this end, the authentication management server 200 may determine and insert the display interval and the number of times of display of the QR code.

도 2는 본 발명의 일 실시 예에 따른 동영상에 디지털 바코드를 삽입하는 예시도로서, 상기 표시 간격 및 표시 회수에 따라 QR코드를 삽입하는 것을 도시한 것이다.2 is an exemplary diagram of inserting a digital barcode into a video according to an embodiment of the present invention, which illustrates inserting a QR code according to the display interval and the number of displays.

도 2a 및 도 2b를 참조하면, 상기 인증 관리 서버(200)는 기 설정된 표시 간격 및 표시 회수에 따라 정해진 소정 프레임(8프레임, 11프레임, 15프레임 ...)에 상기 QR코드(20)를 삽입한다.2A and 2B, the authentication management server 200 applies the QR code 20 to predetermined frames (8 frames, 11 frames, 15 frames ...) determined according to a preset display interval and the number of displays. Insert it.

이때, 더욱 바람직하게는 해당 프레임의 크기 및 색상 값을 추출한 후 표시될 QR코드(20)의 크기 및 색상 값을 이와 비교하여 상기 QR코드(20)의 크기 및 색상 변환(예를 들어, 네거티브, 포지티브 등)의 필터링을 적용 한 후 상기 QR코드(20)를 해당 프레임에 삽입할 수도 있다.At this time, more preferably, the size and color value of the QR code 20 to be displayed after extracting the size and color value of the corresponding frame is compared with the size and color conversion of the QR code 20 (eg, negative, After applying positive filtering), the QR code 20 may be inserted into the corresponding frame.

이는 동영상을 시청하는 사용자가 동영상에 삽입된 해당 QR코드(20)를 시각적으로 인지하지 못하게 하기 위함이다.This is to prevent the user watching the video visually recognize the corresponding QR code 20 inserted in the video.

즉, 사용자 단말(100)에 설치된 전용 애플리케이션(110)은 디지털 바코드가 삽입된 동영상(50)을 재생하고 삽입된 해당 디지털 바코드를 식별, 판독하여 대응하는 표시정보를 사용자에게 제공하여 동영상 시청에 여하한 시각적 간섭없이 상기 동영상과 연관된 정보를 사용자에게 선택적으로 제공할 수 있으므로 영상쿠폰, PPL광고 등 다양한 분야에 범용적으로 사용할 수 있다.
That is, the dedicated application 110 installed in the user terminal 100 plays the video 50 in which the digital barcode is inserted, identifies and reads the inserted digital barcode, and provides corresponding display information to the user to watch the video. Since the information related to the video can be selectively provided to the user without any visual interference, it can be used in various fields such as a video coupon, a PPL advertisement, and the like.

또는 상기 QR코드(20)를 삽입하는 더욱 바람직한 실시 예로서, 삽입하는 QR코드(20)에 대한 해당 프레임에서의 삽입 위치에 따라 위치 정보를 부가적으로 제공할 수 있다.Alternatively, as a more preferred embodiment of inserting the QR code 20, location information may be additionally provided according to an insertion position in a corresponding frame with respect to the QR code 20 to be inserted.

즉, 상술한 바와 같이 서버 관리자 또는 사용자는 상기 인증 관리 서버(200) 또는 상기 전용 애플리케이션(110)을 이용하여 동영상에 상기 QR코드(20)를 삽입하는 편집 작업을 수행한 후, 해당 동영상을 배포할 수 있다.That is, as described above, the server administrator or user performs an editing operation of inserting the QR code 20 into the video using the authentication management server 200 or the dedicated application 110, and then distributes the video. can do.

이때, 본 실시 예에서는 상기 QR코드(20)의 삽입시 삽입 위치에 따른 위치 정보(30)를 더 제공(즉, 상기 동영상 내에는 상기 QR코드 자체의 고유정보 외에 이와 별도로 해당 QR코드의 위치 정보가 더 포함됨)할 수 있으므로 해당 동영상에 등장하는 소품이나 물품(31)에 대한 연계 광고를 용이하게 수행할 수 있다.At this time, the present embodiment further provides the position information 30 according to the insertion position when the QR code 20 is inserted (that is, in addition to the unique information of the QR code itself in the video, the position information of the corresponding QR code is separately provided). It can be included more)) can easily perform the linked advertisement for the prop or article 31 appearing in the video.

도 3은 사용자가 상기 위치 정보(30)를 고려하여 QR코드(20)를 선택하는 예시도를 도시한 것으로, 도 3을 참조하면 전용 애플리케이션을 이용하여 위치 정보를 포함한 동영상을 재생하는 사용자는 해당 동영상의 특정 물품(31)의 정보를 얻고자 할 경우 해당 물품(31)을 손이나 지시자 등을 통해 화면에서 선택하면 된다.3 illustrates an example of a user selecting a QR code 20 in consideration of the location information 30. Referring to FIG. 3, a user playing a video including location information using a dedicated application corresponds to In order to obtain information on a particular article 31 of the video, the article 31 may be selected on the screen through a hand or an indicator.

상기 전용 애플리케이션은 선택한 위치에 대응되는 QR코드(20)가 존재하는 경우 해당 QR코드(20)를 타 QR코드와 구분할 수 있으므로 사용자가 선택한 위치(30)에 대한 QR코드(20)를 식별하여 판독한 후 이에 대한 표시 정보를 사용자에게 제공할 수 있다.The dedicated application may distinguish the QR code 20 from other QR codes when the QR code 20 corresponding to the selected location exists, and identify and read the QR code 20 for the location 30 selected by the user. After that, the display information may be provided to the user.

이는 사용자가 선택할 때만 나타나므로, 해당 동영상에 등장하는 다양한 물품(31)에 대해 복수로 적용할 수 있어 동영상에서의 PPL 광고 등에도 시청자의 시청 즐거움을 저하시키지 않으며 용이하게 적용할 수 있는 것이다.Since it appears only when the user selects, it can be applied to a plurality of various items 31 appearing in the video, so that it can be easily applied to the PPL advertisement in the video without lowering the viewing pleasure of the viewer.

또한, 이를 편집하는 편집 작업도 편집자가 프레임별로 원하는 위치(30)에 해당 QR코드(20)를 대응시키는 위치 지정 작업만 수행하면 대응되도록 구성할 수 있어, 직관적인 삽입 절차를 통해 동영상에서 표시되는 임의의 물품(31)에 대한 정보의 제공이 매우 편리한 장점이 있다. 이는 삽입하는 QR코드(20) 자체가 독립적인 정보의 집합이기 때문에 가능한 방식이다.In addition, the editing operation for editing this can be configured to correspond only if the editor performs a positioning operation that corresponds the QR code 20 to the desired position 30 for each frame, which is displayed in the video through an intuitive insertion procedure. The advantage of providing information about any article 31 is very convenient. This is possible because the QR code 20 itself is a set of independent information.

이처럼, 상기 디지털 바코드 인식 시스템은 조정 위치(위치 정보(30))에 삽입된 해당 디지털 바코드(20)를 더 포함한 동영상을 생성하여 배포하고, 상기 동영상의 재생시 상기 전용 애플리케이션을 통해 사용자가 선택한 위치 정보(30)를 이용하여 해당 동영상 내에서 식별한 디지털 바코드(20) 중 하나를 선택하여 판독하도록 하여 장면 관계 광고와 같이 동영상 내의 특정 물품(31)과 연계된 광고에도 용이하게 적용할 수 있다.
As such, the digital barcode recognition system generates and distributes a video including the corresponding digital barcode 20 inserted into the adjustment position (position information 30), and the position selected by the user through the dedicated application when playing the video. The information 30 may be used to select and read one of the digital barcodes 20 identified in the video, and thus may be easily applied to an advertisement associated with a specific item 31 in the video, such as a scene relationship advertisement.

다시 도 1을 참조하면, 상기 인증 관리 서버(200)는 해당 QR코드에 대한 인증 관련 정보 및 동영상(50)에서 QR코드를 제공받아 이를 사용한 사용자들의 사용 정보 등을 데이터베이스(205)에 로그로 남기는 것이 바람직하다.Referring back to FIG. 1, the authentication management server 200 receives the authentication related information on the corresponding QR code and the QR code from the video 50 and uses the user's usage information and the like as a log in the database 205. It is preferable.

한편, 상기 인증 관리 서버(200)는 동영상 시청을 원하는 사용자에게 전용 애플리케이션(110) 및 QR코드가 삽입된 동영상(50)을 배포한다(5,6).Meanwhile, the authentication management server 200 distributes the dedicated application 110 and the video 50 inserted with the QR code to the user who wants to watch the video (5, 6).

상기 전용 애플리케이션(110)의 배포는 반드시 상기 인증 관리 서버(200)를 통해서만 이루어지지 않아도 무방하며, 앱스토어나 웹사이트 또는 소셜 네트워크 서비스 등과 같은 다양한 일반적 배포 수단을 통해 배포하는 것도 매우 바람직하다.The dedicated application 110 may not be necessarily distributed only through the authentication management server 200, and it is also very preferable to distribute the dedicated application 110 through various general distribution means such as an app store, a website, or a social network service.

더불어, 상기 QR코드가 삽입된 동영상(50)의 배포 역시 상기 인증 관리 서버(200)를 통하지 않고 유투브, 이메일, 소셜 네트워크 서비스 등과 같은 다양한 일반적 배포 수단을 이용할 수 있다.In addition, the distribution of the QR code-inserted video 50 may also use various general distribution means such as YouTube, email, social network service, etc. without going through the authentication management server 200.

또한, 상기 전용 애플리케이션(110)은 상기 코드 발행자(400)가 될 수 있으며, 동영상의 생성 및 배포도 가능함에 유의한다.In addition, the dedicated application 110 may be the code issuer 400, and it is possible to generate and distribute a video.

즉, 상기 전용 애플리케이션(110)은 상기 코드 발행자(400)처럼 상기 인증 관리 서버로 발행자를 등록하고 기본정보를 제공(1)하여 코드 발행자로 등록할 수 있으며 자체적으로 상기 인증 관리 서버(200)로부터 발행된 QR코드를 통해 동영상 내 QR 코드를 삽입(4)하여 배포(6)할 수 있다.That is, the dedicated application 110 can register the issuer with the authentication management server as the code issuer 400 and provide the basic information (1) to register as the code issuer, and from the authentication management server 200 itself. You can distribute (6) by inserting the QR code in the video (4) through the issued QR code.

이는 상기 전용 애플리케이션(110)을 통해 상술한 도 2와 도 3에서와 같은 QR 코드 삽입 및 동영상 편집 작업도 가능함을 의미한다.This means that the QR code insertion and video editing operations as described above with reference to FIGS. 2 and 3 are also possible through the dedicated application 110.

사용자는 상기 QR코드가 삽입된 동영상(50)을 상기 전용 애플리케이션(110)으로 재생하며, 전용 애플리케이션(110)이 상기 QR코드를 스캔하도록 한다(7).The user plays the video 50 inserted with the QR code into the dedicated application 110 and causes the dedicated application 110 to scan the QR code (7).

상기 전용 애플리케이션(110)은 해당 동영상(50)의 임의의 위치에 삽입된 QR코드를 식별하여 이를 판독(8)하며 판독된 QR코드에 대한 표시 정보 또는 추가 정보를 상기 인증 관리 서버(200)로 요청한다(10).The dedicated application 110 identifies the QR code inserted at an arbitrary position of the video 50 and reads it (8), and displays the display information or additional information on the read QR code to the authentication management server 200. Request (10).

또한, 도시하지는 않았지만 상기 전용 애플리케이션은 상기 표시 정보의 요청과 함께 판독된 QR코드에 대한 유효성의 인증을 상기 인증 관리 서버(200)로 요청할 수도 있다(10).In addition, although not shown, the dedicated application may request the authentication management server 200 to authenticate the validity of the QR code read together with the request for the display information (10).

이때, 상기 전용 애플리케이션(110)은 상기 QR코드를 판독(8)하여 생성한 유효 코드를 상기 인증 관리 서버(200)로 전송하고, 상기 인증 관리 서버(200)는 상기 유효 코드를 이용하여 상기 QR코드의 유효성을 인증(11)하는 것이 바람직하다.In this case, the dedicated application 110 transmits the valid code generated by reading the QR code (8) to the authentication management server 200, the authentication management server 200 using the valid code to the QR It is desirable to authenticate 11 the validity of the code.

이후, 상기 인증 관리 서버(200)는 상기 유효 코드와 대응되는 QR코드에 해당하는 표시 정보 또는 추가 정보를 상기 전용 애플리케이션(110)으로 전송(11)하며, 인증과 관련된 절차에서 생성되는 인증 요청 일시, 인증 전용 애플리케이션(110)의 고유 아이디와 같은 정보를 상기 데이터베이스(205)에 기록하여 관리한다.Thereafter, the authentication management server 200 transmits (11) the display information or additional information corresponding to the QR code corresponding to the valid code to the dedicated application 110, and the date and time of the authentication request generated in the authentication related procedure. In addition, information such as a unique ID of the authentication-only application 110 is recorded and managed in the database 205.

사용자 단말(100)의 전용 애플리케이션(110)은 상기 표시 정보 또는 추가 정보를 화면에 표시(9)하며 사용자는 제공받은 표시 정보를 이용하여 가맹점(300)에서 사용(12)할 수 있다.The dedicated application 110 of the user terminal 100 displays the display information or additional information 9 on the screen, and the user may use 12 in the affiliated store 300 using the provided display information.

이때, 상기 가맹점(300)은 상기 QR코드를 상기 전용 애플리케이션(110)을 이용하여 식별하는 것이 바람직하나, 범용적으로 사용하는 QR코드 리더기 또는 상용 애플리케이션을 통해 상기 QR코드를 식별할 수도 있다.In this case, the affiliated store 300 preferably identifies the QR code by using the dedicated application 110, but may identify the QR code through a general-purpose QR code reader or a commercial application.

또한, 상기 가맹점(300)은 상기 QR코드의 사용시에 상기 인증 관리 서버(200)로부터의 유효 인증 절차를 통해 그 유효성을 인증하는 것이 바람직하다(14).In addition, the affiliated store 300 preferably authenticates its validity through a valid authentication procedure from the authentication management server 200 at the time of use of the QR code.

이와 같이, 상기 전용 애플리케이션(110)이 디지털 바코드의 판독을 통해 얻은 바코드 고유 정보로서 해당 디지털 바코드의 유효성을 인증하여 상기 바코드 고유 정보의 식별이 상기 전용 애플리케이션(110)을 통해서 가능하므로 사용자에 의한 위,변조가 용이하지 않아 해당 디지털 바코드에 대한 유효 인증의 보안성을 한층 강화할 수 있다.
As described above, the dedicated application 110 authenticates the validity of the corresponding digital barcode as the barcode unique information obtained through the reading of the digital barcode so that the identification of the barcode unique information is possible through the dedicated application 110. Since it is not easy to modify, the security of valid authentication for the corresponding digital barcode can be further enhanced.

도 4는 본 발명의 일 실시 예에 따른 인증 관리 서버(200)의 구성도이며, 도 5는 본 발명의 일 실시 예에 따른 전용 애플리케이션(110)의 구성도이다.4 is a configuration diagram of an authentication management server 200 according to an embodiment of the present invention, and FIG. 5 is a configuration diagram of a dedicated application 110 according to an embodiment of the present invention.

상기 도 4 및 도 5를 참조하면, 상기 디지털 바코드 인식 시스템은 디지털 바코드를 시각적으로 보이지 않는 프레임 간격으로 삽입한 동영상을 재생하는 동영상 재생부(111), 상기 디지털 바코드를 식별 및 판독하는 코드 판독부(112), 상기 판독을 통해 얻은 바코드 고유 정보를 전송하는 인증 요청부(113) 및 이의 응답으로 전송받은 상기 디지털 바코드의 표시 정보를 화면에 표시하는 코드 정보 표시부(115)를 구비한 전용 애플리케이션(110)을 구비한 사용자 단말 및 상기 전용 애플리케이션(110)으로부터 상기 바코드 고유 정보를 전송받아 이를 확인하여 상기 바코드 고유 정보와 대응하여 기 저장된 상기 디지털 바코드의 표시 정보를 상기 전용 애플리케이션(110)에 응답으로 제공하는 코드 인증부(250)를 구비한 인증 관리 서버(200)를 포함한다.4 and 5, the digital barcode recognition system includes a video reproducing unit 111 for reproducing a video in which a digital barcode is inserted at a visually invisible frame interval, and a code reading unit for identifying and reading the digital barcode. A dedicated application having an authentication requesting unit 113 for transmitting the barcode unique information obtained through the reading and a code information display unit 115 for displaying the display information of the digital barcode received in response thereto; Receives the barcode unique information from the user terminal having the 110 and the dedicated application 110 and confirms it and displays the display information of the digital barcode previously stored corresponding to the barcode unique information in response to the dedicated application 110. It includes an authentication management server 200 having a code authentication unit 250 to provide.

상기 인증 관리 서버(200)는 디지털 바코드를 발행하고자 하는 코드 발행자를 등록하고, 상기 코드 발행자의 사용자 정보를 관리하는 기본정보 관리부(210)를 더 구비하는 것이 바람직하다.The authentication management server 200 preferably further includes a basic information management unit 210 for registering a code issuer for issuing a digital barcode and managing user information of the code issuer.

또한, 상기 인증 관리 서버(200)는 상기 코드 발행자가 배포하고자 하는 동영상을 관리하는 동영상 관리부(220)를 더 구비하는 것이 바람직하다.In addition, the authentication management server 200 preferably further includes a video management unit 220 for managing a video to be distributed by the code issuer.

더불어, 상기 인증 관리 서버(200)는 해당 동영상에 삽입할 QR코드를 생성한 후, 상기 코드 발행자로 상기 QR코드에 대응하는 QR코드 아이디를 발행하는 코드 발행부(230)를 더 구비한다.In addition, the authentication management server 200 further includes a code issuing unit 230 for generating a QR code to be inserted into the video, and issuing a QR code ID corresponding to the QR code to the code issuer.

또한, 상기 전용 애플리케이션(110)의 동영상 재생부(111)는 상기 동영상의 재생시 사용자가 선택한 위치 정보를 이용하여 해당 동영상 내에서 식별한 디지털 바코드 중 하나를 선택하여 상기 코드 판독부(112)가 판독하도록 할 수 있다.In addition, the video player 111 of the dedicated application 110 selects one of the digital barcodes identified in the video using the location information selected by the user at the time of playing the video, so that the code reader 112 Can be read.

아울러, 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)는 동영상에 상기 디지털 바코드를 삽입하는 편집 기능을 구비한 코드 삽입부(114, 240)를 더 포함할 수 있다.In addition, the dedicated application 110 or the authentication management server 200 may further include code insertion units 114 and 240 having an editing function for inserting the digital barcode into a video.

이때, 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)는 상기 코드 삽입부(114, 240)를 통해 상기 디지털 바코드의 삽입시, 해당 동영상 내에서 상기 디지털 바코드의 위치 정보를 상기 동영상에 더 포함하여 편집하도록 구성할 수 있다.In this case, when the dedicated application 110 or the authentication management server 200 inserts the digital barcode through the code insertion units 114 and 240, the position information of the digital barcode is added to the video in the corresponding video. It can be configured to include and edit.

더불어, 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)의 코드 삽입부(114, 240)는 상기 디지털 바코드의 삽입시, 기 설정된 표시 간격 또는 회수에 따라 상기 동영상 내의 대응 프레임에 상기 디지털 바코드를 삽입하는 것이 바람직하다.In addition, the code insertion unit 114 or 240 of the dedicated application 110 or the authentication management server 200 may insert the digital barcode into a corresponding frame in the video according to a preset display interval or number when the digital barcode is inserted. It is preferable to insert.

더욱 바람직하게는, 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)의 코드 삽입부(114, 240)에서 상기 대응 프레임의 크기 및 색상 값을 추출하고 삽입할 디지털 바코드의 크기 및 색상 값을 이와 비교한 후, 상기 디지털 바코드의 크기 및 색상을 변환하여 상기 디지털 바코드를 삽입하도록 할 수도 있다.More preferably, the code insertion unit 114 or 240 of the dedicated application 110 or the authentication management server 200 extracts the size and color value of the corresponding frame and sets the size and color value of the digital barcode to be inserted. After comparison, the size and color of the digital barcode may be converted to insert the digital barcode.

한편, 상기 인증 관리 서버(200)는 상기 디지털 바코드에 대한 관련 정보로서, 상기 동영상에 대한 저작권 정보, 상기 동영상의 배포 장소 및 시간, 상기 동영상의 시청자에게 제공하는 제공 정보 중 하나 이상을 포함하여 관리하는 코드 정보 관리부(260)를 더 구비하는 것이 바람직하며, 상기 코드 인증부(250)는 이 중 일부를 상기 표시 정보로서 상기 전용 애플리케이션(110)으로 전송한다.On the other hand, the authentication management server 200 is managed as a related information for the digital barcode, including one or more of the copyright information for the video, the distribution place and time of the video, the providing information to the viewer of the video. It is preferable to further include a code information management unit 260, the code authentication unit 250 transmits some of this as the display information to the dedicated application (110).

상술한 바와 같이, 상기 디지털 바코드는 QR코드인 것이 바람직하다.
As described above, the digital barcode is preferably a QR code.

도 6은 본 발명의 일 실시 예에 따른 디지털 바코드 인식 방법의 데이터 흐름도이다.6 is a data flowchart of a digital barcode recognition method according to an embodiment of the present invention.

상기 디지털 바코드 인식 방법은 사용자 단말의 전용 애플리케이션(110)이 시각적으로 보이지 않는 프레임 간격으로 디지털 바코드를 삽입한 동영상을 재생하면서 상기 디지털 바코드를 식별 및 판독하는 단계(S650, S652), 상기 전용 애플리케이션(110)이 판독을 통해 얻은 바코드 고유 정보를 인증 관리 서버(200)로 전송하는 단계(S656, S660), 상기 인증 관리 서버(200)가 상기 바코드 고유 정보를 확인하여 상기 바코드 고유 정보와 대응하여 기 저장된 상기 디지털 바코드의 표시 정보를 상기 전용 애플리케이션(110)에 응답으로 제공하는 단계(S670, S680) 및 상기 전용 애플리케이션(110)이 상기 디지털 바코드의 표시 정보를 화면에 표시하는 단계(S690)를 포함한다.In the digital barcode recognition method, the dedicated application 110 of the user terminal identifies and reads the digital barcode while reproducing a video inserted with the digital barcode at frame intervals invisible (S650, S652), and the dedicated application ( Transmitting the barcode unique information obtained through the reading 110 to the authentication management server 200 (S656, S660), the authentication management server 200 checks the barcode unique information to correspond to the barcode unique information. Providing the stored display information of the digital barcode to the dedicated application 110 in response (S670, S680) and the dedicated application 110 displaying the display information of the digital barcode on the screen (S690). do.

상기 인증 관리 서버(200)는 코드 발행자(400)로부터 코드 발행자 정보를 제공받아 디지털 바코드 발행자로 등록한다(S610).The authentication management server 200 receives the code issuer information from the code issuer 400 and registers it as a digital barcode issuer (S610).

상기 판독 단계(S652)는 상기 전용 애플리케이션(110)이 상기 동영상의 재생시 사용자가 선택한 위치 정보를 이용(S654)하여 해당 동영상 내에서 식별한 디지털 바코드 중 하나를 선택(S656)하여 판독하는 것이 바람직하다.In the reading step (S652), the dedicated application 110 selects (S656) one of the digital barcodes identified in the video by using the location information selected by the user when playing the video (S654). Do.

상기 인증 관리 서버(200)는 상기 코드 발행자(400)로부터 동영상을 제공받아 관리하며(S615), 전용 애플리케이션(110)의 요청시 상기 동영상을 편집하여 생성한 디지털 바코드가 삽입된 동영상을 배포한다(S640).The authentication management server 200 receives and manages a video from the code issuer 400 (S615), and distributes a video with a digital barcode generated by editing the video upon request of the dedicated application 110 ( S640).

이를 위해, 상기 디지털 바코드 인식 방법은 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)가 동영상에 상기 디지털 바코드를 삽입하여 편집하는 단계(S630, S632)를 더 포함할 수 있다.To this end, the digital barcode recognition method may further include the step (S630, S632) of the dedicated application 110 or the authentication management server 200 to insert the digital barcode into the video.

상기 인증 관리 서버(200)는 코드 발행(S630) 이후, 상기 코드에 해당하는 ID를 코드 발행자(400)로 전송(S631)한다.The authentication management server 200 transmits the ID corresponding to the code to the code issuer 400 after the code issuance (S630) (S631).

상기 편집 단계(S630, S632)에서 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)가 상기 디지털 바코드의 삽입시, 해당 동영상 내에서 상기 디지털 바코드의 위치 정보를 상기 동영상에 더 포함(S634)하여 편집할 수 있다.When the dedicated application 110 or the authentication management server 200 inserts the digital barcode in the editing steps S630 and S632, the position information of the digital barcode is further included in the video in the video (S634). Can be edited.

또는, 상기 편집 단계(S630, S632)에서 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)가 상기 디지털 바코드의 삽입시, 기 설정된 표시 간격 또는 회수에 따라 상기 동영상 내의 대응 프레임에 상기 디지털 바코드를 삽입하도록 할 수도 있다.Alternatively, when the dedicated application 110 or the authentication management server 200 inserts the digital barcode in the editing steps S630 and S632, the digital barcode is added to a corresponding frame in the video according to a preset display interval or number of times. You can also insert

또한, 상기 편집 단계(S630, S632)는 상기 전용 애플리케이션(110) 또는 상기 인증 관리 서버(200)가 상기 대응 프레임의 크기 및 색상 값을 추출하고 삽입할 디지털 바코드의 크기 및 색상 값을 이와 비교한 후, 상기 디지털 바코드의 크기 및 색상을 변환하여 상기 디지털 바코드를 삽입할 수 있다.In addition, the editing steps S630 and S632 may be performed by comparing the size and color values of the digital barcode to which the dedicated application 110 or the authentication management server 200 extracts and inserts the size and color values of the corresponding frame. Thereafter, the size and color of the digital barcode can be converted to insert the digital barcode.

더불어, 상기 디지털 바코드 인식 방법은 상기 인증 관리 서버(200)가 상기 바코드 고유 정보를 전송받아 이를 검사하여 대응하는 상기 디지털 바코드의 유효성을 인증하는 단계(S692)를 더 포함할 수 있다.In addition, the digital barcode recognition method may further include the step of authenticating the validity of the corresponding digital barcode by the authentication management server 200 receiving the barcode unique information and inspecting it.

상기 코드 유효성 인증 단계(S692)는 가맹점(400)에서 코드 사용(S691)시에 일반적으로 수행되나, 전용 애플리케이션(110)으로부터의 요청에 의해 수행될 수도 있다.The code validity authentication step S692 is generally performed at the code usage S691 at the affiliate store 400, but may be performed by a request from the dedicated application 110.

한편, 상기 응답 제공 단계는 상기 인증 관리 서버(200)가 상기 디지털 바코드에 대한 관련 정보로서, 상기 동영상에 대한 저작권 정보, 상기 동영상의 배포 장소 및 시간, 상기 동영상의 시청자에게 제공하는 제공 정보 중 하나 이상을 포함하여 관리하며, 이 중 일부를 상기 표시 정보로서 상기 전용 애플리케이션(110)으로 전송하는 것이 바람직하다.
On the other hand, in the response providing step, the authentication management server 200 as the relevant information on the digital barcode, one of the copyright information for the video, the distribution place and time of the video, the information provided to the viewer of the video It is preferable to include the above, and to transmit some of them to the dedicated application 110 as the display information.

이상에서는 본 발명에 따른 바람직한 실시 예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
The foregoing embodiments and advantages are merely exemplary and are not to be construed as limiting the present invention. However, the present invention is not limited to the above-described embodiments, and various changes and modifications may be made by those skilled in the art without departing from the scope of the present invention. .

20: 디지털 바코드 50: 디지털 바코드가 삽입된 동영상
100: 사용자 단말 110: 전용 애플리케이션
111: 동영상 재생부 112: 코드 판독부
113: 인증 요청부 114: 코드 삽입부
115: 코드 정보 표시부 200: 인증 관리 서버
210: 기본 정보 관리부 220: 동영상 관리부
230: 코드 발행부 240: 코드 삽입부
250: 코드 인증부 260: 코드 정보 관리부
300: 가맹점20: Digital barcode 50: Video with digital barcode
100: user terminal 110: dedicated application
111: video player 112: code reader
113: authentication request unit 114: code insertion unit
115: code information display unit 200: authentication management server
210: basic information management unit 220: video management unit
230: code issuing unit 240: code insertion unit
250: code authentication unit 260: code information management unit
300: Merchant

Claims (16)

디지털 바코드를 별도의 삽입 위치 정보 없이 임의의 위치에 시각적으로 보이지 않는 프레임 간격으로 영상에 삽입한 동영상을 재생하면서 상기 디지털 바코드를 프레임 영상분석을 통해 식별 및 판독하고, 판독을 통해 얻은 바코드 고유 정보를 전송하여 이의 응답으로 전송받은 상기 디지털 바코드의 표시 정보를 화면에 표시하는 전용 애플리케이션을 구비한 사용자 단말;및
상기 전용 애플리케이션으로부터 상기 바코드 고유 정보를 전송받아 이를 확인하여 상기 바코드 고유 정보와 대응하여 기 저장된 상기 디지털 바코드의 표시 정보를 상기 전용 애플리케이션에 응답으로 제공하는 인증 관리 서버;를 포함하는 디지털 바코드 인식 시스템.
The digital barcode is identified and read through frame image analysis while playing the video inserted into the image at frame intervals that are not visible at any position without additional insertion position information, and the barcode unique information obtained through the reading is read. A user terminal having a dedicated application for transmitting and displaying display information of the digital barcode received in response thereto; and
And an authentication management server which receives the barcode unique information from the dedicated application and checks the barcode unique information to provide display information of the digital barcode stored in correspondence with the barcode unique information in response to the dedicated application.
제 1항에 있어서,
상기 전용 애플리케이션은 상기 동영상의 재생시 사용자가 선택한 프레임 내의 위치 정보를 이용하여 해당 동영상 내에서 식별한 디지털 바코드 중 대응 위치에 배치된 것을 선택하여 판독하는 것을 특징으로 하는 디지털 바코드 인식 시스템.
The method of claim 1,
The dedicated application is a digital barcode recognition system, characterized in that for reading out the one arranged in the corresponding position of the digital barcodes identified in the video using the location information in the frame selected by the user when playing the video.
제 1항에 있어서, 상기 전용 애플리케이션 또는 상기 인증 관리 서버는
동영상에 상기 디지털 바코드를 삽입하는 편집 기능을 더 구비하는 디지털 바코드 인식 시스템.
The method of claim 1, wherein the dedicated application or the authentication management server
Digital barcode recognition system further comprising an editing function for inserting the digital barcode in the video.
제 3항에 있어서, 상기 전용 애플리케이션 또는 상기 인증 관리 서버는
상기 디지털 바코드의 삽입시, 해당 동영상 내에서 상기 디지털 바코드의 프레임 내 위치 정보가 삽입 위치에 따라 확인될 수 있도록 바코드 삽입 위치를 편집하는 것을 특징으로 하는 디지털 바코드 인식 시스템.
The method of claim 3, wherein the dedicated application or the authentication management server
When the digital barcode is inserted, the barcode insertion position is edited so that the position information in the frame of the digital barcode in the video can be identified according to the insertion position.
제 3항에 있어서, 상기 전용 애플리케이션 또는 상기 인증 관리 서버는
상기 디지털 바코드의 삽입시, 기 설정된 표시 간격 또는 회수에 따라 상기 동영상 내의 해당 프레임 내의 위치에 상기 디지털 바코드를 삽입하는 것을 특징으로 하는 디지털 바코드 인식 시스템.
The method of claim 3, wherein the dedicated application or the authentication management server
When the digital barcode is inserted, the digital barcode recognition system, characterized in that for inserting the digital barcode at a position in the frame of the video according to a predetermined display interval or the number of times.
제 5항에 있어서, 상기 전용 애플리케이션 또는 상기 인증 관리 서버는
상기 동영상 내의 해당 프레임의 크기 및 색상 값을 추출하고 삽입할 디지털 바코드의 크기 및 색상 값을 이와 비교한 후, 상기 디지털 바코드의 크기 및 색상을 변환하여 상기 디지털 바코드를 삽입하는 것을 특징으로 하는 디지털 바코드 인식 시스템.
The method of claim 5, wherein the dedicated application or the authentication management server
Extracting the size and color value of the corresponding frame in the video and comparing the size and color value of the digital barcode to be inserted therein, and then converting the size and color of the digital barcode to insert the digital barcode. Recognition system.
제 1항에 있어서, 상기 인증 관리 서버는
상기 디지털 바코드에 대한 관련 정보로서, 상기 동영상에 대한 저작권 정보, 상기 동영상의 배포 장소 및 시간, 상기 동영상의 시청자에게 제공하는 제공 정보 중 하나 이상을 포함하여 관리하며, 이 중 일부를 상기 표시 정보로서 상기 전용 애플리케이션으로 전송하는 디지털 바코드 인식 시스템.
The method of claim 1, wherein the authentication management server
As related information about the digital barcode, one or more of copyright information about the video, distribution place and time of the video, and provision information provided to viewers of the video are managed, and some of the information is displayed as the display information. Digital barcode recognition system to send to the dedicated application.
제 1항에 있어서, 상기 디지털 바코드는
QR코드(Quick Response Code)인 것을 특징으로 하는 디지털 바코드 인식 시스템.
The method of claim 1, wherein the digital barcode is
Digital barcode recognition system, characterized in that the QR code (Quick Response Code).
디지털 바코드 인식 방법에 있어서,
a) 사용자 단말의 전용 애플리케이션이 별도의 삽입 위치 정보 없이 임의의 위치에 시각적으로 보이지 않는 프레임 간격으로 영상에 디지털 바코드를 삽입한 동영상을 재생하면서 상기 디지털 바코드를 프레임 영상분석을 통해 식별 및 판독하는 단계;
b) 상기 전용 애플리케이션이 판독을 통해 얻은 바코드 고유 정보를 인증 관리 서버로 전송하는 단계;
c) 상기 인증 관리 서버가 상기 바코드 고유 정보를 확인하여 상기 바코드 고유 정보와 대응하여 기 저장된 상기 디지털 바코드의 표시 정보를 상기 전용 애플리케이션에 응답으로 제공하는 단계;및
d) 상기 전용 애플리케이션이 상기 디지털 바코드의 표시 정보를 화면에 표시하는 단계;를 포함하는 디지털 바코드 인식 방법.
In the digital barcode recognition method,
a) identifying and reading the digital barcode through frame image analysis while playing a video in which the digital barcode is inserted into the image at frame intervals that are not visible at an arbitrary position without additional insertion position information by a dedicated application of the user terminal; ;
b) transmitting, by the dedicated application, barcode unique information obtained through reading to an authentication management server;
c) checking, by the authentication management server, the barcode unique information and providing display information of the digital barcode previously stored in correspondence with the barcode unique information to the dedicated application; and
d) displaying, by the dedicated application, display information of the digital barcode on a screen.
제 9항에 있어서, 상기 a)단계는
상기 전용 애플리케이션이 상기 동영상의 재생시 사용자가 선택한 프레임 내의 위치 정보를 이용하여 해당 동영상 내에서 식별한 디지털 바코드 중 대응 위치에 배치된 것을 선택하여 판독하는 것을 특징으로 하는 디지털 바코드 인식 방법.
The method of claim 9, wherein step a)
And recognizing, by the dedicated application, the position arranged in the corresponding position among the digital barcodes identified in the video using the position information in the frame selected by the user when the video is played.
제 9항에 있어서,
e) 상기 전용 애플리케이션 또는 상기 인증 관리 서버가 동영상에 상기 디지털 바코드를 삽입하여 편집하는 단계;를 더 포함하는 디지털 바코드 인식 방법.
The method of claim 9,
e) inserting and editing the digital barcode in the moving image by the dedicated application or the authentication management server.
제 11항에 있어서, 상기 e)단계는
상기 전용 애플리케이션 또는 상기 인증 관리 서버가 상기 디지털 바코드의 삽입시, 해당 동영상 내에서 상기 디지털 바코드의 프레임 내 위치 정보가 삽입 위치에 따라 확인될 수 있도록 바코드 삽입 위치를 편집하는 것을 특징으로 하는 디지털 바코드 인식 방법.
The method of claim 11, wherein step e)
When the dedicated application or the authentication management server inserts the digital barcode, the barcode insertion position is edited so that the position information in the frame of the digital barcode in the video can be checked according to the insertion position. Way.
제 11항에 있어서, 상기 e)단계는
상기 전용 애플리케이션 또는 상기 인증 관리 서버가 상기 디지털 바코드의 삽입시, 기 설정된 표시 간격 또는 회수에 따라 상기 동영상 내의 해당 프레임 내의 위치에 상기 디지털 바코드를 삽입하는 것을 특징으로 하는 디지털 바코드 인식 방법.
The method of claim 11, wherein step e)
When the dedicated application or the authentication management server inserts the digital barcode, the digital barcode recognition method inserts the digital barcode at a position within a corresponding frame in the video image according to a preset display interval or number of times.
제 13항에 있어서, 상기 e)단계는
상기 전용 애플리케이션 또는 상기 인증 관리 서버가 상기 동영상 내의 해당 프레임의 크기 및 색상 값을 추출하고 삽입할 디지털 바코드의 크기 및 색상 값을 이와 비교한 후, 상기 디지털 바코드의 크기 및 색상을 변환하여 상기 디지털 바코드를 삽입하는 것을 특징으로 하는 디지털 바코드 인식 방법.
The method of claim 13, wherein step e)
The dedicated application or the authentication management server extracts the size and color value of the corresponding frame in the video and compares the size and color value of the digital barcode to be inserted therein, and then converts the size and color of the digital barcode to convert the digital barcode. Digital barcode recognition method characterized in that the insertion.
제 9항에 있어서, 상기 c)단계는
상기 인증 관리 서버가 상기 디지털 바코드에 대한 관련 정보로서, 상기 동영상에 대한 저작권 정보, 상기 동영상의 배포 장소 및 시간, 상기 동영상의 시청자에게 제공하는 제공 정보 중 하나 이상을 포함하여 관리하며, 이 중 일부를 상기 표시 정보로서 상기 전용 애플리케이션으로 전송하는 것을 특징으로 하는 디지털 바코드 인식 방법.
The method of claim 9, wherein step c)
The authentication management server manages one or more of the copyright information for the video, the distribution place and time of the video, and the provision information provided to the viewer of the video, as the related information on the digital barcode. Digital barcode recognition method characterized in that the transmission to the dedicated application as the display information.
제 9항에 있어서,
f) 상기 인증 관리 서버가 상기 바코드 고유 정보를 전송받아 이를 검사하여 대응하는 상기 디지털 바코드의 유효성을 인증하는 단계;를 더 포함하는 디지털 바코드 인식 방법.The method of claim 9,
f) receiving, by the authentication management server, the barcode unique information, and authenticating the validity of the corresponding digital barcode by inspecting it.
KR1020110057637A 2011-06-14 2011-06-14 Digital bar code identification system and method thereof KR101081438B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110057637A KR101081438B1 (en) 2011-06-14 2011-06-14 Digital bar code identification system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057637A KR101081438B1 (en) 2011-06-14 2011-06-14 Digital bar code identification system and method thereof

Publications (1)

Publication Number Publication Date
KR101081438B1 true KR101081438B1 (en) 2011-11-15

Family

ID=45397388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057637A KR101081438B1 (en) 2011-06-14 2011-06-14 Digital bar code identification system and method thereof

Country Status (1)

Country Link
KR (1) KR101081438B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200472368Y1 (en) * 2012-05-24 2014-04-23 주식회사 아이티아이에스 System for active advertising with mapping of image ID
CN104639980A (en) * 2013-11-08 2015-05-20 江原大学校产学协力团 Image transmission apparatus in digital TV broadcasting
US9471824B2 (en) 2013-07-12 2016-10-18 Qualcomm Incorporated Embedded barcodes for displaying context relevant information

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200472368Y1 (en) * 2012-05-24 2014-04-23 주식회사 아이티아이에스 System for active advertising with mapping of image ID
US9471824B2 (en) 2013-07-12 2016-10-18 Qualcomm Incorporated Embedded barcodes for displaying context relevant information
CN104639980A (en) * 2013-11-08 2015-05-20 江原大学校产学协力团 Image transmission apparatus in digital TV broadcasting
CN104639980B (en) * 2013-11-08 2018-05-25 江原大学校产学协力团 The image transmission device of digital television broadcasting

Similar Documents

Publication Publication Date Title
US9449294B2 (en) Method and apparatus for managing user devices and contents by using quick response codes
EP2120200A1 (en) Data processing system and data processing method
US9292859B1 (en) Injecting a code into video data without or with limited human perception by flashing the code
JP4930117B2 (en) Data processing system and data processing method
JP5620968B2 (en) Information distribution apparatus, information distribution system, information distribution method, and information distribution program
JP2010277580A (en) Server device, content distribution system, and gateway server device
JP4659404B2 (en) Information providing system and method
US9626934B2 (en) Display format using display device for machine-readable dot patterns
KR20120122386A (en) Method and system for conveying milti-media message with two dimensional bar code
JP2002099824A (en) Ordering system by mobile browser terminal
KR101081438B1 (en) Digital bar code identification system and method thereof
CN201299344Y (en) Goods sales counter
JP4672543B2 (en) Information display device
JP2006268440A (en) System, server, program, and method for distributing product advertisement image, and recording medium
KR20130079461A (en) Method and system for conveying milti-media message with two dimensional bar code
JP2007174108A (en) Information display method, system, and program
CN101937534A (en) Electronic marketing management system and management method
US20160042362A1 (en) Recording purchase behavior using device with multiple feedback and input modalities
KR102557880B1 (en) Method for displaying advertisement image in affiliate and advertisement processing device
KR102133863B1 (en) System for displaying and management purchase information using qr code and method thereof
US11165929B2 (en) Encrypted gallery management system and implementation method thereof
KR200457957Y1 (en) Wall Mounted Type Digital Display Device
CN111275458A (en) Product traceability method and product traceability system based on product making video
WO2015004022A1 (en) System and method for sending variable-dependant digital rewards to digital applications
JP6023137B2 (en) Information distribution apparatus, information distribution system, information distribution method, and information distribution program

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160316

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170822

Year of fee payment: 7