KR102089000B1 - Method and apparatus for recognizing video content, and image processing system including the same - Google Patents

Method and apparatus for recognizing video content, and image processing system including the same Download PDF

Info

Publication number
KR102089000B1
KR102089000B1 KR1020180103718A KR20180103718A KR102089000B1 KR 102089000 B1 KR102089000 B1 KR 102089000B1 KR 1020180103718 A KR1020180103718 A KR 1020180103718A KR 20180103718 A KR20180103718 A KR 20180103718A KR 102089000 B1 KR102089000 B1 KR 102089000B1
Authority
KR
South Korea
Prior art keywords
video content
layer
recognition
recognition module
resolution
Prior art date
Application number
KR1020180103718A
Other languages
Korean (ko)
Other versions
KR20200025810A (en
Inventor
이상민
조청호
김형진
Original Assignee
(주)뉴빌리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뉴빌리티 filed Critical (주)뉴빌리티
Priority to KR1020180103718A priority Critical patent/KR102089000B1/en
Publication of KR20200025810A publication Critical patent/KR20200025810A/en
Application granted granted Critical
Publication of KR102089000B1 publication Critical patent/KR102089000B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템에 관한 것으로서, 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 저장하는 저장부; 및 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 저장부에 저장된 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 제어부를 포함한다.The present invention relates to a video content recognition method and apparatus, and an image processing system including the same, a storage unit storing at least one recognition module for recognizing information included in the video content; And designating video content for recognizing information, and connecting at least one area of the video content and the at least one recognition module stored in the storage unit in a layer form to the video content through the at least one recognition module. And a control unit recognizing the included information.

Description

동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템{METHOD AND APPARATUS FOR RECOGNIZING VIDEO CONTENT, AND IMAGE PROCESSING SYSTEM INCLUDING THE SAME}METHOD AND APPARATUS FOR RECOGNIZING VIDEO CONTENT, AND IMAGE PROCESSING SYSTEM INCLUDING THE SAME

본 발명은 영상 처리에 관한 것으로, 더욱 상세하게는 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템에 관한 것이다.The present invention relates to image processing, and more particularly, to a video content recognition method and apparatus, and an image processing system including the same.

게임 등과 같은 동영상에는 문자, 숫자, 및 이미지를 포함한 다양한 정보가 포함된다. 이러한 동영상에서 시간에 따라 자동으로 정보를 추출하거나, 각각의 정보가 등장하는 구간 또는 위치에 관한 정보를 알게 되면, 해당 정보와 관련된 부가정보를 제공하기 편리할 뿐만 아니라 다양한 응용 서비스 제공에 효과적으로 활용할 수 있다.A video such as a game contains various information including letters, numbers, and images. Automatically extracting information from these videos over time, or knowing information about the section or location where each information appears, it is convenient not only to provide additional information related to the information but also to effectively provide various application services. have.

그러나, 기존의 영상 인식 프로그램이나 게임 데이터 인식 프로그램은 공개 소스 컴퓨터 비전(Open Source Computer Vision; Open CV)이나 머신 러닝과 같은 개발 여력을 요구하였다. 또한, 게임 데이터를 분석하기 위해서는 해석 모델 선정 튜닝 데이터 제작 프로그램 등과 같은 일회성 프로그램들을 다량으로 제작할 필요가 있었으며, 이에 반복적인 작업을 많이 요구하였다.However, the existing image recognition program or game data recognition program required development capacity such as open source computer vision (Open CV) or machine learning. In addition, in order to analyze the game data, it was necessary to produce a large amount of one-time programs such as an analysis model selection tuning data production program, etc., which required a lot of repetitive work.

국내특허출원 제10-2005-0044005호Domestic patent application No. 10-2005-0044005 국내등록특허공보 제10-1104699호Korean Registered Patent Publication No. 10-1104699

본 명세서는 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 개발자가 아니더라도 그래픽 유저 인터페이스 환경을 통해 다수의 사용자가 동영상 콘텐츠에 포함된 정보를 인식하기 위한 프로그램을 손쉽게 튜닝하고 제작할 수 있는 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템을 제공하는 데 그 목적이 있다.This specification has been devised to solve the problems as described above, and even if you are not a developer, video content recognition that allows a large number of users to easily tune and produce a program for recognizing information contained in video content through a graphical user interface environment It is an object of the present invention to provide a method and apparatus, and an image processing system including the same.

본 명세서의 다른 목적은 자동화된 영상 인식 워크 플로우, 화면데이터 수집 프로그램의 자동 생성, 및 웹을 통한 모델 데이터 튜닝 자동화 등의 간편화된 사용자 환경을 제공할 수 있는 동영상 콘텐츠 인식 방법 및 장치, 그리고 이를 포함하는 영상 처리 시스템를 제공한다.Other objects of the present specification include a video content recognition method and apparatus that can provide a simplified user experience, such as an automated image recognition workflow, automatic generation of a screen data collection program, and automatic model data tuning through the web, and the same. To provide an image processing system.

이와 같은 목적을 달성하기 위한, 본 명세서의 실시예에 따르면, 본 명세서에 따른 영상 처리 시스템은, 동영상 콘텐츠에 포함된 정보를 인식하는 복수의 인식 모듈을 저장하는 웹 서버; 및 상기 웹 서버로부터 상기 복수의 인식 모듈 중에 적어도 하나의 인식 모듈을 수신하고, 상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하며, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치를 포함한다.To achieve this object, according to an embodiment of the present disclosure, the image processing system according to the present specification includes: a web server storing a plurality of recognition modules for recognizing information included in video content; And receiving at least one recognition module among the plurality of recognition modules from the web server, designating the video content to recognize the information, and layering at least one area and the at least one recognition module of the video content. And a video content recognition device connected in a form to recognize information included in the video content through the at least one recognition module.

바람직하게는, 상기 동영상 콘텐츠에 포함된 각종 정보를 인식 모듈에 입력하고, 상기 인식 모듈의 결과값들에 대한 교차 검증을 수행하여 상기 복수의 인식 모듈을 업데이트하는 복수의 교차 검증 장치를 더 포함하는 것을 특징으로 한다.Preferably, the apparatus further includes a plurality of cross-validation devices that input various pieces of information included in the video content to a recognition module and perform cross-verification on the result values of the recognition module to update the plurality of recognition modules. It is characterized by.

본 명세서의 다른 실시예에 따르면, 본 명세서에 따른 동영상 콘텐츠 인식 장치는, 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 저장하는 저장부; 및 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 저장부에 저장된 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 제어부를 포함한다.According to another embodiment of the present specification, the video content recognition apparatus according to the present specification, a storage unit for storing at least one recognition module for recognizing information included in the video content; And designating video content for recognizing information, and connecting at least one area of the video content and the at least one recognition module stored in the storage unit in a layer form to the video content through the at least one recognition module. And a control unit recognizing the included information.

바람직하게는, 상기 제어부는 타임 테이블에 상기 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 상기 인식 모듈을 삽입하여 상기 화면데이터 수집 프로그램을 생성하는 것을 특징으로 한다.Preferably, the controller indexes the video content in a time table, sets layers for each index, and inserts the recognition module in each layer to generate the screen data collection program.

바람직하게는, 상기 제어부는 상기 동영상 콘텐츠에 마스크를 설정하고, 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한 후, 색인별로 사용할 레이어를 선택하는 것을 특징으로 한다.Preferably, the control unit is characterized in that a mask is set for the video content, a video resolution and a change characteristic for each resolution of each region are set for the mask, and then a layer to be used for each index is selected.

바람직하게는, 상기 제어부는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 것을 특징으로 한다.Preferably, the control unit is characterized in that it selects either linear or non-linearity as a change characteristic for each resolution of each region.

바람직하게는, 상기 제어부는 각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 것을 특징으로 한다.Preferably, when a non-linearity is selected as a change characteristic for each resolution of each region, the controller changes the resolution based on the coordinate value input from the user.

바람직하게는, 상기 제어부는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간(Spline Interpolation)을 통해 해상도를 변화시키는 것을 특징으로 한다.Preferably, the control unit is characterized in that the resolution is changed through spline interpolation (spline interpolation) for the resolution is not input coordinate values.

바람직하게는, 상기 색인별로 사용할 레이어는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값과 비교하여 영역의 흔들림을 보정하는 흔들림 보정 레이어, 반투명 레이어, 및 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어 중 적어도 하나를 포함하는 것을 특징으로 한다.Preferably, the layer to be used for each index is a base layer, a part of the area, and then the position values of the internal feature points are detected, and a shake correction layer that compensates for the shaking of the region by comparing the detected location values with a default value, translucent It is characterized in that it includes at least one of a layer, and an additional layer designating a region having different characteristics for each position and resolution.

바람직하게는, 상기 제어부는 영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하고, 상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 것을 특징으로 한다.Preferably, the controller designates an area in which the recognition module is input on the layer through a UI location filling layer, and inserts the recognition module in the region location filling layer. .

본 명세서의 또 다른 실시예에 따르면, 본 명세서에 따른 동영상 콘텐츠 인식 방법은, 동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치의 동영상 콘텐츠 인식 방법에 있어서, 상기 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 수신 및 저장하는 단계; 상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하는 단계; 및 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계를 포함한다.According to another embodiment of the present specification, the video content recognition method according to the present specification, in the video content recognition method of the video content recognition device for recognizing information contained in the video content, recognizes the information contained in the video content Receiving and storing at least one recognition module; Designating the video content to recognize the information; And recognizing information included in the video content through the at least one recognition module by connecting at least one area of the video content and the at least one recognition module in a layer form.

바람직하게는, 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계는, 타임 테이블에 상기 동영상 콘텐츠를 색인하는 단계; 색인별 레이어를 설정하는 단계; 및 각 레이어에 상기 인식 모듈을 삽입하는 단계를 포함한다.Preferably, the step of recognizing information included in the video content includes: indexing the video content in a time table; Setting a layer for each index; And inserting the recognition module in each layer.

바람직하게는, 상기 색인별 레이어를 설정하는 단계는, 상기 동영상 콘텐츠에 마스크를 설정하는 단계; 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정하는 단계; 및 색인별로 사용할 레이어를 선택하는 단계를 포함한다.Preferably, the step of setting the layer for each index comprises: setting a mask for the video content; Setting a change characteristic for each resolution of an image resolution and each region in the mask; And selecting a layer to be used for each index.

바람직하게는, 상기 해상도별 변화 특성을 설정하는 단계는, 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 단계; 및 각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 단계를 포함한다.Preferably, the setting of the change characteristic for each resolution may include selecting one of linear and nonlinear as the change characteristic for each resolution of each region; And when a nonlinearity is selected as a change characteristic for each resolution of each region, changing the resolution based on the coordinate value input from the user.

바람직하게는, 상기 인식 모듈을 삽입하는 단계는, 영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하는 단계; 및 상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 단계를 포함한다.Preferably, the step of inserting the recognition module may include: specifying an area in which the recognition module is input on the layer through a UI Location Filling Layer; And inserting the recognition module in the region location filling layer.

이상에서 설명한 바와 같이 본 명세서에 의하면, 개발자가 아니더라도 그래픽 유저 인터페이스 환경을 통해 다수의 사용자가 동영상 콘텐츠에 포함된 정보를 인식하기 위한 프로그램을 손쉽게 튜닝하고 제작할 수 있다.As described above, according to the present specification, even a non-developer can easily tune and produce a program for recognizing information contained in video content by a plurality of users through a graphical user interface environment.

또한, 자동화된 영상 인식 워크 플로우, 화면데이터 수집 프로그램의 자동 생성, 및 웹을 통한 모델 데이터 튜닝 자동화 등의 간편화된 사용자 환경을 제공할 수 있다.In addition, it is possible to provide a simplified user environment such as an automated image recognition workflow, automatic generation of a screen data collection program, and automated model data tuning through the web.

또한, 사용자별로 이루어졌던 프로그램의 제작 또한 캡차(Capcha)를 제공함으로써, 정확도 및 효율성을 향상시킬 수 있다.In addition, the production of programs made for each user also provides Capcha, thereby improving accuracy and efficiency.

도 1은 본 발명의 제1 실시예에 따른 영상 처리 시스템의 개략적인 구성을 나타낸 블럭 구성도,
도 2는 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 장치 내부의 개략적인 구성을 나타낸 블럭 구성도,
도 3은 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 방법을 나타낸 흐름도,
도 4는 본 발명의 제1 실시예에 따른 화면데이터 수집 프로그램을 생성하는 방법을 나타낸 흐름도,
도 5는 본 발명의 제1 실시예에 따른 각 색인별 레이어를 설정하는 방법을 나타낸 흐름도,
도 6은 본 발명의 제1 실시예에 따른 타임 테이블의 예시 화면을 나타낸 도면,
도 7은 본 발명의 제1 실시예에 따른 영상인식 프로그램의 예시 화면을 나타낸 도면,
도 8은 영역 위치 충진 레이어를 이용하여 인식 모듈에 입력될 영역을 지정하는 방법을 설명하기 위한 도면,
도 9는 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 장치 내부의 개략적인 구성을 나타낸 도면,
도 10은 본 발명의 제2 실시예에 따른 솔레노이드 모듈의 구성을 나타낸 도면, 및
도 11은 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 방법을 나타낸 흐름도이다.1 is a block diagram showing a schematic configuration of an image processing system according to a first embodiment of the present invention;
2 is a block diagram showing a schematic configuration inside a video content recognition device according to a first embodiment of the present invention;
3 is a flowchart illustrating a video content recognition method according to a first embodiment of the present invention,
4 is a flowchart illustrating a method for generating a screen data collection program according to a first embodiment of the present invention,
5 is a flowchart illustrating a method of setting a layer for each index according to the first embodiment of the present invention,
6 is a view showing an example screen of a time table according to the first embodiment of the present invention,
7 is a view showing an example screen of the image recognition program according to the first embodiment of the present invention,
8 is a view for explaining a method of designating an area to be input to a recognition module using an area location filling layer;
9 is a view showing a schematic configuration inside a non-language-based information transmission device according to a second embodiment of the present invention,
10 is a view showing the configuration of a solenoid module according to a second embodiment of the present invention, and
11 is a flowchart illustrating a method for transmitting non-language based information according to a second embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used herein are only used to describe specific embodiments and are not intended to limit the present invention. In addition, technical terms used in this specification should be interpreted as meanings generally understood by a person having ordinary knowledge in the technical field to which the present invention belongs, unless defined otherwise. It should not be interpreted as a meaning, or an excessively reduced meaning. In addition, when the technical term used in this specification is a wrong technical term that does not accurately represent the spirit of the present invention, it should be understood as being replaced by a technical term that can be correctly understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted as defined in the dictionary or in context before and after, and should not be interpreted as an excessively reduced meaning.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in this specification includes the plural expression unless the context clearly indicates otherwise. In the present application, the terms "consisting of" or "comprising" should not be construed as including all of the various components, or various steps described in the specification, among which some components or some steps It may not be included, or it should be construed to further include additional components or steps.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes "module" and "part" for components used in the present specification are given or mixed only considering the ease of writing the specification, and do not have a meaning or a role distinguished from each other by itself.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Further, terms including ordinal numbers such as first and second used in the present specification may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar elements will be given the same reference numbers regardless of the reference numerals, and redundant descriptions thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.In addition, in the description of the present invention, when it is determined that detailed descriptions of related known technologies may obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easy understanding of the spirit of the present invention and should not be interpreted as limiting the spirit of the present invention by the accompanying drawings.

도 1은 본 발명의 제1 실시예에 따른 영상 처리 시스템의 개략적인 구성을 나타낸 블럭 구성도이다.1 is a block diagram showing a schematic configuration of an image processing system according to a first embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 영상 처리 시스템은 웹 서버(110), 동영상 콘텐츠 인식 장치(120), 및 복수의 교차 검증 장치(130)를 포함할 수 있다.Referring to FIG. 1, the image processing system according to the present invention may include a web server 110, a video content recognition device 120, and a plurality of cross verification devices 130.

웹 서버(110)는 영상인식 프로그램 및 동영상 콘텐츠에 포함된 정보를 인식하는 복수의 인식 모듈을 저장한다.The web server 110 stores a plurality of recognition modules for recognizing information included in an image recognition program and video content.

또한, 웹 서버(110)는 사용자가 레이어를 통해 삽입한 각 인식 모듈의 속성 정보를 포함하는 모듈 데이터와, 비후처리 데이터 및 후처리 데이터를 포함하는 학습 데이터를 포함할 수 있다.In addition, the web server 110 may include module data including attribute information of each recognition module inserted by a user through a layer, and learning data including post-processing data and post-processing data.

여기서, 비후처리 데이터는 데이터에 관한 정보가 색인되지 않은 데이터, 즉, 인식 모듈과 최적화되지 않은 데이터를 나타낸다. 또한, 후처리 데이터는 사용자 또는 타인이 수작업을 통해 각 데이터와 최적화시키고 싶은 인식 모듈의 결과값들을 색인한 데이터들을 나타낸다. 즉, 후처리 데이터는 후술하는 복수의 교차 검증 장치(130)의 교차 검증을 통해 인식 모듈과 최적화된 데이터를 나타낸다. 이를 위해, 웹 서버(110)는 복수의 인식 모듈에 대한 오픈 소스를 복수의 교차 검증 장치(130)로 제공할 수 있다.Here, the post-processing data represents data in which information about the data is not indexed, that is, a recognition module and unoptimized data. In addition, the post-processing data represents data that indexes the results of the recognition module that the user or others want to optimize with each data manually. That is, post-processing data represents the recognition module and optimized data through cross-validation of a plurality of cross-validation devices 130 to be described later. To this end, the web server 110 may provide open source for a plurality of recognition modules to the plurality of cross-validation devices 130.

이처럼, 웹 서버(110)는 복수의 교차 검증 장치(130)에 의해 교차 검증된 학습 데이터를 토대로 업데이트된 인증 모듈을 동영상 콘텐츠 인식 장치(120)로 제공할 수 있다.As such, the web server 110 may provide the updated authentication module based on the training data cross-verified by the plurality of cross-validation devices 130 to the video content recognition device 120.

동영상 콘텐츠 인식 장치(120)는 웹 서버(110)에 접속하여 웹 서버(110)로부터 영상인식 프로그램 및 동영상 콘텐츠에 포함된 정보를 인식하기 위한 적어도 하나의 인식 모듈을 수신한다.The video content recognition device 120 accesses the web server 110 and receives at least one recognition module for recognizing information included in a video recognition program and video content from the web server 110.

동영상 콘텐츠 인식 장치(120)는 수신한 영상인식 프로그램을 통해 운영체제 시스템(Operating System; OA) 상에서 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 동영상 콘텐츠에서 정보를 인식하고자 하는 적어도 하나의 영역과 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 화면데이터 수집 프로그램을 생성하며, 생성된 화면데이터 수집 프로그램을 통해 동영상 콘텐츠에 포함된 정보를 인식할 수 있다. 동영상 콘텐츠 인식 장치(120)의 자세한 구조 및 동작에 대해서는 도 2에서 설명하기로 한다.The video content recognition device 120 designates video content for recognizing information on an operating system (OA) through a received image recognition program, and at least one area and at least one area for recognizing information in the video content Connects the recognition module in the form of a layer to generate a screen data collection program, and the generated screen data collection program can recognize information included in the video content. The detailed structure and operation of the video content recognition device 120 will be described with reference to FIG. 2.

복수의 교차 검증 장치(130)는 웹 서버(110)에서 제공하는 복수의 인식 모듈에 대한 오픈 소스를 기반으로 동영상 콘텐츠에 포함된 각종 정보를 인식 모듈에 입력하고, 인식 모듈의 결과값들에 대한 교차 검증을 수행하여 복수의 인식 모듈을 업데이트한다. 구체적으로는, 초기에 한 명 또는 소규모 그룹의 사용자가 몇 개의 데이터를 만들어 인식 모듈의 정확도를 측정하여 기준을 만들고, 각각에 데이터에 대해 복수의 검증 인원이 검증을 수행하여 기설정된 사람 수 이상 동의한 경우, 유효한 데이터로 판정한다.The plurality of cross-validation devices 130 input various types of information included in the video content to the recognition module based on the open source for the plurality of recognition modules provided by the web server 110, and for the result values of the recognition module. Cross-verification is performed to update a plurality of recognition modules. Specifically, one or a small group of users initially creates some data to measure the accuracy of the recognition module to create a standard, and multiple verification personnel perform verification on each data to agree more than a preset number of people In one case, it is judged as valid data.

또한, 복수의 교차 검증 장치(130)는 캡차(Capcha) 등와 같은 자동 입력 방지 시스템을 통하여 인식 모듈의 정확도를 향상시킬 수 있다. 예를 들면, 복수의 교차 검증 인증 장치(130)는 인식 모듈의 이용자 수 및 만족도 등을 고려하여 데이터의 추가 확보가 필요한 인식 모듈의 경우, 캡차가 자주 등장하도록 할 수 있다.In addition, the plurality of cross-validation devices 130 may improve the accuracy of the recognition module through an automatic input prevention system such as Capcha. For example, the plurality of cross-validation authentication devices 130 may allow the CAPTCHA to appear frequently in the case of a recognition module requiring additional data acquisition in consideration of the number and satisfaction of users of the recognition module.

본 발명의 실시예에서는 동영상 콘텐츠 인식 장치(110)와 복수의 교차 검증 장치(130)를 구분하여 설명하고 있지만, 동영상 콘텐츠 인식 장치(110)가 각각의 교차 검증 장치(130)가 될 수 있다.In the embodiment of the present invention, the video content recognition device 110 and the plurality of cross-validation devices 130 are separately described, but the video content recognition device 110 may be each cross-validation device 130.

도 2는 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 장치 내부의 개략적인 구성을 나타낸 블럭 구성도이다.2 is a block diagram illustrating a schematic configuration of an inside of a video content recognition apparatus according to a first embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 동영상 콘텐츠 인식 장치(110)는 통신부(210), 화면데이터 수집 프로그램 생성부(220), 저장부(230), 및 화면데이터 수집부(240)를 포함할 수 있다. 여기서, 화면데이터 수집 프로그램 생성부(220) 및 화면데이터 수집부(240)가 제어부를 구성한다.Referring to FIG. 2, the video content recognition apparatus 110 according to the present invention may include a communication unit 210, a screen data collection program generator 220, a storage unit 230, and a screen data collection unit 240. Can be. Here, the screen data collection program generation unit 220 and the screen data collection unit 240 constitute a control unit.

통신부(210)는 유무선 통신을 통해 웹 서버(110)와 데이터를 송수신한다. 즉, 통신부(210)는 웹 서버(110)로부터 영상인식 프로그램, 적어도 하나의 인식 모듈, 및 각 인식 모듈과 관련된 각종 데이터를 수신하고, 웹 서버(110)로 동영상 콘텐츠 인식 과정이나 화면데이터 수집 과정에서 생성되는 각종 데이터를 웹 서버(110)로 전송할 수 있다.The communication unit 210 transmits and receives data to and from the web server 110 through wired / wireless communication. That is, the communication unit 210 receives an image recognition program, at least one recognition module, and various data related to each recognition module from the web server 110, and processes the video content recognition process or screen data collection process by the web server 110. Various data generated in can be transmitted to the web server (110).

화면데이터 수집 프로그램 생성부(220)는 영상인식 프로그램을 통해 운영체제 시스템 상에서 정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 동영상 콘텐츠에서 정보를 인식하고자 하는 적어도 하나의 영역과 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 화면데이터 수집 프로그램을 생성한다.The screen data collection program generation unit 220 designates video content for recognizing information on the operating system through an image recognition program, and forms at least one area and at least one recognition module for recognizing information in the video content in the form of a layer. Connect to and create a screen data collection program.

구체적으로는, 화면데이터 수집 프로그램 생성부(220)는 화면데이터 수집 프로그램을 생성하기 위해서, 우선 동영상 콘텐츠를 불러오고, 영상 편집 툴을 이용하여 동영상 콘텐츠에서 시작 부분부터 인식이 종료되어야 하는 종료 부분까지 자른다. 그리고, 화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠의 시작 부분과 끝 부분의 편집을 완료한 후에, 타임 테이블에 동영상 콘텐츠를 색인한다. 예를 들면, 화면데이터 수집 프로그램 생성부(220)는 메인 메뉴, 게임 시작창, 인게임 상황, 및 게임 종료 상황 등을 색인할 수 있다.Specifically, in order to generate a screen data collection program, the screen data collection program generation unit 220 first loads the video content, and uses the video editing tool from the beginning to the end where recognition must end. Cut. Then, after completing the editing of the beginning and end of the video content, the screen data collection program generator 220 indexes the video content in the time table. For example, the screen data collection program generator 220 may index the main menu, the game start window, the in-game situation, and the game end situation.

화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠의 색인이 완료된 후에, 각 색인별 레이어를 설정한다.The screen data collection program generation unit 220 sets a layer for each index after indexing of the video content is completed.

구체적으로는, 화면데이터 수집 프로그램 생성부(220)가 각 색인별 레이어를 설정하는 과정은 다음과 같다.Specifically, the process of setting the layers for each index by the screen data collection program generator 220 is as follows.

우선, 화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠에 마스크를 설정하고, 해상도의 변화에 따라 영역의 변화를 자동으로 잡아주기 위해 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한다. 여기서, 화면데이터 수집 프로그램 생성부(220)는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중에 어느 하나를 선택할 수 있는데, 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시킨다. 이때, 화면데이터 수집 프로그램 생성부(220)는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간(Spline Interpolation)을 통해 해상도를 변화시킬 수 있다.First, the screen data collection program generation unit 220 sets a mask on the video content, and sets an image resolution and a change characteristic for each area of the resolution on the mask in order to automatically catch a change in the area according to the change in resolution. Here, the screen data collection program generating unit 220 may select either linear or nonlinear as a change characteristic for each resolution of each region. When selecting nonlinear, the resolution is changed based on coordinate values input from a user. At this time, the screen data collection program generation unit 220 may change the resolution for spline interpolation for a resolution in which coordinate values are not input.

그리고, 화면데이터 수집 프로그램 생성부(220)는 각 영역의 해상도별 변화 특성을 설정한 후에, 색인별로 사용할 레이어를 선택한다. 즉, 화면데이터 수집 프로그램 생성부(220)는 레이어 선택창에서 색인별로 사용할 레이어를 선택한 후 드래그하여 모듈 생성용 트리에 옮겨놓는다. 여기서, 레이어는 기본적으로 마스킹의 바로 하단에 적용되는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값(Default)과 비교하여 영역의 흔들림을 마스크 데이터와 영상 처리 기법으로 보정하는 흔들림 보정 레이어, 반투명 레이어의 감지를 위해 존재하는 반투명 레이어, 및 기존에 사용한 영역과 관계없이 별도로 동작하는 영역, 즉, 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어를 포함할 수 있다.Then, the screen data collection program generator 220 sets a change characteristic for each resolution of each region, and then selects a layer to be used for each index. That is, the screen data collection program generation unit 220 selects a layer to be used for each index in the layer selection window and drags it to the tree for module creation. Here, the layer basically cuts a portion of the base layer, the area applied to the bottom of the masking, and detects the position values of the feature points inside, and compares the detected position values with the default to mask the shaking of the area. Image stabilization layer corrected by image processing technique, translucent layer present for detection of translucent layer, and an area that operates independently of the previously used area, i.e., the area with different change characteristics for each position and resolution Additional layers may be included.

화면데이터 수집 프로그램 생성부(220)는 색인별 레이어 설정이 완료된 후, 영역 위치 충진 레이어(UI Location Filling Layer)를 이용하여 각 영역별로 인식해야 하는 정보가 있는 부분을 정사각형 또는 직사각형 형태로 지정한 뒤 상위 레이어에 포함시킴으로써 인식 모듈을 위치시킬 수 있다. 결과적으로, 화면데이터 수집 프로그램 생성부(220)는 흔들림을 보정하는 레이어 상에서 인식해야 하는 범위를 안정적으로 조정할 수 있다.After the layer setting for each index is completed, the screen data collection program generation unit 220 designates a portion having information to be recognized for each area in a square or rectangular form by using a UI Location Filling Layer, and then displays the upper layer. The recognition module can be positioned by including it in the layer. As a result, the screen data collection program generation unit 220 may stably adjust the range to be recognized on the layer to correct the shake.

화면데이터 수집 프로그램 생성부(220)는 영역 위치 충진 레이어를 위치시킨 뒤에 인식 모듈을 통해 인식해야 하는 정보가 어떤 종류의 정보인지 설정할 수 있다.The screen data collection program generation unit 220 may set the type of information to be recognized through the recognition module after positioning the region position filling layer.

화면데이터 수집 프로그램 생성부(220)는 인식해야 하는 정보의 종류를 선택한 후에, 영역 위치 충진 레이어에 인식 모듈을 삽입한다. 여기서, 화면데이터 수집 프로그램 생성부(220)는 이전에 입력한 데이터의 종류에 맞게 사용할 수 있는 레이어를 강조하여 표시할 수 있고, 또한 영역 위치 충진 레이어에 대응되는 인식 모듈을 자동으로 제공할 수 있다. 예를 들면, 영역 위치 충진 레이어를 통해 인식 범위를 정하면, 그 인식 범위는 정사각형, 원형, 또는 직사각형 형태 등이 될 수 있는데, 화면데이터 수집 프로그램 생성부(220)는 인식 범위의 각 형태별로 대응되는 인식 모듈을 자동으로 추천하여 제공할 수 있다.After selecting the type of information to be recognized, the screen data collection program generator 220 inserts the recognition module into the region location filling layer. Here, the screen data collection program generation unit 220 may highlight and display a layer that can be used according to the type of data previously input, and may also automatically provide a recognition module corresponding to the region location filling layer. . For example, if the recognition range is determined through the region position filling layer, the recognition range may be square, circular, or rectangular, and the screen data collection program generation unit 220 corresponds to each type of the recognition range. The recognition module can be automatically recommended and provided.

이와 더불어, 화면데이터 수집 프로그램 생성부(220)는 레이어의 특성 위주로 각 인식 모듈별 작동 원리에 대한 도움말을 제공할 수도 있다.In addition, the screen data collection program generation unit 220 may provide help on the operating principle of each recognition module based on the characteristics of the layer.

이와 같이, 화면데이터 수집 프로그램 생성부(220)는 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 인식 모듈을 삽입하는 일련의 절차를 통해 화면데이터 수집 프로그램을 생성할 수 있다.As described above, the screen data collection program generation unit 220 may generate a screen data collection program through a series of procedures for indexing video content, setting layers for each index, and inserting a recognition module in each layer.

저장부(230)는 통신부(210)를 통해 웹 서버(110)로부터 수신한 영상인식 프로그램 및 적어도 하나의 인식 모듈과, 화면데이터 수집 프로그램 생성부(220)에 의해 생성된 화면데이터 수집 프로그램을 저장한다. 이외에도, 저장부(230)는 화면데이터 수집 프로그램 및 영상인식 프로그램의 구동에 필요한 운영체제 및 영상인식 과정 및 화면데이터 수집 프로그램 생성 과정에 필요한 데이터들을 저장할 수도 있다. 예를 들면, 저장부(230)는 전술한 비후처리 데이터 및 후처리 데이터를 저장할 수 있다. 이를 위해, 저장부(230)는 복수의 저장 영역으로 나누어질 수도 있다.The storage unit 230 stores the image recognition program and at least one recognition module received from the web server 110 through the communication unit 210 and the screen data collection program generated by the screen data collection program generation unit 220. do. In addition, the storage unit 230 may store data necessary for an operating system and an image recognition process and a screen data collection program generation process required for driving the screen data collection program and the image recognition program. For example, the storage unit 230 may store the above-described post-processing data and post-processing data. To this end, the storage unit 230 may be divided into a plurality of storage areas.

또한, 저장부(230)는 주기적 또는 화면데이터 수집 프로그램의 실행시마다 웹 서버(110)로부터 업데이트된 인식 모듈을 수신할 수 있다.In addition, the storage unit 230 may receive the updated recognition module from the web server 110 whenever the periodic or screen data collection program is executed.

화면데이터 수집부(240)는 저장부(230)에 저장된 화면데이터 수집 프로그램을 통해 사용자가 직접 플레이하는 화면에서 다량의 데이터를 인식할 수 있다.The screen data collection unit 240 may recognize a large amount of data on a screen that the user directly plays through the screen data collection program stored in the storage unit 230.

따라서, 본 발명의 제1 실시예에 따르면, 사용자는 전술한 구성의 동영상 콘텐츠 인식 장치를 통해 복잡한 프로그래밍 없이 게임 데이터를 인식하는 프로그램을 제작할 수 있다.Therefore, according to the first embodiment of the present invention, the user can produce a program that recognizes game data without complicated programming through the video content recognition device having the above-described configuration.

도 3은 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a video content recognition method according to a first embodiment of the present invention.

우선, 본 발명의 제1 실시예에서 동영상 콘텐츠를 인식하기 위해서는, 인식해야 하는 영역의 현재 상태와 위치, 그리고 인식하고자 하는 영역의 정보, 즉, 데이터의 데이터 타입을 포함하는 세 가지 요건이 필수적이며, 동영상 콘텐츠 인식 장치(120)는 이 세 가지 요건으로 영역에 인식 모듈을 위치시킬 수 있다.First, in order to recognize the video content in the first embodiment of the present invention, three requirements including the current state and location of the area to be recognized and information of the area to be recognized, that is, the data type of data, are essential. , The video content recognition device 120 can place the recognition module in the area with these three requirements.

본 발명의 실시예에서는 설명의 편의상, 동영상 콘텐츠로서 게임 동영상을 예로 들어 설명하고 있지만 이에 한정되는 것은 아니며, 동영상 콘텐츠는 영화, 스포츠, 드라마, 예능, 및 시사 등의 다양한 동영상을 포함할 수 있다. 특히, 본 발명의 실시예에서 동영상 콘텐츠의 영역이라 함은 유저 인터페이스(User Interface; UI)를 나타낸다.In the embodiment of the present invention, for convenience of explanation, the game video is described as an example as a video content, but the present invention is not limited thereto, and the video content may include various videos such as movies, sports, dramas, entertainment, and current events. Particularly, in the embodiment of the present invention, the area of the video content indicates a user interface (UI).

도 3을 참조하면, 본 발명에 따른 동영상 콘텐츠 인식 장치(120)는 웹 서버(110)에 접속하여 웹 서버(110)로부터 영상인식 프로그램 및 동영상 콘텐츠에 포함된 정보를 인식하기 위한 적어도 하나의 인식 모듈을 수신한다(S310).Referring to FIG. 3, the video content recognition apparatus 120 according to the present invention accesses the web server 110 and recognizes at least one for recognizing information included in a video recognition program and video content from the web server 110. The module is received (S310).

이어서, 동영상 콘텐츠 인식 장치(120)는 수신한 영상인식 프로그램을 통해 운영체제 시스템 상에서 정보를 인식하고자 하는 동영상 콘텐츠를 지정한다(S320). 이때, 동영상 콘텐츠 인식 장치(120)는 영상 편집 툴을 이용하여 동영상 콘텐츠의 시작 부분부터 인식이 종료되어야 하는 종료 부분까지 자른다.Subsequently, the video content recognition device 120 designates a video content to recognize information on the operating system through the received image recognition program (S320). At this time, the video content recognition device 120 cuts from the beginning of the video content to the end where the recognition should end using the video editing tool.

이어서, 동영상 콘텐츠 인식 장치(120)는 동영상 콘텐츠에서 정보를 인식하고자 하는 적어도 하나의 영역과 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 화면데이터 수집 프로그램을 생성한다(S330).Subsequently, the video content recognition device 120 connects at least one area to recognize information in the video content and at least one recognition module in a layer form to generate a screen data collection program (S330).

끝으로, 동영상 콘텐츠 인식 장치(120)는 생성된 화면데이터 수집 프로그램을 통해 동영상 콘텐츠에 포함된 정보를 인식한다(S340).Finally, the video content recognition device 120 recognizes information included in the video content through the generated screen data collection program (S340).

도 4는 본 발명의 제1 실시예에 따른 화면데이터 수집 프로그램을 생성하는 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method of generating a screen data collection program according to a first embodiment of the present invention.

도 4를 참조하면, 동영상 콘텐츠 인식 장치(120)는 타임 테이블에 동영상 콘텐츠를 색인한다(S410). 예를 들면, 동영상 콘텐츠 인식 장치(120)는 메인 메뉴, 게임 시작창, 인게임 상황, 및 게임 종료 상황 등을 색인할 수 있다.Referring to FIG. 4, the video content recognition device 120 indexes video content in a time table (S410). For example, the video content recognition device 120 may index the main menu, game start window, in-game situation, and game end situation.

동영상 콘텐츠 인식 장치(120)는 동영상 콘텐츠의 색인이 완료된 후에, 각 색인별 레이어를 설정한다(S420).After the indexing of the video content is completed, the video content recognition device 120 sets layers for each index (S420).

이어서, 동영상 콘텐츠 인식 장치(120)는 색인별 레이어 설정이 완료된 후, 영역 위치 충진 레이어(UI Location Filling Layer)를 이용하여 각 영역별로 인식해야 하는 정보가 있는 부분을 지정한 뒤 상위 레이어에 포함시킴으로써 인식 모듈을 위치시킨다(S430). 여기서, 동영상 콘텐츠 인식 장치(120)는 인식해야 하는 정보가 있는 부분을 정사각형 또는 직사각형 형태로 지정할 수 있다.Subsequently, after the layer setting for each index is completed, the video content recognition device 120 recognizes by designating a portion having information to be recognized for each area using the UI Location Filling Layer and including it in the upper layer. Position the module (S430). Here, the video content recognition device 120 may designate a portion having information to be recognized in a square or rectangular shape.

동영상 콘텐츠 인식 장치(120)는 영역 위치 충진 레이어를 위치시킨 뒤에 인식 모듈을 통해 인식해야 하는 정보가 어떤 종류의 정보인지 설정한다(S440). 예를 들면, 인게임 데이터는 스킬의 온오프 또는 상태 이상과 같은 단순한 상태 정보와, 쿨타임 또는 준비시간 리스폰 타임과 같은 시간과 연관된 데이터와, HP나 아이템 개수와 같은 양적 측면의 데이터를 포함할 수 있다.The video content recognition device 120 sets the type of information to be recognized through the recognition module after positioning the region location filling layer (S440). For example, in-game data may include simple status information such as skill on / off or status anomalies, time-related data such as cool-time or ready-time response time, and quantitative data such as HP or number of items. have.

끝으로, 동영상 콘텐츠 인식 장치(120)는 인식해야 하는 정보의 종류를 선택한 후에, 영역 위치 충진 레이어에 인식 모듈을 삽입한다(S450). 여기서, 동영상 콘텐츠 인식 장치(120)는 이전에 입력한 데이터의 종류에 맞게 사용할 수 있는 레이어를 강조하여 표시할 수 있고, 또한 영역 위치 충진 레이어에 대응되는 인식 모듈을 자동으로 제공할 수 있다. 예를 들면, 영역 위치 충진 레이어를 통해 인식 범위를 정하면, 그 인식 범위는 정사각형, 원형, 또는 직사각형 형태 등이 될 수 있는데, 동영상 콘텐츠 인식 장치(120)는 인식 범위의 각 형태별로 대응되는 인식 모듈을 자동으로 추천하여 제공할 수 있다.Finally, after selecting the type of information to be recognized, the video content recognizing apparatus 120 inserts the recognition module into the area position filling layer (S450). Here, the video content recognition device 120 may highlight and display a layer that can be used according to the type of data previously input, and may also automatically provide a recognition module corresponding to the region location filling layer. For example, if a recognition range is determined through a region position filling layer, the recognition range may be a square, circular, or rectangular shape, and the video content recognition device 120 recognizes a corresponding recognition module for each shape of the recognition range You can automatically recommend and provide.

도 5는 본 발명의 제1 실시예에 따른 각 색인별 레이어를 설정하는 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method of setting a layer for each index according to the first embodiment of the present invention.

도 5를 참조하면, 동영상 콘텐츠 인식 장치(120)는 동영상 콘텐츠에 마스크를 설정한다(S510).Referring to FIG. 5, the video content recognition device 120 sets a mask on the video content (S510).

동영상 콘텐츠 인식 장치(120)는 해상도의 변화에 따라 영역의 변화를 자동으로 잡아주기 위해 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한다(S520). 여기서, 동영상 콘텐츠 인식 장치(120)는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중에 어느 하나를 선택할 수 있는데, 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시킨다. 이때, 동영상 콘텐츠 인식 장치(120)는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간을 통해 해상도를 변화시킬 수 있다.The video content recognition device 120 sets an image resolution and a change characteristic for each area of a resolution on a mask to automatically catch a change of an area according to a change of resolution (S520). Here, the video content recognition device 120 may select either linear or nonlinear as a change characteristic for each area of resolution, and when nonlinear is selected, the resolution is changed based on coordinate values received from a user. At this time, the video content recognition device 120 may change the resolution through spline interpolation for a resolution in which coordinate values are not input.

동영상 콘텐츠 인식 장치(120)는 각 영역의 해상도별 변화 특성을 설정한 후에, 색인별로 사용할 레이어를 선택한다(S530). 즉, 동영상 콘텐츠 인식 장치(120)는 레이어 선택창에서 색인별로 사용할 레이어를 선택한 후 드래그하여 모듈 생성용 트리에 옮겨놓는다. 여기서, 레이어는 기본적으로 마스킹의 바로 하단에 적용되는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값과 비교하여 영역의 흔들림을 마스크 데이터와 영상 처리 기법으로 보정하는 흔들림 보정 레이어, 반투명 레이어의 감지를 위해 존재하는 반투명 레이어, 및 기존에 사용한 영역과 관계없이 별도로 동작하는 영역, 즉, 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어를 포함할 수 있다.The video content recognition device 120 sets a change characteristic for each resolution of each area, and then selects a layer to be used for each index (S530). That is, the video content recognition device 120 selects a layer to be used for each index in the layer selection window and drags it to the tree for module creation. Here, the layer basically cuts a portion of the base layer, the area applied to the bottom of the masking, and then detects the position values of the internal feature points and compares the detected position values with the default values to prevent the shaking of the area from the mask data and image. Shake compensation layer corrected by processing technique, semi-transparent layer present for detection of translucent layer, and an additional layer that designates a region that operates independently of the previously used region, that is, a region having different characteristics for each position and resolution. It can contain.

전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(Firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described method can be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로컨트롤러 및 마이크로프로세서 등에 의해 구현될 수 있다.For implementation by hardware, the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers and microprocessors.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. The software code can be stored in a memory unit and driven by a processor. The memory unit is located inside or outside the processor, and can exchange data with the processor by various known means.

도 6은 본 발명의 제1 실시예에 따른 타임 테이블의 예시 화면을 나타낸 도면이다.6 is a view showing an example screen of a time table according to the first embodiment of the present invention.

도 6을 참조하면, 사용자는 타임 테이블에 메인 메뉴(610), 게임시작창(620), 인게임 상황(630), 및 게임 종료 상황(630) 등을 색인할 수 있다. 여기서, 인게임 상황(630)은 생존 상황 및 사망 상황을 포함할 수 있다.Referring to FIG. 6, the user can index the main menu 610, the game start window 620, the in-game situation 630, and the game end situation 630 in the time table. Here, the in-game situation 630 may include a survival situation and a death situation.

또한, 타임 테이블의 셋팅은 영역이 달라지고, 인식 모듈의 전체적인 셋팅이나 인게임 플레이나 게임 큐 상태 등에 따라 변경될 수 있다.In addition, the setting of the time table is different, and may be changed according to overall settings of the recognition module, in-game play, or game cue state.

도 7은 본 발명의 제1 실시예에 따른 영상인식 프로그램의 예시 화면을 나타낸 도면이다.7 is a view showing an example screen of the image recognition program according to the first embodiment of the present invention.

도 7을 참조하면, 사용자는 각각의 버튼(700)을 드래그하여 타임 테이블의 트리창(800)에 가져올 수 있다. 즉, 하위 레이어를 상위 레이어에 드래그하면 그 레이어에 포함되는 방식이다.Referring to FIG. 7, the user may drag each button 700 and bring it to the tree window 800 of the time table. That is, if the lower layer is dragged to the upper layer, it is included in the layer.

이를 위해, 각각의 레이어는 우선순위를 가지며, 이때 우선순위가 없는 레이어도 있을 수 있다. 예를 들면, 기본 레이어(720), 흔들림 보정 레이어(730), 및 추가 레이어(740)는 우선순위가 없으며, 마스크(710), 기본 레이어(720), 및 영역 위치 충진 레이어(750)는 우선순위가 있을 수 있다. 즉, 마스크(710)가 상위 레이어이고, 기본 레이어(720)가 중간 레이어이며, 영역 위치 충진 레이어(750)가 하위 레이어일 수 있다.To this end, each layer has a priority, and there may be a layer without priority. For example, base layer 720, stabilization layer 730, and additional layer 740 have no priority, and mask 710, base layer 720, and area position fill layer 750 take precedence. There may be a ranking. That is, the mask 710 may be an upper layer, the base layer 720 may be an intermediate layer, and the region location filling layer 750 may be a lower layer.

기본 레이어(720)는 영역의 디자인적인 요소(테두리 및 경계 등)와 정보가 포함된 영역들을 각각 정하고, 각 영역을 내포하고 있는 정보의 형태에 따라 각 영역을 구분 지어주는 역할을 한다. The base layer 720 determines the design elements (borders and boundaries, etc.) of the areas and the areas including the information, and distinguishes each area according to the type of information that includes each area.

게임 동영상의 경우에는, 타임 테이블 아래에 게임 상황을 구분지어 각 색인별 영역 셋팅이 가능하지만, 그럼에도 불구하고 각각의 다른 셋팅 아래 움직임이 변화하거나 색이나 그래픽적인 요소들이 변화하는 영역이 있을 수 있다. 예를 들면, 스킬창 영역과 미니맵 영역은 분리되어 있다. 이를, 추가 레이어(740)를 통해 별도의 레이어로 지정하면, 각각 다른 설정(예를 들면, 인터페이스 크기 조정 및 미니맵 크기 조정) 아래 변화하는 값을 각각 적용시켜 줄 수 있다. 즉, 추가 레이어(740)는 동영상 콘텐츠에서 별도의 형태로 동작하는 개별 요소들을 지정한다.In the case of a game video, it is possible to set the area for each index by classifying the game situation under the time table, but nevertheless, there may be an area in which movement or color or graphic elements change under each other setting. For example, the skill window area and the minimap area are separated. If this is designated as a separate layer through the additional layer 740, values changing under different settings (eg, interface resizing and minimap resizing) may be applied. That is, the additional layer 740 designates individual elements that operate in a separate form in the video content.

영역 위치 충진 레이어(750)는 도 8에 도시된 바와 같이, 최종적으로 상위 레이어의 캡쳐 영역(810)에서 크롭할 픽셀, 즉, 인식 모듈에 입력될 영역을 지정하는 역할을 수행한다. 즉, 각 오픈 소스별로 최적화된 픽셀 사이즈가 정사각형 또는 직사각형 형태 등으로 다르기 때문에, 사용자는 각 형태에 맞도록 영역 위치 충진 레이어(750)를 통해 인식 모듈이 인식할 수 있는 영역을 지정해줄 수 있다. 따라서, 영역 위치 충진 레이어(750)는 서로 다른 영역이 서로 침범하는 것을 방지할 수 있다.The region location filling layer 750 serves to designate a pixel to be cropped in the capture region 810 of the upper layer, that is, a region to be input to the recognition module, as illustrated in FIG. 8. That is, since the optimized pixel size for each open source varies in a square or rectangular shape, the user may designate an area that can be recognized by the recognition module through the area position filling layer 750 to fit each shape. Therefore, the region location filling layer 750 can prevent different regions from invading each other.

도 9는 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 장치 내부의 개략적인 구성을 나타낸 도면이다.9 is a view showing a schematic configuration of a non-language-based information transmission device according to a second embodiment of the present invention.

본 발명에 따른 비언어 기반의 정보 전달 장치는 스트랩 형태로 손목에 착용되어, 본 발명의 제1 실시예에 따른 동영상 콘텐츠 인식 장치로부터 동영상 콘텐츠에서 인식한 정보를 수신하고, 수신한 정보를 조임, 압력, 전기자극, 및 진동 등의 형태로 사용자에게 전달한다.The non-language-based information transmission device according to the present invention is worn on the wrist in the form of a strap, receives information recognized by the video content from the video content recognition device according to the first embodiment of the present invention, and tightens the received information, It is delivered to the user in the form of pressure, electrical stimulation, and vibration.

도 9를 참조하면, 본 발명에 따른 비언어 기반의 정보 전달 장치는 적어도 둘 이상의 솔레노이드 모듈(910), 압력 모듈(920), 전기자극 모듈(930), 진동 모듈(940), 주파수 조절 모듈(950), 피부 저항 측정 모듈(960), 및 제어부(970)를 포함할 수 있다.Referring to FIG. 9, a non-language-based information transmission device according to the present invention includes at least two or more solenoid modules 910, pressure modules 920, electrical stimulation modules 930, vibration modules 940, and frequency adjustment modules ( 950), a skin resistance measurement module 960, and a control unit 970.

각각의 솔레노이드 모듈(910)은 네오디뮴 자석을 솔레노이드 코어로 사용하며, 솔레노이드의 척력으로 자석을 밀어내고, 자석의 자체 자력에 의해 자석을 원래 위치로 복귀시킨다. 이와 같은 구성을 갖는 적어도 둘 이상의 솔레노이드 모듈(910)은 이동 방향 또는 회전 방향에 대하여 압력을 가하는 형태로 정보를 전달할 수 있다.Each solenoid module 910 uses a neodymium magnet as a solenoid core, pushes the magnet with the repulsive force of the solenoid, and returns the magnet to its original position by the magnet's own magnetic force. At least two or more solenoid modules 910 having such a configuration may transmit information in a form of applying pressure in a moving direction or a rotating direction.

압력 모듈(920)은 리니어 서보모터로 구현될 수 있으며, 리니어 서보모터를 통해 와이어를 당겨 손목을 조이는 원리로 동작한다. 예를 들면, 압력 모듈(920)은 속력이 증가할수록 조임을 점점 강하게 하고, 속력이 감소할수록 조임을 점점 약하게 할 수 있다.The pressure module 920 may be implemented as a linear servo motor, and operates on the principle of pulling the wire through the linear servo motor to tighten the wrist. For example, the pressure module 920 may make the tightening stronger as the speed increases, and weaken the tightening gradually as the speed decreases.

전기자극 모듈(930)은 1~2 mA의 전류를 10 MHz 이상의 고주파 형태로 발생시키는 모듈로 구현될 수 있다. 전기자극 모듈(930)의 주파수는 발진회로의 저항과 커패시턴스 값을 통해 조절될 수 있다.The electrical stimulation module 930 may be implemented as a module that generates a current of 1 to 2 mA in a high frequency form of 10 MHz or more. The frequency of the electrical stimulation module 930 may be adjusted through resistance and capacitance values of the oscillation circuit.

진동 모듈(940)은 솔레노이드 모듈(910)과 마찬가지로 솔레노이드와 네오디뮴 자석으로 구성되고, 솔레노이드에 펄스를 투사하여 솔레노이드 내부의 네오디뮴 자석이 진동하도록 함으로써 동작한다. 진동 모듈(940)의 진동 강도는 하드웨어, 소프트웨어적으로 주파수를 변경하거나 네오디뮴 자석의 질량을 조절함으로써 조절될 수 있다.The vibration module 940, like the solenoid module 910, is composed of a solenoid and a neodymium magnet, and operates by causing a neodymium magnet inside the solenoid to vibrate by projecting a pulse on the solenoid. The vibration strength of the vibration module 940 can be adjusted by hardware, software, or by changing the frequency or adjusting the mass of the neodymium magnet.

제어부(970)는 아두이노(Arduino)를 기반으로 하는 저전압, 저전력의 MCU(Micro Control Unit)로 구현될 수 있다. 제어부(970)는 1 A의 배터리 충전을 지원하며, 3개의 LED를 통해 충전 상태를 확인할 수 있다. 또한, 제어부(970)는 블루투스 통신 모듈을 탑재하고, 적어도 12개 이상의 자극 모듈을 제어할 수 있다.The control unit 970 may be implemented as a low-voltage, low-power micro control unit (MCU) based on an Arduino. The control unit 970 supports 1 A of battery charging, and can check the charging state through 3 LEDs. In addition, the controller 970 may be equipped with a Bluetooth communication module, and control at least 12 stimulus modules.

전술한 구성을 갖는 본 발명에 따른 제어부(970)는 동영상 콘텐츠 인식 장치로부터 수신한 동영상 콘텐츠의 정보가 연속된 정보 또는 단일 정보인지 여부를 판단하고, 인식된 정보가 연속된 정보인 경우, 연속된 정보를 솔레노이드 모듈(910) 및 압력 모듈(920) 각각을 통해 압력 및 조임 형태로 전달한다. 또한, 제어부(970)는 인식된 정보가 단일 정보인 경우, 단일 정보를 진동 모듈(940) 및 전기자극 모듈(930) 각각을 통해 진동 및 전기자극 형태로 전달한다. 이를 위해, 제어부(970)는 사용자로 하여금 진동 모듈(940) 및 전기자극 모듈(930) 중에 어느 모듈을 통해 단일 정보를 전달하도록 할 것인지 단일 정보를 선택하도록 할 수 있다.The control unit 970 according to the present invention having the above-described configuration determines whether the information of the video content received from the video content recognition device is continuous information or single information, and when the recognized information is continuous information, the The information is transmitted in the form of pressure and tightening through the solenoid module 910 and the pressure module 920, respectively. In addition, when the recognized information is single information, the controller 970 transmits the single information in the form of vibration and electrical stimulation through the vibration module 940 and the electrical stimulation module 930, respectively. To this end, the control unit 970 may allow the user to select a single information through which of the vibration module 940 and the electrical stimulation module 930 to transmit single information.

한편, 본 발명에 따른 비언어 기반의 정보 전달 장치는, 주파수에 따라 동일한 양의 전류가 흘러도 경피, 진피 자극과 근육자극의 정도가 달라지기 때문에, 이를 조절할 수 있는 주파수 조절 모듈(950)을 더 포함할 수 있다. 주파수 조절 모듈(950)은 전기자극 모듈(930) 내 발진회로의 커패시턴스 값을 조절하여 주파수를 조절한다.On the other hand, the non-language-based information transmission device according to the present invention, since the degree of transdermal, dermal stimulation and muscle stimulation varies even when the same amount of current flows according to the frequency, a frequency adjustment module 950 that can control it is further added. It can contain. The frequency adjustment module 950 adjusts the frequency by adjusting the capacitance value of the oscillation circuit in the electrical stimulation module 930.

또한, 본 발명에 따른 비언어 기반의 정보 전달 장치는, 피부 저항이 항상 일정하지 않기 때문에 일정한 전류를 흐르게 하기 위해, 피부의 저항을 측정하는 피부 저항 측정 모듈(960)을 추가로 포함할 수 있다. 이에, 제어부(970)는 피부 저항 측정 모듈(960)을 통해 측정된 저항값에 따라 주파수 조절 모듈(950)을 통해 전기자극 모듈(930)의 주파수를 조절할 수 있다.In addition, the non-language-based information transmission device according to the present invention may further include a skin resistance measurement module 960 for measuring the resistance of the skin to flow a constant current because the skin resistance is not always constant. . Accordingly, the controller 970 may adjust the frequency of the electrical stimulation module 930 through the frequency adjustment module 950 according to the resistance value measured through the skin resistance measurement module 960.

도 10은 본 발명의 제2 실시예에 따른 솔레노이드 모듈의 구성을 나타낸 도면이다.10 is a view showing the configuration of a solenoid module according to a second embodiment of the present invention.

도 10을 참조하면, 본 발명에 따른 솔레노이드 모듈(910)은 솔레노이드(912) 및 자석(914)을 포함한다. 자석(914)은 네오디뮴 자석이며, 솔레노이드(912)의 코어로 사용된다.10, the solenoid module 910 according to the present invention includes a solenoid 912 and a magnet 914. The magnet 914 is a neodymium magnet, and is used as the core of the solenoid 912.

도 10의 (b)에 도시된 바와 같이, 솔레노이드 모듈(910)은 솔레노이드(912)의 척력으로 자석(914)을 밀어내고, 도 10의 (b)에 도시된 바와 같이, 자석(914)의 자체 자력에 의해 자석(914)을 원래 위치로 복귀시킨다. 이와 같은 구성을 갖는 적어도 둘 이상의 솔레노이드 모듈(910)은 이동 방향 또는 회전 방향에 대하여 압력을 가하는 형태로 정보를 전달할 수 있다.10 (b), the solenoid module 910 pushes the magnet 914 with the repulsive force of the solenoid 912, and as shown in FIG. 10 (b), the solenoid module 910 The magnet 914 is returned to its original position by its own magnetic force. At least two or more solenoid modules 910 having such a configuration may transmit information in a form of applying pressure in a moving direction or a rotating direction.

도 11은 본 발명의 제2 실시예에 따른 비언어 기반의 정보 전달 방법을 나타낸 흐름도이다.11 is a flowchart illustrating a method for transmitting non-language based information according to a second embodiment of the present invention.

도 11을 참조하면, 본 발명에 따른 비언어 기반의 정보 전달 장치는 동영상 콘텐츠 인식 장치(120)로부터 동영상 콘텐츠에서 인식한 정보를 수신한다(S1110).Referring to FIG. 11, the non-language-based information delivery device according to the present invention receives information recognized by the video content from the video content recognition device 120 (S1110).

비언어 기반의 정보 전달 장치는 수신한 정보가 연속된 정보 또는 단일 정보인지 여부를 판단한다(S1120). 예를 들면, 동영상 콘텐츠가 게임 동영상인 경우, 스턴 등을 포함하는 스킬 상태가 단일 정보이고, 스킬이나 버프의 쿨타임이 연속된 정보가 될 수 있다.The non-language-based information delivery device determines whether the received information is continuous information or single information (S1120). For example, when the video content is a game video, the skill state including the stun may be single information, and the cool time of the skill or buff may be continuous information.

비언어 기반의 정보 전달 장치는 수신한 정보가 연속된 정보인 경우, 연속된 정보를 솔레노이드 모듈(910) 및 압력 모듈(920) 각각을 통해 압력 및 조임 형태로 전달한다(S1130).When the received information is continuous information, the non-language-based information transmission device transmits the continuous information in the form of pressure and tightening through the solenoid module 910 and the pressure module 920, respectively (S1130).

비언어 기반의 정보 전달 장치는 수신한 정보가 단일 정보인 경우, 단일 정보를 진동 모듈(940) 및 전기자극 모듈(930) 각각을 통해 진동 및 전기자극 형태로 전달한다(S1140).When the received information is a single piece of information, the non-language-based information transmitting device transmits the single piece of information in the form of vibration and electrical stimulation through the vibration module 940 and the electrical stimulation module 930 (S1140).

한편, 본 발명의 도 11에는 도시되지 않았지만, 본 발명에 따른 비언어 기반의 정보 전달 방법은, 비언어 기반의 정보 전달 장치가 피부 저항 측정 모듈(960)을 통해 피부의 저항을 측정하는 단계와, 피부 저항 측정 모듈(960)을 통해 측정된 저항값에 따라 주파수 조절 모듈(950)을 통해 전기자극 모듈(930)의 주파수를 조절하는 단계를 더 포함할 수 있다.On the other hand, although not shown in Figure 11 of the present invention, the non-language-based information transmission method according to the present invention, the non-language-based information transmission device to measure the resistance of the skin through the skin resistance measurement module 960 and In addition, the method may further include adjusting the frequency of the electrical stimulation module 930 through the frequency adjustment module 950 according to the resistance value measured through the skin resistance measurement module 960.

전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(Firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described method can be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로컨트롤러 및 마이크로프로세서 등에 의해 구현될 수 있다.For implementation by hardware, the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers and microprocessors.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. The software code can be stored in a memory unit and driven by a processor. The memory unit is located inside or outside the processor, and can exchange data with the processor by various known means.

이상에서 본 명세서에 개시된 실시예들을 첨부된 도면들을 참조로 설명하였다. 이와 같이 각 도면에 도시된 실시예들은 한정적으로 해석되면 아니되며, 본 명세서의 내용을 숙지한 당업자에 의해 서로 조합될 수 있고, 조합될 경우 일부 구성 요소들은 생략될 수도 있는 것으로 해석될 수 있다.The embodiments disclosed herein have been described above with reference to the accompanying drawings. As described above, the embodiments illustrated in each drawing should not be interpreted as being limited, and may be combined with each other by those skilled in the art who understand the contents of the present specification, and when combined, some components may be omitted.

여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Here, the terms or words used in the specification and claims should not be interpreted as being limited to ordinary or dictionary meanings, but should be interpreted as meanings and concepts corresponding to the technical ideas disclosed in this specification.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 명세서에 개시된 실시예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments shown in the embodiments and the drawings shown in the present specification are only the embodiments disclosed in the present specification, and do not represent all the technical ideas disclosed in the present specification, and various equivalents can be substituted at the time of the application. It should be understood that there may be water and variations.

110: 웹 서버 120: 동영상 콘텐츠 인식 장치
130: 복수의 교차 검증 장치 210: 통신부
220: 화면데이터 수집 프로그램 생성부 230: 저장부
240: 화면데이터 수집부110: web server 120: video content recognition device
130: a plurality of cross-validation apparatus 210: communication unit
220: screen data collection program generation unit 230: storage unit
240: screen data collection unit

Claims (15)

동영상 콘텐츠에 포함된 정보를 인식하는 복수의 인식 모듈을 저장하는 웹 서버; 및
상기 웹 서버로부터 상기 복수의 인식 모듈 중에 적어도 하나의 인식 모듈을 수신하고, 상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하며, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치;
를 포함하는 영상 처리 시스템에 있어서,
상기 동영상 콘텐츠 인식 장치는 타임 테이블에 상기 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 상기 인식 모듈을 삽입하여 화면데이터 수집 프로그램을 생성하는 것과, 상기 동영상 콘텐츠에 마스크를 설정하고, 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한 후, 색인별로 사용할 레이어를 선택하는 것을 특징으로 하는 영상 처리 시스템.
A web server storing a plurality of recognition modules for recognizing information included in video content; And
Receiving at least one recognition module among the plurality of recognition modules from the web server, designating the video content to recognize the information, layering at least one area of the video content and the at least one recognition module A video content recognition device that connects to and recognizes information included in the video content through the at least one recognition module;
In the image processing system comprising:
The video content recognition device indexes the video content in a time table, sets layers by index, inserts the recognition module in each layer to generate a screen data collection program, sets a mask to the video content, An image processing system characterized by selecting a layer to be used for each index after setting an image resolution and a change characteristic for each region in the mask.
제1항에 있어서,
상기 동영상 콘텐츠에 포함된 각종 정보를 인식 모듈에 입력하고, 상기 인식 모듈의 결과값들에 대한 교차 검증을 수행하여 상기 복수의 인식 모듈을 업데이트하는 복수의 교차 검증 장치;
를 더 포함하는 것을 특징으로 하는 영상 처리 시스템.
According to claim 1,
A plurality of cross-validation devices for inputting various pieces of information included in the video content into a recognition module and performing cross-validation on the result values of the recognition module to update the plurality of recognition modules;
An image processing system further comprising a.
동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 저장하는 저장부; 및
정보를 인식하고자 하는 동영상 콘텐츠를 지정하고, 상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 저장부에 저장된 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 제어부;
를 포함하되,
상기 제어부는,
타임 테이블에 상기 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 상기 인식 모듈을 삽입하여 화면데이터 수집 프로그램을 생성하는 것과, 상기 동영상 콘텐츠에 마스크를 설정하고, 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한 후, 색인별로 사용할 레이어를 선택하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
A storage unit that stores at least one recognition module that recognizes information included in the video content; And
Designate video content for recognizing information, and connect at least one area of the video content and the at least one recognition module stored in the storage unit in a layer form to be included in the video content through the at least one recognition module A control unit that recognizes the information;
Including,
The control unit,
Indexing the video content in a time table, setting layers for each index, and inserting the recognition module in each layer to generate a screen data collection program, setting a mask for the video content, and setting an image resolution and a mask for the video content. After setting a change characteristic for each resolution of each area, a video content recognition device characterized by selecting a layer to be used for each index.
삭제delete 삭제delete 제3항에 있어서,
상기 제어부는 각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
The method of claim 3,
The control unit selects one of linear and nonlinear as a change characteristic for each region of resolution.
제6항에 있어서,
상기 제어부는 각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
The method of claim 6,
When the non-linearity is selected as a change characteristic for each resolution of each region, the controller changes a resolution based on a coordinate value input from a user.
제7항에 있어서,
상기 제어부는 좌표값이 입력되지 않은 해상도에 대해서는 스플라인 보간(Spline Interpolation)을 통해 해상도를 변화시키는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
The method of claim 7,
The control unit may change the resolution through spline interpolation for a resolution in which coordinate values are not input.
제1 내지 3항 중 어느 한 항에 있어서,
상기 색인별로 사용할 레이어는 기본 레이어, 영역의 일부분을 자른 뒤, 내부의 특징점들의 위치값을 검출하고, 검출된 위치값을 기본값과 비교하여 영역의 흔들림을 보정하는 흔들림 보정 레이어, 반투명 레이어, 및 위치, 해상도별로 변화 특성이 다른 영역을 지정하는 추가 레이어 중 적어도 하나를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
The method according to any one of claims 1 to 3,
The layer to be used for each index includes a base layer, a shake correction layer, a semi-transparent layer, and a location that cuts a portion of the region, detects the location values of the feature points therein, and corrects the shake of the region by comparing the detected location values with the default values. , A video content recognition device comprising at least one of additional layers for designating areas having different characteristics for each resolution.
제3항에 있어서,
상기 제어부는 영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하고, 상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 것을 특징으로 하는 동영상 콘텐츠 인식 장치.
The method of claim 3,
The control unit designates a region in which the recognition module is input on the layer through a UI location filling layer, and inserts the recognition module in the region location filling layer. .
동영상 콘텐츠에 포함된 정보를 인식하는 동영상 콘텐츠 인식 장치의 동영상 콘텐츠 인식 방법에 있어서,
상기 동영상 콘텐츠에 포함된 정보를 인식하는 적어도 하나의 인식 모듈을 수신 및 저장하는 단계;
상기 정보를 인식하고자 하는 상기 동영상 콘텐츠를 지정하는 단계; 및
상기 동영상 콘텐츠의 적어도 하나의 영역과 상기 적어도 하나의 인식 모듈을 레이어 형태로 연결하여 상기 적어도 하나의 인식 모듈을 통해 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계;
를 포함하고,
타임 테이블에 상기 동영상 콘텐츠를 색인하고, 색인별 레이어를 설정하며, 각 레이어에 상기 인식 모듈을 삽입하여 화면데이터 수집 프로그램을 생성하는 단계; 및
상기 동영상 콘텐츠에 마스크를 설정하고, 상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정한 후, 색인별로 사용할 레이어를 선택하는 단계; 를 더 포함하는 동영상 콘텐츠 인식 방법.
In the video content recognition method of the video content recognition device for recognizing the information contained in the video content,
Receiving and storing at least one recognition module that recognizes information included in the video content;
Designating the video content to recognize the information; And
Recognizing information included in the video content through the at least one recognition module by connecting at least one area of the video content and the at least one recognition module in a layer form;
Including,
Indexing the video content in a time table, setting layers for each index, and inserting the recognition module in each layer to generate a screen data collection program; And
Setting a mask for the video content, setting an image resolution and a change characteristic for each area of the resolution to the mask, and selecting a layer to be used for each index; Video content recognition method further comprising.
제11항에 있어서, 상기 동영상 콘텐츠에 포함된 정보를 인식하는 단계는,
타임 테이블에 상기 동영상 콘텐츠를 색인하는 단계;
색인별 레이어를 설정하는 단계; 및
각 레이어에 상기 인식 모듈을 삽입하는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
The method of claim 11, wherein the step of recognizing the information included in the video content,
Indexing the video content into a time table;
Setting a layer for each index; And
Inserting the recognition module in each layer;
Video content recognition method comprising a.
제12항에 있어서, 상기 색인별 레이어를 설정하는 단계는,
상기 동영상 콘텐츠에 마스크를 설정하는 단계;
상기 마스크에 영상 해상도와 각 영역의 해상도별 변화 특성을 설정하는 단계; 및
색인별로 사용할 레이어를 선택하는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
The method of claim 12, wherein the step of setting the layer for each index is:
Setting a mask on the video content;
Setting a change characteristic for each resolution of an image resolution and each region in the mask; And
Selecting a layer to be used for each index;
Video content recognition method comprising a.
제13항에 있어서, 상기 해상도별 변화 특성을 설정하는 단계는,
각 영역의 해상도별 변화 특성으로서 선형 및 비선형 중 어느 하나를 선택하는 단계; 및
각 영역의 해상도별 변화 특성으로서 비선형을 선택한 경우, 사용자로부터 입력받은 좌표값을 기준으로 해상도를 변화시키는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
The method of claim 13, wherein the setting of the change characteristics for each resolution comprises:
Selecting one of linear and nonlinear as a change characteristic of each region for each resolution; And
Changing a resolution based on a coordinate value input from a user when a non-linearity is selected as a change characteristic for each region by resolution;
Video content recognition method comprising a.
제12항에 있어서, 상기 인식 모듈을 삽입하는 단계는,
영역 위치 충진 레이어(UI Location Filling Layer)를 통해 상기 레이어 상에 상기 인식 모듈이 입력되는 영역을 지정하는 단계; 및
상기 영역 위치 충진 레이어에 상기 인식 모듈을 삽입하는 단계;
를 포함하는 것을 특징으로 하는 동영상 콘텐츠 인식 방법.
The method of claim 12, wherein the step of inserting the recognition module,
Designating an area in which the recognition module is input on the layer through a UI location filling layer; And
Inserting the recognition module in the region location filling layer;
Video content recognition method comprising a.
KR1020180103718A 2018-08-31 2018-08-31 Method and apparatus for recognizing video content, and image processing system including the same KR102089000B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180103718A KR102089000B1 (en) 2018-08-31 2018-08-31 Method and apparatus for recognizing video content, and image processing system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180103718A KR102089000B1 (en) 2018-08-31 2018-08-31 Method and apparatus for recognizing video content, and image processing system including the same

Publications (2)

Publication Number Publication Date
KR20200025810A KR20200025810A (en) 2020-03-10
KR102089000B1 true KR102089000B1 (en) 2020-03-13

Family

ID=69800549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180103718A KR102089000B1 (en) 2018-08-31 2018-08-31 Method and apparatus for recognizing video content, and image processing system including the same

Country Status (1)

Country Link
KR (1) KR102089000B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172633A1 (en) * 2020-02-28 2021-09-02 (주)뉴빌리티 Method and device for recognizing moving image content, and image processing system including same
CN111783729A (en) * 2020-07-17 2020-10-16 商汤集团有限公司 Video classification method, device, equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720635B1 (en) * 2015-12-29 2017-03-28 주식회사 콘츠 Method for web-based producing 3d video contents and server implementing the same
JP2018055195A (en) * 2016-09-26 2018-04-05 キヤノン株式会社 Learning device, image discrimination device, learning method, image discrimination method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100517830B1 (en) 2003-11-04 2005-09-28 웅진코웨이주식회사 Apparatus for producing beauty water having electrolytic cell and method for controlling washing action therein
KR101104699B1 (en) 2005-02-23 2012-01-17 에스케이플래닛 주식회사 Method And Device for Acquiring Video Content by Using Portable Terminal
KR20110021195A (en) * 2009-08-25 2011-03-04 삼성전자주식회사 Method and apparatus for detecting an important information from a moving picture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101720635B1 (en) * 2015-12-29 2017-03-28 주식회사 콘츠 Method for web-based producing 3d video contents and server implementing the same
JP2018055195A (en) * 2016-09-26 2018-04-05 キヤノン株式会社 Learning device, image discrimination device, learning method, image discrimination method and program

Also Published As

Publication number Publication date
KR20200025810A (en) 2020-03-10

Similar Documents

Publication Publication Date Title
CN105518487B (en) The position indicating method and device of aircraft
CN106462283B (en) Calculate the character recognition in equipment
EP2996015B1 (en) Method to use augmented reality to function as hmi display
US10516830B2 (en) Guided image composition on mobile devices
CN113596537B (en) Display device and playing speed method
CN110021200A (en) Teaching white silk examines integrated virtual reality Training Methodology, device and storage medium
CN110109592A (en) Head portrait creation and editor
CN110377053B (en) Flight control method and device of unmanned aerial vehicle
RU2609101C2 (en) Touch control assembly, device control method, controller and electronic device
KR102089000B1 (en) Method and apparatus for recognizing video content, and image processing system including the same
CN103677252A (en) Gesture recognition apparatus, control method thereof, and display instrument
CN105518579A (en) Information processing device and information processing method
US10460291B2 (en) Information processing apparatus, information processing method, and computer program for scheduling activities modelled from activities of third parties
JPWO2013094065A1 (en) Determination apparatus and determination program
CN104093083A (en) Video intercepting method and device
US20120313968A1 (en) Image display system, information processing apparatus, display device, and image display method
US11698685B2 (en) Character string input system
CN108614661B (en) Interactive object display control method based on intelligent terminal and intelligent terminal
US20160053420A1 (en) Embroidery conversion device for embroidery sewing machine, embroidery conversion method for embroidery sewing machine, and recording medium storing embroidery conversion program for embroidery sewing machine
US8736705B2 (en) Electronic device and method for selecting menus
CN107330722A (en) A kind of advertisement placement method of shared equipment
CN104822024B (en) A kind of method and device for controlling camera rotation
US9003985B2 (en) Device and non-transitory computer-readable medium
CN113794799A (en) Video processing method and device
WO2021172633A1 (en) Method and device for recognizing moving image content, and image processing system including same

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant