KR102011212B1 - Method for Collecting and Saving object that is used as training data of Neural network for Artificial Intelligence - Google Patents
Method for Collecting and Saving object that is used as training data of Neural network for Artificial Intelligence Download PDFInfo
- Publication number
- KR102011212B1 KR102011212B1 KR1020180023395A KR20180023395A KR102011212B1 KR 102011212 B1 KR102011212 B1 KR 102011212B1 KR 1020180023395 A KR1020180023395 A KR 1020180023395A KR 20180023395 A KR20180023395 A KR 20180023395A KR 102011212 B1 KR102011212 B1 KR 102011212B1
- Authority
- KR
- South Korea
- Prior art keywords
- location information
- storing
- frame
- outline
- extracting
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G06K9/00744—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법에 관한 것으로서, 더욱 상세하게는 인공 지능 신경망 기법을 이용하여 AVN 시스템의 메뉴 객체를 수작업에 비하여 편하고 정확하게 추출하고 저장하는 방법에 관한 것이다.The present invention relates to a method of extracting and storing an object used as learning data of an artificial intelligence neural network, and more particularly, to a method of extracting and storing a menu object of an AVN system more conveniently and accurately than a manual operation using an artificial neural network. It is about.
차량의 성능 개선이 개선됨에 따라 엔진이나 브레이크 등 차량의 주행과 관련된 기능이 개선됨과 동시에 차량용 AVN(Audio, Video, Navigation) 시스템 등 운전자의 편의와 관련된 개선도 꾸준히 진행되고 있다.As the performance improvement of the vehicle is improved, functions related to driving of the vehicle such as an engine or a brake are improved, and improvements related to the convenience of the driver, such as an AVN (Audio, Video, Navigation) system for a vehicle, are steadily progressing.
이러한 AVN 시스템은 통상적으로 터치 스크린의 메뉴를 터치하거나 조그 다이얼을 이용하는 방식으로 특정 메뉴를 선택하면 선택된 메뉴의 세부 메뉴가 사용자에게 제시되며 사용자에게 선택된 세부 메뉴의 세부 메뉴가 제시되거나 선택된 메뉴를 실행하게 되는 방식으로 운영된다. (첫 번째로 선택되는 메뉴의 세부 메뉴가 제공되지 않고 바로 실행되는 경우도 물론 존재한다.)In such AVN systems, when a particular menu is selected by touching a menu on the touch screen or using a jog dial, the detailed menu of the selected menu is presented to the user, and the user is presented with the detailed menu of the selected detailed menu or executing the selected menu. Is operated in such a way. (There are also cases where the detailed menu of the first menu is not provided and is executed immediately.)
이처럼 AVN 시스템이 제대로 작동하는 지에 대한 테스트를 진행하거나 작동 방법을 설명하기 위한 사용 메뉴얼의 작성 등을 위해서 메뉴 트리의 작성이 필요한 경우가 있다..As such, it is sometimes necessary to create a menu tree in order to test whether the AVN system works properly or to write a user manual to explain how to operate the AVN system.
종래의 메뉴 트리의 작성은 AVN화면을 영상으로 획득한 후 화면에서 메뉴를 파악하고 메뉴 이미지를 레이블링(labelling)하며 레이블링된 메뉴 이미지의 수와 메뉴 이미지를 저장하고 이를 이용하여 메뉴 트리를 작성하는데 주로 인력에 의존해 왔다.Conventionally, the creation of a menu tree is mainly for acquiring an AVN screen as an image, identifying a menu on the screen, labeling a menu image, storing a number of labeled menu images and a menu image, and creating a menu tree using the same. It has been dependent on manpower.
통상 AVN 시스템을 제작하는 업체와 AVN 시스템의 트리를 작성하는 업체는 다른 경우가 많은데 AVN 시스템의 트리를 제작하는 회사는 AVN화면의 수(예를 들어 최초에 제공되는 메뉴의 수가 다섯 개이고 각각의 메뉴는 다섯개씩의 서브메뉴를 모든 서브 메뉴는 더 이상의 서브메뉴가 없이 모두 어떤 앱 또는 프로그램이 실행된다면 AVN 화면의 수는 25개이다.)를 알지 못하므로 인력이 투입되어 모든 메뉴와 그 메뉴의 서브 메뉴, 서브 메뉴의 서브 메뉴 등을 모두 선택해보면서 모든 AVN 화면을 확인하고 메뉴의 이미지와 메뉴의 위치(사람 또는 프로그램에 의해 터치를 하는 경우 그 메뉴가 실행되는 메뉴의 좌표로서 2차원(x,y) 좌표계에서 x축과 y축 상의 값의 범위로 표현될 수 있으며, x축과 y축 상의 값은 픽셀(pixel)로 정해질 수 있다)를 레이블링해야 한다. (레이블링이란 의미는 전술한 메뉴의 이미지와 메뉴의 위치 별로 특정한 값을 지정하는 것을 의미한다.)There are many cases where a company producing an AVN system and a tree producing an AVN system are different from each other. A company producing a tree of an AVN system has a number of AVN screens (for example, five menus are initially provided. Has five submenus, and all submenus have no submenus, and if any app or program is run, the number of AVN screens is 25.) Check all AVN screens by selecting all submenus of the submenu, and the image of the menu and the position of the menu (when touched by a person or a program, the coordinates of the menu where the menu is executed. It can be expressed as a range of values on the x- and y-axes in the coordinate system, and values on the x- and y-axes can be defined as pixels). (Labeling means to specify a specific value for each image of the menu and the position of the menu.)
그런데 인력에 의해 수행되는 레이블링 과정에서 특정 메뉴는 누락될 수 있고, 특정 메뉴는 중복적으로 레이블링이 될 수도 있다. A 메뉴로 레이블링 된 메뉴의 서브메뉴가 a1, a2, a3 메뉴로 레이블링 되고, B 메뉴로 레이블링된 메뉴의 서브메뉴가 b1, b2, b3로 레이블링 되었다고 가정할 때, a3와 b3로 레이블링 된 메뉴가 같은 앱을 실행하는 메뉴라면 레이블링 시에 A 메뉴의 서브메뉴 a3와 B 메뉴의 서브메뉴 b3에 대해 동일한 레이블링을 해야 하는데 서로 다른 메뉴의 서브메뉴이므로 별도의 레이블링을 할 가능성도 상존한다. However, in the labeling process performed by the manpower, certain menus may be omitted, and certain menus may be repeatedly labeled. Assuming a submenu of a menu labeled A is labeled a1, a2, a3, and a submenu of a menu labeled B is labeled b1, b2, b3, a menu labeled a3 and b3 appears. If the menu runs the same app, the same labeling should be performed for the submenu a3 of the A menu and the submenu b3 of the B menu at the time of labeling. Since the submenu is a different menu, the possibility of separate labeling also exists.
이러한 문제점을 해결하기 위하여 AVN 시스템의 메뉴 화면에서 메뉴의 이미지와 위치를 추출하고 이를 학습시키는 방식으로 인공지능 신경망을 활용하여 메뉴 트리를 작성하기 위한 요구가 대두되고 있다.In order to solve this problem, there is a demand for creating a menu tree using an artificial neural network by extracting and learning an image and a location of a menu from a menu screen of an AVN system.
신경망을 이용하여 메뉴 트리를 작성하는데에는 테스트용 소프트웨어가 사용되기도 한다. 테스트용 소프트웨어란 AVN 시스템이 제대로 작성하는지를 테스트하는데 있어서 기계적으로 메뉴를 터치하고 터치된 메뉴가 제대로 작동하는지를 판단하는 것이 아니라 소프트웨어를 이용해서 터치하는 신호를 메인보드에 인가하고 인가된 신호에 해당하는 메뉴가 제대로 실행되는지를 확인하는 것이다.Test software may be used to create menu trees using neural networks. The test software is not a mechanical touch on the menu and testing whether the AVN system is properly written. The test software is used to apply the touch signal to the main board using the software. Is to make sure it runs properly.
한편, 이러한 테스트용 소프트웨어를 이용하여 메뉴 트리를 작성하는데 있어 첫 번째 화면에 제시된 메뉴 객체의 좌표와 이미지를 추출할 때에는 사람이 이미지에 해당하는 박스를 지정(주로 마우스로 드래깅)하는 방식으로 이루어지는 경우가 많아 불편함이 있다.On the other hand, when creating the menu tree using the test software, when extracting the coordinates and the image of the menu object presented on the first screen, a human designates a box corresponding to the image (mainly dragging with a mouse). There are many inconveniences.
본 발명은 배경기술의 문제점과 요구를 해결하기 위하여 안출된 것으로서 본 발명이 해결하고자 하는 과제는 효율적으로 AVN 시스템의 메뉴 이미지의 크기, 위치, 특징 등을 파악하도록 함으로써 신경망을 이용한 인공지능에 있어서 학습 데이터를 쉽게 획득할 수 있는 AVN 시스템용 인공지능 학습 데이터 추출방법을 제공하는 것이다.The present invention has been made to solve the problems and demands of the background art, and the problem to be solved by the present invention is to efficiently learn the artificial intelligence using neural networks by grasping the size, position, and features of the menu image of the AVN system. It is to provide an AI learning data extraction method for an AVN system that can easily acquire data.
전술한 과제의 해결 수단으로서 본 발명은,The present invention as a means for solving the above problems,
인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법에 있어서,In the extraction and storage method of the object used as the training data of the artificial intelligence neural network,
상기 객체를 추출하고자 하는 대상이 되는 비디오 화면 정보인 프레임을 입력받아 이를 저장하는 프레임 저장단계;A frame storing step of receiving a frame which is video screen information which is an object to extract the object and storing the frame;
상기 프레임 저장단계에서 저장된 프레임을 외곽선 추출이 용이하도록 변환하는 프레임 변환단계;A frame conversion step of converting a frame stored in the frame storing step to extract an outline easily;
상기 프레임 변환단계에서 변환된 프레임에 포함된 객체의 외곽선을 추출하여 추출된 외곽선의 위치정보를 저정하는 외곽선 추출단계;An outline extraction step of storing location information of the extracted outline by extracting an outline of an object included in the frame converted in the frame conversion step;
사용자로부터 메뉴 객체의 위치에 해당하는 위치정보를 입력받는 위치정보 입력단계;A location information input step of receiving location information corresponding to a location of a menu object from a user;
상기 위치정보에서 입력받은 객체의 위치정보와 상기 외곽선 추출단계에서 추출된 외곽선의 위치정보를 비교하고, 위치정보에서 입력받은 객체의 위치정보에 해당하는 객체의 위치정보와 이미지를 저장하는 객체 저장단계; 및,An object storage step of comparing the location information of the object received from the location information and the location information of the outline extracted in the outline extraction step, and storing the location information and the image of the object corresponding to the location information of the object received from the location information ; And,
상기 객체 저장단계에서 저장된 이미지를 신경망 학습 데이터에 적합한 포맷으로 변환하여 저장하는 객체 변환단계;를 포함하는 것을 특징으로 하는 인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법을 제공한다.An object conversion step of converting and storing the image stored in the object storage step in a format suitable for neural network training data; provides an extraction and storage method of the object used as learning data of the artificial intelligence neural network.
AVN 시스템을 테스트 함에 있어 최초 1회는 인력에 의해 테스트할 필요가 있다. 본 발명은 인공 지능 신경망의 윤곽선 추출 기법을 사용하여 AVN 시스템의 비디오 정보로부터 인공 지능 신경망의 학습 자료로 사용하기 위한 객체 추출에 있어 사용자가 객체를 한 번 클릭 또는 터치만 하면 클릭 또는 터치된 좌표를 둘러싸는 윤곽선에 해당하는 객체를 추출할 수 있도록 함으로써 효율적으로 객체의 추출이 가능하도록 하는 객체의 추출 및 저장방법을 제공할 수 있다.When testing an AVN system, the first one needs to be tested by human resources. The present invention uses the contour extraction technique of artificial intelligence neural network to extract the coordinates that are clicked or touched when the user only clicks or touches an object in object extraction for use as a training material of artificial intelligence neural network from video information of AVN system. By extracting an object corresponding to an enclosing contour, an object extraction and storage method for efficiently extracting an object may be provided.
도 1은 AVN 시스템의 화면 정보인 프레임의 한 예를 도시한 도면.
도 2는 도 1에 도시된 프레임이 변환된 상태를 도시한 도면.
도 3은 도 2에 도시된 변환된 프레임에서 외곽선을 추출하는 것을 설명하기 위한 도면.
도 4는 사용자로부터 위치정보를 입력받아 객체 이미지를 추출하는 것을 설명 하기 위한 도면.
도 5는 추출된 객체를 설명하기 위한 도면.1 is a diagram illustrating an example of a frame that is screen information of an AVN system.
FIG. 2 is a diagram illustrating a state in which a frame illustrated in FIG. 1 is converted.
FIG. 3 is a diagram for explaining extracting an outline from the transformed frame shown in FIG. 2; FIG.
4 is a diagram for explaining extraction of an object image by receiving location information from a user;
5 is a diagram for explaining an extracted object.
이하에서는 도면을 참조하면서 본 발명의 하나의 바람직한 실시예에 따른 객체의 추출 및 저장방법에 대하여 설명함으로써 본 발명을 실시하기 위한 구체적인 내용을 제공하기로 한다.Hereinafter, a method for extracting and storing an object according to an exemplary embodiment of the present invention will be described with reference to the drawings.
도 1은 AVN 시스템의 화면 정보인 프레임의 한 예를 도시한 도면, 도 2는 도 1에 도시된 프레임이 변환된 상태를 도시한 도면, 도 3은 도 2에 도시된 변환된 프레임에서 외곽선을 추출하는 것을 설명하기 위한 도면, 도 4는 사용자로부터 위치정보를 입력받아 객체 이미지를 추출하는 것을 설명 하기 위한 도면, 도 5는 추출된 객체를 설명하기 위한 도면이다.FIG. 1 is a diagram illustrating an example of a frame that is screen information of an AVN system, FIG. 2 is a diagram illustrating a state in which a frame illustrated in FIG. 1 is converted, and FIG. 3 is an outline of an outline of the converted frame illustrated in FIG. 2. 4 is a view for explaining the extraction, Figure 4 is a view for explaining the extraction of the object image by receiving the location information from the user, Figure 5 is a view for explaining the extracted object.
본 실시예에 따른 객체의 추출 및 저장방법은 프레임 저장단계, 프레임 변환단계, 외곽선 추출단계, 위치정보 입력단계, 객체 이미지 추출단계 및 객체 이미지 변환단계를 포함하여 이루어진다.An object extraction and storage method according to the present embodiment includes a frame storage step, a frame conversion step, an outline extraction step, a location information input step, an object image extraction step, and an object image conversion step.
상기 프레임 저장단계는 프레임을 입력받아 저장하는 단계인데, 프레임이랑 메뉴 객체를 추출하고자 하는 대상이 되는 비디오 화면 정보를 의미한다. 도 1에 도시된 이미지가 추출 및 저장된 프레임이다. 프레임은 카메라 등의 영상기기를 이용하여 촬영을 한 이미지를 입력받는 방식으로 추출할 수 있다.The frame storing step is a step of receiving and storing a frame, and means frame information and video screen information to be extracted. The image shown in FIG. 1 is an extracted and stored frame. The frame may be extracted by receiving an image captured by an image device such as a camera.
상기 프레임 변환단계는 상기 프레임 저장단계에서 입력받아 저장된 프레임을 외곽선 추출에 용이하도록 변환하는 단계를 의미힌다. Canny, Edge box, BLur등의 공개된 알고리즘을 사용할 수 있으며 도 2에 도시된 이미지가 변환된 이미지이다.The frame converting step refers to a step of converting a frame input and stored in the frame storing step to extract an outline. The publicly available algorithms such as Canny, Edge box, and BLur may be used, and the image shown in FIG. 2 is a converted image.
상기 외곽선 추출단게는 상기 프레임 변환단계에서 변환된 프레임에 포함된 객체의 외곽선울 추출하여 외곽선의 위치정보를 저장하는 단계이다.The outline extracting step is a step of storing the location information of the outline by extracting the outline of the object included in the frame converted in the frame conversion step.
외곽선은 CNN(Convolutional Neural Network) 등의 신경망을 훈련시켜 추출할 수 있다. 외곽선의 위치정보란 추출된 프레임 내에서 외곽선이 어디에 있는지를 의미하는 것으로 xy좌표계에서의 좌표로 표현될 수 있으며, 박스 형태의 외곽선인 경우 x축과 y축 상의 특정 범위로 지정된다. (예를 들어 x 축 상에서는 9~10, y축 상에서는 2~3)The outline can be extracted by training neural networks such as CNN (Convolutional Neural Network). The location information of the outline indicates where the outline is in the extracted frame and can be expressed as coordinates in the xy coordinate system. In the case of a box-shaped outline, the outline is designated as a specific range on the x and y axes. (E.g. 9-10 on the x-axis, 2-3 on the y-axis)
도 3은 신경망을 활용하여 객체의 외곽선이 추출된 것을 설명하기 위한 도면으로서 도 1에 도시된 프레임에 도시된 객체 중 "전체 메뉴"로 표시된 객체의 외곽선이 추출된 것을 보여준다.FIG. 3 is a diagram illustrating the extraction of an outline of an object by using a neural network, and shows that the outline of an object displayed as “full menu” is extracted among the objects shown in the frame shown in FIG. 1.
도면상에 A와 B로 표시가 되어 있는데, A로 표시된 부분에는 9개의 작은 박스에 해당하는 외곽선이 추출되었고, B로 표시된 부분은 A를 감싸는 외곽선이 추출된 것이다.In the drawing, A and B are marked. In the portion marked A, the outlines corresponding to nine small boxes were extracted, and in the portion marked B, the outline surrounding A was extracted.
상기 위치정보 입력단계는 사용자로부터 추출을 원하는 메뉴 객체의 위치에 해당하는 위치 정보를 입력받는 단계이다. 사용자로부터 입력받는 위치정보는 한 점에 대한 좌표이며 마우스로 클릭을 하거나 화면을 터치하는 등의 방식으로 위치정보를 입력받는다.The location information input step is a step of receiving location information corresponding to a location of a menu object to be extracted from a user. The location information received from the user is coordinates of a point and receives location information by clicking or touching the screen with a mouse.
도 4에 파란 동그라미로 표시된 부분이 사용자로부터 입력받은 위치정보(좌표)이다.The part indicated by a blue circle in FIG. 4 is location information (coordinate) received from the user.
상기 객체 저장단계는 상기 위치정보 입력단계에서 입력받은 객체의 위치정보(좌표)와 상기 외곽선 추출단게에서 추출된 외곽선의 위치정보를 비교하고 위치정보 입력단계에서 입력받은 객체의 위치정보에 해당하는 객체의 위치정보와 이미지를 저장하는 단계이다.The object storing step compares the position information (coordinate) of the object input in the position information input step with the position information of the outline extracted from the outline extraction step, and the object corresponding to the position information of the object input in the position information input step. Saving the location information and the image.
도 4에 파란 동그라미에 해당하는 좌표를 사용자로부터 입력받으면 입력받은 좌표와 추출된 외곽선의 중심 좌표를 비교하여 가장 가까운 외곽선의 중심좌표를 찾는다. 도 4에 빨간색 동그라미로 표시된 좌표가 사용자로부터 입력받은 좌표와 가장 가까운 외곽선의 중심 좌표에 해당하는 좌표이다. When the coordinates corresponding to the blue circle in FIG. 4 are input from the user, the center coordinates of the nearest outline are found by comparing the input coordinates with the center coordinates of the extracted outline. The coordinates indicated by red circles in FIG. 4 correspond to the coordinates of the center of the outline closest to the coordinates received from the user.
도 4에 빨간색 동그라미로 표시된 좌표를 찾으면 그 빨간색 동그라미가 중심인 외곽선을 찾을 수 있으며(도 4에 빨간색 네모) 이 외곽선에 해당하는 객체가 사용자가 입력을 원하는 객체이며 이 객체의 위치정보(외곽선 추출단계에서 추출된 정보)와 이미지를 저장하는 것이 객체 저장단계이다.If the coordinates indicated by the red circle in Fig. 4 are found, the outline of which the red circle is the center can be found (the red square in Fig. 4). The object corresponding to the outline is the object that the user wants to input and the location information of the object (extract outline). Saving the information extracted in the step) and the image is an object storage step.
상기 변환단계는 상기 객체 저장단계에서 저장된 이미지와 위치정보를 신경망 학습에 적합한 포맷으로 변환하여 저장하는 단계이다. The converting step is a step of converting and storing the image and location information stored in the object storage step into a format suitable for neural network learning.
본 실시예에서 상기 객체 저장단계에서 추출된 이미지(도 1에 object 1으로 표시된 이미지)는 Classification을 위한 학습에 필요한 이미지로 저장되며, 위치정보는 Faster RCNNN에서 사용될 수 있도록 xml 형태로 변환되어 저장된다.In the present embodiment, the image extracted in the object storing step (the image indicated by
이처럼 본 발명에서는 외곽선 추출을 위하여 입력된 프레임을 변환하고, 변환된 프레임에서 외곽선을 추출한 후, 사용자로부터 메뉴의 위치 정보를 입력받고 그 입력받은 위치정보에 해당하는 좌표와 추출된 외곽선의 중심위치를 비교하여 입력받은 좌표와 가장 가까운 외곽선의 중심좌표를 찾은 후 그 중심좌표에 해당하는 외곽선의 위치정보와 이미지를 저장하고 이를 CNN 학습에 적절한 데이터로 변환함으로써 객체를 추출하고 저장하게 된다.As described above, the present invention converts the input frame for extracting the outline, extracts the outline from the converted frame, receives the position information of the menu from the user, and coordinates corresponding to the received position information and the center position of the extracted outline. After comparing and finding the center coordinates of the closest outline to the inputted coordinates, the location information and image of the outline corresponding to the center coordinates are stored and the object is extracted and stored by converting it into data suitable for CNN learning.
사용자는 단순히 메뉴 객체의 위치 정보만 입력하면 되므로 객체 이미지를 추출하기 위하여 마우스를 드래그 하는 등의 번거로운 작업이 필요없는 장점이 있다. 또한 사람이 직접 마우스를 드래그하는 경우 정밀한 작업이 어려우므로 사용자의 숙련도에 따라 실제 이미지보다 크게 드래그 될 수도 있고, 작게 드래그 될 수도 있어서 신경망이 추출한 외곽선에 비하여 정밀도도 떨어지는데 인공지능 신경망을 사용하면 수작업에 비하여 비교적 정확하게 외곽선을 추출하여 객체 이미지를 추출해낼 수 있는 효과도 기대할 수 있다.Since the user only needs to input the location information of the menu object, there is an advantage that no troublesome task such as dragging the mouse to extract the object image is required. In addition, if the user directly drags the mouse, it is difficult to precisely work, so it may be dragged larger than the actual image or dragged smaller than the actual image depending on the user's skill level. The accuracy of the neural network is less than that of the outline extracted by the neural network. On the other hand, we can expect the effect of extracting the object image by extracting the outline relatively accurately.
A, B : 신경망이 추출한 외곽선 영역A, B: outline area extracted by neural network
Claims (1)
상기 객체를 추출하고자 하는 대상이 되는 비디오 화면 정보인 프레임을 입력받아 이를 저장하는 프레임 저장단계;
상기 프레임 저장단계에서 저장된 프레임을 외곽선 추출이 용이하도록 변환하는 프레임 변환단계;
상기 프레임 변환단계에서 변환된 프레임에 포함된 객체의 외곽선을 추출하여 추출된 외곽선의 위치정보를 저정하는 외곽선 추출단계;
사용자로부터 메뉴 객체의 위치에 해당하는 위치정보를 입력받는 위치정보 입력단계;
상기 위치정보에서 입력받은 객체의 위치정보와 상기 외곽선 추출단계에서 추출된 외곽선의 위치정보를 비교하고, 위치정보에서 입력받은 객체의 위치정보에 해당하는 객체의 위치정보와 이미지를 저장하는 객체 저장단계; 및,
상기 객체 저장단계에서 저장된 이미지를 신경망 학습 데이터에 적합한 포맷으로 변환하여 저장하는 객체 변환단계;를 포함하는 것을 특징으로 하는 인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법.
In the extraction and storage method of the object used as the training data of the artificial intelligence neural network,
A frame storing step of receiving a frame which is video screen information which is an object to extract the object and storing the frame;
A frame conversion step of converting a frame stored in the frame storing step to extract an outline easily;
An outline extraction step of storing location information of the extracted outline by extracting an outline of an object included in the frame converted in the frame conversion step;
A location information input step of receiving location information corresponding to a location of a menu object from a user;
An object storage step of comparing the location information of the object received from the location information and the location information of the outline extracted in the outline extraction step, and storing the location information and the image of the object corresponding to the location information of the object received from the location information ; And,
And an object conversion step of converting the image stored in the object storage step into a format suitable for neural network training data and storing the object. The method for extracting and storing the object used as the training data of the artificial intelligence neural network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180023395A KR102011212B1 (en) | 2018-02-27 | 2018-02-27 | Method for Collecting and Saving object that is used as training data of Neural network for Artificial Intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180023395A KR102011212B1 (en) | 2018-02-27 | 2018-02-27 | Method for Collecting and Saving object that is used as training data of Neural network for Artificial Intelligence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102011212B1 true KR102011212B1 (en) | 2019-08-14 |
Family
ID=67621937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180023395A KR102011212B1 (en) | 2018-02-27 | 2018-02-27 | Method for Collecting and Saving object that is used as training data of Neural network for Artificial Intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102011212B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802338A (en) * | 2020-12-31 | 2021-05-14 | 山东奥邦交通设施工程有限公司 | Expressway real-time early warning method and system based on deep learning |
| KR20220059088A (en) | 2020-11-02 | 2022-05-10 | 한국전기연구원 | System and method for acquiring image data for artificial intelligence learning, and a recording medium having computer readable program for executing the method |
| WO2023027260A1 (en) * | 2021-08-26 | 2023-03-02 | 재단법인 아산사회복지재단 | Tympanum image processing apparatus and method for generating normal tympanum image by using machine learning model to otitis media tympanum image |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004110515A (en) * | 2002-09-19 | 2004-04-08 | Ocean Network Co Ltd | Image analysis system and image analysis program |
| KR20090039950A (en) * | 2007-10-19 | 2009-04-23 | 삼성전자주식회사 | Apparatus and method for calibrationing touch screen in potable terminal |
| KR20090086660A (en) * | 2008-02-11 | 2009-08-14 | 한국과학기술원 | Computer architecture combining neural network and parallel processor, and processing method using it |
| KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
-
2018
- 2018-02-27 KR KR1020180023395A patent/KR102011212B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004110515A (en) * | 2002-09-19 | 2004-04-08 | Ocean Network Co Ltd | Image analysis system and image analysis program |
| KR20090039950A (en) * | 2007-10-19 | 2009-04-23 | 삼성전자주식회사 | Apparatus and method for calibrationing touch screen in potable terminal |
| KR20090086660A (en) * | 2008-02-11 | 2009-08-14 | 한국과학기술원 | Computer architecture combining neural network and parallel processor, and processing method using it |
| KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220059088A (en) | 2020-11-02 | 2022-05-10 | 한국전기연구원 | System and method for acquiring image data for artificial intelligence learning, and a recording medium having computer readable program for executing the method |
| CN112802338A (en) * | 2020-12-31 | 2021-05-14 | 山东奥邦交通设施工程有限公司 | Expressway real-time early warning method and system based on deep learning |
| CN112802338B (en) * | 2020-12-31 | 2022-07-12 | 山东奥邦交通设施工程有限公司 | Highway real-time early warning method and system based on deep learning |
| WO2023027260A1 (en) * | 2021-08-26 | 2023-03-02 | 재단법인 아산사회복지재단 | Tympanum image processing apparatus and method for generating normal tympanum image by using machine learning model to otitis media tympanum image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7089879B2 (en) | Robot-based process automation | |
| CN108229485B (en) | Method and apparatus for testing user interface | |
| US10769427B1 (en) | Detection and definition of virtual objects in remote screens | |
| US20170255450A1 (en) | Spatial cooperative programming language | |
| KR102011212B1 (en) | Method for Collecting and Saving object that is used as training data of Neural network for Artificial Intelligence | |
| KR20140033025A (en) | Fast fingertip detection initializing a vision-based hand tracker | |
| KR20210116665A (en) | Illegal building identification methods, devices, equipment and storage media | |
| WO2015074521A1 (en) | Devices and methods for positioning based on image detection | |
| JP2023072003A (en) | Information processing system, information processing method and program | |
| CN110308346B (en) | Automatic testing method and system for cockpit display system based on image recognition | |
| CN112149694B (en) | Image processing method, system, storage medium and terminal based on convolutional neural network pooling module | |
| WO2021010390A1 (en) | Automatic determination process device, automatic determination process method, inspection system, program, and recording medium | |
| US20150169134A1 (en) | Methods circuits apparatuses systems and associated computer executable code for providing projection based human machine interfaces | |
| KR102075111B1 (en) | Ui function test system and method | |
| US20200118305A1 (en) | Automatic line drawing coloring program, automatic line drawing coloring apparatus, and graphical user interface program | |
| KR20210128491A (en) | Hazardous driving behavior identification method, device, electronic equipment and storage medium | |
| CN112749701B (en) | License plate offset classification model generation method and license plate offset classification method | |
| CN108845924B (en) | Control response area display control method, electronic device, and storage medium | |
| KR101576445B1 (en) | image evalution automation method and apparatus using video signal | |
| CN109614169B (en) | Automatic operation method of Windows client application program based on pixel coordinate mode | |
| CN115631374A (en) | Control operation method, control detection model training method, device and equipment | |
| CN115993887A (en) | Gesture interaction control method, device, equipment and storage medium | |
| CN112053280B (en) | Panoramic map display method, device, equipment and storage medium | |
| CN111054072B (en) | Method, device, equipment and storage medium for role model tailing | |
| CN113469087A (en) | Method, device, equipment and medium for detecting picture frame in building drawing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |