KR20220135890A - Method and system for collecting virtual environment-based data for artificial intelligence object recognition model - Google Patents
Method and system for collecting virtual environment-based data for artificial intelligence object recognition model Download PDFInfo
- Publication number
- KR20220135890A KR20220135890A KR1020210042145A KR20210042145A KR20220135890A KR 20220135890 A KR20220135890 A KR 20220135890A KR 1020210042145 A KR1020210042145 A KR 1020210042145A KR 20210042145 A KR20210042145 A KR 20210042145A KR 20220135890 A KR20220135890 A KR 20220135890A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- virtual environment
- object recognition
- recognition model
- learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 238000004088 simulation Methods 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000011161 development Methods 0.000 claims abstract description 12
- 238000013480 data collection Methods 0.000 claims description 29
- 238000010276 construction Methods 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009193 crawling Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법 및 시스템에 관한 것이다.The present invention relates to a virtual environment-based data collection method and system for an artificial intelligence object recognition model.
YOLO(You Only Look Once)나 CNN(Convolutional neural Network)은 이미지 객체를 학습하고 분류하는데 폭넓게 사용되는 알고리즘이다. 이때, 기계학습 또는 딥러닝을 기반으로 이미지 객체인식 모델을 생성(학습 및 테스트)하는데 있어 가장 큰 문제점은 충분한 양의 학습 데이터를 수집하는 것이다.YOLO (You Only Look Once) or CNN (Convolutional Neural Network) is an algorithm widely used to learn and classify image objects. At this time, the biggest problem in generating (learning and testing) an image object recognition model based on machine learning or deep learning is to collect a sufficient amount of training data.
도 1은 종래 기술에 따른 영상 데이터를 기반으로 데이터 셋을 수집하는 방법을 설명하기 위한 도면이다. 도 2는 종래 기술에 따른 수집된 이미지의 레이블링 과정을 설명하기 위한 도면이다. 도 3은 DarkNet YOLOv3에서의 데이터 셋을 구성하는 일 예시를 도시한 도면이다.1 is a diagram for explaining a method of collecting a data set based on image data according to the prior art. 2 is a view for explaining a labeling process of a collected image according to the prior art. 3 is a diagram illustrating an example of configuring a data set in DarkNet YOLOv3.
학습 데이터를 수집하기 위한 기존의 방법은 카메라를 통해 필요한 이미지를 직접 수집하거나, 인터넷 이미지 크롤링(crawling)을 통해 이미지 데이터를 수집하였다. 또한, 인공지능 모델의 학습 및 테스트를 위해 이미지를 수집하는 또 다른 방법은 동영상을 촬영하고, 촬영된 동영상에서 필요한 이미지를 수집하는 것이다.Existing methods for collecting learning data collect necessary images directly through a camera or collect image data through Internet image crawling. In addition, another method of collecting images for training and testing of AI models is to shoot a video and collect necessary images from the captured video.
하지만, 학습에 필요한 데이터를 직접 카메라를 통해 촬영하는 데이터 수집 방법은 매우 비효율적이며, 동영상을 이용한 이미지 데이터 수집 방법은 수집된 동영상 처리 및 레이블링하기 위한 많은 컴퓨팅 자원(Resource)을 필요로 하며, 일반적으로 동영상에는 유사한 객체만 다수 존재하는 문제가 있다.However, the data collection method that directly captures the data required for learning through the camera is very inefficient, and the image data collection method using the video requires a lot of computing resources for processing and labeling the collected video, and generally There is a problem in that there are many similar objects in a video.
도 3은 인터넷 크롤링을 통해 건설 근로자 사진을 수집한 것이며, 수집된 이미지에서 안전모 객체를 학습 데이터로 생성한 것이다. 이와 같은 인터넷 크롤링을 이용하여 이미지 데이터를 수집할 경우, 다양한 노이즈가 발생하는 문제가 있다.3 is a picture of construction workers collected through internet crawling, and a hard hat object is generated as learning data from the collected images. When image data is collected using such Internet crawling, there is a problem in that various noises are generated.
뿐만 아니라, 건설현장의 추락 및 낙상과 같이 수집하기 어려운 데이터를 기반으로 학습 모델을 구성하는 경우에는, 이미지 데이터 수집이 불가하여 모델 생성 자체가 불가능할 정도로 데이터의 수집 및 축적에 어려움이 있다.In addition, when a learning model is constructed based on data that is difficult to collect, such as falls and falls at a construction site, it is difficult to collect and accumulate data to such an extent that it is impossible to generate the model itself because it is impossible to collect image data.
본 발명의 실시예는 가상환경을 기반으로 시뮬레이션을 통해 다양한 이미지 데이터를 수집하며, 기존 수집된 이미지 데이터를 변형하여 이미지를 확장할 수 있는, 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법 및 시스템을 제공한다.An embodiment of the present invention collects various image data through simulation based on a virtual environment, and can expand the image by modifying the existing collected image data, a virtual environment-based data collection method for an artificial intelligence object recognition model, and provide the system.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical task to be achieved by the present embodiment is not limited to the above-described technical task, and other technical tasks may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 시스템에 의해 수행되는 방법은 소정의 개발 대상 객체인식 모델을 정의하는 단계; 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계; 상기 수집된 이미지 데이터를 대상으로 상기 정의된 객체인식 모델의 데이터 셋 구조에 상응하는 학습 데이터를 구성하는 단계; 및 상기 학습 데이터를 기반으로 상기 객체인식 모델을 학습하는 단계를 포함한다.As a technical means for achieving the above-described technical problem, the method performed by the virtual environment-based data collection system for the artificial intelligence object recognition model according to the first aspect of the present invention comprises the steps of defining a predetermined development target object recognition model ; collecting image data for learning and testing the object recognition model to be developed by performing a simulation based on a virtual environment; constructing learning data corresponding to the data set structure of the defined object recognition model with respect to the collected image data; and learning the object recognition model based on the learning data.
본 발명의 일부 실시예에서, 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는, 상기 가상환경에 이미지 데이터 에셋(Asset)이 존재하는 경우, 상기 이미지 데이터 에셋을 기반으로 이미지 데이터를 증강시키는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of collecting image data for learning and testing the development target object recognition model by performing a simulation based on the virtual environment includes an image data asset in the virtual environment. In this case, the method may include augmenting image data based on the image data asset.
본 발명의 일부 실시예에서, 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는, 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 제1 이미지 데이터를 수집하는 단계; 및 상기 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 상기 제1 이미지 데이터를 포함하는 제2 이미지 데이터로 증강시키는 단계를 포함할 수 있다.In some embodiments of the present invention, the step of collecting image data for learning and testing the object recognition model to be developed by performing a simulation based on the virtual environment includes performing a simulation based on the virtual environment to develop the collecting first image data for training and testing a target object recognition model; and performing a simulation on the first image data in the virtual environment to augment the first image data with second image data including the first image data.
본 발명의 일부 실시예에서, 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는, 상기 수집된 제1 이미지 데이터를 변형시키는 단계를 포함하고, 상기 제2 이미지 데이터로 증강시키는 단계는, 상기 변형된 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 제2 이미지 데이터로 증강시킬 수 있다.In some embodiments of the present invention, the step of collecting image data for learning and testing the development target object recognition model by performing a simulation based on the virtual environment includes the step of transforming the collected first image data The step of augmenting with the second image data may include performing a simulation in the virtual environment on the modified first image data to augment it with the second image data.
본 발명의 일부 실시예에서, 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는, 건설 근로자의 현장에 상응하는 가상환경을 기반으로 시뮬레이션을 수행하여, 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 건설 근로자 이미지 데이터를 수집할 수 있다.In some embodiments of the present invention, the step of collecting image data for learning and testing the development target object recognition model by performing a simulation based on the virtual environment is based on a virtual environment corresponding to the construction worker's site. By performing the simulation, it is possible to collect construction worker image data for learning and testing the object recognition model to be developed.
또한, 본 발명의 제2 측면에 따른 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 시스템은 가상환경을 기반으로 이미지 데이터를 수집하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집한 후, 상기 수집된 이미지 데이터를 대상으로 상기 정의된 객체인식 모델의 데이터 셋 구조에 상응하는 학습 데이터를 구성하고, 상기 학습 데이터를 기반으로 상기 객체인식 모델을 학습한다.In addition, the virtual environment-based data collection system for the artificial intelligence object recognition model according to the second aspect of the present invention includes a memory in which a program for collecting image data based on a virtual environment is stored and a processor for executing the program stored in the memory. include At this time, as the processor executes the program, a simulation is performed based on the virtual environment to collect image data for learning and testing the object recognition model to be developed, and then to the collected image data. Learning data corresponding to the data set structure of the defined object recognition model is configured, and the object recognition model is learned based on the learning data.
본 발명의 일부 실시예에서, 상기 프로세서는 상기 가상환경에 이미지 데이터 에셋(Asset)이 존재하는 경우, 상기 이미지 데이터 에셋을 기반으로 이미지 데이터를 증강시킬 수 있다.In some embodiments of the present invention, when an image data asset exists in the virtual environment, the processor may augment image data based on the image data asset.
본 발명의 일부 실시예에서, 상기 프로세서는 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 제1 이미지 데이터를 수집하고, 상기 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 상기 제1 이미지 데이터를 포함하는 제2 이미지 데이터로 증강시킬 수 있다.In some embodiments of the present invention, the processor collects first image data for learning and testing the object recognition model to be developed by performing a simulation based on the virtual environment, and targeting the first image data A simulation may be performed in a virtual environment to augment the second image data including the first image data.
본 발명의 일부 실시예에서, 상기 프로세서는 상기 수집된 제1 이미지 데이터를 변형시킨 후, 상기 변형된 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 상기 제1 이미지 데이터를 포함하는 제2 이미지 데이터로 증강시킬 수 있다.In some embodiments of the present invention, after the processor transforms the collected first image data, the processor performs a simulation in the virtual environment on the transformed first image data to obtain a first image including the first image data. 2 It can be augmented with image data.
본 발명의 일부 실시예에서, 상기 프로세서는 건설 근로자의 현장에 상응하는 가상환경을 기반으로 시뮬레이션을 수행하여, 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 건설 근로자 이미지 데이터를 수집할 수 있다.In some embodiments of the present invention, the processor may collect construction worker image data for learning and testing the object recognition model to be developed by performing a simulation based on a virtual environment corresponding to the construction worker's site.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method may be further provided.
전술한 본 발명의 일 실시예에 의하면, 가상환경을 기반으로 시뮬레이션을 통해 다양한 이미지 데이터 수집이 가능하며, 기존에 수집된 이미지 데이터를 변형하여 이미지 데이터를 확장할 수 있다.According to an embodiment of the present invention described above, various image data can be collected through simulation based on a virtual environment, and image data can be expanded by modifying previously collected image data.
또한, 다양한 이미지 데이터를 비교적 빠른 시간에 확보할 수 있으며, 수집하기 어려운 데이터(예를 들어, 사고 현장, 추락, 낙상 등의 데이터)를 확보할 수 있다는 장점이 있다.In addition, various image data can be obtained relatively quickly, and data that is difficult to collect (eg, data such as an accident site, a fall, and a fall) can be secured.
이와 더불어, 카메라를 촬영하여 이미지나 동영상을 수집하지 않아도 되며, KITTI Dataset, Keras, MS COCO 등 학습에 필요한 데이터 셋 형태로 데이터 수집이 가능하다는 장점이 있다.In addition, there is no need to collect images or videos by shooting a camera, and there is an advantage that data can be collected in the form of data sets necessary for learning such as KITTI Dataset, Keras, and MS COCO.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 종래 기술에 따른 영상 데이터를 기반으로 데이터 셋을 수집하는 방법을 설명하기 위한 도면이다.
도 2는 종래 기술에 따른 수집된 이미지의 레이블링 과정을 설명하기 위한 도면이다.
도 3은 DarkNet YOLOv3에서의 데이터 셋을 구성하는 일 예시를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상환경 기반 데이터 수집 방법의 순서도이다.
도 5는 객체인식 모델을 정의한 일 예시를 도시한 도면이다.
도 6은 이미지 데이터 에셋의 일 예시를 도시한 도면이다.
도 7a 내지 도 7c는 학습 데이터 셋의 일 예시를 도시한 도면이다.
도 8은 객체인식 모델을 학습하는 일 예시를 도시한 도면이다.
도 9는 건설 근로자 데이터를 기반으로 안전모 객체 인식을 테스트한 결과를 나타낸 도면이다.
도 10은 가상환경 기반 데이터 수집 시스템의 블록도이다.1 is a diagram for explaining a method of collecting a data set based on image data according to the prior art.
2 is a view for explaining a labeling process of a collected image according to the prior art.
3 is a diagram illustrating an example of configuring a data set in DarkNet YOLOv3.
4 is a flowchart of a method for collecting data based on a virtual environment according to an embodiment of the present invention.
5 is a diagram illustrating an example in which an object recognition model is defined.
6 is a diagram illustrating an example of an image data asset.
7A to 7C are diagrams illustrating an example of a training data set.
8 is a diagram illustrating an example of learning an object recognition model.
9 is a view showing the results of testing the object recognition of the hard hat based on construction worker data.
10 is a block diagram of a virtual environment-based data collection system.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully inform those skilled in the art of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly specifically defined.
이하에서는 도 4 내지 도 9를 참조하여 본 발명의 일 실시예에 따른 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법(이하, 가상환경 기반 데이터 수집 방법)을 설명하도록 한다.Hereinafter, a virtual environment-based data collection method (hereinafter, virtual environment-based data collection method) for an AI object recognition model according to an embodiment of the present invention will be described with reference to FIGS. 4 to 9 .
도 4는 본 발명의 일 실시예에 따른 가상환경 기반 데이터 수집 방법의 순서도이다.4 is a flowchart of a method for collecting data based on a virtual environment according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 가상환경 기반 데이터 수집 방법은 소정의 개발 대상 객체인식 모델을 정의하는 단계와, 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계와, 상기 수집된 이미지 데이터를 대상으로 상기 정의된 객체인식 모델의 데이터 셋 구조에 상응하는 학습 데이터를 구성하는 단계와, 상기 학습 데이터를 기반으로 상기 객체인식 모델을 학습하는 단계를 포함하여 수행된다.A virtual environment-based data collection method according to an embodiment of the present invention includes defining a predetermined development target object recognition model, and performing a simulation based on the virtual environment image for learning and testing the development target object recognition model collecting data; constructing learning data corresponding to the data set structure of the defined object recognition model for the collected image data; and learning the object recognition model based on the learning data. is carried out including
한편, 도 4에 도시된 각 단계들은 후술하는 도 10의 가상환경 기반 데이터 수집 시스템(100)에 의해 수행되는 것으로 이해될 수 있으나, 반드시 이에 한정되는 것은 아니다.Meanwhile, each of the steps shown in FIG. 4 may be understood to be performed by the virtual environment-based
먼저, 소정의 개발 대상 객체인식 모델을 정의한다(S110). 일 실시예로, 본 발명에서는 객체인식 모델로 KITTI Dataset, Kerars, MS COCO, YOLO v3 등이 적용될 수 있으며, 반드시 이에 한정되는 것은 아니다.First, a predetermined development target object recognition model is defined (S110). As an embodiment, in the present invention, KITTI Dataset, Kerars, MS COCO, YOLO v3, etc. may be applied as object recognition models, but the present invention is not limited thereto.
S110 단계에서는 개발하려는 객체인식 모델, 예를 들어 안전모, 가방 사람 등의 인식하고자 하는 객체를 위한 모델을 정의한다. 도 5는 객체인식 모델을 정의한 일 예시를 도시한 도면으로, YOLO v3을 그 예시로 도시하고 있다. 도 5의 객체인식 모델의 경우에는 YOLO v3을 기반으로 대상 객체를 크기별로 인식할 수 있도록 구성된 것이다.In step S110, an object recognition model to be developed, for example, a model for an object to be recognized, such as a hard hat and a bag person, is defined. 5 is a diagram illustrating an example in which an object recognition model is defined, and YOLO v3 is illustrated as an example thereof. The object recognition model of FIG. 5 is configured to recognize target objects by size based on YOLO v3.
다음으로, 가상환경을 기반으로 시뮬레이션을 수행하여 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집한다(S120).Next, image data for learning and testing the object recognition model to be developed is collected by performing a simulation based on the virtual environment (S120).
일 실시예로, 가상환경에 이미지 데이터 에셋(Asset)이 존재하는 경우, 이미지 데이터 에셋을 기반으로 이미지 데이터를 증강시킬 수 있다. 도 6은 이미지 데이터 에셋의 일 예시를 도시한 도면이다. 도 6은 유니티(Unity) 기반으로 안전모 객체를 생성한 것이며, 본 발명의 일 실시예는 이와 같은 방식으로 모델 학습에 필요하나 수집하기 어려운 이미지 데이터를 직접 생성할 수 있다. 이때, 유니티(Unity)는 3D 및 2D 비디오 게임의 개발 환경을 제공하는 게임 엔진이자, 3D 애니메이션과 건축 시각화, 가상현실(VR) 등 인터랙티브 콘텐츠 제작을 위한 통합 저작 도구이다.As an embodiment, when an image data asset exists in the virtual environment, image data may be augmented based on the image data asset. 6 is a diagram illustrating an example of an image data asset. Figure 6 is that the helmet object is generated based on Unity (Unity), an embodiment of the present invention can directly generate the image data required for model learning in this way, but difficult to collect. In this case, Unity is a game engine that provides a development environment for 3D and 2D video games, and is an integrated authoring tool for creating interactive content such as 3D animation, architectural visualization, and virtual reality (VR).
일 실시예로, 본 발명은 복수 회 반복적인 시뮬레이션을 통해 새로운 이미지 객체를 변형하여 구축할 수 있다. In one embodiment, the present invention can be constructed by transforming a new image object through iterative simulation a plurality of times.
일 예로, 가상환경을 기반으로 시뮬레이션을 수행하여 개발 대상 객체인식 모델의 학습 및 테스트를 위한 제1 이미지 데이터를 수집하고 나면, 수집된 제1 이미지 데이터를 대상으로 가상환경에서 시뮬레이션을 수행하여 제1 이미지 데이터를 포함하는 제2 이미지 데이터로 증강시킬 수 있다. 이와 같은 시뮬레이션을 복수 회 수행함에 따라 본 발명은 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 대량으로 증강시킬 수 있다.For example, after performing a simulation based on a virtual environment to collect first image data for learning and testing an object recognition model to be developed, a simulation is performed on the collected first image data in a virtual environment to It may be augmented with second image data including image data. As the simulation is performed a plurality of times, the present invention can augment image data for learning and testing an object recognition model in large quantities.
이에 더 나아가, 본 발명의 일 실시예는 수집된 제1 이미지 데이터를 변형시키고, 변형된 이미지 데이터를 대상으로 가상환경에서 시뮬레이션을 수행하여 제2 이미지 데이터로 증강시킬 수 있다.Furthermore, according to an embodiment of the present invention, the collected first image data may be transformed, and the transformed image data may be augmented with the second image data by performing a simulation in a virtual environment.
예를 들어, 제1 이미지 데이터를 대상으로 가상의 이상 부분을 합성한 후, 시뮬레이션을 수행한 결과 제2 이미지 데이터를 생성할 수 있다. 이때, 가상의 이상 부분은 선, 원, 사각형, 타원 등 임의의 형태로 구성되거나, 적어도 하나의 색상 또는 색상의 조합으로 구성되거나, 소정의 이미지 합성 기법에 따른 이미지 변형 처리를 통해 구성될 수 있으며, 대상 데이터 카테고리 내에서 탐지하기를 원하거나 예상되는 이상 부분의 형태로 구성할 수 있다.For example, after synthesizing a virtual abnormal part with respect to the first image data, the second image data may be generated as a result of performing a simulation. In this case, the virtual abnormal part may be configured in any shape such as a line, circle, rectangle, ellipse, etc., or may be composed of at least one color or a combination of colors, or may be configured through image transformation processing according to a predetermined image synthesis technique. , it can be configured in the form of anomalies that are desired or expected to be detected within the target data category.
이러한 이상 부분을 함께 시뮬레이션 할 경우, 본 발명은 정상 이미지 데이터인 제1 이미지 데이터 뿐만 아니라 이상 부분을 포함하는 제2 이미지 데이터를 구축할 수 있어, 객체인식 모델에 있어 정상 이미지의 인식 성능을 보다 향상시킬 수 있다.When such an abnormal part is simulated together, the present invention can build not only the first image data, which is normal image data, but also the second image data including the abnormal part, thereby further improving the recognition performance of the normal image in the object recognition model. can do it
일 실시예로, 본 발명은 가상환경에 대한 사용자의 입력을 수신할 수 있다. 구체적으로 본 발명은 가상환경에 대한 사용자의 시나리오 입력을 수신할 수 있다. 예를 들어, 가상환경에 대한 제1 시나리오를 입력 받은 후 시뮬레이션을 수행하여 제1 및 제2 이미지 데이터를 수집할 수 있다. 또한, 가상환경에 대한 제1 시나리오와 상이한 제2 시나리오를 입력 받은 후 시뮬레이션을 수행하여 제1 및 제2 이미지 데이터를 수집할 수 있다. 이러한 다양한 시나리오 입력을 통해 본 발명은 다양한 가상환경에서의 제1 및 제2 이미지 데이터를 생성 및 증강시킬 수 있다. In one embodiment, the present invention may receive a user's input for the virtual environment. Specifically, the present invention may receive a user's scenario input for the virtual environment. For example, after receiving the first scenario for the virtual environment, simulation may be performed to collect first and second image data. Also, after receiving a second scenario different from the first scenario for the virtual environment, simulation may be performed to collect first and second image data. Through the input of various scenarios, the present invention can generate and augment the first and second image data in various virtual environments.
일 예로, 본 발명에서 가상환경을 기반으로 시뮬레이션을 수행하여 이미지 데이터를 수집하는 것은, 건설 근로자의 현장에 상응하는 가상환경을 기반으로 시뮬레이션을 수행하여, 객체인식 모델의 학습 및 테스트를 위한 건설 근로자 이미지 데이터를 수집하는 것일 수 있다.As an example, in the present invention, collecting image data by performing a simulation based on a virtual environment is a construction worker for learning and testing an object recognition model by performing a simulation based on a virtual environment corresponding to the construction worker's site. It may be collecting image data.
이와 같이 본 발명의 일 실시예는 가상환경을 기반으로 시뮬레이션을 수행하여 이미지 데이터를 수집함으로써, 예를 들어 사람이 허공에서 떨어지는 이미지와 같이 수집하기 어려운 이미지를 가상환경 기반 물리엔진을 이용해 확보할 수 있다. 또한, 사용자로부터 다양한 가상환경 시나리오를 추가적으로 입력되도록 하여 시간, 날씨, 장소 등 다양한 환경요소 등에 상응하는 대량의 이미지 데이터를 구축할 수 있다는 장점이 있다.As such, an embodiment of the present invention collects image data by performing a simulation based on a virtual environment, so that, for example, an image that is difficult to collect, such as an image of a person falling from the air, can be secured using a virtual environment-based physics engine. have. In addition, there is an advantage that a large amount of image data corresponding to various environmental factors such as time, weather, place, etc. can be constructed by additionally inputting various virtual environment scenarios from the user.
도 7a 내지 도 7c는 학습 데이터 셋의 일 예시를 도시한 도면이다.7A to 7C are diagrams illustrating an example of a training data set.
다음으로, 수집된 이미지 데이터를 대상으로 정의된 객체인식 모델의 데이터 셋 구조에 상응하는 학습 데이터를 구성한다(S130). Next, learning data corresponding to the data set structure of the object recognition model defined for the collected image data is configured (S130).
S130 단계에서는 객체인식 모델의 학습에 필요한 이미지 데이터를 생성 및 수집한 후, 각 이미지 데이터에 포함된 주요 객체에 바운딩 박스(Bounding Box) 표기 등과 같은 처리를 통해 학습에 필요한 이미지 데이터 셋을 구성한다.In step S130, after generating and collecting image data necessary for learning the object recognition model, an image data set required for learning is configured through processing such as marking a bounding box on a main object included in each image data.
이와 같이 구성된 이미지 데이터 셋의 일 예시는 도 7a 내지 도 7c와 같다. 도 7a은 수집된 이미지 데이터를 대상으로 케라스(Keras) 객체인식 모델의 데이터 셋 구조에 상응하는 이미지 데이터 셋을 나타낸 것이고, 도 7b는 VOC 객체인식 모델의 데이터 셋 구조에 상응하는 이미지 데이터 셋을 나타낸 것이며, 도 7c는 COCO 객체인식 모델의 데이터 셋 구조에 상응하는 이미지 데이터 셋을 나타낸 것이다.An example of the image data set configured as described above is shown in FIGS. 7A to 7C . Fig. 7a shows an image data set corresponding to the data set structure of the Keras object recognition model for the collected image data, and Fig. 7b is an image data set corresponding to the data set structure of the VOC object recognition model. 7c shows an image data set corresponding to the data set structure of the COCO object recognition model.
다음으로, S130 단계에서 구성된 학습 데이터를 기반으로 객체인식 모델을 학습한다(S140). Next, an object recognition model is learned based on the training data configured in step S130 (S140).
도 8은 객체인식 모델을 학습하는 일 예시를 도시한 것으로, 수집된 이미지 데이터를 기반으로 건설 근로자의 안전모 객체인식 모델을 학습 및 테스트하는 절차를 도시한 것이다. 도 9는 건설 근로자 데이터를 기반으로 안전모 객체 인식을 테스트한 결과를 나타낸 것으로, 테스트 결과 기존 이미지 데이터로 생성한 객체인식 모델과 같이 안전모 객체인식 및 안전모의 착용 유무를 판별할 수 있다.8 shows an example of learning the object recognition model, and shows a procedure for learning and testing the hard hat object recognition model of construction workers based on the collected image data. 9 shows the results of testing the hard hat object recognition based on the construction worker data, and as a result of the test, it is possible to determine whether the hard hat object recognition and the hard hat are worn like the object recognition model created with the existing image data.
한편, 상술한 설명에서, 단계 S110 내지 단계 S140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 4 내지 도 9에 기술된 내용은 도 10의 가상환경 기반 데이터 수집 시스템(100)에도 적용된다.Meanwhile, in the above description, steps S110 to S140 may be further divided into additional steps or combined into fewer steps according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed. In addition, the contents described in FIGS. 4 to 9 are also applied to the virtual environment-based
도 10은 가상환경 기반 데이터 수집 시스템(100)의 블록도이다.10 is a block diagram of the virtual environment-based
본 발명의 일 실시예에 따른 가상환경 기반 데이터 수집 시스템(100)은 메모리(110) 및 프로세서(120)를 포함한다.The virtual environment-based
메모리(110)에는 가상환경을 기반으로 이미지 데이터를 수집하기 위한 프로그램이 저장되며, 프로세서(120)는 메모리(110)에 저장된 프로그램을 실행시킨다. A program for collecting image data based on the virtual environment is stored in the
이때, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. 예를 들어, 메모리(110)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.In this case, the
프로세서(120)는 프로그램을 실행시킴에 따라, 가상환경을 기반으로 시뮬레이션을 수행하여 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집한 후, 수집된 이미지 데이터를 대상으로 객체인식 모델의 데이터 셋 구조에 상응하는 학습 데이터를 구성하고, 학습 데이터를 기반으로 객체인식 모델을 학습한다.As the
이상에서 전술한 본 발명의 일 실시예에 따른 인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.The virtual environment-based data collection method for an AI object recognition model according to an embodiment of the present invention described above may be implemented as a program (or application) and stored in a medium to be executed in combination with a server that is hardware. .
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program is C, C++, JAVA, machine language, etc. that a processor (CPU) of the computer can read through a device interface of the computer in order for the computer to read the program and execute the methods implemented as a program It may include code (Code) coded in the computer language of Such code may include functional code related to a function defining functions necessary for executing the methods, etc. can do. In addition, the code may further include additional information necessary for the processor of the computer to execute the functions or code related to memory reference for which location (address address) in the internal or external memory of the computer should be referenced. have. In addition, when the processor of the computer needs to communicate with any other computer or server located remotely in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other computer or server remotely. It may further include a communication-related code for whether to communicate and what information or media to transmit and receive during communication.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, a cache, a memory, etc., but a medium that stores data semi-permanently and can be read by a device. Specifically, examples of the storage medium include, but are not limited to, ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. That is, the program may be stored in various recording media on various servers accessible by the computer or in various recording media on the computer of the user. In addition, the medium may be distributed in a computer system connected by a network, and computer-readable codes may be stored in a distributed manner.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of the method or algorithm described in relation to the embodiment of the present invention may be implemented directly in hardware, implemented as a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
100: 가상환경 기반 데이터 수집 시스템
110: 메모리
120: 프로세서100: virtual environment-based data collection system
110: memory
120: processor
Claims (11)
소정의 개발 대상 객체인식 모델을 정의하는 단계;
가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계;
상기 수집된 이미지 데이터를 대상으로 상기 정의된 객체인식 모델의 데이터 셋 구조에 상응하는 학습 데이터를 구성하는 단계; 및
상기 학습 데이터를 기반으로 상기 객체인식 모델을 학습하는 단계를 포함하는,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법.
In a method performed by a virtual environment-based data collection system for an artificial intelligence object recognition model,
defining a predetermined development target object recognition model;
collecting image data for learning and testing the object recognition model to be developed by performing a simulation based on a virtual environment;
constructing learning data corresponding to the data set structure of the defined object recognition model with respect to the collected image data; and
Comprising the step of learning the object recognition model based on the learning data,
A virtual environment-based data collection method for an artificial intelligence object recognition model.
상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는,
상기 가상환경에 이미지 데이터 에셋(Asset)이 존재하는 경우, 상기 이미지 데이터 에셋을 기반으로 이미지 데이터를 증강시키는 단계를 포함하는,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법.
According to claim 1,
Collecting image data for learning and testing the object recognition model to be developed by performing a simulation based on the virtual environment,
When an image data asset exists in the virtual environment, augmenting the image data based on the image data asset,
A virtual environment-based data collection method for an artificial intelligence object recognition model.
상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는,
상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 제1 이미지 데이터를 수집하는 단계; 및
상기 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 상기 제1 이미지 데이터를 포함하는 제2 이미지 데이터로 증강시키는 단계를 포함하는,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법.
According to claim 1,
Collecting image data for learning and testing of the object recognition model to be developed by performing a simulation based on the virtual environment,
collecting first image data for learning and testing the development target object recognition model by performing a simulation based on the virtual environment; and
Comprising the step of performing a simulation on the first image data in the virtual environment to augment the second image data including the first image data,
A virtual environment-based data collection method for an artificial intelligence object recognition model.
상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는,
상기 수집된 제1 이미지 데이터를 변형시키는 단계를 포함하고,
상기 제2 이미지 데이터로 증강시키는 단계는,
상기 변형된 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 제2 이미지 데이터로 증강시키는 것인,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법.
4. The method of claim 3,
Collecting image data for learning and testing the object recognition model to be developed by performing a simulation based on the virtual environment,
transforming the collected first image data;
The step of augmenting with the second image data comprises:
By performing a simulation in the virtual environment on the transformed first image data to augment the second image data,
A virtual environment-based data collection method for an artificial intelligence object recognition model.
상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집하는 단계는,
건설 근로자의 현장에 상응하는 가상환경을 기반으로 시뮬레이션을 수행하여, 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 건설 근로자 이미지 데이터를 수집하는 것인,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 방법.
According to claim 1,
Collecting image data for learning and testing the object recognition model to be developed by performing a simulation based on the virtual environment,
To collect construction worker image data for learning and testing the object recognition model to be developed by performing a simulation based on a virtual environment corresponding to the construction worker's site,
A virtual environment-based data collection method for an artificial intelligence object recognition model.
A computer program stored in a computer-readable recording medium in order to execute the virtual environment-based data collection method for the artificial intelligence object recognition model of any one of claims 1 to 5 in combination with a computer.
가상환경을 기반으로 이미지 데이터를 수집하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 이미지 데이터를 수집한 후, 상기 수집된 이미지 데이터를 대상으로 상기 정의된 객체인식 모델의 데이터 셋 구조에 상응하는 학습 데이터를 구성하고, 상기 학습 데이터를 기반으로 상기 객체인식 모델을 학습하는 것인,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 시스템.
In a virtual environment-based data collection system for an artificial intelligence object recognition model,
A memory and a program for collecting image data based on the virtual environment
Including a processor for executing the program stored in the memory,
As the processor executes the program, a simulation is performed based on the virtual environment to collect image data for learning and testing the object recognition model to be developed, and then defining the collected image data as a target Constructing learning data corresponding to the data set structure of the object recognition model, and learning the object recognition model based on the learning data,
A virtual environment-based data collection system for an artificial intelligence object recognition model.
상기 프로세서는 상기 가상환경에 이미지 데이터 에셋(Asset)이 존재하는 경우, 상기 이미지 데이터 에셋을 기반으로 이미지 데이터를 증강시키는 것인,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 시스템.
8. The method of claim 7,
When an image data asset exists in the virtual environment, the processor augments image data based on the image data asset,
A virtual environment-based data collection system for an artificial intelligence object recognition model.
상기 프로세서는 상기 가상환경을 기반으로 시뮬레이션을 수행하여 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 제1 이미지 데이터를 수집하고, 상기 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 상기 제1 이미지 데이터를 포함하는 제2 이미지 데이터로 증강시키는 것인,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 시스템.
8. The method of claim 7,
The processor collects first image data for learning and testing the object recognition model to be developed by performing a simulation based on the virtual environment, and performs a simulation in the virtual environment on the first image data. which is augmented with second image data including first image data,
A virtual environment-based data collection system for an artificial intelligence object recognition model.
상기 프로세서는 상기 수집된 제1 이미지 데이터를 변형시킨 후, 상기 변형된 제1 이미지 데이터를 대상으로 상기 가상환경에서 시뮬레이션을 수행하여 상기 제1 이미지 데이터를 포함하는 제2 이미지 데이터로 증강시키는 것인,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 시스템.
10. The method of claim 9,
After the processor transforms the collected first image data, the processor performs a simulation in the virtual environment on the transformed first image data to augment it into second image data including the first image data. ,
A virtual environment-based data collection system for an artificial intelligence object recognition model.
상기 프로세서는 건설 근로자의 현장에 상응하는 가상환경을 기반으로 시뮬레이션을 수행하여, 상기 개발 대상 객체인식 모델의 학습 및 테스트를 위한 건설 근로자 이미지 데이터를 수집하는 것인,
인공지능 객체인식 모델을 위한 가상환경 기반 데이터 수집 시스템.8. The method of claim 7,
The processor performs a simulation based on a virtual environment corresponding to the construction worker's site, and collects construction worker image data for learning and testing the object recognition model to be developed.
A virtual environment-based data collection system for an artificial intelligence object recognition model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210042145A KR102559575B1 (en) | 2021-03-31 | 2021-03-31 | Method and system for collecting virtual environment-based data for artificial intelligence object recognition model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210042145A KR102559575B1 (en) | 2021-03-31 | 2021-03-31 | Method and system for collecting virtual environment-based data for artificial intelligence object recognition model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220135890A true KR20220135890A (en) | 2022-10-07 |
| KR102559575B1 KR102559575B1 (en) | 2023-07-26 |
Family
ID=83595421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210042145A KR102559575B1 (en) | 2021-03-31 | 2021-03-31 | Method and system for collecting virtual environment-based data for artificial intelligence object recognition model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102559575B1 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101947650B1 (en) * | 2017-11-14 | 2019-05-20 | 국방과학연구소 | Apparatus and method for generating learning image in game engine-based machine learning |
| KR20190054993A (en) * | 2017-11-13 | 2019-05-22 | 한국전자통신연구원 | Learning apparatus based on game data and method for the same |
| KR101988356B1 (en) * | 2018-03-30 | 2019-09-30 | (주)대우건설 | Smart field management system through 3d digitization of construction site and analysis of virtual construction image |
| KR20200045924A (en) * | 2018-10-23 | 2020-05-06 | 디포커스 (주) | Fault cause analysis and prediction model system for safety management of construction machinery based on digital twin |
| KR20200068050A (en) * | 2018-11-26 | 2020-06-15 | 국민대학교산학협력단 | Apparatus and method for generating learning data for artificial intelligence performance |
| KR20200077257A (en) | 2018-12-20 | 2020-06-30 | 한동대학교 산학협력단 | Method and apparatus for automatically generating learning data for machine learning |
| KR20200108609A (en) * | 2019-03-11 | 2020-09-21 | 연세대학교 산학협력단 | Learning-data enhancement device for machine learning model and method for learning-data enhancement |
| US20200342652A1 (en) * | 2019-04-25 | 2020-10-29 | Lucid VR, Inc. | Generating Synthetic Image Data for Machine Learning |
-
2021
- 2021-03-31 KR KR1020210042145A patent/KR102559575B1/en active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190054993A (en) * | 2017-11-13 | 2019-05-22 | 한국전자통신연구원 | Learning apparatus based on game data and method for the same |
| KR101947650B1 (en) * | 2017-11-14 | 2019-05-20 | 국방과학연구소 | Apparatus and method for generating learning image in game engine-based machine learning |
| KR101988356B1 (en) * | 2018-03-30 | 2019-09-30 | (주)대우건설 | Smart field management system through 3d digitization of construction site and analysis of virtual construction image |
| KR20200045924A (en) * | 2018-10-23 | 2020-05-06 | 디포커스 (주) | Fault cause analysis and prediction model system for safety management of construction machinery based on digital twin |
| KR20200068050A (en) * | 2018-11-26 | 2020-06-15 | 국민대학교산학협력단 | Apparatus and method for generating learning data for artificial intelligence performance |
| KR20200077257A (en) | 2018-12-20 | 2020-06-30 | 한동대학교 산학협력단 | Method and apparatus for automatically generating learning data for machine learning |
| KR20200108609A (en) * | 2019-03-11 | 2020-09-21 | 연세대학교 산학협력단 | Learning-data enhancement device for machine learning model and method for learning-data enhancement |
| US20200342652A1 (en) * | 2019-04-25 | 2020-10-29 | Lucid VR, Inc. | Generating Synthetic Image Data for Machine Learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102559575B1 (en) | 2023-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021017998A1 (en) | Method and system for positioning text position, and method and system for training model | |
| KR102220174B1 (en) | Learning-data enhancement device for machine learning model and method for learning-data enhancement | |
| US10424341B2 (en) | Dynamic video summarization | |
| US20220172518A1 (en) | Image recognition method and apparatus, computer-readable storage medium, and electronic device | |
| US20220383649A1 (en) | System and method for facilitating graphic-recognition training of a recognition model | |
| Viraktamath et al. | Face detection and tracking using OpenCV | |
| CN105426827A (en) | Living body verification method, device and system | |
| KR101996371B1 (en) | System and method for creating caption for image and computer program for the same | |
| CN107909114B (en) | Method and apparatus for training supervised machine learning models | |
| US11809307B2 (en) | Requirements to test system and method | |
| CN111753764A (en) | Gesture recognition method of edge terminal based on attitude estimation | |
| CN113160231A (en) | Sample generation method, sample generation device and electronic equipment | |
| CN107862387B (en) | Method and apparatus for training supervised machine learning models | |
| CN113361643A (en) | Deep learning-based universal mark identification method, system, equipment and storage medium | |
| US11657568B2 (en) | Methods and systems for augmented reality tracking based on volumetric feature descriptor data | |
| KR102228085B1 (en) | Method for processing block coding for programming education | |
| KR102559575B1 (en) | Method and system for collecting virtual environment-based data for artificial intelligence object recognition model | |
| Taesiri et al. | A video game testing method utilizing deep learning | |
| KR102320262B1 (en) | Method and apparatus for estimating size of damage in the disaster affected areas | |
| JP2023020402A (en) | Electronic small blackboard generation device and electronic small background generation method | |
| Tang et al. | C-14: assured timestamps for drone videos | |
| CN113840169A (en) | Video processing method and device, computing equipment and storage medium | |
| JP2008146399A (en) | Model preparation device, model preparation method, and model preparation program | |
| KR102651673B1 (en) | Apparatus and method for providing service of safety management for disaster proevention | |
| CN117876550B (en) | Virtual digital person rendering method, system and terminal equipment based on big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |