KR101947650B1 - Apparatus and method for generating learning image in game engine-based machine learning - Google Patents

Apparatus and method for generating learning image in game engine-based machine learning Download PDF

Info

Publication number
KR101947650B1
KR101947650B1 KR1020170151750A KR20170151750A KR101947650B1 KR 101947650 B1 KR101947650 B1 KR 101947650B1 KR 1020170151750 A KR1020170151750 A KR 1020170151750A KR 20170151750 A KR20170151750 A KR 20170151750A KR 101947650 B1 KR101947650 B1 KR 101947650B1
Authority
KR
South Korea
Prior art keywords
cad
learning
cad model
module
image
Prior art date
Application number
KR1020170151750A
Other languages
Korean (ko)
Inventor
양훈민
오세윤
조성백
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020170151750A priority Critical patent/KR101947650B1/en
Application granted granted Critical
Publication of KR101947650B1 publication Critical patent/KR101947650B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/24—Fluid dynamics

Abstract

The present invention relates to an apparatus for generating a learning image of game engine-based machine learning, which generates various game-related images to increase learning performance of a machine learning process, and a method thereof. According to the present invention, the apparatus comprises: a learning data module outputting CAD-based learning data including at least one game object; a high-speed cluster computing module performing pattern learning and machine learning recognizing the game object with respect to the CAD-based learning data in accordance with a neural network model and neural network operation provided from a neural network model unit and a neural network operation framework; and a game engine application module disposed between the learning data module and the high-speed cluster computing module to detect a plurality of 3D CAD models included in the CAD-based learning data and synthesizing an environment simulation image and a data-enhanced image to the detected 3D CAD models to generate a plurality of 2D learning images used for machine learning.

Description

게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING LEARNING IMAGE IN GAME ENGINE-BASED MACHINE LEARNING} [0001] APPARATUS AND METHOD FOR GENERATING LEARNING IMAGE IN GAME ENGINE-BASED MACHINE LEARNING [0002]

본 발명은 다양한 게임 관련 이미지를 생성하여 머신 러닝 프로세스의 학습 성능을 강화할 수 있는 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for generating a machine learning learning image based on a game engine capable of enhancing learning performance of a machine learning process by generating various game related images.

일반적으로 머신 러닝(machine learning, 기계 학습)은 데이터를 기반으로 기계가 직접 학습과 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이다. In general, machine learning (machine learning) is a technology that studies and constructs a system and its algorithms that perform data learning based on data, perform learning and prediction directly, and improve their performance.

기존의 머신 러닝 시스템의 개발에 사용되는 영상분석용 딥러닝 기술의 경우는 머신 러닝에서 요구되는 학습 데이터의 요구량을 크게 상회하는 수만~수백만 장의 학습 이미지 데이터가 필요하다. Deep learning techniques for image analysis used in the development of existing machine learning systems require tens of thousands to millions of pieces of learning image data, far exceeding the required amount of learning data required for machine learning.

하지만, 실제로는 일부 공개되어있는 몇 종류의 표준 벤치마킹 데이터 세트 외에는 여러 가지 기술 외적인 요인으로 인해 대용량 학습 데이터의 확보 자체가 쉽지 않은 실정이다. 특히 전차, 항공기 등과 같은 무기체계에 관련된 학습 이미지의 경우는 분야의 특수성으로 인해 이미지의 출처가 매우 제한적이고 머신 러닝 학습용 이미지 데이터의 수집/획득에 많은 한계가 있는 실정이다.However, in reality, it is not easy to acquire large-capacity learning data due to a variety of factors other than some standard benchmarking data sets which are partially disclosed. Especially, in the case of learning images related to weapon systems such as trams and airplanes, the source of images is very limited due to the specificity of the field, and there are limitations in collecting / acquiring image data for machine learning learning.

본 발명의 목적은 이미지 출처가 매우 제한적이고 수집/획득에 많은 한계가 있는 게임 관련 이미지를 게임엔진 기반 기술에 근거하여 다양하게 생성할 수 있는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법을 제공하는데 있다. An object of the present invention is to provide an apparatus and method for generating a machine learning learning image based on a game engine capable of variously generating a game related image based on a game engine based technology, .

본 발명의 다른 목적은 게임엔진의 다양한 효과 연출 기능을 이용하여 게임 엔진 기반의 데이터 증강 기능과 가상장면 원근/움직임 기반의 데이터 증강 기능을 제공할 수 있는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법을 제공하는데 있다. Another object of the present invention is to provide a machine learning learning image generating apparatus based on a game engine capable of providing a data enhancing function based on a game engine and a data enhancing function based on a virtual scene / Method.

상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 게임엔진 기반의 머신 러닝 학습이미지 생성 장치는, 적어도 하나의 게임 객체가 포함된 CAD 기반의 학습 데이터를 출력하는 학습 데이터 모듈; 상기 CAD 기반의 학습 데이터를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 게임 객체의 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈; 및 상기 학습 데이터 모듈와 고속 클러스터 컴퓨팅 모듈사이에 구비되어, 상기 CAD 기반의 학습 데이터에 포함된 복수의 3D CAD 모델을 검출하여, 상기 검출된 복수의 3D CAD 모델에 환경 모사 이미지와 데이터 증강 이미지를 합성하여 머신 러닝에 사용될 복수의 2D 학습 이미지를 생성하는 게임 엔진 적용 모듈;을 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for generating a machine learning learning image based on a game engine, the apparatus comprising: a learning data module for outputting CAD-based learning data including at least one game object; A fast cluster computing module for performing pattern learning and machine learning for recognizing game objects according to a neural network model and a neural network operation provided by the neural network modeling unit and the neural network computing framework; And a plurality of 3D CAD models included in the CAD-based learning data, the plurality of 3D CAD models being provided between the learning data module and the high-speed cluster computing module to synthesize the environment simulated image and the data enhancement image And a game engine application module for generating a plurality of 2D learning images to be used for machine learning.

본 발명의 실시예에 따라, 상기 환경 모사 이미지는 검출된 복수의 3D CAD 모델을 둘러싸는 환경을 나타내는 환경조건 모사 이미지와, 상기 3D CAD 모델에 적용될 물리 효과 및 데이터 증강을 나타내는 물리조건 모사 이미지를 포함할 수 있다.According to an embodiment of the present invention, the environment simulation image includes an environmental condition simulation image representing an environment surrounding a plurality of detected 3D CAD models, a physical condition simulation image representing physical effects and data enhancement to be applied to the 3D CAD model, .

본 발명의 실시예에 따라, 상기 게임 엔진 적용 모듈은 환경 모사 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 환경 조건을 3D CAD 모델에 모사하며, 상기 환경 조건은 눈, 비, 안개, 구름과 같은 배경 환경을 포함할 수 있다.According to an embodiment of the present invention, the game engine application module simulates the environmental conditions selected according to the type of the 3D CAD model or the input conditions using the environment simulation function in the 3D CAD model, Rain, fog, clouds, and the like.

본 발명의 실시예에 따라, 상기 게임 엔진 적용 모듈은 상기 CAD 기반의 학습 데이터로에 포함된 게임 객체의 움직임, 크기 및 위치에 근거하여 머신 러닝에 사용될 관심 게임 객체를 분할하여 3D CAD 모델을 선정할 수 있다.According to the embodiment of the present invention, the game engine application module divides a game object to be used for machine learning based on the movement, size and position of the game object included in the CAD-based learning data, can do.

본 발명의 실시예에 따라, 상기 게임 엔진 적용 모듈은 물리효과 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 물리 조건을 3D CAD 모델에 모사하며, 상기 물리 조건은 광선, 광량, 질감을 포함할 수 있다.According to an embodiment of the present invention, the game engine application module simulates a physical condition selected in accordance with the type of each 3D CAD model or input condition using a physical effect function, into a 3D CAD model, Light amount, and texture.

본 발명의 실시예에 따라, 상기 게임 엔진 적용 모듈은 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 대하여 게임 엔진의 기반의 데이터 증강을 수행하고, 원근 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 게임 엔진의 기반의 원근과 게임 객체의 움직임을 모사할 수 있다.According to an embodiment of the present invention, the game engine application module performs data enhancement based on a game engine with respect to a combination of a 3D CAD model and environment using a data enhancement function, and performs a 3D CAD model And the environment can simulate the game engine's base perspective and the movement of game objects.

본 발명의 실시예에 따라, 상기 게임 엔진 적용 모듈은 상기 CAD 기반의 학습 데이터에 포함된 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델을 선정하는 3D CAD 모델 선정 모듈; 제1저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 환경 모사 이미지를 선정하는 환경 모사 모듈; 제2저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 가상장면 연출 기반의 증강 이미지를 선정하는 데이터 증강 모듈; 및 상기 선정된 3D CAD 모델, 환경 모사 이미지 및 증강 이미지를 합성하여 최종 2D 학습이미지를 생성하는 학습 이미지 합성 모듈;을 포함할 수 있다. According to an embodiment of the present invention, the game engine application module includes a 3D CAD model selection module for selecting a plurality of 3D CAD models according to the type of each 3D CAD model or the input conditions of the operator included in the CAD-based learning data; An environment simulation module for selecting an environment simulation image corresponding to a plurality of 3D CAD models according to the type of each 3D CAD model or the input condition of the operator from the first storage module; A data enhancement module for selecting an enhancement image based on a virtual scene rendering based on a plurality of 3D CAD models according to a type of each 3D CAD model or an input condition of an operator from a second storage module; And a learning image synthesis module for synthesizing the selected 3D CAD model, environment simulation image, and augmented image to generate a final 2D learning image.

본 발명의 실시예에 따라, 상기 3D CAD 모델 선정 모듈은 CAD 기반의 학습 데이터에 포함된 3D CAD모델의 유형을 인식하여, 각 3D CAD모델의 유형을 환경 모사 모듈과 데이터 증강 모듈로 통보할 수 있다. According to the embodiment of the present invention, the 3D CAD model selection module recognizes the type of the 3D CAD model included in the CAD-based learning data, and notifies the environment simulation module and the data enhancement module of the type of each 3D CAD model have.

상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 게임엔진 기반의 머신 러닝 학습이미지 생성 방법은, CAD 기반의 학습 데이터에 포함된 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 머신 러닝에 사용될 복수의 3D CAD모델을 선정하는 단계; 제1저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 환경 모사 이미지를 선정하는 단계; 제2저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 증강 이미지를 선정하는 단계; 및 상기 선정된 3D CAD 모델, 환경 모사 이미지 및 증강 이미지를 합성하여 복수의 2D 학습이미지를 생성하는 단계;를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of generating a machine learning learning image based on a game engine, the method comprising: generating a machine learning learning image based on a type of each 3D CAD model included in CAD- Selecting a plurality of 3D CAD models to be used for running; Selecting an environment simulation image corresponding to a plurality of 3D CAD models from the first storage module according to a type of each 3D CAD model or an input condition of an operator; Selecting an enhancement image corresponding to a plurality of 3D CAD models from the second storage module according to a type of each 3D CAD model or an input condition of an operator; And generating a plurality of 2D learning images by synthesizing the selected 3D CAD model, environment simulation image, and augmented image.

본 발명의 실시예에 따라, 상기 환경 모사 이미지는 복수의 3D CAD 모델을 둘러싸는 환경을 나타내는 환경조건 모사 이미지와, 상기 3D CAD 모델에 적용될 물리 효과 및 데이터 증강을 나타내는 물리조건 모사 이미지를 포함할 수 있다.According to an embodiment of the present invention, the environment simulated image includes an environmental condition simulated image representing an environment surrounding a plurality of 3D CAD models, and a physical condition simulated image representing physical effects and data enhancement to be applied to the 3D CAD model .

본 발명의 실시예에 따라, 상기 복수의 2D 학습이미지를 생성하는 단계는 환경 모사 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 환경 조건을 3D CAD 모델에 모사하는 단계를 포함하며, 상기 환경 조건은 눈, 비, 안개, 구름과 같은 배경 환경을 포함할 수 있다.According to an embodiment of the present invention, the step of generating the plurality of 2D learning images may include the step of simulating the environmental conditions selected according to the type of each 3D CAD model or the input condition using the environment simulation function into the 3D CAD model And the environmental conditions may include a background environment such as snow, rain, fog, and clouds.

본 발명의 실시예에 따라, 상기 복수의 2D 학습이미지를 생성하는 단계는 물리효과 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 물리 조건을 3D CAD 모델에 모사하는 단계를 포함하며, 상기 물리 조건은 광선, 광량, 질감을 포함할 수 있다.According to an embodiment of the present invention, the step of generating the plurality of 2D learning images may include the step of simulating the physical condition selected in accordance with the type of each 3D CAD model or the input condition using the physical effect function into the 3D CAD model And the physical condition may include a light ray, a light amount, and a texture.

본 발명의 실시예에 따라, 상기 복수의 2D 학습이미지를 생성하는 단계는 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 대하여 게임 엔진의 기반의 데이터 증강을 수행하는 단계; 및 원근 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 게임 엔진의 기반의 원근과 게임 객체의 움직임을 모사하는 단계를 포함할 수 있다. According to an embodiment of the present invention, the step of generating the plurality of 2D learning images includes performing data enhancement based on a game engine with respect to a combination of a 3D CAD model and environment using a data enhancement function; And a step of simulating the perspective of the base of the game engine and the movement of the game object in a combination of the 3D CAD model and environment using the perspective data enhancement function.

본 발명의 실시예에 따라, 상기 복수의 3D CAD모델을 선정하는 단계는 CAD 기반의 학습 데이터에 포함된 복수의 3D CAD모델의 유형을 인식하여, 인식된 각 3D CAD모델의 유형을 환경 모사 모듈과 데이터 증강 모듈로 통보하는 단계;를 포함할 수 있다.According to an embodiment of the present invention, the step of selecting the plurality of 3D CAD models includes recognizing the types of the plurality of 3D CAD models included in the CAD-based learning data, And a data enhancement module.

상기 실시예에 따라 본 발명은 CAD 기반의 학습 데이터로부터 관심 3D CAD 모델(e.g., 게임 객체)을 선정한 후 상기 선정된 3D CAD 모델을 둘러싸는 배경 환경에 눈/비/안개 등에 효과와 광선/질감 등을 연출하고, 크롭(crop) 등과 같은 일반 데이터증강 기능과 함께 게임엔진 기반으로 원근 또는 움직임을 모사함으로써 무수히 많은 환경과 움직임, 원근 등을 갖는 다양한 게임 관련 2D 학습 이미지를 생성할 수 있어 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습데이터 부족 문제를 해결할 수 있는 효과가 있다. According to the embodiment, the present invention selects a 3D CAD model of interest (eg, a game object) from the CAD-based learning data, and then applies the background environment surrounding the selected 3D CAD model to effects such as snow / rain / And a variety of game-related 2D learning images having a myriad of environments, motions, and perspectives can be generated by simulating perspective or motion based on a game engine together with general data augmenting functions such as cropping, It is possible to solve the problem of insufficient learning data inherent in the running process.

이에 더하여, 본 발명은 3D CAD 모델에 환경 모사 이미지와 데이터 증강 이미지를 합성하여 복수의 게임 환경 이미지를 생성할 때 다양한 게임 환경과 조건을 만들 수 있는 인터페이스를 제공함으로써 머신 러닝을 위한 보다 다양한 학습 이미지를 생성할 수 있는 효과가 있다. In addition, the present invention provides an interface for creating various game environments and conditions when composing a plurality of game environment images by synthesizing an environment simulated image and a data enhancement image on a 3D CAD model, Can be generated.

도 1은 본 발명의 실시예에 따른 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치의 블록 구성도.
도 2는 도 1에 도시된 게임 엔지 적용 모듈(130)의 상세 블록 구성도.
도 3은 본 발명의 실시예에 따른 게임엔진 기반의 머신 러닝 학습이미지 생성 장치의 동작을 나타낸 순서도.
도 4는 모사된 환경 이미지의 일 예를 나타낸ㄴ 도면.
도 5a 및 도 5b는 데이터 증강을 위한 이미지의 일 예를 나타낸 도면.
도 6은 본 발명의 실시예에 따른 게임 엔진 적용 모듈에서 머신 러닝에 사용될 다양한 게임 환경 이미지를 생성하는 일 예를 나타낸 도면.1 is a block diagram of an apparatus for generating a machine learning learning image based on a game engine according to an embodiment of the present invention;
2 is a detailed block diagram of the game engine application module 130 shown in FIG.
3 is a flowchart illustrating an operation of a game-engine-based machine learning learning image generation apparatus according to an embodiment of the present invention.
4 is a drawing showing an example of a simulated environment image.
5A and 5B are views showing an example of an image for data enhancement.
6 is a view illustrating an example of generating various game environment images to be used for machine learning in a game engine application module according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. The suffix " module " and " part " for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

그리고, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.And, the singular expressions used in the specification include plural expressions unless the context clearly indicates otherwise. In this specification, " comprises " Or " include. &Quot; Should not be construed to encompass the various components or steps described in the specification, and some of the components or portions may not be included, or may include additional components or steps And the like.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Further, in the description of the technology disclosed in this specification, a detailed description of related arts will be omitted if it is determined that the gist of the technology disclosed in this specification may be obscured.

본 발명은 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습 데이터 부족 문제를 해결하기 위해 게임 엔진 기반 기술을 적용하여 머신 러닝의 학습효율을 향상시킬 수 있는 학습 데이터 대량 생성 구조를 제공하여 다양한 학습 데이터 환경과 조건을 만들 수 있는 머신 러닝 학습이미지 생성방법 및 장치를 제안한다. The present invention provides a learning data mass generating structure that can improve the learning efficiency of machine learning by applying a game engine based technology in order to solve the lack of learning data inherent in the existing machine learning process, We propose a method and apparatus for generating a machine learning learning image that can create conditions.

도 1은 본 발명의 실시예에 따른 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치의 블록 구성도이다. 1 is a block diagram of a machine learning learning image generation apparatus based on a game engine according to an embodiment of the present invention.

도 1에 도시된 바와같이, 본 발명에 따른 머신 러닝의 학습성능 강화장치는, 학습 데이터 모듈(100), 신경망 모델부(110), 신경망 연산 프레임워크(120), 게임 엔진 적용 모듈(130), 고속 클러스터 컴퓨팅 모듈(140) 및 훈련 모델 예측부(140)를 포함한다. 1, a learning performance enhancing apparatus for learning a machine learning according to the present invention includes a learning data module 100, a neural network model unit 110, a neural network operation framework 120, a game engine application module 130, A high-speed cluster computing module 140, and a training model predicting unit 140.

상기 학습 데이터 모듈(100)은 머신 러능을 수행할 학습 데이터를 제공한다. 상기 학습 데이터는 3차원(3D) CAD 기반의 데이터일 수 있다. 상기 3차원(3D) CAD 기반의 데이터는 적어도 하나의 게임 객체를 포함할 수 있다.The learning data module 100 provides learning data for performing a machine function. The learning data may be three-dimensional (3D) CAD-based data. The three-dimensional (3D) CAD-based data may include at least one game object.

상기 신경망 모델부(110)는 기 정의된 신경망 모델을 제공할 수 있고, 상기 신경망 연산 프레임워크(120)는 학습 데이터에 대하여 머신 러닝과 예측을 수행하기 위한 신경망 연산을 제공할 수 있다. The neural network modeling unit 110 may provide a predefined neural network model and the neural network computing framework 120 may provide neural network operations to perform machine learning and prediction on the training data.

상기 게임 엔진 적용 모듈(130)은 입력된 3D CAD기반의 학습 데이터를 기초로 3D CAD 모델을 선정하고, 상기 선정된 3D CAD모델에 실제와 유사한 물리 환경을 제공하는 환경 모사 기능과 원근 및/또는 움직임을 모사하는 데이터 증강 기능을 적용하여 머신 러일을 위한 다양한 게임 관련 이미지를 생성한다. The game engine application module 130 selects a 3D CAD model based on input 3D CAD-based learning data, and performs an environment simulation function for providing a physical environment similar to an actual one to the selected 3D CAD model, A data enhancement function simulating movements is applied to create various game-related images for a machine run.

일 구현 예에서, 게임 엔진 적용 모듈(130)은 게임 엔진의 기능 중의 하나인 환경 모사 기능을 이용하여 환경 모사 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 환경 조건을 3D CAD 모델에 모사할 수 있다. 상기 환경 조건은 눈, 비, 안개, 구름과 같은 배경 환경을 포함할 수 있다. 상기 게임 엔진 적용 모듈(130)은 게임 엔진의 기능 중의 하나인 물리효과 기능을 이용하여, 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 물리 조건을 3D CAD 모델에 모사할 수 있다. 상기 물리 조건은 광선, 광량, 질감을 포함할 수 있다.In one embodiment, the game engine application module 130 uses the environment simulation function, which is one of the functions of the game engine, to determine the environmental condition selected according to the type of each 3D CAD model or the input condition, CAD model. The environmental conditions may include background conditions such as snow, rain, fog, clouds. The game engine application module 130 can simulate the physical condition selected according to the type of the 3D CAD model or the input condition using the physical effect function, which is one of the functions of the game engine, in the 3D CAD model. The physical condition may include light rays, light amount, and texture.

또한, 상기 게임 엔진 적용 모듈은 게임 엔진의 기능 중의 하나인 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 게임 엔진의 기반의 데이터 증강을 수행하고, 3D CAD 모델과 환경의 조합에 원근 데이터 증강 기능을 적용하여 게임 엔진의 기반의 원근과 게임 객체의 움직임을 모사할 수 있다. In addition, the game engine application module performs data enhancement based on a game engine on a combination of a 3D CAD model and environment by using a data enhancement function, which is one of the functions of the game engine, The enhancement function can be applied to simulate the perspective of the base of the game engine and the movement of the game object.

상기 고속 클러스터 컴퓨팅 모듈(140)은 게임 엔진 적용 모듈(130)를 통해 생성된 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여, 상기 학습 이미지에 대하여 머신 러닝을 수행할 수 있다. The fast cluster computing module 140 applies the learning image generated through the game engine application module 130 to the neural network model provided by the neural network model unit 120 and the neural network operation provided by the neural network operation framework 110, Machine learning can be performed on the learning image.

상기 훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 러닝 머신 및 예측에 기반하여 해당 학습 이미젱 대한 훈련 모델 이용 여부를 결정할 수 있다. The training-model predicting unit 150 may determine whether to use the training model for the learning im- ages based on the treadmill and prediction performed in the fast cluster computing module 140. [

도 2는 도 1에 도시된 게임 엔지 적용 모듈(130)의 상세 블록 구성도이다. 2 is a detailed block diagram of the game engine application module 130 shown in FIG.

도 2를 참조하면, 게임 엔진 적용 모듈(130)은 CAD 기반의 학습 데이터로부터 3D CAD모델을 선정하는 3D CAD 모델 선정 모듈(10)과, 물리적 환경 효과를 구현하기 위한 배경 환경(texture)를 모사하는 환경 모사 모듈(20)과, 게임 엔진의 다양한 효과 연출과 원근과 움직임 같은 동적 가상장면 연출 기반으로 데이터를 증강하는 데이터 증강 모듈(30)과, 선정된 3D CAD 모델, 모사된 3D 배경 환경 및 증강된 3D 가상 장면을 합성하여 최종 2D 학습이미지를 생성하는 학습 이미지 합성 모듈(40)로 구성된다. 2, the game engine application module 130 includes a 3D CAD model selection module 10 for selecting a 3D CAD model from CAD-based learning data and a background environment for implementing a physical environment effect A data enhancement module 30 for enhancing data based on a dynamic virtual scene rendering based on various effects of the game engine, such as perspective and motion, a 3D CAD model, a simulated 3D background environment, And a learning image synthesis module 40 for synthesizing the enhanced 3D virtual scene to generate a final 2D learning image.

상기 3D CAD 모델 선정부(10)는 입력된 조건(e.g., 특정 게임 객체)에 따라 CAD 기반의 학습 데이터로부터 복수의 3D CAD 모델(e.g.,게임 객체)을 선정하거나 임으로 CAD 기반의 학습 데이터로부터 3D CAD모델을 선정할 수 있다. 여기서 임의 선정은 CAD 기반의 학습 데에 포함된 다수의 게임 객체 중에서 임의의 게임 개체를 선정한다는 것을 나타낸다. 일부 구현에서, 임의 선정은 가장 움직임이 많은 게임 객체이거나 가장 크게 표시되는 게임 객체일 수 있다. 또한, 여기서 선정이라는 의미는 CAD 기반의 학습 데이터로부터 3D CAD 모델(e.g.,게임 객체)를 검출하거나 그 검출된 3D CAD 모델(e.g.,게임 객체)의 각도, 방향, 크기를 변형시키는 것까지도 포함할 수 있다. 이러한 선정에 관련된 파마미터는 사용자가 사용자 인터페이스상에서 선택할 수 있는 다수의 설정 메뉴의 항목으로 구성될 수 있다. The 3D CAD model selection unit 10 selects a plurality of 3D CAD models (eg, game objects) from CAD-based learning data according to input conditions (eg, a specific game object) CAD model can be selected. Here, the random selection indicates that an arbitrary game object is selected from a plurality of game objects included in the CAD-based learning object. In some implementations, the randomization may be the most mobile game object or the largest displayed game object. In addition, the term "selection" includes detecting a 3D CAD model (eg, game object) from CAD-based learning data or transforming the angle, direction and size of the detected 3D CAD model (eg, game object) . The parameters associated with this selection may consist of a number of items of setting menus that the user can select on the user interface.

상기 환경 이미지 저장 모듈(20a)은 3D CAD 모델(e.g.,게임 객체)을 둘러싸는 복수의 모사된(simulated) 환경 이미지를 저장하며, 상기 모사된 복수의 환경 이미지는 눈, 비, 안개와 같은 임의의 날씨, 광선, 질감과 같은 영상의 텍스처를 포함할 수 있다. The environment image storage module 20a stores a plurality of simulated environment images surrounding a 3D CAD model (e.g., a game object), and the simulated environment images are arbitrary images such as snow, rain, Such as the weather, rays, and texture of the image.

상기 증강 효과 저장 모듈(30a)은 3D CAD 모델(e.g.,게임 객체)에 부여되기 위한 다양한 효과와 원근과 움직임 같은 동적 가상장면을 저장할 수 있다. The enhancement effect storage module 30a may store various effects to be given to a 3D CAD model (e.g., a game object) and dynamic virtual scenes such as perspective and motion.

상기 환경 이미지 저장 모듈(20a)과 증강 효과 저장 모듈(30a)은 설명의 편의를 위하여 개별적으로 도시되었으나 이에 한정되는 것은 아니다. 즉, 하나의 메모리내에 각각 복수의 환경 이미지와 복수의 디지털 노이즈가 서로 다른 저장 영역에 저장될 수 있다. 이 경우 메모리는 도 2처럼 도시되지 않을 수도 있다.The environment image storage module 20a and the enhancement effect storage module 30a are separately shown for convenience of explanation, but are not limited thereto. That is, a plurality of environmental images and a plurality of digital noises may be stored in different storage areas, respectively, in one memory. In this case, the memory may not be shown in FIG.

환경 모사 모듈(20)과 데이터 증강 모듈(30)은 운용자가 입력한 조건에 따라 또는 3D CAD 모델 선정 모듈(10)에서 선정된 3D CAD 모델(e.g.,게임 객체)의 유형(type)에 근거하여 환경 이미지 저장 모듈(20a)과 증강 효과 저장 모듈(30a)로부터 대응되는 환경 이미지와 증강 효과 및/또는 이미지를 선정할 수 있다. 여기서 선정은 환경 이미지 저장 모듈(20a)과 증강 효과 저장 모듈(30a)에 액세스하여, 저장된 복수의 환경 이미지와 증강 효과 및/또는 증강 이미지 중에서 원하는 환경 이미지와 증강 효과 및/또는 이미지를 선택하는 것을 의미한다. The environment simulating module 20 and the data enhancing module 30 may be configured to select the 3D CAD model based on the conditions inputted by the operator or based on the type of the 3D CAD model The environment image, the enhancing effect, and / or the image corresponding to the environmental image storage module 20a and the enhancement effect storage module 30a can be selected. Here, the selection is performed by accessing the environment image storage module 20a and the enhancement effect storage module 30a to select a desired environment image and a reinforcement effect and / or an image from the stored plurality of environment images and the enhancement effect and / or enhancement image it means.

학습 이미지 합성 모듈(40)은 이미지 합성 기능을 구비하여, 선정된 3D CAD 모델(e.g.,게임 객체), 모사된 텍스처 이미지 및 가상의 증강 효과 및/또는 증강 이미지를 합성하여 최종 2D 학습이미지를 생성한다. The learning image synthesis module 40 includes an image synthesis function to generate a final 2D training image by synthesizing a selected 3D CAD model (eg, game object), a simulated texture image, and a virtual enhancement effect and / do.

이와같이 구성된 본 발명의 실시예에 따른 게임 엔진 기반의 머신 러닝 학습이미지 생성 장치의 동작을 첨부된 도면을 참조하여 설명하면 다음과 같다. 특히 본 발명의 특징은 게임 엔진 적용 모듈(130)에 있기 때문에 이를 중심으로 설명하기로 한다. The operation of the machine learning learning image generating apparatus based on the game engine according to the embodiment of the present invention will be described with reference to the accompanying drawings. Particularly, since the game engine application module 130 is a feature of the present invention, the present invention will be mainly described.

도 3은 본 발명의 실시예에 따른 게임엔진 기반의 머신 러닝 학습이미지 생성 장치의 동작을 나타낸 순서도이고, 도 4는 모사된 환경 이미지의 일 예이고, 도 5a 및 도 5b는 데이터 증강을 위한 이미지의 일 예이다.  FIG. 3 is a flowchart illustrating an operation of a game-engine-based machine learning learning image generating apparatus according to an embodiment of the present invention. FIG. 4 is an example of a simulated environment image, .

도 3을 참조하면, 게임 엔진 적용 모듈(130)은 학습 데이터 모듈(100)로부터 머신 러닝에 사용될 CAD 기반의 학습 데이터를 입력받을 수 있다. 상기 CAD 기반의 학습 데이터는 게임엔진 상에서 화면 캡처를 통해서 임의로 생성될 수 있으며, 적어도 하나 이상의 3D CAD 모델(e.g.,게임 객체)을 포함할 수 있다(S100). Referring to FIG. 3, the game engine application module 130 may receive CAD-based learning data to be used for machine learning from the learning data module 100. The CAD-based learning data may be randomly generated through a screen capture on a game engine, and may include at least one 3D CAD model (e.g., a game object) (SlOO).

게임 엔진 적용 모듈(130)은 이미지 분할 기능을 이용하여 CAD 기반의 학습 데이터로부터 러닝 머신에 사용될 적어도 하나 이상의 3D CAD 모델(e.g.,게임 객체)를 인식/분할하거나 또는 인식/분할된 D CAD 모델을 변형(각도, 방향)하여 복수의 3D CAD 모델을 선정할 수 있다(S110). The game engine application module 130 recognizes / divides at least one or more 3D CAD models (eg, game objects) to be used for a treadmill from CAD-based learning data by using an image dividing function, A plurality of 3D CAD models may be selected by transformation (angle, direction) (S110).

일 구현예에서, 게임 엔진 적용 모듈(130)의 3D CAD모델 선정 모듈(10)은 운영자가 입력한 조건(e.g., 선정될 게임 객체)에 기초하여 CAD 기반의 학습 데이터로부터 복수의 3D CAD모델을 선정할 수 있다. 여기에서, 상기 조건은 선정될 게임 객체의 유형(type)을 나타내지만, 이에 한정되지 않고 선정된 3D CAD모델의 수가 작을 경우에는 3D CAD모델에 대한 추가의 각도 및 방향을 포함할 수도 있다. 이 경우 게임 엔진 적용 모듈(130)은 사용자 선택을 위해 별도의 사용자 인터페이스(UI)를 표시하거나 복수의 선택 항목이 포함된 메뉴를 제공할 수 있다. In one embodiment, the 3D CAD model selection module 10 of the game engine application module 130 extracts a plurality of 3D CAD models from CAD-based learning data based on conditions (eg, game objects to be selected) Can be selected. Here, the condition indicates the type of the game object to be selected, but may include additional angles and directions for the 3D CAD model when the number of selected 3D CAD models is small. In this case, the game engine application module 130 may display a separate user interface (UI) for a user selection or provide a menu including a plurality of selection items.

다른 구현예에서, 게임 엔진 적용 모듈(130)의 3D CAD모델 선정 모듈(10)은 객체 인식 기법을 통해 CAD 기반의 학습 데이터로부터 머신 러닝에 사용될 복수의 3D CAD모델을 선정할 수 있다. 일 예로, 3D CAD모델 선정 모듈(10)은 학습 데이터 원본(3D CAD 모델)으로부터 게임 객체(e.g., 무기, 인물, 괴수)를 인식한 후 인식된 게임 객체의 유형(type)에 따라 각도, 원근 및 방향을 다르게 변경하여 복수의 2D 학습이미지를 생성할 수 있다. 일 예로, 3D CAD모델 선정 모듈(10)은 CAD 기반의 학습 데이터에서 가장 움직임이 많은 게임 객체 또는 가장 크게 표시되는 게임 객체 또는 화면의 중심에 배치된 게인 객체 중 하나를 3D CAD모델로 선정할 수 있으나, 이에 한정되는 것은 아니다. 즉, 게임의 유형(전략 게임, 전투 게임)에 따라 사전에 설정된 주요 3D CAD모델이 자동으로 선정될 수도 있다. In another embodiment, the 3D CAD model selection module 10 of the game engine application module 130 can select a plurality of 3D CAD models to be used for machine learning from CAD-based learning data through the object recognition technique. For example, the 3D CAD model selection module 10 recognizes game objects (eg, weapons, characters, monsters) from a learning data source (3D CAD model) And a plurality of 2D learning images can be generated by changing the directions differently. For example, the 3D CAD model selection module 10 can select one of the game objects with the highest motion among the CAD-based learning data, the game object with the widest display, or the gain object disposed at the center of the screen as a 3D CAD model However, the present invention is not limited thereto. That is, a predetermined 3D CAD model set in advance may be automatically selected according to the type of game (strategy game, battle game).

게임 엔진 적용 모듈(130)은 이미지 선정 기능을 이용하여 3D CAD 모델 선정부(10)에서 선정된 복수의 3D CAD모델에 적용될 적어도 하나 이상의 텍스처 이미지 및 가상의 증강 효과 및/또는 증강 이미지를 선정할 수 있다(S120, S130). 상기 선정은 저장 매체(e.g., 저장 모듈)에 저장된 복수의 텍스처 이미지 및 가상의 증강 효과 및/또는 증강 이미지 중에서 선정된 3D CAD모델에 매칭되는 적어도 하나의 이미지를 선정하는 것을 의미한다. The game engine application module 130 selects at least one texture image and a virtual enhancement effect and / or augmentation image to be applied to the plurality of 3D CAD models selected by the 3D CAD model selection section 10 using the image selection function (S120, S130). The selection means selecting at least one image that matches a predetermined 3D CAD model among a plurality of texture images stored in a storage medium (e.g., storage module) and a virtual enhancement effect and / or augmentation image.

일 실시예로, 환경 모사 모듈(20)은 3D CAD 모델 선정부(20)로부터 입력된 게임 객체의 유형 정보(e.g., 전차)에 기초하여 해당 게임 객체에 관련된 적어도 하나 이상의 환경 이미지를 환경 이미지 저장 모듈(20a)로부터 선정할 수 있다. 상기 환경 이미지는 도 4에 도시된 바와같이, 환경 조건(e.g., 눈, 비, 안개, 구름 등) 모사 이미지와 물리 조건(e.g., 광선, 광량, 질감) 모사 이미지를 포함할 수 있다. 또한, 데이터 증강 모듈(30)은 3D CAD 모델 선정부(20)로부터 입력된 게임 객체의 유형 정보(e.g., 전차)에 기초하여, 도 5a 및 도 5b에 도시된 바와같이, 해당 게임 객체에 관련된 적어도 하나 이상의 게임 엔진 기반의 데이타 증강 이미지와 및/또는 가상 장면 원근/움직임 기반의 증강 이미지를 선정할 수 있다. In one embodiment, the environment simulation module 20 stores at least one environmental image related to the game object on the basis of the type information (e.g., tram) of the game object inputted from the 3D CAD model selection section 20, Can be selected from the module 20a. The environmental image may include simulated images of environmental conditions (e.g., snow, rain, fog, clouds, etc.) and physical conditions (e.g., light, light, texture), as shown in FIG. 5A and 5B, the data augmenting module 30 may be configured to generate a 3D CAD model based on the type information (eg, tram) of the game object input from the 3D CAD model selecting unit 20, At least one game engine based data augmented image and / or a virtual scene perspective / motion based augmented image may be selected.

따라서, 게임 엔진 적용 모듈(130)은 이미지 합성 기능을 이용하여, 상기 선정된 복수의 3D CAD 모델(e.g.,게임 객체)에 상기 선정된 게임 엔진 기반의 환경 이미지, 데이타 증강 이미지 및/또는 가상 장면 원근/움직임 기반의 증강 이미지를 합성하여 다양한 2D 게임 환경 이미지를 생성할 수 있다(S140). 상기 생성된 다양한 2D 게임 환경 이미지는 도 1의 후단부(140), 150)로 제공되어 머신 러닝에 사용된다. Accordingly, the game engine application module 130 can use the image synthesis function to add the selected game engine-based environment image, data enhancement image, and / or virtual scene (s) to the selected plurality of 3D CAD models A variety of 2D game environment images can be generated by synthesizing the perspective / motion based enhancement images (S140). The generated various 2D game environment images are provided to the rear end 140, 150 of FIG. 1 and used for machine learning.

도 6은 본 발명의 실시예에 따른 게임 엔진 적용 모듈에서 머신 러닝에 사용될 다양한 게임 환경 이미지를 생성하는 일 예를 나타낸다. FIG. 6 shows an example of generating various game environment images to be used for machine learning in the game engine application module according to the embodiment of the present invention.

도 6을 참조하면, 게임 엔진 적용 모듈(130)의 학습 이미지 합성 모듈(40)은 이미지 합성 기능을 이용하여, 상기 선정된 복수의 3D CAD 모델(e.g.,게임 객체)에 상기 선정된 복수의 2D학습 이미지와 적어도 하나 이상의 환경(texture) 모사 이미지 및 데이터 증강 이미지를 합성하여 다양한 2D학습 이미지를 생성한다. 6, the learning image synthesis module 40 of the game engine application module 130 generates a plurality of selected 2D (3D) CAD models (eg, game objects) using the image compositing function The learning image is combined with at least one or more texture simulated images and data enhancement images to generate various 2D training images.

즉, 학습 이미지 합성 모듈(40)은 3D CAD 모델과 환경(texture) 모사 이미지 합성(조합)을 통해 3D CAD 모델을 둘러싸는 배경 환경에 눈/비/안개 등에 효과를 연출하고, 3D CAD 모델과 배경의 합성에서 광선/질감 등을 더 모사하여, 실제 환경과 유사하게 모의된 물리환경 효과를 구현한다. 또한, 학습 이미지 합성 모듈(40)은 크롭(crop) 등과 같은 일반 데이터증강 기능과 함께 게임엔진 기반으로 원근 또는 움직임을 모사하여 다양한 상황이 연출 가능하도록 한다. 따라서 무수히 많은 환경과 움직임, 원근 등을 통하여 무수히 많은 상황을 연출할 수 있고, 게임엔진 상에서 화면 캡처를 통해서 무수히 많은 학습 이미지를 생성한다. 학습이미지 합성 모듈은 3D 상황에서 2D 이미지를 캡처하여 학습이미지를 생성하는 기능을 수행한다. 즉, 학습 이미지 합성 모듈(40)은 3D 상황에서 2D이미지를 캡처하여 학습 이미지를 생성하는 기능을 수행한다. In other words, the learning image synthesis module 40 effects effects on the background environment surrounding the 3D CAD model such as snow / rain / fog through the 3D CAD model and texture simulated image synthesis (combination) In the synthesis of the background, the light / texture and so on are further simulated, and simulated physical environment effects are realized similar to the actual environment. In addition, the learning image synthesis module 40 can simulate a perspective or a motion based on a game engine together with a general data enhancement function such as a crop to enable various situations to be produced. Therefore, it can produce countless situations through myriad environments, movements, and perspectives, and generates a large number of learning images through screen capturing on the game engine. The learning image synthesis module performs the function of capturing a 2D image in a 3D situation and generating a learning image. That is, the learning image synthesis module 40 performs a function of capturing a 2D image in a 3D situation to generate a learning image.

이후 고속 클러스터 컴퓨팅 모듈(140)은 게임 엔진 적용 모듈(130)를 통해 생성된 다양한 게임 학습 이미지를 신경망 모델부(120)에서 제공된 신경망 모델 및 신경망 연산 프레임워크(110)에서 제공된 신경망 연산에 적용하여 머신 러닝을 수행한다. 즉, 고속 클러스터 컴퓨팅 모듈(140)은 게임 엔진 적ㄹ용 모델(130)에서 생성된 다양한 게임 관련 2D학습이미지로부터 게임 객체 인식에 필요한 특징을 추출하고, 신경 모델부(110)에서 제공된 신경망 모델과 신경망 연산 프레임워크(120)에서 제공된 신경망 연산을 이용하여 상기 추출된 특징에 대해 패턴 학습을 수행한다. 이후 훈련 모델 예측부(150)는 고속 클러스터 컴퓨팅 모듈(140)에서 수행된 패턴 학습 결과를 이용하여 게임 객체를 판별하고, 해당 학습 이미지 대한 훈련 모델 적용 여부를 결정할 수 있다. The high speed cluster computing module 140 applies various game learning images generated through the game engine application module 130 to the neural network model provided by the neural network model unit 120 and the neural network operation provided by the neural network operation framework 110 Perform machine learning. That is, the high-speed cluster computing module 140 extracts features necessary for game object recognition from the various game-related 2D learning images generated in the game engine simulation model 130, and generates a neural network model provided from the neural model unit 110 And performs pattern learning on the extracted feature using the neural network operation provided by the neural network operation framework 120. [ Thereafter, the training model predicting unit 150 can determine the game object using the pattern learning result performed by the high-speed cluster computing module 140, and determine whether to apply the training model to the learning image.

상술한 바와같이 본 발명은 CAD 기반의 학습 데이터로부터 관심 3D CAD 모델(e.g., 게임 객체)을 선정한 후 상기 선정된 3D CAD 모델을 둘러싸는 배경 환경에 눈/비/안개 등에 효과와 광선/질감 등을 연출하고, 크롭(crop) 등과 같은 일반 데이터증강 기능과 함께 게임엔진 기반으로 원근 또는 움직임을 모사함으로써 무수히 많은 환경과 움직임, 원근 등을 갖는 다양한 게임 관련 2D 학습 이미지를 생성할 수 있어 기존 머신 러닝 프로세스가 내재적으로 갖고 있는 학습데이터 부족 문제를 해결할 수 있는 장점이 있다. As described above, the present invention selects a 3D CAD model of interest (eg, a game object) from the CAD-based learning data, and then displays the background environment surrounding the selected 3D CAD model with effects such as snow / rain / And can generate various game related 2D learning images having countless environments, movements, and perspectives by simulating perspective or motion based on game engine together with general data augmenting function such as cropping, There is an advantage that the problem of lack of learning data inherent in the process can be solved.

또한, 본 발명은 3D CAD 모델에 환경 모사 이미지와 데이터 증강 이미지를 합성하여 복수의 게임 환경 이미지를 생성할 때 다양한 게임 환경과 조건을 만들 수 있는 인터페이스를 제공함으로써 머신 러닝을 위한 보다 다양한 학습 이미지를 생성할 수 있는 효과가 있다. In addition, the present invention provides an interface for creating various game environments and conditions when composing a plurality of game environment images by synthesizing an environment simulated image and a data enhancement image on a 3D CAD model, thereby providing a more diverse learning image for machine learning There is an effect that can be generated.

상술한 본 발명에 따른 게임엔진 기반의 머신 러닝 학습이미지 생성 장치 및 방법은 상기 설명된 실시예들에 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. The apparatus and method for generating a machine learning learning image based on the game engine according to the present invention can be applied to the embodiments described above, but the embodiments can be applied to other specific embodiments without changing their technical ideas or essential features It will be understood that the invention may be practiced otherwise than as described. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive.

10 : 3D CAD 모델 선정부 20 : 환경 모사 모듈
20a : 환경 이미지 저장 모듈 30 : 데이터 증강 모듈
30a : 증강 효과 저장 모듈 40 : 학습 이미지 합성 모듈
100 : 학습 데이터 모듈 110 : 신경망 모델부
120 : 신경망 연산 프레임 워크 130 : 게임 엔진 적용 모듈
140 : 고속 클러스터 컴퓨팅 모듈 150 : 훈련 모델 예측부 10: 3D CAD model selection section 20: Environment simulation module
20a: environment image storage module 30: data enhancement module
30a: Strengthening effect storage module 40: Learning image synthesis module
100: learning data module 110: neural network model part
120: Neural network operation framework 130: Game engine application module
140: high-speed cluster computing module 150: training model prediction unit

Claims (14)

적어도 하나의 게임 객체가 포함된 CAD 기반의 학습 데이터를 출력하는 학습 데이터 모듈;
상기 CAD 기반의 학습 데이터를 신경망 모델부 및 신경망 연산 프레임워크에서 제공된 신경망 모델 및 신경망 연산에 따라 패턴 학습 및 게임 객체를 인식하는 머신 러닝을 수행하는 고속 클러스터 컴퓨팅 모듈; 및
상기 학습 데이터 모듈과 고속 클러스터 컴퓨팅 모듈사이에 구비되어, 상기 CAD 기반의 학습 데이터에 포함된 복수의 3D CAD 모델을 검출하여, 상기 검출된 복수의 3D CAD 모델에 환경 모사 이미지와 데이터 증강 이미지를 합성하여 머신 러닝에 사용될 복수의 2D 학습 이미지를 생성하는 게임 엔진 적용 모듈;을 포함하고,
상기 게임 엔진 적용 모듈은
상기 CAD 기반의 학습 데이터에 포함된 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델을 선정하는 3D CAD 모델 선정 모듈을 포함하고,
상기 3D CAD 모델 선정 모듈은,
상기 CAD 기반의 학습 데이터로부터 상기 게임 객체를 인식한 후 상기 게임 객체의 유형에 따라 각도, 원근 및 방향을 다르게 변경하여 상기 복수의 2D 학습 이미지를 생성하고,
상기 CAD 기반의 학습 데이터에서 가장 움직임이 많은 게임 객체를 상기 3D CAD 모델로 선정하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치.A learning data module for outputting CAD-based learning data including at least one game object;
A fast cluster computing module for performing pattern learning and machine learning for recognizing game objects according to a neural network model and a neural network operation provided by the neural network modeling unit and the neural network computing framework; And
A plurality of 3D CAD models included in the CAD-based learning data are detected between the learning data module and the high-speed cluster computing module, and the environment simulation image and the data enhancement image are synthesized And a game engine application module for generating a plurality of 2D learning images to be used for machine learning,
The game engine application module
A 3D CAD model selecting module for selecting a plurality of 3D CAD models according to the type of each 3D CAD model included in the CAD-based learning data or the input condition of the operator,
The 3D CAD model selection module includes:
And generating the plurality of 2D learning images by differently changing an angle, a perspective and a direction according to the type of the game object after recognizing the game object from the CAD-based learning data,
And selecting a game object having the most movement from the CAD-based learning data as the 3D CAD model. 제1항에 있어서, 상기 환경 모사 이미지는
검출된 복수의 3D CAD 모델을 둘러싸는 환경을 나타내는 환경조건 모사 이미지와, 상기 3D CAD 모델에 적용될 물리 효과 및 데이터 증강을 나타내는 물리조건 모사 이미지를 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치. 2. The method of claim 1,
An environment condition simulation image representing an environment surrounding a plurality of detected 3D CAD models, and a physical condition simulation image representing a physical effect and data enhancement to be applied to the 3D CAD model. Image generating device. 제1항에 있어서, 상기 게임 엔진 적용 모듈은
환경 모사 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 환경 조건을 3D CAD 모델에 모사하며,
상기 환경 조건은 눈, 비, 안개, 구름과 같은 배경 환경을 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치. The method of claim 1, wherein the game engine application module
Using the environmental simulation function, the selected environmental conditions are simulated on the 3D CAD model according to the type of each 3D CAD model or inputted conditions,
Wherein the environmental condition includes a background environment such as an eye, a rain, a mist, and a cloud. 제3항에 있어서, 상기 게임 엔진 적용 모듈은
상기 CAD 기반의 학습 데이터에 포함된 게임 객체의 움직임, 크기 및 위치에 근거하여 머신 러닝에 사용될 관심 게임 객체를 분할하여 3D CAD 모델을 선정하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치. 4. The method of claim 3, wherein the game engine application module
Based on the movement, size, and position of the game object included in the CAD-based learning data, a 3D CAD model is selected by dividing an interested game object to be used for machine learning, . 제1항에 있어서, 상기 게임 엔진 적용 모듈은
물리효과 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 물리 조건을 3D CAD 모델에 모사하며,
상기 물리 조건은 광선, 광량, 질감을 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치. The method of claim 1, wherein the game engine application module
The physics effect function is used to simulate the selected physical conditions in 3D CAD model according to the type of each 3D CAD model or input condition,
Wherein the physical condition includes a light ray, a light amount, and a texture. 제1항에 있어서, 상기 게임 엔진 적용 모듈은
(a) 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 대하여 게임 엔진의 기반의 데이터 증강을 수행하고,
(b) 원근 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 게임 엔진의 기반의 원근과 게임 객체의 움직임을 모사하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치. The method of claim 1, wherein the game engine application module
(a) Data enhancement based on the game engine is performed for a combination of the 3D CAD model and environment using the data enhancement function,
(b) a game engine based machine learning learning image generation device characterized by simulating the perspective of the game engine and the movement of the game object in a combination of a 3D CAD model and environment using a perspective data enhancement function. 제1항에 있어서, 상기 게임 엔진 적용 모듈은
제1저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 환경 모사 이미지를 선정하는 환경 모사 모듈;
제2저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 가상장면 연출 기반의 증강 이미지를 선정하는 데이터 증강 모듈; 및
상기 선정된 3D CAD 모델, 환경 모사 이미지 및 증강 이미지를 합성하여 최종 2D 학습이미지를 생성하는 학습 이미지 합성 모듈;을 더 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치. The method of claim 1, wherein the game engine application module
An environment simulation module for selecting an environment simulation image corresponding to a plurality of 3D CAD models according to the type of each 3D CAD model or the input condition of the operator from the first storage module;
A data enhancement module for selecting an enhancement image based on a virtual scene rendering based on a plurality of 3D CAD models according to a type of each 3D CAD model or an input condition of an operator from a second storage module; And
And a learning image synthesis module for synthesizing the selected 3D CAD model, environment simulation image, and augmented image to generate a final 2D learning image. 제7항에 있어서, 상기 3D CAD 모델 선정 모듈은
상기 CAD 기반의 학습 데이터에 포함된 3D CAD모델의 유형을 인식하여, 각 3D CAD모델의 유형을 환경 모사 모듈과 데이터 증강 모듈로 통보하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 장치. The method of claim 7, wherein the 3D CAD model selection module
Wherein the type of the 3D CAD model included in the CAD-based learning data is recognized and the type of each 3D CAD model is notified to the environment simulation module and the data enhancement module. CAD 기반의 학습 데이터에 포함된 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 머신 러닝에 사용될 복수의 3D CAD모델을 선정하는 단계;
제1저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 환경 모사 이미지를 선정하는 단계;
제2저장모듈로부터 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델에 대응되는 증강 이미지를 선정하는 단계; 및
상기 선정된 3D CAD 모델, 환경 모사 이미지 및 증강 이미지를 합성하여 복수의 2D 학습이미지를 생성하는 단계;를 포함하고,
상기 3D CAD모델을 선정하는 단계는,
상기 CAD 기반의 학습 데이터에 포함된 각 3D CAD모델의 유형 또는 운영자의 입력 조건에 따라 복수의 3D CAD모델을 선정하고,
상기 복수의 2D 학습이미지를 생성하는 단계는,
상기 CAD 기반의 학습 데이터로부터 게임 객체를 인식한 후 상기 게임 객체의 유형에 따라 각도, 원근 및 방향을 다르게 변경하여 상기 복수의 2D 학습이미지를 생성하고,
상기 CAD 기반의 학습 데이터에서 가장 움직임이 많은 게임 객체를 상기 3D CAD 모델로 선정하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 방법. Selecting a plurality of 3D CAD models to be used for machine learning according to a type of each 3D CAD model included in CAD-based learning data or an input condition of an operator;
Selecting an environment simulation image corresponding to a plurality of 3D CAD models from the first storage module according to a type of each 3D CAD model or an input condition of an operator;
Selecting an enhancement image corresponding to a plurality of 3D CAD models from the second storage module according to a type of each 3D CAD model or an input condition of an operator; And
And generating a plurality of 2D learning images by synthesizing the selected 3D CAD model, environment simulation image, and augmented image,
The step of selecting the 3D CAD model includes:
A plurality of 3D CAD models are selected according to the type of each 3D CAD model included in the CAD-based learning data or the operator's input condition,
Wherein the generating the plurality of 2D learning images comprises:
And generating the plurality of 2D learning images by changing the angle, perspective, and direction differently according to the type of the game object after recognizing the game object from the CAD-based learning data,
And selecting a game object having the most movement in the CAD-based learning data as the 3D CAD model. 제9항에 있어서, 상기 환경 모사 이미지는
복수의 3D CAD 모델을 둘러싸는 환경을 나타내는 환경조건 모사 이미지와, 상기 3D CAD 모델에 적용될 물리 효과 및 데이터 증강을 나타내는 물리조건 모사 이미지를 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 방법. 10. The method of claim 9, wherein the environment simulation image
An environment condition simulation image representing an environment surrounding a plurality of 3D CAD models, and a physical condition simulation image representing physical effects and data enhancement to be applied to the 3D CAD model. Way. 제9항에 있어서, 상기 복수의 2D 학습이미지를 생성하는 단계는
환경 모사 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 환경 조건을 3D CAD 모델에 모사하는 단계를 포함하며,
상기 환경 조건은 눈, 비, 안개, 구름과 같은 배경 환경을 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 방법. 10. The method of claim 9, wherein generating the plurality of 2D learning images comprises:
And a step of simulating the selected environmental condition according to the type of each 3D CAD model or the input condition using the environment simulation function into the 3D CAD model,
Wherein the environmental condition includes a background environment such as an eye, a rain, a mist, and a cloud. 제9항에 있어서, 상기 복수의 2D 학습이미지를 생성하는 단계는
물리효과 기능을 이용하여 각 3D CAD 모델의 유형 또는 입력된 조건에 따라 선정된 물리 조건을 3D CAD 모델에 모사하는 단계를 포함하며,
상기 물리 조건은 광선, 광량, 질감을 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 방법. 10. The method of claim 9, wherein generating the plurality of 2D learning images comprises:
And a step of simulating the selected physical condition in the 3D CAD model according to the type of each 3D CAD model or the inputted condition using the physical effect function,
Wherein the physical condition includes a light ray, a light amount, and a texture. 제9항에 있어서, 상기 복수의 2D 학습이미지를 생성하는 단계는
데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 대하여 게임 엔진의 기반의 데이터 증강을 수행하는 단계; 및
원근 데이터 증강 기능을 이용하여 3D CAD 모델과 환경의 조합에 게임 엔진의 기반의 원근과 게임 객체의 움직임을 모사하는 단계를 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 방법. 10. The method of claim 9, wherein generating the plurality of 2D learning images comprises:
Performing data enhancement based on a game engine with respect to a combination of a 3D CAD model and environment using a data enhancement function; And
And a step of simulating the perspective of the base of the game engine and the motion of the game object in a combination of the 3D CAD model and environment using the perspective data enhancement function. 제9항에 있어서, 상기 복수의 3D CAD모델을 선정하는 단계는
상기 CAD 기반의 학습 데이터에 포함된 복수의 3D CAD모델의 유형을 인식하여, 인식된 각 3D CAD모델의 유형을 환경 모사 모듈과 데이터 증강 모듈로 통보하는 단계;를 포함하는 것을 특징으로 하는 게임엔진 기반의 머신 러닝 학습이미지 생성 방법. The method as claimed in claim 9, wherein the step of selecting the plurality of 3D CAD models
Recognizing the types of the plurality of 3D CAD models included in the CAD-based learning data, and notifying the types of the recognized 3D CAD models to the environment simulation module and the data augmentation module. Based learning method.
KR1020170151750A 2017-11-14 2017-11-14 Apparatus and method for generating learning image in game engine-based machine learning KR101947650B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170151750A KR101947650B1 (en) 2017-11-14 2017-11-14 Apparatus and method for generating learning image in game engine-based machine learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170151750A KR101947650B1 (en) 2017-11-14 2017-11-14 Apparatus and method for generating learning image in game engine-based machine learning

Publications (1)

Publication Number Publication Date
KR101947650B1 true KR101947650B1 (en) 2019-05-20

Family

ID=66678554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170151750A KR101947650B1 (en) 2017-11-14 2017-11-14 Apparatus and method for generating learning image in game engine-based machine learning

Country Status (1)

Country Link
KR (1) KR101947650B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110180186A (en) * 2019-05-28 2019-08-30 北京奇思妙想信息技术有限公司 A kind of topographic map conversion method and system
KR20200133555A (en) * 2019-05-20 2020-11-30 넷마블 주식회사 Method for collecting data for machine learning
WO2021057186A1 (en) * 2019-09-24 2021-04-01 华为技术有限公司 Neural network training method, data processing method, and related apparatuses
KR102323413B1 (en) * 2020-05-12 2021-11-09 광주과학기술원 Method for estimating pose of camera
KR20220115742A (en) * 2021-02-10 2022-08-18 한국기술교육대학교 산학협력단 Method and system of generating data for machine learning training
KR102445556B1 (en) * 2021-06-10 2022-09-21 주식회사 에이투마인드 Method of generating virtual data and device of generating thereof
KR20220135362A (en) 2021-03-30 2022-10-07 주식회사 블루젠트 Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving
KR20220135890A (en) * 2021-03-31 2022-10-07 한국전자기술연구원 Method and system for collecting virtual environment-based data for artificial intelligence object recognition model
KR20230141302A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent for recognizing object in virtual space
KR20230141303A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent by forming environment in virtual space
KR20230142198A (en) 2022-04-01 2023-10-11 주식회사 비솔 System for creating background data for artificial intelligent by patterning for object in virtual space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150068088A (en) * 2013-12-11 2015-06-19 류지혁 augmented reality service system for providing 3D model
WO2016157499A1 (en) * 2015-04-02 2016-10-06 株式会社日立製作所 Image processing apparatus, object detection apparatus, and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150068088A (en) * 2013-12-11 2015-06-19 류지혁 augmented reality service system for providing 3D model
WO2016157499A1 (en) * 2015-04-02 2016-10-06 株式会社日立製作所 Image processing apparatus, object detection apparatus, and image processing method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200133555A (en) * 2019-05-20 2020-11-30 넷마블 주식회사 Method for collecting data for machine learning
KR102199467B1 (en) * 2019-05-20 2021-01-07 넷마블 주식회사 Method for collecting data for machine learning
CN110180186A (en) * 2019-05-28 2019-08-30 北京奇思妙想信息技术有限公司 A kind of topographic map conversion method and system
WO2021057186A1 (en) * 2019-09-24 2021-04-01 华为技术有限公司 Neural network training method, data processing method, and related apparatuses
KR102323413B1 (en) * 2020-05-12 2021-11-09 광주과학기술원 Method for estimating pose of camera
KR102556642B1 (en) * 2021-02-10 2023-07-18 한국기술교육대학교 산학협력단 Method of generating data for machine learning training
KR20220115742A (en) * 2021-02-10 2022-08-18 한국기술교육대학교 산학협력단 Method and system of generating data for machine learning training
KR20220135362A (en) 2021-03-30 2022-10-07 주식회사 블루젠트 Devices and methods for collecting datasets required for learning of an End-to-End deep learning network to implement autonomous driving
KR20220135890A (en) * 2021-03-31 2022-10-07 한국전자기술연구원 Method and system for collecting virtual environment-based data for artificial intelligence object recognition model
KR102559575B1 (en) 2021-03-31 2023-07-26 한국전자기술연구원 Method and system for collecting virtual environment-based data for artificial intelligence object recognition model
KR102445556B1 (en) * 2021-06-10 2022-09-21 주식회사 에이투마인드 Method of generating virtual data and device of generating thereof
KR20230141302A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent for recognizing object in virtual space
KR20230141303A (en) 2022-03-31 2023-10-10 주식회사 비솔 System for creating background data for artificial intelligent by forming environment in virtual space
KR20230142198A (en) 2022-04-01 2023-10-11 주식회사 비솔 System for creating background data for artificial intelligent by patterning for object in virtual space

Similar Documents

Publication Publication Date Title
KR101947650B1 (en) Apparatus and method for generating learning image in game engine-based machine learning
KR101145260B1 (en) Apparatus and method for mapping textures to object model
Montero et al. Designing and implementing interactive and realistic augmented reality experiences
KR20190054782A (en) Apparatus and method for enhancing learning capacility for machine learning
JP7425196B2 (en) hybrid streaming
CN108043027B (en) Storage medium, electronic device, game screen display method and device
CN112712582B (en) Dynamic global illumination method, electronic device and computer readable storage medium
CN112884860B (en) Water surface ripple effect generation method and device, electronic equipment and storage medium
US11625882B2 (en) Method for simulating fluids interacting with submerged porous materials
US20180158231A1 (en) Virtual Environment Rendering
US20230025285A1 (en) Method for Generating Simulations of Fluid Interfaces for Improved Animation of Fluid Interactions
Paulin et al. Review and analysis of synthetic dataset generation methods and techniques for application in computer vision
WO2014170757A2 (en) 3d rendering for training computer vision recognition
CN115115752A (en) Virtual garment deformation prediction method and device, storage medium and electronic equipment
US20140306953A1 (en) 3D Rendering for Training Computer Vision Recognition
CN116958344A (en) Animation generation method and device for virtual image, computer equipment and storage medium
Zhang et al. A Realistic AI Avatar Generation Method Combining GAN, Unity and Kinect Techniques
CA3143520C (en) Method of computing simulated surfaces for animation generation and other purposes
Barut et al. Perceptual evaluation of maneuvering motion illusion for virtual pedestrians
CN117372602B (en) Heterogeneous three-dimensional multi-object fusion rendering method, equipment and system
Tian et al. Research on Visual Design of Computer 3D Simulation Special Effects Technology in the Shaping of Sci-Fi Animation Characters
Braun et al. Crowdvis: a framework for real time crowd visualization
Sukwinya The Reduction of 3D Model Polygon by Applying Imposter Technique to Optimize Real-time Rendering of Metaverse in Hubs and Spoke by Mozilla
Montero Montes et al. Designing and implementing interactive and realistic augmented reality experiences
Puig-Centelles et al. Multiresolution techniques for rain rendering in virtual environments

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant