KR102257039B1 - Machine learning system based on distributed data processing - Google Patents

Machine learning system based on distributed data processing Download PDF

Info

Publication number
KR102257039B1
KR102257039B1 KR1020190112483A KR20190112483A KR102257039B1 KR 102257039 B1 KR102257039 B1 KR 102257039B1 KR 1020190112483 A KR1020190112483 A KR 1020190112483A KR 20190112483 A KR20190112483 A KR 20190112483A KR 102257039 B1 KR102257039 B1 KR 102257039B1
Authority
KR
South Korea
Prior art keywords
machine learning
head
hmd
distributed
unit
Prior art date
Application number
KR1020190112483A
Other languages
Korean (ko)
Other versions
KR20210030827A (en
Inventor
최치원
배영헌
정희재
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190112483A priority Critical patent/KR102257039B1/en
Publication of KR20210030827A publication Critical patent/KR20210030827A/en
Application granted granted Critical
Publication of KR102257039B1 publication Critical patent/KR102257039B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 분산처리 기반의 HMD용 머신러닝 시스템에 관한 것으로서, 보다 구체적으로는 분산처리 기반의 HMD용 머신러닝 시스템으로서, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며, 상기 머리 착용형 디스플레이 장치는, 다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색하는 검색부; 상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당하는 할당부; 및 상기 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행하는 분산 학습부를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 분산처리 기반의 HMD용 머신러닝 시스템에 관한 것으로서, 보다 구체적으로는 상기 분산처리 기반의 HMD용 머신러닝 시스템은, 마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치를 포함하는 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며, 상기 마스터 HMD 장치는, 다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치를 검색하는 검색부; 및 상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치에 할당하는 할당부를 포함하고, 상기 슬레이브 HMD 장치는, 다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 및 상기 마스터 HMD 장치의 할당부에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부를 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 분산처리 기반의 HMD용 머신러닝 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있다.The present invention relates to a machine learning system for HMD based on distributed processing, and more specifically, as a machine learning system for HMD based on distributed processing, consisting of a plurality of head-worn display devices, and a head-worn display device in an idle state. Processing distributed machine learning by, the head-worn display device includes: an input/output unit for transmitting and receiving information to and from another head-worn display device; A search unit that searches for idle devices that can be used for distributed machine learning using state information of other head-worn display devices; An allocation unit that allocates a task for distributed processing of machine learning to each idle device according to the search result of the search unit; And a distributed learning unit that performs machine learning data learning in response to the assigned task.
In addition, the present invention relates to a machine learning system for HMD based on distributed processing, and more specifically, the machine learning system for HMD based on distributed processing includes a master HMD (Head-Mounted Display) device and a slave HMD device. Consisting of a plurality of head-worn display devices, processing distributed machine learning by a head-worn display device in an idle state, and the master HMD device includes: an input/output unit for transmitting and receiving information to and from other head-worn display devices; A search unit that searches for a slave HMD device, which is an idle device usable for distributed machine learning, using state information of another head-worn display device; And an allocation unit for allocating a task for distributed processing of machine learning to each slave HMD device according to a search result of the search unit, wherein the slave HMD device includes: an input/output unit for transmitting and receiving information to and from another head-worn display device; And a distributed learning unit that performs machine learning learning in response to a task assigned by the assignment unit of the master HMD device.
According to the machine learning system for HMD based on distributed processing proposed in the present invention, it consists of a plurality of head-worn display devices, searches for a head-worn display device in an idle state, and assigns a task to the found idle device, By distributing machine learning data learning, even in situations where communication with an external server is not smooth, machine learning learning can be performed using nearby head-worn display devices. Machine learning learning can be efficiently processed using idle devices without burdening them.

Description

분산처리 기반의 HMD용 머신러닝 시스템{MACHINE LEARNING SYSTEM BASED ON DISTRIBUTED DATA PROCESSING}Machine learning system for HMD based on distributed processing {MACHINE LEARNING SYSTEM BASED ON DISTRIBUTED DATA PROCESSING}

본 발명은 머신러닝 시스템에 관한 것으로서, 보다 구체적으로는 분산처리 기반의 HMD용 머신러닝 시스템에 관한 것이다.The present invention relates to a machine learning system, and more specifically, to a machine learning system for HMD based on distributed processing.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display; HMD)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
Various wearable devices are being developed according to the trend of lightening and miniaturization of digital devices. A head mounted display (HMD), which is a type of wearable device, refers to various devices that can be worn by a user to receive multimedia contents and the like. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMD) are divided into see-through type and see-closed type, and the transmissive type is mainly used for Augmented Reality (AR), and the sealed type is mainly used for virtual reality (Virtual Reality). Reality, VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
FIG. 1 is a diagram showing a schematic configuration of a general glasses-type head mounted display (HMD), and FIG. 2 is a diagram illustrating a schematic configuration of a general band-shaped head mounted display (HMD). As shown in FIGS. 1 and 2, respectively, the head-mounted display in the form of glasses or bands projects image information of augmented reality (AR) onto the real world through a lens worn on the face or head of the user and transmitted. Will be provided to the user.

한편, 인공지능 기술이 발달하면서, 인공지능 기술로서 머신러닝/딥러닝이 여러 분야에 활발히 적용되고 있다. 이에 따라, 헤드 마운티드 디스플레이에 사용되는 다양한 분야에도 머신러닝/딥러닝 기술이 적용되고 있다.
Meanwhile, with the development of artificial intelligence technology, machine learning/deep learning as artificial intelligence technology is being actively applied in various fields. Accordingly, machine learning/deep learning technologies are being applied to various fields used for head-mounted displays.

이와 같은 머신러닝/딥러닝 모델의 인식 성능을 향상시키기 위해서는, 대량의 학습이 필요하므로, 신속하게 많은 연산을 할 수 있는 고성능 컴퓨터가 요구된다. 따라서 인공지능 기술을 헤드 마운티드 디스플레이의 여러 기능에 적용하기 위해서는, 사전 학습된 인공지능 모델을 단순 적용하거나, 외부 서버를 이용해 인공지능 모델의 학습을 처리하는 방법을 사용할 수 있다.
In order to improve the recognition performance of such a machine learning/deep learning model, a large amount of learning is required, and a high-performance computer capable of rapidly performing many calculations is required. Therefore, in order to apply the artificial intelligence technology to various functions of the head-mounted display, a pre-trained artificial intelligence model can be simply applied or a method of processing the learning of the artificial intelligence model using an external server can be used.

한편, 헤드 마운티드 디스플레이의 적용 범위가 확대되면서, 유독물질이 저장된 탱크, 액화천연가스 저장 탱크, 선박 탱크, 화학 설비 공장 등의 산업시설, 화재 등의 위급상황 투입 환경 등, 위험 상황에 적용 가능한 헤드 마운티드 디스플레이에 대한 연구가 진행되고 있다. 헤드 마운티드 디스플레이를 이용하면, 증강현실을 통해 위험 상황에서 필요한 정보를 실시간으로 제공할 수 있다.
On the other hand, as the scope of application of the head-mounted display expands, the head that can be applied to dangerous situations such as tanks storing toxic substances, liquefied natural gas storage tanks, ship tanks, industrial facilities such as chemical facility factories, and emergency input environments such as fire Research on mounted displays is in progress. Using a head-mounted display, it is possible to provide necessary information in real time in a dangerous situation through augmented reality.

그러나 이러한 위험 상황에서는, 외부의 서버 등과의 통신이 원활하지 못한 환경이 조성될 수 있고, 외부의 서버와 통신은 가능하더라도 해당 위험 상황에 따른 인공지능 모델의 학습이나 전송에 필요한 대용량 데이터의 송수신은 불가능할 수도 있기 때문에, 이와 같은 상황에서도 헤드 마운티드 디스플레이에 인공지능을 적용할 수 있는 기술의 개발이 필요한 실정이다.
However, in such a dangerous situation, an environment in which communication with an external server, etc. is not smooth may be created, and although communication with an external server is possible, transmission and reception of large amounts of data necessary for learning or transmission of an artificial intelligence model according to the dangerous situation is not possible. Since it may be impossible, it is necessary to develop a technology that can apply artificial intelligence to a head-mounted display even in such a situation.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1950786호(발명의 명칭: 분산처리용 인공신경망 연산 가속화 방법, 공고일자: 2019년 02월 21일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Patent No. 10-1950786 (name of the invention: method for accelerating calculation of an artificial neural network for distributed processing, announcement date: February 21, 2019) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있는, 분산처리 기반의 HMD용 머신러닝 시스템을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, and consists of a plurality of head-worn display devices, searches for a head-worn display device in an idle state, and performs a task on the found idle device. By allocating and distributing the data learning of machine learning, even when communication with external servers is not smooth, machine learning learning can be performed using head-worn display devices in the vicinity, and the head-worn type in use Its purpose is to provide a machine learning system for HMD based on distributed processing that can efficiently process machine learning learning using idle devices without burdening the display device.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 분산처리 기반의 HMD용 머신러닝 시스템은,A machine learning system for HMD based on distributed processing according to a feature of the present invention for achieving the above object,

분산처리 기반의 HMD용 머신러닝 시스템으로서,As a machine learning system for HMD based on distributed processing,

복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며,It is composed of a plurality of head-worn display devices, and processes distributed machine learning by an idle head-worn display device,

상기 머리 착용형 디스플레이 장치는,The head wearable display device,

다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부;An input/output unit for transmitting/receiving information with another head-worn display device;

다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색하는 검색부;A search unit that searches for idle devices that can be used for distributed machine learning using state information of other head-worn display devices;

상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당하는 할당부; 및An allocation unit that allocates a task for distributed processing of machine learning to each idle device according to the search result of the search unit; And

상기 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행하는 분산 학습부를 포함하는 것을 그 구성상의 특징으로 한다.
In response to the assigned task, it is characterized in that it comprises a distributed learning unit that performs machine learning data learning.

바람직하게는, 상기 할당부는,Preferably, the allocation unit,

상기 검색부에서 검색한 유휴 장치의 상태 정보 및 상기 유휴 장치와의 연결 상태를 기반으로, 상기 태스크를 할당할 수 있다.
The task may be allocated based on the status information of the idle device searched by the search unit and the connection status with the idle device.

바람직하게는, 상기 분산 학습부는,Preferably, the distributed learning unit,

상기 머리 착용형 디스플레이 장치에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다.
Learning may be performed by using local data collected by a sensor provided in the head-worn display device as learning data.

바람직하게는, 상기 분산 학습부는,Preferably, the distributed learning unit,

상기 머리 착용형 디스플레이 장치에 저장된 학습 데이터 및 다른 머리 착용형 디스플레이 장치로부터 수신한 학습 데이터 중 적어도 어느 하나를 이용해 머신러닝의 데이터 학습을 수행할 수 있다.
Machine learning data may be learned using at least one of training data stored in the head-worn display device and training data received from another head-worn display device.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,Preferably, the head wearable display device,

상기 복수의 머리 착용형 디스플레이 장치에 의한 분산 머신러닝에 의해 학습된 예측 모델을 이용해 예측을 수행하고, 예측에 따른 제어를 처리하는 제어부를 더 포함할 수 있다.
It may further include a control unit that performs prediction using a prediction model learned by distributed machine learning by the plurality of head-worn display devices, and processes control according to the prediction.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 분산처리 기반의 HMD용 머신러닝 시스템은,A machine learning system for HMD based on distributed processing according to a feature of the present invention for achieving the above object,

상기 분산처리 기반의 HMD용 머신러닝 시스템은,The distributed processing-based machine learning system for HMD,

마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치를 포함하는 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며,It is composed of a plurality of head-worn display devices including a master HMD (Head-Mounted Display) device and a slave HMD device, and processes distributed machine learning by the head-worn display device in an idle state,

상기 마스터 HMD 장치는,The master HMD device,

다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부;An input/output unit for transmitting/receiving information with another head-worn display device;

다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치를 검색하는 검색부; 및A search unit that searches for a slave HMD device, which is an idle device usable for distributed machine learning, using state information of another head-worn display device; And

상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치에 할당하는 할당부를 포함하고,In accordance with the search result of the search unit, including an allocation unit for allocating a task for distributed processing of machine learning to each slave HMD device,

상기 슬레이브 HMD 장치는,The slave HMD device,

다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 및An input/output unit for transmitting/receiving information with another head-worn display device; And

상기 마스터 HMD 장치의 할당부에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부를 포함하는 것을 또 다른 구성상의 특징으로 한다.
In response to the task assigned by the assignment unit of the master HMD device, it is characterized in that it further comprises a distributed learning unit for performing machine learning learning.

바람직하게는, 상기 할당부는,Preferably, the allocation unit,

상기 검색부에서 검색한 슬레이브 HMD 장치의 상태 정보 및 상기 슬레이브 HMD 장치와 상기 마스터 HMD 장치의 연결 상태를 기반으로, 상기 태스크를 할당할 수 있다.
The task may be allocated based on state information of the slave HMD device searched by the search unit and a connection state between the slave HMD device and the master HMD device.

바람직하게는, 상기 분산 학습부는,Preferably, the distributed learning unit,

상기 슬레이브 HMD 장치에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다.Learning may be performed using local data collected by a sensor provided in the slave HMD device as learning data.

본 발명에서 제안하고 있는 분산처리 기반의 HMD용 머신러닝 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있다.According to the machine learning system for HMD based on distributed processing proposed in the present invention, it consists of a plurality of head-worn display devices, searches for a head-worn display device in an idle state, and assigns a task to the found idle device, By distributing machine learning data learning, even in situations where communication with external servers is not smooth, machine learning learning can be performed using nearby head-worn display devices. Machine learning learning can be efficiently processed by using idle devices without burdening them.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템에 포함되는 머리 착용형 디스플레이 장치의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면.1 is a diagram showing a schematic configuration of a general glasses-type head mounted display (HMD).
2 is a diagram showing a schematic configuration of a general band-type head mounted display (HMD).
3 is a diagram showing the configuration of a machine learning system for HMD based on distributed processing according to an embodiment of the present invention.
4 is a diagram showing a detailed configuration of a head-worn display device included in a machine learning system for HMD based on distributed processing according to an embodiment of the present invention.
5 is a diagram showing the configuration of a machine learning system for HMD based on distributed processing according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is said to be connected to another part, this includes not only the case that it is directly connected, but also the case that it is indirectly connected with another element interposed therebetween. In addition, the inclusion of certain components means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

도 3은 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리할 수 있다.
3 is a diagram showing the configuration of a machine learning system for HMD based on distributed processing according to an embodiment of the present invention. As shown in FIG. 3, the machine learning system for HMD based on distributed processing according to an embodiment of the present invention includes a plurality of head-worn display devices 100, and is an idle head-worn display device ( 100) can handle distributed machine learning.

여기서, 머신러닝은, 머신러닝 및 딥러닝을 모두 포함할 수 있으며, 방대한 데이터의 학습을 통해 인공지능을 구현하는 모든 방법을 포함할 수 있다.
Here, machine learning may include both machine learning and deep learning, and may include all methods of implementing artificial intelligence through learning of vast amounts of data.

머신러닝의 분산처리는, 데이터 병렬처리(data parallelism) 방식 및 모델 병렬처리(model parallelism) 방식으로 구분될 수 있다.
Distributed processing of machine learning can be classified into a data parallelism method and a model parallelism method.

데이터 병렬처리 방식은 학습의 대상인 입력 데이터 셋(set)이 다수의 컴퓨터들에게 분할되고, 각 컴퓨터가 자신에게 할당된 분할된 입력 데이터 셋을 사용하는 학습을 수행하는 방식일 수 있다. 보다 구체적으로, 데이터 병렬처리 방식에서, 분산처리 기반의 HMD용 머신러닝 시스템의 각 분산 컴퓨터(distributed computer)는 부분으로 나뉜 입력 데이터를 사용하여 머신러닝 학습 모델의 전체에 대한 학습을 수행할 수 있다.
The data parallel processing method may be a method in which an input data set, which is an object of learning, is divided among a plurality of computers, and each computer performs learning using a divided input data set allocated to it. More specifically, in the data parallel processing method, each distributed computer of the HMD-based machine learning system based on distributed processing can perform training on the entire machine learning model using the input data divided into parts. .

모델 병렬처리 방식은 머신러닝 모델이 분할되고, 다수의 컴퓨터가 분할된 머신러닝 모델들에 대한 학습을 각각 수행하는 방식이다. 보다 구체적으로는, 모델 병렬처리 방식은, 머신러닝 모델을 분할하고, 분산처리 기반의 HMD용 머신러닝 시스템의 각 분산 컴퓨터에서는 전체의 입력 데이터에 대해 학습을 수행하고, 머신러닝 모델의 분할에 대해 부분적으로 계산된 파라미터를 교환할 수 있다.
The model parallel processing method is a method in which a machine learning model is divided, and a plurality of computers each perform training on the divided machine learning models. More specifically, in the model parallel processing method, the machine learning model is segmented, each distributed computer of the HMD machine learning system based on distributed processing performs training on the entire input data, and for the segmentation of the machine learning model. Partially calculated parameters can be exchanged.

본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 유휴 상태인 머리 착용형 디스플레이 장치(100)를 분산 컴퓨터로 사용하여, 데이터 병렬처리 방식으로 분산 머신러닝을 수행할 수 있으며, 실시예에 따라서는 모델 병렬처리 방식, 또는 데이터 병렬처리 및 모델 병렬처리를 결합한 방식으로 분산 머신러닝을 수행할 수 있다.
The machine learning system for HMD based on distributed processing according to an embodiment of the present invention can perform distributed machine learning in a data parallel processing method using the head-worn display device 100 in an idle state as a distributed computer. , Depending on the embodiment, distributed machine learning may be performed in a model parallel processing method or a method in which data parallel processing and model parallel processing are combined.

이때, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 분산 머신러닝의 처리를 위한 통신을 서로 원활하게 할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성될 수 있으며, 도 3에 도시된 바와 같이, 시스템을 구성하는 머리 착용형 디스플레이 장치(100) 중에서, 유휴 상태인 일부 머리 착용형 디스플레이 장치(100)로 분산 머신러닝이 처리될 수 있다. 프로세서, 메모리 등을 미리 정해진 비율 이상 사용하고 있어서 유휴 상태가 아닌 경우에는 분산 머신러닝을 위한 계산을 충분히 빠르게 할 수 없고, 분산 머신러닝을 위한 태스크 할당으로 인해 해당 머리 착용형 디스플레이 장치(100)의 기본 기능의 수행에 영향을 미칠 수 있으므로, 유휴 상태의 머리 착용형 디스플레이 장치(100)를 분산 컴퓨터로 사용할 수 있다.
At this time, the machine learning system for HMD based on distributed processing according to an embodiment of the present invention may be composed of a plurality of head-worn display devices 100 capable of smoothly communicating with each other for processing of distributed machine learning. In addition, as shown in FIG. 3, among the head-worn display devices 100 constituting the system, distributed machine learning may be processed by some of the head-worn display devices 100 in an idle state. If the processor, memory, etc. are used at a predetermined ratio or more and not in an idle state, calculations for distributed machine learning cannot be performed fast enough, and due to task assignment for distributed machine learning, the head-worn display device 100 Since it may affect the performance of basic functions, the head-worn display device 100 in an idle state can be used as a distributed computer.

도 4는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템에 포함되는 머리 착용형 디스플레이 장치(100)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 머리 착용형 디스플레이 장치(100) 각각은, 입출력부(140), 검색부(150), 할당부(160) 및 분산 학습부(170)를 포함하여 구성될 수 있으며, HMD 프레임(110), 광학계(120), 디스플레이(130), 제어부(180), 센서부(190), GPS 모듈(200), 카메라(210), 전원 공급부(220), 스위치부(230) 및 통신부(240) 중 적어도 하나 이상을 더 포함하여 구성될 수 있다.
4 is a diagram showing a detailed configuration of a head-worn display device 100 included in a distributed processing-based machine learning system for HMD according to an embodiment of the present invention. As shown in FIG. 4, each of the head-worn display device 100 of the HMD machine learning system based on distributed processing according to an embodiment of the present invention includes an input/output unit 140, a search unit 150, and an allocation unit. The unit 160 and the distributed learning unit 170 may be included, and the HMD frame 110, the optical system 120, the display 130, the controller 180, the sensor unit 190, and the GPS module 200 ), the camera 210, the power supply unit 220, the switch unit 230, and at least one of the communication unit 240 may be further included.

HMD 프레임(110)은, 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
The HMD frame 110 is a frame configuration of the head-worn display device 100 that the user can wear on the head. The HMD frame 110 may be configured in the form of a helmet or goggles having a frame structure that allows light to enter while the user is wearing it on the head. Here, when the HMD frame 110 has a helmet shape, it may be configured with a helmet (not shown) worn on the user's head and a display frame (not shown) disposed in front of the helmet. In addition, when the HMD frame 110 is configured in the form of goggles, it may be configured with a band frame (not shown) that can be worn on the user's head, and a goggle frame (not shown) fastened and fixed to the band frame.

광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 투명한 렌즈로 구성될 수 있다.
The optical system 120 is disposed in front of both eyes of a user wearing the HMD frame 110, and is configured to allow the real world to be transmitted through the user's field of view. The optical system 120 may be formed of a transparent lens in the form of a glass through which the real world can be seen through the user's field of view.

디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 영상 정보(10)가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 머리 착용형 디스플레이 장치(100)의 기본 기능에 따른 각종 영상 정보를 증강현실을 기반으로 출력할 수 있다.
The display 130 may output image light so that the image information 10 can be provided as an optimized screen to the user together with the real world transmitted through the optical system 120. The display 130 may output various image information according to the basic functions of the head-worn display device 100 based on augmented reality.

입출력부(140)는, 다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신할 수 있다. 입출력부(140)는 복수의 머리 착용형 디스플레이 장치(100) 상호 간에, 상태 정보, 분산 머신러닝의 처리를 위한 학습 데이터, 머신러닝 모델 등의 송수신, 파라미터 업데이트 등을 처리할 수 있다. 또한, 외부 서버와의 통신이 필요한 경우 입출력부(140)를 통해 머리 착용형 디스플레이 장치(100)가 외부 서버와 각종 데이터의 입력 및 출력을 처리할 수 있다.
The input/output unit 140 may transmit and receive information to and from another head-worn display device 100. The input/output unit 140 may process state information, training data for processing distributed machine learning, transmission/reception of machine learning models, and parameter updates between the plurality of head-worn display devices 100. In addition, when communication with an external server is required, the head-worn display device 100 may process input and output of various data with the external server through the input/output unit 140.

검색부(150)는, 다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색할 수 있다. 이때, 검색부(150)는, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템을 구성하는 복수의 머리 착용형 디스플레이 장치(100) 중에서, 분산 머신러닝의 처리가 용이하도록 통신이 원활한 상태의 장치들로부터 입출력부(140)를 통해 상태 정보를 입력받고, 상태 정보를 이용해 유휴 장치를 검색할 수 있다.
The search unit 150 may search for an idle device that can be used for distributed machine learning by using the state information of the other head-worn display device 100. At this time, the search unit 150 communicates to facilitate the processing of distributed machine learning among a plurality of head-worn display devices 100 constituting the HMD machine learning system based on distributed processing according to an embodiment of the present invention. Status information may be input from the devices in a smooth state through the input/output unit 140, and an idle device may be searched using the status information.

이때, 상태 정보는, 프로세서나 메모리 등을 포함하는 계산 자원의 현재 사용 비율, 통신 상태 등을 포함할 수 있으며, 검색부(150)는 상태 정보를 이용해 프로세서 또는 메모리의 사용 비율을 이용해 유휴 상태 여부를 판단하고, 계산 자원의 사용 비율이 기준 미만으로 계산 자원을 충분히 사용할 수 있는 상태의 머리 착용형 디스플레이 장치(100)를 유휴 장치로 판단할 수 있다. 이때, 검색부(150)는, 분산 머신러닝의 전체 계산량 또는 분산 머신러닝의 긴급성에 따라서, 유휴 장치로 검색하는 기준을 상이하게 설정할 수 있으며, 보다 구체적으로, 통신 상태 기준, 계산 자원의 사용 비율 기준 등을 상이하게 설정할 수 있다.
At this time, the status information may include a current usage ratio of computational resources including a processor or memory, a communication status, etc., and the search unit 150 uses the status information to determine whether the processor or memory is in an idle state. Is determined, and the head-worn display device 100 in a state in which the calculation resource can be sufficiently used may be determined as an idle device in which the calculation resource usage ratio is less than the standard. At this time, the search unit 150 may set different criteria for searching by idle devices according to the total amount of distributed machine learning or the urgency of distributed machine learning. The standards and the like can be set differently.

할당부(160)는, 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당할 수 있다. 이때, 할당부(160)는 검색된 모든 유휴 장치에 태스크를 균등하게 할당할 수 있으나, 각 유휴 장치의 상태에 따라 태스크를 각각 할당할 수도 있다. 보다 구체적으로, 할당부(160)는, 검색부(150)에서 검색한 유휴 장치의 상태 정보 및 유휴 장치와의 연결 상태를 기반으로, 태스크를 할당할 수 있다. 따라서 계산 자원이 더 많은 유휴 장치에는 더 많은 태스크가 할당되도록 할 수 있다.
The allocation unit 160 may allocate a task for distributed processing of machine learning to each idle device according to the search result of the search unit 150. In this case, the allocator 160 may evenly allocate tasks to all the searched idle devices, but may allocate tasks according to the state of each idle device. More specifically, the allocation unit 160 may allocate a task based on the state information of the idle device and the connection state with the idle device retrieved by the search unit 150. Therefore, more tasks can be allocated to idle devices with more computational resources.

분산 학습부(170)는, 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행할 수 있다. 보다 구체적으로, 분산 학습부(170)는, 데이터 병렬처리 방식, 모델 병렬처리 방식, 또는 그 둘의 결합에 의한 방식 등에 따라, 분산 머신러닝을 수행할 수 있다.
The distributed learning unit 170 may perform machine learning data learning in response to the assigned task. More specifically, the distributed learning unit 170 may perform distributed machine learning according to a data parallel processing method, a model parallel processing method, or a combination of the two.

한편, 분산 학습부(170)는, 머리 착용형 디스플레이 장치(100)에 저장된 학습 데이터 및 다른 머리 착용형 디스플레이 장치(100)로부터 수신한 학습 데이터 중 적어도 어느 하나를 이용해 머신러닝의 데이터 학습을 수행할 수 있다. 이때, 학습 데이터는, 입출력부(140)를 통해 입력받아 저장되고, 분산 학습부(170)에 제공될 수 있다.
Meanwhile, the distributed learning unit 170 performs machine learning data learning using at least one of the training data stored in the head wearable display device 100 and the training data received from the other head wearable display device 100. can do. In this case, the learning data may be input and stored through the input/output unit 140, and may be provided to the distributed learning unit 170.

또한, 분산 학습부(170)는, 머리 착용형 디스플레이 장치(100)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다. 즉, 데이터 병렬처리 방식으로 분산 머신러닝을 수행하면서, 각각의 머리 착용형 디스플레이 장치(100)의 분산 학습부(170)가 해당 머리 착용형 디스플레이 장치(100)에 임베디드로 구비된 센서에서 수집된 로컬 데이터를 이용해 학습을 수행함으로써, 로컬 데이터의 송수신에 따른 통신 효율을 절감할 수 있다.
In addition, the distributed learning unit 170 may perform learning by using local data collected by a sensor provided in the head-worn display device 100 as learning data. That is, while performing distributed machine learning in a data parallel processing method, the distributed learning unit 170 of each head wearable display device 100 collects from a sensor embedded in the head wearable display device 100. By performing learning using local data, communication efficiency according to transmission and reception of local data can be reduced.

제어부(180)는, 복수의 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝에 의해 학습된 예측 모델을 이용해 예측을 수행하고, 예측에 따른 제어를 처리할 수 있다. 즉, 각각의 유휴 장치의 분산 학습부(170)에 의해 학습된 예측 모델을, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템을 구성하는 복수의 머리 착용형 디스플레이 장치(100)들이 공유하고, 공유된 예측 모델을 이용해 각 머리 착용형 디스플레이 장치(100)의 제어부(180)가 예측을 수행하며, 예측에 따른 제어를 처리할 수 있다.
The controller 180 may perform prediction using a prediction model learned by distributed machine learning by a plurality of head-worn display devices 100 and process control according to the prediction. That is, the prediction model learned by the distributed learning unit 170 of each idle device is a plurality of head-worn display devices 100 constituting the machine learning system for HMD based on distributed processing according to an embodiment of the present invention. ) Are shared, and the controller 180 of each head-worn display device 100 performs prediction using the shared prediction model, and may process control according to the prediction.

예를 들어, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 위험 상황에서 탈출 경로를 산출하는 예측 모델을 분산 머신러닝을 통해 학습시킬 수 있으며, 학습된 예측 모델을 복수의 머리 착용형 디스플레이 장치(100)들이 공유하고, 각각의 머리 착용형 디스플레이 장치(100)의 제어부(180)는 위험 상황 발생 시, 분산 머신러닝에 의해 학습된 예측 모델을 이용해 탈출 경로의 예측을 수행하고, 예측된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 디스플레이(130)로 전송되도록 제어할 수 있다.
For example, the machine learning system for HMD based on distributed processing according to an embodiment of the present invention may train a prediction model that calculates an escape route in a dangerous situation through distributed machine learning, and multiple learned prediction models The head-worn display devices 100 are shared, and the controller 180 of each head-worn display device 100 predicts an escape route using a predictive model learned by distributed machine learning when a dangerous situation occurs. And, it is possible to control the generated navigation image information guiding the predicted escape route based on augmented reality and transmitted to the display 130.

센서부(190)는, HMD 프레임(110)의 일 측에 설치되며 IMU 센서, 온도 센서, 습도 센서, 사용자의 위치 파악을 위한 센서, 환경 유해 가스를 검출할 수 있는 센서 등을 포함할 수 있다. 센서부(190)는, 도 1 및 도 2에 도시된 바와 같은 머리 착용형 디스플레이 장치(100)의 HMD 프레임(110)에 부착될 수 있으며, 부착 위치는 각 센서가 정확한 로컬 데이터를 수집할 수 있는 위치로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착될 수 있고, 좌측이나 우측 측면에 부착될 수도 있다. 또한, 센서부(190)는, HMD 프레임(110)에 탈부착이 가능한 형태로 적용될 수 있다.
The sensor unit 190 is installed on one side of the HMD frame 110 and may include an IMU sensor, a temperature sensor, a humidity sensor, a sensor for identifying a user's location, a sensor capable of detecting environmentally harmful gases, and the like. . The sensor unit 190 may be attached to the HMD frame 110 of the head-worn display device 100 as shown in FIGS. 1 and 2, and the attachment location allows each sensor to collect accurate local data. As a position where both eyes of the user are located, it may be attached to the center between the portions, or may be attached to the left or right side. In addition, the sensor unit 190 may be applied to the HMD frame 110 in a detachable form.

전술한 분산 학습부(170)에서 설명한 바와 같이, 분산 학습부(170)는 센서부(190)에서 수집된 로컬 데이터를 학습 데이터로 하여 해당 머리 착용형 디스플레이 장치(100)에 할당된 분산 머신러닝의 학습을 수행할 수 있다. 따라서 각 머리 착용형 디스플레이 장치(100)는, 센서부(190)에서 수집된 로컬 데이터를 다른 머리 착용형 디스플레이 장치(100)에 전송할 필요 없이, 안전하고 신속하게 분산 머신러닝을 수행할 수 있다.
As described in the above-described distributed learning unit 170, the distributed learning unit 170 uses the local data collected by the sensor unit 190 as training data, and is allocated to the head-worn display device 100. Of learning can be carried out. Therefore, each head wearable display device 100 can safely and quickly perform distributed machine learning without the need to transmit the local data collected by the sensor unit 190 to the other head wearable display device 100.

한편, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(200)과, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(210)와, 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(220)와, 전원 공급부(220)의 온/오프를 위한 스위치부(230)와, 제어부(180)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100) 등과 데이터 통신을 수행하는 통신부(240)를 더 포함하여 구성될 수 있다.
Meanwhile, the head-worn display device 100 of the machine learning system for HMD based on distributed processing according to an embodiment of the present invention is mounted on the HMD frame 110 to provide location information; A camera 210 mounted on the HMD frame 110 to capture an image in the user's gaze direction, a power supply unit 220 for supplying power for driving the head-worn display device 100, and a power supply unit A switch unit 230 for on/off of 220 and a communication unit 240 for performing data communication with another head-worn display device 100 adjacent under the control of the controller 180 are further included. I can.

또한, GPS 모듈(200)은 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 현장 위치 정보를 제공하고, 카메라(210)는 사용자가 바라보는 시선의 현장을 촬영할 수 있다. 또한, 스위치부(230)는 전원 공급부(220)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(240)는 인접하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(240)와 연동하여 연결 접속되고, 입출력부(140)를 이용해 각종 데이터 및 신호를 입출력할 수 있도록 데이터 통신을 수행할 수 있다. 또한, 실시예에 따라서는, 통신부(240)는 외부의 서버 등과도 데이터 통신을 수행할 수 있다. 여기서, 통신부(240)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE, 블루투스(Bluetooth), 위성 통신망 등을 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
In addition, the GPS module 200 provides site location information of a user wearing the head-worn display device 100, and the camera 210 may capture a site of the user's gaze. In addition, the switch unit 230 is installed on one side of the HMD frame 110 with a switch for on/off of the power supply unit 220, or is formed in a separate device connected to the HMD frame 110 by wire. I can. In addition, the communication unit 240 is connected and connected in connection with the communication unit 240 of another adjacent head wearable display device 100, and performs data communication so that various data and signals can be input and output using the input/output unit 140. can do. In addition, depending on the embodiment, the communication unit 240 may perform data communication with an external server or the like. Here, it may be understood that the communication unit 240 applies various wireless communication methods including 3G/4G/5G and LTE, Bluetooth, and satellite communication networks capable of Internet access.

도 5는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치(100b)를 포함하는 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리할 수 있다.
5 is a diagram showing the configuration of a machine learning system for HMD based on distributed processing according to an embodiment of the present invention. As shown in Figure 5, the machine learning system for HMD based on distributed processing according to an embodiment of the present invention, a plurality of head wear including a master HMD (Head-Mounted Display) device and a slave HMD device (100b) It is composed of a type display device 100, and can process distributed machine learning by the head wearable display device 100 in an idle state.

즉, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템에서는, 도 3에 도시된 바와 같이, 복수의 머리 착용형 디스플레이 장치(100)가 동등한 분산 컴퓨터의 역할을 할 수 있으나, 도 5에 도시된 바와 같이, 마스터 HMD 장치(100a)와 슬레이브 HMD 장치(100b)로 구분되어, 마스터 HMD 장치(100a)가 슬레이브 HMD 장치(100b)의 검색, 태스크 할당 등을 할 수 있으며, 머신러닝 시 요구되는 학습 데이터 저장 및 공유, 각종 파라미터의 업데이트 등을 처리할 수 있다.
That is, in the machine learning system for HMD based on distributed processing according to an embodiment of the present invention, as shown in FIG. 3, a plurality of head-worn display devices 100 may serve as equivalent distributed computers, As shown in FIG. 5, it is divided into a master HMD device 100a and a slave HMD device 100b, so that the master HMD device 100a can search for the slave HMD device 100b, assign tasks, etc., and the machine Learning data required for running can be stored and shared, and various parameters can be updated.

보다 구체적으로, 마스터 HMD 장치(100a)는, 다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140), 다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치(100b)를 검색하는 검색부(150), 및 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치(100b)에 할당하는 할당부(160)를 포함할 수 있다. 또한, 슬레이브 HMD 장치(100b)는, 다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140), 및 마스터 HMD 장치(100a)의 할당부(160)에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부(170)를 포함할 수 있다.
More specifically, the master HMD device 100a uses the input/output unit 140 for transmitting/receiving information to and from the other head-worn display device 100, and the state information of the other head-worn display device 100, using distributed machine learning. According to the search result of the search unit 150 and the search result of the search unit 150, each slave HMD device 100b performs a task for distributed processing of machine learning. It may include an allocator 160 to allocate to. In addition, the slave HMD device 100b corresponds to the task assigned by the input/output unit 140 for transmitting and receiving information to and from the other head wearable display device 100, and the assignment unit 160 of the master HMD device 100a. Thus, it may include a distributed learning unit 170 that performs machine learning learning.

여기서, 마스터 HMD 장치(100a)의 할당부(160)는, 검색부(150)에서 검색한 슬레이브 HMD 장치(100b)의 상태 정보 및 슬레이브 HMD 장치(100b)와 마스터 HMD 장치(100a)의 연결 상태를 기반으로, 태스크를 할당할 수 있다. 또한, 슬레이브 HMD 장치(100b)의 분산 학습부(170)는, 슬레이브 HMD 장치(100b)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다.
Here, the allocation unit 160 of the master HMD device 100a includes the state information of the slave HMD device 100b searched by the search unit 150 and the connection state of the slave HMD device 100b and the master HMD device 100a. Based on, you can assign a task. In addition, the distributed learning unit 170 of the slave HMD device 100b may perform learning by using local data collected by a sensor provided in the slave HMD device 100b as training data.

실시예에 따라서는, 마스터 HMD 장치(100a)도 분산 학습부(170)를 포함하고, 태스크를 할당하여 분산 머신러닝의 학습을 수행하는 슬레이브 HMD 장치(100b)의 역할을 할 수 있다. 여기서, 마스터 HMD 장치(100a)와 슬레이브 HMD 장치(100b)는 고정된 역할이 아니며, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템을 구성하는 복수의 머리 착용형 디스플레이 장치(100) 각각이, 상황과 역할에 따라 마스터 HMD 장치(100a) 또는 슬레이브 HMD 장치(100b)의 역할을 모두 할 수 있다. 보다 구체적으로, 분산처리 중 마스터 HMD 장치(100a)에 오류 발생 등으로 해당 장치가 더 이상 마스터 장치의 역할을 할 수 없게 되면, 슬레이브 HMD 장치(100b) 중 어느 하나가 마스터 HMD 장치(100a)의 역할을 할 수 있다.
Depending on the embodiment, the master HMD device 100a may also include the distributed learning unit 170 and may serve as a slave HMD device 100b that performs distributed machine learning learning by assigning tasks. Here, the master HMD device 100a and the slave HMD device 100b are not fixed roles, and a plurality of head-worn display devices constituting the machine learning system for HMD based on distributed processing according to an embodiment of the present invention ( 100) Each may serve as both the master HMD device 100a or the slave HMD device 100b depending on the situation and role. More specifically, when the corresponding device can no longer serve as a master device due to an error in the master HMD device 100a during distributed processing, one of the slave HMD devices 100b is Can play a role.

본 발명에서 제안하고 있는 분산처리 기반의 HMD용 머신러닝 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치(100)들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치(100)에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있다.
According to the machine learning system for HMD based on distributed processing proposed in the present invention, consisting of a plurality of head-worn display devices 100, search for the head-worn display device 100 in an idle state, and the searched idle device By allocating tasks to and distributing machine learning data learning, machine learning learning can be performed using head-worn display devices 100 around even in situations where communication with an external server is not smooth. , It is possible to efficiently process machine learning learning by using an idle device without burdening the head-worn display device 100 in use.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
Meanwhile, the present invention may include a computer-readable medium including program instructions for performing operations implemented by various communication terminals. For example, a computer-readable medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD_ROMs and DVDs, and floptical disks. It may include a hardware device specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
Such a computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. At this time, the program instructions recorded in a computer-readable medium may be specially designed and configured to implement the present invention, or may be known to and usable by those skilled in computer software. For example, it may include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those of ordinary skill in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be determined by the following claims.

100: 머리 착용형 디스플레이 장치
100a: 마스터 HMD 장치
100b: 슬레이브 HMD 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 입출력부
150: 검색부
160: 할당부
170: 분산 학습부
180: 제어부
190: 센서부
200: GPS 모듈
210: 카메라
220: 전원 공급부
230: 스위치부
240: 통신부100: head-worn display device
100a: Master HMD device
100b: slave HMD device
110: HMD frame
120: optical system
130: display
140: input/output unit
150: search unit
160: allocation
170: distributed learning department
180: control unit
190: sensor unit
200: GPS module
210: camera
220: power supply
230: switch unit
240: communication department

Claims (8)

분산처리 기반의 HMD용 머신러닝 시스템으로서,
복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 외부의 서버와의 통신이 원활하지 못한 상황에서, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리하며,
상기 머리 착용형 디스플레이 장치(100)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(110);
다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140);
다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색하는 검색부(150);
상기 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당하는 할당부(160);
상기 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행하는 분산 학습부(170); 및
상기 HMD 프레임(110)의 일 측에 설치되며 IMU 센서, 온도 센서, 습도 센서, 사용자의 위치 파악을 위한 센서, 환경 유해 가스를 검출할 수 있는 센서 중 적어도 하나를 포함하는 센서부(190)를 포함하며,
상기 분산 학습부(170)는,
데이터 병렬처리 방식으로 분산 머신러닝을 수행하면서, 상기 머리 착용형 디스플레이 장치(100)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여 학습을 수행하여, 상기 센서부(190)에서 수집된 로컬 데이터를 다른 머리 착용형 디스플레이 장치(100)에 전송할 필요 없이 분산 머신러닝을 수행하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.As a machine learning system for HMD based on distributed processing,
It is composed of a plurality of head-worn display devices 100 to process distributed machine learning by the head-worn display device 100 in an idle state in a situation where communication with an external server is not smooth,
The head wearable display device 100,
HMD frame 110 that the user can wear on the head;
An input/output unit 140 for transmitting/receiving information to and from another head-worn display device 100;
A search unit 150 for searching for idle devices that can be used for distributed machine learning by using the state information of the other head-worn display device 100;
An allocation unit 160 for allocating a task for distributed processing of machine learning to each idle device according to the search result of the search unit 150;
A distributed learning unit 170 for performing machine learning data learning in response to the assigned task; And
A sensor unit 190 installed on one side of the HMD frame 110 and including at least one of an IMU sensor, a temperature sensor, a humidity sensor, a sensor for detecting a user's location, and a sensor capable of detecting environmentally harmful gases. Includes,
The distributed learning unit 170,
While performing distributed machine learning in a data parallel processing method, learning is performed using local data collected by a sensor provided in the head-worn display device 100 as learning data, and the local data collected by the sensor unit 190 A machine learning system for HMD based on distributed processing, characterized in that distributed machine learning is performed without the need to transmit data to another head-worn display device (100). 제1항에 있어서, 상기 할당부(160)는,
상기 검색부(150)에서 검색한 유휴 장치의 상태 정보 및 상기 유휴 장치와의 연결 상태를 기반으로, 상기 태스크를 할당하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.The method of claim 1, wherein the allocation unit 160,
A machine learning system for HMD based on distributed processing, characterized in that the task is allocated based on the state information of the idle device searched by the search unit 150 and the connection state with the idle device. 삭제delete 제1항에 있어서, 상기 분산 학습부(170)는,
상기 머리 착용형 디스플레이 장치(100)에 저장된 학습 데이터 및 다른 머리 착용형 디스플레이 장치(100)로부터 수신한 학습 데이터 중 적어도 어느 하나를 이용해 머신러닝의 데이터 학습을 수행하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.The method of claim 1, wherein the distributed learning unit 170,
Based on distributed processing, characterized in that machine learning data is learned using at least one of the training data stored in the head wearable display device 100 and the training data received from the other head wearable display device 100 Machine learning system for HMD. 제1항에 있어서, 상기 머리 착용형 디스플레이 장치(100)는,
상기 복수의 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝에 의해 학습된 예측 모델을 이용해 예측을 수행하고, 예측에 따른 제어를 처리하는 제어부(180)를 더 포함하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.The method of claim 1, wherein the head-worn display device (100),
Distributed, characterized in that it further comprises a controller 180 for performing prediction using a prediction model learned by distributed machine learning by the plurality of head wearable display devices 100 and processing control according to the prediction. Processing-based machine learning system for HMD. 분산처리 기반의 HMD용 머신러닝 시스템은,
마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치(100b)를 포함하는 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 외부의 서버와의 통신이 원활하지 못한 상황에서, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리하며,
상기 마스터 HMD 장치(100a)는,
다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140);
다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치(100b)를 검색하는 검색부(150); 및
상기 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치(100b)에 할당하는 할당부(160)를 포함하고,
상기 슬레이브 HMD 장치(100b)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(110);
다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140);
상기 마스터 HMD 장치(100a)의 할당부(160)에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부(170); 및
상기 HMD 프레임(110)의 일 측에 설치되며 IMU 센서, 온도 센서, 습도 센서, 사용자의 위치 파악을 위한 센서, 환경 유해 가스를 검출할 수 있는 센서 중 적어도 하나를 포함하는 센서부(190)를 포함하며,
상기 분산 학습부(170)는,
데이터 병렬처리 방식으로 분산 머신러닝을 수행하면서, 상기 슬레이브 HMD 장치(100b)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여 학습을 수행하여, 상기 센서부(190)에서 수집된 로컬 데이터를 다른 머리 착용형 디스플레이 장치(100)에 전송할 필요 없이 분산 머신러닝을 수행하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.A machine learning system for HMD based on distributed processing,
It is composed of a plurality of head-worn display devices 100 including a master HMD (Head-Mounted Display) device and a slave HMD device 100b, and is in an idle state in a situation where communication with an external server is not smooth. Process distributed machine learning by the wearable display device 100,
The master HMD device 100a,
An input/output unit 140 for transmitting/receiving information to and from another head-worn display device 100;
A search unit 150 for searching for a slave HMD device 100b, which is an idle device usable for distributed machine learning, using the state information of the other head-worn display device 100; And
In accordance with the search result of the search unit 150, it includes an allocation unit 160 for allocating a task for distributed processing of machine learning to each slave HMD device (100b),
The slave HMD device 100b,
HMD frame 110 that the user can wear on the head;
An input/output unit 140 for transmitting/receiving information to and from another head-worn display device 100;
A distributed learning unit 170 for performing machine learning learning in response to a task assigned by the assignment unit 160 of the master HMD device 100a; And
A sensor unit 190 installed on one side of the HMD frame 110 and including at least one of an IMU sensor, a temperature sensor, a humidity sensor, a sensor for detecting a user's location, and a sensor capable of detecting environmentally harmful gases. Includes,
The distributed learning unit 170,
While performing distributed machine learning in a data parallel processing method, learning is performed using local data collected by a sensor provided in the slave HMD device 100b as learning data, and the local data collected by the sensor unit 190 is A machine learning system for HMD based on distributed processing, characterized in that distributed machine learning is performed without the need to transmit it to another head-worn display device 100. 제6항에 있어서, 상기 할당부(160)는,
상기 검색부(150)에서 검색한 슬레이브 HMD 장치(100b)의 상태 정보 및 상기 슬레이브 HMD 장치(100b)와 상기 마스터 HMD 장치(100a)의 연결 상태를 기반으로, 상기 태스크를 할당하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.The method of claim 6, wherein the allocation unit 160,
The task is allocated based on the state information of the slave HMD device 100b searched by the search unit 150 and the connection state between the slave HMD device 100b and the master HMD device 100a. , Machine learning system for HMD based on distributed processing. 삭제delete
KR1020190112483A 2019-09-10 2019-09-10 Machine learning system based on distributed data processing KR102257039B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190112483A KR102257039B1 (en) 2019-09-10 2019-09-10 Machine learning system based on distributed data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190112483A KR102257039B1 (en) 2019-09-10 2019-09-10 Machine learning system based on distributed data processing

Publications (2)

Publication Number Publication Date
KR20210030827A KR20210030827A (en) 2021-03-18
KR102257039B1 true KR102257039B1 (en) 2021-05-28

Family

ID=75232506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190112483A KR102257039B1 (en) 2019-09-10 2019-09-10 Machine learning system based on distributed data processing

Country Status (1)

Country Link
KR (1) KR102257039B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074998A1 (en) * 2021-10-27 2023-05-04 한국전자기술연구원 Xr streaming system for lightweight xr device and operation method therefor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950786B1 (en) * 2018-10-08 2019-02-21 주식회사 디퍼아이 Acceleration Method for Artificial Neural Network System

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105980008B (en) * 2014-02-24 2019-04-12 索尼公司 Body position optimization and bio signal feedback for intelligent wearable device
KR20160087706A (en) * 2015-01-14 2016-07-22 한국전자통신연구원 Apparatus and method for resource allocation of a distributed data processing system considering virtualization platform
KR102145795B1 (en) * 2016-09-07 2020-08-19 한국전자통신연구원 Method and apparatus for analyzing and processing data stream in environment where worker nodes are distributed, and method and apparatus for managing task

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950786B1 (en) * 2018-10-08 2019-02-21 주식회사 디퍼아이 Acceleration Method for Artificial Neural Network System

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074998A1 (en) * 2021-10-27 2023-05-04 한국전자기술연구원 Xr streaming system for lightweight xr device and operation method therefor

Also Published As

Publication number Publication date
KR20210030827A (en) 2021-03-18

Similar Documents

Publication Publication Date Title
US11187548B2 (en) Planning vehicle computational unit migration based on mobility prediction
US11986963B2 (en) Augmented reality coordination of human-robot interaction
US11270114B2 (en) AR device and method for controlling the same
US11074754B2 (en) Electronic device
US11885964B2 (en) Electronic device
US11215832B2 (en) Electronic device
CN112639943A (en) Recessed color correction for improving color uniformity of head-mounted displays
US11275247B2 (en) Electronic device
KR102638960B1 (en) AR Device and Method For Controlling The Same
CN113064276B (en) Electronic device
KR102257039B1 (en) Machine learning system based on distributed data processing
Salman et al. Fog computing for augmented reality: Trends, challenges and opportunities
US20210333549A1 (en) Wearable electronic device on head
US20210065450A1 (en) Electronic device
CN112789543B (en) Electronic equipment
US20200257124A1 (en) Electronic device
US11620855B2 (en) Iterative memory mapping operations in smart lens/augmented glasses
US11782280B2 (en) Electronic device
US11467405B2 (en) Wearable electronic device on head
Mei et al. Llm agent operating system
US11256101B2 (en) Electronic device
Wang Scaling Wearable Cognitive Assistance
CN113064274B (en) Electronic device
Handelman et al. Multi-agent playbook for human-robot teaming
US11921824B1 (en) Sensor data fusion using cross-modal transformer

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right