KR102402170B1 - 이미지 분석을 이용한 메타버스 생성 장치 및 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 장치는, 가상 공간을 구현한 메타버스를 생성할 공간과 관련된 사진데이터를 포함한 목표 데이터들을 수집하는 수집부; 수집된 목표 데이터를 취합하고, 각 목표 데이터에 포함된 메타정보를 분석하여 추출하며, 메타정보로서 위치정보와 더불어, 신경망 학습 기반 객체 인식 알고리즘을 토대로 목표 데이터의 이미지 내에 포함된 적어도 하나 이상의 객체를 추출한 대상물정보 및 형태정보를 포함시키는 제1 추론엔진; 상기 목표 데이터와 더불어, 상기 제1 추론엔진으로부터 추출된 메타정보를 해당 목표 데이터와 연관지어 분류하여 저장하는 라이브러리; 및 상기 라이브러리에서 추출 및 분류되어 저장된 메타정보 데이터들을 장소별로 취합하여 해당 장소에 대한 가상 공간인 메타버스 생성을 수행하는 메타버스생성부를 포함한다.

Description

이미지 분석을 이용한 메타버스 생성 장치 및 방법{Apparatus and method for generating metaverse using image analysis}

본 발명은 메타버스 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 이미지 분석을 이용한 메타버스 생성 장치 및 방법에 관한 것이다.

최근 온라인에서 제공되는 지도 서비스가 2D(지적, 위성)에서 항공사진, 스트리트뷰 등 이미지 처리 기술을 통해 지속적으로 발전되고 있다.

또한, 자동차 내비게이션 등을 통해 제공되는 상징적 건물의 경우 3D 형태로 변환되어 처리되지만 퀄리티 및 고화질의 문제로 인하여 작은 디스플레이에서 제공될 뿐이어서, 2D 형태보다 식별력이 떨어져 활용 가치가 낮은 문제가 있었다.

한편, 최근 각광받고 있는 메타버스(현실을 초월한 가상 세계)를 활용한 비대면 온라인 서비스는 코로나19 재확산으로 비대면 생활이 길어지면서 현실을 가상 세계로 확장하려는 열망과 맞물리면서 더욱 주목을 받고 있다.

메타버스는 초월이라는 뜻의 '메타(Meta)'와 세계를 뜻하는 '유니버스(Universe)'가 합쳐진 단어다.

메타버스를 활용한 구체적인 예를 들면, 대학에서 메타버스로 입시 설명회와 신입생 환영회, 대학 축제를 열었고 최근 도서관도 구축하고 있다.

다른 예로, 기업들은 신입 사원 채용 설명회나 사회공헌 프로그램을 메타버스에서 진행하고 있으며, 정치권에서도 대선 후보들이 이른바 'MZ세대' 표심을 잡기 위해 네이버Z의 메타버스 플랫폼 '제페토'에 유세장을 마련한 경우도 있다.

일반적으로 생각하는 메타버스는 아바타를 활용한 게임 혹은 가상공간에서 이뤄지는 비대면 회의 등이다.

하지만 메타버스를 특정 산업에 국한하지 않고 어떻게 활용하느냐에 따라서는 교육, 의료, 엔터테인먼트 등 사회 전반에 혁신을 가져올 수도 있다.

따라서, 전술한 문제를 해결하기 위하여 사회 다양한 방면에 활용할 수 있는 이미지 분석을 이용한 메타버스 생성 장치 및 방법에 대한 연구가 필요하게 되었다.

대한민국 공개특허 제10-2016-0144699호(2016년12월19일 공개)

본 발명의 목적은 가상 공간을 구현한 메타버스를 생성할 공간과 관련된 목표 데이터를 수집하고, 목표 데이터에 포함된 메타정보를 분석하여 추출하며, 메타정보를 토대로 메타버스를 생성하되, 추론엔진을 활용하여 메타버스 공간의 연결성, 추출된 메타정보에 포함된 정보의 정확성에 대해서 학습을 수행하여 메타버스 공간의 정확하고 정교한 생성이 가능하도록 수정 및 보완할 수 있는 이미지 분석을 이용한 메타버스 생성 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 장치는, 가상 공간을 구현한 메타버스를 생성할 공간과 관련된 사진데이터를 포함한 목표 데이터들을 수집하는 수집부; 수집된 목표 데이터를 취합하고, 각 목표 데이터에 포함된 메타정보를 분석하여 추출하며, 메타정보로서 위치정보와 더불어, 신경망 학습 기반 객체 인식 알고리즘을 토대로 목표 데이터의 이미지 내에 포함된 적어도 하나 이상의 객체를 추출한 대상물정보 및 형태정보를 포함시키는 제1 추론엔진; 상기 목표 데이터와 더불어, 상기 제1 추론엔진으로부터 추출된 위치정보, 대상물정보, 형태정보를 포함한 메타정보를 해당 목표 데이터와 연관지어 분류하여 저장하는 라이브러리; 및 상기 라이브러리에서 추출 및 분류되어 저장된 메타정보 데이터들을 장소별로 취합하여 해당 장소에 대한 가상 공간인 메타버스 생성을 수행하는 메타버스생성부를 포함한다.

상기 메타정보는 텍스트정보, 시간정보를 더 포함하는 것을 특징으로 한다.

상기 라이브러리는 상기 제1 추론엔진에서 분석 및 추출된 메타정보들을 요소별로 구분하고 목표 데이터와 연관지어 분리하여 저장하되, 상기 위치정보를 활용한 장소별 또는 상기 시간정보를 활용한 시간별로 분리 저장할 수 있으며, 목표 데이터와의 연관성을 부여하고, 장소별 또는 시간별로 구분하기 위해 태깅 또는 식별용 ID 부여가 이루어지는 것을 특징으로 한다.

상기 이미지 분석을 이용한 메타버스 생성 장치는, 2D 형태로 이루어진 목표 데이터와 해당 목표 데이터로부터 추출된 메타정보를 기반으로 3D 형태의 메타버스 공간을 생성하기 위한 신경망 학습 및 3D 변환 연산을 수행하는 제2 추론엔진을 더 포함한다.

상기 제2 추론엔진은 생성된 메타버스 공간에 대하여 수정 및 보완하기 위한 학습 및 연산을 수행할 수 있으며, 메타버스 공간의 연결성, 추출된 메타정보에 포함된 정보의 정확성에 대해서 학습을 수행하고, 해당 목표 데이터들을 많이 수집하고 반복 학습할수록 메타버스 공간의 정확하고 정교한 생성이 가능하도록 수정 및 보완하는 것을 특징으로 한다.

상기 메타버스생성부에서 생성된 메타버스는 위치정보를 활용하여 장소별구분하여 저장하거나 시간정보를 활용하여 시간별로 구분하여 저장하는 데이터베이스를 더 포함한다.

본 발명의 일 실시예에 따른 상기 이미지 분석을 이용한 메타버스 생성 장치를 이용한 메타버스 생성 방법에 있어서, 상기 수집부는 3D 형태의 가상 공간인 메타버스를 생성하기 위한 목표 데이터를 수집하는 단계; 상기 제1 추론엔진은 수집된 목표 데이터를 취합하고, 각 목표 데이터에 포함된 메타정보를 분석하여 추출하되, 메타정보로서 위치정보와 더불어, 신경망 학습 기반 객체 인식 알고리즘을 토대로 목표 데이터의 이미지 내에 포함된 적어도 하나 이상의 객체를 추출한 대상물정보를 포함시키는 단계; 상기 라이브러리는 상기 목표 데이터와 더불어, 상기 제1 추론엔진으로부터 추출된 위치정보, 대상물정보, 형태정보를 포함한 메타정보를 해당 목표 데이터와 연관지어 분류하여 저장하는 단계; 및 상기 메타버스생성부는 상기 라이브러리에서 추출 및 분류되어 저장된 메타정보 데이터들을 장소별로 취합하여 해당 장소에 대한 가상 공간인 메타버스 생성을 수행하는 단계를 포함한다.

제2 추론엔진은 2D 형태로 이루어진 목표 데이터와 해당 목표 데이터로부터 추출된 메타정보를 기반으로 3D 형태의 메타버스 공간을 생성하기 위한 신경망 학습 및 3D 변환 연산을 수행하는 단계를 더 포함한다.

상기 제2 추론엔진은 생성된 메타버스 공간에 대하여 수정 및 보완하기 위한 학습 및 연산을 수행할 수 있으며, 메타버스 공간의 연결성, 추출된 메타정보에 포함된 정보의 정확성에 대해서 학습을 수행하고, 해당 목표 데이터들을 많이 수집하고 반복 학습할수록 메타버스 공간의 정확하고 정교한 생성이 가능하도록 수정 및 보완하는 단계를 더 포함한다.

상기 메타정보는 텍스트정보, 시간정보를 더 포함하고, 상기 이미지 분석을 이용한 메타버스 생성 방법은 데이터베이스는 메타버스생성부에서 생성된 메타버스를 메타정보를 활용하여 장소별, 시간별로 구분하여 저장하는 단계를 더 포함한다.

본 발명의 이미지 분석을 이용한 메타버스 생성 장치 및 방법은 가상 공간을 구현한 메타버스를 생성할 공간과 관련된 목표 데이터를 수집하고, 목표 데이터에 포함된 메타정보를 분석하여 추출하며, 메타정보를 토대로 메타버스를 생성하되, 추론엔진을 활용하여 메타버스 공간의 연결성, 추출된 메타정보에 포함된 정보의 정확성에 대해서 학습을 수행하여 메타버스 공간의 정확하고 정교한 생성이 가능하도록 수정 및 보완할 수 있는 장점이 있다.

또한, 장소 및 시간별로 분류 저장된 메타버스 데이터는 각종 수요 장치 예를 들어, VR 기기, 지도 맵 앱을 실행하는 스마트폰, 태블릿, 노트북 등의 모바일 디바이스, PC 등에서 요청시 다양한 어플리케이션과 호환하여 화면상에 구현될 수 있으며, 특히 시간 별로 해당 장소를 구현하고 재현할 수 있어, 메타버스 데이터에 의해 구현되는 현실과 유사한 가상 공간에서 시간 여행과 같은 기능을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 장치의 구성 개념을 보인 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 장치의 구성을 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 방법의 라이브러리 생성 과정을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 방법의 메타버스 생성 과정을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 방법의 전체 과정을 보인 순서도이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 장치의 구성 개념을 보인 도면이고, 도 2는 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 장치의 구성을 보인 블록도이다.

본 발명의 이미지 분석을 이용한 메타버스 생성 장치는 도 1 및 도 2를 참조하면 수집부(100), 제1 추론엔진(200), 라이브러리(300), 제2 추론엔진(400), 메타버스생성부(500) 및 데이터베이스(600)를 포함한다.

수집부(100)는 3D 가상 공간을 구현한 메타버스를 생성할 공간과 관련된 목표 데이터들을 수집할 수 있으며, 목표 데이터들은 예컨대 다양한 형태의 장소 이미지에 해당하는 사진 데이터들, 개인활동데이터들, 임의로 등록된 데이터들이 될 수 있다.

수집되는 사진 데이터들은 차량에 의해 촬영되는 블랙박스 데이터, 직접 사람이나 드론 등에 의해 촬영된 데이터 등이 포함될 수 있고, 2D 형태이지만, 같은 장소라 하더라도 다양한 각도, 위치에서 촬영된 사진이 복수로 포함될 수 있으며, 포함되는 사진 수가 많을수록 후술하여 상세히 설명할 메타버스 생성시 유리한 측면이 있으며, 추론엔진의 학습에도 도움을 줄 수 있다.

제1 추론엔진(200)은 수집된 사진 데이터를 취합하고, 각 사진 데이터에 포함된 메타정보를 분석하여 추출하며, 메타정보로서 메타버스 생성을 위해 중요한 요소인 사진 내 대상물정보에 대해서도 객체 인식 알고리즘을 통하여 추가로 추출할 수 있다.

또한 사진 데이터에는 다양한 메타정보를 포함하고 있는데, 기본적으로 촬영시간, 위치(좌표)정보를 포함할 수 있으므로, 이와 같은 정보들을 분석하여 추출한다.

사진 데이터의 이미지 내에 포함되는 각 객체에 대한 대상물정보에 대해서는 객체 인식 알고리즘을 통하여 추출할 수 있으며, 대상물정보는 예컨대 사진 속에 포함된 건물(아파트, 주택 등), 자연물(산, 나무 등), 시설물(교각, 가로등 등), 가공물(가구, 자동차 등) 등이 포함될 수 있다.

위치정보의 경우 정확한 좌표를 획득하기 위하여 사진 데이터에서 추출된 위치정보 외에도 GPS 등으로부터 수집된 위치정보를 추가로 수집할 수도 있다.

객체 인식 알고리즘은 신경망에 기반을 둔 학습 알고리즘으로서, 예컨대 CNN(Convolutional Neural Networks), R-CNN(Region-based Convolutional Neural Networks) 등을 활용하여 사진 데이터에 대해 학습을 시키고, 이를 통하여 객체 인식을 수행할 수 있다.

CNN 알고리즘은 합성곱 연산을 통하여 객체를 인식시키는 신경망 알고리즘으로, 본 발명에서는 특히 객체 위치를 검출하는데 탁월하도록 딥러닝 회귀 방법을 사용한 R-CNN 알고리즘을 이용하여 객체를 인식할 수 있다.

R-CNN 알고리즘은 먼저 후보영역을 생성하고 이를 기반으로 CNN을 학습시켜 영상 내 객체의 위치를 찾아내는 신경망 알고리즘으로, 객체인식과정은 입력된 영상에서 선택적 탐색을 이용하여 후보 영역 생성하는 과정과, 생성된 각 후보 영역들을 동일한 크기로 변환하고, CNN을 통해 특징을 추출하는 과정과, 추출된 특징을 이용하여 후보 영역 내의 객체를 SVM(Suppor Vector Machine)을 이용하여 분류하는 과정을 포함한다. 후보 영역의 위치는 정확하지 않기 때문에 최종적으로 회귀 학습을 통해 객체 영역 박스 위치를 정확히 보정할 수 있다.

또한 다른 신경망 알고리즘으로 Fast R-CNN, R-FCN, YOLO(You only Look Once), 텐서플로(TensorFlow), SSD(Single Shot MultiBox Detector) 등이 있는데, 상술한 신경망 알고리즘을 추가로 적용하거나 R-CNN을 대체하여 적용할 수 있으며, 상술한 신경망 알고리즘을 적용하여 다중 객체를 동시에 인식시켜 객체 인식 속도를 향상시킬 수도 있다.

나아가, 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘이 추가로 이용될 수도 있으며, 이러한 알고리즘 기법들은 모두 외형에 기반하여 인식대상 영역을 식별하는 것으로, 트레이닝에 사용될 영상 이미지들의 집합에 의해 트레이닝된 모델을 이용해서 객체 주위의 영역을 검출하며, 여러 주변의 제약 조건들이 트레이닝을 통해 극복되어지기 때문에 결과적으로 객체 인식 정확도와 신뢰도를 높일 수 있다.

또한 각 장소에 대한 사진 데이터에는 여러 다양한 각도에서 촬영된 이미지가 다수 포함될 수 있는데, 3D 맵 형태로 하나로 객체가 연결되는 메타버스 공간을 생성하기 위해 해당 장소 내 객체(건물 등)의 회전각도, 높이, 폭, 길이에 해당하는 형태정보를 레이저 스캐닝 등을 이용한 물체 감시 알고리즘을 등을 활용하여 추출할 수도 있다.

또한 형태정보는 제2 추론엔진(400)에 제공되어 각 객체(건물 등)가 구성해야 할 연결구조 및 형태를 결정할 때 필수적으로 필요할 수 있다.

상술한 객체 인식 알고리즘을 통하여 대상물뿐만 아니라, 건물이나 간판 등에 표시된 문자를 인식시킬 수 있으며, 너무 작은 글씨의 경우 확대된 이미지를 사용하거나, 광학 문자 인식(OCR)을 통하여 인식시키고 필요한 텍스트 정보를 메타정보로서 추출할 수도 있다.

라이브러리(300)는 제1 추론엔진(200)에서 분석 및 추출된 메타정보들을 요소별로 구분하고 목표 데이터와 연관지어 분리하여 저장하되, 이때 위치정보를 활용한 장소별로 또는 시간정보를 활용한 시간별로 분리 저장할 수 있으며, 추가로 목표 데이터와의 연관성을 부여하고, 장소 및 시간별로 구분하기 위해 태깅 또는 식별용 ID 부여가 이루어질 수도 있다.

특히, 도 3을 참조하면 태깅시 추출된 태그정보를 이용하여 위치, 날짜 및 시간, 오브젝트(대상물), 텍스트에 대해 구분하도록 설정할 수 있으며, 이를 통하여 오브젝트를 분리하고 추후 메타버스생성부(500)를 통하여 메타버스 생성시 구분된 태그정보를 토대로 3D 스캐닝을 수행하고 오브젝트를 배치하여 가상 공간을 구현할 수 있다.

메타버스생성부(500)는 라이브러리(300)에 추출 및 분류되어 저장된 메타정보 데이터들을 장소별로 취합하여 메타버스 생성을 수행할 수 있다.

또한 도 4를 참조하면, 3D 스캐닝 후 추출된 오브젝트(대상물)들(예 :　자연환경, 시설물, 건물, 가공물 등)을 가상 공간에 메타정보를 토대로 배치를 선행하고, 이후 이미지 내 오브젝트와 3D 의 연결성, 정확도 연산을 통해 가상공간을 정밀하게 구현할 수 있다.

즉, 메타버스 생성시 이미지 내 오브젝트와 3D 의 연결성, 정확도 데이터를 학습시키기 위하여 제2 추론엔진(400)을 통한 학습 및 연산을 수행할 수 있다.

구체적으로 제2 추론엔진(400)은 2D 형태로 이루어진 사진 데이터와 추출된 메타정보를 기반으로 3D 형태의 메타버스 공간을 생성하고 추후 수정 및 보완하기 위한 학습 및 연산을 수행할 수 있다.

특히 메타버스 생성시 메타버스 공간의 연결성, 오브젝트(대상물) 및 정보의 정확성 등에 대해서 학습을 수행할 수 있으며, 해당 데이터들(사진 데이터, 연결성 정보, 정확성 정보 등)을 많이 수집(빅데이터화)하고 이를 토대로 반복 학습할수록 메타버스 공간의 정확하고 정교한 생성이 가능해질 수 있다.

나아가 3D 형태의 가상공간인 메타버스를 2D 데이터를 활용하여 기초적인 공간 형태로 변환하기 위해 공지의 모델링 등을 기반으로 한 3D 영상 데이터 전문 변환 툴이나, 알려진 3D 변환 연산 알고리즘들을 활용할 수도 있으며, 변환된 데이터에 대해서 메타정보 등을 활용하여 학습하여 메타버스 공간의 연결성, 정확성 등을 추가로 보정하여 정교한 공간을 생성하도록 할 수도 있다.

데이터베이스(600)는 메타버스를 생성하는데 필요한 데이터 및 정보 즉, 목표 데이터, 메타정보, 학습 데이터 및 생성된 메타버스 데이터(가상 공간 데이터)를 장소별로, 시간별로 분류하여 저장할 수 있으며, 장소별 구분 저장시 메타정보에 포함된 위치정보를 활용하고, 시간별 구분 저장시 시간정보를 활용할 수 있다.

특히 시간별로 분류 저장시, 사진 데이터에서 최초 추출된 메타정보에 포함된 시간 정보를 토대로 시간별 분류 및 저장이 이루어질 수 있다.

이와 같이 장소 및 시간별로 분류 저장된 메타버스 데이터는 각종 수요 장치 예를 들어, VR 기기, 지도 맵 앱을 실행하는 스마트폰, 태블릿, 노트북 등의 모바일 디바이스, PC 등에서 요청시 다양한 어플리케이션과 호환하여 화면상에 구현될 수 있으며, 특히 시간 별로 해당 장소를 구현하고 재현할 수 있어, 메타버스 데이터에 의해 구현되는 현실과 유사한 가상 공간에서 시간 여행과 같은 기능을 제공할 수 있다.

도 3은 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 방법의 라이브러리(300) 생성 과정을 설명하기 위한 순서도이고, 도 4는 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 방법의 메타버스 생성 과정을 설명하기 위한 순서도이며, 도 5는 본 발명의 일 실시예에 따른 이미지 분석을 이용한 메타버스 생성 방법의 전체 과정을 보인 순서도이다.

상술한 이미지 분석을 이용한 메타버스 생성 장치를 이용한 이미지 분석을 이용한 메타버스 생성 방법은 우선 3D 형태의 가상 공간인 메타버스를 생성하기 위해 2D 형태의 데이터 예를 들어 사진 데이터를 수집한다(S100).

이때 수집되는 사진 데이터는 같은 장소에 대해서 여러 각도로 촬영된 사진이 포함될 수 있으며, 사진 형태가 다양하고 많을수록 신경망 학습 기반의 추론 엔진에 의해 메타버스 생성시 정교하고 정확한 메타버스를 생성시킬 수 있다.

사진 데이터를 수집한 다음, 제1 추론엔진(200)의 신경망 학습을 통해 데이터 분석을 수행한다(S102).

제1 추론엔진(200)의 데이터 분석 과정은 데이터 내에 포함된 각 요소에 해당하는 메타정보를 추출하는 과정이며, 메타정보를 추출함으로써, 메타버스 공간을 생성하는 데 필요한 정보를 활용하여 정교하고 정확한 메타버스 데이터 생성하는데 도움을 줄 수 있으며, 나아가 시간별 메타버스 데이터를 생성할 수도 있도록 보조할 수도 있다.

요소는 이를 테면, 촬영시간, 위치(좌표)정보와 같은 보조 정보가 될 수도 있지만, 사진 이미지 내에 포함되는 오브젝트 즉, 대상물에 대한 정보인 대상물정보를 포함할 수 있다.

이와 같은 대상물정보를 추출함으로써, 정교한 메타버스를 구현할 수 있도록 하며, 대상물정보를 잘 인식하고 추출하기 위해서 상술한 바와 같은 하나 이상의 신경망 기반 객체 인식 알고리즘을 활용할 수 있다.

다음으로, 객체 인식 알고리즘 등을 활용하여 요소를 추출 후 요소별로 구분하고 분류하여 메타버스 생성시 활용하기 위해 일목요연하게 정리하여 라이브러리(300)에 저장할 수 있다(S104).

다음, 라이브러리(300)에 저장된 요소에 해당하는 메타정보를 활용하여 제2 추론엔진(400)의 학습을 통해 특정 장소나 건물 등에 대한 3D 변환 및 메타버스 데이터를 생성한다(S106).

이때 생성되는 메타버스 데이터는 장소의 호환, 연결성, 정교함 등을 기준으로 제2 추론엔진(400)의 신경망 학습에 의해 하나의 가상 공간으로 이어지도록 생성될 수 있으며, 데이터는 좌표나 구간별로 분할하여, 저장할 수 있다(S108).

특히 메타버스 생성시, 제2 추론엔진(400)에 의해 하나의 장소에 대해서 시간별로 수집된 사진 데이터 및 추출된 요소들을 활용하여 별도로 분류하여 생성하고 데이터베이스(600)에 구분하여 저장할 수 있다.

나아가, 저장된 데이터들에 대해서 보호하고 관리하기 위해 데이터베이스(600)에 저장되는 데이터들에 대해서는 무결성 검증을 위해 별도의 블록체인 서버(미도시)를 마련하고, 블록체인 망을 통하여 관리될 수도 있다.

나아가 인증부는 다수의 블록체인서버와 연계하여 블록체인망을 구축하고, 기구축된 내부의 블록체인 네트워크를 통해 공개키 및 개인키를 생성하여 해쉬값으로 변환하여 분산 저장하고, 분산 저장된 공개키와 사용자의 개인정보를 기반으로 사용자 인증을 수행할 수 있다.

더 나아가 본 발명의 이미지 분석을 이용한 메타버스 생성 장치와 통신할 수 있는 수요 장치인 다수의 고객 단말(미도시)에서 공개키와 함께 개인 고유의 사용자 정보를 전송받아 사용자 정보에 대한 해쉬값을 포함하는 사용자 인증서를 각각 생성할 수 있으며, 각 사용자 인증서에 대한 저장 방식은 머클 트리 구조에 의해 이루어질 수 있다.

가령, 각각의 사용자 인증서(거래)를 최하위 자식 노드에 해쉬값을 포함하여 저장하고, 머클 트리의 최상위 레벨인 머클 루트(부모 노드)에는 최하위 자식 노드와 이어지는 경로 상에 있는 중간 노드에 해시값을 공유하도록 해싱(hashing)하여 저장하게 된다.

이를 통해 저장된 사용자 인증서의 진위 여부를 판단할 때, 개인의 고객 단말에 복사된 사용자 인증서와 데이터베이스(600)의 사용자 인증서를 비교하게 되고, 머클 트리의 경로를 따라 해싱된 해쉬값만을 비교하여 이루어지게 된다.

이때, 머클 트리의 경로 상에서 비교 연산이 이루어짐에 따라 모든 노드의 블록에 대한 비교 연산을 수행하지 않아도 되기 때문에, 비교적 쉬운 연산량으로 진위 여부를 판단할 수 있으며, 거래의 위변조도 쉽고 빠르게 찾아낼 수 있으며, 용량이 작은 휴대 단말 형태의 고객 단말에서도 쉽게 거래를 검증할 수 있게 된다.

나아가 추론엔진에는 복수의 사진 데이터를 추출하더라도, 카메라 성능의 한계나 카메라 오류 등으로 인하여 객체 인식에 필요한 정도의 이미지가 선명하지 않는 경우의 이미지 복원에 활용하기 위한 추가 신경망 학습 알고리즘을 활용할 수도 있다.

구체적으로 생성적 적대 신경망(Generative Adversarial Networks)을 활용함으로써, 새로운 이미지를 생성 또는 재생성할 수 있어 손상된 이미지 복원에 활용될 수 있다.

생성적 적대 신경망은 기존의 딥러닝 네트워크와는 달리 여러 개의 심층 신경망으로 이루어진 구조로, 고해상도 이미지를 생성하기 위해 기존 심층 신경망 모델보다 수십 배 많은 연산량을 요구하지만, 이미지 복원에 탁월한 성능을 제공할 수 있다.

또한 생성적 적대 신경망은 생성기(Generator)와 판별기(Discriminator)로 두 네트워크를 적대적(Adversarial)으로 학습시키는 비지도 학습 기반 생성모델로서, 생성기에는 입력 데이터가 입력되어 실제 이미지와 유사한 가짜 이미지를 만들어내도록 학습될 수 있다. 입력 데이터는 노이즈 값이 입력될 수 있다. 노이즈 값은 어떤 확률 분포를 따를 수 있다. 예컨대, 제로 평균 가우시안(Zero-Mean Gaussian)으로 생성된 데이터일 수 있다.

판별기는 실제 이미지와 생성기가 생성한 가짜 이미지를 판별하도록 학습할 수 있다. 보다 구체적으로는, 실제 이미지를 입력하면 높은 확률이 나오도록, 가짜 이미지를 입력하면 확률이 낮아지도록 학습할 수 있다. 즉, 판별기는 실제 이미지와 가짜 이미지를 잘 판별하도록 점진적으로 학습할 수 있다.

또한, 생성적 적대 신경망(GAN) 알고리즘을 활용하여 가짜 이미지를 생성하여, 가상 공간인 메타버스 세계에 자신의 실물 사진 대신에 자신의 아바타를 구현할 수도 있으며, 학습에 의해 가짜 이미지가 진짜 이미지에 가깝게 만들어낼 수도 있다.

더 나아가 GAN 중에서도 딥컨벌루션 생성적 적대 신경망에 해당하는 DC-GAN을 활용하여 딥페이크 아바타 형태로도 구현하고, 딥페이크의 형태는 자신의 얼굴을 닮은 형태가 될 수 있으며, 초상권 문제와 관련하여서는 당사자의 협의를 전제로 하여 딥페이크가 허용되는 선에서 이루어지도록 할 수 있다.

DC-GAN은 두 개의 생성기와 두 개의 판별기를 구성한 Cycle-GAN을 구성할 필요가 있으며, 훈련 기간 동안 두 개의 서로 다른 수많은 이미지 세트가 입력으로 전송되며, 각각 두 개의 DCGAN 즉 이 두 도메인을 X 및 Y로 나타낸다.

DCGAN 중 하나의 경우 입력 이미지 x는 도메인 X의 구성원 및 노이즈 신호는 도메인 Y의 이미지와 비슷해야 하고, 기존 도메인과 다른 도메인 X의 GAN의 생성기를 G로 표시하고 G에 의해 생성된 이미지를 G (x)로 표시한다.

도메인 Y는 이 GAN의 대상 도메인이고, 마찬가지로 다른 GAN의 경우 입력 이미지는 도메인 Y에 속하는 y이고, 생성기 (F로 표시)도 이미지 (표시 이미지와 구분하기 어려운 F(y)) 따라서 X는 이 GAN의 대상 도메인이 된다.

생성기 G가 있는 GAN의 판별기는 다음과 같이 표시될 수 있다.

목적은 가짜 이미지 G(x)를 도메인 Y의 실제 이미지와 구별하는 것이므로 DY로 다른 GAN은 DX로 표시될 수 있다.

또한, 주기 일관성 손실(cycle consistency loss, Lcyc)을 도입하여 한 도메인에서 다른 도메인으로 이미지를 변환하면 다시 이 도메인으로 복귀시, 마지막으로 이미지가 있던 곳으로 복귀한다. 이것은 입력과 출력을 매핑하는 것이 합리적임을 의미하며, 이때의 주기 일관성 손실은 다음의 두 부분으로 구성된다.

하나는 F(G(x)) = x (G 매핑을 통해 입력 이미지 x를 도메인 X에서 도메인 Y로, 그리고 매핑을 통해 다시 도메인 X로 변환)를 통해 도메인 X로 돌아가는 전방향 주기 일관성 손실(forward cycle-consistency loss)이고, 다른 하나는 G(F(y)) = y에 해당하는 역방향 주기 일관성 손실(backward cycle-consistency loss)이라고 한다.

본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.

무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

100 : 수집부
200 : 제1 추론엔진
300 : 라이브러리
400 : 제2 추론엔진
500 : 메타버스생성부
600 : 데이터베이스

Claims (10)

1. 가상 공간을 구현한 메타버스를 생성할 공간과 관련된 사진데이터를 포함한 목표 데이터들을 수집하는 수집부;
   수집된 목표 데이터를 취합하고, 각 목표 데이터에 포함된 메타정보를 분석하여 추출하며, 메타정보로서 위치정보와 더불어, 신경망 학습 기반 객체 인식 알고리즘을 토대로 목표 데이터의 이미지 내에 포함된 적어도 하나 이상의 객체를 추출한 대상물정보 및 형태정보를 포함시키는 제1 추론엔진;
   상기 목표 데이터와 더불어, 상기 제1 추론엔진으로부터 추출된 위치정보, 대상물정보, 형태정보를 포함한 메타정보를 해당 목표 데이터와 연관지어 분류하여 저장하는 라이브러리; 및
   상기 라이브러리에서 추출 및 분류되어 저장된 메타정보 데이터들을 장소별로 취합하여 해당 장소에 대한 가상 공간인 메타버스 생성을 수행하는 메타버스생성부;를 포함하며,
   상기 제1 추론엔진은 수집된 사진 데이터를 취합하고, 각 사진 데이터에 포함된 메타정보를 분석하여 추출하며, 메타정보로서 메타버스 생성을 위해 중요한 요소인 사진 내 대상물정보에 대해서 객체 인식 알고리즘을 통하여 추출하며,
   상기 객체 인식 알고리즘은 신경망에 기반을 둔 학습 알고리즘이며,
   상기 신경망에 기반을 둔 학습 알고리즘은 딥러닝 회귀 방법을 사용한 R-CNN 알고리즘을 이용하며,
   상기 R-CNN 알고리즘은 먼저 후보영역을 생성하고 이를 기반으로 CNN을 학습시켜 영상 내 객체의 위치를 찾아내는 신경망 알고리즘으로, 객체인식과정은 입력된 영상에서 선택적 탐색을 이용하여 후보 영역 생성하는 과정과, 생성된 각 후보 영역들을 동일한 크기로 변환하고, CNN을 통해 특징을 추출하는 과정과, 추출된 특징을 이용하여 후보 영역 내의 객체를 SVM(Suppor Vector Machine)을 이용하여 분류하는 과정을 포함하는 이미지 분석을 이용한 메타버스 생성 장치.
2. 청구항 1에 있어서,
   상기 메타정보는
   텍스트정보, 시간정보를 더 포함하는 이미지 분석을 이용한 메타버스 생성 장치.
3. 청구항 2에 있어서,
   상기 라이브러리는
   상기 제1 추론엔진에서 분석 및 추출된 메타정보들을 요소별로 구분하고 목표 데이터와 연관지어 분리하여 저장하되, 상기 위치정보를 활용한 장소별 또는 상기 시간정보를 활용한 시간별로 분리 저장할 수 있으며,
   목표 데이터와의 연관성을 부여하고, 장소별 또는 시간별로 구분하기 위해 태깅 또는 식별용 ID 부여가 이루어지는 것을 특징으로 하는 이미지 분석을 이용한 메타버스 생성 장치.
4. 청구항 1에 있어서,
   2D 형태로 이루어진 목표 데이터와 해당 목표 데이터로부터 추출된 메타정보를 기반으로 3D 형태의 메타버스 공간을 생성하기 위한 신경망 학습 및 3D 변환 연산을 수행하는 제2 추론엔진을 더 포함하는 이미지 분석을 이용한 메타버스 생성 장치.
5. 청구항 4에 있어서,
   상기 제2 추론엔진은
   생성된 메타버스 공간에 대하여 수정 및 보완하기 위한 학습 및 연산을 수행할 수 있으며, 메타버스 공간의 연결성, 추출된 메타정보에 포함된 정보의 정확성에 대해서 학습을 수행하고, 해당 목표 데이터들을 많이 수집하고 반복 학습할수록 메타버스 공간의 정확하고 정교한 생성이 가능하도록 수정 및 보완하는 것을 특징으로 하는 이미지 분석을 이용한 메타버스 생성 장치.
6. 청구항 3에 있어서,
   상기 메타버스생성부에서 생성된 메타버스는 위치정보를 활용하여 장소별구분하여 저장하거나 시간정보를 활용하여 시간별로 구분하여 저장하는 데이터베이스
   를 더 포함하는 이미지 분석을 이용한 메타버스 생성 장치.
7. 청구항 1 내지 청구항 6 중 어느 한 항의 이미지 분석을 이용한 메타버스 생성 장치를 이용한 메타버스 생성 방법에 있어서,
   상기 수집부는 3D 형태의 가상 공간인 메타버스를 생성하기 위한 목표 데이터를 수집하는 단계;
   상기 제1 추론엔진은 수집된 목표 데이터를 취합하고, 각 목표 데이터에 포함된 메타정보를 분석하여 추출하되, 메타정보로서 위치정보와 더불어, 신경망 학습 기반 객체 인식 알고리즘을 토대로 목표 데이터의 이미지 내에 포함된 적어도 하나 이상의 객체를 추출한 대상물정보를 포함시키는 단계;
   상기 라이브러리는 상기 목표 데이터와 더불어, 상기 제1 추론엔진으로부터 추출된 위치정보, 대상물정보, 형태정보를 포함한 메타정보를 해당 목표 데이터와 연관지어 분류하여 저장하는 단계; 및
   상기 메타버스생성부는 상기 라이브러리에서 추출 및 분류되어 저장된 메타정보 데이터들을 장소별로 취합하여 해당 장소에 대한 가상 공간인 메타버스 생성을 수행하는 단계
   를 포함하는 이미지 분석을 이용한 메타버스 생성 방법.
8. 청구항 7에 있어서,
   제2 추론엔진은 2D 형태로 이루어진 목표 데이터와 해당 목표 데이터로부터 추출된 메타정보를 기반으로 3D 형태의 메타버스 공간을 생성하기 위한 신경망 학습 및 3D 변환 연산을 수행하는 단계
   를 더 포함하는 이미지 분석을 이용한 메타버스 생성 방법.
9. 청구항 8에 있어서,
   상기 제2 추론엔진은
   생성된 메타버스 공간에 대하여 수정 및 보완하기 위한 학습 및 연산을 수행할 수 있으며, 메타버스 공간의 연결성, 추출된 메타정보에 포함된 정보의 정확성에 대해서 학습을 수행하고, 해당 목표 데이터들을 많이 수집하고 반복 학습할수록 메타버스 공간의 정확하고 정교한 생성이 가능하도록 수정 및 보완하는 단계
   를 더 포함하는 이미지 분석을 이용한 메타버스 생성 방법.
10. 청구항 8에 있어서,
    상기 메타정보는
    텍스트정보, 시간정보를 더 포함하고,
    상기 이미지 분석을 이용한 메타버스 생성 방법은
    데이터베이스는 메타버스생성부에서 생성된 메타버스를 메타정보를 활용하여 장소별, 시간별로 구분하여 저장하는 단계
    를 더 포함하는 이미지 분석을 이용한 메타버스 생성 방법.

Images