KR101390383B1 - 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치 - Google Patents

Abstract

다양한 작업 환경 및 사용자 작업 시나리오 요구에 대응하여 장치 플랫폼을 변형하도록 한 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치가 제시된다. 제시된 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치는, 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠의 입체영상을 출력하는 영상 출력부; 영상 출력부를 통해 출력되는 입체영상에 대한 사용자의 움직임을 근거로 실제 작업도구를 이용한 작업시에 발생하는 감각 피드백과 동일한 감각 피드백을 발생하는 사용자 작업도구부; 및 사용자 작업도구부의 움직임을 감지한 감지신호를 영상 출력부 및 사용자 작업도구부로 전송하는 트래킹부를 포함한다.

Description

가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치{Apparatus for managing a reconfigurable platform for virtual reality based training simulator}

본 발명은 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치에 관한 것으로, 더욱 상세하게는 다양한 작업 환경 및 사용자 중심의 요구 사항을 수용하여 가상현실 기반 훈련 시뮬레이터를 제공하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치에 관한 것이다.

실제 도구를 이용한 기존의 훈련 방법은 소모성 재료의 사용, 제한된 훈련 공간, 부대 시설 관리 문제, 전압, 전류, 열 방출, 스패터(불꽃)에 의한 초보자의 안전사고 위험, 및 훈련에 대한 소극적 대응 등 많은 어려움이 존재한다. 즉, 현장에서는 고도의 숙련된 작업자를 요구하고 있지만, 앞에서 열거한 문제점들은 효율적인 훈련 과정 수행에 걸림돌이 되고 있다.

이러한 문제점들을 해결하기 위해, 실제 작업 환경과 동일한 가상의 환경을 조성하고, 조성된 가상의 환경에서 상기한 문제점들로 인해 발생하는 어려움을 최소화하며 작업자가 훈련을 수행할 수 있도록 하는 가상현실 기반 훈련 시뮬레이터들이 개발되었다.

가상현실 기반 훈련 시뮬레이터는 현장의 교육 및 훈련 상황을 실시간 시뮬레이션을 기반으로 디지털 콘텐츠로 구현하고, 사용자가 직접 콘텐츠와 상호작용할 수 있는 입출력 인터페이스 장치를 구비하여, 실제 작업 환경에서 얻는 것과 동일한 경험을 사용자에게 제시하는 시스템이다. 이를 활용하면 훈련과 관련한 비용의 절감 및 안전사고의 감소 등, 높은 경제적 효과 및 효율적인 과정으로 훈련을 수행하는 것이 가능하다. 이에 우주, 항공, 군사, 의료, 교육 및 산업 현장 등 다양한 상황에 대응하는 시뮬레이션 시스템이 개발되고 있다.

하지만, 종래 가상현실 기반 훈련 시뮬레이터들의 경우, 작업 현장에서의 모든 상황에 유동적으로 대응할 수 있는 다양한 작업 시나리오를 제시하고 있지 못하고 있다.

그에 따라, 종래 가상현실 기반 훈련 시뮬레이터들은 다양한 작업 현장 및 상황에 능동적으로 대처할 수 있는 가상훈련 기반 시뮬레이터를 원하는 소비자의 기술 수요를 지원하지 못하는 한계점이 있다.

가상 용접 훈련을 위한 기존 기술 사례는 "123 Certification, Inc.의 Virtual Simulator Method and System for Neuromuscular Training and Certification via a Communication Network"와 "(주)삼성중공업과 KAIST의 용접 시뮬레이터"가 있으나, 다음과 같이 본 발명이 이루고자 하는 기술적 과제와 같이 현장의 모든 상황에 유동적으로 대응하여 다양한 작업 시나리오를 구현해야 하는 소비자의 기술 수요를 지원하지 못하는 한계점이 있다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로서, 가상현실 기반 훈련 시뮬레이션 콘텐츠를 운영하기 위한 이동 운영이 용이하도록 한 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 다양한 작업 환경 및 사용자 작업 시나리오 요구에 대응하여 장치 플랫폼을 변형하도록 한 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치를 제공하는 것을 목적으로 한다.

또한, 본 출원인의 선행 출원 특허(출원번호: 10-2009-0125543, "가상현실 기반 훈련 시뮬레이터를 위한 가변형 장치 플랫폼 및 운영 방법"을 보완한 것으로, 사용자가 특정 도구를 들고 다양한 훈련 과정을 수행하는 상황을 완전 몰입형 가상공간에 재현하여 현장에서의 시스템 운영에 대한 공간 운영 차원의 효율성을 최대화하고, 사용자에게 완전하게 몰입된 가상 환경을 제공하도록 하는 플랫폼 장치 및 방법을 제공하는 것을 목적으로 한다.

부수적으로, 본 발명의 실시예로 가상 용접 훈련 시뮬레이터의 사례를 구체적으로 제시함으로써, 기존 기술이 해결하지 못한 다양한 용접 작업 자세 시나리오를 지원하고, 작업 현장에서 느낄 수 있는 느낌(시각, 청각, 촉각, 후각 등)을 동일하게 사용자가 체험할 수 있도록 하는 플랫폼 장치 및 방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치는, 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠의 입체영상을 출력하는 영상 출력부; 영상 출력부를 통해 출력되는 입체영상에 대한 사용자의 움직임을 근거로 실제 작업도구를 이용한 작업시에 발생하는 감각 피드백과 동일한 감각 피드백을 발생하는 사용자 작업도구부; 및 사용자 작업도구부의 움직임을 감지한 감지신호를 영상 출력부 및 사용자 작업도구부로 전송하는 트래킹부를 포함한다.

영상 출력부는, 혼합현실 콘텐츠의 입체영상을 좌/우 시각 정보로 분류하여 출력하는 입체 디스플레이부; 추가정보를 가시화하여 입체 디스플레이부에서 출력되는 입체영상에 출력하는 정보 가시화부; 및 사용자 신체정보 및 출력중인 혼합현실 콘텐츠에 근거하여 입체 디스플레이부와 혼합현실 기반 정보 가시화부 및 LMD 기반 정보 가시화부의 구조 변경을 위한 변경정보를 설정하는 가변형 플랫폼 제어부를 포함한다.

정보 가시화부는, 추가정보를 가시화하여 입체 디스플레이부에서 출력되는 입체영상에 출력하는 혼합현실 기반 정보 가시화부; 및 추가정보를 가시화하여 입체 디스플레이부에서 출력되는 입체영상의 외부에 출력하되, 복수의 사용자에게 사용자별로 차별화된 추가정보를 제공하는 LMD 기반 정보 가시화부를 포함한다.

LMD 기반 정보 가시화부는 증강현실에서 사용하는 see-through형 LMD 기반의 디스플레이 장치로 구성된다.

영상 출력부는, 사용자에 대한 사용자 신체정보를 감지하는 센서부; 및 사용자 인터페이스부로부터의 입력정보와 가변형 플랫폼 제어부로부터의 변경정보 및 센서부에서 감지한 사용자 신체정보 중에 적어도 하나를 근거로 입체 디스플레이부 및 정보 가시화부의 구조를 변경하는 수동/자동 제어부를 포함한다.

가변형 플랫폼 제어부는, 사용자의 사용자 신체정보 및 혼합현실 콘텐츠를 근거로 입체 디스플레이부의 높이, 회전, 거리를 포함하는 변경정보를 설정한다.

가변형 플랫폼 제어부는, 사용자의 신체 높이 및 바닥 압력 분포를 기준값과 비교하여 영상 출력부의 위치를 수정하기 위한 수정 안내 정보를 생성하고, 생성한 수정 안내 정보를 사용자 인터페이스부로 전송하여 출력한다.

가변형 플랫폼 제어부는, 사용자의 신체 높이 및 바닥 압력 분포를 기준값과 비교하여 영상 출력부의 위치를 변경한다.

입체 디스플레이부는, LCD 평면 입체 영상패널 및 반투명 거울로 구성되고, LCD 평면 입체 영상패널 및 반투명 거울 사이에 광위상지연기가 설치된다.

사용자 작업도구부는, 복수의 혼합현실 콘텐츠에 사용되는 복수의 작업도구를 생성하는 작업도구 생성부; 및 작업도구의 내부에 형성되어 혼합현실 콘텐츠의 시뮬레이션에 따른 다중 감각 피드백을 지원하는 작업도구 지원부를 포함한다.

작업도구 지원부는, 시각 감각을 자극하는 정보의 출력으로 작업도구와 관련된 피드백 정보를 전달하는 시각 피드백 지원부; 물리적 및 인지적인 힘 효과를 전달하는 햅틱 피드백 지원부; 음향 효과를 이용한 입출력 정보를 표현하는 음향 피드백 지원부; 후각 감각 기관을 이용한 정보의 입출력을 제공하는 후각 피드백 지원부; 및 트래킹부와 연계하여 작업도구의 위치정보 및 자세정보를 교환하는 트래킹 지원부를 포함한다.

트래킹부는, 사용자 및 사용자 작업도구부의 위치, 자세, 압력, 가속도, 온도 중에 적어도 하나를 감지하여 사용자 및 사용자 작업도구부를 추적하는 센서 기반 실시간 추적 생성부; 저장된 복수의 추적 데이터를 일정한 시간을 주기로 시뮬레이션하여 현재 센서에서 발생한 값인 입력값을 생성하는 데이터 DB 기반 추적 정보 생성부; 및 데이터 DB 기반 추적 정보 생성부로부터의 입력값을 이용하여 물리적인 센싱값을 생성하는 가상 센서 기반 추적 정보 생성부를 포함한다.

트래킹부는, 사용자의 움직임을 추적하기 위해 복수의 카메라의 설치 위치 및 촬영방향을 포함하는 카메라 기반 안정적 추적 공간을 설정한다.

사용자 인터페이스부는, 시스템 운영 설정 및 작업 시나리오 관련 파라미터를 설정하기 위한 설정값을 입력받아 출력하고, 입력된 시스템 운영 설정 및 시나리오 관련 파라미터를 콘텐츠 운영부로 전송하는 GUI 조작부; 및 작업 시나리오 조건에 근거하여 가변형 하드웨어 플랫폼의 자세 변경 및 안내 정보를 영상 출력부로 전송하고, 시뮬레이터를 제어하기 위한 제어신호를 발생하는 시뮬레이터 관리용 제어부를 포함한다.

사용자 인터페이스부는, 사용자 신체 정보 및 작업 시나리오를 근거로 영상 출력부의 높이 및 회전각도 중에 적어도 하나를 포함하는 파라미터를 조정하기 위한 설정값을 입력받는다.

복수의 혼합현실 콘텐츠를 관리하고, 복수의 혼합현실 콘텐츠 중에서 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠를 검출하여 영상 출력부에게로 제공하는 콘텐츠 운영부를 더 포함한다.

콘텐츠 운영부는, 트래킹부로부터 추적 대상 개체로부터 발생되는 트래킹 정보를 수신하여 처리하는 트래킹 데이터 처리부; 시뮬레이터를 활용하는 현장 시나리오를 중심으로 주변 객체와의 상호작용을 시뮬레이션하는 실시간 작업 시뮬레이션부; 실시간 작업 시뮬레이션부에서의 시뮬레이션 결과를 렌더링하여 영상 출력부로 전송하여 출력하는 실시간 결과 렌더링부; 혼합현실 콘텐츠의 상황 정보 및 시뮬레이터 정보를 연계처리하여 플랫폼의 변경 정보를 설정하는 사용자 중심 가변형 플랫폼 제어부; 사용자 중심 가변형 플랫폼 제어부에서 설정된 변경 정보를 사용자 인터페이스부에게로 전송하는 사용자 인터페이스 제어부; 콘텐츠 생성부에서 생성된 복수의 작업 환경에 대응되는 복수의 혼합현실 콘텐츠를 저장하는 네트워크 기반 훈련 DB; 및 실시간 작업 시뮬레이션부로부터의 시뮬레이션 결과에 따른 다중 감각 피드백 제어 신호를 생성하여 사용자 작업도구부로 전송하는 다중 감각 피드백 제어부를 포함한다.

외부로 시뮬레이션 진행 과정 및 결과를 출력하는 외부 관찰용 콘텐츠 출력부; 시스템의 설치 및 관리를 수행하는 시스템 보호부; 시스템의 이동 및 다수의 플랫폼 동시 설치를 제공하는 시스템 분해 및 연계 조립 지원부; 및 원격 제어 장치와 시스템의 가동과 종료 및 사용자 인터페이스부에서 처리되는 작업 조건 설정 중에 적어도 하나를 제어하기 위한 제어정보를 송수신하는 서버 기반 시스템 원격 관리부를 포함하여 구성되는 시스템 관리부를 더 포함한다.

사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠를 생성하는 콘텐츠 생성부를 더 포함한다.

콘텐츠 생성부는, 혼합현실 콘텐츠에 포함되는 객체 모델링 및 저장된 객체 선택 중에 하나의 방법으로 사용자 작업도구부로부터 가상 객체 모델을 입력받아 실제 객체를 획득하는 실제 객체 획득부; 입력되는 영상 또는 이미지 기반 모델링 기법을 통해 실제 객체 획득부를 통해 획득한 실제 객체에 대응하는 가상 객체를 생성하는 가상 객체 생성부; 가상 객체 생성부에서 생성된 가상 객체에 대한 시나리오를 생성하는 객체간 상호작용 시나리오 생성부; 및 객체간 상호작용 시나리오 생성부에서 생성된 시나리오를 저장하는 혼합현실 콘텐츠 DB를 포함한다.

본 발명에 따르면 다음과 같은 효과를 기대할 수 있다.

실제 작업 환경과 동일한 훈련 시스템을 구축하는데 필요한 비용, 및 훈련용 재료의 소비에 따른 소모성 비용을 가상현실 데이터로 대체함으로써, 비용절감을 통한 경제적 이득을 도모할 수 있다.

특히, 본 발명에서 실시예로 제시하는 가상 용접 훈련 시뮬레이터의 경우, 다양한 작업 구조물에 따른 훈련 공간, 작업 준비 시간, 훈련 후 정리 작업 시간 등을 보다 효율적으로 활용할 수 있게 하고, 또 초보자의 안전사고에 대한 위험을 감소시킬 수 있어서, 숙련된 작업자 양성에 도움이 될 수 있다.

또한, 본 발명은 교육 및 훈련 과정이 필요한 임의의 작업 현장을 실시간 시뮬레이션 기반으로 가시화 시켜줌으로써, 사용자의 활동을 통해서 시나리오를 진행시키는 모든 분야에 폭넓게 활용될 수 있다.

또한, 본 발명은 실제 상황의 훈련 시나리오 및 사용자의 행위를 실시간 시뮬레이션을 기반으로 완전 몰입형 가상의 공간에서 재현하여, 현실 상황과 동일한 교육 및 훈련 경험을 사용자에게 제공함으로써, 실제 교육 및 훈련 과정에서 발생하는 안전 사고 문제를 최소화할 수 있다.

도 1은 본 발명의 실시예에 따른 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치를 설명하기 위한 도면.
도 2 내지 도 4는 도 1의 영상 출력부를 설명하기 위한 도면.
도 5 및 도 6은 도 1의 사용자 작업도구부를 설명하기 위한 도면.
도 7은 도 1의 트래킹부를 설명하기 위한 도면.
도 8은 도 1의 인터페이스부를 설명하기 위한 도면.
도 9는 도 1의 콘텐츠 운영부를 설명하기 위한 도면.
도 10은 도 1의 시스템 관리부를 설명하기 위한 도면.
도 11은 도 1의 콘텐츠 생성부를 설명하기 위한 도면.
도 12는 본 발명의 일실시예에 따른 산업용 가상 용접 훈련 시뮬레이터의 구성을 설명하기 위한 예시도이다.
도 13 내지 도 16은 도 13의 영상 출력부를 설명하기 위한 도면.
도 17은 도 13의 가변형 플랫폼 제어부를 설명하기 위한 도면.
도 18 및 도 19는 도 13의 사용자 작업도구부를 설명하기 위한 도면.
도 20은 도 13의 트래킹부를 설명하기 위한 도면.
도 21은 도 13의 콘텐츠 운영부를 설명하기 위한 도면.
도 22는 도 13의 시스템 관리부를 설명하기 위한 도면이다.
도 23은 본 발명의 실시예에 따른 교육기관용 가상 용접 훈련 시뮬레이터의 구현 개념도.
도 24는 본 발명의 실시예에 따른 FMD 기반 가상 용접 훈련 시뮬레이터의 개념도.
도 25는 도 24의 영상 출력부 및 LMD지원형 FMD 확장 버전의 활용 예를 표현한 도면.
도 26 내지 33은 도 24의 트래킹부의 가변형 설치 프레임 구조 및 시스템 관리부의 개념도.
도 33 내지 도 36은 FMD 기반 가상 용접 훈련 시뮬레이터의 구현을 위한 카메라 기반 추적부를 설명하기 위한 도면.
도 37은 도 24의 웹패드 기반 결과 평가 및 시스템 원격 관리부의 활용 예의 개념도.
도 38은 본 발명의 실시예에 따른 FMD 기반 가상 용접 훈련 시뮬레이터의 운영 방법 및 설치 사례를 설명한 도면.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하, 본 발명의 실시예에 따른 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치를 설명하기 위한 도면이다. 도 2 내지 도 4는 도 1의 영상 출력부를 설명하기 위한 도면이고, 도 5 및 도 6은 도 1의 사용자 작업도구부를 설명하기 위한 도면이고, 도 7은 도 1의 트래킹부를 설명하기 위한 도면이고, 도 8은 도 1의 인터페이스부를 설명하기 위한 도면이고, 도 9는 도 1의 콘텐츠 운영부를 설명하기 위한 도면이고, 도 10은 도 1의 시스템 관리부를 설명하기 위한 도면이고, 도 11은 도 1의 콘텐츠 생성부를 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치는 영상 출력부(100), 사용자 작업도구부(200), 트래킹부(300), 사용자 인터페이스부(400), 콘텐츠 운영부(500), 시스템 관리부(600), 콘텐츠 생성부(700)를 포함하여 구성된다. 여기서, 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치는 시스템 관리부(600) 및 사용자(10; 또는 훈련용 도구)를 포함하는 상부(A), 영상 출력부(100)와 사용자 작업도구부(200)와 트래킹부(300) 및 사용자 인터페이스부(400)를 포함하는 중부(B), 콘텐츠 운영부(500) 및 콘텐츠 생성부(700)를 포함하는 하부(C)로 분류될 수 있으며, 소비자의 요구에 따라서 상부와 중부 및 하부 각각의 기술 구현 방법을 다르게 하거나 후술한 각 구성요소의 세부 구성의 구현 방법을 유사 기술로 대체하거나, 일부 구성을 생략한 상태로 운영할 수 있다.

영상 출력부(100)는 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠의 입체영상을 출력한다. 이때, 영상 출력부(100)는 사용자 신체 및 작업 환경에 적합한 형태로 변환된 혼합현실 콘텐츠(즉, 사용자의 작업 훈련을 위해 제공되는 훈련 콘텐츠)의 입체영상을 완전 몰입형 기법으로 제공한다. 이를 위해, 도 2에 도시된 바와 같이, 영상 출력부(100)는 입체디스플레이부(110), 정보 가시화부(120), 가변형 플랫폼 제어부(130)를 포함하여 구성된다.

입체 디스플레이부(110)는 혼합현실 콘텐츠의 입체영상을 좌/우 시각으로 분류하여 출력한다. 이때, 입체 디스플레이부(110)는 혼합현실 콘텐츠의 훈련 시나리오 요구사항에 따라서 입체 디스플레이의 크기 및 배치 구조를 결정한다. 여기서, 입체 디스플레이부(110)는 LCD 평면 입체 영상패널 및 반투명 거울로 구성되고, LCD 평면 입체 영상패널 및 반투명 거울 사이에 광위상지연기가 설치된다.

정보 가시화부(120)는 추가정보를 가시화하여 입체 디스플레이부(110)에서 출력되는 입체영상에 출력한다. 이때, 정보 가시화부(120)는 콘텐츠 운영부(500)로부터 추가 정보(160)의 렌더링 결과를 수신하여 출력한다. 정보 가시화부(120)는 입체 영상 및 LMD 영상의 구현에 필요한 제어 신호를 콘텐츠 운영부(500)와 송수신한다. 이때, 도 3에 도시된 바와 같이, 정보 가시화부(120)는 추가 정보(160)를 가시화하여 입체 디스플레이부(110)에서 출력되는 입체영상에 출력하는 혼합현실 기반 정보 가시화부(122), 추가 정보(160)를 가시화하여 입체 디스플레이부(100)에서 출력되는 입체영상의 외부에 출력하되, 복수의 사용자에게 사용자별로 차별화된 추가 정보(160)를 제공하는 LMD 기반 정보 가시화부(124)로 구성된다. 여기서, 혼합현실 기반 정보 가시화부(122)는 HMD를 기반으로 완전 몰입형 가상 환경을 가시화킨다. 혼합현실 기반 정보 가시화부(122)는 입체 디스플레이부(110)에서 출력되는 입체 영상의 3차원적인 공간에 혼합현실 기술을 기반으로 추가 정보(160)를 출력한다.

LMD 기반 정보 가시화부(124)는 입체 디스플레이의 공간 표현 영역의 한계 영역(예를 들면, 외부 입체 영상 디스플레이 공간 외부)에 영상 정보를 출력한다. LMD 기반 정보 가시화부(124)는 복수의 사용자가 동시에 참여하는 경우 각 사용자별로 차별화된 정보를 제공한다. 이때, LMD 기반 정보 가시화부(124)는 증강현실에서 사용하는 시스루(see-through) 기법을 활용하여 추가 정보(160)를 출력한다.

가변형 플랫폼 제어부(130)는 사용자 신체정보 및 출력중인 혼합현실 콘텐츠에 근거하여 입체 디스플레이부(110), 혼합현실 기반 정보 가시화부(122), LMD 기반 정보 가시화부(124)의 구조 변경을 위한 변경정보를 설정한다. 즉, 가변형 플랫폼 제어부(130)는 입체디스플레이부(110) 및 정보 가시화부(120)의 크기가 사용자가 휴대할 수 없는 물리적 구조(예를 들면, 크기 및 무게)를 가지고 있는 경우, 그 구조물을 사용자 및 작업 시나리오에 적합하도록 공간적 및 시간적 요소에 대해 구조를 변경하기 위해 변경정보를 설정한다. 이때, 가변형 플랫폼 제어부(130)는 사용자의 사용자 신체정보 및 혼합현실 콘텐츠를 근거로 입체 디스플레이부(100)의 높이, 회전, 거리 등을 포함하는 변경정보를 설정한다. 여기서, 가변형 플랫폼 제어부(130)는 사용자의 신체 높이 및 바닥 압력 분포를 기준값과 비교하여 영상 출력부(100)의 위치를 수정하기 위한 수정 안내 정보를 생성하고, 생성한 수정 안내 정보를 사용자 인터페이스부(400)로 전송하여 출력한다. 가변형 플랫폼 제어부(130)는 사용자의 신체 높이 및 바닥 압력 분포를 기준값과 비교하여 영상 출력부(100)의 위치를 변경한다.

도 4에 도시된 바와 같이, 영상 출력부(100)는 사용자의 신체적 특징에 시스템을 최적화시키기 위하여 사용자의 신체에 관련된 물리적 정보(예; 키, 몸무게 등 측정값과 혈압, 근전도, 심전도 등의 생체 신호 모니터링 정보)를 센싱하는 센서부(140), 및 사용자 인터페이스부(400)의 정보를 받아서 요구되는 형태(예를 들면, 입체 디스플레이부(110)의 높이 및 회전 각도)를 변경하는 수동/자동 제어부(150)를 더 포함할 수도 있다. 이때, 수동/자동 제어부(150)는 사용자 인터페이스부(400)로부터의 입력정보와 가변형 플랫폼 제어부(130)로부터의 변경정보 및 센서부(140)에서 감지한 사용자 신체정보 중에 적어도 하나를 근거로 입체 디스플레이부(110) 및 정보 가시화부(120)의 구조를 변경한다.

사용자 작업도구부(200)는 영상 출력부(100)를 통해 출력되는 입체영상에 대한 사용자의 움직임을 근거로 실제 작업도구를 이용한 작업시에 발생하는 감각 피드백과 동일한 감각 피드백을 발생하여 사용자에게 제공한다. 즉, 사용자 작업도구부(200)는 실제 작업시 사용되는 도구와 동일한 작업도구(220)를 기반으로 실제 작업과 동일한 상호작용 방법으로 시스템을 이용하면서, 현장과 동일한 감각(즉, 시각, 청각, 촉각 및 후각)을 사용자에게 전달한다. 이때, 사용자 작업도구부(200)는 혼합현실 콘텐츠의 시뮬레이션 과정에서 사용자가 직접 손에 들고 사용하는 작업도구(220) 이외에 훈련 작업에 필요한 주변 환경 객체에 대한 가상 객체 데이터가 필요한 경우 실제 물체를 모델링하여 가상 객체를 생성하여 콘텐츠 생성부(700)에서 상호작용 시나리오 및 이벤트 설계 과정에 활용할 수 있도록 지원한다. 이를 위해, 도 5에 도시된 바와 같이, 사용자 작업도구부(200)는 작업도구(220), 복수의 혼합현실 콘텐츠에 사용되는 복수의 작업도구(220)를 생성하는 작업도구 생성부(240), 작업도구(220)의 내부에 형성되어 혼합현실 콘텐츠의 시뮬레이션에 따른 다중 감각 피드백을 지원하는 작업도구 지원부(260)를 포함하여 구성된다.

작업도구(220)는 훈련 시나리오에 따라서 다른 형태와 기능을 포함하도록 구현되어, 콘텐츠 운영부(500)의 제어 정보를 받아서 다중 감각 피드백 효과를 구현한다.

작업도구 생성부(240)는 훈련 시나리오에 따른 작업도구(220)의 하드웨어 형상을 생성한다. 이를 위해, 도 6에 도시된 바와 같이, 작업도구 생성부(240)는 현장 또는 시뮬레이터가 구현하고자 하는 가상의 작업 공간에서 활용되는 실제의 작업도구(220)를 3차원 형상과 표면 재질 정보를 획득하여 디지털화하는 작업도구 모델링부(242), 및 사나리오에 필요한 입력센서 및 출력소자를 작업도구(220)의 내부에 추가하는 입출력 부품 부착부(244)를 포함하여 구성된다. 여기서, 작업도구 모델링부(242)는 3D 그래픽 모델링에 의한 수작업 또는 3D 스캐너와 같은 자동화 도구를 이용하여 작업도구(220)를 3차원 형상과 표면 재질 정보를 획득한다.

작업도구 지원부(260)는 생성된 작업도구(220)에 다중 감각 피드백을 지원한다. 이를 위해, 도 6에 도시된 바와 같이, 물리적 및 인지적인 힘 효과를 전달하는 햅틱 피드백 지원부(263), 음향 효과를 이용한 입출력 정보를 표현하는 음향 피드백 지원부(265)와, 후각 감각 기관을 이용한 정보의 입출력을 제공하는 후각 피드백 지원부(267)와, 시각 감각을 자극하는 정보의 출력으로 작업도구(220)와 관련된 피드백 정보를 전달하는 시각 피드백 지원부(261), 및 트래킹부(300)와 연계하여 작업도구(220)의 위치 및 자세 정보의 일부 또는 전체를 획득할 때 정보를 교환하는 트래킹 지원부(269)를 포함하여 구성된다.

트래킹부(300)는 시스템 사용자 및 작업 환경 상태를 실시간에 추적하여 시스템의 입력 정보를 생성한다. 이때, 트래킹부(300)에 의해 추적된 대상물의 정보는 콘텐츠 운영부(500)로 전송되어 가상 개체의 표현 및 시뮬레이션 과정의 입력 데이터로 활용된다. 여기서, 트래킹부(300)는 사용자의 움직임을 추적하기 위해 복수의 카메라의 설치 위치 및 촬영방향을 포함하는 카메라 기반 안정적 추적 공간을 설정한다. 이를 위해, 도 7에 도시된 바와 같이, 트래킹부(300)는 사용자 및 사용자 작업도구부(200)의 위치, 자세, 압력, 가속도, 온도 중에 적어도 하나를 감지하여 사용자 및 사용자 작업도구부(200)를 추적하는 센서 기반 추적 정보 생성부(320), 데이터 DB 기반 추적 정보 생성부(360)로부터의 입력값을 이용하여 물리적인 센싱값을 생성하는 가상 센서 기반 추적 정보 생성부(340), 저장된 복수의 추적 데이터를 일정한 시간을 주기로 시뮬레이션하여 현재 센서에서 발생한 값인 입력값을 생성하는 데이터 DB 기반 추적 정보 생성부(360)를 포함하여 구성된다.

센서 기반 추적 정보 생성부(320)는 위치, 자세, 압력, 가속도, 온도 등 특정 물체에 접촉 또는 비접촉 방식으로 센서를 부착하여 물리적인 데이터를 추출하는 장치로 정보를 획득한다.

가상 센서 기반 추적 정보 생성부(340)는 소프트웨어에 의해서 시뮬레이션 되는 가상의 센서로서 데이터 DB 기반 추적 정보 생성부(360)의 출력 값을 이용하여 물리적인 센서의 값을 생성한다. 이때, 가상 센서 기반 추적 정보 생성부(340)는 사용자의 입력 인터페이스를 통한 제3의 장치의 값(예를 들면, 키보드 방향키의 입력 데이터 값을 3차원 위치 센서의 특정 축의 값으로 변환하여 제시)으로 변환하여 물리적인 센서의 값을 생성할 수도 있다.

데이터 DB 기반 추적 정보 생성부(360)는 데이터베이스에 기록된 추적 데이터를 일정한 시간을 주기로 현재 센서에서 발생한 것으로 시뮬레이션하여 센서 기반 추적 정보 생성부(320) 및 가상 센서 기반 추적 정보 생성부(340)의 입력값으로 전달한다.

사용자 인터페이스부(400)는 간편하게 디자인된 그래픽 기반 사용자 인터페이스를 이용해서 시스템의 동작을 제어한다. 이때, 사용자 인터페이스부(400)는 사용자 신체 정보 및 작업 시나리오를 근거로 영상 출력부(100)의 높이 및 회전각도 중에 적어도 하나를 포함하는 파라미터를 조정하기 위한 설정값을 입력받는다. 이를 위해, 도 8에 도시된 바와 같이, 사용자 인터페이스부(400)는 GUI 조작부(420), 시뮬레이터 관리용 제어부(440)를 포함하여 구성된다.

GUI 조작부(420)는 GUI(Graphic User Interface)를 기반으로 시스템 운영 설정 및 시나리오 관련 파라미터를 설정하기 위한 설정값을 사용자로부터 입력받는다. GUI 조작부(420)는 입력된 설정값을 콘텐츠 운영부(500)로 전송하고 현재의 시스템 운영 설정 및 시나리오 관련 파라미터를 출력한다. 이때, GUI 조작부(420)는 터치 스크린과 같이 입력 및 출력을 모두 제공하는 장치로 구성된다.

시뮬레이터 관리용 제어부(440)는 작업 시나리오 조건에 근거하여 가변형 하드웨어 플랫폼의 자세 변경 및 안내 정보를 영상 출력부(100)로 전송하고, 시뮬레이터를 제어하기 위한 제어신호를 발생한다. 즉, 시뮬레이터 관리용 제어부(440)는 작업 시나리오 조건에 따라서 가변형 하드웨어 플랫폼의 자세 변경 및 안내 정보를 영상 출력부(100)와 교환하고, 시뮬레이터를 제어하기 위한 제어 신호를 발생한다. 이때, 시뮬레이터 관리용 제어부(440)는 다수의 센서, 구동기, PC 및 디스플레이 장치와 프로그램부가 통합된 전체 시뮬레이터의 가동 및 관리를 위한 일련의 구동 프로세스를 자동화시킨 소프트웨어 기능(배치 프로세스에 의한 순차적 프로그램 시동 및 종료) 및 제어 신호 발생 장치(전원 제어 및 네트워크 통신)를 포함한다.

콘텐츠 운영부(500)는 훈련 시뮬레이터의 콘텐츠 내용을 결정한다. 즉, 콘텐츠 운영부(500)는 복수의 혼합현실 콘텐츠를 관리하고, 복수의 혼합현실 콘텐츠 중에서 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠를 검출하여 영상 출력부(100)에게로 제공한다.

이를 위해, 도 9에 도시된 바와 같이, 콘텐츠 운영부(500)는 트래킹 데이터 처리부(510), 실시간 작업 시뮬레이션부(520), 실시간 결과 렌더링부(530), 감각 피드백 제어부(540), 사용자 중심 가변형 플랫폼 제어부(550), 사용자 인터페이스 제어부(560), 네트워크 기반 훈련 DB(570)를 포함하여 구성된다.

트래킹 데이터 처리부(510)는 트래킹부(300)를 통해서 실제 및 가상의 추적 대상 개체로부터 발생되는 트래킹 정보를 처리한다. 즉, 트래킹 데이터 처리부(510)는 트래킹부(300)로부터 추적 대상 개체로부터 발생되는 트래킹 정보를 수신하여 처리한다.

실시간 작업 시뮬레이션부(520)는 시뮬레이터를 활용하는 현장 시나리오를 중심으로 현실과 동일한 상황(예를 들면, 주변 객체와의 상호작용)을 소프트웨어적(계산적)으로 시뮬레이션한다. 이를 위해, 실시간 작업 시뮬레이션부(520)는 시뮬레이터를 구성하는 컴퓨터 하드웨어 시스템 및 소프트웨어 알고리즘의 계산 처리 능력을 감안하여 최적화 기반 실시간 가상 시뮬레이션을 구동시키기 위해서, 현장에서 실측 실험으로부터 획득된 실측 실험 DB(522)를 기반으로 설계된다.

실시간 작업 시뮬레이션부(520)는 다양한 작업 조건 및 다수의 사용자가 참여하는 경우를 대비하여 네트워크 기반 협동 작업 환경을 지원하며, 네트워크 기반 훈련 DB(570)부을 구비하여, 미리 계산되어 있거나 과거에 수행된 훈련 관련 정보를 이용하여 현장 시나리오를 시뮬레이션한다.

실시간 작업 시뮬레이션부(520)는 콘텐츠 생성부(700)에서 미리 제작된 훈련 시나리오 및 주변 객체와의 상호작용 정보를 입력으로 받아서, 사용자와 가상객체 사이의 상호작용 관계를 실시간으로 시뮬레이션한다.

실시간 결과 렌더링부(530)는 실시간 작업 시뮬레이션부(520)에서의 시뮬레이션 결과를 렌더링하여 영상 출력부(100)로 출력한다. 즉, 실시간 결과 렌더링부(530)는 실시간 작업 시뮬레이션부(520)에서의 시뮬레이션 결과를 렌더링하여 영상 출력부(100)로 전송하여 출력한다.

감각 피드백 제어부(540)는 실시간 작업 시뮬레이션부(520)로부터의 시뮬레이션 결과에 따른 다중 감각 피드백 제어 신호를 생성하여 사용자 작업도구부(200)로 전송한다. 즉, 감각 피드백 제어부(540)는 시뮬레이터의 활용 시나리오에 따라서 사용자에게 작업용 인터페이스와 출력 디스플레이 장치를 통해서 다양한 정보를 전달하기 위해서 시뮬레이션 된 결과를 이벤트 형식으로 출력하여 사용자 작업도구부(200)로 제어 정보를 전달한다. 이때, 감각 피드백 제어부(540)는 실시간 작업 시뮬레이션부(520)에서의 시뮬레이션 결과에 따라 실시간 결과 렌더링부(530)와 동기화된 다중 감각 피드백(시각, 청각, 촉각, 후각과 관련된 디스플레이 장치 및 출력용 기구) 제어 신호를 생성하여 사용자 작업도구부(200)로 출력한다.

사용자 중심 가변형 플랫폼 제어부(550)는 본 발명이 제시하는 시뮬레이터 플랫폼의 특징인 사용자 적응형의 기능을 중심으로 수집된 사용자의 물리적 정보(예; 신체 정보 및 생체 정보), 시연되는 훈련 콘텐츠의 상황 정보 및 시뮬레이터 하드웨어의 정보를 연계처리하여, 플랫폼의 변경 정보를 설정한다.

사용자 인터페이스 제어부(560)는 사용자 중심 가변형 플랫폼 제어부(550)에서 설정된 변경 정보를 사용자 인터페이스부에게로 전송한다. 즉, 사용자 인터페이스 제어부(560)는 사용자 중심 가변형 플랫폼 제어부(550)에서 설정된 변경 정보를 근거로 사용자 인터페이스부(400)를 거쳐서 관련된 정보의 수집과 변경 정보의 전달을 처리한다.

네트워크 기반 훈련 DB(570)는 콘텐츠 생성부(700)에서 생성된 다양한 작업 환경에 관련한 정보를 저장한다. 즉, 네트워크 기반 훈련 DB(570)는 콘텐츠 생성부(700)에서 생성된 복수의 작업 환경에 대응되는 복수의 혼합현실 콘텐츠를 저장한다.

시스템 관리부(600)는 시뮬레이터를 관리 및 유지보수한다. 이를 위해, 도 10에 도시된 바와 같이, 제한된 시뮬레이터 작업 공간에 방해받지 않고 다수의 외부 관찰자가 시뮬레이션 콘텐츠의 진행 상황을 알 수 있도록 외부로 시뮬레이션 진행 과정 및 결과를 출력하는 외부 관찰용 콘텐츠 출력부(620)와, 시스템의 설치 및 관리를 수행하는 시스템 보호부(640), 시스템의 이동 및 다수의 플랫폼 동시 설치를 용이하도록 하기 위한 시스템 분해 및 연계 조립 지원부(660)를 포함하여 구성된다. 이때, 시스템 관리부(600)는 원격 제어 장치와 시스템의 가동과 종료 및 사용자 인터페이스부(400)에서 처리되는 작업 조건 설정 중에 적어도 하나를 제어하기 위한 제어정보를 송수신하는 서버 기반 시스템 원격 관리부(680)를 더 포함할 수도 있다. 즉, 시스템 관리부(600)는 본 발명이 제시하는 시뮬레이터는 여러 대의 전자기적 제어 장치부와 컴퓨터 시스템을 포함할 수 있으므로, 서버 기반 시스템 원격 관리부(680)를 구비하여, 각각 시스템의 가동과 종료 및 사용자 인터페이스부(400)에서 처리되는 작업 조건 설정 등의 과정을 원격 제어 장치로 유무선의 네트워크를 통해서 전달하는 방법으로 명령어 및 상태 정보를 교환하여 관리할 수 있도록 명령어와 메시지의 전달 과정을 처리한다. 여기서, 서버 기반 시스템 원격 관리부(680)는 웹서버 등과 같이 서버-클라이언트 기반의 소프트웨어 플랫폼을 구성하는 서버로 구성될 수 있다.

콘텐츠 생성부(700)는 시스템에서 운영되는(즉, 사용자의 작업 훈련에 사용되는) 혼합현실 콘텐츠를 생성한다. 즉, 콘텐츠 생성부(700)는 가상 훈련 진행에 필요한 가상 객체 및 실제 물체의 가상 모델을 활용하여 상호작용을 수행할 필요가 있을 때, 별도의 생성툴(authoring tool SW)를 이용하여 작업을 지원하는 부분이다. 여기서, 콘텐츠 생성부(700)는 훈련 상황에서 발생할 수 있는 다양한 시나리오를 대비하여 미리 준비된 혼합현실 콘텐츠 DB(780)를 활용하여 앞의 생성 과정을 수행하기 용이하게 지원한다.

콘텐츠 생성부(700)에서는 훈련 진행에 필요한 부가 정보(예를 들면, 추가정보)를 생성하여 추가하거나, 훈련 상황에 따라서 가변적으로 추가 삭제되는 실제 보조 물체(예를 들면, 작업 지지대)를 즉석에서 모델링하여, 가상 객체와의 상호작용처리(예를 들면, 충돌 처리 및 폐색(occlusion) 처리 등)에 반영한다. 이때, 콘텐츠 생성부(700)는 6 자유도 공간 추적이 가능한 영상 획득 카메라가 내장된 터치 스크린을 이용하여 증강현실 이미지 기반 모델링 기법으로 3차원 가상 객체를 생성하거나, FMD 사용자가 6 자유도 추적이 연동된 핸드 인터페이스를 사용하여 실물의 모서리 부분을 직접 포인팅하여 3차원 위치값을 추출하는 방법으로 3차원 가상 객체를 생성한다.

이를 위해, 도 11에 도시된 바와 같이, 콘텐츠 생성부(700)는 실제 객체 획득부(720), 가상 객체 생성부(740), 객체간 상호작용 시나리오 생성부(760), 혼합현실 콘텐츠 DB(780)을 포함하여 구성된다.

실제 객체 획득부(720)는 혼합현실 콘텐츠에 포함되는 객체 모델링 및 저장된 객체 선택 중에 하나의 방법으로 사용자 작업도구부로부터 가상 객체 모델을 입력받아 실제 객체를 획득한다. 즉, 실제 객체 획득부(720)는 완전 몰입형 디스플레이를 착용한 사용자의 작업 환경에 포함되는 객체를 즉석에서 모델링하거나, 저장된 기존 자료로부터 선택하는 방법으로 실제 객체를 획득한다. 이때, 실제 객체 획득부(720)는 사용자 작업도구부(200)를 통해 관리자(또는, 사용자)로부터 가상 객체 모델을 입력받는다.

가상 객체 생성부(740)는 입력되는 영상 또는 이미지 기반 모델링 기법을 통해 실제 객체 획득부를 통해 획득한 실제 객체에 대응하는 가상 객체를 생성한다. 즉, 가상 객체 생성부(740)는 카메라로부터 입력되는 영상을 기준으로 하거나 6 자유도를 추적할 수 있는 상호작용 입력 인터페이스 장치를 활용하여 이미지 기반 모델링 기법(Image Based Modeling)으로 실제 객체 획득부(720)를 통해 입력된 실제 객체에 대응하는 가상 객체를 생성한다.

객체간 상호작용 시나리오 생성부(760)는 가상 객체 생성부(740)에서 생성된 가상 객체에 대한 시나리오를 생성한다. 이때, 객체간 상호작용 시나리오 생성부(760)는 가상 객체 생성부(740)에서 생성된 가상 객체에 대해 사용자의 입력에 따른 반응 행위, 물리 시뮬레이션 적용, 충돌 처리, 안전한 작업 공간 안내를 위한 장애물 가시화 용도 등을 포함하는 시나리오를 생성하고, 입력 조건에 따르는 애니메이션 수행 등을 생성한다.

혼합현실 콘텐츠 DB(780)는 객체간 상호작용 시나리오 생성부(760)에서 생성된 시나리오를 저장한다. 이때, 혼합현실 콘텐츠 DB(780)는 콘텐츠 운영부(500)의 DB와 상호 자료를 교환한다.

이상, 도 1 내지 도 11에서는 본 발명이 제시하는 핵심적인 특징에 대한 종합적인 모델의 구성 및 작용을 설명하였다.

전술한 바와 같은 구성을 갖는 본 발명에 따르면, 실제 작업 환경과 동일한 훈련 시스템을 구축하는데 필요한 비용, 및 훈련용 재료의 소비에 따른 소모성 비용을 가상현실 데이터로 대체함으로써, 비용절감을 통한 경제적 이득을 도모할 수 있다.

특히, 후술할 본 발명에서 실시예로 제시하는 가상 용접 훈련 시뮬레이터의 경우, 다양한 작업 구조물에 따른 훈련 공간, 작업 준비 시간, 훈련 후 정리 작업 시간 등을 보다 효율적으로 활용할 수 있게 하고, 또 초보자의 안전사고에 대한 위험을 감소시킬 수 있어서, 숙련된 작업자 양성에 도움이 될 수 있다.

뿐만 아니라, 본 발명은 교육 및 훈련 과정이 필요한 임의의 작업 현장을 실시간 시뮬레이션 기반으로 가시화 시켜줌으로써, 사용자의 활동을 통해서 시나리오를 진행시키는 모든 분야에 폭넓게 활용될 수 있다.

또한, 본 발명은 실제 상황의 훈련 시나리오 및 사용자의 행위를 실시간 시뮬레이션을 기반으로 완전 몰입형 가상의 공간에서 재현하여, 현실 상황과 동일한 교육 및 훈련 경험을 사용자에게 제공함으로써, 실제 교육 및 훈련 과정에서 발생하는 안전 사고 문제를 최소화할 수 있다.

이하, 본 발명의 실시예에서는 본 발명의 일부 기능을 산업용 가상 용접 훈련 시뮬레이터라는 구체적이고 제한적인 사례에 대해서 적용한 결과를 설명하기로 한다. 도 12는 본 발명의 일실시예에 따른 산업용 가상 용접 훈련 시뮬레이터의 구성을 설명하기 위한 예시도이다. 도 13 내지 도 16은 도 13의 영상 출력부를 설명하기 위한 도면이고, 도 17은 도 13의 가변형 플랫폼 제어부를 설명하기 위한 도면이고, 도 18 및 도 19는 도 13의 사용자 작업도구부를 설명하기 위한 도면이고, 도 20은 도 13의 트래킹부를 설명하기 위한 도면이고, 도 21은 도 13의 콘텐츠 운영부를 설명하기 위한 도면이고, 도 22는 도 13의 시스템 관리부를 설명하기 위한 도면이다.

도 12에 도시된 산업용 가상 용접 훈련 시뮬레이터는 선출원된 "가상현실 기반 훈련 시뮬레이터를 위한 가변형 장치 플랫폼 및 운영 방법(한국, 출원번호: 2009-0125543)"의 구성을 HMD 기반 시스템으로 확장한 도면으로, 착용형 혼합현실 디스플레이를 활용하면 기존 시스템을 그대로 사용할 수 있다. 산업용 가상 용접 훈련 시뮬레이터는 1인의 사용자(또는 훈련생)가 시뮬레이터 내부에서 작업할 수 있도록 도시되었으나, LMD형태의 혼합현실 입체 디스플레이를 사용하면 2명 이상의 사용자가 동시에 참여할 수 있다.

도 12에 도시된 바와 같이, 산업용 가상 용접 훈련 시뮬레이터는 사용자의 신체 정보 및 용접 훈련 작업 시나리오에 따라서 변형되는 영상 출력부(100)와, 현장의 작업도구(220)와 동일한 외형과 기능을 기본으로 가상의 소리 효과 및 진동 효과를 내장한 용접 토치 모양으로 구성되는 사용자 작업도구부(200)와, 가상 용접 훈련 시뮬레이터 환경에 경제적으로 최적화된 설계로 반영된 트래킹부(300)와, 용접 시뮬레이터의 작업 조건 설정, 기구부 변경 제어 및 작업 결과 분석용 프로그램을 제어하는 사용자 인터페이스부(400)와, 모든 소프트웨어 프로그램을 운영하는 콘텐츠 운영부(500), 및 전체 시스템의 보호 및 외부 관찰자 대상 정보 출력을 수행하는 시스템 관리부(600)를 포함하여 구성된다. 본 실시예는 도 2에서 제시하는 구성 요소 중에서 입체디스플레이부(110)와 가변형 플랫폼 제어부(130)가 구현된 사례이다.

도 13에 도시된 바와 같이, 영상 출력부(100)는 입체디스플레이부(110), 사용자 신체 정보 측정부(140, 즉, 센서부(140)), 다중 혼합현실 입체 영상 제시용 HMD를 포함하여 구성된다.

입체디스플레이부(110)은 좌우 양안 시각 영상을 분리하여 사용자에게 제시하는 평면 입체 디스플레이와 입체 영상을 사용자 작업도구부(200)의 사용 공간에 가시화시키기 위한 반투명 반사거울 및 필터부(즉, 정보 가시화부(120))를 구비하여 평면 입체 디스플레이로부터 반사되는 영상의 난반사와 편광 효과로 인한 좌우시각 영상의 분리 제시가 용이하도록 한다. 구현 예로는, 투과도 70%의 반사거울과 quarter wave retarder filter를 부착하였다. 즉, 일반적인 LCD 평면 입체 영상패널과 LCD셔터 안경의 경우 거울에 반사될 때 위상이 반전되어 입체영상을 볼 수 없게 된다. 이러한 문제를 해결하기 위해, 본 발명에서는 거울에 광위상지연기(retarder)를 설치하여 위상이 반전되는 문제를 해결하여 거울면에 반사된 입체영상을 정상적으로 볼 수 있다. 가변형 플랫폼 제어부(130)과 사용자 신체 정보 측정부 및 입체디스플레이부(110)의 수치인 d1, d2, θ1, θ2는 가변형 플랫폼 제어부(130)의 구성 요소와 관련된 것이다(도 14 및 도 15 참조).

이때, 좁은 입체 영상부 공간의 단점(완전한 시각 몰입형 디스플레이 장치가 아님, 주변 가상 작업 환경 가시화를 위한 영상 제시 공간 확장 및 다자 참여를 위한 개인 정보&공용 정보 분리 가시화 기능 미지원) 보완을 위해서, 입체디스플레이부(110)는 HMD 본체, 외부 영상 투과도 조절부, 외부 입체 영상 분리 처리부(즉, 입체 영상 필터부)로 구성되는 다중 혼합현실 입체 영상 제시용 HMD를 더 포함한다(도 16 참도). LMD형 HMD를 다수의 사용자가 착용하고 외부의 입체디스플레이부(110)를 보게 되는 경우, 여러 사람의 시점을 정확히 반영한 외부 입체 영상을 가시화시키기 위해서는 입체 디스플레이 장치의 갱신율(refresh rate)을 높여서 n명에게 시간 분할(time multiplexing) 방식으로 좌우영상을 렌더링하면 2명 이상의 사용자가 LMD환경에서 혼합현실 협업 기반 훈련 시나리오를 진행할 수 있다.

사용자 신체 정보 측정부는 사용자의 신장의 크기를 측정하는 센서를 구비하고, 이값을 참조로 사용자 인터페이스부(400)에서는 작업 시나리오에 따라서 결정된 시뮬레이터의 높이값 설정을 결정하여, 지정된 훈련 작업을 진행할 수 있도록 시뮬레이터의 높이 단계를 조정하는 과정을 수행(사용자의 수동 작업에 의한 디스플레이 장치 구조 변경 또는 모터 구동부를 구비하여 지정된 위치로 자동 이동)한다. 사용자의 신체 정보와 선택된 작업 자세에 적합하도록 입체디스플레이부(110)의 높이(H), 입체디스플레이부(110)의 회전값(π) 및 입체 영상 구조물(예; 가상 용접 모재 블록)이 지정된 위치에 보이도록 하기 위해서 d1, d2,θ1,θ2를 조정한다. 각각의 변수에 대한 최적의 값은 미리 작업 데이터 베이스에 준비되어 있으며, 시스템은 지정된 값으로 입체디스플레이부(110)를 변형하도록 사용자에게 안내 매세지를 출력한다. 동시에, 해당 값을 검출하는 센서(회전, 높이, 이동 거리 측정 센서)를 각각의 부에 구비하여 시스템의 구조 변형 과정을 모니터링 한다.

가변형 플랫폼 제어부(130)는 사용자 신체 정보 측정부의 측 정부에서 측정된 데이터를 근거로 입체디스플레이부(110)의 위치를 제어한다. 이때, 가변형 플랫폼 제어부(130)는 천정 보기 작업, 정면 보기 작업, 아래 보기 작업에 대한 입체디스플레이부(110)의 관련 변수 설정값을 미리 가지고 있으며, 사용자의 신체 조건을 반영하여 일부 값을 수정하는 알고리즘을 구비한다. 사용자 신체 정보 측정부중 시뮬레이터 바닥에 설치된 압력 분포 측정 센서는 사용자의 발의 위치 및 체중의 분포에 따른 압력의 분산 상태를 추적하여, 작업 자세 가이드 및 훈련 상태 모니터링의 정보로 활용한다. 도 17 도시된 바와 같이, 가변형 플랫폼 제어부(130)는 입체 디스플레이 장치의 회전 위치(즉, π)를 가벼운 힘으로 제어할 수 있는 균형추 구조로 구성되고, 입체 디스플레이 장치의 높이(H)를 가벼운 힘으로 상하이동시킬 수 있는 균형추 및 도르래 구조(134)로 형성된다.

사용자 작업도구부(200)는 현장에서 활용되는 용접 도구를 3차원 스캐닝과정을 통해서 제작된 3차원 모델 데이터를 기반으로, 다중 감각 피드백 효과 지원을 위한 여러 가지 출력기를 내장할 수 있도록 내부 배치 공간을 마련하고 3차원 프린팅 기술을 활용하여 작업도구(220)인 용접 토치(20)의 물리적 형상을 제작한다. 즉, 도 18에 도시된 바와 같이, 사용자 작업도구부(200)에서 생성된 용접 토치(20)의 내부에는 6 자유도(위치, 자세) 추적을 위한 복수의 센서(11; 예를 들면, 적외선 발광 센서, 반사 센서)가 내장된다. 용접 토치(20)의 내부에는 3차원 음향 효과를 시뮬레이션하기 위해서 실제 용접 작업시 음향이 발생되는 위치인 용접 토치(20)의 끝 부분에 음향 방향이 여러 개가 되도록 다수의 초소형 스피커(12)를 내장 또는 스피커 전방에 다수의 구멍이 있는 구형 반사판(13)을 부착하여 방사형으로 소리가 퍼지도록 하여, 모노 사운드 출력만으로도 사용자의 손에 들린 작업도구(220)가 움직임으로써 음원의 위치가 변하여 3차원 공간 사운드 피드백을 지원하도록 한다.

용접 토치의 내부에는 작업도구(220) 사용에 대한 가이드를 위한 시각 피드백부 기능을 제공하기 위해 레이저 포인팅 출력기(14)를 내장하고, 가상의 용접 비드가 생성되는 위치를 표시할 수 있도록 하고, 적정한 용접 거리(CTWD; the Contact Tip to Work Distance)와 일치하는 초점 거리를 가진 렌즈와 투사용 광학 패턴을 이용하여 용접 모재와 용접 토치(20)의 끝 부분이 적정한 거리에 있을 때 패턴이 선명하게 보이도록 하는 방법으로 작업 거리에 대한 시각적 피드백을 전달한다.

또한, 용접 토치의 내부에는 미니 진동 모터(25) 내장하여 특정 용접 작업 조건에서 발생하는 진동 효과를 재현하고, 탈부착할 수 있는 형태로 제작된 Passive 햅틱 지원부를 입체디스플레이부(110)에 추가 장착하여 동일한 공간에 물리적인 물체와 영상이 동시에 존재하도록 하여서, 혼합현실 기반 실사-가상 영상 합성 가시화 효과를 구현한다. 즉, 사용자는 가상의 용접 모재 블록과 일치된 모양의 실제 모형(즉, 햅틱 피드백 지원부(263))이 3차원 공간에 일치된 곳에 존재하므로, 용접 토치(20)와 모재 사이의 물리적인 접촉에 의한 햅틱 피드백 효과를 얻을 수 있으므로, 보다 사실적인 훈련이 가능하다. 그리고, 본 발명의 실시 예에서는 용접 불꽃의 열감을 표현하기 위해서 용접 토치 부분의 내부에 가열과 냉각 속도가 빠른 발열 및 냉각부(16)를 내장하여 용접 작업시 발생하는 열감 효과를 사용자에게 전달하도록 한다.

트래킹부(300)는 가상 용접 모재가 가시화되는 입체 디스플레이 장치의 공간과 정확한 입체 영상 생성을 위해 사용자의 머리(시선, eye position & orientation)의 위치 및 자세를 정확히 트래킹해야 한다. 이를 위해서, 트래킹부(300)는 카메라 기반 추적용 센서를 추적 대상물(즉, 사용자(10), 용접 토치(20))에 부착하고, 최소 개수의 카메라로 구성되는 카메라 기반 센서 추정 장치(330)를 이용해서 안정적으로 대상물을 트래킹 할 수 있는 공간을 3차원 그래픽 기반 사전 시뮬레이션 계산 과정을 거쳐서 복수 카메라 기반 안정적 추적 공간(800, 이하, 트래킹 공간)을 정의하였다(도 20 참조). 즉, 3대로 구성된 각각의 카메라 기반 센서 추적 장치의 영상 획득은 카메라 렌즈를 통해서 입력되는 공간의 정보가 원뿔(cone)의 형태로 정의될 수 있으며, 2차원 영상 정보를 얻는 카메라의 경우에는 최소 2대 이상의 영상 정보가 있어야 목표물의 3차원 위치를 복원 계산할 수 있으므로, 안정적인 트래킹을 위해서 카메라 3대의 추적 공간이 공통적으로 겹치는 공간을 구성하고, 그 내부에 가상 용접 모재와 용접 토치, 그리고 사용자가 착용한 입체 안경에 부착된 마커가 포함 되도록 설계하였다. 또한, 본 실시 예는 최소 개수의 카메라 사용과 시뮬레이터 시스템 크기의 최소화를 위해서 트래킹 공간(800)을 설계하였다.

사용자 인터페이스부(400)는 터치 스크린에 그래픽-사용자-인터페이스(GUI) 기반으로 구현되어 간편하게 데이터 입력이 가능하며, 사용자가 조작이 편한 위치가 되도록 연결 링크부에 관절을 구비하여 높이를 자유롭게 조절할 수 있다. 이때, 사용자 인터페이스부(400)는 훈련 작업 조건 설정, 장치 변경 가이드, 모범 훈련 가이드 정보 가시화 및 작업 결과 분석용 프로그램 실행 등의 기능을 제공할 수 있다.

즉, 사용자가 사용자 인터페이스부(400)를 조작하여 특정 작업 시나리오를 선택하면, 시뮬레이터 장치 내부에 부착된 센서들로부터 현재의 상태와 목표 상태의 차이점을 기준으로 하드웨어의 변경 가이드 정보를 출력하고, 사용자가 목표 형태로 시스템을 변경(또는 모터를 이용한 자동 이송 장치 작동)한다. 이때, 사용자는 디스플레이의 높이(h), 디스플레이부 회전값(π), 반사 거울부의 회전값(θ), 반사 거울부의 거리값(d)을 시스템 안내에 따라서 조정할 수 있다.

조정 작업 이후 사용자 인터페이스부(400)에서는 작업 안내에 대한 학습 콘텐츠를 가시화시키고, 훈련 작업 완료 후에는 작업 결과 분석툴을 실행하여 결과 분석 및 평가 과정을 수행한 후에 용접 작업 결과물(즉, 3차원 비드 형상)을 가시화시키고 터치 스크린 상호작용으로 3차원 물체를 간편하게 돌려보면서, 원하는 위치의 용접 단면 값과 관련된 작업 파라미터 등을 조사하고, 콘텐츠 운영부(500)의 내용과 같이 네트워크 기반 훈련 DB(570)부에 연결되어 훈련 콘텐츠의 조회 및 갱신이 가능하도록 한다.

콘텐츠 운영부(500)는 2대의 PC를 이용하여 구성하였다. 즉, 실시간 가상 용접 시뮬레이션부를 위해서 사전 작업으로, 여러 종류의 용접 작업 조건에 대하여 현장 실측 실험 환경을 구축하고, 실험 시편을 제작하여 용접 비드의 외부 형상과 단면의 구조를 측정하여 실험 샘플용 데이터베이스를 구축하고, 실측 실험 DB(522)를 보완하는 측면에서 용접 비드 생성용 알고리즘에 기반한 수치 모델을 이용하여 가상 실험 샘플용 DB를 구축하였다. 구축된 실험 샘플용 DB를 이용하여, 다양한 입력 값에 따른 굳어진 상태의 비드 형상을 출력할 수 있는 신경망을 학습시키는 방법으로 최적화 기반 실시간 가상 시뮬레이션을 구현하였다.

사용자 작업도구부(200)의 움직임과 훈련 작업 설정 조건 값의 입력을 기준으로, 실시간 작업 시뮬레이션부(520)는 용접 비드의 외형을 결정하고 이를 실시간 결과 렌더링부(530)에서 가시화시키는 동시에 네트워크 기반 훈련 DB(570)부에 정보를 저장하거나, 특정 조건에 대한 사전 작업의 결과를 DB로부터 얻어와서 렌더링을 수행한다. 실시간 훈련 작업 진행에 따라서 특정한 조건을 만족시키는 경우(예; 진동, 사운드 및 시각적 피드백 이벤트 발생 조건 만족)에는 다중 감각 피드백 제어부(540)에서 사용자 작업도구부(200)에 메세지를 전송하여 현장 작업과 동일한 물리적 효과(예; 소리 및 진동)와 작업 가이드 정보를 출력한다.

사용자 인터페이스 제어부(560)와 사용자 중심 가변형 플랫폼 제어부(550)는 사용자 인터페이스부(400)와 연계된 기능을 수행한다. 콘텐츠 생성부(700)에서는 훈련 진행에 필요한 부가 정보(예를 들어, 도 20의 추가정보(160))를 생성 과정을 통해서 추가하거나, 훈련 상황에 따라서 가변적으로(dynamically) 추가 삭제되는 실제 보조 물체(예를 들면, 작업 지지대)를 즉석에서 모델링하여, 가상 객체와의 상호작용(예를 들면, 충돌 처리 및 occlusion 처리 여부 등) 처리에 반영한다. 이때, 작업지지대를 모델링하기 위해서 6자유도 공간 추적이 가능한 영상 획득 카메라가 내장된 터치 스크린을 이용하여 증강현실 이미지 기반 모델링 기법으로 3차원 가상 객체를 생성, 또는 FMD 사용자가 6자유도 추적이 연동된 핸드 인터페이스를 사용하여 실물의 모서리 부분을 직접 포인팅하여 3차원 위치값을 추출하는 방법으로 3차원 객체를 생성한다.

시스템 관리부(600)는 내부 입체 디스플레이의 내용과 터치스크린 모니터의 내용을 외부 관찰자가 볼 수 있도록 외부 디스플레이용 출력 포트를 구비하고, 다수의 용접 훈련 부스가 연결되어 설치 운영될 수 있도록 각각의 부스는 경첩 구조의 연결부를 구비하고 있고, 모니터 공유기(KVM 스위치)를 통하여 외부 관찰용 모니터에 내부 영상을 선택적으로 출력할 수 있도록 한다. 이때, 외부 케이스는 전면부를 투명한 소재로 제작하여 내부를 볼 수 있도록 하였다.

도 21에 도시된 바와 같이, 원격 관리부는 다수의 PC와 전자 센서 등 전자기기를 포함한 가상 용접 훈련 시뮬레이터의 전원 관리 및 시스템 제어를 훈련 부스 장치 외부의 사용자(예; 훈련 교사)가 손쉽게 제어할 수 있도록, 무선 통신 기반 휴대형 시스템 관리 장치(820)를 구비한다. 이때, 무선 통신 기반 휴대형 시스템 관리 장치(820)는 시스템 작업 설정 제어 메뉴 등의 GUI 화면을 출력한다. 훈련 시뮬레이터 PC부에는 인터넷 서비스를 처리할 수 있는 서버(830)를 설치하고, 사용자 인터페이스부(400)의 내용을 웹브라우저로 제어할 수 있도록 연동하여 무선통신 기반 휴대형 시스템 관리 장치(840; 예를 들면, 스마트폰, PDA 등)에서 간편하게 시스템을 제어할 수 있도록 한다. 이때, 무선통신 기반 휴대형 시스템 관리 장치(820)는 무선 통신 장치(840)를 통해 서버(830)와 데이터를 송수신한다.

도 22은 본 발명의 실시예에 따른 교육기관용 가상 용접 훈련 시뮬레이터의 구현 개념도이다.

교육기관용 가상 용접 훈련 시뮬레이터는 가변형 영상 출력부(100)의 기능을 일부를 축소하여, 데스크톱 환경에서 여타 실험 장비(예를 들면, 햅틱 상호작용이 가능한 Phantom device를 이용한 force feedback 인터페이스 구현)와 공동 활용이 가능한 구조이다. 그리고, 전체 시뮬레이터의 규모를 축소하고 보다 저렴한 비용으로 시스템을 제작하여, 이동 및 수업이 가능한 교육기관 보급용으로 제작된 사례이다. 즉, 본 시스템은 앞에서 소개한 가상 용접 훈련 시뮬레이터의 기능 중, 상부 작업을 제외한 정면(중간) 작업 및 아래 보기 일부 작업이 가능하도록 회전축(θ,π)과 반투명 반사 거울의 거리 값(d)을 변형할 수 있는 구조를 가지고 있다. 본 실시 예의 사용자 인터페이스부(400)는 외부 영상 출력용 디스플레이(620)를 포함한다.

도 23은 본 발명의 다른 실시예에 따른 교육기관용 가상 용접 훈련 시뮬레이터를 구현한 사진이다. 도 23에 도시된 바와 같이, 사용자가 용접 토치와 용융풀 부분을 수 cm 단위로 근접 관찰하는 경우를 지원하기 위해서 입체 디스플레이의 중앙 반사판을 제거한 결과이다. 아래 보기 작업과 앞 보기 작업을 수행하기 위해서 각각 독립된 입체 영상 출력용 디스플레이 장치를 구비하였다. 그리고, 용접 토치와 근접한 사용자의 작업 자세를 방해하지 않는 위치로 트래킹 시스템의 배치를 변경한 구조이다. 도면의 각각의 구성은 상술한 설명과 일치한다.

이하, 본 발명의 실시예에서는 본 발명의 일부 기능을 FMD 기반 가상 용접 훈련 시뮬레이터라는 구체적이고 제한적인 사례에 대해서 적용한 결과를 설명하기로 한다. 도 24는 본 발명의 실시예에 따른 FMD 기반 가상 용접 훈련 시뮬레이터의 개념도이다. 도 25는 도 24의 영상 출력부 및 LMD지원형 FMD 확장 버전의 활용 예를 표현한 도면이고, 도 26 내지 33은 도 24의 트래킹부의 가변형 설치 프레임 구조 및 시스템 관리부의 개념도이고, 도 33 내지 도 36은 FMD 기반 가상 용접 훈련 시뮬레이터의 구현을 위한 카메라 기반 추적부를 설명하기 위한 도면이고, 도 37은 도 24의 웹패드 기반 결과 평가 및 시스템 원격 관리부의 활용 예의 개념도이다.

도 24에 도시된 바와 같이, FMD 기반 가상 용접 훈련 시뮬레이터는 FMD(900)와 같은 완전 몰입형 디스플레이 장치를 기반으로 사용자에게 작업장 내부에 위치한 느낌을 높여주며, 신체의 일부분 및 사용자의 전신을 활용한 상호작용 시나리오 기반의 훈련을 진행할 수 있도록 범용성을 고려하려 설계되었다. 전체적인 시스템의 구성은 앞에서 설명된 산업용 및 교육기관용 버전과 유사하나, FMD(900)의 적용으로 상하, 좌우, 앞뒤 등 모든 방향 작업 지원과 사용자의 임의의 동작 자세를 모두 추적할 수 있는 가변형 트래킹부(300)를 구비하고, 훈련 결과 평가표의 출력과 원격 시스템 제어를 위한 수단을 제시하는 것을 특징으로 한다.

도 25에 도시된 바와 같이, 다중 혼합현실 입체 영상 제시용 FMD(920)를 활용하면 몰입 환경 가시화와 함께 공용 정보 제시용 외부 입체 영상 디스플레이를 통해서 제시되는 정보를 다수의 사용자가 동시에 보면서 협업 작업하는 시나리오를 구현할 수 있다. 도면에서 3D 가상 입체 모재 블럭(263)은 모든 사용자가 공통적으로 관찰하는 대상물이며, 3명의 참여자는 각각이 개인적인 정보를 LMD형 FMD 장치 및 패드(Pad)형 디스플레이를 통해서 접근한다. 학생(10a)이 외부 입체 디스플레이(930)로 제시되는 작업 대상물에 용접 토치(20)를 활용하여 용접 작업을 진행하면, 학생(10a)이 착용한 FMD(920a)에는 가상의 용접 아크/불꽃 등 실제 용접 작업이 가시화된다. 동시에, 작업지도 전문가(10b)는 학생(10a)의 작업 과정을 실시간의 가이드 및 보조하기 위한 정보 안내 방법을 선택해서 학생에게 제시하거나, 자신의 FMD(920b)를 통해서 학생의 작업 현황을 실시간으로 모니터링한다. 그리고, 교사(10c)는 훈련 작업의 진행 과정 중간 또는 작업 완료 후에 결과 분석툴을 웹브라우저를 통해서 무선으로 전송된 결과표를 보고 평가 의견을 추가하는 작업을 하거나, 패드 형태의 디스플레이 장치(620)를 활용하여 3D 가상 입체 용접 모재 블럭(263)을 가상 절단(virtual cutting)하는 방법으로 용접 비드의 단면을 검사(수치 측정)하여 학생의 훈련 완성도를 평가한다. 여기서, 학생(10a)의 FMD(920a)에는 작업 훈련 상황이 가시화되어 출력되고, 작업지도 전문가(10b)의 FMD(920b)에는 실시간 동작 분석 및 가이드 정보가 가시화되어 출력되고, 교사(10c)의 디스플레이 장치(620)에는 훈련 결과 분석 및 평가 정보가 가시화되어 출력된다.

FMD 기반 가상 용접 훈련 시뮬레이터의 외형적 특징은 FMD형태의 이동이 가능한 착용형 모바일 디스플레이와 시스템 운영부 및 사용자 전신의 동작을 추적할 수 있는 트레킹부를 하나로 통합하여, 시스템 축소 변형 및 확장 설치가 가능하도록 설계함으로써, 시스템의 이동 및 유지 보수를 용이하게 하였다. 여기서, 시스템의 전개 순서를 도 26 내지 도 30을 참조하여 설명하면 아래와 같다.

먼저, 도 26에 도시된 바와 같이, FMD 기반 가상 용접 훈련 시뮬레이터(1000)의 이동 및 고정용 안정 장치(1010)를 고정한 후에 시스템 전개(펼침) 설치를 위해서 보호 덮개(1020)를 연다.

이후, 도 27에 도시된 바와 같이, 카메라 프레임(1050)의 주(main) 지지대(1030)를 연장시키고, 안정적인 지지를 위한 보조 지지대(1040)를 연장시키고, 우산형태로 접혀 있는 카메라 프레임(1050)을 펼치는 과정에서 무게 중심 추(1060)는 카메라 프레임(1050)의 균형을 조정한다.

다음으로, 도 28에 도시된 바와 같이, 카메라 프레임(1050)을 펼쳐 보조 지지대(1040)와 결합(1070)한다. 이때, 카메라 프레임(1050)에는 카메라 중심 연결부(1080)를 통해 다수의 카메라(1100)가 고정되어 있다.

다음으로, 도 29 및 도 30에 도시된 바와 같이, 카메라 보호 공간(1090) 안에 있는 카메라(1100)를 우산 형태로 전개하여 설치한다. 카메라(1100)의 설치 방향(각도)은 세세한 추가 조정이 필요 없이 미리 설정된 값으로 꺾이는 관절부품(1110)을 사용한다. 카메라 프레임 중심 연결부(1080)의 내부에는 카메라(1100)와 시스템 본체의 통신을 담당하는 제어 상자가 내장되어 있다. 사용자의 동작 추적 영역을 확장하기 위한 추가 카메라(1100) 4대가 날개형태(1120)의 전개가 가능하도록 구비되어 있다. 시스템 본체 내부에는 소프트웨어의 운영을 위한 랙마운트형 서버 PC(1160)와 프린터(1130) 및 영상 디스플레이 장치(1140)를 구비하고 있고, 작업 인터페이스 장치를 위한 수납부(1150)를 구비하고 있다. 이때, 도 31 내지 도 33에서는 카메라 프레임 지지대(1040)의 전개 방법의 구현 예를 보여준다. 즉, 카메라 프레임 지지대(1040)는 다단으로 구성되어 사용자의 위치에 따라 확장이 가능함을 보여준다.

FMD 기반 가상 용접 훈련 시뮬레이터는 가상현실 시스템 구현에 범용적으로 활용할 수 있으며, 도 34 내지 도 36에서는 사용자의 전신 동작을 지원하는 시나리오를 위해서 카메라 기반 추적부의 설정값을 실시 예로 제시한다.

추적 센서로 카메라를 사용하는 경우에는 카메라 1대의 장치적 특성(시야각-field of view, 초점 거리 등)을 고려하여 복수의 겹침 공간(intersection region)을 구하는 작업이 필요하며, 본 발명은 이 작업 과정이 용이하도록 설계되었다. 그리고, 각각의 카메라는 일정한 센싱(트래킹) 범위를 가지는 다른 종류의 장치로 대체(replace)하여 발명이 원하는 작업을 수행할 수 있다. 예) 초음파 및 전자기장 방식 트래킹 센서 등 추적 대상물의 3차원 위치 및 자세 정보를 얻을 수 있는 장치. 사용자의 동작 영역을 추적하기 위한 센서(예; 카메라)의 수는 각각의 장치 특성(예; 카메라 렌즈의 FOV)에 따라서 달라질 수 있으므로 1개 또는 복수개의 센서를 구비하여 트래킹 공간(800)를 정의할 수 있다. 이때, 도 34에 도시된 바와 같이, 사용자의 뒤쪽 상부에 배치된 3개의 카메라 프레임에 설치된 3대의 카메라(1100a)는 사용자가 위 보기 작업 자세를 취할 때를 기준으로 트래킹을 수행한다. 도 35에 도시된 바와 같이, 사용자의 앞쪽 상부에 배치된 3개의 카메라 프레임에 설치된 3대의 카메라(1100b)는 사용자의 앞 보기 작업 자세를 취할 때를 기준으로 트래킹을 수행한다. 도 36에 도시된 바와 같이, 시스템 본체에 설치되는 4개의 카메라(1100c)는 사용자의 아래 보기 작업 자세를 취할 때를 기준으로 트래킹을 수행한다. 이때, 각 카메라의 각도 변경 기능을 제공하여 사용자의 작업 자세에 따라 안정적인 추적 공간(즉, 트래킹 공간(800))을 지원한다.

도 37에 도시된 바와 같이, FMD 기반 가상 용접 훈련 시뮬레이터는 외부의 다수 관찰자(10a)를 위해 개인 사용자의 디스플레이 장치(예; FMD의 영상, 시스템 모니터의 영상, 교사의 평가 화면 등)의 영상 정보를 공유할 수 있는 외부 관찰용 콘텐츠 출력부(620)를 구비하고 있다. FMD 기반 가상 용접 훈련 시뮬레이터는 내부에는 다수의 컴퓨터 입출력 장치와 트래킹부(300) 및 인터페이스 장치를 제어하기 위한 각 부들이 통합되어 있으므로, 전문 운영 교육을 받지 못한 일반 사용자를 위해서, GUI(graphic User Interface) 기반의 시스템 운영 인터페이스를 제공한다. 이때, 운영자(10b; 예를 들어, 교사)는 웹브라우저를 실행시킬 수 있는 휴대형 단말 장치(820; 예를 들어, 스마트폰, tablet PC, touch pad형 장치 등)를 활용하여 시스템 제어 메뉴를 통해서 시스템의 주요 기능을 개념 수준에서 선택(예를 들어, 전체 시스템 power on, 출력된 원격 장비 동작 제어 GUI 및 시뮬레이터 동작 제어 GUI 등에 제어 데이터 입력)하면, 시스템 통제 명령이 본체에 내장된 제어 장치(즉, 서버가 설치된 미니 PC(830)) 무선으로 전송되어 일련의 배치 프로세스 명령어를 발생시키는 방법으로 각각의 장치를 켜고 끄거나 영상 입출력 채널 변경하거나, 사용자가 직접 시스템 본체에 연결된 키보드 및 마우스 동작을 수행한 명령을 대신 발생시켜서, 원격에서 운영자가 시스템을 쉽게 운영할 수 있도록 한다. 그리고, 훈련 결과 분석툴에서는 무선 프린팅 기능을 지원하여 교사의 결과 평가 작업 후 프린팅 명령이 무선 전송되면 서버에 연결된 프린터에서 평가표를 출력한다.

도 38은 본 발명의 실시예에 따른 FMD 기반 가상 용접 훈련 시뮬레이터의 운영 방법 및 설치 사례를 설명한 도면이다.

먼저, FMD 기반 가상 용접 훈련 시뮬레이터가 설치(이동)된다(S100). 이때, 시뮬레이터 외부 참관인을 위해서, 입체 디스플레이에 출력되는 모노(mono) 영상과 터치 스크린 모니터에 출력되는 영상을 동시에 보여주는 디스플레이 장치를 설치한다. 물론, 산업체 용접 훈련 실습실과 유사한 가상 용접 훈련 시뮬레이터를 구성하기 위해 유무선 네트워크로 연계된 다수의 시뮬레이터를 일괄적으로 통제할 수 있도록 시스템을 구성할 수도 있다.

사용자는 FMD 기반 가상 용접 훈련 시뮬레이터를 구동시킨다(S200). 즉, 사용자는 FMD 기반 가상 용접 훈련 시뮬레이터의 중앙 제어 스위치(power on) 또는 휴대형 제어 장치로 모든 시스템 및 장치를 가동시킨다.

FMD 기반 가상 용접 훈련 시뮬레이터는 작업 환경 설정 단계를 수행한다(S300). 즉, FMD 기반 가상 용접 훈련 시뮬레이터는 사용자 인터페이스부(400)를 통해 용접 방식, 용접봉, 모재, 전압, 전류, 용접 자세 등을 포함하는 작업 환경 설정 화면을 출력한다. 사용자는 터치 패널로 구현된 사용자 인터페이스부(400)에 출력된 정보를 선택하여 원하는 작업 환경을 설정한다. 이때, FMD 기반 가상 용접 훈련 시뮬레이터는 사용자 개인 정보를 더 추출할 수도 있다. 즉, 사용자의 키, 몸무게, 신체 동작 반경 등을 포함하는 사용자 개인 정보를 자동 측정(또는 수동 입력)하여 작업 환경의 설정에 반영한다.

FMD 기반 가상 용접 훈련 시뮬레이터는 작업 환경 설정에 포함된 작업 자세를 근거로 플랫폼을 변형한다(S400), 이때, FMD 기반 가상 용접 훈련 시뮬레이터는 사용자 선택한 작업 자세에 적합하도록 영상출력부(100; 또는 입체디스플레이부(110))를 상하/회전이동시켜 영상출력부(100; 또는 입체디스플레이부(110))의 위치를 변경한다. 여기서, 영상출력부(100; 또는 입체디스플레이부(110))의 위치 조정은 사용자의 조작에 따른 수동 조정 방법 또는 모터 구동에 따른 자동 조정 방법이 사용될 수 있다. 물론, 영상출력부(100)의 출력 여부를 변경하거나, 사용자의 신체 동작 반경을 기준으로 트래킹 공간의 조정(즉, 프레임 구조 변경을 통한 카메라의 3차원 위치 변경)을 통해 플랫폼을 변형할 수도 있다.

플랫폼 변형이 완료되면, FMD 기반 가상 용접 훈련 시뮬레이터는 선택된 작업에 대한 사전 시범 정보(즉, 모범 작업 가이드 영상)을 사용자 인터페이스부(400)를 통해 출력한다(S500). 즉, 작업 사용자 인터페이스부(400)에 가이드 영상을 출력한다. 물론, 사용자는 입체 영상용 안경을 착용하고, 입체 영상 출력부(100)에서 가이드 영상을 출력할 수도 있다.

이후, FMD 기반 가상 용접 훈련 시뮬레이터는 사용자에 의해 선택된 작업 환경에 따른 작업 훈련을 진행한다(S600). 이때, 사용자는 입체 디스플레이 사용을 위해 입체 영상용 안경을 착용하고, 입체 디스플레이 장치를 이용해 실제 훈련 작업을 3차원 공간에 투영된 가상 작업 가이드 정보에 따라 작업 훈련을 수행한다. 여기서, 작업자는 정면 보기 자세(a), 아래 보기 자세(b), 천정 보기 자세(c)로 작업 훈련을 진행한다.

사용자의 작업 훈련이 완료되면, FMD 기반 가상 용접 훈련 시뮬레이터는 해당 사용자의 작업 훈련 결과를 출력한다(S700). 즉, 사용자 인터페이스부(400)에 사용자의 작업 훈련 결과를 출력한다.

FMD 기반 가상 용접 훈련 시뮬레이터는 사용자는 출력된 작업 훈련 결과를 검토하고 보고서를 출력한다(S800).이후, 사용자가 다른 작업 훈련의 진행을 원하면(S900; YES), FMD 기반 가상 용접 훈련 시뮬레이터는 상술한 작업 환경 설정 단계(즉, S300)로 이동하여 다른 작업에 대한 작업 훈련 과정을 진행한다.

상술한 바와 같이, 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치를 이용하면 실제 작업 환경과 동일한 훈련 시스템을 구축하는데 필요한 비용, 및 훈련용 재료의 소비에 따른 소모성 비용을 가상현실 데이터로 대체함으로써, 비용절감을 통한 경제적 이득을 도모할 수 있다.

특히, 본 발명에서 실시예로 제시하는 가상 용접 훈련 시뮬레이터의 경우, 다양한 작업 구조물에 따른 훈련 공간, 작업 준비 시간, 훈련 후 정리 작업 시간 등을 보다 효율적으로 활용할 수 있게 하고, 또 초보자의 안전사고에 대한 위험을 감소시킬 수 있어서, 숙련된 작업자 양성에 도움이 될 수 있다.

또한, 본 발명은 교육 및 훈련 과정이 필요한 임의의 작업 현장을 실시간 시뮬레이션 기반으로 가시화 시켜줌으로써, 사용자의 활동을 통해서 시나리오를 진행시키는 모든 분야에 폭넓게 활용될 수 있다.

또한, 본 발명은 실제 상황의 훈련 시나리오 및 사용자의 행위를 실시간 시뮬레이션을 기반으로 완전 몰입형 가상의 공간에서 재현하여, 현실 상황과 동일한 교육 및 훈련 경험을 사용자에게 제공함으로써, 실제 교육 및 훈련 과정에서 발생하는 안전 사고 문제를 최소화할 수 있다.

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.

10: 훈련용 도구 100: 영상 출력부
110: 입체디스플레이부 120: 정보 가시화부
122: 혼합현실 기반 정보 가시화부 124: LMD 기반 정보 가시화부
130: 가변형 플랫폼 제어부 140: 센서부
150: 수동/자동 제어부 200: 사용자 작업도구부
220: 작업도구 240: 작업도구 생성부
242: 작업도구 모델링부 244: 입출력 부품 부착부
260: 작업도구 지원부 261: 시각 피드백 지원부
263: 햅틱 피드백 지원부 265: 음향 피드백 지원부
267: 후각 피드백 지원부 269: 트래킹 지원부
300: 트래킹부 320: 센서 기반 추적 정보 생성부
340: 가상 센서 기반 추적 정보 생성부
360: 데이터 DB 기반 추적 정보 생성부
400: 사용자 인터페이스부 420: GUI 조작부
440: 시뮬레이터 관리용 제어부 500: 콘텐츠 운영부
510: 트래킹 데이터 처리부 520: 실시간 작업 시뮬레이션부
522: 실측 실험 DB 530: 실시간 결과 렌더링부
540: 감각 피드백 제어부
550: 사용자 중심 가변형 플랫폼 제어부
560: 사용자 인터페이스 제어부 570: 네트워크 기반 훈련 DB
600: 시스템 관리부 620: 외부 관찰용 콘텐츠 출력부
640: 시스템 보호부
660: 시스템 분해 및 연계 조립 지원부
680: 서버 기반 시스템 원격 관리부
700: 콘텐츠 생성부 720: 실제 객체 획득부
740: 가상 객체 생성부
760: 객체간 상호작용 시나리오 생성부
780: 혼합현실 콘텐츠 DB
800: 트래킹 공간

Claims (20)

1. 사용자 신체 정보 및 작업 시나리오를 근거로 높이 및 회전각도 중에 적어도 하나를 포함하는 파라미터를 조정하기 위한 설정값을 입력받는 사용자 인터페이스부;
   상기 사용자 인터페이스부에서 입력받은 설정값을 근거로 높이 및 회전각도 중에 적어도 하나를 가변하며 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠의 입체영상을 출력하는 영상 출력부;
   상기 영상 출력부를 통해 출력되는 입체영상에 대한 사용자의 움직임을 근거로 실제 작업도구를 이용한 작업시에 발생하는 감각 피드백과 동일한 감각 피드백을 발생하는 사용자 작업도구부;
   상기 사용자 작업도구부의 움직임을 감지하여 감지신호를 발생하는 트래킹부; 및
   복수의 혼합현실 콘텐츠를 관리하고, 상기 복수의 혼합현실 콘텐츠 중에서 사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠를 검출하여 상기 영상 출력부에게로 제공하고, 상기 트래킹부에서 감지한 감지신호를 근거로 시뮬레이터를 활용하는 현장 시나리오를 중심으로 주변 객체와 상기 사용자 작업도구부의 상호작용을 시뮬레이션하고, 상기 시뮬레이션의 결과를 렌더링하여 상기 영상 출력부에게로 전송하는 콘텐츠 운영부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
2. 청구항 1에 있어서,
   상기 영상 출력부는,
   상기 혼합현실 콘텐츠의 입체영상을 좌/우 시각 정보로 분류하여 출력하는 입체 디스플레이부;
   추가정보를 가시화하여 상기 입체 디스플레이부에서 출력되는 입체영상에 출력하는 정보 가시화부; 및
   사용자 신체 정보 및 출력중인 혼합현실 콘텐츠에 근거하여 상기 입체 디스플레이부와 혼합현실 기반 정보 가시화부 및 LMD 기반 정보 가시화부의 구조 변경을 위한 변경정보를 설정하는 가변형 플랫폼 제어부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
3. 청구항 2에 있어서,
   상기 정보 가시화부는,
   추가정보를 가시화하여 상기 입체 디스플레이부에서 출력되는 입체영상에 출력하는 혼합현실 기반 정보 가시화부; 및
   상기 추가정보를 가시화하여 상기 입체 디스플레이부에서 출력되는 입체영상의 외부에 출력하되, 복수의 사용자에게 사용자별로 차별화된 추가정보를 제공하는 LMD 기반 정보 가시화부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
4. 청구항 3에 있어서,
   상기 LMD 기반 정보 가시화부는 증강현실에서 사용하는 see-through형 LMD 기반의 디스플레이 장치로 구성되는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
5. 청구항 2에 있어서,
   상기 영상 출력부는,
   사용자에 대한 사용자 신체정보를 감지하는 센서부; 및
   상기 사용자 인터페이스부로부터의 입력정보와 상기 가변형 플랫폼 제어부로부터의 변경정보 및 상기 센서부에서 감지한 상기 사용자 신체정보 중에 적어도 하나를 근거로 상기 입체 디스플레이부 및 정보 가시화부의 구조를 변경하는 수동/자동 제어부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
6. 청구항 2에 있어서,
   상기 가변형 플랫폼 제어부는,
   사용자의 사용자 신체정보 및 상기 혼합현실 콘텐츠를 근거로 상기 입체 디스플레이부의 높이, 회전, 거리를 포함하는 변경정보를 설정하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
7. 청구항 2에 있어서,
   상기 가변형 플랫폼 제어부는,
   사용자의 신체 높이 및 바닥 압력 분포를 기준값과 비교하여 영상 출력부의 위치를 수정하기 위한 수정 안내 정보를 생성하고, 생성한 수정 안내 정보를 상기 사용자 인터페이스부로 전송하여 출력하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
8. 청구항 2에 있어서,
   상기 가변형 플랫폼 제어부는,
   사용자의 신체 높이 및 바닥 압력 분포를 기준값과 비교하여 영상 출력부의 위치를 변경하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
9. 청구항 2에 있어서,
   상기 입체 디스플레이부는,
   LCD 평면 입체 영상패널 및 반투명 거울로 구성되고, 상기 LCD 평면 입체 영상패널 및 반투명 거울 사이에 광위상지연기가 설치되는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
10. 청구항 1에 있어서,
    상기 사용자 작업도구부는,
    복수의 혼합현실 콘텐츠에 사용되는 복수의 작업도구를 생성하는 작업도구 생성부; 및
    상기 작업도구의 내부에 형성되어 혼합현실 콘텐츠의 시뮬레이션에 따른 다중 감각 피드백을 지원하는 작업도구 지원부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
11. 청구항 10에 있어서,
    상기 작업도구 지원부는,
    시각 감각을 자극하는 정보의 출력으로 작업도구와 관련된 피드백 정보를 전달하는 시각 피드백 지원부;
    물리적 및 인지적인 힘 효과를 전달하는 햅틱 피드백 지원부;
    음향 효과를 이용한 입출력 정보를 표현하는 음향 피드백 지원부;
    후각 감각 기관을 이용한 정보의 입출력을 제공하는 후각 피드백 지원부; 및
    상기 트래킹부와 연계하여 작업도구의 위치정보 및 자세정보를 교환하는 트래킹 지원부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
12. 청구항 1에 있어서,
    상기 트래킹부는,
    사용자 및 사용자 작업도구부의 위치, 자세, 압력, 가속도, 온도 중에 적어도 하나를 감지하여 상기 사용자 및 사용자 작업도구부를 추적하는 센서 기반 실시간 추적 생성부;
    저장된 복수의 추적 데이터를 일정한 시간을 주기로 시뮬레이션하여 현재 센서에서 발생한 값인 입력값을 생성하는 데이터 DB 기반 추적 정보 생성부; 및
    상기 데이터 DB 기반 추적 정보 생성부로부터의 입력값을 이용하여 물리적인 센싱값을 생성하는 가상 센서 기반 추적 정보 생성부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
13. 청구항 12에 있어서,
    상기 트래킹부는,
    사용자의 움직임을 추적하기 위해 복수의 카메라의 설치 위치 및 촬영방향을 포함하는 카메라 기반 안정적 추적 공간을 설정하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
14. 청구항 1에 있어서,
    상기 사용자 인터페이스부는,
    시스템 운영 설정 및 작업 시나리오 관련 파라미터를 설정하기 위한 설정값을 입력받아 출력하고, 입력된 상기 시스템 운영 설정 및 시나리오 관련 파라미터를 콘텐츠 운영부로 전송하는 GUI 조작부; 및
    작업 시나리오 조건에 근거하여 가변형 하드웨어 플랫폼의 자세 변경 및 안내 정보를 상기 영상 출력부로 전송하고, 시뮬레이터를 제어하기 위한 제어신호를 발생하는 시뮬레이터 관리용 제어부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
15. 삭제
16. 삭제
17. 청구항 1에 있어서,
    상기 콘텐츠 운영부는,
    상기 트래킹부로부터 추적 대상 개체로부터 발생되는 트래킹 정보를 수신하여 처리하는 트래킹 데이터 처리부;
    시뮬레이터를 활용하는 현장 시나리오를 중심으로 주변 객체와의 상호작용을 시뮬레이션하는 실시간 작업 시뮬레이션부;
    상기 실시간 작업 시뮬레이션부에서의 시뮬레이션 결과를 렌더링하여 상기 영상 출력부로 전송하여 출력하는 실시간 결과 렌더링부;
    혼합현실 콘텐츠의 상황 정보 및 시뮬레이터 정보를 연계처리하여 플랫폼의 변경 정보를 설정하는 사용자 중심 가변형 플랫폼 제어부;
    사용자 중심 가변형 플랫폼 제어부에서 설정된 변경 정보를 상기 사용자 인터페이스부에게로 전송하는 사용자 인터페이스 제어부;
    콘텐츠 생성부에서 생성된 복수의 작업 환경에 대응되는 복수의 혼합현실 콘텐츠를 저장하는 네트워크 기반 훈련 DB; 및
    상기 실시간 작업 시뮬레이션부로부터의 시뮬레이션 결과에 따른 다중 감각 피드백 제어 신호를 생성하여 상기 사용자 작업도구부로 전송하는 다중 감각 피드백 제어부를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
18. 청구항 1에 있어서,
    외부로 시뮬레이션 진행 과정 및 결과를 출력하는 외부 관찰용 콘텐츠 출력부;
    시스템의 설치 및 관리를 수행하는 시스템 보호부;
    시스템의 이동 및 다수의 플랫폼 동시 설치를 제공하는 시스템 분해 및 연계 조립 지원부; 및
    원격 제어 장치와 시스템의 가동과 종료 및 상기 사용자 인터페이스부에서 처리되는 작업 조건 설정 중에 적어도 하나를 제어하기 위한 제어정보를 송수신하는 서버 기반 시스템 원격 관리부를 포함하여 구성되는 시스템 관리부를 더 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
19. 청구항 1에 있어서,
    사용자의 작업 훈련에 사용되는 혼합현실 콘텐츠를 생성하는 콘텐츠 생성부를 더 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.
20. 청구항 19에 있어서,
    상기 콘텐츠 생성부는,
    혼합현실 콘텐츠에 포함되는 객체 모델링 및 저장된 객체 선택 중에 하나의 방법으로 상기 사용자 작업도구부로부터 가상 객체 모델을 입력받아 실제 객체를 획득하는 실제 객체 획득부;
    입력되는 영상 또는 이미지 기반 모델링 기법을 통해 상기 실제 객체 획득부를 통해 획득한 실제 객체에 대응하는 가상 객체를 생성하는 가상 객체 생성부;
    상기 가상 객체 생성부에서 생성된 가상 객체에 대한 시나리오를 생성하는 객체간 상호작용 시나리오 생성부; 및
    상기 객체간 상호작용 시나리오 생성부에서 생성된 시나리오를 저장하는 혼합현실 콘텐츠 DB를 포함하는 것을 특징으로 하는 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치.

Images