KR20210057432A - 헤드 마운트 디스플레이 및 제어 방법 - Google Patents

헤드 마운트 디스플레이 및 제어 방법 Download PDF

Info

Publication number
KR20210057432A
KR20210057432A KR1020190144183A KR20190144183A KR20210057432A KR 20210057432 A KR20210057432 A KR 20210057432A KR 1020190144183 A KR1020190144183 A KR 1020190144183A KR 20190144183 A KR20190144183 A KR 20190144183A KR 20210057432 A KR20210057432 A KR 20210057432A
Authority
KR
South Korea
Prior art keywords
image
display
surrounding environment
processor
camera
Prior art date
Application number
KR1020190144183A
Other languages
English (en)
Other versions
KR102398584B1 (ko
Inventor
조인표
이상엽
최효섭
이재규
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190144183A priority Critical patent/KR102398584B1/ko
Publication of KR20210057432A publication Critical patent/KR20210057432A/ko
Application granted granted Critical
Publication of KR102398584B1 publication Critical patent/KR102398584B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

본 문서에 개시되는 일 실시 예에 따른 헤드 마운트 디스플레이는, 주변 환경을 촬영 가능한 카메라; 3D 영상을 표시 가능한 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 카메라를 이용하여 상기 주변 환경에 관련된 3D 주변 환경 영상을 생성하고, 상기 디스플레이를 통해 상기 3D 주변 환경 영상을 표시하고, 상기 카메라를 통해 지정된 마커(maker)을 인식하면, 상기 마커에 대응하는 부품에 대한 조립 과정 또는 또는 분해 과정 관련 3D 작업 매뉴얼 영상을 상기 3D 주변 환경 영상에 중첩하여 표시할 수 있다.

Description

헤드 마운트 디스플레이 및 제어 방법{Head Mount Display and the Control Method thereof}
본 문서에서 개시되는 다양한 실시 예들은, 산업 현장에 적용된 가상 현실 기술과 관련된다.
산업 현장에서는 조립 공정, 품질 시험 및 불량 해소와 같은 다양한 작업 공정을 통해서 완성품을 제작할 수 있다. 산업 현장에는 사람의 손을 줄이기 위하여 자동화가 진행되고 있지만, 아직까지는 수작업이 필요한 일이 혼재되어 있다. 작업자들의 작업 숙련도를 높이고 작업 오류를 방지하기 위하여 산업 현장에는 각 공정의 작업자에 의해 숙지되어야 할 작업 매뉴얼이 구비된다.
그런데, 종래의 작업 매뉴얼은 간단한 텍스트와 그림으로만 표현되어 있어, 숙련도가 낮은 작업자가 새로운 작업을 직관적으로 파악하기 어려웠다.
본 문서에 개시되는 다양한 실시 예들은 사용자에 의해 직관적으로 이해될 수 있는 작업 매뉴얼을 제공 가능한 헤드 마운트 디스플레이 및 제어 방법을 제공할 수 있는 헤드 마운트 디스플레이 및 제어 방법을 제공할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 헤드 마운트 디스플레이는, 주변 환경을 촬영 가능한 카메라; 3D 영상을 표시 가능한 디스플레이; 적어도 하나의 인스트럭션을 저장하는 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 인스트럭션을 실행함으로써, 상기 카메라를 이용하여 상기 주변 환경에 관련된 3D 주변 환경 영상을 생성하고, 상기 디스플레이를 통해 상기 3D 주변 환경 영상을 표시하고, 상기 카메라를 통해 지정된 마커(maker)을 인식하면, 상기 마커에 대응하는 부품에 대한 조립 과정 또는 또는 분해 과정 관련 3D 작업 매뉴얼 영상을 상기 3D 주변 환경 영상에 중첩하여 표시할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 헤드 마운트 디스플레이 제어 방법은, 카메라를 이용하여 3D 주변 환경 영상을 생성하는 동작; 상기 3D 주변 환경 영상을 헤드 마운트 디스플레이를 통해 표시하는 동작; 상기 3D 주변 환경 영상에 기반하여 지정된 마커(maker)을 인식하면, 상기 마커에 대응하는 부품에 대한 상기 3D 작업 매뉴얼 영상을 상기 3D 주변 환경 영상에 중첩하여 표시할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 사용자에 의해 직관적으로 이해될 수 있는 작업 매뉴얼을 제공할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시예에 따른 헤드 마운트 디스플레이의 UI 화면을 나타낸다.
도 2는 일 실시예에 따른 헤드 마운트 디스플레이의 구성도를 나타낸다.
도 3은 일 실시예에 따른 헤드 마운트 디스플레이의 아키텍처(architecture)를 나타낸다.
도 4는 일 실시예에 따른 헤드 마운드 디스플레이 제어 방법을 나타낸다.
도 5a 및 도 5b는 일 실시예에 따른 조립 과정 관련 3D 작업 매뉴얼 영상의 표시 예를 나타낸다.
도 6은 일 실시예에 따른 분해 과정 관련 3D 작업 매뉴얼 영상의 표시 예를 나타낸다.
도 7은 일 실시예에 따른 화상 통화 창의 표시 예를 나타낸다.
도 8a 및 도 8b는 일 실시예에 따른 작업 관련 창의 표시 예를 나타낸다.
도 9는 일 실시예에 따른 3D 가상 설비 영상의 표시 예를 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 일 실시예에 따른 헤드 마운트 디스플레이의 UI 화면을 나타낸다.
도 1을 참조하면, 일 실시예에 따르면, 헤드 마운트 디스플레이(101)는 카메라를 이용하여 3D(dimensional) 주변 환경 영상을 생성 및 표시할 수 있다. 상기 3D 주변 환경 영상은 사용자의 작업 시야에 대응하는 주변 환경 영상일 수 있다. 헤드 마운트 디스플레이(101)는 3D 주변 환경 영상에 기반하여 지정된 마커(marker)을 인식하면, 지정된 마커에 대응하는 부품에 대한 조립 과정 또는 분해 과정 관련 3D 작업 매뉴얼(manual) 영상(102)을 3D 주변 환경 영상(101)에 중첩하여 동적으로 표시할 수 있다. 예를 들어, 헤드 마운트 디스플레이(101)는 주변 환경으로부터 지정된 마커를 인식하면, 지정된 마커에 대응하는 작업 매뉴얼 열람과 관련된 객체를 표시하고, 상기 객체에 대한 사용자 입력에 응답하여 3D 작업 매뉴얼 영상(102)를 순차적으로 표시할 수 있다.
다양한 실시예들에 따르면, 헤드 마운트 디스플레이(101)는 설치될 설비에 대한 가상 배치 기능, 사용자의 작업 일람 기능 또는 다른 장치와의 화상 통화 기능 중 적어도 하나의 기능을 제공할 수 있다.
상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 산업 환경에서 사용자에 의해 작업될 부품에 대한 작업 매뉴얼을 3D 동적 영상으로 제공할 수 있어, 작업자가 작업 매뉴얼을 할당된 작업을 직관적으로 이해할 수 있도록 지원할 수 있다.
도 2는 일 실시예에 따른 헤드 마운트 디스플레이의 구성도를 나타낸다.
도 2를 참조하면, 헤드 마운트 디스플레이(101)는 통신 회로(210), 카메라(220), 디스플레이(230), 메모리(240) 및 프로세서(240)를 포함할 수 있다. 일 실시 예에서, 헤드 마운트 디스플레이(101)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 또한, 헤드 마운트 디스플레이(101)의 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
통신 회로(210)는 헤드 마운트 디스플레이(101)와 다른 장치(예: 서버(102)) 간의 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 상기 통신 채널은 예를 들어, LAN(local area network), FTTH(Fiber to　the　home), xDSL(x-Digital　Subscriber　Line), WiFi, Wibro, 3G 또는 4G과 같은 통신 방식의 통신 채널일 수 있다.
카메라(220)는 정지 영상 및 동영상을 촬영할 수 있다. 카메라(220)는 적어도 사용자의 시야에 대응하는 화각을 갖도록 마련될 수 있다. 카메라(220)는 헤드 마운트 디스플레이(101)의 주변 환경을 3D 영상으로 촬영할 수 있도록 마련될 수 있다. 예를 들어, 카메라(220)는 좌우 방향으로 시차를 갖는 제1 이미지 센서(좌측에 배치된 이미지 센서) 및 제2 이미지 센서(우측에 배치된 이미지 센서)를 포함하고, 제1 이미지 센서 및 제2 이미지 센서에 의하여 각기 촬영된 제1 영상 및 제2 영상에 포함하는 3D 영상을 촬영할 수 있다.
디스플레이(230)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 또는 유기 발광 다이오드(OLED) 디스플레이를 포함할 수 있다. 일 실시예에 따르면, 디스플레이(230)는 3D 영상을 표시 가능하도록 마련될 수 있다. 예를 들어, 디스플레이(230)는 사용자의 좌안을 통해 확인 가능하도록 마련된 좌측 디스플레이 및 사용자의 우안을 통해 확인 가능하도록 마련된 우측 디스플레이를 포함할 수 있다. 예를 들어, 좌측 디스플레이 및 우측 디스플레이는 서로 시차를 갖는 좌안 영상(예: 제1 이미지 센서에 의해 획득된 영상)과 우안 영상(예: 제2 이미지 센서에 의해 획득된 영상)을 각기 표시함에 따라 사용자에 의해 확인 가능한 3D 영상을 표시할 수 있다.
메모리(240)는 헤드 마운트 디스플레이(101)의 적어도 하나의 구성요소(예: 프로세서(240))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는 예를 들어, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 예를 들어, 메모리(240)는 3D 작업 매뉴얼 제공을 위한 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(240)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
프로세서(240)는 헤드 마운트 디스플레이(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(240)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다.
일 실시예에 따르면, 프로세서(240)는 카메라(220)를 이용하여 헤드 마운드 디스플레이(230)의 전방 및 측방을 촬영하고, 촬영된 영상들에 기반하여 3D(dimensional) 주변 환경 영상을 생성할 수 있다. 예를 들어, 프로세서(240)는 제1 이미지 센서에 의해 촬영된 영상에 기반하여 좌안 주변 환경 영상을 생성하고, 제2 이미지 센서에 의해 촬영된 영상에 기반하여 우안 주변 환경 영상을 생성할 수 있다. 일 실시예에서, 프로세서(240)는 생성된 3D 주변 환경 영상을 디스플레이(230)를 통해 표시할 수 있다. 예를 들어, 프로세서(240)는 좌안 주변 환경 영상을 좌측 디스플레이에 표시하고, 우안 주변 환경 영상을 우측 디스플레이에 표시할 수 있다.
일 실시예에 따르면, 프로세서(240)는 카메라(220)를 이용하여 사용자 입력을 획득하고, 사용자 입력에 대응하는 기능을 제공할 수 있다. 예를 들어, 프로세서(240)는 카메라(220)를 통하여 사용자의 손 동작을 인식함에 따라 기능 메뉴를 표시하고, 기능 메뉴 중 선택된 기능 메뉴에 대응하는 기능을 제공할 수 있다. 다른 예를 들어, 프로세서(240)는 모션 감지와 같은 다른 감지 수단에 기반하여 사용자 입력을 획득할 수 있다. 이하의 문서에서는 설명의 편의성을 위하여 프로세서(240)가 카메라(220)를 이용하여 사용자 입력을 획득하는 경우를 예로 들어 설명한다.
일 실시예에 따르면, 프로세서(240)는 외부 입력(예: 마커 인식)에 응답하여 사용자의 작업 대상(부품)에 대응하는 3D 작업 매뉴얼 영상을 디스플레이(230)를 통해 표시할 수 있다. 예를 들어, 프로세서(240)는 카메라(220)를 통해 주변 환경에서 지정된 마커(marker)을 인식하면, 인식된 마커에 대응하는 작업 매뉴얼 열람과 관련된 객체를 표시할 수 있다. 프로세서(240)는 카메라(220)를 통해 상기 표시된 객체에 대한 사용자 입력(예: 선택)을 확인하면, 상기 지정된 마커에 대응하는 부품에 대한 조립 과정(또는, 분해 과정) 관련 3D 작업 매뉴얼(manual) 영상을 3D 주변 환경 영상(101)에 중첩하여 동적으로 표시할 수 있다. 프로세서(240)는 3D 작업 매뉴얼 영상이 복수의 조립 과정 영상들로 구성될 경우에 사용자의 입력이 획득될 때마다 한 개의 조립 과정 영상을 동적으로 표시함에 따라 복수의 조립 과정 영상들을 순차적으로 표시할 수 있다. 상기 마커는 부품 별로 각기 지정된 이미지로서 예컨대, 부품 또는 부품이 놓인 작업 공간에 포함(예: 표기)된 것일 수 있다. 추가적으로 또는 대체적으로, 프로세서(240)는 마커 대신에 QR 코드를 인식할 수 있다. 또한, 프로세서(240)는 3D 작업 매뉴얼 영상 대신에 각종 시청각 자료 또는 3D 트윈 모델을 출력할 수 있다.
일 실시예에 따르면, 프로세서(240)는 카메라(220)를 통해 작업 일람 관련 입력을 획득하면, 사용자에게 할당된 작업 리스트 정보, 작업 설명 정보 또는 작업 지시 정보 중 적어도 하나를 포함하는 작업 관련 창을 표시할 수 있다. 상기 작업 설명 정보는 작업 위치 정보, 작업 방법 정보 및 협업자 정보 중 적어도 하나를 포함할 수 있다. 프로세서(240)는 예를 들면, 3D 주변 환경 영상에 포함된 벽면 또는 정면에 작업 관련 창을 표시할 수 있다. 프로세서(240)는 다른 예를 들면, 3D 주변 환경 영상에 기반하여 이전에 인식된 작업 대상을 가리지 않도록 작업 관련 창을 표시할 수 있다. 상기 작업 관련 창은 사용자에 의해 해결되어야 할 문제점 리스트(issue list) 또는 문제 해결을 위한 디버깅(debugging) 설명 중 적어도 하나를 더 포함할 수 있다. 상기 작업 설명 및 상기 디버깅 설명 중 적어도 하나의 설명은 3D 동영상을 포함할 수 있다.
일 실시예에 따르면, 프로세서(240)는 사용자 입력에 응답하여, 사용자의 작업 진행 관련 정보를 통신 회로(210)를 통해 서버(102)에 저장할 수 있다. 예를 들어, 작업 진행 관련 정보는 작업 진행 내역 및 문제점 발생 내역을 저장할 수 있다.
일 실시예에 따르면, 프로세서(240)는 카메라(220)를 통해 다른 장치와 화상 통화 관련 입력을 획득하면, 통신 회로(210)를 통해 다른 장치(예: 다른 헤드 마운트 디스플레이)와 화상 통화를 연결할 수 있다. 프로세서(240)는 화상 통화가 연결되면, 다른 장치로부터 다른 사용자 영상을 획득하고, 다른 사용자 영상을 포함하는 화상 통화 창(window)을 디스플레이(230)를 통해 표시할 수 있다. 프로세서(240)는 예를 들면, 3D 주변 환경 영상에 포함된 벽면 또는 정면에 화상 통화 창을 표시할 수 있다. 프로세서(240)는 다른 예를 들면, 3D 주변 환경 영상에 기반하여 이전에 인식된 작업 대상을 가리지 않도록 화상 통화 창을 표시할 수 있다.
일 실시예에 따르면, 프로세서(240)는 화상 통화 창을 표시하는 도중에, 카메라(220)를 이용하여 화상 통화 창 이동 관련 입력을 획득하면, 획득된 입력에 대응하는 위치로 화상 통화 창을 이동할 수 있다. 이에, 상술한 실시예에 따르면, 프로세서(240)는 화상 통화 창으로 인하여 사용자의 시야를 가려서 작업 효율을 저하시키는 문제를 방지할 수 있다.
일 실시예에 따르면, 프로세서(240)는 카메라(220)를 통해 가상 설비 배치 관련 입력을 획득하면, 가상 설비 배치 관련 메뉴를 디스플레이(230)를 통해 표시할 수 있다. 프로세서(240)는 상기 가상 설비 배치 관련 메뉴를 통해서 새롭게 배치될 설비 및 배치 위치가 선택되면, 메모리(240)로부터 선택된 설비에 대응하는 설비 관련 정보(예: 3D 가상 설비 영상)를 확인하고, 3D 주변 환경 영상에 선택된 설비에 대응하는 3D 가상 설비 영상을 중첩하여 표시할 수 있다. 상기 배치 위치는 예를 들면, 3D 주변 환경 영상에 포함된 어느 위치로 선택될 수 있다. 이와 관련하여, 프로세서(240)는 3D 주변 환경 영상에 기반하여 주변 공간 요소(예: 바닥, 천장, 탁자, 설비)를 확인하고, 확인된 주변 공간 요소에 기반하여 여유 공간 정보(예: 여유 공간 크기)를 확인할 수 있다. 프로세서(240)는 예를 들면, 메모리(240)에 저장된 주변 공간 요소 정보(예: 주변 공간 높이, 탁자 크기, 다른 설비 크기)에 기반하여 주변 공간 요소가 차지하는 공간을 제외한 여유 공간 크기를 확인할 수 있다. 프로세서(240)는 여유 공간 정보 및 선택된 설비 관련 정보(예: 설비 크기 정보)에 기반하여 선택된 설비가 배치 위치에 설치될 경우에 주변 공간 요소와 충돌하는 부분이 있는지를 확인할 수 있다. 프로세서(240)는 상기 충돌하는 부분을 확인하면, 3D 가상 설비 영상에서 충돌하는 부분을 예컨대, 다른 부분과 구별되는 색상(예: 붉은색)으로 표시할 수 있다.
일 실시예에 따르면, 프로세서(240)는 상술된 영상들(예: 3D 작업 매뉴얼 영상, 작업 관련 창, 화상 통화 창)을 동일한 공간 앵커에 대응하도록 표시할 수 있다. 이에, 상술한 실시예에 따르면, 프로세서(240)는 공통 좌표계를 사용함에 따라 동일 위치 및 동일 시점에서는 해당 위치 및 시점에 맵핑된 동일한 영상을 제공할 수 있다.
다양한 실시예에 따르면, 헤드 마운트 디스플레이(101)의 적어도 일부 구성은 헤드 마운트 디스플레이와 통신하는 서버(102)에 의하여 수행될 수 있다. 예를 들어, 서버(102)는 마커에 대응하는 3D 작업 매뉴얼 영상을 저장할 수 있다. 이 경우, 헤드 마운트 디스플레이(101)는 인식된 마커 정보를 서버로 송신하고, 그 응답으로 서버(102)로부터 마커 정보에 대응하는 3D 작업 매뉴얼 영상을 수신할 수 있다.
이 같이, 상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 3D 작업 매뉴얼을 제공함에 따라 산업 현장 작업자(사용자)가 자신에게 할당된 새로운 작업(예: 조립 과정 또는 분해 과정)을 직관적으로 이해하고 작업하도록 지원할 수 있다.
또한, 상술한 실시예에 따르면, 헤드 마운드 디스플레이(230)는 작업자가 작업 리스트 및 작업 설명을 용이하게 제공받음은 물론, 문제점 내역을 용이하게 서버(102)에 등록하고, 다른 사용자들(예: 다른 작업자 또는 관리자)과 공유할 수 있도록 지원할 수 있다.
뿐만 아니라, 상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 공동 작업자(다른 사용자)와의 화상 통화 기능을 제공함에 따라 작업자가 다른 작업자와 작업 절차를 용이하게 공유할 수 있도록 지원할 수 있다.
더 나아가, 상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 산업 현장에 설비를 배치하기 전에 배치 가능 여부를 미리 시뮬레이션할 수 있어, 사용자가 산업 현장에 맞는 설비를 구입하고, 설비의 설치 작업 시간을 줄이도록 지원할 수 있다.
도 3은 일 실시예에 따른 헤드 마운트 디스플레이의 아키텍처(architecture)를 나타낸다.
도 3을 참조하면, 일 실시예에 따르면, 헤드 마운트 디스플레이(101)는 Hololens와 같은 혼합 현실 장치에 기반하여 구현될 수 있다. 상기 혼합 현실 장치는 Dagri 또는 Magicleap와 같은 다른 혼합 현실 장치로 대체될 수 있다.
일 실시예에 따르면, 헤드 마운트 디스플레이(101)는 통합 개별 환경(IDE: Integrated Development Environment)으로서 산업용 혼합 현실 어플리케이션 Unity를 이용할 수 있다. 상기 통합 개별 환경은 Unreal로 대체될 수 있다.
일 실시예에 따르면, 헤드 마운트 디스플레이(101)는 Hololens에 의해 지원되는 디바이스 라이브러리, Vuforia 및 ffmpeg에 기반하여 비전 프로세싱(vision processing)을 제공할 수 있다. 예를 들어, 헤드 마운트 디스플레이(101)는 상기 디바이스 라이브러리에 기반하여 공간 인식 기능 및 사용자의 제스처 인식 기능 중 적어도 하나를 제공할 수 있다. 다른 예를 들어, 헤드 마운트 디스플레이(101)는 Vuforia에 기반하여 카메라(220)를 통해 획득된 주변 환경 영상으로부터 다양한 형상의 물체(예: 마커)를 인식할 수 있다. 이와 달리, 헤드 마운트 디스플레이(101)는 Open CV에 기반하여 다양한 물체를 인식할 수 있다. 또 다른 예로, 헤드 마운트 디스플레이(101)는 ffmpeg를 이용하여 오디오 및 비디오를 포함하는 데이터를 인코딩, 디코딩, 트랜스코딩하거나, 스트리밍할 수 있다.
일 실시예에 따르면, 헤드 마운트 디스플레이(101)는 자체 개발된(customized) 웹 기반 이슈 추적 시스템에 기반하여 작업 진행 관련 정보를 저장 및 관리할 수 있다.
상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 상술된 VR(virtual reality) 관련 상용 제품들을 용이하게 커스터마이징(customizing)함에 따라 3D 작업 매뉴얼 영상, 3D 가상 설비 영상 및 작업 진행 관련 정보 중 적어도 하나를 표시 가능하도록 구현될 수 있다.
도 4는 일 실시예에 따른 헤드 마운드 디스플레이 제어 방법을 나타낸다.
도 4를 참조하면, 동작 410에서, 헤드 마운트 디스플레이(101)는 카메라(220)를 이용하여 3D 주변 환경 영상을 생성할 수 있다. 예를 들어, 헤드 마운트 디스플레이(101)는 제1 이미지 센서에 의해 촬영된 영상에 기반하여 좌안 주변 환경 영상을 생성하고, 제2 이미지 센서에 의해 촬영된 영상에 기반하여 우안 주변 환경 영상을 생성할 수 있다.
동작 420에서, 헤드 마운트 디스플레이(101)는 생성된 3D 주변 환경 영상을 표시할 수 있다. 예를 들어, 헤드 마운트 디스플레이(101)는 좌안 주변 환경 영상을 좌측 디스플레이에 표시하고, 우안 주변 환경 영상을 우측 디스플레이에 표시함에 따라 사용자에게 의해 3D로 확인되는 3D 주변 환경 영상을 표시할 수 있다.
동작 430에서, 헤드 마운트 디스플레이(101)는 3D 주변 환경 영상에 기반하여 지정된 마커(maker)을 인식하면, 인식된 마커에 대응하는 부품에 대한 3D 작업 매뉴얼 영상을 3D 주변 환경 영상에 중첩하여 표시할 수 있다. 헤드 마운트 디스플레이(101)는 3D 작업 매뉴얼 영상이 복수의 조립 과정 영상들로 구성될 경우에 사용자의 입력이 획득될 때마다 한 개의 조립 과정 영상을 동적으로 표시함에 따라 복수의 조립 과정 영상들을 순차적으로 표시할 수 있다.
도 5a 및 도 5b는 일 실시예에 따른 조립 과정 관련 3D 작업 매뉴얼 영상의 표시 예를 나타낸다.
도 5a 및 도 5b를 참조하면, 헤드 마운트 디스플레이(101)는 카메라(220)를 이용하여 3D 주변 환경 영상을 생성하고, 3D 주변 환경 영상에 기반하여 사용자가 조립하고자 하는 부품(또는, 부품에 대응하는 지정된 마커)을 인식할 수 있다. 헤드 마운트 디스플레이(101)는 부품을 인식하면, 부품에 대한 작업 매뉴얼 열람과 관련된 객체(510, 530)를 표시할 수 있다. 헤드 마운트 디스플레이(101)는 객체(510, 530)에 대한 사용자 입력을 확인하면, 상기 부품에 대한 조립 과정(또는, 분해 과정) 관련 3D 작업 매뉴얼(manual) 영상(520, 540)을 3D 주변 환경 영상에 중첩하여 동적으로 표시할 수 있다. 헤드 마운트 디스플레이(101)는 3D 작업 매뉴얼 영상이 복수의 조립 과정 영상들로 구성될 경우에 사용자의 입력이 획득될 때마다 한 개의 조립 과정에 관한 동적 영상을 표시함에 따라 복수의 조립 과정들에 관한 동적 영상을 순차적으로 표시할 수 있다.
도 6은 일 실시예에 따른 분해 과정 관련 3D 작업 매뉴얼 영상의 표시 예를 나타낸다.
도 6을 참조하면, 헤드 마운트 디스플레이(101)는 3D 주변 환경 영상에 기반하여 메모리(240)에 전개도가 저장된 부품에 대응하는 마커를 인식할 수 있다. 이 경우, 헤드 마운트 디스플레이(101)는 인식된 마커에 대응되는 부품에 관련된 완제품 상태(조립 완료 상태)의 3D 부품 영상을 표시하고, 3D 부품 영상 주변에 분해 과정 관련 객체(510)를 표시할 수 있다. 헤드 마운트 디스플레이(101)는 분해 과정 관련 객체(510)에 대한 사용자 입력(선택)에 응답하여, 분해 과정을 순차적으로 수행하면서 3D 부품 전개도 영상(620)을 표시할 수 있다.
이 같이, 상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 3D 작업 매뉴얼을 제공함에 따라 산업 현장 작업자(사용자)가 자신에게 할당된 새로운 작업(예: 조립 과정 또는 분해 과정)을 직관적으로 이해하고 작업하도록 지원할 수 있다.
도 7은 일 실시예에 따른 화상 통화 창의 표시 예를 나타낸다.
도 7을 참조하면, 헤드 마운트 디스플레이(101)는 다른 장치와 화상 통화를 연결하고, 다른 장치로부터 획득된 다른 사용자 영상을 포함하는 화상 통화 창(700)을 표시할 수 있다. 이 경우, 헤드 마운트 디스플레이(101)는 벽면 또는 정면에 화상 통화 창(700)을 표시하고, 사용자의 입력에 따라 화상 통화 창을 이동하여 표시할 수 있다.
이 같이, 상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 공동 작업자(다른 사용자)와의 화상 통화 기능을 제공함에 따라 작업자가 다른 작업자와 작업 절차를 용이하게 공유할 수 있도록 지원할 수 있다.
또한, 상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 화상 통화 창(700)으로 인하여 사용자의 시야를 가려서 작업 효율을 저하시키는 문제를 방지할 수 있다.
도 8a 및 도 8b는 일 실시예에 따른 작업 관련 창의 표시 예를 나타낸다.
도 8a 및 도 8b를 참조하면, 헤드 마운트 디스플레이(101)는 사용자의 작업 일람 관련 입력에 응답하여, 3D 주변 환경 영상에 포함된 벽면 또는 정면에 사용자의 작업 리스트 정보, 작업 설명 정보 또는 작업 지시 정보 중 적어도 하나를 포함하는 작업 관련 창(810, 820)을 표시할 수 있다. 상기 작업 설명은 작업 위치 정보, 작업 방법 정보 및 협업자 정보 중 적어도 하나의 항목을 포함할 수 있다. 상기 작업 설명 정보는 동영상 및 도면 중 적어도 하나의 항목을 더 포함할 수 있다. 예를 들어, 헤드 마운트 디스플레이(101)는 작업 리스트 정보를 포함하는 작업 관련 창을 표시하고, 작업 리스트 내 어느 작업의 선택에 응답하여 작업 설명 정보 또는 작업 지시 정보 중 적어도 하나의 정보 리스트를 표시하고, 정보 리스트 중 하나에 대한 선택에 응답하여 선택된 정보를 표시할 수 있다.
이 같이, 상술한 실시예에 따르면, 헤드 마운드 디스플레이(230)는 작업자가 작업 리스트 및 작업 설명을 용이하게 제공받음은 물론, 문제점 내역을 용이하게 서버(102)에 등록하고, 다른 사용자들(예: 다른 작업자 또는 관리자)과 공유할 수 있도록 지원할 수 있다.
도 9는 일 실시예에 따른 3D 가상 설비 영상의 표시 예를 나타낸다.
도 9를 참조하면, 헤드 마운트 디스플레이(101)는 새롭게 배치될 설비 및 배치 위치가 선택되면, 3D 주변 환경 영상에 선택된 설비에 대응하는 3D 가상 설비 영상(910)을 중첩하여 표시할 수 있다. 예를 들어, 헤드 마운트 디스플레이(101)는 3D 주변 환경 영상에 기반하여 주변 공간 요소(예: 바닥, 천장, 탁자, 설비)를 확인하고, 확인된 주변 공간 요소에 기반하여 여유 공간 크기를 확인할 수 있다. 헤드 마운트 디스플레이(101)는 여유 공간 크기 및 선택된 설비 크기 정보에 기반하여 선택된 설비가 배치 위치에 설치될 경우에 주변 공간 요소와 충돌하는 부분이 있는지를 확인하고, 충돌하는 부분을 구분 가능하도록 3D 가상 설비 영상(910)을 표시할 수 있다.
이 같이, 상술한 실시예에 따르면, 헤드 마운트 디스플레이(101)는 산업 현장에 설비를 배치하기 전에 배치 가능 여부를 미리 시뮬레이션할 수 있어, 사용자가 산업 현장에 맞는 설비를 구입하고, 설비의 설치 작업 시간을 줄이도록 지원할 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 헤드 마운트 디스플레이(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)(메모리(240))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 헤드 마운트 디스플레이(101))의 프로세서(예: 프로세서(240)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (8)

  1. 헤드 마운트 디스플레이(HMD: head mount display)에 있어서,
    주변 환경을 촬영 가능한 카메라;
    3D 영상을 표시 가능한 디스플레이;
    적어도 하나의 인스트럭션을 저장하는 메모리; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 카메라를 이용하여 상기 주변 환경에 관련된 3D 주변 환경 영상을 생성하고,
    상기 디스플레이를 통해 상기 3D 주변 환경 영상을 표시하고,
    상기 카메라를 통해 지정된 마커(maker)을 인식하면, 상기 마커에 대응하는 부품에 대한 조립 과정 또는 또는 분해 과정 관련 3D 작업 매뉴얼 영상을 상기 3D 주변 환경 영상에 중첩하여 표시하는, 헤드 마운트 디스플레이.
  2. 청구항 1에 있어서, 상기 프로세서는,
    상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 지정된 마커를 인식하면, 상기 디스플레이에 작업 매뉴얼 열람과 관련된 객체를 표시하고,
    상기 객체의 조작에 응답하여, 상기 3D 작업 매뉴얼 영상을 표시하는, 헤드 마운트 디스플레이.
  3. 청구항 1에 있어서, 상기 프로세서는,
    상기 적어도 하나의 인스트럭션을 실행함으로써,
    설치될 설비 및 상기 설비의 배치 위치에 관련된 사용자 입력을 획득하면, 설비 관련 정보에 기반하여 상기 3D 주변 환경 영상에 3D 가상 설비 영상을 중첩하여 표시하는, 헤드 마운트 디스플레이.
  4. 청구항 3에 있어서, 상기 프로세서는,
    상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 3D 주변 환경 영상에 기반하여 상기 배치 위치의 여유 공간을 확인하고,
    상기 여유 공간 및 상기 설비 관련 정보에 기반하여 상기 설비가 상기 배치 위치에 설치될 경우에 주변 공간 요소와 충돌하는 부분이 있는지를 확인하고,
    상기 충돌하는 부분이 있으면, 상기 충돌하는 부분을 구분 가능하도록 상기 3D 가상 설비 영상을 표시하는, 헤드 마운드 디스플레이.
  5. 청구항 1에 있어서, 상기 프로세서는,
    상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 카메라를 통해 작업 일람 관련 입력을 획득하면, 사용자에 할당된 작업 리스트 및 작업 설명 중 적어도 하나의 작업 일람 관련 정보를 상기 디스플레이를 통해 3D 영상으로 표시하는, 헤드 마운트 디스플레이.
  6. 청구항 1에 있어서,
    통신 회로를 더 포함하고,
    상기 프로세서는,
    상기 적어도 하나의 인스트럭션을 실행함으로써,
    상기 통신 회로를 통해 다른 장치와 화상 통화가 연결되면, 상기 다른 장치로부터 획득된 다른 사용자 영상을 포함하는 화상 통화 창을 상기 디스플레이를 통해 표시하고,
    상기 카메라를 이용하여 창 이동 관련 입력을 획득하면, 상기 화상 통화 창을 이동하는, 헤드 마운트 디스플레이.
  7. 청구항 1에 있어서,
    공간 앵커를 대응하도록 상기 3D 작업 매뉴얼 영상을 표시하는, 헤드 마운트 디스플레이.
  8. 헤드 마운트 디스플레이(HMD: head mount display) 제어 방법에 있어서,
    카메라를 이용하여 3D 주변 환경 영상을 생성하는 동작;
    상기 3D 주변 환경 영상을 표시하는 동작;
    상기 3D 주변 환경 영상에 기반하여 지정된 마커(maker)을 인식하면, 상기 마커에 대응하는 부품에 대한 상기 3D 작업 매뉴얼 영상을 상기 3D 주변 환경 영상에 중첩하여 표시하는 동작을 포함하는, 헤드 마운트 디스플레이 제어 방법.
KR1020190144183A 2019-11-12 2019-11-12 헤드 마운트 디스플레이 및 제어 방법 KR102398584B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190144183A KR102398584B1 (ko) 2019-11-12 2019-11-12 헤드 마운트 디스플레이 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190144183A KR102398584B1 (ko) 2019-11-12 2019-11-12 헤드 마운트 디스플레이 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20210057432A true KR20210057432A (ko) 2021-05-21
KR102398584B1 KR102398584B1 (ko) 2022-05-17

Family

ID=76157588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190144183A KR102398584B1 (ko) 2019-11-12 2019-11-12 헤드 마운트 디스플레이 및 제어 방법

Country Status (1)

Country Link
KR (1) KR102398584B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456145B1 (ko) * 2021-12-30 2022-10-18 주식회사 안심엘피씨 Ar 및 vr 환경 기반 발골 교육 콘텐츠 제공 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100025983A (ko) * 2008-08-28 2010-03-10 경상대학교산학협력단 가상조립 시뮬레이션 시스템
KR20120061197A (ko) * 2010-12-03 2012-06-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101195446B1 (ko) * 2012-01-26 2012-12-24 이에스이 주식회사 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법
KR20150039026A (ko) * 2013-10-01 2015-04-09 엘지전자 주식회사 디스플레이 장치의 동작 방법
KR20190076770A (ko) * 2017-12-22 2019-07-02 주식회사 이엠아이티 증강현실 기반 조립 가이드 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100025983A (ko) * 2008-08-28 2010-03-10 경상대학교산학협력단 가상조립 시뮬레이션 시스템
KR20120061197A (ko) * 2010-12-03 2012-06-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101195446B1 (ko) * 2012-01-26 2012-12-24 이에스이 주식회사 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법
KR20150039026A (ko) * 2013-10-01 2015-04-09 엘지전자 주식회사 디스플레이 장치의 동작 방법
KR20190076770A (ko) * 2017-12-22 2019-07-02 주식회사 이엠아이티 증강현실 기반 조립 가이드 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456145B1 (ko) * 2021-12-30 2022-10-18 주식회사 안심엘피씨 Ar 및 vr 환경 기반 발골 교육 콘텐츠 제공 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102398584B1 (ko) 2022-05-17

Similar Documents

Publication Publication Date Title
Hilfert et al. Low-cost virtual reality environment for engineering and construction
US20160357491A1 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US11385760B2 (en) Augmentable and spatially manipulable 3D modeling
US10339382B2 (en) Feedback based remote maintenance operations
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
US8225226B2 (en) Virtual control panel
Eswaran et al. Augmented reality-based guidance in product assembly and maintenance/repair perspective: A state of the art review on challenges and opportunities
US20190180082A1 (en) Methods and systems for training an object detection algorithm using synthetic images
EP3065030A1 (en) Control system and method for virtual navigation
JP6765823B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
JP7208549B2 (ja) 仮想空間制御装置、その制御方法、及びプログラム
CN104731441A (zh) 信息处理的方法、以及电子设备
EP3314581B1 (en) Augmented reality device for visualizing luminaire fixtures
US10943399B2 (en) Systems and methods of physics layer prioritization in virtual environments
US10802784B2 (en) Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
WO2019217159A1 (en) Immersive feedback loop for improving ai
CN116310062A (zh) 三维场景构建方法及装置、存储介质及电子设备
Park et al. DesignAR: Portable projection-based AR system specialized in interior design
KR102398584B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
KR101711822B1 (ko) 메타 데이터를 이용한 디바이스 원격 제어 장치 및 방법
US10591986B2 (en) Remote work supporting system, remote work supporting method, and program
JP2017009708A (ja) 投影システム、投影装置、情報処理方法及びプログラム
JP2018129764A (ja) 葬儀コンテンツ画像の投影システム、葬儀コンテンツ画像の投影方法、及びそれらで使用するプログラム
US20210372772A1 (en) Electronic device for providing image data using augmented reality and control method for same
JP6698971B2 (ja) 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant