KR20130067450A - Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service - Google Patents

Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service Download PDF

Info

Publication number
KR20130067450A
KR20130067450A KR1020110134826A KR20110134826A KR20130067450A KR 20130067450 A KR20130067450 A KR 20130067450A KR 1020110134826 A KR1020110134826 A KR 1020110134826A KR 20110134826 A KR20110134826 A KR 20110134826A KR 20130067450 A KR20130067450 A KR 20130067450A
Authority
KR
South Korea
Prior art keywords
work
content
image
worker
augmented reality
Prior art date
Application number
KR1020110134826A
Other languages
Korean (ko)
Inventor
걸 최
양웅연
최진성
김홍기
이범렬
이길행
최병태
손욱호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110134826A priority Critical patent/KR20130067450A/en
Publication of KR20130067450A publication Critical patent/KR20130067450A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A module integrated safety helmet device for guiding field work based on augmented reality is provided to acquire an image through a camera which is integrated with the safety helmet and to generate augmented reality content by synthesizing the acquired image with virtual content, thereby improving understandability of a worker about environments and enhancing work efficiency. CONSTITUTION: A module integrated safety helmet device(1) comprises a camera(11), a sensor(12), a wearable display(13), a sound output unit(14), a voice input unit(15), a processor(16), and a command input unit(17). The camera acquires an image of the real environment that a worker sees, and the sensor senses environment information around the given work field. The processor analyzes the image and generates augmented reality content by synthesizing virtual content with the analyzed image. The wearable display provides the augmented reality content generated by the processor to the worker.

Description

현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법 {FIELD APPLIED SAFETY HELMET APPARATUS FOR AR-BASED OF MAINTENANCE AND METHOD FOR PROVIDING ITS APPLICATION SERVICE}FIELD APPLIED SAFETY HELMET APPARATUS FOR AR-BASED OF MAINTENANCE AND METHOD FOR PROVIDING ITS APPLICATION SERVICE}

본 발명의 일 양상은 콘텐츠 제공기술에 관한 것으로, 보다 상세하게는 작업현장에서 증강현실 기반 가이드용 콘텐츠를 제공하는 기술에 관한 것이다.One aspect of the present invention relates to a content providing technology, and more particularly to a technology for providing augmented reality-based guide content in the workplace.

일정한 공간, 예컨대 주택, 공공장소, 작업 현장 및 건설 현장에는 작업자가 투입되어 설비를 정비하거나 상황을 모니터링한다. 특히 화재, 붕괴, 유해가스누출 등 비상상황인 경우 비상상황으로 인해 발생될 수 있는 피해를 최소화하기 위해서 작업자는 비상상황발생의 정도를 명확하게 파악하여야 그에 대한 최적의 대응을 해야 한다.Workers are placed in certain spaces, such as houses, public places, work sites and construction sites, to maintain equipment or monitor conditions. Especially in case of emergency such as fire, collapse, leakage of harmful gas, in order to minimize the damage that can be caused by emergency, the worker should clearly grasp the extent of emergency and respond optimally.

공공시설물에 설치되어 있는 각종 폐쇄회로 카메라, 고속도로 등에 설치되어 있는 감시카메라 등이 이러한 목적으로 운용되고 있으나, 일정한 건물 내에서나, 일정한 기관에서 지엽적으로 운용하므로, 상황에 대처하는 속도나 그 적합성이 부족하게 되는 문제점이 발생하고 있다. 또한, 상황에 대해 유선이나 무선의 전화시스템을 통해 전달하는 경우에는 상황의 정확한 묘사가 이루어지지 못함으로써 명확한 상황파악이 어려운 점도 노출되고 있다.Various closed-circuit cameras installed in public facilities, surveillance cameras installed on highways, etc. are operated for this purpose, but since they are operated locally in certain buildings or at certain institutions, they lack speed or suitability to deal with the situation. There is a problem that occurs. In addition, when the situation is transmitted through a wired or wireless telephone system, it is difficult to accurately identify the situation because the situation is not accurately described.

한편, 작업현장에 투입된 작업자는 작업 처리를 위해 도면 등 기타 정비에 필요한 정보를 직접 가지고 다녀야 한다. 이는 비상상황 등 긴박한 상황이거나 장소가 협소한 경우에는 작업자에게 불편을 야기하며, 이는 원활한 작업 진행을 어렵게 한다.On the other hand, the worker who is put into the work site must carry the necessary information such as drawings and other maintenance directly for the work processing. This causes inconvenience to the worker in an urgent situation such as an emergency situation or in a narrow place, which makes it difficult to proceed smoothly.

선행기술 한국 공개특허 제2011-0042816호에는 외부상황을 모니터링하는 카메라가 장착된 안전모 기술에 대해, 미국 공개특허 제20100128468호에는 모션 감지를 위한 조명 장치가 연결된 안전모에 대해 각각 개시하고 있다.Prior art Korean Patent Publication No. 2011-0042816 discloses a hard hat technology equipped with a camera for monitoring an external situation, US Patent Publication No. 20100128468 discloses a hard hat connected to a lighting device for motion detection.

일 양상에 따라, 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법을 제안한다.In accordance with one aspect, a field-mounted augmented reality based work guide module integrated safety helmet device and an application service providing method using the same is proposed.

일 양상에 따른 작업 가이드용 모듈 일체형 안전모 장치는, 안전모와 일체화된 카메라를 통해 작업자가 바라보는 실제환경 이미지를 입력받는 영상 입력부를 포함하는 입력부와, 영상 입력부로부터 입력받은 실제환경 이미지를 분석하여 실제환경을 인식하고 실제환경 이미지에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성하는 영상 처리부를 포함하는 프로세서와, 영상 처리부에서 생성된 증강현실 콘텐츠를 안전모와 일체화된 착용형 디스플레이를 통해 출력하는 영상 출력부를 포함하는 출력부를 포함한다.Module integrated safety helmet device for a work guide according to an aspect, the input unit including an image input unit for receiving a real environment image viewed by the operator through a camera integrated with the helmet and the actual environment image received from the image input unit A processor including an image processing unit for generating augmented reality content by recognizing the environment and matching virtual content to a real environment image, and an image output unit for outputting the augmented reality content generated by the image processing unit through a wearable display integrated with a hard hat It includes an output unit that includes.

추가 양상에 따른 작업 가이드용 모듈 일체형 안전모 장치는, 가상 콘텐츠를 생성하여 제공하며, 작업자 또는 관리자로부터 입력받은 작업관련 데이터를 처리하는 콘텐츠 응용 서비스부를 포함한다.The module integrated safety helmet device for a work guide according to an additional aspect includes a content application service unit that generates and provides virtual content and processes work related data received from an operator or an administrator.

다른 양상에 따른 작업 가이드용 모듈 일체형 안전모 장치를 이용한 응용서비스 제공방법은, 안전모와 일체화된 카메라를 통해 작업자가 바라보는 실제환경 이미지를 입력받는 단계와, 입력받은 실제환경 이미지를 분석하여 실제환경을 인식하고 실제환경 이미지에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성하는 단계와, 생성된 증강현실 콘텐츠를 안전모와 일체화된 착용형 디스플레이를 통해 출력하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of providing an application service using a module-mounted hard hat device for work guide, which includes receiving a real environment image viewed by an operator through a camera integrated with a hard hat, and analyzing the received real environment image. Recognizing and matching the virtual content to the real environment image to generate augmented reality content, and outputting the generated augmented reality content through a wearable display integrated with a hard hat.

일 실시예에 따르면, 안전모와 일체화된 카메라를 통해 작업자가 바라보는 실제환경 이미지에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성하고, 이를 안전모와 일체화된 착용형 디스플레이를 통해 작업자에게 제공할 수 있다. 이에 따라, 작업자는 작업현장에서 두꺼운 매뉴얼이나 인스트럭터의 도움없이 작업을 원활히 진행하여 작업의 안전성과 효율성을 증대시킬 수 있다.According to an embodiment of the present disclosure, augmented reality content may be generated by matching virtual content to a real environment image viewed by an operator through a camera integrated with a hard hat, and provided to the worker through a wearable display integrated with a hard hat. Accordingly, the operator can proceed smoothly without the help of a thick manual or instructor at the work site to increase the safety and efficiency of the work.

나아가, 작업자의 안전모에 영상 입력부, 음성 입력부, 영상 출력부, 음성 출력부, 센서, 영상 및 센서 데이터 처리를 위한 프로세서, 명령 입력부 및 네트워크 통신부를 일체화하여 작업자가 각 모듈을 따로 구비해야 하는 불편함을 개선하였다.Furthermore, it is inconvenient for the operator to separately provide each module by integrating the video input unit, the audio input unit, the image output unit, the audio output unit, the sensor, the processor for processing the image and sensor data, the command input unit, and the network communication unit. Improved.

나아가, 영상/음성/문자 형태의 작업관련 데이터를 기록하고, 작업관련 콘텐츠 검색 등 증강현실 이외의 서비스도 제공할 수 있다.In addition, it is possible to record work-related data in the form of video / audio / text and provide services other than augmented reality such as job-related content search.

나아가, 관리자 혹은 현장 작업자 스스로 정비 작업 안내를 위한 콘텐츠를 생성 및 편집이 가능하며, 현장 작업자의 요구 시 온/오프라인으로 콘텐츠 제공이 가능하다.Furthermore, it is possible to create and edit the contents for the maintenance work guidance by the manager or the field worker by themselves, and provide the contents on / offline when the field worker requests.

도 1은 본 발명의 일 실시예에 따라 작업자가 작업 가이드용 모듈 일체형 안전모 장치를 장착한 예를 도시한 참조도,
도 2는 본 발명의 일 실시예에 따른 작업 가이드용 모듈 일체형 안전모 장치의 내부 구성도,
도 3은 본 발명의 일 실시예에 따른 작업 가이드용 모듈 일체형 안전모 장치를 이용한 서비스 제공방법을 도시한 흐름도이다.1 is a reference diagram showing an example in which the operator is equipped with a module-integrated hard hat device for the work guide according to an embodiment of the present invention,
2 is an internal configuration diagram of a work guide module integrated safety helmet device according to an embodiment of the present invention,
3 is a flowchart illustrating a service providing method using a work guide module integrated helmet device according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 작업자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of an operator or an operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따라 작업자가 작업 가이드용 모듈 일체형 안전모 장치(1)를 장착한 예를 도시한 참조도이다.1 is a reference diagram showing an example in which the operator is equipped with a module-integrated safety helmet device for a work guide according to an embodiment of the present invention.

작업자는 안전모(10)를 장착하고 작업현장에서 장비를 정비하거나 작업현장 상황을 모니터링한다. 작업 가이드용 모듈 일체형 안전모 장치(1)는 안전모(10)에 카메라(11), 센서(12), 착용형 디스플레이(13), 음성 출력부(14), 음성 입력부(15), 프로세서(16) 및 명령 입력부(17)가 일체형으로 형성된다.The worker is equipped with a hard hat (10) to maintain the equipment on the job site or monitor the job site situation. The module-equipped hard hat device 1 for a work guide includes a camera 11, a sensor 12, a wearable display 13, a voice output unit 14, a voice input unit 15, and a processor 16 in a hard hat 10. And the command input unit 17 is integrally formed.

카메라(11)는 안전모(10)와 일체로 형성되어, 작업현장에서 작업자가 바라보는 실제환경 이미지를 획득한다. 카메라(11)는 야간 및 어두운 장소에서도 선명하게 주변 상황에 대한 영상을 획득하기 위해 적외선 카메라일 수 있다. 또는 카메라는 컬러(color) 이미지뿐만 아니라 깊이(depth) 정보까지 획득할 수 있는 RGB-D 카메라일 수 있다.The camera 11 is integrally formed with the hard hat 10 to obtain an image of the actual environment viewed by the worker at the work site. The camera 11 may be an infrared camera to obtain an image of the surrounding situation clearly even at night and in a dark place. Alternatively, the camera may be an RGB-D camera capable of acquiring depth information as well as a color image.

센서(12)는 안전모(10)와 일체로 형성되어, 작업현장에서의 주변정보를 센싱한다. 예를 들면, 도 1에 도시된 바와 같이 센서(12)는 안전모(10)에 내장될 수 있다. 센서(12)는 작업자의 위치정보를 획득하기 위한 GPS 센서, 작업자의 자세를 추적하기 위한 자이로 센서 또는 작업자의 자세 및 위치 변화를 추적하기 위한 가속도 센서일 수 있으며, 이들의 결합 형태일 수도 있다. 그러나, 이는 센서(12)의 일 실시예일 뿐, 센서(12)는 작업현장의 주변정보를 센싱할 수 있는 모든 종류의 센싱 수단을 포함할 수 있다.The sensor 12 is integrally formed with the hard hat 10 and senses ambient information at the work site. For example, as shown in FIG. 1, the sensor 12 may be embedded in the hard hat 10. The sensor 12 may be a GPS sensor for acquiring the position information of the worker, a gyro sensor for tracking the posture of the worker, or an acceleration sensor for tracking the posture and the position change of the worker, or a combination thereof. However, this is only one embodiment of the sensor 12, the sensor 12 may include all kinds of sensing means capable of sensing the ambient information of the workplace.

프로세서(16)는 카메라(11)를 통해 획득된 실제환경 이미지를 분석 처리하고 분석된 실제환경 이미지에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성한다. 가상 콘텐츠는 작업자의 작업 절차, 가이드 맵 또는 작업 장비를 가이드하기 위한 작업관련 콘텐츠이다. 증강현실 콘텐츠는 실제환경 위에 가상의 대상을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 제공하기 위한 것이다.The processor 16 analyzes and processes the real environment image acquired through the camera 11, and matches the virtual content with the analyzed real environment image to generate augmented reality content. Virtual content is work related content for guiding a worker's work procedure, guide map or work equipment. Augmented reality content is to synthesize the virtual object on the real environment to provide additional information that is difficult to obtain only in the real world.

착용형(wearable) 디스플레이(13)는 안전모(10)와 일체로 형성되어, 프로세서(16)에서 생성된 증강현실 콘텐츠를 작업자에게 제공한다. 본 발명은 현장 작업자의 작업환경 여건을 고려하여 착용형 디스플레이(13)를 제공한다. 착용형 디스플레이(13)는 작업자에게 시각적인 가이드를 위한 증강현실 제공도구이다. 예를 들면, 착용형 디스플레이는 작업자가 머리에 착용하는 형태의 HMD(Head Mounted Display) 또는 작업자가 눈에 착용하는 EGD(Eyeglasses Display)일 수 있다.The wearable display 13 is integrally formed with the hard hat 10 to provide an augmented reality content generated by the processor 16 to a worker. The present invention provides a wearable display 13 in consideration of the working environment of the field operator. The wearable display 13 is an augmented reality providing tool for visual guidance to the operator. For example, the wearable display may be a head mounted display (HMD) that a worker wears on the head, or an EGD (Eyeglasses Display) that the worker wears on the eyes.

현장에서 작업자가 안전모(10)와 착용형 디스플레이(13)를 각각 착용하는 것은 작업자에게 부담스러운 부분이다. 따라서, 본 발명은 착용형 디스플레이(13)와 안전모(10)를 일체화하여 작업자의 불편을 해소하고자 한다. 즉, 현장 작업자는 도면 등 기타 정비에 필요한 정보를 직접 가지고 다닐 필요 없이 안전모(10)와 일체화된 착용형 디스플레이(13)를 통해 작업 절차 등의 정보를 실시간으로 제공받아 설비에 직접 투영할 수 있다. 이에 따라, 작업자의 이해도를 높여 작업 능률을 향상시킬 수 있다.It is burdensome for the worker to wear the hard hat 10 and the wearable display 13 in the field. Therefore, the present invention is to eliminate the inconvenience of the operator by integrating the wearable display 13 and the hard hat 10. That is, a site operator may directly receive information on a work procedure and project it directly onto a facility through a wearable display 13 integrated with a hard hat 10 without having to carry information necessary for maintenance such as drawings. . As a result, the worker's understanding can be improved to improve work efficiency.

음성 입력부(15)는 작업자로부터 작업관련 음성신호를 입력받으며, 예를 들면 마이크일 수 있다. 음성 출력부(14)는 음성신호를 재생하는데, 예를 들면 헤드폰일 수 있다. 명령 입력부(17)는 작업자로부터 작업관련 명령신호를 입력받는다. 명령 입력부(17)는 명령신호를 입력받기 위한 사용자 인터페이스 형태일 수 있다. 예를 들면, 키보드, 마우스, 터치 감지수단 또는 모션 인식수단일 수 있다.The voice input unit 15 receives a work-related voice signal from an operator, and may be, for example, a microphone. The voice output unit 14 reproduces the voice signal, for example, may be a headphone. The command input unit 17 receives a work related command signal from an operator. The command input unit 17 may be in the form of a user interface for receiving a command signal. For example, it may be a keyboard, a mouse, a touch sensing means, or a motion recognition means.

도 2는 본 발명의 일 실시예에 따른 작업 가이드용 모듈 일체형 안전모 장치(1)의 내부 구성도이다.2 is a diagram illustrating an internal configuration of a work guide module integrated safety helmet device 1 according to an embodiment of the present invention.

작업 가이드용 모듈 일체형 안전모 장치(1)는 입력부(미도시), 프로세서(16), 출력부(105) 및 네트워크 통신부(114)를 포함한다.The module integrated safety helmet device 1 for a work guide includes an input unit (not shown), a processor 16, an output unit 105, and a network communication unit 114.

입력부(미도시)는 영상 입력부(100)를 포함하며, 음성 입력부(15)와 명령 입력부(17)를 더 포함할 수 있다. 영상 입력부(100)는 안전모(10)와 일체화된 카메라(11)를 통해 작업자가 바라보는 실제환경 이미지를 입력받는다. 음성 입력부(15)는 작업자의 음성을 입력받는다. 음성은 작업자의 작업관련 내용을 소리 형태로 기록할 수 있는 모든 것을 포함하며, 입력받은 음성 데이터는 콘텐츠 응용 서비스부(20)의 작업상황 DB(220)에 저장될 수 있다.The input unit (not shown) may include an image input unit 100, and may further include an audio input unit 15 and a command input unit 17. The image input unit 100 receives an actual environment image viewed by an operator through the camera 11 integrated with the hard hat 10. The voice input unit 15 receives a voice of an operator. The voice includes everything that can record the work-related contents of the worker in the form of a sound, and the received voice data may be stored in the work status DB 220 of the content application service unit 20.

명령 입력부(17)는 작업자로부터 명령신호를 입력받으며, 이를 콘텐츠 처리부(210)로 전달할 수 있다. 나아가, 명령 입력부(17)는 콘텐츠 저작부(200)와 작업상황 DB(220)에 저장된 사용자 메뉴, 작업관련 영상/음성/문자 등의 데이터에 접근하여 검색 및 조작을 하기 위한 것이다.The command input unit 17 may receive a command signal from an operator and transmit the command signal to the content processor 210. In addition, the command input unit 17 is for searching and manipulating access to data such as a user menu stored in the content authoring unit 200 and the work situation DB 220, work related images / audio / characters, and the like.

프로세서(16)는 영상 처리부(102)를 포함하며, 센싱 데이터 처리부(104)를 더 포함할 수 있다. 영상 처리부(102)는 영상 입력부(100)로부터 입력받은 작업현장의 실제환경 이미지를 분석하여 실제환경을 인식한다. 센싱 데이터 처리부(104)는 안전모(10)에 형성된 센서(12)를 통해 센싱 데이터를 수집하여 작업자 위치 및 동작을 분석하여 실제환경을 인식한다. 센싱 데이터 처리부(104)를 통해 작업자의 위치 및 동작을 인식함에 따라, 작업자의 실제 동작이 증강현실 콘텐츠에 보다 효과적으로 반영될 수 있다.The processor 16 may include an image processor 102 and may further include a sensing data processor 104. The image processor 102 analyzes a real environment image of a work site received from the image input unit 100 to recognize a real environment. The sensing data processor 104 collects sensing data through the sensor 12 formed in the helmet 10 and analyzes a worker's position and operation to recognize a real environment. As the location and operation of the worker are recognized through the sensing data processor 104, the actual operation of the worker may be more effectively reflected in the augmented reality content.

프로세서(16)는 센싱 데이터 처리부(104)에서의 작업자 위치 및 동작 분석결과와 영상 처리부(102)에서의 실제환경 이미지 분석결과에 기초하여 인식된 실제환경에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성한다. 가상 콘텐츠는 작업자의 작업 절차, 가이드 맵 또는 작업 장비를 가이드하기 위한 작업관련 콘텐츠이다. 가상 콘텐츠는 콘텐츠 응용 서비스부(20)로부터 제공받을 수 있다.The processor 16 generates augmented reality content by matching virtual content with a recognized real environment based on a result of analyzing a worker's position and motion in the sensing data processor 104 and an analysis result of the real environment image in the image processor 102. do. Virtual content is work related content for guiding a worker's work procedure, guide map or work equipment. The virtual content may be provided from the content application service unit 20.

출력부(105)는 영상 출력부(106)를 포함하며, 음성 출력부(14)를 더 포함할 수 있다. 영상 출력부(106)는 프로세서(16)에서 생성된 증강현실 콘텐츠를 착용형 디스플레이(13)를 통해 출력한다. 착용형 디스플레이(13)는 안전모(10)와 일체화된 형태이다. 음성 출력부(14)는 착용형 디스플레이(13)를 통한 영상 제공시에 음성을 동시에 출력한다. 또는 음성 출력부(14)는 음성 입력부(15)를 통해 작업자로부터 입력받은 음성을 재생할 수 있다. 이때, 음성 출력부(14)는 작업상황 DB(220)에 저장된 음성 데이터를 읽어들여 출력할 수 있다.The output unit 105 may include an image output unit 106 and may further include an audio output unit 14. The image output unit 106 outputs the augmented reality content generated by the processor 16 through the wearable display 13. The wearable display 13 is integrated with the hard hat 10. The audio output unit 14 simultaneously outputs audio when providing an image through the wearable display 13. Alternatively, the voice output unit 14 may reproduce the voice input from the operator through the voice input unit 15. In this case, the voice output unit 14 may read and output voice data stored in the work situation DB 220.

네트워크 통신부(114)는 작업현장으로부터 원격지에 설치된 중앙서버와의 데이터 통신을 위한 모듈이다. 네트워크 통신부(114)에 의해 네트워크 상에서의 정비 관련정보를 공유하고, 정비 관련정보를 통합하여 작업의 안전성과 효율성을 증대시킬 수 있다. 중앙서버 관리자는 작업현장에서의 작업자를 중앙 통제하며, 작업자는 작업현장을 중앙서버 관리자에게 모니터링한다.The network communication unit 114 is a module for data communication with a central server installed remotely from the work site. The network communication unit 114 may share maintenance-related information on the network and integrate maintenance-related information to increase safety and efficiency of work. The central server manager centrally controls the workers in the shop floor, and the workers monitor the shop floor to the central server manager.

추가 양상에 따르면, 작업 가이드용 모듈 일체형 안전모 장치(1)는 가상 콘텐츠를 생성하여 제공하며, 작업자 또는 관리자로부터 입력받은 작업관련 데이터를 처리하는 콘텐츠 응용 서비스부(20)를 포함한다. 콘텐츠 응용 서비스부(20)는 콘텐츠 저작부(200), 콘텐츠 처리부(210) 및 작업상황 DB(220)를 포함한다.According to a further aspect, the work guide module-integrated hard hat device 1 includes a content application service unit 20 for generating and providing virtual content and processing work related data received from an operator or an administrator. The content application service unit 20 includes a content authoring unit 200, a content processing unit 210, and a work situation DB 220.

콘텐츠 저작부(200)는 가상 콘텐츠를 생성 및 가공한다. 즉, 콘텐츠 저작부(200)는 가상 콘텐츠를 생성하고 이를 편집할 수 있으며, 나아가 이를 기반으로 작업 절차 등 작업관련 데이터를 저작, 편집 및 저장할 수 있다. 가상 콘텐츠는 관리자 또는 현장 작업자 스스로 저작할 수 있다.The content authoring unit 200 generates and processes the virtual content. That is, the content authoring unit 200 may generate and edit the virtual content, and furthermore, may author, edit, and store work related data such as a work procedure based on this. Virtual content can be authored by administrators or field workers themselves.

콘텐츠 처리부(210)는 콘텐츠 저작부(200)로부터 생성된 가상 콘텐츠를 프로세서(16)에 제공하여, 프로세서(16)가 가상 콘텐츠를 실제환경과 결합하고 이를 영상 출력부(16) 및/또는 음성 출력부(105)를 통해 출력하도록 제어한다. 또한, 작업관련 데이터를 작업상황 DB(220)에서 읽어들여 영상 출력부(106) 및/또는 음성 출력부(105)를 통해 출력되도록 제어한다. 전술한 콘텐츠 처리부(210)의 수행 프로세스는 명령 입력부(17)를 통한 작업자 명령신호 입력시에 수행될 수 있다.The content processor 210 provides the virtual content generated from the content authoring unit 200 to the processor 16 so that the processor 16 combines the virtual content with the real environment, and the image output unit 16 and / or audio. Control to output through the output unit 105. In addition, the job-related data is read from the job status DB 220 and controlled to be output through the video output unit 106 and / or the audio output unit 105. The above-described process of the content processing unit 210 may be performed when the operator command signal is input through the command input unit 17.

작업상황 DB(220)는 영상 입력부(100)와 음성 입력부(15)를 통해 작업자로부터 입력되는 작업관련 데이터를 기록하고, 콘텐츠 저작부(200)에서 생성된 가상 콘텐츠를 저장한다.The work situation DB 220 records the work related data input from the worker through the image input unit 100 and the audio input unit 15, and stores the virtual content generated by the content authoring unit 200.

도 3은 본 발명의 일 실시예에 따른 작업 가이드용 모듈 일체형 안전모 장치(1)를 이용한 서비스 제공방법을 도시한 흐름도이다.3 is a flowchart illustrating a service providing method using a work guide module integrated safety helmet device 1 according to an embodiment of the present invention.

안전모 장치(1)는 안전모(10)와 일체화된 카메라(11)를 통해 작업자가 바라보는 실제환경 이미지를 입력받는다(3000). 이어서, 안전모 장치(1)는 입력받은 실제환경 이미지를 분석하여 실제환경을 인식하고, 실제환경 이미지에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성한다(3100). 이어서, 안전모 장치(1)는 생성된 증강현실 콘텐츠를, 안전모(10)와 일체화된 착용형 디스플레이(13)를 통해 출력한다(3200).The hard hat device 1 receives an actual environment image viewed by an operator through the camera 11 integrated with the hard hat 10 (3000). Subsequently, the hard hat device 1 analyzes the received real environment image to recognize the real environment, matches virtual content with the real environment image, and generates augmented reality content (3100). Subsequently, the hard hat device 1 outputs the generated augmented reality content through the wearable display 13 integrated with the hard hat 10 (3200).

추가 양상에 따르면, 안전모 장치(1)가 안전모(10)에 형성된 적어도 하나의 센서를 통해 센싱 데이터를 수집하여 작업자 위치 및 동작을 분석하는 단계를 포함한다. 이때, 안전모 장치(1)는 증강현실 콘텐츠를 생성 단계(3100)에서 작업자 위치 및 동작 분석결과와 실제환경 이미지 분석결과에 기초하여 실제환경을 인식하고 실제환경 이미지에 증강현실 콘텐츠를 생성하며, 증강현실 콘텐츠 제공 단계(3200)에서 증강현실 콘텐츠를 착용형 디스플레이를 통해 출력한다.According to a further aspect, the hard hat device 1 includes collecting sensing data through at least one sensor formed in the hard hat 10 to analyze the worker position and operation. In this case, the hard hat device 1 generates the augmented reality content in step 3100, based on the operator's position and operation analysis result and the real environment image analysis result, recognizes the real environment and generates augmented reality content in the real environment image, In the reality content providing step 3200, the augmented reality content is output through the wearable display.

추가 양상에 따르면, 안전모 장치(1)는 작업자로부터 작업상황을 음성으로 입력받고 이를 작업상황 DB에 저장한다. 이어서, 작업자 요청시에 작업상황 DB에 저장된 음성 데이터를 재생한다.According to a further aspect, the hard hat device 1 receives the work situation from the operator by voice and stores it in the work situation DB. Subsequently, the voice data stored in the work status DB is reproduced at the worker's request.

추가 양상에 따르면, 안전모 장치(1)는 가상 콘텐츠를 생성 및 가공하고, 가상 콘텐츠를 작업상황 DB에 저장한다. 그러면, 증강현실 콘텐츠 생성 단계(3100)에서, 안전모 장치(1)는 작업상황 DB에 저장된 가상 콘텐츠를 실제환경 이미지에 정합하여 증강현실 콘텐츠를 생성하고, 증강현실 콘텐츠 제공 단계(3200)를 통해 증강현실 콘텐츠를 제공한다.According to a further aspect, the hard hat device 1 generates and processes the virtual content and stores the virtual content in the work situation DB. Then, in the augmented reality content generation step 3100, the hard hat device 1 generates augmented reality content by matching the virtual content stored in the work situation DB with the actual environment image, and augmented reality content providing step 3200 Provide real content.

추가 양상에 따르면, 안전모 장치(1)는 작업자 또는 관리자로부터 작업관련 데이터를 입력받아 이를 작업상황 DB에 저장한다. 그리고, 작업자 명령신호를 입력받으면, 작업자 명령에 따라 작업상황 DB에 저장된 작업관련 데이터에 접근하여 검색하고, 검색결과를 작업자에게 제공한다. 검색결과 제공은 영상 출력부(106) 또는 음성 출력부(105)를 통해 제공할 수 있다.According to a further aspect, the hard hat device 1 receives the work-related data from the operator or manager and stores it in the work situation DB. Then, when the operator command signal is input, according to the operator command to access and search the work-related data stored in the work situation DB, and provides the search results to the worker. The search result may be provided through the image output unit 106 or the audio output unit 105.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The embodiments of the present invention have been described above. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

10 : 안전모 11 : 카메라
12 : 센서 13 : 착용형 디스플레이
14 : 음성 출력부 15 : 음성 입력부
16 : 프로세서 17 : 명령 입력부10: Hard Hat 11: Camera
12 sensor 13 wearable display
14: voice output unit 15: voice input unit
16 processor 17 command input unit

Claims (18)

안전모와 일체화된 카메라를 통해 작업자가 바라보는 실제환경 이미지를 입력받는 영상 입력부를 포함하는 입력부;
상기 영상 입력부로부터 입력받은 실제환경 이미지를 분석하여 실제환경을 인식하고, 실제환경 이미지에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성하는 영상 처리부를 포함하는 프로세서; 및
상기 영상 처리부에서 생성된 증강현실 콘텐츠를, 상기 안전모와 일체화된 착용형 디스플레이를 통해 출력하는 영상 출력부를 포함하는 출력부;
를 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.An input unit including an image input unit configured to receive an actual environment image viewed by an operator through a camera integrated with a hard hat;
A processor including an image processor configured to analyze a real environment image received from the image input unit, recognize a real environment, and match a virtual content to a real environment image to generate augmented reality content; And
An output unit including an image output unit configured to output the augmented reality content generated by the image processor through a wearable display integrated with the helmet;
Module integrated safety helmet device for a work guide comprising a. 제 1 항에 있어서,
상기 가상 콘텐츠는 작업자의 작업 절차, 가이드 맵 또는 작업 장비를 가이드하기 위한 작업관련 콘텐츠인 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 1,
The virtual content is a work guide module integrated safety helmet device, characterized in that the work-related content for guiding the work procedure, guide map or work equipment of the worker. 제 1 항에 있어서, 상기 프로세서는
상기 안전모에 형성된 적어도 하나의 센서를 통해 센싱 데이터를 수집하여 작업자 위치 및 동작을 분석하는 센싱 데이터 처리부;
를 더 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The system of claim 1, wherein the processor is
A sensing data processor configured to collect sensing data through at least one sensor formed in the hard hat and analyze a worker position and an operation;
Modular safety helmet device for a work guide further comprising a. 제 3 항에 있어서,
상기 프로세서는 상기 센싱 데이터 처리부에서의 작업자 위치 및 동작 분석결과와 상기 영상 처리부에서의 실제환경 이미지 분석결과에 기초하여 실제환경을 인식하고, 인식된 실제환경에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성하며,
상기 출력부는 상기 프로세서에서 생성된 증강현실 콘텐츠를 제공하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 3, wherein
The processor recognizes a real environment based on a result of analyzing a worker's position and motion in the sensing data processor and an image analysis result of the real environment in the image processor, and generates augmented reality content by matching virtual content with the recognized real environment. ,
The output unit module hard hat device for a work guide, characterized in that for providing augmented reality content generated by the processor. 제 1 항에 있어서,
상기 입력부는 작업자로부터 작업상황 관련 음성신호를 입력받는 음성 입력부; 를 더 포함하고,
상기 출력부는 상기 음성 입력부를 통해 입력받은 음성신호를 작업자 요청시에 재생하는 음성 출력부; 를 더 포함하며,
상기 음성 입력부와 상기 음성 출력부는 안전모와 일체화되는 것을 특징으로하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 1,
The input unit includes a voice input unit for receiving a work-related voice signal from the operator; Further comprising:
The output unit may include a voice output unit for reproducing a voice signal received through the voice input unit when a worker requests; More,
The voice input unit and the voice output unit module safety helmet device for a work guide, characterized in that integrated with the hard hat. 제 1 항에 있어서,
상기 착용형 디스플레이는 HMD(Head Mounted Display)인 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 1,
The wearable display module integrated safety helmet device for a work guide, characterized in that the head mounted display (HMD). 제 1 항에 있어서,
상기 착용형 디스플레이는 EGD(Eyeglasses Display)인 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 1,
The wearable display module integrated safety helmet device for a work guide, characterized in that the EGD (Eyeglasses Display). 제 1 항에 있어서,
가상 콘텐츠를 생성하여 제공하며, 작업자 또는 관리자로부터 입력받은 작업관련 데이터를 처리하는 콘텐츠 응용 서비스부;
를 더 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 1,
A content application service unit which generates and provides virtual content and processes work related data received from an operator or an administrator;
Modular safety helmet device for a work guide further comprising a. 제 8 항에 있어서, 상기 콘텐츠 응용 서비스부는
가상 콘텐츠를 생성 및 가공하는 콘텐츠 저작부;
상기 콘텐츠 저작부로부터 생성된 가상 콘텐츠를 상기 프로세서에 제공하는 콘텐츠 처리부; 및
가상 콘텐츠를 저장하는 작업상황 DB;
를 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 8, wherein the content application service unit
A content authoring unit for generating and processing virtual content;
A content processing unit which provides the processor with virtual content generated from the content authoring unit; And
Working status DB for storing virtual contents;
Module integrated safety helmet device for a work guide comprising a. 제 9 항에 있어서,
상기 입력부는 작업자로부터 명령신호 및 조작신호를 입력받는 명령 입력부;
를 더 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 9,
The input unit includes a command input unit for receiving a command signal and the operation signal from the operator;
Modular safety helmet device for a work guide further comprising a. 제 10 항에 있어서,
상기 콘텐츠 처리부는 상기 명령 입력부로부터 입력받은 명령에 따라 상기 작업상황 DB에서 가상 콘텐츠를 읽어들여 이를 상기 프로세서에 제공하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.11. The method of claim 10,
And the content processor reads the virtual content from the work situation DB according to a command received from the command input unit and provides it to the processor. 제 10 항에 있어서,
상기 작업상황 DB는 작업자 또는 관리자로부터 입력받은 작업관련 데이터를 저장하고,
상기 콘텐츠 처리부는 상기 명령 입력부로부터 입력받은 명령에 따라 상기 작업상황 DB에 저장된 작업관련 데이터에 접근하여 해당 데이터를 검색하고, 검색결과를 제공하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.11. The method of claim 10,
The work situation DB stores work-related data received from a worker or administrator,
And the content processing unit accesses the work related data stored in the work situation DB according to the command inputted from the command input unit, searches for the corresponding data, and provides a search result. 제 1 항에 있어서,
원격 서버와의 데이터 송수신을 위한 네트워크 통신부;
를 더 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치.The method of claim 1,
A network communication unit for transmitting and receiving data with a remote server;
Modular safety helmet device for a work guide further comprising a. 작업 가이드용 모듈 일체형 안전모 장치를 이용한 응용서비스 제공방법에 있어서,
안전모와 일체화된 카메라를 통해 작업자가 바라보는 실제환경 이미지를 입력받는 단계;
상기 입력받은 실제환경 이미지를 분석하여 실제환경을 인식하고, 실제환경 이미지에 가상 콘텐츠를 정합하여 증강현실 콘텐츠를 생성하는 단계; 및
상기 생성된 증강현실 콘텐츠를, 안전모와 일체화된 착용형 디스플레이를 통해 출력하는 단계;
를 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치를 이용한 응용서비스 제공방법.In the method of providing an application service using a module-integrated hard hat device for the work guide,
Receiving an image of an actual environment viewed by a worker through a camera integrated with a hard hat;
Analyzing the input real environment image to recognize a real environment, matching virtual content to the real environment image, and generating augmented reality content; And
Outputting the generated augmented reality content through a wearable display integrated with a hard hat;
Application service providing method using a module-integrated hard hat device for a work guide comprising a. 제 14 항에 있어서,
상기 안전모에 형성된 적어도 하나의 센서를 통해 센싱 데이터를 수집하여 작업자 위치 및 동작을 분석하는 단계; 를 더 포함하고,
상기 증강현실 콘텐츠를 생성하는 단계는 상기 작업자 위치 및 동작 분석결과와 상기 실제환경 이미지 분석결과에 기초하여 증강현실 콘텐츠를 생성하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치를 이용한 응용서비스 제공방법.15. The method of claim 14,
Analyzing the worker position and operation by collecting sensing data through at least one sensor formed in the helmet; Further comprising:
The generating of the augmented reality content is a method of providing an application service using a module-equipped hard hat device for a work guide, characterized in that for generating augmented reality content based on the results of the analysis of the location and operation of the worker and the analysis results of the real environment. 제 14 항에 있어서,
작업자로부터 작업관련 음성신호를 입력받는 단계; 및
작업관련 음성신호를 작업자 요청시에 재생하는 단계;
를 더 포함하는 작업 가이드용 모듈 일체형 안전모 장치를 이용한 응용서비스 제공방법.15. The method of claim 14,
Receiving a work-related voice signal from a worker; And
Reproducing a work-related voice signal at the operator's request;
Application service providing method using a module-integrated hard hat device for a work guide further comprising. 제 14 항에 있어서,
가상 콘텐츠를 생성 및 가공하는 단계; 및
가상 콘텐츠를 작업상황 DB에 저장하는 단계;
상기 증강현실 콘텐츠를 생성하는 단계는 상기 작업상황 DB에 저장된 가상 콘텐츠를 실제환경 이미지에 정합하여 증강현실 콘텐츠를 생성하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치를 이용한 응용서비스 제공방법.15. The method of claim 14,
Creating and processing virtual content; And
Storing the virtual content in a work situation DB;
The generating of the augmented reality content is a method of providing an application service using a module-equipped hard hat device for a work guide, characterized in that the augmented reality content is generated by matching the virtual content stored in the work situation DB with a real environment image. 제 14 항에 있어서,
작업자 또는 관리자로부터 작업관련 데이터를 입력받아 이를 작업상황 DB에 저장하는 단계;
작업자 명령신호를 입력받는 단계; 및
작업자 명령에 따라 상기 작업상황 DB에 저장된 작업관련 데이터에 접근하여 검색하고, 검색결과를 제공하는 단계;
를 더 포함하는 것을 특징으로 하는 작업 가이드용 모듈 일체형 안전모 장치를 이용한 응용서비스 제공방법.15. The method of claim 14,
Receiving job-related data from a worker or an administrator and storing the job-related data in a job status DB;
Receiving an operator command signal; And
Accessing and searching for work related data stored in the work status DB according to a worker command and providing a search result;
Application service providing method using a module-integrated hard hat device for a work guide further comprising a.
KR1020110134826A 2011-12-14 2011-12-14 Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service KR20130067450A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110134826A KR20130067450A (en) 2011-12-14 2011-12-14 Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110134826A KR20130067450A (en) 2011-12-14 2011-12-14 Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service

Publications (1)

Publication Number Publication Date
KR20130067450A true KR20130067450A (en) 2013-06-24

Family

ID=48863276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110134826A KR20130067450A (en) 2011-12-14 2011-12-14 Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service

Country Status (1)

Country Link
KR (1) KR20130067450A (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243786A (en) * 2015-11-11 2016-01-13 上海斐讯数据通信技术有限公司 Monitoring method and system
KR20160111904A (en) * 2014-01-23 2016-09-27 소니 주식회사 Image display device and image display method
KR20170022642A (en) * 2015-08-21 2017-03-02 삼성중공업 주식회사 Apparatus for measuring position
WO2017100654A1 (en) * 2015-12-11 2017-06-15 Daqri, Llc System and method for tool mapping
KR20190056935A (en) * 2017-11-17 2019-05-27 주식회사 코이노 Mobile terminal providing augmented reality based maintenance guidance, remote managing apparatus and method for remote guidance using the same
KR20190115483A (en) * 2018-03-12 2019-10-14 한국기계연구원 Wearable robot control system using augmented reality and method for controlling wearable robot using the same
WO2020054905A1 (en) * 2018-09-13 2020-03-19 주식회사 이엠아이티 Augmented reality facility assembly guide system using smart glasses
KR20200068075A (en) * 2018-11-27 2020-06-15 주식회사 코이노 Remote guidance apparatus and method capable of handling hyper-motion step based on augmented reality and machine learning
CN112445319A (en) * 2019-08-16 2021-03-05 广东电网有限责任公司广州供电局 Power distribution room operation method and device, electronic equipment and computer readable storage medium
KR102361985B1 (en) * 2020-12-29 2022-02-14 주식회사 버넥트 Method and system for wearable device-based manual providing
CN114554163A (en) * 2022-04-25 2022-05-27 深圳酷源数联科技有限公司 Coal mine underground operation monitoring system
WO2022145655A1 (en) * 2020-12-29 2022-07-07 주식회사 딥파인 Augmented reality system
KR20220118822A (en) 2021-02-19 2022-08-26 이경복 Salt plant cultivation system
WO2022220658A1 (en) * 2021-04-16 2022-10-20 주식회사 피앤씨솔루션 Mixed reality industrial helmet linked with digital twin and virtual image
WO2023056818A1 (en) * 2021-10-08 2023-04-13 煤炭科学研究总院有限公司 Ar-based holographic head-mounted display system, method, and holographic headset
KR20230076984A (en) * 2021-11-24 2023-06-01 한국철도기술연구원 Location information-based railway track continuous welded rail maintenance system and method using augmented reality and method therefor

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160111904A (en) * 2014-01-23 2016-09-27 소니 주식회사 Image display device and image display method
KR20170022642A (en) * 2015-08-21 2017-03-02 삼성중공업 주식회사 Apparatus for measuring position
CN105243786A (en) * 2015-11-11 2016-01-13 上海斐讯数据通信技术有限公司 Monitoring method and system
WO2017100654A1 (en) * 2015-12-11 2017-06-15 Daqri, Llc System and method for tool mapping
US9824437B2 (en) 2015-12-11 2017-11-21 Daqri, Llc System and method for tool mapping
US10217209B2 (en) 2015-12-11 2019-02-26 Daqri, Llc System and method for tool mapping
US10679337B2 (en) 2015-12-11 2020-06-09 Daqri, Llc System and method for tool mapping
KR20190056935A (en) * 2017-11-17 2019-05-27 주식회사 코이노 Mobile terminal providing augmented reality based maintenance guidance, remote managing apparatus and method for remote guidance using the same
KR20190115483A (en) * 2018-03-12 2019-10-14 한국기계연구원 Wearable robot control system using augmented reality and method for controlling wearable robot using the same
WO2020054905A1 (en) * 2018-09-13 2020-03-19 주식회사 이엠아이티 Augmented reality facility assembly guide system using smart glasses
KR20200068075A (en) * 2018-11-27 2020-06-15 주식회사 코이노 Remote guidance apparatus and method capable of handling hyper-motion step based on augmented reality and machine learning
CN112445319A (en) * 2019-08-16 2021-03-05 广东电网有限责任公司广州供电局 Power distribution room operation method and device, electronic equipment and computer readable storage medium
KR102361985B1 (en) * 2020-12-29 2022-02-14 주식회사 버넥트 Method and system for wearable device-based manual providing
WO2022145655A1 (en) * 2020-12-29 2022-07-07 주식회사 딥파인 Augmented reality system
KR20220118822A (en) 2021-02-19 2022-08-26 이경복 Salt plant cultivation system
WO2022220658A1 (en) * 2021-04-16 2022-10-20 주식회사 피앤씨솔루션 Mixed reality industrial helmet linked with digital twin and virtual image
KR20220143528A (en) * 2021-04-16 2022-10-25 주식회사 피앤씨솔루션 Mixed reality industrial safety helmet that works with digital twins and virtual images
WO2023056818A1 (en) * 2021-10-08 2023-04-13 煤炭科学研究总院有限公司 Ar-based holographic head-mounted display system, method, and holographic headset
KR20230076984A (en) * 2021-11-24 2023-06-01 한국철도기술연구원 Location information-based railway track continuous welded rail maintenance system and method using augmented reality and method therefor
CN114554163A (en) * 2022-04-25 2022-05-27 深圳酷源数联科技有限公司 Coal mine underground operation monitoring system

Similar Documents

Publication Publication Date Title
KR20130067450A (en) Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service
US20220398844A1 (en) Shared Augmented Reality Session Recording and Playback
US9928569B2 (en) Augmented reality overlays based on an optically zoomed input
US9536350B2 (en) Touch and social cues as inputs into a computer
US9390561B2 (en) Personal holographic billboard
RU2670784C2 (en) Orientation and visualization of virtual object
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US20210373672A1 (en) Hand gesture-based emojis
KR20140108428A (en) Apparatus and method for remote collaboration based on wearable display
CN110033783A (en) The elimination and amplification based on context of acoustic signal in acoustic enviroment
JP5013398B2 (en) Mixed reality system and event input method
KR102418994B1 (en) Method for providng work guide based augmented reality and evaluating work proficiency according to the work guide
US11074292B2 (en) Voice tagging of video while recording
CN112085232A (en) Operation inspection system and method based on augmented reality technology
CN109523041A (en) Nuclear power station management system
JPWO2020012955A1 (en) Information processing equipment, information processing methods, and programs
JP2014192861A (en) Monitoring support system
Shen et al. A system for visualizing sound source using augmented reality
WO2023069988A1 (en) Anchored messages for augmented reality
JP2020144776A (en) Work support system, work support device, and work support method
CN112527100A (en) Remote assistance method and device based on intelligent wearable equipment
WO2019138682A1 (en) Information processing device, information processing method, and program
JP2021190729A (en) Image specification system and image specification method
WO2024069997A1 (en) Virtual three-dimensional space sharing system, virtual three-dimensional space sharing method, and virtual three-dimensional space sharing server
WO2023053481A1 (en) Assessment assistance device and assessment assistance method

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid