KR20210120470A - Apparatus and Method for Outputting a Realistic Augmented Reality Image - Google Patents

Apparatus and Method for Outputting a Realistic Augmented Reality Image Download PDF

Info

Publication number
KR20210120470A
KR20210120470A KR1020200037216A KR20200037216A KR20210120470A KR 20210120470 A KR20210120470 A KR 20210120470A KR 1020200037216 A KR1020200037216 A KR 1020200037216A KR 20200037216 A KR20200037216 A KR 20200037216A KR 20210120470 A KR20210120470 A KR 20210120470A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality image
output
unit
image output
Prior art date
Application number
KR1020200037216A
Other languages
Korean (ko)
Other versions
KR102474528B1 (en
Inventor
이광훈
한부전
추정훈
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020200037216A priority Critical patent/KR102474528B1/en
Publication of KR20210120470A publication Critical patent/KR20210120470A/en
Application granted granted Critical
Publication of KR102474528B1 publication Critical patent/KR102474528B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Disclosed are a device and a method for outputting a realistic augmented reality image. According to one aspect of the embodiment, a device for ouputting a realistic augmented reality image comprises: an image output unit that outputs an augmented reality image; a mirror unit reflecting the augmented reality image output from the image output unit to an eyeball of a wearer and transmitting light incident from the outside; an adjustment unit disposed on one side of the mirror unit and adjusting transmittance of some or all of the light incident from the outside to the mirror unit; and a control unit for controlling the adjustment unit or the image output unit according to a confirmation result by checking whether the augmented reality image to be output and an object existing outside are overlapped in a direction of the augmented reality image to be output.

Description

현실감 있는 증강현실 영상을 출력하는 장치 및 방법{Apparatus and Method for Outputting a Realistic Augmented Reality Image}Apparatus and Method for Outputting a Realistic Augmented Reality Image}

본 발명은 현실감 있는 증강현실 영상을 출력하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for outputting a realistic augmented reality image.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information for the present embodiment and does not constitute the prior art.

증강현실(Augmented Reality)이란, 실제 환경에 3차원 영상을 삽입하여 현실 세계 정보와 가상의 영상을 혼합한 것을 의미한다.Augmented reality refers to mixing real world information and virtual images by inserting a 3D image into a real environment.

현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나 증강현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호 작용이 이루어지도록 하는 것이다.Real-world information includes information that users do not need, and sometimes there is not enough information that users need. However, the augmented reality system combines the real world and the virtual world so that the user can interact with the real world and necessary information in real time.

종래의 증강현실 영상 출력장치는 증강현실 영상을 출력함에 있어 착용자의 시각에서 보이는 실제 물체들과의 원근과는 무관하게 일정한 영상을 출력한다. 즉, 종래의 증강현실 영상 출력장치는 착용자의 안구를 기준으로 출력될 증강현실 영상으로부터 가까이에 위치하고 있는 물체와의 관계 및 출력될 영상으로부터 멀리 위치하고 있는 물체와의 관계를 고려하지 않은 채, 일정하게 영상을 출력한다. 이러한 사정에 의해, 착용자는 단지 현실 세계 정보와 증강현실 영상 정보를 함께 시청하는 정도만을 느낄 수 있을 뿐, 증강현실 영상이 현실 세계에 반영된 것과 같은 현실감을 느끼지는 못하게 되는 문제점이 있다.The conventional augmented reality image output device outputs a constant image regardless of perspective with respect to real objects seen from the wearer's perspective in outputting the augmented reality image. That is, the conventional augmented reality image output device constantly maintains the relationship between the object located close to the augmented reality image to be output based on the wearer's eyeball and the relation with the object located far from the image to be output. Output the image. Due to these circumstances, there is a problem in that the wearer can only feel the degree of viewing the real world information and the augmented reality image information together, and cannot feel the sense of reality as the augmented reality image is reflected in the real world.

본 발명의 일 실시예는, 출력될 공간에 배치된 물체들과 증강현실 영상의 중첩여부를 고려하여, 출력할 증강현실 영상이나 입사하는 광량을 조절함으로써 현실감을 향상시킨 증강현실 영상 출력장치 및 방법을 제공하는 데 일 목적이 있다.An embodiment of the present invention provides an augmented reality image output apparatus and method for improving a sense of reality by adjusting an augmented reality image to be output or the amount of incident light in consideration of whether objects disposed in a space to be output and the augmented reality image overlap. The purpose is to provide

본 발명의 일 측면에 의하면, 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부 및 출력될 증강현실 영상과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.According to one aspect of the present invention, the image output unit for outputting an augmented reality image and the augmented reality image output from the image output unit are reflected to the wearer's eyeball, but the light incident from the outside is transmitted through the mirror unit and the mirror unit It is disposed on one side, the adjustment unit for adjusting the transmittance of some or all of the light incident on the mirror unit from the outside, and the augmented reality image to be output and the direction of the augmented reality image to be output by checking whether the overlap of the object existing outside, It provides an augmented reality image output device comprising a controller for controlling the adjustment unit or the image output unit according to the confirmation result.

본 발명의 일 측면에 의하면, 상기 조정부는 외부로부터 상기 미러부로 광이 입사되는 방향을 기준으로 상기 미러부의 전방에 배치되는 것을 특징으로 한다.According to an aspect of the present invention, the adjusting unit is disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit.

본 발명의 일 측면에 의하면, 상기 미러부는 하프 미러인 것을 특징으로 한다.According to one aspect of the present invention, the mirror unit is characterized in that the half mirror.

본 발명의 일 측면에 의하면, 상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image that can be output by the image output unit is the same as or proportional to the area where light is incident on the mirror unit from the outside.

본 발명의 일 측면에 의하면, 증강현실 영상을 출력하는 출력과정과 상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정과 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체를 확인하는 확인과정 및 상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법을 제공한다.According to one aspect of the present invention, the output process of outputting an augmented reality image and the augmented reality image output from the output process are reflected by the wearer's eyeball, but are transmitted through the generation process of the light incident from the outside and the light incident from the outside In the adjustment process of adjusting some or all transmittance, the confirmation process of confirming an object existing outside in the direction of the augmented reality image to be output, and the transmittance adjusted in the adjustment process or the output process according to the confirmation result of the confirmation process It provides an augmented reality image output method comprising a control process for controlling the augmented reality image to be output.

본 발명의 일 측면에 의하면, 상기 생성과정은 미러부에 의해 동작되는 것을 특징으로 한다.According to one aspect of the present invention, the generating process is characterized in that it is operated by the mirror unit.

본 발명의 일 측면에 의하면, 상기 미러부는 하프 미러인 것을 특징으로 한다.According to one aspect of the present invention, the mirror unit is characterized in that the half mirror.

본 발명의 일 측면에 의하면, 상기 출력과정에서 출력되는 증강현실 영상의 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image output in the output process is the same as or proportional to the area where light is incident from the outside.

본 발명의 일 측면에 의하면, 착용자의 시선을 센싱하는 센서부와 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부와 상기 증강현실 영상이 출력될 공간 내 존재하는 물체의 특성을 저장하는 메모리부 및 상기 센서부가 센싱한 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 상기 메모리부로부터 추출하고, 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.According to one aspect of the present invention, the sensor unit for sensing the wearer's gaze, the image output unit for outputting an augmented reality image, and the augmented reality image output from the image output unit are reflected to the wearer's eyeball, and the light incident from the outside is disposed on one side of the mirror unit and a mirror unit that transmits silver, an adjustment unit for adjusting the transmittance of some or all of the light incident to the mirror unit from the outside, and a memory for storing characteristics of objects existing in a space where the augmented reality image is to be output Based on the sensing result of the unit and the sensor unit, the characteristics of the object existing in the wearer's field of view are extracted from the memory unit, and the augmented reality image to be output based on the extracted characteristics of the object and the object existing within the field of view of the wearer are extracted. It provides an augmented reality image output device, characterized in that it checks whether the overlap, comprising a control unit for controlling the adjustment unit or the image output unit according to the confirmation result.

본 발명의 일 측면에 의하면, 상기 조정부는 외부로부터 상기 미러부로 광이 입사되는 방향을 기준으로 상기 미러부의 전방에 배치되는 것을 특징으로 한다.According to an aspect of the present invention, the adjusting unit is disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit.

본 발명의 일 측면에 의하면, 상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image that can be output by the image output unit is the same as or proportional to the area where light is incident on the mirror unit from the outside.

본 발명의 일 측면에 의하면, 착용자의 시선을 센싱하는 센싱과정과 증강현실 영상을 출력하는 출력과정과 상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정과 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정과 상기 센싱과정에서 센싱된 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 추출하는 추출과정과 상기 추출과정으로부터 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하는 확인과정 및 상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법을 제공한다.According to one aspect of the present invention, the sensing process of sensing the wearer's gaze, the outputting process of outputting the augmented reality image, and the augmented reality image output during the outputting process are reflected to the wearer's eyeball, and the light incident from the outside is transmitted An extraction process of extracting the characteristics of an object existing in the wearer's field of vision based on the result sensed in the sensing process and an adjustment process of adjusting the transmittance of some or all of the light incident from the outside, and extraction from the extraction process A confirmation process of confirming whether the augmented reality image to be output is overlapped with an object existing in the wearer's field of view based on the characteristics of the object, and transmittance adjusted in the adjustment process according to the confirmation result of the confirmation process or output in the output process It provides an augmented reality image output method, characterized in that it comprises a control process for controlling the augmented reality image to be.

본 발명의 일 측면에 의하면, 상기 생성과정은 미러부에 의해 동작되는 것을 특징으로 한다.According to one aspect of the present invention, the generating process is characterized in that it is operated by the mirror unit.

본 발명의 일 측면에 의하면, 상기 출력과정에서 출력되는 증강현실 영상의 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image output in the output process is the same as or proportional to the area where light is incident from the outside.

이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 출력될 공간에 배치된 물체들과 증강현실 영상의 중첩여부를 고려하여, 출력할 증강현실 영상이나 입사하는 광량을 조절하기 때문에, 출력되는 증강현실 영상의 현실감을 향상시킬 수 있는 장점이 있다.As described above, according to one aspect of the present invention, since the augmented reality image to be output or the amount of incident light is adjusted in consideration of whether objects arranged in the space to be output and the augmented reality image overlap or not, the augmented reality output is output. It has the advantage of improving the realism of the real image.

도 1은 본 발명의 일 실시예에 따른 다초점 광학계를 포함한 증강현실 영상 출력 장치의 실시예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 영상 출력장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 광학계의 구성도이다.
도 4 내지 6은 본 발명의 일 실시예에 따라 출력되는 증강현실 영상과 현실 세계의 물체와의 관계를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 광학계로부터 증강현실 영상이 출력되는 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 영상 출력장치가 증강현실 영상을 출력하는 방법을 도시한 순서도이다.1 is a diagram illustrating an embodiment of an augmented reality image output device including a multifocal optical system according to an embodiment of the present invention.
2 is a block diagram of an augmented reality image output apparatus according to an embodiment of the present invention.
3 is a block diagram of an optical system according to an embodiment of the present invention.
4 to 6 are diagrams illustrating a relationship between an augmented reality image outputted according to an embodiment of the present invention and an object in the real world.
7 is a flowchart illustrating a method of outputting an augmented reality image from an optical system according to an embodiment of the present invention.
8 is a flowchart illustrating a method for outputting an augmented reality image by the augmented reality image output apparatus according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it is understood that the other component may be directly connected or connected to the other component, but other components may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. It should be understood that terms such as “comprise” or “have” in the present application do not preclude the possibility of addition or existence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification in advance. .

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not technically contradict each other.

도 1은 본 발명의 일 실시예에 따른 다초점 광학계를 포함한 증강현실 영상 출력 장치의 실시예를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 증강현실 영상 출력장치의 구성도이다.1 is a diagram illustrating an embodiment of an augmented reality image output apparatus including a multifocal optical system according to an embodiment of the present invention, and FIG. 2 is a configuration diagram of an augmented reality image output apparatus according to an embodiment of the present invention .

도 1 및 도 2를 참조하면, 증강현실 영상 출력 장치(100)는 통신부(210), 메모리부(220), 제어부(230), 영상 출력부(240), 광학계(250), 센서부(260) 및 전원부(270)를 포함한다.1 and 2 , the augmented reality image output apparatus 100 includes a communication unit 210 , a memory unit 220 , a control unit 230 , an image output unit 240 , an optical system 250 , and a sensor unit 260 . ) and a power supply unit 270 .

통신부(210)는 외부로부터 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보 및 출력하고자 하는 증강현실 영상의 특성 정보를 수신한다.The communication unit 210 receives from the outside the characteristic information of the objects existing in the real space in which the wearer exists and the characteristic information of the augmented reality image to be output.

통신부(210)는 유·무선 통신을 이용하여 외부로부터 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보를 수신한다. 통신부(210)는 특정 공간의 물체의 특성을 측정하는 장치, 예를 들어, 뎁스(Depth) 카메라, TOF(Time of Flight) 카메라 또는 스테레오 카메라 등으로부터 수신한다. 여기서, 물체의 특성은 물체가 특정 공간 내에서 위치한 절대좌표 및 물체의 면적이나 부피 등을 포함한다. 통신부(210)는 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성을 외부의 장치로부터 수신한다.The communication unit 210 receives characteristic information of objects existing in the real space in which the wearer exists from the outside using wired/wireless communication. The communication unit 210 receives from a device for measuring the characteristic of an object in a specific space, for example, a depth camera, a time of flight (TOF) camera, or a stereo camera. Here, the properties of the object include absolute coordinates at which the object is located in a specific space, and an area or volume of the object. The communication unit 210 receives the characteristics of objects existing in the real space in which the wearer is present from an external device.

통신부(210)는 유·무선 통신을 이용하여 외부로부터 출력하고자 하는 증강현실 영상의 특성정보를 수신한다. 마찬가지로, 증강현실 영상의 특성정보는 출력하고자 하는 증강현실 영상의 내용, 출력할 절대좌표 및 증강현실 영상의 면적이나 부피 등을 포함한다. 통신부(210)는 증강현실 영상의 특성정보를 외부로부터 수신함으로써, 영상 출력부(240)가 증강현실 영상을 출력할 수 있도록 한다.The communication unit 210 receives characteristic information of an augmented reality image to be output from the outside using wired/wireless communication. Similarly, the characteristic information of the augmented reality image includes the content of the augmented reality image to be output, the absolute coordinates to be output, and the area or volume of the augmented reality image. The communication unit 210 receives the characteristic information of the augmented reality image from the outside, so that the image output unit 240 can output the augmented reality image.

통신부(210)는 유·무선 통신을 이용하여 착용자로부터 영상 또는 광의 광량의 설정에 관한 제어신호를 수신할 수 있다. 후술하는 바와 같이, 물체와 출력될 증강현실 영상에 중첩이 발생하는 경우, 중첩이 발생한 영역만큼 물체나 영상에서 광량의 저하가 발생한다. 이때, 착용자는 광량의 저하 정도를 원하는 대로 설정할 수 있으며, 광량의 설정에 관한 제어신호를 통신부(210)로 별도의 단말을 이용하여 전송할 수 있다. 통신부(210)는 광량의 설정에 관한 제어신호를 수신하여 제어부(230)로 전달한다.The communication unit 210 may receive a control signal for setting the amount of image or light from the wearer using wired/wireless communication. As will be described later, when overlap occurs between an object and an augmented reality image to be output, a decrease in the amount of light occurs in the object or image as much as the area where the overlap occurs. In this case, the wearer can set the degree of reduction in the amount of light as desired, and transmit a control signal for setting the amount of light to the communication unit 210 using a separate terminal. The communication unit 210 receives the control signal for setting the amount of light and transmits it to the control unit 230 .

메모리부(220)는 통신부(210)가 수신한 현실 공간 내 존재하는 물체들의 특성 정보 및 출력하고자 하는 증강현실 영상의 특성 정보를 저장한다. 제어부(230)가 수신한 정보들을 수신 후에 처리할 수 있도록, 메모리부(220)는 이러한 정보들을 저장한다.The memory unit 220 stores the characteristic information of the objects existing in the real space received by the communication unit 210 and the characteristic information of the augmented reality image to be output. The memory unit 220 stores such information so that the control unit 230 can process the received information after receiving it.

제어부(230)는 메모리부(220)에 저장된 데이터 또는 센서부(260)가 센싱한 센싱값을 토대로, 영상 출력부(240) 또는 광학계(250)의 동작을 제어한다.The control unit 230 controls the operation of the image output unit 240 or the optical system 250 based on data stored in the memory unit 220 or a sensing value sensed by the sensor unit 260 .

제어부(230)는 메모리부(220)에 저장된 데이터를 고려하여, 출력될 증강현실 영상과 출력될 증강현실 영상의 방향에 존재하는 물체의 중첩여부를 확인한다. 제어부(230)는 메모리부(220)에 저장된 출력하고자 하는 증강현실 영상의 특성정보를 분석하여, 착용자가 존재하는 현실 공간 내에서 어느 좌표로 얼마 만큼의 면적을 갖는 증강현실 영상이 출력될 것인지 판단한다. 제어부(230)는 메모리부(220)에 저장된 물체들의 특성정보를 분석하여, 출력될 증강현실 영상의 방향에 위치하고 있는 물체들의 특성정보를 추출한다. 제어부(230)는 특성정보 내 좌표를 분석하여 착용자의 안구를 기준으로 각 물체와 증강현실 영상의 원근을 파악할 수 있으며, 특성정보 내 면적을 추출하여, 증강현실 영상이 출력되는 방향을 기준으로 각 물체와 증강현실 영상이 서로 중첩(Occlusion)되는지를 확인한다. 예를 들어, 제어부(230)는 착용자의 안구를 기준으로 출력될 증강현실 영상보다 가까이 또는 멀리 있는 물체의 좌표와 면적을 고려하여, 특정 면적의 증강현실 영상가 특정 좌표로 출력되면 해당 물체와 얼마의 면적만큼 중첩(Occlusion)이 일어날 것인지 확인할 수 있다.In consideration of the data stored in the memory unit 220 , the controller 230 checks whether an object existing in the direction of the augmented reality image to be output and the augmented reality image to be output overlaps. The controller 230 analyzes the characteristic information of the augmented reality image to be output stored in the memory unit 220, and determines at which coordinates and how much area the augmented reality image will be output in the real space in which the wearer is present. do. The controller 230 analyzes the characteristic information of the objects stored in the memory 220 and extracts characteristic information of the objects located in the direction of the augmented reality image to be output. The control unit 230 may analyze the coordinates in the characteristic information to determine the perspective of each object and the augmented reality image based on the wearer's eyeball, extract the area within the characteristic information, and each based on the direction in which the augmented reality image is output. Check whether the object and the augmented reality image overlap each other (Occlusion). For example, the controller 230 considers the coordinates and area of an object closer or farther than the augmented reality image to be output based on the wearer's eyeball, and when an augmented reality image of a specific area is output as a specific coordinate, the object and how much It can be checked whether occlusion will occur as much as the area.

나아가, 제어부(230)는 메모리부(220)에 저장된 데이터 뿐만 아니라 센서부(260)가 센싱한 센싱값을 함께 고려하여, 중첩여부를 확인할 수 있다. 전술한 대로, 제어부(230)는 출력될 증강현실 영상의 방향에 위치하는 물체들의 특성정보뿐만 아니라, 센서부(260)가 센싱한, 착용자의 시선을 고려하여, 메모리부(220)에서 착용자의 시야 내 존재하는 물체들의 특성정보를 추출한다. 착용자가 증강현실 영상 출력장치(100)를 착용한 채 이동하거나, 착용한 상태에서 시선을 다른 방향으로 돌리는 경우가 발생할 수 있다. 이러한 경우, 출력되어야 할 증강현실 영상의 내용뿐만 아니라, 증강현실 영상과 착용자의 시선 상에 위치하는 물체도 변할 수 있으며, 물체가 바뀌지 않더라도 착용자의 시선에 의해 물체와 증강현실 영상이 중첩되는지 여부와 중첩되는 면적이 변할 수 있다. 예를 들어, 육면체를 출력하는 증강현실 영상을 가정하면, 정면에서는 단순하게 사각형으로 출력되던 증강현실 영상의 내용이 측면에서는 입체적인 육면체의 내용으로 변할 수 있다. 또한, 내용이 입체적인 육면체로 변하며, 중첩되지 않고 있었던 다른 물체와 중첩이 발생할 수도 있고, 기 중첩되던 물체와 중첩되는 면적이 증가하거나 감소할 수도 있다. 제어부(230)는 메모리부(220)에 저장된 데이터 뿐만 아니라 센서부(260)가 센싱한 센싱값을 함께 고려하여, 착용자의 시선변화에도 능동적으로 영상과 물체의 중첩여부를 확인한다.Furthermore, the control unit 230 may check whether or not the data is stored in the memory unit 220 as well as the sensed value sensed by the sensor unit 260 in consideration of the overlap. As described above, the control unit 230 considers the wearer's gaze sensed by the sensor unit 260 as well as characteristic information of objects located in the direction of the augmented reality image to be output, in the memory unit 220 , Extract the characteristic information of objects existing in the field of view. A case in which the wearer moves while wearing the augmented reality image output device 100 or turns their gaze in a different direction while wearing it may occur. In this case, not only the contents of the augmented reality image to be output, but also the augmented reality image and the object located on the wearer's gaze may change, and whether the object and the augmented reality image overlap by the wearer's gaze even if the object does not change. The overlapping area may vary. For example, assuming an augmented reality image that outputs a hexahedron, the contents of the augmented reality image that was simply output as a rectangle at the front may be changed to the contents of a three-dimensional hexahedron at the side. In addition, the content changes to a three-dimensional cube, overlapping with other non-overlapping objects may occur, and the overlapping area with previously overlapping objects may increase or decrease. The control unit 230 considers not only the data stored in the memory unit 220 but also the sensing value sensed by the sensor unit 260 to actively check whether the image and the object overlap even when the wearer's gaze changes.

제어부(230)는 영상과 물체의 중첩여부 확인결과에 따라, 영상 출력부(240) 또는 광학계(250)를 제어한다. 영상과 물체가 중첩됨에 있어 여러 경우가 존재하며, 각 경우는 도 4 내지 6에 도시되어 있다.The controller 230 controls the image output unit 240 or the optical system 250 according to the result of checking whether the image and the object overlap. There are several cases in which an image and an object are superimposed, and each case is shown in FIGS. 4 to 6 .

도 4 내지 6은 본 발명의 일 실시예에 따라 출력되는 증강현실 영상과 현실 세계의 물체와의 관계를 도시한 도면이다.4 to 6 are diagrams illustrating a relationship between an augmented reality image outputted according to an embodiment of the present invention and an object in the real world.

도 4를 참조하면, 출력될 증강현실 영상(410)이 물체(420)보다 착용자의 안구를 기준으로 가까이에 출력되는 경우가 존재한다. 이때, 출력될 증강현실 영상(410)과 물체(420)의 각각의 면적이나 부피에 따라, 중첩이 발생하는 영역(430)이 존재할 수 있다. 중첩이 발생하는 경우, 중첩이 발생하는 영역(430)에서는 착용자의 안구를 기준으로 증강현실 영상(410)이 물체(420)보다 가까이 존재하기 때문에, 현실감이 향상되기 위해서는 중첩이 발생하는 영역(430)에서 증강현실 영상(410)이 착용자에 보여야 하며 물체(420)는 거의 보이지 않아야 한다. 확인 결과에 따라, 출력될 증강현실 영상(410)이 착용자의 안구를 기준으로 물체(420)보다 가까이 존재하는 경우에서 중첩이 발생한 경우, 제어부(230)는 외부로부터 광학계(250)로 입사되는, 실제 환경 상에 대응되는 광 중 중첩이 발생하는 영역(430)에 대응되는 부분에 대해 해당 부분의 투과율을 저하시키도록 광학계(250)를 제어한다. 중첩이 발생하는 영역(430)에 대응되는 부분의 광 투과율이 저하되기 때문에, 착용자에게 해당 부분은 어둡게 보이거나 잘 안보이게 되어, 상대적으로 증강현실 영상(410)만이 뚜렷하게 보이게 된다. 이로서, 착용자는 증강현실 영상(410)이 물체(420)보다 자신에 가까이 배치되어 있음을 인지할 수 있다.Referring to FIG. 4 , there is a case in which the augmented reality image 410 to be output is output closer to the wearer's eye than the object 420 . In this case, an overlapping region 430 may exist according to the respective areas or volumes of the augmented reality image 410 and the object 420 to be output. When overlap occurs, since the augmented reality image 410 is closer than the object 420 based on the wearer's eye in the area 430 where the overlap occurs, the area 430 where the overlap occurs in order to improve the sense of reality. ), the augmented reality image 410 should be visible to the wearer and the object 420 should be almost invisible. According to the confirmation result, if the augmented reality image 410 to be output is overlapped when it is closer than the object 420 with respect to the wearer's eyeball, the controller 230 is incident to the optical system 250 from the outside, The optical system 250 is controlled to reduce the transmittance of the portion corresponding to the overlapping region 430 of the light corresponding to the real environment. Since the light transmittance of the portion corresponding to the overlapping region 430 is lowered, the corresponding portion appears dark or invisible to the wearer, so that only the augmented reality image 410 is relatively clearly visible. As such, the wearer may recognize that the augmented reality image 410 is disposed closer to the object 420 than the object 420 .

도 5를 참조하면, 출력될 증강현실 영상(410)이 물체(510)보다 착용자의 안구를 기준으로 먼 위치에 출력되는 경우가 존재한다. 마찬가지로, 출력될 증강현실 영상(410)과 물체(510)의 각각의 면적이나 부피에 따라, 중첩이 발생하는 영역(520)이 존재할 수 있다. 중첩이 발생하는 경우, 중첩이 발생하는 영역(520)에서는 착용자의 안구를 기준으로 물체(510)가 증강현실 영상(410)보다 가까이 존재하기 때문에, 현실감이 향상되기 위해서는 중첩이 발생하는 영역(520)에서 물체(510)가 착용자에 보여야 하며 증강현실 영상(410)은 거의 보이지 않아야 한다. 이에, 제어부(230)는 영상 출력부(240)를 제어하여, 출력될 증강현실 영상(410) 중 중첩이 발생하는 영역(520) 부분으로 출력될 부분의 광량을 저하시킨다. 중첩이 발생하는 영역(520)으로 출력될 증강현실 영상의 광량이 낮기 때문에, 착용자에게 해당 부분은 어둡게 보이거나 잘 안보이게 되어, 상대적으로 물체(510)만이 뚜렷하게 보이게 된다. 이로서, 착용자는 물체(510)가 증강현실 영상(410)보다 자신에 가까이 배치되어 있음을 인지할 수 있다.Referring to FIG. 5 , there is a case in which the augmented reality image 410 to be output is output to a position farther from the wearer's eye than the object 510 . Similarly, an overlapping region 520 may exist according to the respective areas or volumes of the augmented reality image 410 and the object 510 to be output. When overlap occurs, in the area 520 where the overlap occurs, the object 510 is closer than the augmented reality image 410 with respect to the wearer's eyeball. ), the object 510 should be visible to the wearer, and the augmented reality image 410 should be almost invisible. Accordingly, the controller 230 controls the image output unit 240 to reduce the amount of light in the portion to be output as the overlapping region 520 of the augmented reality image 410 to be output. Since the amount of light of the augmented reality image to be output to the overlapping region 520 is low, the corresponding portion appears dark or invisible to the wearer, and only the object 510 is relatively clearly visible. Accordingly, the wearer may recognize that the object 510 is disposed closer to the user than the augmented reality image 410 .

한편, 도 6을 참조하면, 증강현실 영상(410)이 출력될 좌표로 다양한 좌표에 배치된 다양한 물체(420, 510)들이 존재할 수 있다. 이러한 경우, 제어부(230)는 각각의 물체와 증강현실 영상(410)과의 중첩이 발생하는 영역(430, 520)을 파악하여, 착용자의 안구를 기준으로 원근에 따라 광학계(250)를 제어하거나 영상 출력부(240)를 제어한다.Meanwhile, referring to FIG. 6 , various objects 420 and 510 arranged at various coordinates as the coordinates at which the augmented reality image 410 is to be output may exist. In this case, the controller 230 determines the regions 430 and 520 in which each object and the augmented reality image 410 overlap each other, and controls the optical system 250 according to perspective based on the wearer's eyeball or The image output unit 240 is controlled.

다시 도 2를 참조하면, 제어부(230)는 영상과 물체의 중첩여부와 중첩시 착용자 안구를 기준으로 영상과 물체의 원근에 따라, 영상 출력부(240)나 광학계(250)를 제어한다. 전술한 대로, 제어부(230)는 증강현실 영상이 착용자 안구를 기준으로 물체보다 근접한 상태에서 중첩이 발생하는 경우, 중첩이 발생한 영역에 대해 물체의 해당 영역이 착용자에 잘 보이지 않도록 광학계(250)를 제어한다. 반대로, 제어부(230)는 증강현실 영상이 착용자 안구를 기준으로 물체보다 먼 상태에서 중첩이 발생하는 경우, 중첩이 발생한 영역에 대해 영상의 해당 영역이 착용자에 잘 보이지 않도록 영상 출력부(240)를 제어한다.Referring again to FIG. 2 , the controller 230 controls the image output unit 240 or the optical system 250 according to whether the image and the object overlap and whether the image and the object overlap and the perspective of the image and the object based on the wearer's eyeball. As described above, when the augmented reality image overlaps in a state closer to the object than the wearer's eyeball, the control unit 230 controls the optical system 250 so that the corresponding area of the object is not easily visible to the wearer with respect to the overlapped area. Control. Conversely, when the augmented reality image overlaps in a state that is farther than the object with respect to the wearer's eyeball, the controller 230 controls the image output unit 240 so that the corresponding region of the image is not easily visible to the wearer with respect to the overlapped region. Control.

나아가, 제어부(230)는 센서부(260)가 센싱한 센싱값을 함께 고려하여, 영상 출력부(240)나 광학계(250)를 제어한다. 전술한 대로, 착용자의 시선 방향에 따라, 출력될 증강현실 영상의 내용이 가변될 수 있다. 이처럼, 제어부(230)는 착용자의 시선에 따른 상대좌표를 반영하여, 출력할 증강현실 영상을 조정한다. 조정되는 내용으로는 출력될 증강현실 영상의 내용 뿐만 아니라, 출력될 증강현실 영상의 면적이나 부피도 포함될 수 있다. 전술한 예와 같이, 육면체를 출력하는 증강현실 영상을 가정하면, 정면에서와 측면에서 출력되는 증강현실 영상의 내용뿐만 아니라 면적이나 부피까지 달라질 수 있다. 또한, 제어부(230)는 착용자의 시선에 따라 달라지는 증강현실 영상의 특성(내용 및 면적이나 부피)에 의해, 착용자의 시선이 달라지면 물체와의 중첩여부 및 발생한 중첩의 면적이 달라질 수 있다. 따라서, 제어부(230)는 센싱값을 고려하여 착용자의 시선이 달라진 경우, 출력할 증강현실 영상의 내용을 조정하며, 이와 함께 착용자의 시야 내 존재하는 물체들 및 그것들과 영상 간에 중첩여부와 면적 등을 다시 조정한다. 제어부(230)는 조정된 내용에 따라, 영상 출력부(240)나 광학계(250)를 다시 제어한다.Furthermore, the controller 230 controls the image output unit 240 or the optical system 250 in consideration of the sensed value sensed by the sensor unit 260 . As described above, the content of the augmented reality image to be output may be changed according to the gaze direction of the wearer. As such, the controller 230 adjusts the augmented reality image to be output by reflecting the relative coordinates according to the gaze of the wearer. The content to be adjusted may include not only the content of the augmented reality image to be output, but also the area or volume of the augmented reality image to be output. As in the above-described example, assuming an augmented reality image outputting a hexahedron, not only the contents of the augmented reality image output from the front and the side, but also the area or volume may vary. In addition, when the wearer's gaze changes, the control unit 230 may change whether or not to overlap an object and the area of the overlapped reality depending on the characteristics (content, area, or volume) of the augmented reality image that varies depending on the gaze of the wearer. Accordingly, the controller 230 adjusts the contents of the augmented reality image to be output when the wearer's gaze is changed in consideration of the sensing value, and together with the objects existing in the wearer's field of view and whether they overlap with the image, the area, etc. Adjust again. The controller 230 controls the image output unit 240 or the optical system 250 again according to the adjusted content.

제어부(230)는 광량의 설정에 관한 제어신호에 따라, 영상 출력부(240)나 광학계(250)를 제어한다. 제어부(230)는 중첩이 발생한 영역에 대해 광량을 조정함에 있어, 통신부(210)가 착용자로부터 수신한 광량의 설정에 관한 제어신호에 따라 조정할 수 있다. 제어부(230)는 해당 제어신호에 따라 광량을 조정하도록 영상 출력부(240)나 광학계(250)를 제어함으로써, 착용자의 만족감을 향상시킬 수 있다.The control unit 230 controls the image output unit 240 or the optical system 250 according to a control signal for setting the amount of light. The controller 230 may adjust the amount of light for the overlapping region according to a control signal related to the setting of the amount of light received by the communication unit 210 from the wearer. The controller 230 may improve the satisfaction of the wearer by controlling the image output unit 240 or the optical system 250 to adjust the amount of light according to the corresponding control signal.

영상 출력부(240)는 메모리부(220) 내 저장된 출력하고자 하는 증강현실 영상의 특성 정보 및 제어부(230)의 제어에 따라 증강현실 영상을 출력한다. 영상 출력부(240)는 메모리부(220) 내 저장된 증강현실 영상을 출력하되, 제어부(230)의 제어에 따라, 증강현실 영상의 내용이나 중첩이 발생한 영역에 광량을 조정하여 출력할 수 있다.The image output unit 240 outputs the augmented reality image according to the control of the control unit 230 and the characteristic information of the augmented reality image to be output stored in the memory unit 220 . The image output unit 240 outputs the augmented reality image stored in the memory unit 220 , and may output the augmented reality image by adjusting the amount of light in the content or overlapping area of the augmented reality image under the control of the controller 230 .

광학계(250)는 출력된 증강현실 영상과 외부로부터 입사되는, 실제 환경 상의 광을 착용자의 안구로 입사시킨다. 광학계(250)에 대해서는 도 3에 상세히 도시되어 있다.The optical system 250 injects the output augmented reality image and the light in the real environment, which is incident from the outside, to the eye of the wearer. The optical system 250 is shown in detail in FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 광학계의 구성도이다.3 is a block diagram of an optical system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 광학계(250)는 미러부(310) 및 조정부(320)를 포함한다.Referring to FIG. 3 , the optical system 250 according to an embodiment of the present invention includes a mirror unit 310 and an adjustment unit 320 .

미러부(310)는 영상 출력부(240)로부터 출력된 증강현실 영상을 착용자의 안구 방향으로 반사시킨다. 영상 출력부(240)는 외부로부터 입사되는, 실제 환경상의 광의 진로에 영향을 주어서는 안되기 때문에, 외부로부터 광이 입사되는 방향이 아닌 다른 방향(특히, 미러부(310)에 의해 광이 착용자의 안구로 반사될 수 있는 방향)에 배치되어 증강현실 영상을 출력한다. 미러부(310)는 출력된 증강현실 영상을 반사하여, 착용자의 안구로 입사시킨다.The mirror unit 310 reflects the augmented reality image output from the image output unit 240 in the direction of the wearer's eyeballs. Since the image output unit 240 should not affect the path of light incident from the outside, in the real environment, the light is transmitted in a direction other than the direction in which the light is incident from the outside (especially, by the mirror unit 310 ). It is placed in a direction that can be reflected by the eye) and outputs an augmented reality image. The mirror unit 310 reflects the output augmented reality image and makes it incident on the wearer's eyeball.

미러부(310)는 외부로부터 입사되는, 실제 환경상의 광을 투과시켜 착용자의 안구로 입사시킨다. 외부의 물체나 환경(330)을 착용자가 인식할 수 있도록, 미러(310)는 외부로부터 입사되는, 실제 환경상의 광은 투과시켜 착용자의 안구로 입사될 수 있도록 한다. The mirror unit 310 transmits light in an actual environment, incident from the outside, to enter the wearer's eyeball. In order to allow the wearer to recognize an external object or environment 330 , the mirror 310 transmits light incident from the outside and in the actual environment to be incident on the wearer's eye.

미러부(310)는 하프 미러(Half Mirror)로 구현될 수 있으나 반드시 이에 한정되는 것은 아니고, 일 방향에서 입사되는 광은 반사시키는 반면, 다른 방향에서 입사되는 광은 투과시키는 성질을 갖는 광학기기면 어떠한 것으로 대체되어도 무방하다.The mirror unit 310 may be implemented as a half mirror, but is not necessarily limited thereto. An optical device surface having a property of reflecting light incident from one direction while transmitting light incident from another direction. It is free to be replaced by anything.

조정부(320)는 외부로부터 미러부(310)로 입사되는 광의 일부 또는 전부의 투과율을 조정한다. 조정부(320)는 외부로부터 미러부(310)로 광이 입사하는 방향을 기준으로 미러부(310)의 전방에 배치되어, 외부로부터 미러부(310)로 입사되는 광의 일부 또는 전부의 투과율을 조정한다. 조정부(320)는 외부의 신호에 따라 일부 또는 전부분의 광 투과율을 조정할 수 있는 소자로 구현되어, 제어부(230)의 제어에 따라 일부 또는 전부분의 광 투과율을 조정한다. 조정부(320)가 일부 또는 전부의 광 투과율을 조정함으로써, 증강현실 영상이 출력되는 방향에 배치된(착용자의 시선 상에 배치된) 물체 내 중첩이 발생한 영역의 광 투과율을 조정(주로, 어둡게)할 수 있다.The adjusting unit 320 adjusts transmittance of some or all of the light incident to the mirror unit 310 from the outside. The adjusting unit 320 is disposed in front of the mirror unit 310 based on the direction in which light is incident from the outside to the mirror unit 310 , and adjusts transmittance of some or all of the light incident to the mirror unit 310 from the outside. do. The adjusting unit 320 is implemented as an element capable of adjusting a part or all of the light transmittance according to an external signal, and adjusts a part or all of the light transmittance according to the control of the controller 230 . Adjustment unit 320 adjusts some or all of the light transmittance by adjusting the light transmittance of the overlapping area in the object disposed in the direction in which the augmented reality image is output (arranged on the wearer's gaze) (mainly, dark) can do.

조정부(320)는 영상 출력부(240)가 증강현실 영상을 출력할 수 있는 총 면적과 동일하거나 비례하는 면적을 가질 수 있다. 영상 출력부(240)가 어떠한 위치에 증강현실 영상을 출력하여 물체와의 중첩을 발생시킬지 모르기 때문에, 조정부(320)는 영상 출력부(240)가 임의의 위치로 증강현실 영상을 출력하여 중첩을 유발하더라도, 경우에 따라 중첩되는 면적만큼 광 투과율을 조정할 수 있도록 영상 출력부(240)가 증강현실 영상을 출력할 수 있는 총 면적과 동일하거나 비례하는 면적을 가질 수 있다. The adjustment unit 320 may have an area equal to or proportional to the total area to which the image output unit 240 may output the augmented reality image. Since the image output unit 240 does not know where to output the augmented reality image to cause overlap with the object, the adjustment unit 320 outputs the augmented reality image to an arbitrary location where the image output unit 240 outputs the augmented reality image to overlap. In some cases, the image output unit 240 may have an area equal to or proportional to the total area that can output the augmented reality image so that the light transmittance can be adjusted by the overlapping area.

다시 도 2를 참조하면, 센서부(260)는 착용자의 시선을 센싱한다. 센서부(260)는 착용자의 시선을 센싱하기 위해 눈동자의 움직임 등을 센싱할 수 있으며, 정확한 센싱을 위해 하나 이상의 센서를 포함할 수 있다. 센서부(260)는 센싱값을 제어부(230)로 전달한다.Referring back to FIG. 2 , the sensor unit 260 senses the wearer's gaze. The sensor unit 260 may sense a movement of the pupil to sense the wearer's gaze, and may include one or more sensors for accurate sensing. The sensor unit 260 transmits the sensed value to the control unit 230 .

전원부(270)는 증강현실 영상 출력장치(100) 내 각 구성(210 내지 260)을 작동시키는 전원을 각 구성으로 공급한다.The power supply unit 270 supplies power for operating each component 210 to 260 in the augmented reality image output device 100 to each component.

도 7은 본 발명의 일 실시예에 따른 광학계로부터 증강현실 영상이 출력되는 방법을 도시한 순서도이다.7 is a flowchart illustrating a method of outputting an augmented reality image from an optical system according to an embodiment of the present invention.

제어부(230)는 메모리부(220) 내 기 저장된 데이터로부터 출력될 증강현실 영상의 방향으로 존재하는 물체의 좌표와 면적을 추출한다(S710). 제어부(230)는 메모리부(220) 내 저장된 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보로부터 출력될 증강현실 영상의 방향으로 존재하는 물체의 특성정보(좌표 및 면적이나 부피)를 추출한다. The control unit 230 extracts the coordinates and area of the object existing in the direction of the augmented reality image to be output from the data stored in the memory unit 220 (S710). The control unit 230 extracts the characteristic information (coordinates and area or volume) of the object existing in the direction of the augmented reality image to be output from the characteristic information of the objects existing in the real space where the wearer exists, stored in the memory unit 220 . .

제어부(230)는 출력할 증강현실 영상의 좌표 및 면적을 확인한다(S720). 제어부(230)는 통신부(210)가 수신하여 메모리부(220) 내 저장해둔 출력할 증강현실 영상의 특성정보(좌표 및 면적이나 부피)를 확인한다.The controller 230 checks the coordinates and area of the augmented reality image to be output (S720). The control unit 230 checks the characteristic information (coordinates and area or volume) of the augmented reality image to be output, received by the communication unit 210 and stored in the memory unit 220 .

제어부(230)는 증강현실 영상과 물체 간 중첩여부를 확인한다(S730).The controller 230 checks whether the augmented reality image and the object overlap (S730).

증강현실 영상과 물체 간 중첩이 발생하지 않는 경우, 영상 출력부(240)는 증강현실 영상을 출력한다(S740). 증강현실 영상의 출력에 있어, 별도로 영상의 현실감에 관한 문제가 발생할 여지가 없기 때문에, 영상 출력부(240)는 제어부(230)에 따라 증강현실 영상을 출력한다. If overlap between the augmented reality image and the object does not occur, the image output unit 240 outputs the augmented reality image (S740). In the output of the augmented reality image, since there is no room for a problem related to the realism of the image to occur separately, the image output unit 240 outputs the augmented reality image according to the controller 230 .

증강현실 영상과 물체 간 중첩이 발생하는 경우, 제어부(230)는 증강현실 영상이 물체보다 착용자에 근접하여 출력될지 여부를 판단한다(S750). 제어부(230)는 추출한 증강현실 영상과 물체의 특성정보로부터, 착용자의 안구를 기준으로 출력될 증강현실 영상이 중첩을 발생시키는 물체보다 착용자에 근접하여 출력될지를 판단한다.When the augmented reality image and the object overlap occur, the controller 230 determines whether the augmented reality image is output closer to the wearer than the object (S750). The controller 230 determines, from the extracted augmented reality image and the characteristic information of the object, whether the augmented reality image to be output based on the wearer's eyeball is to be output closer to the wearer than to the object causing the overlap.

증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우, 광학계(250)는 외부로부터 증강현실 영상과 물체가 중첩되는 면적부분으로 입사될 광량의 투과율을 조정한다(S760). 광학계(250)는 제어부(230)의 제어에 따라, 중첩이 발생한 영역으로 입사될 광량의 투과율을 조정함으로써, 물체가 증강현실 영상에 가려진 듯한 효과를 유도한다. 이로서, 착용자는 물체가 증강현실 영상보다 멀리 있는 것처럼 인식할 수 있다.When the augmented reality image is output closer to the wearer than the object, the optical system 250 adjusts the transmittance of the amount of light incident to the area where the augmented reality image and the object overlap from the outside (S760). The optical system 250 induces an effect as if the object is obscured by the augmented reality image by adjusting the transmittance of the amount of light to be incident on the overlapped region under the control of the controller 230 . As a result, the wearer may recognize the object as if it is farther away than the augmented reality image.

증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우, 영상 출력부(240)는 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 조정한다(S770). 영상 출력부(240)는 제어부(230)의 제어에 따라, 중첩이 발생한 영역으로 출력될 증강현실 영상의 광량을 조정함으로써, 증강현실 영상이 물체에 가려진 듯한 효과를 유도한다. 이로서, 착용자는 증강현실 영상이 물체보다 멀리 있는 것처럼 인식할 수 있다.When the augmented reality image is output farther from the wearer than the object, the image output unit 240 adjusts the amount of light of the augmented reality image to be output as a portion where the augmented reality image and the object overlap (S770). The image output unit 240 induces an effect as if the augmented reality image is obscured by an object by adjusting the amount of light of the augmented reality image to be output to the overlapped region under the control of the controller 230 . As such, the wearer may recognize the augmented reality image as if it is farther than the object.

증강현실 영상과 중첩을 유발하는 물체가 복수 개이며, 각각의 원근이 증강현실 영상을 기준으로 상이할 경우, 전술한 S760 과정과 S770 과정은 동시에 수행될 수 있다.When there are a plurality of objects that cause overlap with the augmented reality image, and each perspective is different based on the augmented reality image, the above-described processes S760 and S770 may be simultaneously performed.

도 8은 본 발명의 일 실시예에 따른 증강현실 영상 출력장치가 증강현실 영상을 출력하는 방법을 도시한 순서도이다.8 is a flowchart illustrating a method for outputting an augmented reality image by the augmented reality image output apparatus according to an embodiment of the present invention.

센서부(260)는 착용자의 시선을 센싱한다(S810).The sensor unit 260 senses the wearer's gaze (S810).

제어부(230)는 메모리부(220) 내 기 저장된 데이터로부터 착용자의 시야 내 존재하는 물체의 좌표와 면적을 추출한다(S820).The control unit 230 extracts the coordinates and area of the object existing in the wearer's field of view from the data previously stored in the memory unit 220 (S820).

제어부(230)는 출력할 증강현실 영상의 좌표 및 면적을 확인한다(S830).The controller 230 checks the coordinates and area of the augmented reality image to be output (S830).

제어부(230)는 착용자의 시선을 기준으로 증강현실 영상과 물체 간 중첩여부를 확인한다(S840).The controller 230 checks whether the augmented reality image and the object overlap with the wearer's gaze (S840).

증강현실 영상과 물체 간 중첩이 발생하지 않는 경우, 영상 출력부(240)는 증강현실 영상을 출력한다(S850).If overlap between the augmented reality image and the object does not occur, the image output unit 240 outputs the augmented reality image (S850).

증강현실 영상과 물체 간 중첩이 발생하는 경우, 제어부(230)는 증강현실 영상이 물체보다 착용자에 근접하여 출력될지 여부를 판단한다(S860).When overlapping between the augmented reality image and the object occurs, the controller 230 determines whether the augmented reality image is output closer to the wearer than the object (S860).

증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우, 광학계(250)는 외부로부터 증강현실 영상과 물체가 중첩되는 면적부분으로 입사될 광량의 투과율을 조정한다(S870).When the augmented reality image is output closer to the wearer than the object, the optical system 250 adjusts the transmittance of the amount of light incident to the area where the augmented reality image and the object overlap from the outside (S870).

증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우, 영상 출력부(240)는 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 조정한다(S880). When the augmented reality image is output farther from the wearer than the object, the image output unit 240 adjusts the amount of light of the augmented reality image to be output as a portion where the augmented reality image and the object overlap (S880).

도 7 및 8에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7 및 8에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 7 및 8은 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each process is sequentially executed in FIGS. 7 and 8 , this is merely illustrative of the technical idea of an embodiment of the present invention. In other words, a person of ordinary skill in the art to which an embodiment of the present invention pertains may change the order described in FIGS. Since it will be possible to apply various modifications and variations by executing the process in parallel, FIGS. 7 and 8 are not limited to a time-series order.

한편, 도 7 및 8에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIGS. 7 and 8 can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored. That is, the computer-readable recording medium includes a storage medium such as a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM, DVD, etc.). In addition, the computer-readable recording medium is distributed in a network-connected computer system so that the computer-readable code can be stored and executed in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible by those skilled in the art to which this embodiment belongs without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.

100: 증강현실 영상 출력장치
210: 통신부
220: 메모리부
230: 제어부
240: 영상 출력부
250: 광학계
260: 센서부
270: 전원부
310: 미러부
320: 조정부
410: 증강현실 영상
420, 510: 물체
430, 520: 중첩이 발생한 영역100: augmented reality image output device
210: communication unit
220: memory unit
230: control unit
240: video output unit
250: optical system
260: sensor unit
270: power unit
310: mirror unit
320: adjustment unit
410: augmented reality image
420, 510: object
430, 520: overlapping area

Claims (14)

증강현실 영상을 출력하는 영상 출력부;
상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부;
상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부; 및
출력될 증강현실 영상과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부
를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치.an image output unit for outputting an augmented reality image;
a mirror unit that reflects the augmented reality image output from the image output unit to the wearer's eyeball, and transmits light incident from the outside;
an adjustment unit disposed on one side of the mirror unit to adjust transmittance of some or all of the light incident to the mirror unit from the outside; and
A control unit that checks whether the augmented reality image to be output and an object existing outside overlap in the direction of the augmented reality image to be output, and controls the adjustment unit or the image output unit according to the confirmation result
Augmented reality image output device comprising a. 제1항에 있어서,
상기 조정부는,
외부로부터 상기 미러부로 광이 입사되는 방향을 기준으로 상기 미러부의 전방에 배치되는 것을 특징으로 하는 증강현실 영상 출력장치.According to claim 1,
The adjustment unit,
Augmented reality image output device, characterized in that it is disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit. 제1항에 있어서,
상기 미러부는,
하프 미러인 것을 특징으로 하는 증강현실 영상 출력장치.According to claim 1,
The mirror unit,
Augmented reality image output device, characterized in that the half mirror. 제1항에 있어서,
상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것을 특징으로 하는 증강현실 영상 출력장치.According to claim 1,
Augmented reality image output device, characterized in that the total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area in which light is incident on the mirror unit from the outside. 증강현실 영상을 출력하는 출력과정;
상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정;
외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정;
출력될 증강현실 영상의 방향으로 외부에 존재하는 물체를 확인하는 확인과정; 및
상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정
을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법.an output process of outputting an augmented reality image;
a generation process of reflecting the augmented reality image output from the output process to the wearer's eyeball, and transmitting light incident from the outside;
an adjustment process of adjusting the transmittance of some or all of the light incident from the outside;
A confirmation process of confirming an object existing outside in the direction of the augmented reality image to be output; and
A control process of controlling the transmittance adjusted in the adjustment process or the augmented reality image output in the output process according to the confirmation result of the confirmation process
Augmented reality image output method comprising a. 제5항에 있어서,
상기 생성과정은,
미러부에 의해 동작되는 것을 특징으로 하는 증강현실 영상 출력방법.6. The method of claim 5,
The creation process is
Augmented reality image output method, characterized in that operated by the mirror unit. 제6항에 있어서,
상기 미러부는,
하프 미러인 것을 특징으로 하는 증강현실 영상 출력방법.7. The method of claim 6,
The mirror unit,
Augmented reality image output method, characterized in that the half mirror. 제5항에 있어서,
상기 출력과정에서 출력되는 증강현실 영상의 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것을 특징으로 하는 증강현실 영상 출력방법.6. The method of claim 5,
Augmented reality image output method, characterized in that the total area of the augmented reality image output in the output process is the same as or proportional to the area where light is incident from the outside. 착용자의 시선을 센싱하는 센서부;
증강현실 영상을 출력하는 영상 출력부;
상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부;
상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부;
상기 증강현실 영상이 출력될 공간 내 존재하는 물체의 특성을 저장하는 메모리부; 및
상기 센서부가 센싱한 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 상기 메모리부로부터 추출하고, 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부
를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치.a sensor unit for sensing the wearer's gaze;
an image output unit for outputting an augmented reality image;
a mirror unit that reflects the augmented reality image output from the image output unit to the wearer's eyeball, and transmits light incident from the outside;
an adjustment unit disposed on one side of the mirror unit to adjust transmittance of some or all of the light incident to the mirror unit from the outside;
a memory unit for storing characteristics of an object existing in a space where the augmented reality image is to be output; and
Based on the result sensed by the sensor unit, the characteristics of the object existing in the wearer's field of view are extracted from the memory unit, and whether the augmented reality image to be output based on the extracted characteristics of the object overlaps the object existing within the wearer's field of view a control unit for controlling the adjusting unit or the image output unit according to the result of checking
Augmented reality image output device comprising a. 제9항에 있어서,
상기 조정부는,
외부로부터 상기 미러부로 광이 입사되는 방향을 기준으로 상기 미러부의 전방에 배치되는 것을 특징으로 하는 증강현실 영상 출력장치.10. The method of claim 9,
The adjustment unit,
Augmented reality image output device, characterized in that it is disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit. 제9항에 있어서,
상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것을 특징으로 하는 증강현실 영상 출력장치.10. The method of claim 9,
Augmented reality image output device, characterized in that the total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area in which light is incident on the mirror unit from the outside. 착용자의 시선을 센싱하는 센싱과정;
증강현실 영상을 출력하는 출력과정;
상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정;
외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정;
상기 센싱과정에서 센싱된 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 추출하는 추출과정;
상기 추출과정으로부터 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하는 확인과정; 및
상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정
을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법.A sensing process for sensing the wearer's gaze;
an output process of outputting an augmented reality image;
a generation process of reflecting the augmented reality image output from the output process to the wearer's eyeball, and transmitting light incident from the outside;
an adjustment process of adjusting the transmittance of some or all of the light incident from the outside;
an extraction process of extracting characteristics of an object existing in the wearer's field of view based on the sensed result in the sensing process;
a confirmation process of confirming whether the augmented reality image to be output based on the characteristics of the object extracted from the extraction process and the object existing in the wearer's field of vision overlap; and
A control process of controlling the transmittance adjusted in the adjustment process or the augmented reality image output in the output process according to the confirmation result of the confirmation process
Augmented reality image output method comprising a. 제12항에 있어서,
상기 생성과정은,
미러부에 의해 동작되는 것을 특징으로 하는 증강현실 영상 출력방법.13. The method of claim 12,
The creation process is
Augmented reality image output method, characterized in that operated by the mirror unit. 제12항에 있어서,
상기 출력과정에서 출력되는 증강현실 영상의 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것을 특징으로 하는 증강현실 영상 출력방법.

13. The method of claim 12,
Augmented reality image output method, characterized in that the total area of the augmented reality image output in the output process is the same as or proportional to the area where light is incident from the outside.
KR1020200037216A 2020-03-27 2020-03-27 Apparatus and Method for Outputting a Realistic Augmented Reality Image KR102474528B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200037216A KR102474528B1 (en) 2020-03-27 2020-03-27 Apparatus and Method for Outputting a Realistic Augmented Reality Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200037216A KR102474528B1 (en) 2020-03-27 2020-03-27 Apparatus and Method for Outputting a Realistic Augmented Reality Image

Publications (2)

Publication Number Publication Date
KR20210120470A true KR20210120470A (en) 2021-10-07
KR102474528B1 KR102474528B1 (en) 2022-12-06

Family

ID=78114595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200037216A KR102474528B1 (en) 2020-03-27 2020-03-27 Apparatus and Method for Outputting a Realistic Augmented Reality Image

Country Status (1)

Country Link
KR (1) KR102474528B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096485A1 (en) * 2022-11-03 2024-05-10 삼성전자 주식회사 Wearable device that adjusts light transmittance according to illuminace of external light source and control method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010502A (en) * 2006-07-27 2008-01-31 한국전자통신연구원 Face mounted display apparatus and method for mixed reality environment
KR20130099317A (en) * 2012-02-29 2013-09-06 한국전자통신연구원 System for implementing interactive augmented reality and method for the same
KR20140020136A (en) * 2012-08-08 2014-02-18 엘지전자 주식회사 Video processing apparatus and method thereof
KR20150070874A (en) * 2013-12-17 2015-06-25 엘지전자 주식회사 Grass type device and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010502A (en) * 2006-07-27 2008-01-31 한국전자통신연구원 Face mounted display apparatus and method for mixed reality environment
KR20130099317A (en) * 2012-02-29 2013-09-06 한국전자통신연구원 System for implementing interactive augmented reality and method for the same
KR20140020136A (en) * 2012-08-08 2014-02-18 엘지전자 주식회사 Video processing apparatus and method thereof
KR20150070874A (en) * 2013-12-17 2015-06-25 엘지전자 주식회사 Grass type device and control method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096485A1 (en) * 2022-11-03 2024-05-10 삼성전자 주식회사 Wearable device that adjusts light transmittance according to illuminace of external light source and control method thereof

Also Published As

Publication number Publication date
KR102474528B1 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109564472B (en) Method, medium, and system for selecting an interaction method with a virtual object
CN107111370B (en) Virtual representation of real world objects
KR102304827B1 (en) Gaze swipe selection
US9105210B2 (en) Multi-node poster location
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US10451875B2 (en) Smart transparency for virtual objects
US9646511B2 (en) Wearable food nutrition feedback system
US9767720B2 (en) Object-centric mixed reality space
US9395543B2 (en) Wearable behavior-based vision system
US20190056791A1 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9696547B2 (en) Mixed reality system learned input and functions
US20140002496A1 (en) Constraint based information inference
US9035955B2 (en) Synchronizing virtual actor's performances to a speaker's voice
US20220130124A1 (en) Artificial reality system with varifocal display of artificial reality content
KR20150092165A (en) Direct hologram manipulation using imu
US20120274745A1 (en) Three-dimensional imager and projection device
US20130326364A1 (en) Position relative hologram interactions
WO2021118745A1 (en) Content stabilization for head-mounted displays
KR20110136012A (en) Augmented reality device to track eyesight direction and position
US20170221180A1 (en) Method and system for providing a virtual reality space
US20210068652A1 (en) Glint-Based Gaze Tracking Using Directional Light Sources
KR102474528B1 (en) Apparatus and Method for Outputting a Realistic Augmented Reality Image
D'Angelo et al. Development of a Low-Cost Augmented Reality Head-Mounted Display Prototype
US20230368453A1 (en) Controlling computer-generated facial expressions
KR20180004077A (en) Method for Providing Adaptive Augmented Reality by using Tracking Eyesight

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant