KR102055901B1 - Focus variable integral imaging augmented reality display and control method thereof - Google Patents

Focus variable integral imaging augmented reality display and control method thereof Download PDF

Info

Publication number
KR102055901B1
KR102055901B1 KR1020190032879A KR20190032879A KR102055901B1 KR 102055901 B1 KR102055901 B1 KR 102055901B1 KR 1020190032879 A KR1020190032879 A KR 1020190032879A KR 20190032879 A KR20190032879 A KR 20190032879A KR 102055901 B1 KR102055901 B1 KR 102055901B1
Authority
KR
South Korea
Prior art keywords
user
image
pupil
tracking
information
Prior art date
Application number
KR1020190032879A
Other languages
Korean (ko)
Other versions
KR20190113603A (en
Inventor
원용협
김철중
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20190113603A publication Critical patent/KR20190113603A/en
Application granted granted Critical
Publication of KR102055901B1 publication Critical patent/KR102055901B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G02B26/005—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G02B27/225—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법이 개시된다.
이 디스플레이의 전기습윤 렌즈 어레이는 극성 및 무극성 액체의 표면장력 조절을 통해, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대한 화소별 초점 조절이 가능하다. 동공 추적부는 상기 전기습윤 렌즈 어레이를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되도록 하는 광 도파로; 상기 사용자의 동공의 위치를 추적하여 상기 사용자가 바라보고 있는 방향을 추정한다. 제어부는 상기 동공 추적부에 의해 추정된 방향 정보와 상기 디스플레이 패널로부터 제공되는 영상 정보를 통해 상기 사용자가 바라보고 있는 영상 내 물체의 깊이 정보를 추정하고, 추정된 깊이 정보에 따라 상기 전기습윤 렌즈 어레이의 화소별 초점 조절을 수행한다.Disclosed are a focusing integrated image augmented reality display and a control method thereof.
The display's electrowetting lens array allows for pixel-by-pixel focusing of an image output from a display panel configured to display an integrated image composed of a matrix of small images, by adjusting the surface tension of polar and nonpolar liquids. The pupil tracking unit includes an optical waveguide for transmitting the image passing through the electrowetting lens array to the user's eyes so that the image is disposed in the space; The direction of the user's eye is estimated by tracking the position of the user's pupil. The controller estimates depth information of an object in the image that the user is looking at based on the direction information estimated by the pupil tracking unit and the image information provided from the display panel, and the electrowetting lens array according to the estimated depth information. Perform pixel-by-pixel focusing.

Description

초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법{FOCUS VARIABLE INTEGRAL IMAGING AUGMENTED REALITY DISPLAY AND CONTROL METHOD THEREOF}FOCUS VARIABLE INTEGRAL IMAGING AUGMENTED REALITY DISPLAY AND CONTROL METHOD THEREOF}

본 발명은 초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법에 관한 것이다.The present invention relates to a focus control integrated image augmented reality display and its control method.

집적영상 디스플레이는 렌즈 어레이를 이용하여 3차원 영상을 표현하는 방식으로 여러 방향의 연속적인 시차를 제공하고 수렴-조절 불일치가 발생하지 않는 자연스러운 이미지를 제공한다는 장점이 있다. 그러나, 이러한 집적영상 디스플레이는 형성되는 영상의 깊이감이 제한되고 해상도가 낮아지는 단점을 가지고 있다. Integrated image display has the advantage of providing a natural image that provides a continuous parallax in multiple directions and a convergence-adjustment mismatch does not occur by representing a three-dimensional image using a lens array. However, the integrated image display has a disadvantage in that the depth of the formed image is limited and the resolution is lowered.

한편, 집적영상 증강 현실 디스플레이는 이러한 집적영상 기술을 증강현실 장치에 접목한 것으로 각 눈에 렌즈 어레이를 통과한 집적영상 이미지를 제공하여 기존 증강현실 기기가 가지는 수렴-조절 불일치로 인한 어지러움을 해결하고 보다 자연스러운 입체 영상의 제공을 가능하게 한다. 그런데, 고정 광학계를 이용한 집적영상 증강현실 디스플레이는 기존 집적영상이 갖는 단점인 깊이 표현 범위 제한을 가지기 때문에 특정 깊이 범위의 물체만 뚜렷하게 식별 가능하다는 문제를 지닌다. On the other hand, the integrated image augmented reality display is a combination of the integrated image technology to the augmented reality device to provide an integrated image image passing through the lens array to each eye to solve the dizziness caused by the convergence-adjustment mismatch of the existing augmented reality device It is possible to provide a more natural three-dimensional image. However, an integrated image augmented reality display using a fixed optical system has a problem in that only an object having a specific depth range can be clearly identified because it has a limited range of depth expression, which is a disadvantage of existing integrated images.

따라서, 깊이 표현 범위에 제한이 없는 새로운 형태의 집적영상 증강현실 디스플레이 기술이 요구되고 있다.Therefore, there is a need for a new type of integrated image augmented reality display technology that does not limit the depth representation range.

본 발명이 이루고자 하는 기술적 과제는 깊이 표현 범위의 한계를 극복하고 보다 넓은 범위에 자연스러운 증강현실 영상을 제공할 수 있는 초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법을 제공한다.The present invention provides a focus control integrated image augmented reality display and its control method capable of overcoming the limitation of the depth representation range and providing a natural augmented reality image in a wider range.

본 발명의 하나의 특징에 따른 초점조절 집적영상 증강현실 디스플레이는,Focused integrated image augmented reality display according to one feature of the present invention,

극성 및 무극성 액체의 표면장력 조절을 통해, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대한 화소별 초점 조절이 가능한 전기습윤 렌즈 어레이; 상기 전기습윤 렌즈 어레이를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되도록 하는 광 도파로;An electrowetting lens array capable of adjusting pixel-by-pixel focus on an image output from a display panel configured to display an integrated image composed of a matrix of small images by adjusting surface tensions of polar and nonpolar liquids; An optical waveguide for transmitting the image passing through the electrowetting lens array to an eye of a user so that the image is disposed in a space;

상기 사용자의 동공의 위치를 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 동공 추적부; 및 상기 동공 추적부에 의해 추정된 방향 정보와 상기 디스플레이 패널로부터 제공되는 영상 정보를 통해 상기 사용자가 바라보고 있는 영상 내 물체의 깊이 정보를 추정하고, 추정된 깊이 정보에 따라 상기 전기습윤 렌즈 어레이의 화소별 초점 조절을 수행하는 제어부를 포함한다.A pupil tracking unit for tracking a position of the pupil of the user and estimating a direction that the user is looking at; And estimating depth information of an object in an image viewed by the user through direction information estimated by the pupil tracking unit and image information provided from the display panel, and estimates depth information of the electrowetting lens array according to the estimated depth information. And a controller that performs focus adjustment for each pixel.

여기서, 상기 영상 정보는 화소별 좌표 정보 및 깊이 정보를 포함하고, 상기 제어부는, 상기 방향 정보와 상기 영상 정보를 사용하여 상기 사용자가 바라보고 있는 영상 내 물체의 좌표를 추정하는 좌표 추정부; 상기 영상 정보를 사용하여 상기 좌표 추정부에 의해 추정된 좌표에 대응하는 깊이 정보를 획득하는 깊이 정보 획득부; 상기 깊이 정보 획득부에 의해 획득되는 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 초점 거리 계산부; 및 상기 초점 거리 계산부에 의해 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 초점 조절부를 포함한다.The image information may include coordinate information and depth information for each pixel, and the controller may include: a coordinate estimator configured to estimate coordinates of an object in an image viewed by the user using the direction information and the image information; A depth information obtaining unit obtaining depth information corresponding to the coordinates estimated by the coordinate estimating unit using the image information; A focal length calculator for calculating a focal length for locating a focal plane at a depth corresponding to depth information obtained by the depth information acquirer; And a focus controller configured to perform pixel-by-pixel focus control on the electrowetting lens array according to the focal length calculated by the focal length calculator.

또한, 상기 동공 추적부는, 두 개의 동공 추적 장치를 사용하여 상기 사용자의 양안의 동공을 각각 추적하고, 추적 결과로서 상기 두 개의 동공 추적 장치에서 출력되는 결과 값을 사용하여 상기 사용자가 바라보는 방향에 해당되는 수렴점의 위치를 상기 방향 정보로서 상기 제어부로 제공하거나, 또는 한 개의 동공 추적 장치를 사용하여 상기 사용자의 양안 중 하나의 동공을 추적하고, 추적 결과로서 상기 한 개의 동공 추적 장치에서 출력되는 결과 값을 상기 방향 정보로서 상기 제어부로 제공한다.The pupil tracking unit tracks pupils of both eyes of the user by using two pupil tracking devices, and uses the result values output from the two pupil tracking devices as a tracking result in a direction that the user views. The position of a corresponding convergence point is provided to the controller as the direction information, or a pupil of both eyes of the user is tracked using one pupil tracking device, and output from the pupil tracking apparatus as a tracking result. The resultant value is provided to the controller as the direction information.

또한, 상기 광 도파로는 상기 전기습윤 렌즈 어레이를 통과한 빛을 상기 사용자에게 반사시키고, 상기 사용자 전방의 빛은 투과시켜서 상기 사용자에게 향하도록 하는 빔 스플리터 방식으로 구현된다.In addition, the optical waveguide is implemented in a beam splitter method that reflects the light passing through the electrowetting lens array to the user, and the light in front of the user is transmitted to direct to the user.

또한, 상기 전기습윤 렌즈 어레이는 전기적으로 초점 조절이 가능한 복수의 전기습윤 렌즈가 2차원 형태로 배열되어 구성되고, 상기 전기습윤 렌즈 어레이는 규칙적으로 배열된 원형 홀을 갖는 챔버 기판; 상기 챔버 기판 내의 홀의 측벽에 배치된 제1 전극; 상기 챔버 기판 상부와 하부에 공간을 형성하도록 하는 수직 격벽; 상기 수직 격벽의 상부 및 하부를 덮도록 구성된 상부 투명 기판 및 하부 투명 기판; 및 상기 상부 투명 기판에 배치된 제2 전극을 포함하며, 상기 챔버 기판의 하부와 상기 원형 홀 내부의 하부에 무극성 액체가 배치되고, 상기 챔버 기판의 상부와 상기 원영 홀 내부의 상부에 극성 액체가 배치된다.The electrowetting lens array may include a plurality of electrowetting lenses that are electrically focusable, arranged in a two-dimensional form, and the electrowetting lens array may include a chamber substrate having regularly arranged circular holes; A first electrode disposed on a side wall of the hole in the chamber substrate; Vertical barrier ribs forming a space in an upper portion and a lower portion of the chamber substrate; An upper transparent substrate and a lower transparent substrate configured to cover upper and lower portions of the vertical partition wall; And a second electrode disposed on the upper transparent substrate, wherein a nonpolar liquid is disposed under the chamber substrate and under the circular hole, and a polar liquid is disposed on the upper portion of the chamber substrate and the upper portion of the circumferential hole. Is placed.

또한, 상기 전기습윤 렌즈 어레이는, 상기 제1 전극을 덮도록 형성된 절연층; 및 상기 절연층의 표면을 덮는 소수성 막을 더 포함한다.The electrowetting lens array may further include an insulating layer formed to cover the first electrode; And a hydrophobic film covering the surface of the insulating layer.

또한, 상기 절연층은 서로 다른 물질들로 구성된 다층 구조를 갖는다.In addition, the insulating layer has a multilayer structure composed of different materials.

또한, 상기 무극성 액체와 상기 극성 액체의 경계면은 상기 챔버 기판의 원형 홀 내부에 형성된다.In addition, an interface between the nonpolar liquid and the polar liquid is formed in a circular hole of the chamber substrate.

본 발명의 다른 특징에 따른 디스플레이 제어 방법은,Display control method according to another aspect of the present invention,

초점조절 집적영상 증강현실 디스플레이가 집적영상 증강현실 영상을 사용자에게 제공하기 위해 제어 방법으로서, 상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계; 상기 사용자가 바라보고 있는 방향이 변경된 경우, 변경된 방향의 영상 내 좌표를 추정하는 단계; 추정된 좌표의 깊이 정보를 획득하는 단계; 획득되는 깊이 정보에 따라, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대해 전기습윤 렌즈 어레이를 사용하여 화소별 초점 조절을 수행하는 단계를 포함한다.A control method for providing an integrated augmented reality image display to a user by a focus control integrated image augmented reality display, comprising: estimating a direction that the user is looking by tracking a pupil of the user; Estimating coordinates in the image of the changed direction when the direction that the user is looking at is changed; Obtaining depth information of the estimated coordinates; And performing pixel-by-pixel focus adjustment on the image output from the display panel configured to display the integrated image composed of the matrix of small images according to the obtained depth information.

여기서, 상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는, 상기 사용자의 양안의 동공을 각각 추적하고, 상기 양안의 동공의 추적 결과를 출력하는 단계; 및 상기 양안의 동공의 추적 결과를 사용하여 상기 양안이 바라보는 방향에 해당되는 수렴점의 위치를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계를 포함한다.Here, the tracking of the pupil of the user and estimating the direction that the user is looking may include: tracking each pupil of the user and outputting a tracking result of the pupil of both eyes; And estimating the location of the convergence point corresponding to the direction of the both eyes using the tracking result of the pupils of both eyes in the direction of the user's viewing.

또한, 상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는, 상기 사용자의 양안 중 하나의 동공을 추적하고, 상기 하나의 동공의 추적 결과를 출력하는 단계; 및 상기 하나의 동공의 추적 결과를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계를 포함한다.The tracking of the pupil of the user and estimating the direction that the user is looking may include: tracking one pupil of both eyes of the user and outputting a tracking result of the pupil; And estimating a tracking result of the one pupil in a direction in which the user is looking.

또한, 상기 화소별 초점 조절을 수행하는 단계는, 상기 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 단계; 및 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 단계를 포함한다.The performing of the focus adjustment for each pixel may include calculating a focal length for positioning a focal plane at a depth corresponding to the depth information; And performing a pixel-by-pixel focus adjustment on the electrowetting lens array according to the calculated focal length.

본 발명에 따르면, 집적영상 디스플레이가 갖는 수렴 조절 불일치 해결을 통한 자연스러운 입체시 제공 기능에 초점조절 기능을 접목하여 깊이 표현 범위의 한계를 극복하고 보다 넓은 범위에 자연스러운 증강현실 영상을 제공할 수 있다.According to the present invention, by combining the focus control function with the natural stereoscopic vision providing function through the convergence control mismatch resolution of the integrated image display, it is possible to overcome the limitation of the depth expression range and to provide a natural augmented reality image in a wider range.

도 1은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이의 개략적인 구성도이다.
도 2는 도 1에 도시된 동공 추적부가 양안의 동공을 추적하는 방식의 개략도이다.
도 3은 도 1에 도시된 동공 추적부가 단안의 동공을 추적하는 방식의 개략도이다.
도 4는 도 1에 도시된 전기습윤 렌즈 어레이(120)의 모식도이다.
도 5는 도 4에 도시된 전기습윤 렌즈 어레이의 초점 변화에 따라 통과하는 상의 변화를 도시한 도면으로, (a)는 초점 거리가 긴 경우이고, (b)는 초점 거리가 짧은 경우를 나타낸다.
도 6은 도 4에 도시된 전기습윤 렌즈 어레이(120)의 C-C' 방향 단면도이다.
도 7은 도 1에 도시된 제어부(150)의 구체적인 구성 블록도이다.
도 8은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이 제어 방법의 개략적인 흐름도이다.
도 9는 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이가 사용자가 바라보는 방향의 물체의 깊이에 따라 초점 조절을 수행한 영상을 표시하는 개념을 도시한 도면이다.1 is a schematic configuration diagram of a focus control integrated image augmented reality display according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of a manner in which the pupil tracking unit shown in FIG. 1 tracks pupils of both eyes.
3 is a schematic diagram of a manner in which the pupil tracking unit shown in FIG. 1 tracks a pupil of a monocular.
FIG. 4 is a schematic diagram of the electrowetting lens array 120 shown in FIG. 1.
FIG. 5 is a diagram illustrating a change in a passing image according to a change in focus of the electrowetting lens array shown in FIG. 4, where (a) shows a long focal length and (b) shows a short focal length.
FIG. 6 is a cross-sectional view taken along the CC ′ direction of the electrowetting lens array 120 shown in FIG. 4.
FIG. 7 is a detailed block diagram of the controller 150 shown in FIG. 1.
8 is a schematic flowchart of a focus control integrated image augmented reality display control method according to an embodiment of the present invention.
FIG. 9 is a diagram illustrating a concept of displaying, by a focus control integrated image augmented reality display according to an embodiment of the present invention, an image in which focus is adjusted according to a depth of an object viewed by a user.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise. In addition, the terms “… unit”, “… unit”, “module”, etc. described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.

이하, 도면을 참조하여 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이에 대해 설명한다.Hereinafter, a focus control integrated image augmented reality display according to an exemplary embodiment of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이의 개략적인 구성도이다.1 is a schematic configuration diagram of a focus control integrated image augmented reality display according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이(100)는 디스플레이 패널(110), 전기습윤 렌즈 어레이(120), 광 도파로(130), 동공 추적부(140) 및 제어부(150)를 포함한다.As shown in FIG. 1, the focus control integrated image augmented reality display 100 according to an exemplary embodiment of the present invention includes a display panel 110, an electrowetting lens array 120, an optical waveguide 130, and a pupil tracking unit ( 140 and the controller 150.

디스플레이 패널(110)은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이(100)의 영상을 표시하기 위한 광을 전기습윤 렌즈 어레이(120)로 출력한다. 즉, 디스플레이 패널(110)은 작은 이미지의 행렬로 구성된 집적영상을 디스플레이하도록 구성된다. 이러한 디스플레이 패널(100)로는 LCD(Liquid Crystal Display), LED(light emitting diode) 디스플레이, OLED(Organic Light Emitting Diodes) 디스플레이 등일 수 있으나, 이것으로만 한정되는 것은 아니다.The display panel 110 outputs light for displaying an image of the focus control integrated image augmented reality display 100 according to an embodiment of the present invention to the electrowetting lens array 120. That is, the display panel 110 is configured to display an integrated image composed of a matrix of small images. The display panel 100 may be a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or the like, but is not limited thereto.

또한, 디스플레이 패널(110)은 전기습윤 렌즈 어레이(120)로 출력하는 영상과 관련된 정보를 제어부(150)로 전달한다. 예를 들어, 영상과 관련된 정보에는 영상을 구성하는 화소의 좌표 정보, 또는 화소의 좌표 정보 및 깊이 정보가 포함될 수 있다.In addition, the display panel 110 transmits information related to the image output to the electrowetting lens array 120 to the controller 150. For example, the information related to the image may include coordinate information of pixels constituting the image, coordinate information, and depth information of the pixels.

전기습윤 렌즈 어레이(120)는 극성 및 무극성 액체의 표면장력 조절을 통해 전기적으로 초점거리 조절이 가능한 다수의 전기습윤 렌즈가 2차원 형태로 배열되어 있는 렌즈 어레이이다.The electrowetting lens array 120 is a lens array in which a plurality of electrowetting lenses that can be electrically adjusted in focal length by controlling surface tension of polar and nonpolar liquids are arranged in a two-dimensional form.

전기습윤 렌즈 어레이(120)는 제어부(150)의 제어에 따라 디스플레이 패널(110)로부터 출력되어 전기습윤 렌즈 어레이(120)를 통과하는 영상의 초점 거리를 조절할 수 있다. 구체적으로, 전기습윤 렌즈 어레이(120)는 전기습윤 렌즈 어레이(120)를 통과하는 영상을 구성하는 화소별로 초점 거리를 조절할 수 있다. 이를 위해, 전기습윤 렌즈 어레이(120)를 구성하는 각 전기습윤 렌즈는 영상의 화소별로 대응되도록 배치될 수 있다. 전기습윤 렌즈 어레이(120)에 대해서는 추후 구체적으로 설명한다.The electrowetting lens array 120 may adjust a focal length of an image that is output from the display panel 110 and passes through the electrowetting lens array 120 under the control of the controller 150. In detail, the electrowetting lens array 120 may adjust the focal length for each pixel constituting the image passing through the electrowetting lens array 120. To this end, each electrowetting lens constituting the electrowetting lens array 120 may be disposed to correspond to each pixel of the image. The electrowetting lens array 120 will be described in detail later.

광 도파로(130)는 디스플레이 패널(110) 및 전기습윤 렌즈 어레이(120)를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되어 있도록 한다. 이러한 광 도파로(130)는 다양한 방식으로 구현될 수 있으며, 본 실시예에서는 입사되는 빛의 일부는 반사하고 다른 부분은 투과하는 빔 스플리터(beam splitter)를 사용하여 구현되는 것으로 설명된다. 즉, 빔 스플리터 방식으로 구현된 광 도파로(130)는 디스플레이 패널(110)로부터 전기습윤 렌즈 어레이(120)를 통과하여 입사되는 빛은 사용자, 구체적으로는 사용자의 동공으로 반사시키고, 사용자 전방의 빛 역시 사용자의 동공으로 투과시킴으로써 사용자의 전방 공간 상에 디스플레이 패널(110)로부터 출력되는 영상이 배치될 수 있도록 한다.The optical waveguide 130 transmits the image passing through the display panel 110 and the electrowetting lens array 120 to the eyes of the user so that the image is disposed in the space. The optical waveguide 130 may be implemented in various ways. In the present exemplary embodiment, the optical waveguide 130 may be implemented by using a beam splitter that reflects a part of incident light and transmits another part. That is, the optical waveguide 130 implemented by the beam splitter method reflects light incident from the display panel 110 through the electrowetting lens array 120 to the user, specifically, the pupil of the user, and the light in front of the user. Also, the image output from the display panel 110 may be disposed on the front space of the user by transmitting through the pupil of the user.

동공 추적부(140)는 영상을 시청하는 사용자의 동공의 위치를 추적하여 현재 사용자의 눈이 바라보고 있는 방향을 특정한 후, 특정된 방향 정보를 제어부(150)로 전달한다. 여기서, 방향 정보는 사용자의 좌안과 우안 양쪽의 동공을 추적하는 경우에는 양안의 시선 방향이지만, 사용자의 한 쪽 동공만을 추적하는 경우에는 추적하는 동공만의 시선 방향이다.The pupil tracking unit 140 tracks the position of the pupil of the user watching the image, specifies the direction currently viewed by the eyes of the user, and then transfers the specified direction information to the controller 150. Here, the direction information is the gaze direction of both eyes when tracking the pupils of both the left and right eyes of the user, but is the gaze direction of only the tracking pupils when tracking only one pupil of the user.

이하, 동공 추적부(140)가 사용자의 동공의 위치를 추적하는 방식에 대해 구체적으로 설명한다.Hereinafter, the method of tracking the location of the pupil of the pupil tracking unit 140 will be described in detail.

먼저, 도 2를 참조하여, 두 개의 동공 추적 장치(141, 142)를 사용하여 사용자의 좌안(11)과 우안(12) 양쪽의 동공을 추적하는 경우에 대해 설명한다.First, a case in which the pupils of both the left eye 11 and the right eye 12 of the user are tracked using the two pupil tracking devices 141 and 142 will be described.

동공 추적 장치(141)는 사용자의 좌안(11)의 동공의 위치를 추적하도록 위치되고, 동공 추적 장치(142)는 사용자의 우안(12)의 동공의 위치를 추적하도록 위치된다.The pupil tracking device 141 is positioned to track the position of the pupil of the user's left eye 11, and the pupil tracking device 142 is positioned to track the position of the pupil of the user's right eye 12.

사용자의 양안(11, 12)의 동공의 위치를 추적하는 동공 추적 장치(141, 142)에 의해 추적된 결과 값은 제어부(150)로 전달된다.The result values tracked by the pupil tracking devices 141 and 142 that track the positions of the pupils of both eyes 11 and 12 of the user are transmitted to the controller 150.

도 2를 참조하면, 사용자가 어느 한 방향의 물체, 즉 "A"를 바라보는 경우, 동공 추적 장치(141, 142)는 사용자의 양안(11, 12)이 "A"를 바라보는 방향을 나타내는 결과 값을 획득하여 제어부(150)로 전달할 수 있다. 따라서, 제어부(150)는 동공 추적 장치(141, 142)로부터 전달되는 결과 값을 사용하여 사용자가 바라보는 방향에 해당되는 수렴점의 위치(I1)를 계산하여 대응되는 깊이 정보를 추정할 수 있다.Referring to FIG. 2, when the user looks at an object in one direction, that is, “A”, the pupil tracking devices 141 and 142 indicate a direction in which both eyes 11 and 12 of the user look at “A”. The resultant value may be obtained and transferred to the controller 150. Accordingly, the controller 150 may estimate the corresponding depth information by calculating the position I1 of the convergence point corresponding to the direction of the user using the result values transmitted from the pupil tracking devices 141 and 142. .

선택적으로, 제어부(150)는 동공 추적 장치(141, 142)로부터 전달되는 각 값들을 사용하여 수렴점의 위치(I1)에 해당되는 영상의 좌표를 확인하여 이에 대응되는 깊이 정보를 확인할 수 있다.Optionally, the controller 150 may check depth information corresponding to the coordinates of the image corresponding to the position I1 of the convergence point using the respective values transmitted from the pupil tracking devices 141 and 142.

다음, 도 3을 참조하여, 한 개의 동공 추적 장치(143)를 사용하여 사용자의 한 쪽 눈, 예를 들어, 좌안(11)의 동공을 추적하는 경우에 대해 설명한다.Next, a case in which the pupil of one user's eye, for example, the pupil of the left eye 11 is tracked using one pupil tracking device 143 will be described.

하나의 동공 추적 장치(143)는 사용자의 좌안(11)의 동공의 위치를 추적하도록 위치된다.One pupil tracking device 143 is positioned to track the position of the pupil of the user's left eye 11.

사용자의 좌안(11)의 동공의 위치를 추적하는 동공 추적 장치(143)에 의해 추적된 결과 값은 제어부(150)로 전달된다.The result value tracked by the pupil tracking device 143 that tracks the position of the pupil of the left eye 11 of the user is transmitted to the controller 150.

도 3을 참조하면, 사용자가 영상 내의 한 물체, 즉 "A"를 바라보는 경우, 동공 추적 장치(143)는 사용자의 좌안(11)이 "A"를 바라보는 방향을 나타내는 결과 값을 획득하여 제어부(150)로 전달할 수 있다. 따라서, 제어부(150)는 동공 추적 장치(143)로부터 전달되는 결과 값과 디스플레이 패널(110)로부터 전달되는 영상과 관련된 정보 중 영상을 구성하는 화소의 좌표 정보 및 깊이 정보를 사용하여 사용자가 바라보는 방향에 해당되는 물체의 깊이 정보를 확인할 수 있다.Referring to FIG. 3, when the user looks at an object in the image, that is, "A", the pupil tracking device 143 obtains a result value indicating a direction in which the left eye 11 of the user views "A". The controller 150 may transmit the result. Therefore, the controller 150 uses the coordinate values and depth information of the pixels constituting the image among the result values transmitted from the pupil tracking device 143 and the information related to the image transmitted from the display panel 110. You can check the depth information of the object corresponding to the direction.

즉, 제어부(150)는 디스플레이 패널(110)로부터 전달되는 영상과 관련된 정보와 동공 추적부(140)로부터 전달되는 방향 정보를 사용하여 영상 내에서 사용자가 바라보고 있는 물체, 구체적으로는 좌표의 깊이 정보를 추정하고, 추정된 깊이 정보에 따라 전기습윤 렌즈 어레이(120)의 초점 거리를 조절한다. 여기서, 제어부(150)가 화소별 깊이 정보별로 전기습윤 렌즈 어레이(120)의 각 화소별 초점 거리를 조절하기 위한 제어 정보는 미리 설정되어 있으며, 이것은 전기습윤 렌즈 어레이(120)의 특성에 따라 적합하게 변경될 수 있다.That is, the controller 150 uses the information related to the image transmitted from the display panel 110 and the direction information transmitted from the pupil tracking unit 140 to determine an object, specifically, the depth of coordinates, that the user looks in the image. The information is estimated, and the focal length of the electrowetting lens array 120 is adjusted according to the estimated depth information. Here, the control information for the controller 150 to adjust the focal length of each pixel of the electrowetting lens array 120 for each depth information of each pixel is set in advance, which is suitable according to the characteristics of the electrowetting lens array 120. Can be changed.

다음, 전기습윤 렌즈 어레이(120)에 대해 구체적으로 설명한다.Next, the electrowetting lens array 120 will be described in detail.

도 4는 도 1에 도시된 전기습윤 렌즈 어레이(120)의 모식도이다.FIG. 4 is a schematic diagram of the electrowetting lens array 120 shown in FIG. 1.

도 4를 참조하면, 전기습윤 렌즈 어레이(120)는 2차원으로 정렬된 복수의 렌즈(121)를 포함하며, 여기서 정렬 형태는 임의적일 수 있다.Referring to FIG. 4, the electrowetting lens array 120 includes a plurality of lenses 121 aligned in two dimensions, where the alignment form may be arbitrary.

전기습윤 기술을 통해 전기습윤 렌즈 어레이(120)에 인가된 전압에 따라 초점 거리가 변화하며 이에 따라 렌즈를 통과한 상의 크기가 변화하게 된다. 예를 들어, 도 5를 참조하면, 도 5(a)의 경우 렌즈(121)를 통과하는 상의 크기가 작으므로 초점 거리가 긴 경우, 즉 배율이 낮은 경우이고, 도 5(b)의 경우에는 렌즈(121)를 통과하는 상의 크기가 상대적으로 크므로 초점 거리가 짧은 경우, 즉 배율이 높은 경우임을 알 수 있다.The focal length changes according to the voltage applied to the electrowetting lens array 120 through the electrowetting technique, thereby changing the size of the image passing through the lens. For example, referring to FIG. 5, in the case of FIG. 5A, since the size of the image passing through the lens 121 is small, the focal length is long, that is, the magnification is low, and in the case of FIG. 5B. Since the image passing through the lens 121 is relatively large, it can be seen that the focal length is short, that is, the magnification is high.

즉, 제어부(150)에 의해 사용자가 바라보는 방향에 위치한 물체, 즉 좌표에 해당하는 깊이 정보에 따라 전기습윤 렌즈 어레이(120)의 초점이 조절되어 디스플레이 패널(110)로부터 출력되어 전기습윤 렌즈 어레이(120)를 통과한 후 광 도파로(130)를 통해 사용자에게 표시되는 영상이 사용자가 바라보는 방향의 깊이에 해당하도록 배치될 수 있다.That is, the focus of the electrowetting lens array 120 is adjusted according to the depth information corresponding to the object located in the direction that the user views by the controller 150, that is, the coordinates, and is output from the display panel 110 so as to output the electrowetting lens array. After passing through the 120, the image displayed to the user through the optical waveguide 130 may be disposed to correspond to the depth of the direction viewed by the user.

도 6은 도 4에 도시된 전기습윤 렌즈 어레이(120)의 C-C' 방향 단면도이다.6 is a cross-sectional view taken along the line C-C 'of the electrowetting lens array 120 shown in FIG.

도 6을 참조하면, 렌즈 홀이 포함된 챔버 기판(601)은 감광성 유리 또는 실리콘 재질이며, 에칭 기법을 통해 주기적인 렌즈 홀이 형성된다.Referring to FIG. 6, the chamber substrate 601 including the lens hole is made of photosensitive glass or silicon, and periodic lens holes are formed through an etching technique.

챔버 기판(601)의 상하로는 유체가 담길 공간을 형성하기 위해 개스킷(602)이 부착되며, 그 하부는 일반 유리(603)를 통해, 그리고 상부는 전극이 증착된 유리(604)를 통해 밀봉된다.Gaskets 602 are attached to the top and bottom of the chamber substrate 601 to form a space for the fluid therein, the bottom of which is sealed through the common glass 603 and the top of the chamber substrate 601 through the glass 604 on which the electrode is deposited. do.

챔버 기판(601)의 표면에는 전극(605)이 증착되며, 이는 전도성이 있는 어떤 종류의 물질도 사용이 가능하다.An electrode 605 is deposited on the surface of the chamber substrate 601, and any kind of conductive material may be used.

챔버 기판의 전극(605)과 상부의 전극 증착 유리(604)가 각각 제1, 제2 전극 역할을 하게 되며, 렌즈(121)의 초점 거리 조절을 위한 구동 시 전압이 인가된다.The electrode 605 of the chamber substrate and the electrode deposition glass 604 on the upper part serve as first and second electrodes, respectively, and a voltage is applied when driving the focal length of the lens 121.

챔버 기판의 전극(605) 표면에는 절연층 및 소수성 막(608)이 증착되고, 챔버 내부에는 분극성 액체(606)와 무극성 액체(607)가 주입되며, 챔버를 기준으로 분극성 액체(606)는 상부의 절반에 위치하고, 무극성 액체(607)는 하부의 절반에 위치한다. 여기서, 소수성 막(608)은 분극성 액체(606)와 무극성 액체(607) 사이의 표면 장력을 조절하여 접촉각 제어를 용이하게 한다. 또한, 절연층은 서로 다른 물질들로 구성된 다층 구조를 갖는다.An insulating layer and a hydrophobic film 608 are deposited on the surface of the electrode 605 of the chamber substrate, and a polarizable liquid 606 and a nonpolar liquid 607 are injected into the chamber, and the polarizable liquid 606 is based on the chamber. Is located at the top half, and the nonpolar liquid 607 is located at the bottom half. Here, hydrophobic film 608 adjusts the surface tension between polarizable liquid 606 and nonpolar liquid 607 to facilitate contact angle control. In addition, the insulating layer has a multilayer structure composed of different materials.

한편, 제1, 제2 전극(605, 604)에 적절한 전압을 인가함으로써 표면 장력이 변화하고 렌즈 초점 거리가 변화한다.On the other hand, by applying an appropriate voltage to the first and second electrodes 605 and 604, the surface tension is changed and the lens focal length is changed.

상기한 바와 같은 전기습윤 렌즈 어레이(120)의 구성과 기능에 대해서는 이미 잘 알려져 있으므로 구체적인 설명은 생략한다.Since the configuration and function of the electrowetting lens array 120 as described above are well known, a detailed description thereof will be omitted.

도 7은 도 1에 도시된 제어부(150)의 구체적인 구성 블록도이다.FIG. 7 is a detailed block diagram of the controller 150 shown in FIG. 1.

도 7에 도시된 바와 같이, 제어부(150)는 영상 정보 획득부(151), 방향 정보 획득부(152), 좌표 추정부(153), 깊이 정보 획득부(154), 초점 거리 계산부(155) 및 초점 조절부(156)를 포함한다.As illustrated in FIG. 7, the controller 150 may include an image information acquirer 151, a direction information acquirer 152, a coordinate estimator 153, a depth information acquirer 154, and a focal length calculator 155. ) And a focus adjuster 156.

영상 정보 획득부(151)는 디스플레이 패널(110)로부터 전달되는 영상 정보, 즉 화소의 좌표 정보 및 깊이 정보를 획득한다.The image information acquisition unit 151 acquires image information transmitted from the display panel 110, that is, coordinate information and depth information of the pixel.

방향 정보 획득부(152)는 동공 추적부(140)에 의한 동공 추적 결과인 방향 정보를 동공 추적부(140)로부터 획득한다.The direction information acquisition unit 152 obtains direction information, which is a result of pupil tracking by the pupil tracking unit 140, from the pupil tracking unit 140.

좌표 추정부(153)는 방향 정보 획득부(152)에 의해 획득되는 방향 정보와 영상 정보 획득부(151)에 의해 획득된 영상 정보를 사용하여 사용자가 바라보는 방향에 위치하는 영상 내 물체의 좌표 정보를 추정한다. 이 때, 방향 정보 획득부(152)에 의해 획득되는 방향 정보는 사용자의 양안 또는 단안의 동공 추적에 의해 획득된 정보이며, 동공 추적 방법에 대응하여 물체의 좌표 정보를 추정할 수 있다.The coordinate estimator 153 uses the direction information acquired by the direction information acquirer 152 and the image information acquired by the image information acquirer 151 to coordinate the object in the image located in the direction that the user views. Estimate the information. At this time, the direction information obtained by the direction information acquisition unit 152 is information obtained by pupil tracking of both eyes or monocular of the user, and the coordinate information of the object may be estimated according to the pupil tracking method.

깊이 정보 획득부(154)는 영상 정보 획득부(151)에 의해 획득되는 영상 정보 중에서 좌표 추정부(153)에 의해 획득된 좌표 정보에 대응하는 깊이 정보를 획득한다.The depth information obtaining unit 154 obtains depth information corresponding to the coordinate information obtained by the coordinate estimating unit 153 among the image information obtained by the image information obtaining unit 151.

초점 거리 계산부(155)는 깊이 정보 획득부(154)에 의해 획득되는 깊이 정보에 영상을 표시하기 위한 초점 거리로 계산한다. 이러한 초점 거리는 전기습윤 렌즈 어레이(120)의 특성에 따라 달라질 수 있으며, 이러한 특성에 따라 깊이 정보 별 초점 거리를 미리 설정되어 있을 수 있다.The focal length calculator 155 calculates a focal length for displaying an image in the depth information acquired by the depth information acquirer 154. The focal length may vary depending on the characteristics of the electrowetting lens array 120, and the focal length for each depth information may be preset according to the characteristics.

초점 조절부(156)는 초점 거리 계산부(155)에 의해 계산된 초점 거리에 따라 전기습윤 렌즈 어레이(120)의 각 렌즈(120)별 초점을 조절한다. 구체적으로, 초점 조절부(156)는 전기습윤 렌즈 어레이(120)의 각 렌즈(120)별 초점을 조절하기 위해 렌즈(120)의 각 전극, 즉 제1 및 제2 전극에 해당되는 전압을 인가한다.The focus controller 156 adjusts the focus of each lens 120 of the electrowetting lens array 120 according to the focal length calculated by the focal length calculator 155. Specifically, the focus adjusting unit 156 applies a voltage corresponding to each electrode, that is, the first and second electrodes of the lens 120, to adjust the focus of each lens 120 of the electrowetting lens array 120. do.

이하, 도면을 참조하여 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이 제어 방법에 대해 설명한다.Hereinafter, a focus control integrated image augmented reality display control method according to an embodiment of the present invention will be described with reference to the accompanying drawings.

도 8은 본 발명의 실시예에 따른 초점조절 집적영상 증강현실 디스플레이 제어 방법의 개략적인 흐름도이다. 도 8에 도시된 방법은 도 1 내지 도 7을 참조하여 설명한 초점조절 집적영상 증강현실 디스플레이(100)에 의해 수행될 수 있다.8 is a schematic flowchart of a focus control integrated image augmented reality display control method according to an embodiment of the present invention. The method illustrated in FIG. 8 may be performed by the focus control integrated image augmented reality display 100 described with reference to FIGS. 1 to 7.

도 8을 참조하면, 동공 추적부(140)가 양안 추적 방식 또는 단안 추적 방식을 통해서 사용자의 동공을 추적하고(S110), 동공 추적 결과 사용자의 시선의 방향 정보와 디스플레이 패널(110)에서의 영상 정보, 즉 영상 내 좌표 정보를 사용하여 사용자가 바라보는 영상 내 좌표를 획득한다(S120).Referring to FIG. 8, the pupil tracking unit 140 tracks the pupil of the user through a binocular tracking method or a monocular tracking method (S110), and the pupil tracking direction information of the user and the image on the display panel 110. Information, that is, coordinates in the image viewed by the user are obtained using the coordinate information in the image (S120).

그 후, 이전의 사용자가 바라보는 영상 내 좌표와 상기 단계(S120)에서 획득된 좌표가 달라서 사용자가 바라보는 방향이 변경되었는지를 판단한다(S130).Thereafter, it is determined whether the direction of the user is changed because the coordinates in the image viewed by the user and the coordinates acquired in the step S120 are different (S130).

사용자가 바라보는 방향이 변경되지 않았으면 상기 단계(S110, S120)를 계속 반복 수행하지만, 만약 사용자가 바라보는 방향이 변경되었으면, 상기 단계(S120)에서 획득된 좌표에 대응된 깊이 정보를 획득한다(S140). 여기서, 깊이 정보는 디스플레이 패널(110)에서 제공되는 영상 정보 내에 미리 포함되어 있다.If the user's viewing direction has not been changed, steps S110 and S120 are repeatedly performed, but if the user's viewing direction is changed, depth information corresponding to the coordinates obtained at step S120 is obtained. (S140). Here, the depth information is previously included in the image information provided by the display panel 110.

그 후, 획득되는 깊이 정보에 따른 위치에 영상을 표시하기 위한 초점 거리를 계산하고(S150), 계산된 초점 거리에 따라 전기습윤 렌즈 어레이(120)의 각 렌즈(120)별 초점을 조절한다(S160). Thereafter, a focal length for displaying an image at a position according to the acquired depth information is calculated (S150), and the focal point of each lens 120 of the electrowetting lens array 120 is adjusted according to the calculated focal length (S150). S160).

이와 같이, 본 발명의 실시예에 따르면, 집적영상 디스플레이가 갖는 수렴 조절 불일치 해결을 통한 자연스러운 입체시 제공 기능에 초점조절 기능을 접목하여 깊이 표현 범위의 한계를 극복하고 보다 넓은 범위에 자연스러운 증강현실 영상을 제공할 수 있다.As described above, according to an exemplary embodiment of the present invention, the focus control function is combined with the natural stereoscopic vision providing function by solving the convergence control mismatch of the integrated image display to overcome the limitation of the depth expression range and to enhance the natural augmented reality image in a wider range. Can be provided.

도 9에 도시된 예를 참조하면, 도 9의 (a)에서와 같이 사용자(사용자의 동공(143))가 A의 물체가 위치하는 방향을 바라보고 있는 경우, 제어부(150)가 동공 추적부(140)의 동공 추적 결과와 디스플레이 패널(110)의 영상 정보를 사용하여 전기습윤 렌즈 어레이(120)에 대한 초점 조절을 수행함으로써 사용자가 바라보는 물체, 즉 A의 위치에 집적 영상의 초점 평면(P1)이 위치하게 되어 뚜렷한 영상을 사용자에게 제공할 수 있다.Referring to the example illustrated in FIG. 9, when the user (the user's pupil 143) is looking in the direction in which the object of A is located, as shown in FIG. 9A, the controller 150 controls the pupil tracking unit. By performing the focus adjustment on the electrowetting lens array 120 using the pupil tracking result of the 140 and the image information of the display panel 110, the focal plane of the integrated image at the position of the object viewed by the user, namely, A P1) can be located to provide a clear image to the user.

마찬가지로, 도 9의 (b)에서는 도 9의 (a)에서의 A 물체의 위치보다 사용자에게 가까이 있는 B 물체를 사용자(사용자의 동공(143))가 바라보고 있는 경우에는 B의 위치에 집적 영상의 초점 평면(P2)이 위치하도록 제어부(150)에 의해 제어되어, 결과적으로 영상 내 물체의 깊이 정보가 변경되더라도 그에 따른 초점 평면(P2)을 사용자가 바라보는 물체의 위치에 위치시킴으로써 사용자에게 뚜렷한 영상을 제공할 수 있다.Similarly, in FIG. 9B, when the user (the user's pupil 143) is looking at the B object closer to the user than the position of the A object in FIG. 9A, the integrated image is positioned at the B position. The focal plane P2 is controlled by the controller 150 so that the depth of the object in the image is changed as a result, so that the focal plane P2 is located at the position of the object viewed by the user. It can provide an image.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (12)

극성 및 무극성 액체의 표면장력 조절을 통해, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대한 화소별 초점 조절이 가능한 전기습윤 렌즈 어레이;
상기 전기습윤 렌즈 어레이를 통과한 영상을 사용자의 눈에 전달하여 공간 상에 영상이 배치되도록 하는 광 도파로;
상기 사용자의 동공의 위치를 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 동공 추적부; 및
상기 동공 추적부에 의해 추정된 방향 정보와 상기 디스플레이 패널로부터 제공되는 영상 정보를 통해 상기 사용자가 바라보고 있는 영상 내 물체의 좌표를 추정하고, 상기 영상 정보를 사용하여, 추정된 좌표에 대응하는 깊이 정보를 획득하며, 획득되는 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하고, 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이의 화소별 초점 조절을 수행하는 제어부
를 포함하는 초점조절 집적영상 증강현실 디스플레이.An electrowetting lens array capable of adjusting pixel-by-pixel focus on an image output from a display panel configured to display an integrated image composed of a matrix of small images by adjusting surface tensions of polar and nonpolar liquids;
An optical waveguide which transmits the image passing through the electrowetting lens array to the user's eyes so that the image is disposed in the space;
A pupil tracking unit for tracking a position of the pupil of the user and estimating a direction that the user is looking at; And
Estimating the coordinates of an object in the image that the user is looking at by using the direction information estimated by the pupil tracking unit and the image information provided from the display panel, and using the image information, a depth corresponding to the estimated coordinates A controller for acquiring information, calculating a focal length for locating a focal plane at a depth corresponding to the acquired depth information, and performing focus adjustment for each pixel of the electrowetting lens array according to the calculated focal length
Focused integrated image augmented reality display comprising a. 제1항에 있어서,
상기 영상 정보는 화소별 좌표 정보 및 깊이 정보를 포함하고,
상기 제어부는,
상기 방향 정보와 상기 영상 정보를 사용하여 상기 사용자가 바라보고 있는 영상 내 물체의 좌표를 추정하는 좌표 추정부;
상기 영상 정보를 사용하여 상기 좌표 추정부에 의해 추정된 좌표에 대응하는 깊이 정보를 획득하는 깊이 정보 획득부;
상기 깊이 정보 획득부에 의해 획득되는 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 초점 거리 계산부; 및
상기 초점 거리 계산부에 의해 계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 초점 조절부
를 포함하는, 초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The image information includes coordinate information and depth information for each pixel.
The control unit,
A coordinate estimator for estimating coordinates of an object in an image viewed by the user using the direction information and the image information;
A depth information obtaining unit obtaining depth information corresponding to the coordinates estimated by the coordinate estimating unit using the image information;
A focal length calculator configured to calculate a focal length for locating a focal plane at a depth corresponding to the depth information obtained by the depth information acquirer; And
A focus adjusting unit for performing pixel-by-pixel focusing on the electrowetting lens array according to the focal length calculated by the focal length calculating unit
Including, focusing integrated image augmented reality display. 제1항에 있어서,
상기 동공 추적부는,
두 개의 동공 추적 장치를 사용하여 상기 사용자의 양안의 동공을 각각 추적하고, 추적 결과로서 상기 두 개의 동공 추적 장치에서 출력되는 결과 값을 사용하여 상기 사용자가 바라보는 방향에 해당되는 수렴점의 위치를 상기 방향 정보로서 상기 제어부로 제공하거나, 또는
한 개의 동공 추적 장치를 사용하여 상기 사용자의 양안 중 하나의 동공을 추적하고, 추적 결과로서 상기 한 개의 동공 추적 장치에서 출력되는 결과 값을 상기 방향 정보로서 상기 제어부로 제공하는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The pupil tracking unit,
Two pupil tracking devices are used to track the pupils of both eyes of the user, and the resultant values output from the two pupil tracking devices are used as tracking results to determine the position of the convergence point corresponding to the direction the user views. Provided to the controller as the direction information, or
Using one pupil tracking device to track one pupil of both eyes of the user, and provide the result value output from the one pupil tracking device as the direction information to the controller as a tracking result;
Focused integrated image augmented reality display. 제1항에 있어서,
상기 광 도파로는 상기 전기습윤 렌즈 어레이를 통과한 빛을 상기 사용자에게 반사시키고, 상기 사용자 전방의 빛은 투과시켜서 상기 사용자에게 향하도록 하는 빔 스플리터 방식으로 구현되는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The optical waveguide is implemented in a beam splitter method for reflecting light passing through the electrowetting lens array to the user and transmitting the light in front of the user to the user.
Focused integrated image augmented reality display. 제1항에 있어서,
상기 전기습윤 렌즈 어레이는 전기적으로 초점 조절이 가능한 복수의 전기습윤 렌즈가 2차원 형태로 배열되어 구성되고,
상기 전기습윤 렌즈 어레이는 규칙적으로 배열된 원형 홀을 갖는 챔버 기판;
상기 챔버 기판 내의 홀의 측벽에 배치된 제1 전극;
상기 챔버 기판 상부와 하부에 공간을 형성하도록 하는 수직 격벽;
상기 수직 격벽의 상부 및 하부를 덮도록 구성된 상부 투명 기판 및 하부 투명 기판; 및
상기 상부 투명 기판에 배치된 제2 전극
을 포함하며,
상기 챔버 기판의 하부와 상기 원형 홀 내부의 하부에 무극성 액체가 배치되고, 상기 챔버 기판의 상부와 상기 원영 홀 내부의 상부에 극성 액체가 배치되는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 1,
The electrowetting lens array is composed of a plurality of electrowetting lenses that can be electrically focused arranged in a two-dimensional form,
The electrowetting lens array comprises a chamber substrate having regularly arranged circular holes;
A first electrode disposed on a side wall of the hole in the chamber substrate;
Vertical barrier ribs forming a space in an upper portion and a lower portion of the chamber substrate;
An upper transparent substrate and a lower transparent substrate configured to cover upper and lower portions of the vertical partition wall; And
A second electrode disposed on the upper transparent substrate
Including;
Non-polar liquid is disposed in the lower portion of the chamber substrate and the lower portion of the inside of the circular hole, the polar liquid is disposed on the upper portion of the chamber substrate and the upper portion of the inner hole,
Focused integrated image augmented reality display. 제5항에 있어서,
상기 전기습윤 렌즈 어레이는,
상기 제1 전극을 덮도록 형성된 절연층; 및
상기 절연층의 표면을 덮는 소수성 막
을 더 포함하는, 초점조절 집적영상 증강현실 디스플레이.The method of claim 5,
The electrowetting lens array,
An insulating layer formed to cover the first electrode; And
Hydrophobic film covering the surface of the insulating layer
Further comprising, focusing integrated image augmented reality display. 제6항에 있어서,
상기 절연층은 서로 다른 물질들로 구성된 다층 구조를 갖는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 6,
The insulating layer has a multilayer structure composed of different materials,
Focused integrated image augmented reality display. 제5항에 있어서,
상기 무극성 액체와 상기 극성 액체의 경계면은 상기 챔버 기판의 원형 홀 내부에 형성되는,
초점조절 집적영상 증강현실 디스플레이.The method of claim 5,
The interface between the nonpolar liquid and the polar liquid is formed inside the circular hole of the chamber substrate,
Focused integrated image augmented reality display. 초점조절 집적영상 증강현실 디스플레이가 집적영상 증강현실 영상을 사용자에게 제공하기 위해 제어 방법으로서,
상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계;
상기 사용자가 바라보고 있는 방향이 변경된 경우, 변경된 방향의 영상 내 좌표를 추정하는 단계;
추정된 좌표의 깊이 정보를 획득하는 단계;
획득되는 깊이 정보에 따라, 작은 이미지의 행렬로 구성된 집적영상을 표시하도록 구성된 디스플레이 패널로부터 출력되는 영상에 대해 전기습윤 렌즈 어레이를 사용하여 화소별 초점 조절을 수행하는 단계
를 포함하며,
상기 화소별 초점 조절을 수행하는 단계는,
상기 깊이 정보에 해당되는 깊이에 초점 평면을 위치하기 위한 초점 거리를 계산하는 단계; 및
계산된 초점 거리에 따라 상기 전기습윤 렌즈 어레이에 대한 화소별 초점 조절을 수행하는 단계
를 포함하는 디스플레이 제어 방법.Focus control integrated image augmented reality display as a control method to provide an integrated image augmented reality image to the user,
Estimating the direction the user is looking by tracking the pupil of the user;
Estimating coordinates in the image of the changed direction when the direction that the user is looking at is changed;
Obtaining depth information of the estimated coordinates;
Performing pixel-by-pixel focus adjustment using an electrowetting lens array on an image output from a display panel configured to display an integrated image composed of a matrix of small images according to the obtained depth information.
Including;
Performing the focus adjustment for each pixel,
Calculating a focal length for locating a focal plane at a depth corresponding to the depth information; And
Performing pixel-by-pixel focusing on the electrowetting lens array according to the calculated focal length
Display control method comprising a. 제9항에 있어서,
상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는,
상기 사용자의 양안의 동공을 각각 추적하고, 상기 양안의 동공의 추적 결과를 출력하는 단계; 및
상기 양안의 동공의 추적 결과를 사용하여 상기 양안이 바라보는 방향에 해당되는 수렴점의 위치를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계
를 포함하는, 디스플레이 제어 방법.The method of claim 9,
The step of tracking the pupil of the user to estimate the direction the user is looking,
Tracking the pupils of both eyes of the user, and outputting a tracking result of the pupils of both eyes; And
Estimating the location of the convergence point corresponding to the direction of the both eyes using the tracking result of the pupils of both eyes in the direction of the user's viewing.
Comprising a display control method. 제9항에 있어서,
상기 사용자의 동공을 추적하여 상기 사용자가 바라보고 있는 방향을 추정하는 단계는,
상기 사용자의 양안 중 하나의 동공을 추적하고, 상기 하나의 동공의 추적 결과를 출력하는 단계; 및
상기 하나의 동공의 추적 결과를 상기 사용자가 바라보고 있는 방향으로 추정하는 단계
를 포함하는, 디스플레이 제어 방법.The method of claim 9,
The step of tracking the pupil of the user to estimate the direction the user is looking,
Tracking one pupil of both eyes of the user and outputting a tracking result of the one pupil; And
Estimating the tracking result of the one pupil in a direction in which the user is looking
Comprising a display control method. 삭제delete
KR1020190032879A 2018-03-27 2019-03-22 Focus variable integral imaging augmented reality display and control method thereof KR102055901B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180035266 2018-03-27
KR20180035266 2018-03-27

Publications (2)

Publication Number Publication Date
KR20190113603A KR20190113603A (en) 2019-10-08
KR102055901B1 true KR102055901B1 (en) 2019-12-13

Family

ID=68208548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190032879A KR102055901B1 (en) 2018-03-27 2019-03-22 Focus variable integral imaging augmented reality display and control method thereof

Country Status (1)

Country Link
KR (1) KR102055901B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070064319A (en) * 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 Variable fixation viewing distance scanned light displays
KR101984701B1 (en) * 2012-11-13 2019-05-31 삼성전자주식회사 3D image dispaly apparatus including electrowetting lens array and 3D image pickup apparatus including electrowetting lens array
CA2941653C (en) * 2014-03-05 2021-08-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display

Also Published As

Publication number Publication date
KR20190113603A (en) 2019-10-08

Similar Documents

Publication Publication Date Title
US11112606B2 (en) Multiple layer projector for a head-mounted display
US11064187B2 (en) Display module, head mounted display, and image stereoscopic display method and apparatus
US10382699B2 (en) Imaging system and method of producing images for display apparatus
US9648309B2 (en) Controllable lenticular lenslets
US20180224662A1 (en) Display device and display method
US10902769B2 (en) Multi-layer fabrication for pixels with calibration compensation
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
CN107076984A (en) Virtual image maker
KR20030022583A (en) 2d/3d convertible display
US9905143B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
US20170048515A1 (en) Liquid crystal lenticular lens element, driving method therefor, stereoscopic display device, and terminal device
EP3460785A1 (en) Multiple layer projector for a head-mounted display
JP2023517828A (en) High resolution LCD display
WO2018141161A1 (en) 3d display device and operating method therefor
US10775617B2 (en) Eye tracked lens for increased screen resolution
US10698218B1 (en) Display system with oscillating element
KR102055901B1 (en) Focus variable integral imaging augmented reality display and control method thereof
KR20210091580A (en) Device and method for 3-dimensional image display
KR20120096795A (en) Integral imaging type stereoscopic display device and method for displaying image
US11624967B1 (en) Hybrid adaptive lenses for head-mounted displays
CN106501936A (en) Method and apparatus for adjusting the viewing area of visual field display device
KR101762391B1 (en) Volumetric three dimensional display apparatus using electrowetting liquid lens array
KR20170011048A (en) Transparent display apparatus and method thereof
KR102026361B1 (en) Display device
CN108732772B (en) Display device and driving method thereof

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant