KR102070870B1

KR102070870B1 - Apparatus and method for providing augmented reality

Info

Publication number: KR102070870B1
Application number: KR1020180109196A
Authority: KR
Inventors: 가브릴렌코 드미트리; 라세니코프 알렉산더
Original assignee: 엘지전자 주식회사
Priority date: 2018-09-12
Filing date: 2018-09-12
Publication date: 2020-01-29

Abstract

The present invention relates to an apparatus for providing augmented reality provided in a vehicle and a method thereof. According to the present invention, the apparatus for providing augmented reality comprises: a communication unit communicating with smart glasses worn by a driver; and a processor controlling a display module configured to output visual information to a display area formed in a windshield of the vehicle. The visual information includes an outline of an object viewed through the windshield. The processor can perform calibration based on data received from the smart glasses and can correct the outline of the object in accordance with a calibration result.

Description

Augmented reality providing apparatus and method {APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY}

본 발명은 증강현실 제공장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for providing augmented reality.

차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 것이 가능한 장치이다. 대표적으로 자동차를 예를 들 수 있다.The vehicle is a device capable of moving in the direction desired by the user on board. An example is a car.

한편, 차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.On the other hand, for the convenience of a user using a vehicle, various sensors, electronic devices, and the like have been provided. In particular, research on the Advanced Driver Assistance System (ADAS) has been actively conducted for the convenience of the user. In addition, development of autonomous vehicles is being actively conducted.

이와 같이, ADAS(Advanced Driving Assist System)에 대한 개발이 활발히 이루어짐에 따라, 차량 운행에 있어서 사용자 편의와 안전을 극대화할 수 있는 기술 개발의 필요성이 대두되고 있다.As such, as the development of the ADAS (Advanced Driving Assist System) is actively performed, the necessity of developing a technology capable of maximizing user convenience and safety in driving a vehicle is emerging.

한편, 다양한 센서, V2X(Vehicle to everything) 기술 등의 발전으로, 획득 및 산출 가능한 차량 주행정보의 양이 증가하고 있다. 이에 따라, 어떤 상황에서 어떤 주행정보를 운전자에게 제공하는 것이 가장 효과적인지에 대한 논의가 이루어지고 있다. On the other hand, with the development of various sensors, vehicle to everything (V2X) technology, the amount of vehicle driving information that can be acquired and calculated is increasing. Accordingly, there is a discussion about which driving information is most effective in providing the driver under what circumstances.

주행정보를 제공하는 장치로, HUD는 차량 제어 장치의 제어 하에 경로를 안내하는 이미지 정보, 속도를 안내하는 텍스트 정보 등 주행과 관련된 다양한 정보를 윈드실드 글래스(windshield glass) 상에 또는 윈드실드 글래스 너머에 증강현실(augmented reality, AR) 형태로 표시함으로써, 운전자의 시선이 분산되는 것을 방지한다.A device that provides driving information. The HUD displays various information related to driving, such as image information for guiding a route and text information for guiding a speed, under the control of a vehicle control device. By displaying in augmented reality (AR) form, the driver's gaze is prevented from being dispersed.

HUD 영상이 투명한 윈드실드에 반사되어 비치기 때문에, 운전자는 HUD 영상을 확인함과 동시에 주행 중인 도로를 확인할 수 있게 된다. 다시 말해, HUD 영상에 의하여 증강현실이 구현될 수 있다. Since the HUD image is reflected on the transparent windshield, the driver can check the HUD image and the road being driven at the same time. In other words, augmented reality may be implemented by the HUD image.

증강현실은 현실의 사물에 대해 가상의 관련 정보를 덧붙여 보여주는 것으로, 차량 내부에서 윈드실드 밖으로 보이는 현실의 배경에 HUD 영상이 겹쳐서 표시된다. 이를 통해, 운전자는 현실의 건물을 배경으로 해당 건물의 주소, 부동산 동향, 건물에 구비된 편의시설과 그 이용 후기 등과 같은 정보를 HUD 영상을 통해 확인할 수 있게 된다.Augmented reality adds virtually relevant information about the object in reality, and the HUD image is displayed on the background of the reality seen outside the windshield inside the vehicle. Through this, the driver can check information such as the address of the building, the trend of real estate, the amenities provided in the building, and the reviews thereof in the background of the real building through the HUD image.

이에 따라, 가상의 이미지를 현실의 배경에 일치되도록 정렬하는 것이 중요하다. Accordingly, it is important to align the virtual image to match the background of reality.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 운전자가 착용한 스마트 글래스로부터 수신되는 데이터를 이용하여, 캘리브레이션(calibration)을 수행할 수 있도록 하는 증강현실 제공장치 및 방법을 제공하는 것을 그 목적으로 한다.The present invention aims to solve the above and other problems. Another object is to provide a device and method for providing augmented reality that can perform a calibration (calibration) by using the data received from the smart glasses worn by the driver.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 운전자가 착용한 스마트 글래스와 통신하는 통신부; 및 차량의 윈드실드에 형성되는 디스플레이 영역으로 시각 정보를 출력하도록 이루어지는 디스플레이 모듈을 제어하는 프로세서;를 포함하며, 상기 시각 정보는, 상기 윈드실드를 통해 보여지는 객체의 외곽선(outline)을 포함하며, 상기 프로세서는, 상기 스마트 글래스로부터 수신되는 데이터에 근거하여 캘리브레이션(calibration)을 수행하고, 상기 캘리브레이션 결과에 따라 상기 객체의 외곽선을 보정할 수 있다. According to an aspect of the present invention to achieve the or another object, the communication unit for communicating with the smart glasses worn by the driver; And a processor configured to control a display module configured to output visual information to a display area formed on the windshield of the vehicle, wherein the visual information includes an outline of an object viewed through the windshield. The processor may perform a calibration based on the data received from the smart glasses, and correct the outline of the object according to the calibration result.

실시 예에 있어서, 상기 시각 정보는, 상기 객체의 특징점으로 이루어진 캘리브레이션 패턴을 포함할 수 있다. In an embodiment, the visual information may include a calibration pattern consisting of feature points of the object.

이때, 상기 프로세서는, 상기 운전자가 착용한 스마트 글래스에서 상기 캘리브레이션 패턴이 감지되는 경우, 상기 캘리브레이션을 수행할 수 있다. In this case, when the calibration pattern is detected in the smart glasses worn by the driver, the processor may perform the calibration.

또 다른 실시 예에 있어서, 상기 스마트 글래스는, 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터를 산출할 수 있다. In another embodiment, the smart glasses may calculate feature point data of the object that is changed according to the movement of the head of the driver.

그리고, 상기 프로세서는, 상기 통신부를 통해 상기 스마트 글래스로부터 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터를 수신하고, 상기 수신한 데이터에 근거하여 상기 캘리브레이션을 수행할 수 있다. The processor may receive, from the smart glasses, feature point data of the object that is changed according to the movement of the head of the driver, and perform the calibration based on the received data.

또 다른 실시 예에 있어서, 상기 프로세서는, 운전자의 머리 위치 추적 센서(head-tracking sensor)가 감지한 센서 값에 의해 산출되는 상기 운전자의 머리 위치와 상기 스마트 글래스의 위치를 고려하여, 상기 캘리브레이션을 수행할 수 있다. In another embodiment, the processor may perform the calibration in consideration of the position of the head of the driver and the position of the smart glasses calculated by a sensor value detected by a head-tracking sensor of the driver. Can be done.

또한, 본 발명의 다른 측면에 따르면, 차량의 윈드실드에 형성되는 디스플레이 영역으로 시각 정보를 출력하도록 이루어지는 디스플레이 모듈을 제어하여, 상기 윈드실드를 통해 보여지는 객체의 외곽선(outline)을 상기 디스플레이 영역에 출력하는 단계; 상기 차량의 운전자가 착용한 스마트 글래스로부터 수신되는 데이터에 근거하여 캘리브레이션(calibration)을 수행하는 단계; 및 상기 캘리브레이션 결과에 따라 상기 객체의 외곽선을 보정하여 상기 디스플레이 영역에 출력하는 단계;를 포함할 수 있다. In addition, according to another aspect of the invention, by controlling the display module to output the visual information to the display area formed on the windshield of the vehicle, the outline of the object seen through the windshield (outline) to the display area Outputting; Performing calibration on the basis of data received from the smart glasses worn by the driver of the vehicle; And correcting an outline of the object according to the calibration result and outputting the corrected outline to the display area.

실시 예에 있어서, 상기 윈드실드를 통해 보여지는 객체의 외곽선(outline)을 상기 디스플레이 영역에 출력하는 단계;는, 상기 객체의 특징점으로 이루어진 캘리브레이션 패턴을 상기 디스플레이 영역에 출력하는 단계;를 포함할 수 있다. The method may further include outputting an outline of an object viewed through the windshield to the display area, and outputting a calibration pattern including a feature point of the object to the display area. have.

또 다른 실시 예에 있어서, 상기 캘리브레이션을 수행하는 단계;는, 상기 스마트 글래스에 의해, 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터를 산출하는 단계;를 포함할 수 있다. In another embodiment, the performing of the calibration may include calculating, by the smart glasses, feature point data of the object that is changed according to the movement of the head of the driver.

또 다른 실시 예에 있어서, 상기 캘리브레이션을 수행하는 단계;는, 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터에 근거하여 상기 캘리브레이션을 수행하는 단계;를 포함할 수 있다.In yet another embodiment, the performing of the calibration may include performing the calibration based on feature point data of the object that is changed according to the movement of the driver's head.

본 발명에 따른 증강현실 제공장치 및 방법의 효과에 대해 설명하면 다음과 같다.Referring to the effects of the apparatus and method for providing augmented reality according to the present invention.

본 발명의 실시 예들 중 적어도 하나에 의하면, 위치 추적을 위한 추가적인 장비 없이, 운전자가 착용한 스마트 글래스를 이용하여 캘리브레이션이 수행될 수 있다. 이에 따라, 추가적인 장비를 구비하는데 드는 비용이 절감될 수 있다. According to at least one of the embodiments of the present invention, the calibration may be performed using the smart glasses worn by the driver without additional equipment for tracking the location. Thus, the cost of having additional equipment can be reduced.

또한, 캘리브레이션 시 소요되는 시간이 단축될 수 있으며, 보다 직관적이고 사용자 중심적인 캘리브레이션이 제공될 수 있다. In addition, the time required for calibration can be shortened, and a more intuitive and user-centric calibration can be provided.

그리고, 스마트 글래스로부터 감지되는 운전자의 시력정보를 이용하여, 운전자의 신체 상태를 반영한 캘리브레이션이 제공될 수 있다. Then, by using the driver's vision information detected from the smart glasses, a calibration may be provided that reflects the driver's physical condition.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of the applicability of the present invention will become apparent from the following detailed description. However, various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, and therefore, specific embodiments, such as the detailed description and the preferred embodiments of the present invention, should be understood as given by way of example only.

도 1은 본 발명의 일 실시 예에 따른 차량에 구비된 디스플레이 모듈을 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 증강현실 제공장치의 실시 예를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 증강현실 제공방법의 실시 예를 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명에 따른 증강현실 제공방법의 실시 예를 수행주체에 따라 나누어 설명하기 위한 흐름도이다.
도 6은 본 발명에 따라 캘리브레이션을 수행하기 전 준비 과정의 실시 예를 설명하기 위한 개념도이다.
도 7 및 도 8은 본 발명에 따라 캘리브레이션을 수행하는 과정의 실시 예를 설명하기 위한 개념도이다.
도 9는 본 발명에 따라 캘리브레이션을 수행한 결과가 표시되는 실시 예를 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating a display module provided in a vehicle according to an exemplary embodiment.
2 is a block diagram illustrating an embodiment of an apparatus for providing augmented reality according to the present invention.
3 is a flowchart illustrating an embodiment of a method for providing augmented reality according to the present invention.
4 and 5 is a flow chart for explaining an embodiment of the augmented reality providing method according to the present invention divided by the subject.
6 is a conceptual diagram illustrating an embodiment of a preparation process before performing calibration according to the present invention.
7 and 8 are conceptual views illustrating an embodiment of a process of performing calibration according to the present invention.
9 is a conceptual diagram illustrating an embodiment in which a result of performing calibration according to the present invention is displayed.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, exemplary embodiments disclosed herein will be described in detail with reference to the accompanying drawings, and the same or similar components will be given the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles. In addition, in the following description of the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easily understanding the embodiments disclosed in the present specification, the technical idea disclosed in the specification by the accompanying drawings are not limited, and all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may be present in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

이하, 명세서를 참조하여 본 발명에 따른 증강현실 제공장치 및 방법의 실시 예에 대하여 구체적으로 설명하고자 한다. Hereinafter, embodiments of the apparatus and method for providing augmented reality according to the present invention will be described in detail with reference to the specification.

도 1은 본 발명의 일 실시 예에 따른 차량에 구비된 디스플레이 모듈을 설명하기 위한 개념도이다.1 is a conceptual diagram illustrating a display module provided in a vehicle according to an exemplary embodiment.

HUD는 운행 정보가 차량의 전면 유리에 나타나도록 설계된 장치로서, 초기에는 비행기 조종사의 전방 시야를 확보해 주기 위해 도입되었으나, 최근에는 사고 감소를 위해 차량에도 도입되고 있다.The HUD is a device designed to display driving information on the windshield of a vehicle. The HUD was initially introduced to secure a forward view of an airplane pilot, but recently, it is also introduced to a vehicle to reduce an accident.

HUD는 차량 제어 장치의 제어 하에 경로를 안내하는 이미지 정보, 속도를 안내하는 텍스트 정보 등 주행과 관련된 다양한 정보를 윈드실드 글래스(windshield glass) 상에 또는 윈드실드 글래스 너머에 증강현실(augmented reality, AR) 형태로 표시함으로써, 운전자의 시선이 분산되는 것을 방지한다.Under the control of the vehicle control unit, the HUD displays various information related to driving, such as image information guiding a route and text information guiding the speed, on a windshield glass or over an augmented reality (AR). ), The driver's line of sight is prevented from being dispersed.

이하에서는, HUD에 의하여 출력되는 영상을 'HUD 영상'이라고 호칭한다. Hereinafter, an image output by the HUD is called a 'HUD image'.

HUD 영상의 출력은, 프로젝터와 같은 디스플레이 모듈을 통해서 투사된 영상이 거울에 의해서 반사됨으로써, 운전자가 볼 수 있는 위치에 HUD 영상이 출력되는 방식으로 구현된다. The output of the HUD image is implemented in such a manner that the image projected through a display module such as a projector is reflected by a mirror, so that the HUD image is output at a position that the driver can see.

도 1에 도시된 바와 같이, HUD 영상은 디스플레이 모듈(910)로부터 출력되고, 출력된 영상의 경로가 거울(920)에 의하여 변경되어 차량의 윈드실드(930)를 향하여 출력된다. 이때, HUD 영상은 윈드실드(930)에 투영되거나, 거울(920)과 윈드실드(930) 사이에 위치하는 별도의 스크린(미도시)에 투영될 수 있다.As shown in FIG. 1, the HUD image is output from the display module 910, and the path of the output image is changed by the mirror 920 and output toward the windshield 930 of the vehicle. In this case, the HUD image may be projected on the windshield 930 or on a separate screen (not shown) positioned between the mirror 920 and the windshield 930.

윈드실드(930)에서 디스플레이 모듈(910)이 HUD 영상을 표시할 수 있는 전체 영역을 디스플레이 영역(940)이라고 정의한다. 예를 들어, 디스플레이 모듈(910)이 노란색 배경 이미지를 출력하였을 때, 노란색 배경 이미지가 표시되는 영역이 디스플레이 영역(940)에 해당한다. 상기 디스플레이 영역(940)은 차량 제어 장치의 설정에 따라, 운전자의 눈 위치에 따라 달라질 수 있다. The entire area in which the display module 910 can display the HUD image in the windshield 930 is defined as the display area 940. For example, when the display module 910 outputs a yellow background image, an area where the yellow background image is displayed corresponds to the display area 940. The display area 940 may vary according to the position of the driver's eyes according to the setting of the vehicle control apparatus.

한편, 상기 디스플레이 영역(940)과 운전자의 시선에 의하여 증강현실이 구현되는 가상의 영역(950)이 정의될 수 있다. 상기 가상의 영역(950)은 현실 세계에 존재하는 물체들과 상기 디스플레이 영역(940)에 표시되는 가상의 이미지가 중첩되는 영역을 의미하며, 운전자에게 현실 세계와 가상 세계가 공존하는 것으로 인지되는 영역을 의미한다. 상기 디스플레이 영역(940)이 고정되어 있다고 가정할 때, 상기 가상의 영역(950)은 운전자의 눈 위치가 바뀜에 따라 달라질 수 있다. 운전자의 눈 위치에 따라 시선 방향에 위치하는 현실 세계가 달라지기 때문이다. Meanwhile, a virtual area 950 in which augmented reality is implemented may be defined by the display area 940 and the driver's gaze. The virtual area 950 refers to an area where an object existing in the real world and a virtual image displayed on the display area 940 overlap each other, and the area recognized by the driver as the real world and the virtual world coexist. Means. Assuming that the display area 940 is fixed, the virtual area 950 may vary as the driver's eye position changes. This is because the real world located in the line of sight varies depending on the position of the driver's eyes.

이하에서는, 첨부된 도면을 참조하여 본 발명에 따른 차량 제어 장치 및 방법을 보다 구체적으로 살펴보고자 한다. Hereinafter, a vehicle control apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 증강현실 제공장치의 실시 예를 설명하기 위한 블록도이다. 2 is a block diagram illustrating an embodiment of an apparatus for providing augmented reality according to the present invention.

도 2를 참조하면, 본 발명에 따른 증강현실 제공장치(800)는, 통신부(810) 및 프로세서(820)를 포함할 수 있다. 2, the augmented reality providing apparatus 800 according to the present invention may include a communication unit 810 and a processor 820.

통신부(810)는, 운전자가 착용한 스마트 글래스(1000, 비디오 글래스)와 통신할 수 있다. The communicator 810 may communicate with the smart glasses 1000 (video glasses) worn by the driver.

프로세서(820)는, 차량(100)의 윈드실드에 형성되는 디스플레이 영역(940)으로 시각 정보를 출력하도록 이루어지는 디스플레이 모듈(910)을 제어할 수 있다. The processor 820 may control the display module 910 configured to output visual information to the display area 940 formed in the windshield of the vehicle 100.

실시 예로서, 상기 시각 정보는, 상기 윈드실드를 통해 보여지는 객체의 외곽선(outline)을 포함할 수 있다. In an embodiment, the visual information may include an outline of an object viewed through the windshield.

이에 따라, 상기 프로세서(820)는, 상기 스마트 글래스(1000)로부터 수신되는 데이터에 근거하여 캘리브레이션(calibration)을 수행하고, 상기 캘리브레이션 결과에 따라 상기 객체의 외곽선을 보정할 수 있다. Accordingly, the processor 820 may perform a calibration based on the data received from the smart glasses 1000 and correct the outline of the object according to the calibration result.

또 다른 실시 예로서, 상기 시각 정보는, 상기 객체의 특징점으로 이루어진 캘리브레이션 패턴을 포함할 수 있다. As another embodiment, the visual information may include a calibration pattern including feature points of the object.

또 다른 실시 예로서, 상기 프로세서는, 상기 운전자가 착용한 스마트 글래스(1000)에서 상기 캘리브레이션 패턴이 감지되는 경우, 상기 캘리브레이션을 수행할 수 있다. As another embodiment, the processor may perform the calibration when the calibration pattern is detected in the smart glasses 1000 worn by the driver.

즉, 스마트 글래스(1000)에서 캘리브레이션 패턴이 감지되는지 여부에 따라, 운전자의 스마트 글래스(1000) 착용 여부를 파악할 수 있다. That is, it is possible to determine whether the driver wears the smart glasses 1000 according to whether the calibration pattern is detected in the smart glasses 1000.

캘리브레이션을 수행하기 위해, 상기 스마트 글래스(1000)는, 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터를 산출할 수 있다. In order to perform calibration, the smart glasses 1000 may calculate feature point data of the object that is changed according to the movement of the head of the driver.

그리고, 상기 프로세서(820)는, 상기 통신부(810)를 통해 상기 스마트 글래스(1000)로부터 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터를 수신하고, 상기 수신한 데이터에 근거하여 상기 캘리브레이션을 수행할 수 있다. The processor 820 receives the feature point data of the object changed according to the movement of the head of the driver from the smart glasses 1000 through the communication unit 810, and based on the received data, the calibration is performed. Can be performed.

또 다른 예로, 상기 프로세서(820)는, 운전자의 머리 위치 추적 센서(head-tracking sensor)가 감지한 센서 값에 의해 산출되는 상기 운전자의 머리 위치와 상기 스마트 글래스(1000)의 위치를 고려하여, 상기 캘리브레이션을 수행할 수 있다. As another example, the processor 820 may consider the position of the head of the driver and the position of the smart glasses 1000 calculated by a sensor value detected by the head-tracking sensor of the driver. The calibration may be performed.

이와 같이, 본 발명에 따르면 위치 추적을 위한 추가적인 장비 없이, 운전자가 착용한 스마트 글래스를 이용하여 캘리브레이션이 수행될 수 있다. 이에 따라, 추가적인 장비를 구비하는데 드는 비용이 절감될 수 있다. As described above, according to the present invention, the calibration may be performed using the smart glasses worn by the driver, without additional equipment for tracking the location. Thus, the cost of having additional equipment can be reduced.

도 3은 본 발명에 따른 증강현실 제공방법의 실시 예를 설명하기 위한 흐름도이다. 3 is a flowchart illustrating an embodiment of a method for providing augmented reality according to the present invention.

도 3을 참조하면, 차량의 윈드실드에 형성되는 디스플레이 영역으로 시각 정보를 출력하도록 이루어지는 디스플레이 모듈을 제어하여, 상기 윈드실드를 통해 보여지는 객체의 외곽선(outline)을 상기 디스플레이 영역에 출력하는 단계(S310)가 진행된다. Referring to FIG. 3, controlling a display module configured to output visual information to a display area formed on a windshield of a vehicle, and outputting an outline of an object viewed through the windshield to the display area ( S310) proceeds.

이어서, 상기 차량의 운전자가 착용한 스마트 글래스로부터 수신되는 데이터에 근거하여 캘리브레이션(calibration)을 수행하는 단계(S320)가 진행된다. Subsequently, in operation S320, a calibration is performed based on data received from the smart glasses worn by the driver of the vehicle.

이후, 상기 캘리브레이션 결과에 따라 상기 객체의 외곽선을 보정하여 상기 디스플레이 영역에 출력하는 단계(S330)가 진행된다. Thereafter, in operation S330, the outline of the object is corrected and output to the display area according to the calibration result.

실시 예로서, 상기 윈드실드를 통해 보여지는 객체의 외곽선(outline)을 상기 디스플레이 영역에 출력하는 단계(S310)는, 상기 객체의 특징점으로 이루어진 캘리브레이션 패턴을 상기 디스플레이 영역에 출력하는 단계를 포함할 수 있다. In an embodiment, outputting an outline of an object viewed through the windshield to the display area may include outputting a calibration pattern including a feature point of the object to the display area. have.

이때, 상기 캘리브레이션을 수행하는 단계(S320)는, 상기 스마트 글래스에 의해, 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터를 산출하는 단계를 포함할 수 있다. In this case, the performing of the calibration (S320) may include calculating, by the smart glasses, feature point data of the object that is changed according to the movement of the head of the driver.

이어서, 상기 운전자의 머리 움직임에 따라 변경되는 상기 객체의 특징점 데이터에 근거하여 상기 캘리브레이션을 수행하는 단계가 진행될 수 있다. Subsequently, the calibration may be performed based on feature point data of the object that is changed according to the movement of the driver's head.

도 4 및 도 5는 본 발명에 따른 증강현실 제공방법의 실시 예를 수행주체에 따라 나누어 설명하기 위한 흐름도이다.4 and 5 are flow charts for explaining the embodiment of the augmented reality providing method according to the present invention divided by the subject.

도 4를 참조하면, 차량에 탑승한 운전자가 "Calibrate HUD" 메뉴를 선택하면(S410), 증강현실 제공장치에 의해 "Please connect your video glasses" 라는 메시지가 화면(디스플레이 모듈)에 출력될 수 있다(S420).Referring to FIG. 4, when a driver in a vehicle selects a menu “Calibrate HUD” (S410), a message “Please connect your video glasses” may be output on a screen (display module) by the AR providing apparatus. (S420).

이에 따라, 운전자가 비디오 글래스(스마트 클래스, 캘리브레이션 글래스)의 전원을 키면, 비디오 글래스와 증강현실 장치가 통신 연결될 수 있다(S430).Accordingly, when the driver turns on the video glasses (smart class, calibration glass), the video glasses and the augmented reality device may be communicatively connected (S430).

비디오 글래스에서는, 시작준비가 완료되었음을 나타내는 LED 인디케이터가 켜지게 되고, 증강현실 제공장치에 이를 알리는 피드백 신호를 전송할 수 있다(S440). In the video glass, an LED indicator indicating that the start preparation is completed is turned on, and a feedback signal informing the augmented reality providing device may be transmitted (S440).

이에 대응하여, 증강현실 제공장치는, HUD에 객체의 외곽선(outline)과 캘리브레이션 패턴을 출력할 수 있다(S450). 그리고, 글래스(캘리브레이션 안경, 비디오 글래스, 스마트 글래스)를 착용하라는 음성을 출력할 수 있다(S460). Correspondingly, the apparatus for providing augmented reality may output an outline and a calibration pattern of an object to the HUD (S450). In operation S460, a voice for wearing glasses (calibration glasses, video glasses, smart glasses) may be output.

운전자가 글래스를 착용하면(S470), 증강현실 제공장치는 비디오 글래스 카메라에 의해 캘리브레이션 패턴이 감지되는지 여부를 판단할 수 있다(S480). 캘리브레이션 패턴이 감지되지 않으면, 캘리브레이션 안경을 착용하라는 음성 메시지가 출력되는 S460 단계로 되돌아가게 된다. 만약, 캘리브레이션 패턴이 감지되면, 캘리브레이션 과정이 시작되게 된다(S490). When the driver wears the glass (S470), the augmented reality providing apparatus may determine whether the calibration pattern is detected by the video glass camera (S480). If the calibration pattern is not detected, the process returns to step S460 in which a voice message for wearing the calibration glasses is output. If the calibration pattern is detected, the calibration process starts (S490).

이어지는 실시 예로, 도 5를 참조하면, 증강현실 제공장치에서는, 헤드 업 디스플레이 캘리브레이션을 키라는(ON) 음성과(S510), 머리를 움직이라는 지시 메시지가 출력될 수 있다(S520). For example, referring to FIG. 5, in the apparatus for providing augmented reality, a voice for turning on the head-up display calibration (ON) and an instruction message for moving the head may be output (S520).

글래스로 데이터를 보내라는 신호가 전송됨에 따라, 글래스는 데이터를 전송할 수 있다(S530). 예를 들면, 비디오 글래스의 성능에 따라, 원본 비디오 스트림 또는 내부적으로 처리된 객체 특징점의 좌표를 전송할 수 있다. As a signal for transmitting data to the glass is transmitted, the glass may transmit data (S530). For example, depending on the performance of the video glass, the coordinates of the original video stream or the object feature point processed internally may be transmitted.

운전자는 음성 지시에 따라 좌우, 위 아래, 또는 앞 뒤로 머리를 움직일 수 있다(S540). The driver may move his / her head left, right, up and down, or back and forth according to the voice instruction (S540).

이에 대응하여, 캘리브레이션 알고리즘은 사용자가 지시에 따라 머리를 움직이는 동안 실시간으로 수행될 수 있으며(S550), 새로운 데이터가 글래스에서 계속 나옴에 따라 캘리브레이션 품질이 점점 더 향상될 수 있다.Correspondingly, the calibration algorithm may be performed in real time while the user moves his head according to the instruction (S550), and as the new data continues to come out of the glass, the calibration quality may be gradually improved.

캘리브레이션 사이클이 완료되면(사용자가 모든 지시에 따라 머리를 움직이면), 매칭 정확도가 양호한지 여부를 묻는 메시지가 출력될 수 있다(S560).When the calibration cycle is completed (when the user moves the head according to all the instructions), a message may be output as to whether the matching accuracy is good (S560).

이에 따라, 객체의 외곽선이 매칭되는지에 따라 캘리브레이션의 품질을 결정할 수 있다(S570). 캘리브레이션 품질이 양호하다고 판단되면, "Good" 메뉴를 선택하여 절차를 종료할 수 있다. 이와 달리 품질이 떨어져 다시 캘리브레이션을 수행해야 한다고 판단되면, "Again" 메뉴를 선택하여 캘리브레이션을 다시 수행할 수 있다. Accordingly, the quality of the calibration may be determined according to whether the outlines of the objects match (S570). If it is determined that the calibration quality is good, the procedure can be terminated by selecting the "Good" menu. On the other hand, if it is determined that the calibration needs to be performed again due to poor quality, calibration can be performed by selecting the “Again” menu.

이하, 스마트 글래스를 이용하여 캘리브레이션이 수행되는 실시 예를 보다 구체적으로 설명하고자 한다. Hereinafter, an embodiment in which calibration is performed using smart glasses will be described in more detail.

도 6은 본 발명에 따라 캘리브레이션을 수행하기 전 준비 과정의 실시 예를 설명하기 위한 개념도이다. 6 is a conceptual diagram illustrating an embodiment of a preparation process before performing calibration according to the present invention.

도 6을 참조하면, 차량(100) 내 영상표시장치(또는 HUD)에 출력되어 있는 "Calibration HUD" 메뉴에 터치 입력이 가해지면, 캘리브레이션 준비과정이 시작될 수 있다. Referring to FIG. 6, when a touch input is applied to a “Calibration HUD” menu output to an image display apparatus (or HUD) in the vehicle 100, a calibration preparation process may be started.

예를 들면, 차량(100) 내 영상표시장치에 스마트 글래스(1000)와 통신을 시작한다는 메시지가 출력될 수 있다. 이에 따라, 운전자가 스마트 글래스(비디오 글래스, 1000)의 전원을 켜면(ON), 스마트 글래스(1000)에서 LED 인디케이터가 켜지며, 증강현실 장치(800)와 스마트 글래스(1000)의 통신이 이루어질 수 있다. For example, a message indicating to start communication with the smart glasses 1000 may be output on the image display apparatus in the vehicle 100. Accordingly, when the driver turns on the smart glasses (video glasses) 1000 (ON), the LED indicator is turned on in the smart glasses 1000, the communication between the augmented reality device 800 and the smart glasses 1000 can be made. have.

그리고, 디스플레이 영역(940)에는 윈드실드를 통해 보여지는 객체의 외곽선(outline)과 캘리브레이션 패턴(1010)이 출력될 수 있다. 캘리브레이션 패턴은 객체의 특징점을 포함할 수 있다. In addition, the display area 940 may output an outline and a calibration pattern 1010 of the object seen through the windshield. The calibration pattern may include feature points of the object.

이후, 스마트 클래스(1000)를 착용하라는 음성 메시지가 출력될 수 있으며, 이에 대응하여 운전자가 스마트 글래스(1000)를 착용한 경우, 캘리브레이션이 수행될 수 있다. Thereafter, a voice message to wear the smart class 1000 may be output, and in response to the driver wearing the smart glass 1000, calibration may be performed.

운전자가 스마트 글래스(1000)를 착용하였는지 확인하기 위해, 차량(100) 내 구비된 머리 위치 추적 센서(head-tracking sensor, 1020)의 센싱 값이 이용될 수 있다. In order to determine whether the driver wears the smart glasses 1000, a sensing value of a head-tracking sensor 1020 provided in the vehicle 100 may be used.

또 다른 예로, 스마트 글래스(1000)에서 캘리브레이션 패턴이 감지되는 경우, 운전자가 스마트 글래스(1000)를 착용한 것으로 판단하게 된다. As another example, when the calibration pattern is detected in the smart glasses 1000, it is determined that the driver wears the smart glasses 1000.

도 7 및 도 8은 본 발명에 따라 캘리브레이션을 수행하는 과정의 실시 예를 설명하기 위한 개념도이다. 7 and 8 are conceptual views illustrating an embodiment of a process of performing calibration according to the present invention.

도 7을 참조하면, 캘리브레이션이 시작되면, 운전자에게 머리 움직임을 지시하는 음성 메시지가 출력될 수 있다. Referring to FIG. 7, when the calibration starts, a voice message for instructing the head movement to the driver may be output.

예를 들면, 스마트 글래스(1000)에서는 객체의 외곽선과 캘리브레이션 패턴이 출력될 수 있다. 또한, 머리를 좌우로 천천히 움직이라는 메시지가 출력될 수 있다. 이러한 메시지는 음성으로도 출력될 수 있다. For example, the smart glass 1000 may output an outline of the object and a calibration pattern. In addition, a message may be output to move the head slowly from side to side. Such a message may also be output by voice.

또 다른 예로, 머리를 위 아래로, 또는 앞 뒤로 움직이라는 메시지가 출력될 수 있다. As another example, a message may be output to move the head up or down or back and forth.

스마트 글래스(1000)는 운전자의 머리 움직임에 따라, 촬영된 영상과 객체의 특징점 좌표(데이터)를 전송할 수 있다. The smart glasses 1000 may transmit the captured image and the feature point coordinates (data) of the object according to the movement of the driver's head.

또한, 프로세서(820)는 운전자의 머리 움직임에 따라, 실시간으로 캘리브레이션 알고리즘을 실행할 수 있다. 새로운 데이터가 스마트 글래스(1000)로부터 전송됨에 따라, 캘리브레이션의 품질이 점차 향상될 수 있다. In addition, the processor 820 may execute a calibration algorithm in real time according to the movement of the head of the driver. As new data is transmitted from the smart glasses 1000, the quality of the calibration may be gradually improved.

도 8을 참조하면, 프로세서(820)는 스마트 글래스(1000)로부터 수신한 데이터와 차량 센서에서 감지된 센싱 데이터를 분석하여, 실제 환경과 정확하게 정렬하는데 필요한 매개 변수를 산출할 수 있다. Referring to FIG. 8, the processor 820 may analyze the data received from the smart glasses 1000 and the sensing data sensed by the vehicle sensor to calculate a parameter required for accurate alignment with the actual environment.

이를 위해, 스마트 글래스(1000)는 머리 위치 추적 센서 알고리즘을 사용할 수 있다. 즉, 머리 위치에 근거하여, 스마트 글래스(1000)의 위치가 결정될 수 있다. To this end, the smart glasses 1000 may use a head tracking sensor algorithm. That is, the position of the smart glasses 1000 may be determined based on the head position.

구체적인 예로, 운전자의 머리 위치와 스마트 글래스(1000) 위치 사이의 변환은 모든 특정 모델에 대해 고정된 값(1210)으로 정해질 수 있다. 또한, 머리 위치 추적 센서와 운전자 머리 위치 사이의 변환은 사전에 결정된 머리 위치 추적 알고리즘에 의해 결정될 수 있다. As a specific example, the translation between the driver's head position and the position of the smart glasses 1000 may be set to a fixed value 1210 for all specific models. In addition, the conversion between the head position tracking sensor and the driver head position may be determined by a predetermined head position tracking algorithm.

또 다른 실시 예로서, 운전자가 착용한 스마트 글래스로부터 운전자의 생체정보를 수신하고, 이를 이용해 캘리브레이션을 수행할 수 있다. As another embodiment, the biometric information of the driver may be received from the smart glasses worn by the driver, and calibration may be performed using the biometric information of the driver.

구체적으로, 프로세서(820)는 운전자의 시력, 난시 등의 정보를 반영하여 캘리브레이션을 수행할 수 있다. In detail, the processor 820 may perform calibration by reflecting information on the driver's vision, astigmatism, and the like.

도 9는 본 발명에 따라 캘리브레이션을 수행한 결과가 표시되는 실시 예를 설명하기 위한 개념도이다. 9 is a conceptual diagram illustrating an embodiment in which a result of performing calibration according to the present invention is displayed.

도 9를 참조하면, 캘리브레이션이 수행되는 동안, 객체의 윤곽선과 캘리브레이션 패턴이 출력될 수 있다. 또한, 캘리브레이션이 완료되면, 보정된 객체의 윤곽선 만이 출력될 수 있다. Referring to FIG. 9, while the calibration is performed, the contour and the calibration pattern of the object may be output. In addition, when the calibration is completed, only the outline of the corrected object may be output.

예를 들어, 캘리브레이션 과정이 완료되면, 매칭 정도가 정확한지 여부를 묻는 메시지가 출력될 수 있다. For example, when the calibration process is completed, a message asking whether the matching degree is correct may be output.

만약, 운전자가 매칭 정도가 정확하다고 응답하면, 캘리브레이션 과정이 종료될 수 있다. 이와 달리, 매칭 정도가 정확하지 않다고 응답하면, 캘리브레이션 과정이 다시 이루어지게 된다. If the driver responds that the matching degree is correct, the calibration process may end. On the contrary, if the matching degree is incorrect, the calibration process is repeated.

운전자는 음성 또는 메뉴 선택, 제스처(고개를 끄덕이는 등)로 캘리브레이션의 매칭 정도가 정확한지 여부를 응답할 수 있다. The driver may respond by voice or menu selection, gestures (nods, etc.) to determine whether the calibration is accurate.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀 질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer readable codes on a medium on which a program is recorded. The computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes those implemented in the form of carrier waves (eg, transmission over the Internet). The computer may also include a processor or a controller. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims

Communication unit for communicating with the smart glasses worn by the driver; And
And a processor controlling a display module configured to output visual information to a display area formed in the windshield of the vehicle.
The time information,
It includes an outline of the object seen through the windshield,
The processor,
Perform a calibration based on the data received from the smart glasses, correct the outline of the object according to the calibration result,
The smart glass,
Augmented reality providing apparatus, characterized in that for calculating the feature point data of the object changed in accordance with the head movement of the driver.

The method of claim 1,
The time information,
Augmented reality providing apparatus comprising a calibration pattern consisting of the feature points of the object.

The method of claim 2,
The processor,
When the calibration pattern is detected in the smart glasses worn by the driver, the augmented reality providing apparatus, characterized in that for performing the calibration.

delete

The method of claim 1,
The processor,
Augmented reality providing apparatus characterized in that for receiving the feature point data of the object changed according to the movement of the head of the driver from the smart glasses through the communication unit, and performing the calibration based on the received data.

The method of claim 5,
The processor,
Augmented reality providing apparatus characterized in that performing the calibration in consideration of the position of the driver's head and the position of the smart glasses calculated by the sensor value detected by the head-tracking sensor of the driver.

Controlling a display module configured to output visual information to a display area formed on a windshield of the vehicle, and outputting an outline of an object viewed through the windshield to the display area;
Performing calibration on the basis of data received from the smart glasses worn by the driver of the vehicle; And
And correcting the outline of the object according to a calibration result and outputting the corrected outline to the display area.
Performing the calibration;
And calculating, by the smart glasses, feature point data of the object which is changed according to the movement of the head of the driver.

The method of claim 7, wherein
Outputting an outline of an object viewed through the windshield to the display area;
And outputting a calibration pattern consisting of feature points of the object to the display area.

delete

The method of claim 7, wherein
Performing the calibration;
And performing the calibration based on the feature point data of the object that is changed according to the movement of the head of the driver.