KR20120066472A - Apparatus and method for displaying augmented reality contents using a front object - Google Patents

Apparatus and method for displaying augmented reality contents using a front object Download PDF

Info

Publication number
KR20120066472A
KR20120066472A KR1020100127830A KR20100127830A KR20120066472A KR 20120066472 A KR20120066472 A KR 20120066472A KR 1020100127830 A KR1020100127830 A KR 1020100127830A KR 20100127830 A KR20100127830 A KR 20100127830A KR 20120066472 A KR20120066472 A KR 20120066472A
Authority
KR
South Korea
Prior art keywords
augmented reality
driver
content
distance
front object
Prior art date
Application number
KR1020100127830A
Other languages
Korean (ko)
Inventor
김혜미
김진우
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100127830A priority Critical patent/KR20120066472A/en
Publication of KR20120066472A publication Critical patent/KR20120066472A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PURPOSE: An augmented reality output device using front objects and a method thereof are provided to supply realistic augmented reality corresponding to distance change without interrupting safety driving through outputting augmented reality. CONSTITUTION: An augmented reality output device using front objects comprises a distance measuring unit(100), a contents setting unit(200), a location compensation unit(300), and a display unit(400). The distance measuring unit receives the video information and depth information of the front of a vehicle and measures the distance to a front object from a driver. The contents setting unit sets the size and synthesis position of the augmented reality contents offered to a driver. The location compensation unit compensates the video error between the view of a driver and video information. The display unit indicates the compensated augmented reality contents.

Description

전방 물체를 이용한 증강 현실 출력 장치 및 방법{Apparatus and method for displaying augmented reality contents using a front object}Apparatus and method for displaying augmented reality contents using a front object}

본 발명은 전방 물체를 이용한 증강 현실 출력 장치 및 방법에 관한 것으로, 더욱 상세하게는 고속 주행 시 운전자가 주시하는 전방 물체 상에 증강 현실 콘텐츠를 표시하는 전방 물체를 이용한 증강 현실 출력 장치 및 방법에 관한 것이다.The present invention relates to an augmented reality output device and method using a front object, and more particularly to an augmented reality output device and method using a front object for displaying augmented reality content on the front object that the driver watches at high speed driving. will be.

증강현실은 일반적으로 영상 정합, 상호작용, 그리고 실시간의 3가지의 특성을 만족해야한다. 영상 정합은 사용자가 보는 실세계 영상에서 대상 물체와 관련된 가상 부가 정보가 같은 위치에 존재함을 의미한다. 상호작용은 사용자가 보는 실세계 영상이 사용자의 위치 또는 주시 방향 변화에 따라 변하고 정합되는 영상도 이 변화에 대응하여야 한다. 마지막으로 실시간은 영상 정합과 상호작용이 실시간으로 이루어져야 한다.Augmented reality must generally satisfy three characteristics: image registration, interaction, and real time. Image registration means that virtual additional information related to a target object exists in the same position in the real world image viewed by the user. The interaction is that the real-world image that the user sees changes according to the change of the user's position or gaze direction, and the image corresponding to the change should correspond to this change. Finally, real-time requires image matching and interaction in real time.

이러한 증강현실을 차량 내에서 운전자 또는 탑승자에게 제공할 수 있도록 하는 장비로 Head-Up Display(HUD)를 들 수 있다. HUD는 차량 주행 정보, 길안내 정보 등 운전 편의 정보 및 콘텐츠를 운전자 주시 방향과 일치하는 윈드 쉴드 또는 별도의 투명 디스플레이를 통해 표시함으로써 운전자의 시선 이동을 최소화하고 전방 주의를 분산시키지 않도록 정보를 표시하는 장치이다.Head-Up Display (HUD) is a device that can provide such augmented reality to the driver or passenger in the vehicle. HUD displays driving convenience information and contents such as vehicle driving information and driving directions through a windshield or a separate transparent display that matches the driver's gaze direction to minimize the driver's eye movement and distract attention ahead. Device.

독일의 BMW사는 2006년부터 HUD를 장착한 차량을 출시하여 차량 주행 정보 및 길안내 정보를 제공하고 있으며, 최근에는 풀 컬러 HUD 시스템을 개발하였다.BMW has launched a HUD-equipped vehicle since 2006, providing vehicle driving and driving directions, and recently developed a full-color HUD system.

현재 HUD 기반 차량 항법 시스템 등에서는 증강현실과 유사한 형태로 운전 편의 정보 및 콘텐츠를 표시하나, 증강현실의 3가지 특성 가운데 하나인 상호작용이 존재하지 않고, 디스플레이의 고정된 위치에 항상 표시하고 있다. 이러한 디스플레이 위치는 운전자가 현재 주시하고 있는 전방의 상황과 무관하게 항상 고정되어 있다.Currently, HUD-based vehicle navigation systems display driving convenience information and content in a form similar to augmented reality, but there is no interaction, which is one of three characteristics of augmented reality, and is always displayed at a fixed position of the display. This display position is always fixed regardless of the forward situation the driver is currently watching.

이런 경우 운전자는 전방을 주시하다가 간간이 HUD에 표시된 콘텐츠를 보기 위해 시선을 옮겨야 한다. HUD 시스템이 운전자의 시야 영역 내에 콘텐츠를 표시하는 목적이므로 시선의 이동이 크지 않지만, 고속 주행 시는 운전자의 시야각이 현저히 좁아지고 전방을 주시하는 집중도가 더욱 높으므로 이러한 약간의 시선 이동도 운전자의 안전 운전을 저해할 수 있다는 문제점이 있다.In this case, the driver must keep an eye on the front and sometimes look to see the content displayed on the HUD. Since the HUD system aims to display content in the driver's field of view, the movement of the gaze is not large, but at high speeds, the driver's viewing angle is significantly narrowed and the attention to the front is higher. There is a problem that can inhibit driving.

본 발명의 목적은 고속 주행 시 운전자가 주시하고 있을 가능성이 가장 높은 전방 물체에 증강 현실 콘텐츠를 합성하여 출력하도록 한 전방 물체를 이용한 증강 현실 출력 장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an apparatus and method for augmented reality output using the front object to synthesize and output the augmented reality content to the front object most likely to be watched by the driver at high speed.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 장치는, 차량 전방의 영상정보 및 깊이정보를 획득하여 운전자로부터 전방 물체까지의 거리를 측정하는 거리 측정부; 영상정보에 포함된 전방 물체를 통해 운전자에게 제공되는 증강 현실 콘텐츠의 크기 및 합성위치를 설정하는 콘텐츠 설정부; 거리 측정부에서 획득한 영상정보와 운전자의 시각에서의 영상 간의 오차를 보정하는 위치 보정부; 및 위치 보정부에서 보정된 증강 현실 콘텐츠를 표시하는 표시부를 포함한다.In order to achieve the above object, an augmented reality output device using a front object according to an embodiment of the present invention, the distance measuring unit for obtaining the image information and depth information of the front of the vehicle to measure the distance from the driver to the front object; A content setting unit for setting the size and composition position of the augmented reality content provided to the driver through the front object included in the image information; A position correcting unit correcting an error between the image information acquired by the distance measuring unit and the image at the driver's point of view; And a display unit displaying the augmented reality content corrected by the position corrector.

거리 측정부는, 차량의 진행방향 전방을 촬영하여 영상정보 및 깊이정보를 획득하는 영상정보 획득모듈; 및 영상정보 획득모듈로부터 영상정보 및 깊이정보를 획득하고, 영상정보 내 중앙에 위치한 물체와 가장 가까운 깊이값을 전방에 위치한 차량의 거리로 예측하는 거리 예측모듈을 포함한다.The distance measuring unit includes: an image information acquisition module configured to acquire image information and depth information by photographing a forward direction of the vehicle; And a distance prediction module that acquires the image information and the depth information from the image information acquisition module, and predicts the depth value closest to the object located at the center in the image information as the distance of the vehicle located in front.

콘텐츠 설정부는, 거리 측정부에서 측정된 전방 물체까지의 거리를 근거로 운전자에게 제공되는 증강 현실 콘텐츠의 크기를 설정하는 콘텐츠 크기 설정모듈; 및 거리 예측부에서 획득한 전방 물체까지의 거리 정보를 근거로 증강 현실 콘텐츠를 영상정보에 합성하기 위한 합성위치를 설정하는 콘텐츠 합성위치 결정모듈을 포함한다.The content setting unit may include a content size setting module configured to set the size of the augmented reality content provided to the driver based on the distance to the front object measured by the distance measuring unit; And a content synthesizing position determination module for setting a synthesizing position for synthesizing the augmented reality content to the image information based on the distance information to the front object obtained by the distance predicting unit.

위치 보정부는, 운전자의 위치 및 표시부의 위치를 근거로 영상정보와 운전자의 시각에서의 영상 간의 오차를 보정한다.The position correcting unit corrects an error between the image information and the image at the driver's perspective based on the position of the driver and the position of the display unit.

표시부는 투명 디스플레이, HUD(Head-Up Display) 중에 하나로 구성된다.
The display unit is composed of one of a transparent display and a head-up display (HUD).

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 방법은, 차량의 진행방향 전방을 촬영하여 차량 전방의 영상정보 및 깊이정보를 획득하는 단계; 영상정보 및 깊이정보를 근거로 운전자로부터 전방 물체까지의 거리를 측정하는 단계; 영상정보와 운전자의 시각에서의 영상 간의 오차를 보정하는 단계; 영상정보에 포함된 전방 물체를 통해 운전자에게 제공되는 증강 현실 콘텐츠의 크기를 설정하는 단계; 증강 현실 콘텐츠를 영상정보에 합성하기 위한 합성위치를 설정하는 단계; 및 증강 현실 콘텐츠를 출력하는 단계를 포함한다.In order to achieve the above object, the augmented reality output method using a front object according to an embodiment of the present invention, photographing the forward direction of the vehicle to obtain the image information and depth information in front of the vehicle; Measuring a distance from the driver to the front object based on the image information and the depth information; Correcting an error between the image information and the image at the driver's point of view; Setting a size of augmented reality content provided to the driver through a front object included in the image information; Setting a synthesis position for synthesizing the augmented reality content to the image information; And outputting augmented reality content.

측정하는 단계에서는, 영상정보 내 중앙에 위치한 물체와 가장 가까운 깊이값을 전방에 위치한 차량의 거리로 측정한다.In the measuring step, the depth value closest to the object located in the center of the image information is measured as the distance of the vehicle located in front.

크기를 설정하는 단계에서는, 측정된 전방 물체까지의 거리를 근거로 운전자에게 제공되는 증강 현실 콘텐츠의 크기를 설정한다.In the setting of the size, the size of the augmented reality content provided to the driver is set based on the measured distance to the front object.

합성위치를 설정하는 단계에서는 전방 물체까지의 거리 정보를 근거로 증강 현실 콘텐츠를 영상정보에 합성하기 위한 합성위치를 설정한다.In the step of setting the composition position, the composition position for synthesizing the augmented reality content to the image information is set based on the distance information to the front object.

보정하는 단계에서는, 운전자의 위치 및 표시부의 위치를 근거로 영상정보와 운전자의 시각에서의 영상 간의 오차를 보정한다.In the correcting step, an error between the image information and the image at the driver's time of view is corrected based on the position of the driver and the position of the display unit.

본 발명에 의하면, 전방 물체를 이용한 증강 현실 출력 장치 및 방법은 차량 고속 주행시 운전자의 시선이 맞추어진 전방 물체와의 거리를 실시간으로 측정하고 그에 적합한 증강 현실 콘텐츠를 출력함으로써, 주행 시 시선을 다른 곳으로 옮기지 않아도 되므로 안전 주행을 방해하지 않으면서 거리 변화에 대응하는 실감나는 증강현실을 제공할 수 있는 효과가 있다.According to the present invention, the augmented reality output device and method using the front object in real time by measuring the distance to the front object to which the driver's eyes are aligned during the high-speed driving of the vehicle in real time, and outputs the augmented reality content that is suitable for driving, where the eyes are different Since it does not have to move to a safe driving, there is an effect that can provide a realistic augmented reality corresponding to the change in distance without disturbing the safe driving.

또한, 전방 물체를 이용한 증강 현실 출력 장치 및 방법은 전방 물체와의 거리만을 이용하여 증강 현실 콘텐츠의 크기를 설정하고 전방 물체와의 거리에 반비례하도록 증강 현실 콘텐츠의 크기만 변화시켜 제공함으로써, 전방 물체를 이용한 증강 현실 출력 장치의 규모가 커지는 것을 최소화하고, 콘텐츠의 가독성을 유지하며 운전자의 안전 운행도 보장하도록 하는 증강현실을 제공할 수 있는 효과가 있다.In addition, the apparatus and method for augmented reality output using the front object sets the size of the augmented reality content using only the distance to the front object and changes the size of the augmented reality content so as to be inversely proportional to the distance to the front object, thereby providing a forward object. Minimizing the increase in the size of the augmented reality output device using the, it is effective to provide augmented reality to maintain the readability of the content and to ensure the safe driving of the driver.

부수적으로, 추후 고속 주행 시 전방의 움직이는 차량 상에 콘텐츠를 합성할 수 있는 본 발명을 기반으로 하여 다양한 증강콘텐츠의 개발이 가능하다. 예를 들어, 휴대폰과 연계된 차량 시스템의 경우 주행 중 문자메시지를 운전자가 주시하고 있는 위치에 표시할 수 있다. 주행 중 전화를 걸기 위한 키패드 디스플레이 등도 가능하다. 음악 목록을 검색하기 위해 차량 내부 오디오 시스템으로 시선을 옮길 필요 없이 전방 물체 상에(예를 들면, 범퍼 등) 음악 목록을 디스플레이하거나, 전방 물체 상부에 가상 전광판을 설치하여 각종 콘텐츠들을 디스플레이하는 것이 가능해진다.Incidentally, it is possible to develop a variety of augmented content based on the present invention that can synthesize the content on the moving vehicle in front of the high speed driving in the future. For example, in the case of a vehicle system associated with a mobile phone, a text message may be displayed at a location that the driver watches while driving. A keypad display for making phone calls while driving is also possible. It is possible to display a list of music on the front object (e.g. bumper) or install a virtual scoreboard on top of the front object without having to look to the in-vehicle audio system to retrieve the music list. Become.

도 1은 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 장치를 설명하기 위한 블록도.
도 2는 도 1의 거리 측정부를 설명하기 위한 블록도.
도 3은 도 1의 콘텐츠 설정부를 설명하기 위한 블록도.
도 4 내지 도 6은 도 1의 위치 보정부를 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 방법을 설명하기 위한 흐름도.1 is a block diagram illustrating an augmented reality output device using a front object according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating the distance measuring unit of FIG. 1. FIG.
3 is a block diagram illustrating a content setting unit of FIG. 1.
4 to 6 are views for explaining the position correction unit of FIG.
7 is a flowchart illustrating a method of augmented reality output using the front object in accordance with an embodiment of the present invention.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, the preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. . First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

이하, 본 발명의 실시예를 설명하기에 앞서 본 발명의 특징을 설명하면 아래와 같다.Hereinafter, the features of the present invention will be described before explaining the embodiments of the present invention.

차량 주행시 운전자의 시선은 전방에 위치한 앞 차량을 주시하는 경향이 있고 이때 운전자의 초점은 전방의 차량에 맞추어진다. 이러한 상황에서 증강 현실 구현을 위한 콘텐츠 삽입시 운전자의 초점과 무관한 위치에 고정적으로 콘텐츠가 합성될 경우 운전자의 안전 운전을 위한 전방 주시에 방해가 될 수 있다.When driving a vehicle, the driver's gaze tends to look at the front vehicle located in front of him, with the driver's focus on the vehicle ahead. In such a situation, when the content is synthesized in a position irrelevant to the driver's focus when the content is inserted to implement augmented reality, it may interfere with the driver's forward attention for safe driving.

본 발명은 이러한 종래기술의 문제점을 해결하기 위하여, 사용자의 시선이 고정되어 있는 전방 물체(예를 들면, 전방에서 진행하는 차량)와의 거리를 실시간으로 측정하여, 운전자의 주행에 방해가 되지 않는 증강현실 콘텐츠 제공하는 것을 특징으로 한다.
The present invention, in order to solve the problems of the prior art, by measuring the distance to the object in front of the user (for example, the vehicle running in front) in real time, augmentation that does not interfere with the driving of the driver Characterized by providing realistic content.

이하, 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 장치를 설명하기 위한 블록도이다. 도 2는 도 1의 거리 측정부를 설명하기 위한 블록도이고, 도 3은 도 1의 콘텐츠 설정부를 설명하기 위한 블록도이고, 도 4 내지 도 6은 도 1의 위치 보정부를 설명하기 위한 도면이다.
Hereinafter, an augmented reality output device using a front object according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. 1 is a block diagram illustrating an augmented reality output device using a front object according to an embodiment of the present invention. 2 is a block diagram illustrating the distance measuring unit of FIG. 1, FIG. 3 is a block diagram illustrating the content setting unit of FIG. 1, and FIGS. 4 to 6 are views illustrating the position correcting unit of FIG. 1.

도 1에 도시된 바와 같이, 전방 물체를 이용한 증강 현실 출력 장치는 거리 측정부(100), 콘텐츠 설정부(200), 위치 보정부(300), 표시부(400)를 포함하여 구성된다.
As shown in FIG. 1, the augmented reality output device using the front object includes a distance measuring unit 100, a content setting unit 200, a position correcting unit 300, and a display unit 400.

거리 측정부(100)는 차량 전방의 영상정보를 이용하여 전방 물체(500)까지의 거리를 측정한다. 이를 위해, 도 2에 도시된 바와 같이, 거리 측정부(100)는 영상정보 획득모듈(120) 및 거리 예측모듈(140)을 포함한다. The distance measuring unit 100 measures the distance to the front object 500 using the image information of the front of the vehicle. To this end, as shown in FIG. 2, the distance measuring unit 100 includes an image information acquisition module 120 and a distance prediction module 140.

영상정보 획득모듈(120)은 차량 내 운전자(600)의 위치에서 전방의 영상정보 및 깊이정보를 획득한다. 즉, 영상정보 획득모듈(120)은 스테레오 카메라, ToF(Time of Flight) 센서 등과 같은 깊이/영상 측정 장비로 구성되어 차량 내부 또는 외부에 부착되며, 차량의 진행방향 전방을 촬영하여 영상정보 및 깊이정보를 획득한다. The image information acquisition module 120 acquires image information and depth information of the front at the position of the driver 600 in the vehicle. That is, the image information acquisition module 120 is composed of a depth / image measuring equipment such as a stereo camera, a time of flight (ToF) sensor, etc., attached to the inside or outside of the vehicle, and photographs the forward direction of the vehicle to capture the image information and depth. Obtain information.

거리 예측모듈(140)은 영상정보 획득모듈(120)로부터 영상정보 및 깊이정보를 이용하여 전방 물체(500)까지의 거리를 예측한다. 즉, 거리 예측모듈(140)은 영상정보 획득모듈(120)로부터 영상정보 및 깊이정보(예를 들면, 깊이 맵)를 획득한 후 영상 내 중앙에 위치한 물체와 가장 가까운 깊이값을 전방에 위치한 차량의 거리로 예측한다.
The distance prediction module 140 estimates the distance to the front object 500 using the image information and the depth information from the image information acquisition module 120. That is, the distance prediction module 140 obtains the image information and the depth information (for example, the depth map) from the image information acquisition module 120, and then the vehicle located in front of the depth value closest to the object located in the center of the image. To predict the distance.

콘텐츠 설정부(200)는 전방 물체(500)를 이용해 운전자(600)에게 제공되는 증강 현실 콘텐츠의 크기 및 위치를 설정한다. 이를 위해 콘텐츠 설정부(200)는 콘텐츠 크기 설정모듈(220) 및 콘텐츠 합성위치 결정모듈(240)을 포함한다.The content setting unit 200 sets the size and location of the augmented reality content provided to the driver 600 using the front object 500. To this end, the content setting unit 200 includes a content size setting module 220 and a content composition positioning module 240.

콘텐츠 크기 설정모듈(220)은 3차원 그래픽 디스플레이 툴(3D graphic display tool)과 유사하게 거리에 따라 표시되는 증강 현실 콘텐츠의 크기를 변화시킨다. 즉, 콘텐츠 크기 설정모듈(220)은 전방 물체(500)와의 거리에 따라 증강 현실 콘텐츠의 크기를 설정하여 전방 물체(500)의 거리 변화에 대응 가능한 증강 현실 콘텐츠를 생성한다.The content size setting module 220 changes the size of the augmented reality content displayed according to the distance, similar to the 3D graphic display tool. That is, the content size setting module 220 sets the size of the augmented reality content according to the distance to the front object 500 to generate the augmented reality content that can respond to the distance change of the front object 500.

여기서, 콘텐츠 크기 설정모듈(220)에서 전방 물체(500)의 회전을 고려하여 증강 현실 콘텐츠를 합성할 경우 콘텐츠의 가독성이 떨어질 수 있다. 따라서, 콘텐츠 크기 설정모듈(220)은 차량의 고속 주행시 전방 물체(500)의 회전(즉, 좌회전, 우회전 등)을 증강 현실 콘텐츠의 크기 설정에 고려하지 않는다. 이처럼, 전방 물체를 이용한 증강 현실 출력 장치 및 방법은 전방 물체(500)와의 거리만을 이용하여 증강 현실 콘텐츠의 크기를 설정하고 전방 물체(500)와의 거리에 반비례하도록 증강 현실 콘텐츠의 크기만 변화시켜 제공함으로써, 전방 물체를 이용한 증강 현실 출력 장치의 규모가 커지는 것을 최소화하고, 콘텐츠의 가독성을 유지하며 운전자(600)의 안전 운행도 보장하도록 하는 증강현실을 제공할 수 있는 효과가 있다.Here, when the augmented reality content is synthesized in consideration of the rotation of the front object 500 in the content size setting module 220, the readability of the content may decrease. Therefore, the content size setting module 220 does not consider the rotation of the front object 500 (ie, left turn, right turn, etc.) in setting the size of the augmented reality content when the vehicle runs at high speed. As such, the apparatus and method for augmented reality output using the front object sets the size of the augmented reality content using only the distance to the front object 500 and provides only the size of the augmented reality content so as to be inversely proportional to the distance to the front object 500. By doing so, the augmented reality output device using the front object may be minimized, and the augmented reality may be provided to maintain the readability of the content and ensure the safe driving of the driver 600.

콘텐츠 합성위치 결정모듈(240)은 콘텐츠 크기 설정모듈(220)에서 크기가 설정된 증강 현실 콘텐츠를 합성할 위치를 결정한다. 이때, 콘텐츠 합성위치 결정모듈(240)은 콘텐츠를 전방 물체(500)의 가운데뿐만 아니라 원하는 위치에 증강 현실 콘텐츠를 합성할 수 있다. 콘텐츠 합성위치 결정모듈(240)은 영상정보 획득모듈(120)에서 획득한 영상에 원하는 증강 현실 콘텐츠를 증강시키기 위하여 거리 예측부에서 획득한 전방 물체(500)까지의 거리 정보를 바탕으로 차량의 상부에 증강 현실 콘텐츠를 합성하고 싶은 경우 차량의 크기 정보를 사전에 입력하여 이를 바탕으로 차량의 상부 등 사용자가 원하는 위치에 콘텐츠를 합성할 수도 있다.
The content synthesizing position determining module 240 determines a position for synthesizing the augmented reality content having the size set in the content size setting module 220. At this time, the content synthesis position determination module 240 may synthesize the augmented reality content in the desired position as well as the center of the front object 500. The content synthesis position determining module 240 is based on the distance information to the front object 500 obtained by the distance predicting unit to augment the desired augmented reality content in the image obtained by the image information acquisition module 120, the upper portion of the vehicle If the user wants to synthesize the augmented reality content, the size information of the vehicle may be input in advance, and the content may be synthesized at a desired position such as the upper portion of the vehicle based on this information.

위치 보정부(300)는 영상정보 획득모듈(120)에서 획득한 전방 영상과 운전자(600)의 시각에서의 영상 간의 오차를 보정한다. 즉, 위치 보정부(300)는 영상정보 획득모듈(120)에서 획득한 영상과 운전자(600)간의 거리차로 인한 시각 변화에 대응하기 위하여 사전에 운전자(600)와 영상정보 획득모듈(120) 사이의 거리를 측정하고, 이를 이용하여 영상정보 획득모듈(120)로부터 획득한 전방 영상과 운전자(600)가 보는 시각에서의 영상 간의 오차를 보정할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 투명 디스플레이를 통한 HUD(즉, 표시부(400))가 운전자(600)의 정면 위치에 설치되었다면, 하기의 수학식 1을 이용하여 증강 현실 콘텐츠의 표시 위치 보정을 수행한다.The position corrector 300 corrects an error between the front image acquired by the image information acquisition module 120 and the image at the time of the driver 600. That is, the position correction unit 300 may be configured between the driver 600 and the image information acquisition module 120 in advance in order to respond to a change in vision due to the distance difference between the image acquired by the image information acquisition module 120 and the driver 600. By measuring the distance of the, using this to correct the error between the front image obtained from the image information acquisition module 120 and the image at the time of the driver 600. For example, as shown in FIG. 4, if the HUD (ie, the display unit 400) through the transparent display is installed at the front position of the driver 600, display of augmented reality content using Equation 1 below. Perform position correction.

Figure pat00001
Figure pat00001

여기서, 도 5에 도시된 바와 같이, dz는 영상정보 획득모듈(120)에서 전방 물체(500)까지의 거리이고, dz0는 운전자(600)에서 영상정보 획득모듈(120)까지의 거리이고, dx0는 운전자(600)와 영상정보 획득모듈(120) 사이의 거리를 의미한다. 도 6에 도시된 바와 같이, HUD 장치(즉, 표시부(400))가 운전자(600)의 정면에 위치하지 않고 한쪽 방향으로 치우쳐있다면 이값 역시 사전에 입력을 받아서 운전자(600) 위치 보정 후 이를 다시 한 번 더 보정한다.
Here, as shown in FIG. 5, dz is a distance from the image information acquisition module 120 to the front object 500, dz0 is a distance from the driver 600 to the image information acquisition module 120, and dx0. Denotes a distance between the driver 600 and the image information acquisition module 120. As shown in FIG. 6, if the HUD device (ie, the display unit 400) is not located in front of the driver 600 but is biased in one direction, this value is also received in advance and corrected after the driver 600 position correction. Calibrate once more.

표시부(400)는 운전자(600)가 차량 유리창(700)을 통해 바라보는 전방 영상에 증강 현실 콘텐츠를 표시한다. 이때, 표시부(400)는 투명 디스플레이, 각종 HUD(Head-Up Display) 등으로 구성되어 차량 내에 설치된다.
The display unit 400 displays augmented reality content on the front image viewed by the driver 600 through the vehicle window 700. In this case, the display unit 400 is composed of a transparent display, various head-up displays (HUDs), and the like, and is installed in a vehicle.

이하, 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 7은 본 발명의 실시예에 따른 전방 물체를 이용한 증강 현실 출력 방법을 설명하기 위한 흐름도이다.
Hereinafter, the augmented reality output method using a front object according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. 7 is a flowchart illustrating an augmented reality output method using a front object according to an embodiment of the present invention.

거리 측정부(100)는 증강 현실 출력을 위해 전방의 영상 및 깊이 정보를 획득한다(S100). 거리 측정부(100)는 차량 내 운전자(600)의 위치에서 전방의 영상정보 및 깊이정보를 획득한다.The distance measuring unit 100 obtains the image and depth information of the front for augmented reality output (S100). The distance measuring unit 100 acquires image information and depth information of the front at the position of the driver 600 in the vehicle.

거리 측정부(100)는 기 획득한 영상 및 깊이 정보를 이용하여 전방 물체(500)까지의 거리를 산출한다(S200). 거리 측정부(100)는 S100단계에서 획득한 영상정보 및 깊이정보(예를 들면, 깊이 맵)를 이용하여 영상 내 중앙에 위치한 물체와 가장 가까운 깊이값을 전방에 위치한 차량의 거리로 예측한다.The distance measuring unit 100 calculates a distance to the front object 500 by using the acquired image and depth information (S200). The distance measuring unit 100 predicts the depth value closest to the object located in the center as the distance of the vehicle in front of the vehicle using the image information and the depth information (for example, the depth map) acquired in step S100.

위치 보정부(300)는 운전자(600)의 시각과 영상 간의 오차 보정을 수행한다(S300). 즉, 위치 보정부(300)는 거리 측정부(100)에서 획득한 영상과 운전자(600)간의 거리차로 인한 시각 변화에 대응하기 위하여 사전에 운전자(600)와 영상정보 획득모듈(120) 사이의 거리를 측정하고, 이를 이용하여 영상정보 획득모듈(120)로부터 획득한 전방 영상과 운전자(600)가 보는 시각에서의 영상 간의 오차를 보정한다.The position corrector 300 corrects an error between a time and an image of the driver 600 (S300). That is, the position correcting unit 300 may be configured between the driver 600 and the image information acquiring module 120 in advance in order to respond to a change in vision due to the distance difference between the image acquired by the distance measuring unit 100 and the driver 600. The distance is measured, and the error is corrected between the front image obtained from the image information acquisition module 120 and the image at the time viewed by the driver 600.

콘텐츠 설정부(200)는 증강 현실 콘텐츠의 크기를 설정한다(S400). 콘텐츠 설정부(200)는 전방 물체(500)와의 거리에 따라 증강 현실 콘텐츠의 크기를 설정하여 전방 물체(500)의 거리 변화에 대응 가능한 증강 현실 콘텐츠를 생성한다. 여기서, 콘텐츠 설정부(200)는 전방 물체(500)의 회전을 고려하여 증강 현실 콘텐츠를 합성할 경우 콘텐츠의 가독성이 떨어질 수 있으므로 차량의 고속 주행시 전방 물체(500)의 회전(즉, 좌회전, 우회전 등)을 증강 현실 콘텐츠의 크기 설정에 고려하지 않는다. The content setting unit 200 sets the size of the augmented reality content (S400). The content setting unit 200 sets the size of the augmented reality content according to the distance to the front object 500 to generate the augmented reality content that can respond to the distance change of the front object 500. Here, since the content setting unit 200 may reduce the readability of the content when synthesizing the augmented reality content in consideration of the rotation of the front object 500, the rotation of the front object 500 (that is, left turn, right turn) at high speed driving of the vehicle. Etc.) is not taken into account in setting the size of the augmented reality content.

콘텐츠 설정부(200)는 크기가 설정된 증강 현실 콘텐츠를 합성할 위치를 결정한다(S500). 이때, 콘텐츠 설정부(200)는 콘텐츠를 전방 물체(500)의 가운데뿐만 아니라 원하는 위치에 증강 현실 콘텐츠를 합성할 수 있다. 콘텐츠 설정부(200)는 거리 측정부(100)에서 획득한 영상에 원하는 증강 현실 콘텐츠를 증강시키기 위하여 거리 측정부(100)에서 획득한 전방 물체(500)까지의 거리 정보를 바탕으로 차량의 상부에 증강 현실 콘텐츠를 합성하고 싶은 경우 차량의 크기 정보를 사전에 입력하여 이를 바탕으로 차량의 상부 등 사용자가 원하는 위치에 콘텐츠를 합성할 수도 있다.The content setting unit 200 determines a position to synthesize the augmented reality content is set size (S500). In this case, the content setting unit 200 may synthesize the augmented reality content in the desired position as well as the center of the front object 500. The content setting unit 200 is based on the distance information to the front object 500 obtained by the distance measuring unit 100 to augment the desired augmented reality content in the image obtained by the distance measuring unit 100, the upper portion of the vehicle If the user wants to synthesize the augmented reality content, the size information of the vehicle may be input in advance, and the content may be synthesized at a desired position such as the upper portion of the vehicle based on this information.

표시부(400)는 기결정된 합성위치에 기설정된 크기로 증강 현실 콘텐츠를 출력한다(S600). 이때, 표시부(400)는 투명 디스플레이, 각종 HUD(Head-Up Display) 등으로 구성되며 차량 내에 설치되어 운전자(600)가 차량 유리창(700)을 통해 바라보는 전방 영상에 증강 현실 콘텐츠를 출력한다.
The display unit 400 outputs augmented reality content in a predetermined size at a predetermined synthesis position (S600). In this case, the display unit 400 includes a transparent display, various head-up displays (HUDs), and the like, and is installed in the vehicle to output the augmented reality content to the front image viewed by the driver 600 through the vehicle window 700.

상술한 바와 같이, 전방 물체를 이용한 증강 현실 출력 장치 및 방법은 차량 고속 주행시 운전자(600)의 시선이 맞추어진 전방 물체(500)와의 거리를 실시간으로 측정하고 그에 적합한 증강 현실 콘텐츠를 출력함으로써, 주행 시 시선을 다른 곳으로 옮기지 않아도 되므로 안전 주행을 방해하지 않으면서 거리 변화에 대응하는 실감나는 증강현실을 제공할 수 있는 효과가 있다.As described above, the apparatus and method for augmented reality output using the front object may drive by measuring the distance to the front object 500 where the driver 600 is aligned in real time and output the augmented reality content suitable for the vehicle at high speed. Since the line of sight does not have to be moved to another place, there is an effect that can provide realistic augmented reality corresponding to a change in distance without disturbing safe driving.

또한, 전방 물체를 이용한 증강 현실 출력 장치 및 방법은 전방 물체(500)와의 거리만을 이용하여 증강 현실 콘텐츠의 크기를 설정하고 전방 물체(500)와의 거리에 반비례하도록 증강 현실 콘텐츠의 크기만 변화시켜 제공함으로써, 전방 물체를 이용한 증강 현실 출력 장치의 규모가 커지는 것을 최소화하고, 콘텐츠의 가독성을 유지하며 운전자(600)의 안전 운행도 보장하도록 하는 증강현실을 제공할 수 있는 효과가 있다.In addition, the augmented reality output device and method using the front object to set the size of the augmented reality content using only the distance to the front object 500 and to provide only by changing the size of the augmented reality content in inverse proportion to the distance to the front object 500 By doing so, the augmented reality output device using the front object may be minimized, and the augmented reality may be provided to maintain the readability of the content and ensure the safe driving of the driver 600.

부수적으로, 추후 고속 주행 시 전방의 움직이는 차량 상에 콘텐츠를 합성할 수 있는 본 발명을 기반으로 하여 다양한 증강콘텐츠의 개발이 가능하다. 예를 들어, 휴대폰과 연계된 차량 시스템의 경우 주행 중 문자메시지를 운전자(600)가 주시하고 있는 위치에 표시할 수 있다. 주행 중 전화를 걸기 위한 키패드 디스플레이 등도 가능하다. 음악 목록을 검색하기 위해 차량 내부 오디오 시스템으로 시선을 옮길 필요 없이 전방 물체(500) 상에(예를 들면, 범퍼 등) 음악 목록을 디스플레이하거나, 전방 물체(500) 상부에 가상 전광판을 설치하여 각종 콘텐츠들을 디스플레이하는 것이 가능해진다.
Incidentally, it is possible to develop a variety of augmented content based on the present invention that can synthesize the content on the moving vehicle in front of the high speed driving in the future. For example, in the case of a vehicle system associated with a mobile phone, a text message while driving may be displayed at a location watched by the driver 600. A keypad display for making phone calls while driving is also possible. You can display the music list on the front object 500 (e.g., bumper, etc.) or install a virtual scoreboard on the front object 500 without having to look to the in-vehicle audio system to retrieve the music list. It becomes possible to display the contents.

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but many variations and modifications may be made without departing from the scope of the present invention. It will be understood that the invention may be practiced.

100: 거리 측정부 120: 영상정보 획득모듈
140: 거리 예측모듈 200: 콘텐츠 설정부
220: 콘텐츠 크기 설정모듈 240: 콘텐츠 합성위치 결정모듈
300: 위치 보정부 400: 표시부
500: 전방 물체 600: 운전자
700: 차량 유리창100: distance measuring unit 120: image information acquisition module
140: distance prediction module 200: content setting unit
220: content size setting module 240: content composition position determination module
300: position correction unit 400: display unit
500: forward object 600: driver
700: vehicle windshield

Claims (1)

차량 전방의 영상정보 및 깊이정보를 획득하여 운전자로부터 전방 물체까지의 거리를 측정하는 거리 측정부;
상기 영상정보에 포함된 전방 물체를 통해 상기 운전자에게 제공되는 증강 현실 콘텐츠의 크기 및 합성위치를 설정하는 콘텐츠 설정부;
상기 거리 측정부에서 획득한 영상정보와 상기 운전자의 시각에서의 영상 간의 오차를 보정하는 위치 보정부; 및
상기 위치 보정부에서 보정된 증강 현실 콘텐츠를 표시하는 표시부를 포함하는 것을 특징으로 하는 전방 물체를 이용한 증강 현실 출력 장치.A distance measuring unit which acquires image information and depth information in front of the vehicle and measures a distance from the driver to the front object;
A content setting unit for setting a size and a synthesis position of augmented reality content provided to the driver through a front object included in the image information;
A position correcting unit correcting an error between the image information acquired by the distance measuring unit and the image at the driver's point of view; And
Augmented reality output device using a front object characterized in that it comprises a display unit for displaying the augmented reality content corrected by the position correction unit.
KR1020100127830A 2010-12-14 2010-12-14 Apparatus and method for displaying augmented reality contents using a front object KR20120066472A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100127830A KR20120066472A (en) 2010-12-14 2010-12-14 Apparatus and method for displaying augmented reality contents using a front object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100127830A KR20120066472A (en) 2010-12-14 2010-12-14 Apparatus and method for displaying augmented reality contents using a front object

Publications (1)

Publication Number Publication Date
KR20120066472A true KR20120066472A (en) 2012-06-22

Family

ID=46685836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127830A KR20120066472A (en) 2010-12-14 2010-12-14 Apparatus and method for displaying augmented reality contents using a front object

Country Status (1)

Country Link
KR (1) KR20120066472A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035148A1 (en) * 2012-08-31 2014-03-06 Samsung Electronics Co., Ltd. Information providing method and information providing vehicle therefor
KR101409846B1 (en) * 2012-12-18 2014-06-19 전자부품연구원 Head up display apparatus based on 3D Augmented Reality
KR20160002179A (en) * 2014-06-30 2016-01-07 현대자동차주식회사 Apparatus and method for displaying vehicle information
US9299193B2 (en) 2013-09-26 2016-03-29 Hyundai Motor Company Head-up display apparatus for vehicle using augmented reality
KR20160069451A (en) * 2014-12-08 2016-06-16 현대자동차주식회사 Method and device for displaying augmented reality HUD for vehicle
US9690104B2 (en) 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
WO2018026247A1 (en) * 2016-08-05 2018-02-08 삼성전자 주식회사 Vehicle display device and control method thereof

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035148A1 (en) * 2012-08-31 2014-03-06 Samsung Electronics Co., Ltd. Information providing method and information providing vehicle therefor
US10002462B2 (en) 2012-08-31 2018-06-19 Samsung Electronics Co., Ltd. Information providing method and information providing vehicle therefor
KR101409846B1 (en) * 2012-12-18 2014-06-19 전자부품연구원 Head up display apparatus based on 3D Augmented Reality
US9299193B2 (en) 2013-09-26 2016-03-29 Hyundai Motor Company Head-up display apparatus for vehicle using augmented reality
KR20160002179A (en) * 2014-06-30 2016-01-07 현대자동차주식회사 Apparatus and method for displaying vehicle information
US9963070B2 (en) 2014-06-30 2018-05-08 Hyundai Motor Company Apparatus and method for displaying vehicle information
KR20160069451A (en) * 2014-12-08 2016-06-16 현대자동차주식회사 Method and device for displaying augmented reality HUD for vehicle
US9690104B2 (en) 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
WO2018026247A1 (en) * 2016-08-05 2018-02-08 삼성전자 주식회사 Vehicle display device and control method thereof

Similar Documents

Publication Publication Date Title
US10539790B2 (en) Coordinate matching apparatus for head-up display
US9835864B2 (en) Image display apparatus and method for displaying image
US10162175B2 (en) Dual head-up display apparatus
KR20120066472A (en) Apparatus and method for displaying augmented reality contents using a front object
US8659624B2 (en) Mixed reality presentation system and brightness adjustment method of virtual light source
US9086566B2 (en) Monocular head mounted display
CN111433067A (en) Head-up display device and display control method thereof
US20140232746A1 (en) Three dimensional augmented reality display apparatus and method using eye tracking
US20100287500A1 (en) Method and system for displaying conformal symbology on a see-through display
JP2023029340A (en) Video display system, video display method and program
WO2006030613A1 (en) Video display system and video display method
JP2014201197A (en) Head-up display apparatus
JP6121131B2 (en) Multiple display device
JP2019098755A (en) Virtual image display device
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
US20190166357A1 (en) Display device, electronic mirror and method for controlling display device
JP2022549562A (en) Vehicle driving assistance method and system
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
JPWO2019026747A1 (en) Augmented reality image display device for vehicles
JP2014234139A (en) On-vehicle display device and program
KR20220032448A (en) Method and apparatus of correcting crosstalk
US20220072957A1 (en) Method for Depicting a Virtual Element
US11983838B2 (en) Circuit apparatus, display system, and image processing method
JP7145509B2 (en) VIDEO DISPLAY SYSTEM, VIDEO DISPLAY METHOD, PROGRAM AND MOBILE BODY
KR20180026418A (en) Apparatus for matching coordinate of head-up display

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination