KR102019762B1 - For the AR-HUD to display the panoramic image and the residual image information system - Google Patents

For the AR-HUD to display the panoramic image and the residual image information system Download PDF

Info

Publication number
KR102019762B1
KR102019762B1 KR1020130147212A KR20130147212A KR102019762B1 KR 102019762 B1 KR102019762 B1 KR 102019762B1 KR 1020130147212 A KR1020130147212 A KR 1020130147212A KR 20130147212 A KR20130147212 A KR 20130147212A KR 102019762 B1 KR102019762 B1 KR 102019762B1
Authority
KR
South Korea
Prior art keywords
information
afterimage
image
hud
display
Prior art date
Application number
KR1020130147212A
Other languages
Korean (ko)
Other versions
KR20150064760A (en
Inventor
정재승
유영수
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR1020130147212A priority Critical patent/KR102019762B1/en
Publication of KR20150064760A publication Critical patent/KR20150064760A/en
Application granted granted Critical
Publication of KR102019762B1 publication Critical patent/KR102019762B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)

Abstract

본 발명은 AR-HUD용 파노라마 영상정보 및 잔상정보를 표출하는 시스템에 있어서, 운전 중 순간적으로 지나친 지역, 시설물, 풍경 등의 잔상정보를 추후 HUD 등을 통해 사용자가 확인할 수 있는 AR-HUD용 파노라마 영상정보 및 잔상정보 표출 시스템에 관한 것이다.
본 발명의 AR-HUD용 파노라마 영상정보 및 잔상정보 표출 시스템은 차량에 장착된 하나 이상의 촬상부를 이용하여 차량 외부를 촬영하고 이에따라 하나 이상의 외부영상을 생성하는 제 1단계, 촬영한 하나 이상의 상기 외부영상을 제어부에서 잔상정보 모드별로 필터링 및 영상 가공하여 잔상정보를 생성하는 제 2단계, 상기 제어부에서 필터링 및 영상 가공된 상기 잔상정보를 맵매칭하여 영상정보 저장부에 저장하는 제 3단계 및 사용자 입력부로부터 입력되는 상기 잔상정보 선택신호에 포함된 잔상정보 모드에 해당하는 상기 잔상정보를 디스플레이부에 표출하는 제 4단계를 포함함에 기술적 특징이 있다. The present invention provides a panoramic image information and afterimage information for AR-HUD, AR-HUD panorama that can be confirmed later by the user through the HUD, such as after- moment information excessively over the area, facilities, landscape during operation A video information and afterimage information display system.
The panoramic image information and afterimage information display system for AR-HUD of the present invention is the first step of photographing the outside of the vehicle by using at least one imaging unit mounted on the vehicle and accordingly generating at least one external image, the at least one external image taken The second step of generating the after-image information by filtering and image processing by the after-image information mode in the control unit, the third step of map-matching the after-image information filtered and processed image in the control unit and stored in the image information storage unit from the user input unit And a fourth step of displaying the afterimage information corresponding to the afterimage information mode included in the afterimage information selection signal input to the display unit.

Description

AR-HUD용 파노라마 영상정보 및 잔상정보 표출 시스템{For the AR-HUD to display the panoramic image and the residual image information system}Fore AR-HUD to display the panoramic image and the residual image information system}

본 발명은 AR-HUD(Augmented Reality Head-up Display : 증강현실 헤드업 디스플레이)용 파노라마 영상정보 및 잔상정보를 표출하는 시스템에 있어서, 운전 중 순간적으로 지나친 지역, 시설물, 풍경 등의 잔상정보를 추후 HUD 등을 통해 사용자가 확인할 수 있는 AR-HUD용 파노라마 영상정보 및 잔상정보 표출 시스템에 관한 것이다.
The present invention is a system for displaying panoramic image information and afterimage information for augmented reality head-up display (AR-HUD), the afterimage information such as areas, facilities, landscapes, etc. that are excessively instantaneously during driving The present invention relates to a panoramic image information and afterimage information display system for AR-HUD that can be confirmed by a user through a HUD.

헤드업 디스플레이(head-up display) 일명 허드는 운행 정보를 자동차나 비행기의 전면 유리에 나타나도록 설계된 전방 표시 장치이다. 처음에는 비행기에서 조종사의 전방시야를 확보해 주기 위해 도입되었으나, 최근에는 자동차에도 사고 감소를 위해 도입되고 있다. Head-up Display A so-called Hurd is a front display designed to display driving information on the windshield of a car or airplane. Initially, it was introduced to secure the pilot's field of view on an airplane, but recently it has been introduced to reduce accidents in automobiles.

일반적으로 자동차에 적용되고 있는 헤드업 디스플레이는 운전석 대시보드에서 앞유리로 영상을 비추는 장치가 현재 주로 사용되고 있으며, 스마트폰을 연동한 길안내 또는 내비게이션의 길안내 모드를 적용한 제품들이 출시되고 있다. In general, the head-up display that is applied to the car is a device that is used to illuminate the image from the driver's dashboard to the windshield, and products that use a smartphone-linked navigation or navigation mode.

또한, 최근 일본에서 AR-HUD(증강현실 헤드업 디스플레이)를 공개했는데, 기존 헤드업 디스플레이는 차량의 속도를 표시하고 간략한 길안내를 도와 주지만, 출시한 AR-HUD는 내비게이션 화면을 운전석 천장에 장착된 프로젝터를 이용하여 통째로 앞유리에 비춰 운전자가 더욱 전방을 주시하며 운전을 할 수 있도록 하는 제품이다. In addition, AR-HUD (Augmented Reality Head-up Display) was recently released in Japan, while the existing head-up display shows the speed of the vehicle and helps the user to get a brief guide.However, the launched AR-HUD has a navigation screen mounted on the driver's ceiling. It is a product that allows the driver to drive while looking forward through the whole windshield by using the projector.

또한, 한국공개특허공보 10-2010-0035253과 같이 다수개의 카메라를 구비한 차량용 헤드업 디스플레이 시스템은 다수개의 카메라로부터 입력되는 영상신호를 분석하여 후방으로부터 근접하는 이동체와의 거리를 연산하여 현재 주행하는 차량의 주행속도 및 자차위치 정보, 이동체 거리정보를 통해 차선변경 가능성을 판단하여 운전자에게 통지하여 운전 초보자나 미숙자의 안전 운전을 유도하는 장점은 있지만, 차량에 장착된 다수개의 카메라를 이용하여 지나온 경로에 대한 영상을 사용자에게 제공하거나 앞으로 주행해야 할 경로에 해당하는 교통정보, 광고, 풍경 등에 대한 정보를 사용자에게 제공하지 못하는 불편함이 있었다.
In addition, the head-up display system for a vehicle having a plurality of cameras, such as Korean Patent Publication No. 10-2010-0035253, analyzes the image signals input from the plurality of cameras and calculates the distance to the moving object approaching the rear from the rear. Although there is an advantage of inducing the safe driving of beginners or inexperienced drivers by notifying the driver by determining the possibility of changing lanes based on the vehicle's driving speed, own vehicle location information, and moving body distance information, the route passed by using a plurality of cameras mounted on the vehicle It was inconvenient to provide the user with an image for the user or to provide the user with information about traffic information, advertisements, scenery, etc. corresponding to a route to be driven in the future.

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 운전 중 순간적으로 지나친 지역 또는 차량 경로 전방에 대한 교통정보, 광고, 시설물, 풍경 등의 잔상정보를 AR-HUD를 통해 사용자에게 제공하기 위한 목적이 있다.
The present invention devised to solve the problems of the prior art as described above to provide the user with afterimage information such as traffic information, advertisements, facilities, landscape for the area or vehicle route in front of the instantaneous excessive driving while driving to the user through the AR-HUD Has a purpose.

본 발명의 상기 목적은 차량에 장착된 하나 이상의 촬상부를 이용하여 차량 외부를 촬영하고 이에따라 하나 이상의 외부영상을 생성하는 제 1단계, 촬영한 하나 이상의 상기 외부영상을 제어부에서 잔상정보 모드별로 필터링 및 영상 가공하여 잔상정보를 생성하는 제 2단계, 사기 제어부에서 필터링 및 가공된 상기 잔상정보를 맵매칭하여 영상정보 저장부에 저장하는 제 3단계 및 사용자 입력부로부터 입력되는 상기 잔상정보 선택신호에 포함된 잔상정보 모드에 해당하는 상기 잔상정보를 디스플레이부에 표출하는 제 4단계에 의해 달성된다. The object of the present invention is the first step of photographing the outside of the vehicle by using at least one imaging unit mounted on the vehicle and accordingly generating at least one external image, filtering and image the at least one captured external image by the afterimage information mode in the controller A second step of processing and generating residual image information, a third step of map-matching the filtered and processed residual image information and storing it in an image information storage unit, and an afterimage included in the afterimage information selection signal input from a user input unit. A fourth step of displaying the afterimage information corresponding to the information mode on the display unit.

또한, 경로를 설정하는 제 1단계, 상기 경로에 해당하는 전체구간 또는 선택된 구간 중 어느 하나 이상에 대한 잔상정보 모드를 설정하는 제 2단계, 상기 잔상정보 모드에 해당하는 잔상정보를 상기 차량 또는 서버 중 어느 하나 이상에서 검색하되, 상기 잔상정보가 상기 서버에 저장된 경우 상기 잔상정보를 상기 서버로부터 다운로드 받는 제 3단계 및 검색된 상기 잔상정보를 AR-HUD의 디스플레이부를 통해 표출하는 제 4단계에 의해 달성된다.In addition, the first step of setting the path, the second step of setting the afterimage information mode for any one or more of the entire section or the selected section corresponding to the path, the afterimage information corresponding to the afterimage information mode to the vehicle or server A third step of downloading the afterimage information from the server and a fourth step of expressing the retrieved afterimage information through the display unit of the AR-HUD when the afterimage information is stored in the server. do.

또한, 위치정보를 수집하기 위한 GPS 수신부, 주행중 외부영상을 촬영하기 위한 하나 이상으로 구성된 촬상부, 상기 촬상부에서 촬영한 상기 외부영상을 잔상정보 모드별로 필터링 및 가공하여 디스플레이할 잔상정보의 경로를 설정하는 제어부, 상기 제어부에서 필터링 및 가공한 상기 잔상정보를 저장하기 위한 영상정보 저장부, 지도정보가 저장되는 지도정보 저장부, 상기 GPS 수신부로부터 수신한 위치정보를 저장하기 위한 위처정보 저장부, 상기 잔상정보를 서버와 송수신하기 위한 통신부, 상기 운전자의 입력신호를 수신하기 위한 사용자 입력부 및 상기 잔상정보를 출력하기 위한 디스플레이부에 의해 달성된다.
In addition, a GPS receiver for collecting location information, an imager configured to capture at least one external image while driving, a path of the afterimage information to be displayed by filtering and processing the external image captured by the imager for each afterimage mode. A control unit for setting, an image information storage unit for storing the afterimage information filtered and processed by the controller, a map information storage unit for storing map information, a locationr information storage unit for storing location information received from the GPS receiver, And a communication unit for transmitting and receiving the afterimage information with a server, a user input unit for receiving an input signal of the driver, and a display unit for outputting the afterimage information.

따라서, 본 발명의 AR-HUD용 파노라마 영상정보 및 잔상정보 표출 시스템은 운전중에 사용자의 제어에 의해 AR-HUD에 교통정보, 광고정보, 주위풍경 등의 정보를 제공하기 때문에 사용자의 안전성과 편의성을 높일 수 있는 효과가 있다.
Accordingly, the panoramic image information and afterimage information display system for the AR-HUD of the present invention provides the AR-HUD with traffic information, advertisement information, surrounding scenery, etc. under the control of the user while driving, thus improving safety and convenience of the user. It can increase the effect.

도 1은 본 발명에 따른 AR-HUD용 파노라마 영상정보 및 잔상정보 표출 시스템의 구성도,
도 2는 본 발명에 따른 AR-HUD 장치 구성도,
도 3은 본 발명에 따른 차량 경로에서 촬영된 영상을 AR-HUD에 표출하는 방법,
도 4는 본 발명에 따른 잔상정보 개수에 따른 AR-HUD에 표출하는 방법,
도 5는 본 발명에 따른 차량 경로 전방의 잔상정보를 AR-HUD에 표출하는 방법,
도 6은 본 발명에 따른 파노라마 사진 생성을 위한 촬상부의 위치를 나타낸 그림,
도 7은 본 발명에 따른 파노라마 사진 합성 및 표출 그림,
도 8은 본 발명에 따른 360도 사진 생성을 위한 촬상부의 위치를 나타낸 그림,
도 9는 본 발명에 따른 360도 사진 생성 및 표출 그림,
도 10은 본 발명에 따른 잔상정보 개수에 따른 AR-HUD에 표출한 그림이다.1 is a block diagram of a panoramic image information and afterimage information display system for AR-HUD according to the present invention,
2 is a block diagram of an AR-HUD device according to the present invention;
3 is a method for expressing an image photographed on a vehicle route in an AR-HUD according to the present invention;
4 is a method for displaying on AR-HUD according to the number of afterimage information according to the present invention;
5 is a method for expressing afterimage information in front of a vehicle path in accordance with the present invention to the AR-HUD,
6 is a view showing the position of the image pickup unit for generating a panoramic picture according to the present invention,
7 is a panoramic picture composition and expression picture, according to the present invention;
8 is a view showing the position of the imaging unit for generating a 360-degree photo according to the present invention,
9 is a 360-degree photo generation and display picture according to the present invention,
10 is a view expressed on the AR-HUD according to the number of afterimage information according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in this specification and claims are not to be construed as being limited to their ordinary or dictionary meanings, and the inventors may appropriately define the concept of terms in order to best describe their invention. It should be interpreted as meaning and concept corresponding to the technical idea of the present invention based on the principle that the present invention.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 AR-HUD용 파노라마 영상정보 및 잔상정보 표출 시스템의 구성도이다. 도 1에 도시된 바와 같이 AR-HUD용 파노라마 영상정보 및 잔상정보를 표출하는 시스템은 차량에 장착된 하나 이상의 촬상부를 이용하여 차량 외부를 촬영하고 촬영한 외부영상을 이용하여 잔상정보 모드별로 필터링 및 영상 가공하여 잔상정보를 생성하고, 생성한 잔상정보를 사용자의 선택에 의해 디스플레이하는 AR-HUD 장치(100)와 사용자의 AR-HUD 장치(100)외에 다른 사용자의 AR-HUD 장치(100)에서 잔상정보를 수신하여 통합 잔상정보를 생성한 후, 사용자의 요청이 있으면 해당 잔상정보를 사용자에게 전송하는 서버(200)로 이루어진다. 1 is a block diagram of a panoramic image information and afterimage information display system for AR-HUD according to the present invention. As shown in FIG. 1, the system for displaying panoramic image information and afterimage information for AR-HUD is photographed outside of the vehicle using at least one imaging unit mounted on the vehicle, and filtered by afterimage information mode using the captured external image. In the AR-HUD device 100 of the user other than the AR-HUD device 100 and the AR-HUD device 100 of the user, which generate afterimage information by processing an image and display the generated afterimage information by a user's selection After receiving the afterimage information and generating the integrated afterimage information, the server 200 is configured to transmit the afterimage information to the user at the request of the user.

도 2는 본 발명에 따른 AR-HUD 장치 구성도이다. 도 2에 도시된 바와 같이, 파노라마 영상정보 및 잔상정보를 표출하기 위한 AR-HUD 장치(100)는 위치정보를 수집하기 위한 GPS 수신부(110), 주행중 외부영상을 촬영하기 위한 하나 이상으로 구성되는 촬상부(120), 촬상부(120)에서 촬영한 외부영상을 잔상정보 모드별로 필터링 및 영상 가공하여 디스플레이할 잔상정보의 경로를 설정하는 제어부(150), 제어부(150)에서 필터링 및 영상 가공한 잔상정보를 저장하기 위한 영상정보 저장부(172), 지도정보가 저장되는 지도정보 저장부(171), GPS 수신부(110)로부터 수신한 위치정보를 저장하기 위한 위치정보 저장부(173), 잔상정보를 서버(200)와 송수신하기 위한 통신부(140), 운전자의 입력신호를 수신하기 위한 사용자 입력부(130) 및 잔상정보를 출력하기 위한 디스플레이부(160)로 이루어지며, 디스플레이부(160)는 경로정보 또는 360도 파노라마 영상 중 어느 하나 이상을 표출하는 전면부 디스플레이(161)와 잔상정보, 교통정보, 풍경 또는 광고정보 중 어느 하나 이상을 표출하는 측면부 디스플레이(162)로 구성된다.2 is a block diagram of an AR-HUD device according to the present invention. As shown in FIG. 2, the AR-HUD device 100 for displaying panorama image information and afterimage information includes a GPS receiver 110 for collecting location information and at least one for capturing an external image while driving. The controller 150 and the controller 150 set the path of the afterimage information to be displayed by filtering and image-processing the external image captured by the imager 120 and the imager 120 according to the afterimage information mode. Image information storage unit 172 for storing afterimage information, map information storage unit 171 for storing map information, location information storage unit 173 for storing position information received from GPS receiver 110, afterimage The communication unit 140 for transmitting and receiving information with the server 200, the user input unit 130 for receiving the driver's input signal and the display unit 160 for outputting the afterimage information, the display unit 160 Route Information Or, the front panel display 161 for displaying any one or more of the 360-degree panoramic image and the side display 162 for displaying any one or more of afterimage information, traffic information, landscape or advertising information.

또한, 제어부(150)는 사용자 입력부로부터 음성, 제스쳐, 클릭, 터치 또는 안구인식 중 어느 하나 이상의 입력신호를 수신하여 차량 외부영상을 촬영하고, 촬영된 외부영상을 교통안내 표지판 또는 시설물 안내 정보 등을 표시하는 교통정보 모드, 광고물 정보를 표시하는 광고모드, 차량경로의 주변 풍경을 표시하는 풍경모드 중 어느 이상으로 필터링 및 영상 가공하여 영상정보 저장부(172)에 저장하게 된다. In addition, the controller 150 receives an input signal of one or more of a voice, gesture, click, touch, or eye recognition from the user input unit to take a picture of the outside of the vehicle, and displays the taken outside image as traffic guide signs or facility guide information. Filtering and image processing are performed in any one or more of a traffic information mode for displaying, an advertisement mode for displaying advertisement information, and a landscape mode for displaying a surrounding landscape of a vehicle route, and stored in the image information storage unit 172.

그리고 영상가공은 촬영된 외부영상을 360도 파노라마 영상, 필름영상 또는 실제차량 내부에서 보이는 영역의 영상 등으로 가공하며, 사용자 입력부(130)로부터 잔상정보 모드별 잔상정보 선택 신호가 수신되면 영상 가공된 잔상정보를 디스플레이부(160)에 표출하게 된다. Image processing processes the captured external image into a 360-degree panoramic image, a film image, or an image of an area visible inside the actual vehicle. The image processing is performed when the afterimage information selection signal for each image retention mode is received from the user input unit 130. Afterimage information is displayed on the display unit 160.

이때, 영상정보 저장부(172)에 사용자가 선택한 잔상정보가 존재하지 않으면, 통신부(140)를 통해 서버(200)에 접속하여 통합 잔상정보 중에서 해당하는 잔상정보를 검색하여 다운로드 하여 디스플레이부(160)에 표출하게 된다.In this case, if the afterimage information selected by the user does not exist in the image information storage unit 172, the server 160 is connected to the server 200 through the communication unit 140 to retrieve and download the corresponding afterimage information from the integrated afterimage display unit 160. ).

도 3은 본 발명에 따른 차량 경로에서 촬영된 영상을 AR-HUD에 표출하는 방법이다. 도 3에 도시된 바와 같이, 차량에 장착된 하나 이상의 촬상부(120)를 이용하여 차량 외부를 촬영(S100)하고 이에 따라 하나 이상의 외부영상을 생성하게된다. 그리고 촬영한 하나 이상의 외부영상을 제어부(150)에서 잔상정보 모드별로 필터링 및 영상 가공하여 잔상정보를 생성(S110)하게 된다. 3 is a method of expressing an image photographed on a vehicle route to an AR-HUD according to the present invention. As shown in FIG. 3, the outside of the vehicle is photographed using the one or more imaging units 120 mounted in the vehicle (S100), thereby generating one or more external images. In addition, the controller 150 generates the afterimage information by filtering and processing the image for each of the afterimage information modes by the controller 150.

외부영상의 촬영은 조작으로 인한 사고를 방지하기 위해 음성, 제스쳐, 클릭, 터치 또는 안구인식과 같은 방법을 이용하여 사용자 입력을 진행하게 되며, 입력신호가 입력된 위치로부터 전/후 소정 거리 이내의 영상을 저장하게 된다. In order to prevent an accident due to the manipulation of the external image, user input is performed by using a method such as voice, gesture, click, touch, or eye recognition, and within a predetermined distance before and after the input signal is input. The image will be saved.

잔상정보 모드는 교통안내 표지판 또는 시설물 안내 정보 등을 표시하는 교통정보 모드와 광고물 정보를 표시하는 광고모드 그리고 차량 경로의 주변 풍경을 표시하는 풍경모드 등이 있다. 그리고, 해당 모드별 영상은 제어부(150)에서 영상 가공하여 만들어지며, 촬영부(120)에서 촬영한 외부영상을 360도 파노라마 영상, 필름영상 또는 실제 차량 내부에서 보이는 영역의 영상 등으로 가공하게 된다. The afterimage information mode includes a traffic information mode for displaying traffic guide signs or facility guide information, an advertisement mode for displaying advertisement information, and a landscape mode for displaying a surrounding landscape of a vehicle route. In addition, the image for each mode is made by processing the image in the controller 150, and the external image taken by the photographing unit 120 is processed into a 360-degree panoramic image, a film image or an image of the area seen inside the actual vehicle. .

그리고 제어부(150)에서 필터링 및 영상 가공된 잔상정보는 GPS 수신부(110)를 통해 수신한 위치신호를 이용하여 맵매칭하여 영상정보 저장부(172)에 저장(S120)하게 된다. 그리고, 영상정보 저장부(172)에 저장된 잔상정보는 서버(200)로 전송되며, 서버(200) 수신한 잔상정보를 통합하여 저장하게 되고, 다른 사용자의 요청이 있으면 요청한 잔상정보를 송신하게 된다. The afterimage information filtered and processed by the controller 150 is map-matched using the position signal received through the GPS receiver 110 and stored in the image information storage unit 172 (S120). In addition, afterimage information stored in the image information storage unit 172 is transmitted to the server 200, the afterimage information received by the server 200 is integrated and stored, and when requested by another user, the requested afterimage information is transmitted. .

그리고 사용자 입력부(130)로부터 입력되는 잔상정보 선택신호에 포함된 잔상정보 모드에 해당하는 잔상정보를 디스플레이부(160)에 표출하게 된다. The afterimage information corresponding to the afterimage information mode included in the afterimage information selection signal input from the user input unit 130 is displayed on the display unit 160.

도 4는 본 발명에 따른 잔상정보 개수에 따른 AR-HUD에 표출하는 방법이다. 도 4에 도시된 바와 같이 디스플레이부(160)에 표출되는 잔상정보를 터치, 음성, 클릭, 제스쳐 또는 안구인식 등의 방법을 사용하여 선택(S200)하게 되면, 해당 잔상정보를 디스플레이부(160)에 표출하게 되는데, 해당 잔상정보의 개수에 따라 표출하는 방법이 달라지게 된다. 따라서, 잔상정보의 개수가 3개 이상인지 판단(S210)하게 되고, 표출되는 잔상정보가 1개 일 때는 디스플레이부(160)에 1개의 썸네일 사진이 제공되며, 잔상정보가 2개 일 때는 디스플레이부(160)에 2개의 썸네일 사진이 제공(S230)되게 된다. 그리고 잔상정보가 3개 이상일 경우에는 디스플레이부(160)에 개략정보의 리스트 또는 필름형식 중 어느 하나 이상의 방식으로 자료를 준비(S220)하고 준비한 정보를 디스플레이부(160)에 표출(S240)하게 된다. 4 is a method of expressing the AR-HUD according to the number of afterimage information according to the present invention. As shown in FIG. 4, when the afterimage information displayed on the display unit 160 is selected by using a method such as touch, voice, click, gesture, or eye recognition (S200), the afterimage information is displayed on the display unit 160. In this case, the method of expressing is changed according to the number of the corresponding residual image information. Therefore, it is determined whether the number of afterimage information is three or more (S210). When the afterimage information displayed is one, one thumbnail picture is provided to the display unit 160, and when the afterimage information is two, the display unit is displayed. Two thumbnail pictures are provided at S160. When the residual image information is three or more, the display unit 160 prepares the data in one or more ways of a list or film format of the schematic information (S220), and displays the prepared information on the display unit 160 (S240). .

그리고, 디스플레이부(160)에 표출되는 썸네일 사진을 터치, 음성, 클릭 , 제스쳐 또는 안구인식 중 어느 하나 이상의 방법으로 선택하게 되면 썸네일 사진을 확대하거나, 디스플레이부(160)에 표시되는 개략정보의 리스트 또는 필름형식 중 선택된 파일을 확대하여 표시하게 된다.When the thumbnail picture displayed on the display unit 160 is selected by any one method of touch, voice, click, gesture, or eye recognition, the thumbnail picture is enlarged or a list of outline information displayed on the display unit 160 is displayed. Alternatively, the selected file in the film format is enlarged and displayed.

도 5는 본 발명에 따른 차량 경로 전방의 잔상정보를 AR-HUD에 표출하는 방법이다. 도 5에 도시된 바와 같이, 운전자가 경로를 설정(S300)하게 된다. 그리고 경로에 해당하는 전체구간 또는 선택된 구간 중 어느 하나 이상에 대한 잔상정보 모드를 설정(S310)하고, 사용자는 클릭, 터치, 음성, 제스쳐, 안구인식 등의 방법을 이용하여 잔상정보를 선택하여 요청(S320)하게 된다. 제어부(150)에서는 사용자가 선택한 잔상정보 모드에 해당하는 잔상정보가 영상정보 저장부(172)에 저장되어 있는지 확인(S330)하고 영상정보 저장부(172)에 저장되어 있으면 해당 잔상정보를 검색하여 사용자의 운전속도에 비례하여 디스플레이부(160)에 해당 잔상정보를 표출(S350)하게 되고, 영상정보 저장부(172)에 해당 잔상정보가 검색되지 않으면, 해당 잔상정보를 서버(200)에서 검색하여 서버(200)로부터 다운로드 하게 된다. 그리고, 다운로드 한 잔상정보를 사용자의 운전속도에 비례하여 디스플레이부(160)에 표출(S350)하게 된다. 5 is a method of expressing after-image information in front of the vehicle path to the AR-HUD according to the present invention. As shown in FIG. 5, the driver sets a path (S300). In addition, the afterimage information mode for one or more of the entire section or the selected section corresponding to the route is set (S310), and the user selects the afterimage information by using a method such as a click, touch, voice, gesture, or eye recognition. (S320). The controller 150 checks whether the afterimage information corresponding to the afterimage information mode selected by the user is stored in the image information storage unit 172 (S330), and if the afterimage information is stored in the image information storage unit 172, searches for the residual image information. The residual image information is displayed on the display unit 160 in proportion to the driving speed of the user (S350). If the residual image information is not found in the image information storage unit 172, the residual image information is retrieved from the server 200. To download from the server 200. The downloaded afterimage information is displayed on the display unit 160 in proportion to the driving speed of the user (S350).

표출되는 잔상정보는 360도 파노라마 영상, 필름영상 또는 실제차량 내부에서 보이는 영역의 영상 등이며, 잔상정보는 경로안내 전 미리보기 형식으로 관련 잔상정보를 확인하거나 경로안내를 받으면서 잔상정보를 측면부 디스플레이(162)를 통해 확인하게 된다.The afterimage information displayed is a 360-degree panoramic image, a film image, or an image of an area seen inside a real vehicle, and the afterimage information is displayed in a preview form before the route guidance. 162).

그리고, 측면부 디스플레이(162)에 표출되는 잔상정보는 운전자가 현재 주행하는 위치보다 앞선 위치에 해당하는 잔상정보를 표출하게 되며, 차량의 주행 속도에 비례하여 잔상정보의 재생 속도도 비례하여 빨라지도록 변경되어 표출된다. In addition, the afterimage information displayed on the side display 162 may display afterimage information corresponding to a position ahead of the position at which the driver is currently driving, and may be changed in proportion to the reproduction speed of the afterimage information in proportion to the driving speed of the vehicle. It is expressed.

도 6은 본 발명에 따른 파노라마 사진 생성을 위한 촬상부의 위치를 나타낸 그림이고, 도 7은 본 발명에 따른 파노라마 사진 합성 및 표출 그림이다. 도 6과 도 7에 도시된 바와 같이, 차량에 장착된 다수의 촬상부(120)를 이용하여 차량의 외부 영상을 촬영하게 되며, 파노라마 사진을 만들기 위해서는 차량의 전면, 측면, 후면 그리고 상단부를 촬영하게 된다. 그리고 촬영된 외부영상은 도 7의 (a)와 같이 전면부 촬영 영상, 측면부 촬영 영상, 후면부 촬영 영상 그리고 상단부 촬영 영상을 합성하여 파노라마 사진을 만들게 되고, 도 7의 (b)와 같이 측면부 디스플레이에 만들어진 파노라마 사진을 표출하게 된다. 6 is a view showing the position of the image pickup unit for generating a panoramic picture according to the present invention, Figure 7 is a panoramic picture synthesis and display picture according to the present invention. As shown in FIG. 6 and FIG. 7, the external image of the vehicle is photographed using the plurality of imaging units 120 mounted on the vehicle, and the front, side, rear, and top portions of the vehicle are photographed in order to make a panorama picture. Done. The captured external image is composed of a front part image, a side part image, a rear part part image, and a top part part part image as shown in FIG. 7 (a) to make a panoramic picture, and as shown in (b) of FIG. The created panorama will be displayed.

도 8은 본 발명에 따른 360도 사진 생성을 위한 촬상부의 위치를 나타낸 그림이고, 도 9는 본 발명에 따른 360도 사진 생성 및 표출 그림이다. 도 8과 도 9에 도시된 바와 같이, 차량에 장착된 다수의 촬상부(120)를 이용하여 차량의 외부 영상을 촬영하게 되고, 360도 사진은 도 8에 도시된 전면부를 촬영하기 위한 촬상부, 양쪽 측면부를 촬영하기 위한 촬상부, 후면부를 촬영하기 위한 촬상부 그리고 상단부를 촬영하기 위한 촬상부 모두를 사용하게 된다. 그리고, 촬영된 영상은 그림 9의 (a)와 같이 구성되며, (b)와 같이 HUD 디스플레이부에 360도 사진이 표출되게 된다. 표출되는 사진은 확대와 축소가 가능하며 방향전환도 가능하다. 8 is a view showing the position of the imaging unit for generating a 360-degree photo according to the present invention, Figure 9 is a 360-degree photo creation and display picture according to the present invention. As shown in FIG. 8 and FIG. 9, the external image of the vehicle is photographed using the plurality of imaging units 120 mounted on the vehicle, and the 360-degree photograph is an imaging unit for capturing the front portion shown in FIG. In this case, an imaging unit for photographing both side parts, an imaging unit for photographing the rear part, and an imaging unit for photographing the upper end part are used. The captured image is configured as shown in (a) of FIG. 9, and a 360 degree photograph is displayed on the HUD display unit as shown in (b). The displayed picture can be enlarged and reduced, and the direction can be changed.

도 10은 본 발명에 따른 잔상정보 개수에 따른 AR-HUD에 표출한 그림이다. 도 10에 도시된 바와 같이, 표시되는 잔상정보가 1개이면 (a-1)과 같이 측면부 디스플레이(162)에 1의 썸네일 사진으로 표출되고, 표출되는 썸네일 사진을 선택하면 (a-2)와 같이 확대되어 표출된다. 그리고 잔상정보가 2개이면 (b-1)과 같이 측면부 디스플레이(162)에 2개의 썸네일 사진으로 표출되고, 표출되는 썸네일 사진을 선택하면 (b-2)와 같이 확대되어 표출된다. 그리고 잔상정보가 3개 이상이면 (c-1)과 같이 개략정보의 리스트 또는 필름형식으로 측면부 디스플레이(162)에 표출된다.10 is a view expressed on the AR-HUD according to the number of afterimage information according to the present invention. As shown in FIG. 10, when there is only one afterimage information to be displayed, a thumbnail picture of 1 is displayed on the side display 162 as shown in (a-1), and when the thumbnail picture to be displayed is selected, (a-2) and It is expanded and expressed together. When the residual image information is two, two thumbnail pictures are displayed on the side display 162 as shown in (b-1), and when the thumbnail pictures to be displayed are selected, they are enlarged and displayed as shown in (b-2). When the residual image information is three or more, it is displayed on the side display 162 in the form of a list or film of schematic information as shown in (c-1).

본 발명은 이상에서 살펴본 바와 같이 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
Although the present invention has been shown and described with reference to the preferred embodiments as described above, it is not limited to the above embodiments and those skilled in the art without departing from the spirit of the present invention. Various changes and modifications will be possible.

100 : AR-HUD 장치 110 : GPS 수신부
120 : 촬상부 130 : 사용자 입력부
140 : 통신부 150 : 제어부
160 : 디스플레이부 161 : 전면부 디스플레이
162 : 측면부 디스플레이 170 : 저장부
171 : 지도정보 저장부 172 : 영상정보 저장부
173 : 위치정보 저장부 200 : 서버100: AR-HUD device 110: GPS receiver
120: imaging unit 130: user input unit
140: communication unit 150: control unit
160: display unit 161: front panel display
162: side display 170: storage
171: map information storage unit 172: image information storage unit
173: location information storage unit 200: server

Claims (16)

차량 경로에서 촬영된 영상을 AR-HUD를 통해 표출하는 시스템에서,
차량에 장착된 하나 이상의 촬상부를 이용하여 차량 외부를 촬영하고 이에따라 하나 이상의 외부영상을 생성하는 제 1단계;
촬영한 하나 이상의 상기 외부영상을 제어부에서 잔상정보 모드별로 필터링 및 영상 가공하여 잔상정보를 생성하는 제 2단계;
상기 제어부에서 필터링 및 영상 가공된 상기 잔상정보를 맵매칭하여 영상정보 저장부에 저장하는 제 3단계; 및
사용자 입력부로부터 입력되는 잔상정보 선택신호에 포함된 잔상정보 모드에 해당하는 상기 잔상정보를 디스플레이부에 표출하는 제 4단계
를 포함하되,
상기 디스플레이부는,
경로정보 또는 360도 파노라마 영상 중 어느 하나 이상을 표출하는 전면부 디스플레이와 잔상정보, 교통정보, 풍경 또는 광고정보 중 어느 하나 이상을 표출하는 측면부 디스플레이를 포함하고, 잔상정보의 개수에 따라 표출 방법을 다르게 하여 상기 측면부 디스플레이에 상기 잔상정보가 표출되도록 하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
In the system to display the image taken in the vehicle path through the AR-HUD,
A first step of photographing the outside of the vehicle using at least one imaging unit mounted on the vehicle and generating at least one external image accordingly;
A second step of generating afterimage information by filtering and image-processing the at least one external image photographed by the controller for each afterimage mode;
A third step of mapping and matching the residual image information filtered and processed by the controller to an image information storage unit; And
A fourth step of displaying the afterimage information corresponding to the afterimage information mode included in the afterimage information selection signal input from the user input unit on the display unit;
Including,
The display unit,
And a front part display for displaying at least one of route information or a 360 degree panoramic image, and a side part display for displaying at least one of afterimage information, traffic information, landscape, and advertisement information, and the display method according to the number of afterimage information. And displaying the afterimage information in the AR-HUD, wherein the afterimage information is displayed on the side display.
제 1항에 있어서,
상기 잔상정보 모드는 교통안내 표지판 또는 시설물 안내 정보 중 어느 하나 이상을 표시하는 교통정보 모드, 광고물 정보를 표시하는 광고모드, 상기 차량 경로의 주변 풍경을 표시하는 풍경모드 중 어느 하나 이상을 포함하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 1,
The afterimage information mode includes at least one of a traffic information mode for displaying any one or more of a traffic guide sign or facility guide information, an advertisement mode for displaying advertisement information, and a landscape mode for displaying a surrounding landscape of the vehicle route. Method for expressing the afterimage information in the AR-HUD, characterized in that.
제 1항에 있어서,
상기 외부영상의 촬영은 운전자가 주행중 음성, 제스쳐, 클릭, 터치 또는 안구인식 중 어느 하나 이상의 입력신호에 의해서 이루어지며, 상기 입력신호가 입력된 위치로부터 전/후 소정 거리 이내의 영상을 저장하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 1,
The recording of the external image is performed by the driver by using one or more input signals of voice, gesture, click, touch, or eye recognition while driving, and storing an image within a predetermined distance before and after the input signal is input. How to display the afterimage information in the AR-HUD characterized in that.
제 1항에 있어서,
상기 영상정보 저장부에 저장된 상기 잔상정보는 서버로 전송되며, 상기 서버는 수신한 상기 잔상정보를 다른 차량에 제공하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 1,
The afterimage information stored in the image information storage unit is transmitted to a server, and the server provides the afterimage information received in the AR-HUD, wherein the received afterimage information is provided to another vehicle.
제 4항에 있어서,
상기 제 4단계에서 운전자가 선택한 상기 잔상정보 모드에 대응하는 상기 잔상정보가 상기 영상정보 저장부에 저장되어 있지 않은 경우, 상기 서버에 기저장된 통합 잔상정보 중에서 상기 잔상정보 모드에 대응하는 잔상정보를 수신하여 출력하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 4, wherein
When the afterimage information corresponding to the afterimage information mode selected by the driver in the fourth step is not stored in the image information storage unit, afterimage information corresponding to the afterimage information mode is stored among the integrated afterimage information previously stored in the server. Method for displaying the afterimage information in the AR-HUD, characterized in that for receiving and outputting.
제 1항에 있어서,
상기 외부영상의 가공은 상기 촬영된 상기 외부영상을 360도 파노라마 영상, 필름영상 또는 실제차량 내부에서 보이는 영역의 영상 중 어느 하나 이상으로 가공하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 1,
The processing of the external image is a method of displaying after-image information in the AR-HUD, characterized in that the processing of the photographed external image to any one or more of the 360-degree panoramic image, film image or the image of the area visible inside the actual vehicle. .
제 1항에 있어서,
상기 잔상정보를 상기 측면부 디스플레이에 표출하는 방법은, 상기 잔상정보가 1개 일 때는 상기 측면부 디스플레이에 1개의 썸네일 사진이 제공되며, 상기 잔상정보가 2개일 때는 상기 측면부 디스플레이에 2개의 썸네일 사진이 제공되고, 상기 잔상정보가 3개 이상 일 때는 상기 측면부 디스플레이에 개략정보의 리스트 또는 필름형식 중 어느 하나 이상의 방식으로 표시되는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 1,
In the method for displaying the afterimage information on the side part display, when the afterimage information is one, one thumbnail picture is provided on the side part display, and when the afterimage information is two, two thumbnail pictures are provided on the side part display. And when the afterimage information is three or more, the afterimage information is displayed on the side display in one or more ways of a list of film information or a film format.
제 7항에 있어서,
상기 썸네일 사진, 상기 측면부 디스플레이에 개략정보의 리스트 또는 상기 필름형식으로 표시되는 잔상정보 중 어느 하나 이상을 터치, 음성, 클릭, 제스쳐 또는 안구인식 중 어느 하나 이상의 사용자 입력 방법으로 선택하면, 선택된 상기 잔상정보를 상기 측면부 디스플레이에 확대되어 표시하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 7, wherein
When the at least one of the thumbnail picture, the list of the schematic information on the side display, or the afterimage information displayed in the film format is selected by a user input method of at least one of touch, voice, click, gesture, or eye recognition, the selected afterimage And displaying after-image information in the AR-HUD.
차량 경로 전방의 잔상정보를 AR-HUD를 통해 표출하는 시스템에서,
경로를 설정하는 제 1단계;
상기 경로에 해당하는 전체구간 또는 선택된 구간 중 어느 하나 이상에 대한 잔상정보 모드를 설정하는 제 2단계;
상기 잔상정보 모드에 해당하는 잔상정보를 상기 차량 또는 서버 중 어느 하나 이상에서 검색하되, 상기 잔상정보가 상기 서버에 저장된 경우 상기 잔상정보를 상기 서버로부터 다운로드 받는 제 3단계; 및
검색된 상기 잔상정보를 AR-HUD의 디스플레이부를 통해 표출하는 제 4단계;
를 포함하되,
상기 디스플레이부는,
경로정보 또는 360도 파노라마 영상 중 어느 하나 이상을 표출하는 전면부 디스플레이와 잔상정보, 교통정보, 풍경 또는 광고정보 중 어느 하나 이상을 표출하는 측면부 디스플레이를 포함하고, 잔상정보의 개수에 따라 표출 방법을 다르게 하여 상기 잔상정보가 상기 측면부 디스플레이에 표출되도록 하는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
In the system that displays afterimage information in front of the vehicle route through the AR-HUD,
A first step of establishing a path;
Setting a residual image information mode for at least one of an entire section or a selected section corresponding to the path;
A third step of retrieving afterimage information corresponding to the afterimage information mode from any one of the vehicle and the server, and downloading the afterimage information from the server when the afterimage information is stored in the server; And
A fourth step of expressing the retrieved afterimage information through a display unit of an AR-HUD;
Including,
The display unit,
And a front part display for displaying at least one of route information or a 360 degree panoramic image, and a side part display for displaying at least one of afterimage information, traffic information, landscape, and advertisement information, and the display method according to the number of afterimage information. And displaying the afterimage information in the AR-HUD, wherein the afterimage information is displayed on the side display.
제 9항에 있어서,
상기 잔상정보는 360도 파노라마 영상, 필름영상 또는 실제차량 내부에서 보이는 영역의 영상 중 어느 하나 이상으로 표출되는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 9,
The afterimage information is expressed in any one or more of the 360-degree panoramic image, film image or the image of the area visible inside the actual vehicle.
제 9항에 있어서,
상기 잔상정보는 경로안내 전 미리보기 형식으로 관련 잔상정보를 확인하거나 경로안내를 받으면서 상기 잔상정보를 측면부 디스플레이를 통해 확인하는 것 중 어느 하나 이상인 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 9,
The afterimage information is a method of expressing afterimage information in the AR-HUD, characterized in that any one or more of checking the associated afterimage information in a preview form before the route guidance or receiving the route guidance via the side display while receiving the route guidance. .
제 11항에 있어서,
상기 측면부 디스플레이에 표출되는 상기 잔상정보는 운전자가 현재 주행하는 위치보다 앞선 위치에 해당하는 잔상정보를 표출하며, 차량의 주행 속도에 비례하여 상기 잔상정보의 재생 속도가 변경되는 것을 특징으로 하는 AR-HUD에서 잔상정보를 표출하는 방법.
The method of claim 11,
The afterimage information displayed on the side part display represents afterimage information corresponding to a position ahead of a position at which the driver is currently driving, and the reproduction speed of the afterimage information is changed in proportion to the traveling speed of the vehicle. How to display afterimage information in the HUD.
파노라마 영상정보 및 잔상정보 표출하기 위한 AR-HUD 장치에 있어서,
위치정보를 수집하기 위한 GPS 수신부;
주행중 외부영상을 촬영하기 위한 하나 이상으로 구성된 촬상부;
상기 촬상부에서 촬영한 상기 외부영상을 잔상정보 모드별로 필터링 및 영상 가공하여 디스플레이할 잔상정보의 경로를 설정하는 제어부;
상기 제어부에서 필터링 및 가공한 상기 잔상정보를 저장하기 위한 영상정보 저장부;
지도정보가 저장되는 지도정보 저장부;
상기 GPS 수신부로부터 수신한 위치정보를 저장하기 위한 위치정보 저장부;
상기 잔상정보를 서버와 송수신하기 위한 통신부;
운전자의 입력신호를 수신하기 위한 사용자 입력부; 및
상기 잔상정보를 출력하기 위한 디스플레이부
를 포함하되,
상기 디스플레이부는,
경로정보 또는 360도 파노라마 영상 중 어느 하나 이상을 표출하는 전면부 디스플레이와 잔상정보, 교통정보, 풍경 또는 광고정보 중 어느 하나 이상을 표출하는 측면부 디스플레이를 포함하고, 잔상정보의 개수에 따라 표출 방법을 다르게 하여 상기 잔상정보가 상기 측면부 디스플레이에 표출되도록 하는 것을 특징으로 하는 파노라마 영상정보 및 잔상정보를 표출하기 위한 AR-HUD 장치.
In the AR-HUD apparatus for displaying panorama image information and afterimage information,
A GPS receiver for collecting location information;
An imaging unit configured to at least one image to capture an external image while driving;
A controller configured to set a path of afterimage information to be displayed by filtering and image-processing the external image photographed by the image pickup unit for each afterimage mode;
An image information storage unit for storing the afterimage information filtered and processed by the controller;
A map information storage unit for storing map information;
A location information storage unit for storing location information received from the GPS receiver;
A communication unit for transmitting and receiving the afterimage information with a server;
A user input unit for receiving an input signal of a driver; And
Display unit for outputting the afterimage information
Including,
The display unit,
And a front part display for displaying at least one of route information or a 360 degree panoramic image, and a side part display for displaying at least one of afterimage information, traffic information, landscape, and advertisement information, and the display method according to the number of afterimage information. The AR-HUD apparatus for displaying the panorama image information and the afterimage information, wherein the afterimage information is differently displayed on the side display.
제 13항에 있어서,
상기 제어부는 상기 사용자 입력부로부터 음성, 제스쳐, 클릭, 터치 또는 안구인식 중 어느 하나 이상의 입력신호를 수신하여 차량 외부영상을 촬영하고, 촬영된 상기 외부영상을 교통안내 표지판 또는 시설물 안내 정보 중 어느 하나 이상을 표시하는 교통정보 모드, 광고물 정보를 표시하는 광고모드, 차량경로의 주변 풍경을 표시하는 풍경모드 중 어느 하나 이상으로 필터링 및 영상 가공하는 것을 특징으로 하는 파노라마 영상정보 및 잔상정보를 표출하기 위한 AR-HUD 장치.
The method of claim 13,
The controller receives an input signal of at least one of a voice, a gesture, a click, a touch, or an eye recognition from the user input unit to photograph an external image of the vehicle, and the captured external image is one or more of traffic guide signs or facility guide information. For displaying the panorama image information and the afterimage information, characterized in that the filtering and image processing in any one or more of the traffic information mode for displaying, the advertising mode for displaying the advertisement information, the landscape mode for displaying the surrounding landscape of the vehicle route AR-HUD device.
제 14항에 있어서,
상기 영상 가공은 촬영된 상기 외부영상을 360도 파노라마 영상, 필름영상 또는 실제차량 내부에서 보이는 영역의 영상 중 어느 하나 이상으로 가공하는 것을 특징으로 하는 파노라마 영상정보 및 잔상정보를 표출하기 위한 AR-HUD 장치.
The method of claim 14,
The image processing is an AR-HUD for expressing panoramic image information and afterimage information, characterized in that the processing of the external image photographed to any one or more of the 360-degree panoramic image, film image or the image of the area visible inside the actual vehicle Device.
삭제delete
KR1020130147212A 2013-11-29 2013-11-29 For the AR-HUD to display the panoramic image and the residual image information system KR102019762B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130147212A KR102019762B1 (en) 2013-11-29 2013-11-29 For the AR-HUD to display the panoramic image and the residual image information system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130147212A KR102019762B1 (en) 2013-11-29 2013-11-29 For the AR-HUD to display the panoramic image and the residual image information system

Publications (2)

Publication Number Publication Date
KR20150064760A KR20150064760A (en) 2015-06-12
KR102019762B1 true KR102019762B1 (en) 2019-11-05

Family

ID=53503339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130147212A KR102019762B1 (en) 2013-11-29 2013-11-29 For the AR-HUD to display the panoramic image and the residual image information system

Country Status (1)

Country Link
KR (1) KR102019762B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158578A (en) * 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ Entire circumference information annularly displaying system
JP2010257253A (en) * 2009-04-24 2010-11-11 Denso Corp Display device for vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103370A (en) * 2007-05-23 2008-11-27 (주)트루시스템 Real time traffic information system and its control method based on p2p service
KR20090109312A (en) * 2008-04-15 2009-10-20 주식회사 현대오토넷 System for providing real-time traffic information for users using real-time photographing pictures
KR20130062523A (en) * 2011-12-05 2013-06-13 현대자동차주식회사 Augmented reality head up display system of vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158578A (en) * 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ Entire circumference information annularly displaying system
JP2010257253A (en) * 2009-04-24 2010-11-11 Denso Corp Display device for vehicle

Also Published As

Publication number Publication date
KR20150064760A (en) 2015-06-12

Similar Documents

Publication Publication Date Title
JP6409337B2 (en) Display device
JP4134785B2 (en) Display device
US10250860B2 (en) Electronic apparatus and image display method
WO2017056210A1 (en) Vehicular display device
JP2013112269A (en) In-vehicle display device
KR20180022374A (en) Lane markings hud for driver and assistant and same method thereof
CN111886155A (en) Method, device and computer-readable storage medium with instructions for controlling display of augmented reality display device of motor vehicle
KR20120007781U (en) - Route guidance method using Augmented Reality and Head-up display
CN111095363A (en) Display system and display method
JP6186905B2 (en) In-vehicle display device and program
WO2016047037A1 (en) Vehicular image-processing apparatus
JP2020060932A (en) On-vehicle device
JP7310560B2 (en) Display control device and display control program
KR102019762B1 (en) For the AR-HUD to display the panoramic image and the residual image information system
JP2005214730A (en) Image display device, method, and program for vehicle
US10605616B2 (en) Image reproducing device, image reproducing system, and image reproducing method
JP2017040773A (en) Head-mounted display device
JP2006337154A (en) Photograph display device
KR101744718B1 (en) Display system and control method therof
KR100833603B1 (en) Navigation system for providing bird view and method thereof
JP2019080189A (en) Vehicle display control apparatus, vehicle display system, vehicle display control method, and program
JP6834648B2 (en) Image posting service system
US20150130938A1 (en) Vehicle Operational Display
CN105704438B (en) Method and device for previewing road section in front of vehicle based on video and method and device for recording road section of vehicle based on video
KR102244026B1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant