KR20180137193A - Apparatus for adjusting display position of head up display and method thereof - Google Patents

Apparatus for adjusting display position of head up display and method thereof Download PDF

Info

Publication number
KR20180137193A
KR20180137193A KR1020170076531A KR20170076531A KR20180137193A KR 20180137193 A KR20180137193 A KR 20180137193A KR 1020170076531 A KR1020170076531 A KR 1020170076531A KR 20170076531 A KR20170076531 A KR 20170076531A KR 20180137193 A KR20180137193 A KR 20180137193A
Authority
KR
South Korea
Prior art keywords
head
display
driver
unit
tracking
Prior art date
Application number
KR1020170076531A
Other languages
Korean (ko)
Other versions
KR102320511B1 (en
Inventor
최아라
김건우
장영민
노승종
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170076531A priority Critical patent/KR102320511B1/en
Publication of KR20180137193A publication Critical patent/KR20180137193A/en
Application granted granted Critical
Publication of KR102320511B1 publication Critical patent/KR102320511B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/008—Systems specially adapted to form image relays or chained systems
    • B60K2350/2052—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Abstract

Disclosed are an apparatus for adjusting a display position of a head-up display and a method thereof. The apparatus for adjusting a display position of a head-up display according to the present invention comprises: a driver photographing unit for photographing a driver; an HUD driving unit for adjusting a display position of an object displayed on a head-up display; and a control unit for receiving a photographed image photographed by the driver photographing unit to extract the depth of the driver from the photographed image, setting a head area of the driver through a basic head classification algorithm, detecting and tracking a head of the driver on the basis of a learning result in the set head area, determining a display position of an object displayed on the head-up display by calculating a head position according to a tracking result, and controlling the HUD driving unit according to the determined display position to adjust a display position of the head-up display.

Description

헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법{APPARATUS FOR ADJUSTING DISPLAY POSITION OF HEAD UP DISPLAY AND METHOD THEREOF} BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for adjusting a display position of a head-up display,

본 발명은 헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 운전자를 촬영한 촬영영상으로부터 운전자의 머리위치를 검출하여 눈 높이를 추적함으로써 헤드업 디스플레이의 표시 위치를 자동으로 조절하는 헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus and method for adjusting a display position of a head-up display, and more particularly, to an apparatus and method for adjusting a display position of a head-up display by automatically detecting a head position of a driver from a shot image of a driver, And more particularly, to a display position adjusting apparatus and a method for adjusting a display position of a head-up display.

최근에는 다양한 전자 제품들의 기술이 발달됨에 따라 운전에 도움을 주는 분야에도 많이 적용되어 편리를 도모하고 있다. 그 대표적인 예로, 자동차 내비게이션을 들 수 있는데 운전자는 내비게이션을 확인함과 동시에 시야에 있는 사물들을 확인해야 하며 차량의 주행상태도 확인하면서 운전해야 한다. In recent years, as the technology of various electronic products has been developed, it has been widely applied to a field that is helpful for driving. A typical example of this is car navigation, which requires the driver to check the navigation, identify objects in sight, and drive while checking the vehicle's running condition.

따라서 현재 운전자의 안전을 제공하고 차량 주행 정보와 주변상황 정보를 효과적으로 운전자에게 전달해 주는 매체로 개발 중인 여러 시스템이 있는데 그 중 헤드업 디스플레이(Head Up Display, HUD)가 주요 관심사가 되고 있다. 헤드업 디스플레이는 항공기, 특히 전투기에 부착되어 이용되었으나 이를 차량용으로 개발하여 이용하고 있다. Therefore, there are a number of systems under development that provide safety for the driver and provide vehicle driver information and surrounding information to the driver effectively. Of these, head up display (HUD) is a major concern. The head-up display has been used in airplanes, especially on fighters, but it has been developed for use in cars.

예컨대 시속 약 100km/h로 차량을 운전하는 경우, 운전자가 시야를 계기판에 두었다가 도로에 시야를 고정시키는 시간이 약 2초가 걸리는 것으로 가정하면, 그 사이에 차량은 약 55m를 이동하기 때문에 사고가 유발될 가능성이 항상 존재하여, 이러한 위험을 줄이는 방법의 하나로 차량용 헤드업 디스플레이가 개발되고 있다. Assuming that the driver is driving the vehicle at a speed of about 100 km / h per hour and assuming that the driver puts the field of view on the instrument panel and fixes the field of view on the road takes about 2 seconds, There is always a possibility that a head-up display for a vehicle is being developed as a way to reduce this risk.

차량용 헤드업 디스플레이는 내비게이션과 연동하여 운전자의 가시영역(이하, "아이박스"라고도 칭함) 내에 경로 변경을 안내하는 화살표 정보, 속도 등을 나타내는 텍스트 정보 등의 다양한 차량 정보를 윈드실드(Windshield) 상에 또는 윈드실드 너머에 증강현실(Augmented Reality) 형태로 표시함으로써, 운전자의 시선이 분산되는 것을 방지한다. The head-up display for the vehicle includes various types of vehicle information such as arrow information for guiding the route change in the visual area of the driver (hereinafter also referred to as " eye box " Or in the form of Augmented Reality beyond the windshield, thereby preventing the driver's gaze from being dispersed.

이러한 차량 정보를 확인하기 위해서 운전자는 해당 정보를 제공하는 단말기 방향으로 시선을 옮길 필요가 없고, 헤드업 디스플레이 영상이 출력된 전방을 바라보면서 주행할 수 있기 때문에 운전자의 안전에 도움이 된다. In order to confirm such vehicle information, the driver does not have to move his / her eyes to the direction of the terminal providing the information, and can safely drive the driver while viewing the head-up display image.

차량용 헤드업 디스플레이는 이와 같은 이유로 운전자의 시선에 따라 헤드업 디스플레이의 표시를 제어하는 기능을 필수적으로 구비해야 한다. For this reason, the head-up display for the vehicle must have a function for controlling the display of the head-up display according to the driver's gaze.

그러나 종래의 차량용 헤드업 디스플레이 장치는, 운전자의 시선을 고려하지 않고 항상 일정한 영역에 영상을 표시함으로써, 운전자가 해당 정보를 확인하기 위해 시선을 이동하여야 하는 문제점이 있었다. However, in the conventional head-up display device for a vehicle, there is a problem in that the driver has to move his or her eyes to check the information by always displaying the image in a predetermined area without considering the driver's gaze.

따라서 이러한 문제점을 해결하기 위해 사용자가 수동으로 직접 표시 위치를 조절하도록 하고 있으나 주행 중 정확한 설정의 어려움이 있을 뿐만 아니라 불편한 문제점이 있다. Therefore, in order to solve such a problem, the user manually adjusts the display position manually, but there is a problem in that it is difficult to precisely set the vehicle while driving, which is inconvenient.

본 발명의 배경기술로는 한국 공개특허공보 제2005-0123287호(2005.12.29. 공개)인 "차량 네비게이션용 헤드업 디스플레이 장치"가 있다.As a background art of the present invention, there is a "head-up display device for vehicle navigation ", Korean Patent Laid-Open Publication No. 2005-0123287 (Dec.

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 운전자를 촬영한 촬영영상으로부터 운전자의 머리위치를 검출하여 눈 높이를 추적함으로써 헤드업 디스플레이의 표시 위치를 자동으로 조절하는 헤드업 디스플레이의 표시위치 조절 장치 및 그 방법을 제공하는 것이다. SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide a head-up display which can detect a driver's head position from a photographed image of a driver, And a method of controlling the display position of the head-up display.

본 발명의 일 측면에 따른 헤드업 디스플레이의 표시 위치 조절 장치는, 운전자를 촬영하는 운전자 촬영부; 헤드업 디스플레이에 표시되는 객체의 표시위치를 조절하는 HUD 구동부; 및 운전자 촬영부로부터 촬영된 촬영영상을 입력받아 촬영영상으로부터 운전자의 깊이를 추출하여 기본 머리분류 알고리즘을 통해 운전자의 머리영역을 설정하고, 설정된 머리영역에서 학습결과를 기반으로 운전자의 머리를 검출하여 추적하며, 추적 결과에 따라 머리위치를 산출하여 헤드업 디스플레이에 표시되는 객체의 표시위치를 결정하고, 결정된 표시위치에 따라 HUD 구동부를 제어하여 헤드업 디스플레이의 표시위치를 조절하는 제어부를 포함하는 것을 특징으로 한다. An apparatus for adjusting a display position of a head-up display according to an aspect of the present invention includes: a driver photographing unit for photographing a driver; A HUD driving unit for adjusting a display position of an object displayed on the head-up display; And the driver's photographing unit, extracts the depth of the driver from the photographed image, sets the head area of the driver through the basic head classification algorithm, and detects the head of the driver based on the learning result in the set head area And a control unit for controlling the display position of the head-up display by controlling the HUD driving unit according to the determined display position by calculating the head position according to the tracking result to determine the display position of the object displayed on the head-up display .

본 발명에서 운전자 촬영부는 TOF(Time Of Flight) 카메라를 포함하는 것을 특징으로 한다. In the present invention, the driver photographing unit includes a TOF (Time Of Flight) camera.

본 발명에서 제어부는, 촬영영상으로부터 깊이 정보를 취득하여 그레이 단일 채널의 매트릭스 포맷으로 변환하는 영상처리부; 영상처리부에서 처리된 촬영영상으로부터 기본 머리분류 알고리즘을 기반으로 운전자의 머리영역을 설정하는 머리 검출부; 머리 검출부에서 설정된 머리영역에서 학습결과를 기반으로 머리를 검출하여 추적한 결과를 출력하고, 추적한 결과에 대해 학습하는 머리 추적부; 머리 추적부에서 출력된 머리에 대한 3차원 머리위치를 산출하는 머리위치 산출부; 및 머리위치 머리 산출부에서 산출된 머리위치에 따라 헤드업 디스플레이에 표시되는 객체의 표시위치를 결정하는 표시위치 결정부;를 포함하는 것을 특징으로 한다. In the present invention, the control unit may include: an image processing unit for acquiring depth information from the photographed image and converting the depth information into a gray single channel matrix format; A head detector configured to set a head region of a driver based on a basic head classification algorithm from an image captured by the image processor; A head tracking unit for detecting the head based on the learning result in the head region set by the head detecting unit, outputting the tracked result, and learning about the tracked result; A head position calculation unit for calculating a three-dimensional head position of the head output from the head tracking unit; And a display position determining unit for determining a display position of the object displayed on the head-up display according to the head position calculated by the head position calculating unit.

본 발명에서 머리 검출부는, 머리영역을 설정한 후 설정 프레임이 경과하면 머리 추적부에서 출력되는 검출영역과 검출한 머리에 대해 머리영역과의 매칭상태를 판단하여 머리영역을 재설정하는 것을 특징으로 한다. The head detecting unit of the present invention is characterized in that the head area is reset by determining the matching state between the detected area output from the head tracking unit and the detected head when the set frame elapses after setting the head area .

본 발명에서 머리 추적부는 추적한 결과에 대해 머리영역과의 매칭정도와 신뢰도를 비교하여 학습하는 것을 특징으로 한다. In the present invention, the head tracking unit compares the tracking result with the head area to determine the matching degree and reliability.

본 발명에서 머리 추적부는 학습 결과를 기반으로 검출한 머리와 추적한 머리의 신뢰도를 각각 비교하여 신뢰도가 높은 머리를 결과로 출력하는 것을 특징으로 한다. In the present invention, the head tracking unit compares the reliability of the detected head and the tracked head based on the learning results, respectively, and outputs a highly reliable head as a result.

본 발명에서 머리위치 산출부는, 운전자 촬영부의 시점에 따른 좌표계를 월드 좌표계로 변환하여 깊이 정보를 기반으로 핸들로부터의 머리위치를 산출하는 것을 특징으로 한다. In the present invention, the head position calculating unit converts the coordinate system according to the viewpoint of the driver photographing unit into the world coordinate system, and calculates the head position from the steering wheel based on the depth information.

본 발명의 다른 측면에 따른 헤드업 디스플레이의 표시 위치 조절 방법은, 제어부가 촬영영상을 입력받아 깊이 정보를 추출하여 영상 처리하는 단계; 제어부가 기본 머리분류 알고리즘을 통해 운전자의 머리영역을 설정하는 단계; 제어부가 설정된 머리영역에서 학습결과를 기반으로 운전자의 머리를 검출하여 추적하는 단계; 제어부가 추적 결과에 따라 머리위치를 산출하는 단계; 제어부가 산출된 머리위치를 기반으로 헤드업 디스플레이에 표시되는 객체의 표시위치를 결정하는 단계; 및 제어부가 결정된 표시위치에 따라 HUD 구동부를 제어하여 헤드업 디스플레이의 표시위치를 조절하는 단계를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, there is provided a method of adjusting a display position of a head-up display, the method comprising the steps of: Setting the head area of the driver through the basic head classification algorithm; Detecting and tracking the head of the driver based on the learning result in the head region where the control unit is set; Calculating a head position according to a tracking result; Determining a display position of an object displayed on the head-up display based on the calculated head position; And controlling a display position of the head-up display by controlling the HUD driving unit according to the determined display position.

본 발명에서 영상 처리하는 단계는, 제어부가 TOF(Time Of Flight) 카메라로부터 촬영영상을 입력받아 깊이 정보를 취득하여 그레이 단일 채널의 매트릭스 포맷으로 변환하는 것을 특징으로 한다. In the image processing of the present invention, the controller receives the photographed image from a time-of-flight (TOF) camera, acquires depth information, and converts the photographed image into a gray single-channel matrix format.

본 발명에서 머리영역을 설정하는 단계는, 제어부가 촬영영상으로부터 기본 머리분류 알고리즘을 기반으로 운전자의 머리영역을 설정하는 것을 특징으로 한다. The step of setting the head region in the present invention is characterized in that the control section sets the head region of the driver based on the basic head classification algorithm from the photographed image.

본 발명에서 머리영역을 설정하는 단계는, 제어부가 머리영역을 설정한 후 설정 프레임이 경과하면 머리의 추적을 위한 검출영역과 검출한 머리에 대해 머리영역과의 매칭상태를 판단하여 머리영역을 재설정하는 것을 특징으로 한다. In the present invention, the step of setting the head region may include: determining a matching state between the detection region for tracking the head and the head region when the set frame elapses after the control unit sets the head region, .

본 발명에서 운전자의 머리를 검출하여 추적하는 단계는, 제어부가 설정된 머리영역에서 학습결과를 기반으로 머리를 검출하여 추적한 결과를 출력하는 단계; 및 제어부가 추적한 결과에 대해 학습하는 단계를 포함하는 것을 특징으로 한다. The step of detecting and tracking the head of the driver in the present invention includes the steps of: detecting the head based on the learning result in the head region set by the control unit and outputting the tracked result; And learning the result tracked by the control unit.

본 발명에서 추적한 결과에 대해 학습하는 단계는, 제어부가 머리를 추적한 결과에 대해 머리영역과의 매칭정도와 신뢰도를 비교하여 학습하는 단계를 포함하는 것을 특징으로 한다. The step of learning about the result traced in the present invention includes a step of comparing the reliability of the result of tracking the head with the head area and the reliability.

본 발명에서 운전자의 머리를 검출하여 추적하는 단계는, 제어부가 학습 결과를 기반으로 검출한 머리와 추적한 머리의 신뢰도를 각각 비교하여 신뢰도가 높은 머리를 결과로 출력하는 것을 특징으로 한다. The step of detecting and tracking the driver's head according to the present invention is characterized in that the control unit compares the reliability of the head detected based on the learning result and the tracked head, respectively, and outputs a highly reliable head as a result.

본 발명에서 머리위치를 산출하는 단계는, 제어부가 촬영영상의 시점에 따른 좌표계를 월드 좌표계로 변환하여 깊이 정보를 기반으로 핸들로부터의 3차원 머리위치를 산출하는 것을 특징으로 한다. In the calculating of the head position in the present invention, the control unit converts the coordinate system according to the viewpoint of the photographed image into the world coordinate system, and calculates the three-dimensional head position from the handle based on the depth information.

본 발명의 일 측면에 따른 헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법은 운전자를 촬영한 촬영영상으로부터 운전자의 머리위치를 검출하여 눈 높이를 추적함으로써 헤드업 디스플레이의 표시 위치를 자동으로 조절하여 운전자의 최적화된 시선 내에 외부 시야와 더불어 주행에 필요한 정보를 디스플레이할 수 있다. An apparatus and method for adjusting the display position of a head-up display according to an aspect of the present invention includes a head position detecting unit for detecting a head position of a driver from an image taken by a driver, It is possible to display information necessary for driving together with an external view in an optimized line of sight of the vehicle.

도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 장치의 제어부를 나타낸 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 장치에 의한 표시상태를 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 방법을 설명하기 위한 흐름도이다. 1 is a block diagram illustrating an apparatus for adjusting the display position of a head-up display according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a controller of a display position adjusting apparatus of a head-up display according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 3 is a diagram illustrating a display state of a head-up display according to an exemplary embodiment of the present invention. Referring to FIG.
4 is a flowchart illustrating a method of adjusting a display position of a head-up display according to an exemplary embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an apparatus and method for adjusting a display position of a head-up display according to the present invention will be described with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 장치의 제어부를 나타낸 블록 구성도이며, 도 3은 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 장치에 의한 표시상태를 나타낸 예시도이다. FIG. 1 is a block diagram showing a display position adjusting apparatus of a head-up display according to an embodiment of the present invention, FIG. 2 is a block diagram showing a control unit of a display position adjusting apparatus of a head-up display according to an embodiment of the present invention, And FIG. 3 is an exemplary view illustrating a display state of the head-up display according to an embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 장치는, 운전자 촬영부(10), HUD 구동부(30) 및 제어부(20)를 포함한다. As shown in FIG. 1, the apparatus for adjusting the display position of a head-up display according to an embodiment of the present invention includes a driver photographing unit 10, a HUD driving unit 30, and a control unit 20.

운전자 촬영부(10)는 TOF(Time Of Flight) 카메라를 포함할 수 있다. The driver's photographing section 10 may include a TOF (Time Of Flight) camera.

TOF 카메라는 빛을 조사하여 반사되어 오는 시간을 측정하여 거리를 계산하는 방식을 사용하여 깊이 영상을 출력하는 카메라를 말한다. A TOF camera is a camera that outputs depth images using a method of calculating the distance by measuring the reflected time by irradiating light.

따라서 TOF 카메라를 통해 촬영된 촬영영상으로부터 깊이 정보를 추출하여 사물과의 거리를 측정할 수 있다. Therefore, depth information can be extracted from the photographed image captured through the TOF camera and the distance to the object can be measured.

HUD 구동부(30)는 도 3에 도시된 바와 같이 헤드업 디스플레이(미도시)에 표시되는 객체의 표시위치를 조절한다. The HUD driving unit 30 adjusts the display position of the object displayed in the head-up display (not shown) as shown in FIG.

여기서 HUD 구동부(30)는 운전자의 시선에 따라 반사거울(미도시)의 각도를 조절하는 등 다양한 방법을 통해 헤드업 디스플레이에 표시되는 객체의 표시위치를 위와 아래로 조절할 수 있다. Here, the HUD driving unit 30 can adjust the display position of the object displayed on the head-up display up and down through various methods such as adjusting the angle of the reflection mirror (not shown) according to the sight line of the driver.

제어부(20)는 운전자 촬영부(10)로부터 촬영된 촬영영상을 입력받아 촬영영상으로부터 운전자의 깊이를 추출하여 기본 머리분류 알고리즘을 통해 운전자의 머리영역을 설정하고, 설정된 머리영역에서 학습결과를 기반으로 운전자의 머리를 검출하여 추적하며, 추적 결과에 따라 머리위치를 산출하여 헤드업 디스플레이의 표시위치를 결정하고, 결정된 표시위치에 따라 HUD 구동부(30)를 제어하여 헤드업 디스플레이의 표시위치를 조절한다. The control unit 20 receives the photographed image photographed from the driver's photographing unit 10, extracts the depth of the driver from the photographed image, sets the head area of the driver through the basic head classification algorithm, Up display is determined by calculating the head position according to the tracking result, and the display position of the head-up display is controlled by controlling the HUD driving unit 30 according to the determined display position do.

여기서 본 실시예에 따른 제어부(20)는 도 2에 도시된 바와 같이 영상처리부(210), 머리 검출부(220), 머리 추적부(230), 머리위치 산출부(240) 및 표시위치 결정부(250)를 포함할 수 있다. 2, the controller 20 includes an image processor 210, a head detector 220, a head tracker 230, a head position calculator 240, and a display position determiner (not shown) 250).

영상처리부(210)는 운전자 촬영부(10)인 TOF(Time Of Flight) 카메라에서 촬영된 촬영영상으로부터 깊이 정보와 크기를 취득하여 그레이 단일 채널의 매트릭스 포맷으로 변환하여 전달한다. The image processing unit 210 acquires the depth information and the size from the photographed image taken by the TOF (Time Of Flight) camera, which is the driver's photographing unit 10, and converts the depth information and the size into a matrix format of gray single channel.

머리 검출부(220)는 영상처리부(210)에서 처리된 촬영영상으로부터 기본 머리분류 알고리즘을 기반으로 운전자의 머리영역을 설정한다. The head detecting unit 220 sets the head area of the driver based on the basic head classification algorithm from the captured image processed by the image processing unit 210. [

여기서 머리 검출부(220)는, 머리영역을 설정한 후 설정 프레임이 경과하면 머리 추적부(230)에서 출력되는 머리영역에서 머리를 검출하기 위한 검출영역과 검출한 머리에 대해 머리영역과의 매칭상태를 판단하여 머리영역을 재설정한다. Here, the head detecting unit 220 detects a head area in the head area output from the head tracking unit 230 after the setting frame has elapsed after setting the head area, and a matching state between the detected head and the head area And resets the head area.

머리 추적부(230)는 머리 검출부(220)에서 설정된 머리영역에서 실시간 학습결과를 기반으로 머리를 검출하여 추적한 결과를 출력하고, 추적한 결과에 대해 학습하여 추적 및 검출 신뢰도를 높일 수 있도록 한다. The head tracking unit 230 detects the head based on the real-time learning result in the head region set by the head detecting unit 220, outputs the tracked result, and learns the tracked result to increase the tracking and detection reliability .

여기서 머리 추적부(230)는 추적한 결과에 대해 머리영역과의 매칭정도와 신뢰도를 비교하여 학습하고, 학습 결과를 기반으로 검출한 머리와 추적한 머리의 신뢰도를 각각 비교하여 신뢰도가 높은 머리를 결과로 출력한다. Herein, the head tracking unit 230 compares the reliability of the tracking result with the degree of matching with the head region, and compares the reliability of the detected head and the tracked head based on the learning result, Output as a result.

이와 같이 머리 검출부(220)에서 머리영역을 설정하고, 머리 추적부(230)에서는 머리 검출부(220)에서 설정된 머리영역에서 머리를 검출하여 추적함으로써 처리 속도 및 시간을 향상시킬 수 있으며, 머리 검출부(220)는 머리영역을 설정한 후 설정 프레임이 경과할 경우 머리 추적부(230)에서 출력되는 검출영역과 검출한 머리에 대해 머리영역과의 매칭상태를 판단하여 머리영역을 재설정함으로써 머리영역 설정을 위한 처리시간을 단축시킬 수 있다. In this way, the head detection unit 220 sets a head region, and the head tracking unit 230 detects and tracks the head in the head region set by the head detection unit 220, thereby improving the processing speed and time. 220 determines a matching state between the detection area output from the head tracking unit 230 and the detected head when the set frame elapses after the setting of the head area, It is possible to shorten the processing time.

머리위치 산출부(240)는 머리 추적부(230)에서 출력된 머리에 대한 3차원 머리위치를 산출한다. The head position calculation unit 240 calculates the three-dimensional head position of the head output from the head tracking unit 230.

여기서 머리위치 산출부(240)는 운전자 촬영부(10)의 시점에 따른 좌표계를 월드 좌표계로 변환한 후 촬영영상으로부터 추출한 깊이 정보를 기반으로 핸들(미도시)로부터의 머리위치를 산출한다. Here, the head position calculating unit 240 converts the coordinate system according to the viewpoint of the driver's photographing unit 10 into the world coordinate system, and then calculates the head position from the handle (not shown) based on the depth information extracted from the captured image.

이와 같은 운전자 촬영부(10)의 시점에 따른 좌표계를 월드 좌표계로 변환하기 위한 운전자 촬영부(10)의 설치위치 및 핸들의 위치 등을 설정파일로 저장하여 구동 초기에 설정파일을 로딩하여 설정하는 것이 바람직하다. The installation location of the driver's photographing section 10 and the position of the handle for converting the coordinate system according to the viewpoint of the driver's photographing section 10 into the world coordinate system are stored as a setting file and the setting file is loaded and set at the initial stage of driving .

표시위치 결정부(250)는 머리위치 머리 산출부(240)에서 산출된 머리위치에 따라 헤드업 디스플레이의 표시위치를 결정한다. The display position determining unit 250 determines the display position of the head-up display according to the head position calculated by the head position calculating unit 240. [

이렇게 결정된 헤드업 디스플레이의 표시위치에 따라 HUD 구동부(30)는 헤드업 디스플레이에 표시되는 객체의 표시위치를 조절함으로써 운전자의 시선에 따라 객체를 표시할 수 있게 된다. According to the determined display position of the head-up display, the HUD driving unit 30 can display the object according to the driver's line of sight by adjusting the display position of the object displayed on the head-up display.

상술한 바와 같이, 본 발명의 실시예에 의한 헤드업 디스플레이의 표시 위치 조절 장치에 따르면, 운전자를 촬영한 촬영영상으로부터 운전자의 머리위치를 검출하여 눈 높이를 추적함으로써 헤드업 디스플레이의 표시 위치를 자동으로 조절하여 운전자의 최적화된 시선 내에 외부 시야와 더불어 주행에 필요한 정보를 디스플레이할 수 있다. As described above, according to the display position adjusting apparatus of the head-up display according to the embodiment of the present invention, the position of the head of the driver is detected from the photographed image of the driver, So that it is possible to display information necessary for driving together with the external field of view within the optimum line of sight of the driver.

도 4는 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 방법을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating a method of adjusting a display position of a head-up display according to an exemplary embodiment of the present invention.

도 4에 도시된 바와 같이 본 발명의 일 실시예에 따른 헤드업 디스플레이의 표시 위치 조절 방법에서는 먼저, 제어부(20)가 운전자 촬영부(10)인 TOF(Time Of Flight) 카메라로부터 촬영영상을 입력받는다(S10). 4, in the method of adjusting the display position of the head-up display according to the embodiment of the present invention, the control unit 20 first inputs a shot image from a TOF (Time Of Flight) camera, which is the driver's photographing unit 10 (S10).

여기서 TOF 카메라는 빛을 조사하여 반사되어 오는 시간을 측정하여 거리를 계산하는 방식을 사용하여 깊이 영상을 출력하는 카메라로써 TOF 카메라를 통해 촬영된 촬영영상으로부터 깊이 정보를 추출하여 사물과의 거리를 측정할 수 있다. Here, the TOF camera is a camera that outputs the depth image by using the method of calculating the distance by measuring the reflected time by irradiating the light. The depth information is extracted from the shot image taken through the TOF camera and the distance from the object is measured can do.

S10 단계에서 촬영영상을 입력받은 제어부(20)는, 촬영영상으로부터 깊이 정보와 크기를 추출하여 그레이 단일 채널의 매트릭스 포맷으로 변환하는 영상처리를 수행한다(S20). The controller 20 receives the photographed image in step S10, and performs image processing for extracting depth information and size from the photographed image and converting the extracted depth information and size into a gray single-channel matrix format (S20).

S20 단계에서 영상 처리된 촬영영상을 전달받은 제어부(20)는, 학습모델 기반의 기본 머리분류 알고리즘을 통해 운전자의 머리영역을 설정한다(S30). In step S30, the controller 20 receives the imaged image in step S20, and sets the head area of the driver through the basic model classification based on the learning model.

여기서 제어부(20)는, 머리영역을 설정한 후 설정 프레임이 경과하면 머리영역에서 머리를 검출하기 위한 검출영역과 검출한 머리에 대해 머리영역과의 매칭상태를 판단하여 머리영역을 재설정 할 수 있다. Here, the controller 20 can reset the head area by determining the matching state between the detected area for detecting the head in the head area and the detected head when the set frame elapses after setting the head area .

S30 단계에서 촬영영상으로부터 운전자의 머리영역을 설정한 후 제어부(20)는 설정된 머리영역에서 실시간 학습결과를 기반으로 운전자의 머리를 검출하여 추적한다(S40). After setting the head area of the driver from the photographed image in step S30, the controller 20 detects and tracks the head of the driver based on the real-time learning result in the set head area (S40).

그리고 제어부(20)는 추적한 결과에 대해 학습하여 추적 및 검출 신뢰도를 높일 수 있도록 할 수도 있다. The controller 20 may learn the tracking result to increase tracking and detection reliability.

여기서, 제어부(20)는 추적한 결과에 대해 머리영역과의 매칭정도와 신뢰도를 비교하여 학습하고, 학습 결과를 기반으로 검출한 머리와 추적한 머리의 신뢰도를 각각 비교하여 신뢰도가 높은 머리를 결과로 출력한다. Here, the controller 20 compares the reliability of the tracking result with the degree of matching with the head area, and compares the reliability of the detected head and the tracked head based on the learning results, .

이와 같이 제어부(20)는 먼저 기본 머리분류 알고리즘을 통해 촬영영상에서 머리영역을 설정한 후 설정된 머리영역에서 머리를 검출하여 추적함으로써 처리 속도 및 시간을 향상시킬 수 있으며, 머리영역을 설정한 후 설정 프레임이 경과할 경우 추적한 검출영역과 검출한 머리에 대해 머리영역과의 매칭상태를 판단하여 머리영역을 재설정함으로써 머리영역 설정을 위한 처리시간을 단축시킬 수도 있다. In this way, the control unit 20 can first increase the processing speed and time by detecting the head in the set head region after setting the head region in the shot image through the basic head classification algorithm, and setting the head region It is possible to shorten the processing time for setting the head area by determining the matching state between the tracked detection area and the detected head when the frame elapses and resetting the head area.

S40 단계에서 운전자의 머리를 검출하여 추적한 결과에 따라 제어부(20)는 머리위치를 산출한다(S50). In step S40, the controller 20 calculates the head position according to the result of detecting and tracking the head of the driver (S50).

여기서 제어부(20)는 촬영영상의 시점에 따른 좌표계를 월드 좌표계로 변환하여 깊이 정보를 기반으로 핸들(미도시)로부터의 3차원 머리위치를 산출할 수 있다. Here, the control unit 20 may convert the coordinate system according to the viewpoint of the photographed image into the world coordinate system, and calculate the 3D head position from the handle (not shown) based on the depth information.

이때 제어부(20)는 운전자 촬영부(10)의 시점에 따른 좌표계를 월드 좌표계로 변환하기 위한 운전자 촬영부(10)의 설치위치 및 핸들의 위치 등을 설정파일로 저장하여 구동 초기에 설정파일을 로딩하여 설정하는 것이 바람직하다. At this time, the control unit 20 stores the setting position of the driver's photographing unit 10 and the position of the handle for converting the coordinate system according to the viewpoint of the driver's photographing unit 10 into the world coordinate system as a setting file, It is preferable to set it by loading.

S50 단계에서 산출된 머리위치를 기반으로 제어부(20)는 헤드업 디스플레이에 표시되는 객체의 표시위치를 결정한다(S60). The controller 20 determines the display position of the object displayed on the head-up display based on the head position calculated in operation S50 (S60).

S60 단계에서 결정된 헤드업 디스플레이에 표시되는 객체의 표시위치에 따라 제어부(20)는 HUD 구동부(30)를 제어하여 도 3에 도시된 바와 같이 헤드업 디스플레이에 표시되는 객체의 표시위치를 조절할 수 있다(S70). The control unit 20 controls the HUD driving unit 30 according to the display position of the object displayed on the head-up display determined in step S60 to adjust the display position of the object displayed on the head-up display as shown in FIG. 3 (S70).

상술한 바와 같이, 본 발명의 실시예에 의한 헤드업 디스플레이의 표시 위치 조절 방법에 따르면, 운전자를 촬영한 촬영영상으로부터 운전자의 머리위치를 검출하여 눈 높이를 추적함으로써 헤드업 디스플레이의 표시 위치를 자동으로 조절하여 운전자의 최적화된 시선 내에 외부 시야와 더불어 주행에 필요한 정보를 디스플레이할 수 있다. As described above, according to the method for adjusting the display position of the head-up display according to the embodiment of the present invention, the position of the driver's head is detected from the taken image of the driver, So that it is possible to display information necessary for driving together with the external field of view within the optimum line of sight of the driver.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. I will understand.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Accordingly, the true scope of the present invention should be determined by the following claims.

10 : 운전자 촬영부 20 : 제어부
30 : HUD 구동부 210 : 영상 처리부
220 : 머리 검출부 230 : 머리 추적부
240 : 머리위치 산출부 250 : 표시위치 결정부 10: driver photographing part 20: control part
30: HUD driver 210:
220: head detecting unit 230: head tracking unit
240: head position calculating section 250: display position determining section

Claims (15)

운전자를 촬영하는 운전자 촬영부;
헤드업 디스플레이에 표시되는 객체의 표시위치를 조절하는 HUD 구동부; 및
상기 운전자 촬영부로부터 촬영된 촬영영상을 입력받아 상기 촬영영상으로부터 상기 운전자의 깊이를 추출하여 기본 머리분류 알고리즘을 통해 상기 운전자의 머리영역을 설정하고, 설정된 상기 머리영역에서 학습결과를 기반으로 상기 운전자의 머리를 검출하여 추적하며, 추적 결과에 따라 머리위치를 산출하여 상기 헤드업 디스플레이에 표시되는 상기 객체의 상기 표시위치를 결정하고, 결정된 상기 표시위치에 따라 상기 HUD 구동부를 제어하여 상기 헤드업 디스플레이의 상기 표시위치를 조절하는 상기 제어부를 포함하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 장치.
A driver photographing section for photographing the driver;
A HUD driving unit for adjusting a display position of an object displayed on the head-up display; And
And a controller for setting a head area of the driver through a basic head classification algorithm by extracting a depth of the driver from the photographed image by receiving the photographed image photographed from the driver photographing part, Up display, determining the display position of the object displayed on the head-up display by calculating the head position according to the tracking result, and controlling the HUD driving unit according to the determined display position, And the controller controls the display position of the head-up display.
제 1항에 있어서, 상기 운전자 촬영부는 TOF(Time Of Flight) 카메라를 포함하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 장치.
The apparatus of claim 1, wherein the driver photographing unit includes a TOF (Time Of Flight) camera.
제 1항에 있어서, 상기 제어부는, 상기 촬영영상으로부터 깊이 정보를 취득하여 그레이 단일 채널의 매트릭스 포맷으로 변환하는 영상처리부;
상기 영상처리부에서 처리된 상기 촬영영상으로부터 기본 머리분류 알고리즘을 기반으로 상기 운전자의 상기 머리영역을 설정하는 머리 검출부;
상기 머리 검출부에서 설정된 상기 머리영역에서 학습결과를 기반으로 상기 머리를 검출하여 추적한 결과를 출력하고, 추적한 결과에 대해 학습하는 머리 추적부;
상기 머리 추적부에서 출력된 상기 머리에 대한 3차원 머리위치를 산출하는 머리위치 산출부; 및
상기 머리위치 머리 산출부에서 산출된 상기 머리위치에 따라 상기 헤드업 디스플레이에 표시되는 상기 객체의 상기 표시위치를 결정하는 표시위치 결정부;를 포함하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 장치.
The apparatus of claim 1, wherein the control unit comprises: an image processing unit for acquiring depth information from the photographed image and converting the acquired depth information into a gray single-channel matrix format;
A head detector configured to set the head area of the driver based on a basic head classification algorithm from the photographed image processed by the image processor;
A head tracking unit for detecting and tracking the head based on the learning result in the head region set by the head detecting unit, and learning about the tracked result;
A head position calculation unit for calculating a three-dimensional head position of the head output from the head tracking unit; And
And a display position determining unit for determining the display position of the object displayed on the head-up display according to the head position calculated by the head position calculating unit .
제 3항에 있어서, 상기 머리 검출부는, 상기 머리영역을 설정한 후 설정 프레임이 경과하면 상기 머리 추적부에서 출력되는 검출영역과 검출한 상기 머리에 대해 상기 머리영역과의 매칭상태를 판단하여 상기 머리영역을 재설정하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 장치.
The apparatus according to claim 3, wherein the head detecting unit determines a matching state between the detected area output from the head tracking unit and the detected head with respect to the head area after the setting frame elapses after setting the head area, And the head area is reset.
제 3항에 있어서, 상기 머리 추적부는 추적한 결과에 대해 상기 머리영역과의 매칭정도와 신뢰도를 비교하여 학습하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 장치.
4. The apparatus of claim 3, wherein the head tracking unit learns the tracking result by comparing the degree of matching with the head area and the reliability.
제 3항에 있어서, 상기 머리 추적부는 학습 결과를 기반으로 검출한 머리와 추적한 머리의 신뢰도를 각각 비교하여 신뢰도가 높은 머리를 결과로 출력하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 장치.
The apparatus of claim 3, wherein the head tracking unit compares the reliability of the head detected based on the learning result with the reliability of the head, and outputs a highly reliable head as a result.
제 3항에 있어서, 상기 머리위치 산출부는, 상기 운전자 촬영부의 시점에 따른 좌표계를 월드 좌표계로 변환하여 상기 깊이 정보를 기반으로 핸들로부터의 상기 머리위치를 산출하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 장치.
4. The head-up display according to claim 3, wherein the head position calculating unit converts the coordinate system according to the viewpoint of the driver's photographing unit into a world coordinate system and calculates the head position from the handle based on the depth information Position adjusting device.
제어부가 촬영영상을 입력받아 깊이 정보를 추출하여 영상 처리하는 단계;
상기 제어부가 기본 머리분류 알고리즘을 통해 운전자의 머리영역을 설정하는 단계;
상기 제어부가 설정된 상기 머리영역에서 학습결과를 기반으로 상기 운전자의 상기 머리를 검출하여 추적하는 단계;
상기 제어부가 추적 결과에 따라 머리위치를 산출하는 단계;
상기 제어부가 산출된 상기 머리위치를 기반으로 헤드업 디스플레이에 표시되는 객체의 표시위치를 결정하는 단계; 및
상기 제어부가 결정된 상기 표시위치에 따라 HUD 구동부를 제어하여 상기 헤드업 디스플레이의 상기 표시위치를 조절하는 단계를 포함하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법.
Extracting depth information from the captured image and processing the processed image;
Setting the head area of the driver through the basic head classification algorithm;
Detecting and tracking the head of the driver based on the learning result in the head area set by the controller;
Calculating a head position according to a tracking result;
Determining a display position of an object displayed on the head-up display based on the calculated head position; And
And controlling the display position of the head-up display by controlling the HUD driving unit according to the display position determined by the controller.
제 8항에 있어서, 상기 영상 처리하는 단계는, 상기 제어부가 TOF(Time Of Flight) 카메라로부터 상기 촬영영상을 입력받아 상기 깊이 정보를 취득하여 그레이 단일 채널의 매트릭스 포맷으로 변환하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법.
The method according to claim 8, wherein the image processing step comprises: the controller receives the photographed image from a time-of-flight (TOF) camera, and acquires the depth information to convert the photographed image into a gray single- Up display.
제 8항에 있어서, 상기 머리영역을 설정하는 단계는, 상기 제어부가 상기 촬영영상으로부터 상기 기본 머리분류 알고리즘을 기반으로 상기 운전자의 상기 머리영역을 설정하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법.
9. The method according to claim 8, wherein the step of setting the head region sets the head region of the driver based on the basic head classification algorithm from the captured image. Way.
제 8항에 있어서, 상기 머리영역을 설정하는 단계는, 상기 제어부가 상기 머리영역을 설정한 후 설정 프레임이 경과하면 상기 머리의 추적을 위한 검출영역과 검출한 상기 머리에 대해 상기 머리영역과의 매칭상태를 판단하여 상기 머리영역을 재설정하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법.
9. The method of claim 8, wherein the setting of the head region comprises: setting the head region to be in contact with the head region when the set frame has elapsed after the controller sets the head region; And determining the matching state to reset the head area.
제 8항에 있어서, 상기 운전자의 상기 머리를 검출하여 추적하는 단계는, 상기 제어부가 설정된 상기 머리영역에서 학습결과를 기반으로 상기 머리를 검출하여 추적한 결과를 출력하는 단계; 및
상기 제어부가 추적한 결과에 대해 학습하는 단계를 포함하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법.
9. The method of claim 8, wherein detecting and tracking the head of the driver comprises: detecting the head based on the learning result in the head region set by the controller and outputting the tracked result; And
And a step of learning about a result tracked by the controller.
제 12항에 있어서, 상기 추적한 결과에 대해 학습하는 단계는, 상기 제어부가 상기 머리를 추적한 결과에 대해 상기 머리영역과의 매칭정도와 신뢰도를 비교하여 학습하는 단계를 포함하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법.
13. The method of claim 12, wherein the step of learning about the tracked result comprises comparing the degree of matching with the head area and the reliability of the result of tracking the head, How to adjust the display position of the head-up display.
제 8항에 있어서, 상기 운전자의 상기 머리를 검출하여 추적하는 단계는, 상기 제어부가 학습 결과를 기반으로 검출한 머리와 추적한 머리의 신뢰도를 각각 비교하여 신뢰도가 높은 머리를 결과로 출력하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법.
9. The method of claim 8, wherein the step of detecting and tracking the head of the driver comprises: comparing the reliability of the head detected by the controller based on the learning result and the tracked head, Wherein the display position of the head-up display is adjusted.
제 8항에 있어서, 상기 머리위치를 산출하는 단계는, 상기 제어부가 상기 촬영영상의 시점에 따른 좌표계를 월드 좌표계로 변환하여 상기 깊이 정보를 기반으로 핸들로부터의 3차원 머리위치를 산출하는 것을 특징으로 하는 헤드업 디스플레이의 표시 위치 조절 방법. The method as claimed in claim 8, wherein the step of calculating the head position comprises: a step of converting the coordinate system corresponding to the viewpoint of the photographed image into a world coordinate system and calculating a three-dimensional head position from the handle based on the depth information, Of the head-up display.
KR1020170076531A 2017-06-16 2017-06-16 Apparatus for adjusting display position of head up display and method thereof KR102320511B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170076531A KR102320511B1 (en) 2017-06-16 2017-06-16 Apparatus for adjusting display position of head up display and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170076531A KR102320511B1 (en) 2017-06-16 2017-06-16 Apparatus for adjusting display position of head up display and method thereof

Publications (2)

Publication Number Publication Date
KR20180137193A true KR20180137193A (en) 2018-12-27
KR102320511B1 KR102320511B1 (en) 2021-11-02

Family

ID=64953242

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170076531A KR102320511B1 (en) 2017-06-16 2017-06-16 Apparatus for adjusting display position of head up display and method thereof

Country Status (1)

Country Link
KR (1) KR102320511B1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229752A (en) * 2008-03-21 2009-10-08 Toshiba Corp Display device, display method and headup display
JP2011240813A (en) * 2010-05-18 2011-12-01 Toshiba Alpine Automotive Technology Corp Device and method for vehicular display
KR20130012629A (en) * 2011-07-26 2013-02-05 한국과학기술원 Augmented reality system for head-up display
KR20150057703A (en) * 2013-11-20 2015-05-28 금오공과대학교 산학협력단 Augmented Reality Navigation on Vehicle Windshield
JP2015106252A (en) * 2013-11-29 2015-06-08 シャープ株式会社 Face direction detection device and three-dimensional measurement device
JP2016210212A (en) * 2015-04-30 2016-12-15 株式会社リコー Information providing device, information providing method and control program for information provision
KR20170002330A (en) * 2015-06-29 2017-01-06 주식회사 와이즈오토모티브 Driver-customized display variable apparatus and method for controlling the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009229752A (en) * 2008-03-21 2009-10-08 Toshiba Corp Display device, display method and headup display
JP2011240813A (en) * 2010-05-18 2011-12-01 Toshiba Alpine Automotive Technology Corp Device and method for vehicular display
KR20130012629A (en) * 2011-07-26 2013-02-05 한국과학기술원 Augmented reality system for head-up display
KR20150057703A (en) * 2013-11-20 2015-05-28 금오공과대학교 산학협력단 Augmented Reality Navigation on Vehicle Windshield
JP2015106252A (en) * 2013-11-29 2015-06-08 シャープ株式会社 Face direction detection device and three-dimensional measurement device
JP2016210212A (en) * 2015-04-30 2016-12-15 株式会社リコー Information providing device, information providing method and control program for information provision
KR20170002330A (en) * 2015-06-29 2017-01-06 주식회사 와이즈오토모티브 Driver-customized display variable apparatus and method for controlling the same

Also Published As

Publication number Publication date
KR102320511B1 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
JP7161410B2 (en) System and method for identifying camera pose in scene
EP2338416B1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
JP4277081B2 (en) Driving assistance device
JP7163129B2 (en) Object tracking method and apparatus
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US10634918B2 (en) Internal edge verification
US9436878B2 (en) Lane mark recognition device
US20220180483A1 (en) Image processing device, image processing method, and program
TWI522257B (en) Vehicle safety system and operating method thereof
JPWO2007069489A1 (en) Safe driving support device
US11024040B2 (en) Dynamic object tracking
CN110703904A (en) Augmented virtual reality projection method and system based on sight tracking
KR20160025313A (en) Apparatus and method for displaying vehicle information
KR20140137577A (en) Apparatus and method for providing vehicle of circumference environment information
KR20170060652A (en) Apparatus for matching coordinate of head-up display
US11694345B2 (en) Moving object tracking using object and scene trackers
US11427206B2 (en) Vehicle operation assistance device, vehicle operation assistance method, and program
US20160092743A1 (en) Apparatus and method for measuring a gaze
KR20180137193A (en) Apparatus for adjusting display position of head up display and method thereof
US10996747B2 (en) Line-of-sight detection device, line-of-sight detection method, and medium
KR101846330B1 (en) Apparatus for controlling obstacle display and method thereof
KR20120063770A (en) A method for improving detection performance of sensor fusion algorithm and a system thereof
KR101628688B1 (en) Method for controlling output of head up display image and apparatus thereof
US20240059269A1 (en) Apparatus and method for steering adjustment
KR20180026418A (en) Apparatus for matching coordinate of head-up display

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant