KR20150072074A - System and control method for gesture recognition of vehicle - Google Patents

System and control method for gesture recognition of vehicle Download PDF

Info

Publication number
KR20150072074A
KR20150072074A KR1020130159334A KR20130159334A KR20150072074A KR 20150072074 A KR20150072074 A KR 20150072074A KR 1020130159334 A KR1020130159334 A KR 1020130159334A KR 20130159334 A KR20130159334 A KR 20130159334A KR 20150072074 A KR20150072074 A KR 20150072074A
Authority
KR
South Korea
Prior art keywords
gesture
display
hud
vehicle
function
Prior art date
Application number
KR1020130159334A
Other languages
Korean (ko)
Other versions
KR102029842B1 (en
Inventor
김선아
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130159334A priority Critical patent/KR102029842B1/en
Publication of KR20150072074A publication Critical patent/KR20150072074A/en
Application granted granted Critical
Publication of KR102029842B1 publication Critical patent/KR102029842B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/005—Electro-mechanical devices, e.g. switched

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A vehicle gesture recognition system and a control method thereof are disclosed. The vehicle gesture recognition system according to an embodiment of the present invention comprises: a camera unit installed inside a vehicle to take images inside a vehicle; a display unit comprising a number of display devices including head-up display (HUD) which shows the operation resulting from the control of all kinds of convenient features within a vehicle; a storage unit to store gesture setting information matching all kinds of convenient features within the vehicle and a start-gesture command, which selectively starts the recognition of a gesture for each feature and displays the recognition of the gesture on a designated display device; a gesture recognition unit to track the position of a user hand to detect the touch of a user hand on a touch area of a first feature, and recognize the start-gesture command to move to the area of a first display device upon touch; and a control unit to execute the first feature upon recognition of the start-gesture command and display the operation of the first feature on the first display device.

Description

차량 제스처 인식 시스템 및 그 제어 방법{SYSTEM AND CONTROL METHOD FOR GESTURE RECOGNITION OF VEHICLE}Technical Field [0001] The present invention relates to a vehicle gesture recognition system,

본 발명은 차량 제스처 인식 시스템 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 차량 내 복수의 디스플레이와 연계하여 제스처 인식을 시작하고 그 표시된 정보를 교환하는 제스처 인식 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a vehicle gesture recognition system and a control method thereof, and more particularly, to a gesture recognition system and a control method thereof that start gesture recognition in association with a plurality of displays in a vehicle and exchange the displayed information.

일반적으로 차량에 적용되는 카메라 기반 제스처 인식 시스템은 사용자가 차량 내 각종 편의 기능을 제스처를 통해 안전하고 편리하게 조작할 수 있도록 하는 신개념의 사용자 인터페이스로(UI)로 적용되고 있다.In general, a camera-based gesture recognition system applied to a vehicle is applied as a new conceptual user interface (UI) that allows a user to safely and conveniently operate various convenience functions through a gesture.

이러한 카메라 기반 제스처 인식 시스템에서는 사용자의 제스처 입력을 정확히 인식하는 인식 성공률과 획득된 영상에서 제스처 인식을 빠르게 처리하는 응답성이 매우 중요한 요소로 여겨지고 있다.In this camera - based gesture recognition system, it is considered that the recognition success rate that accurately recognizes user 's gesture input and the responsiveness to quickly process the gesture recognition in the acquired image are very important factors.

종래의 제스처 인식 시스템은 제스처 시작 버튼이 존재하여 제스처 시작(ON) 버튼을 누른 후에 제스처 인식을 시작할 수 있으며, 제스처 입력이 되면 종료(OFF) 버튼을 눌러 제스처 인식을 종료해야 하는 불편함이 있다.In the conventional gesture recognition system, there is a gesture start button to start the gesture recognition after the start gesture ON button is pressed, and when the gesture input is made, there is an inconvenience to end the gesture recognition by pressing the OFF button.

한편, 차량에는 운전 및 탑승자의 편의를 위한 사이드브레이크, 도어, 공조, 램프, AV 시스템(Audio Visual System), DIS(Diagnostic Information System) 시스템, 썬루프, 열선시트, 통풍시트, 와이퍼 스위치, 시트 변경, 헤드업 디스플레이(Head Up Display, HUD), 텔레매틱스 기능 등의 다양한 편의 기능이 적용되고 있다.On the other hand, the vehicle is provided with a side brake, a door, an air conditioner, a lamp, an audio visual system, a diagnostic information system (DIS) system, a sunroof, a heating sheet, a ventilation sheet, , Head Up Display (HUD), and Telematics function.

반면에 사용자가 취할 수 있는 제스처는 그 수가 한정되어 있기 때문에 차량에 적용된 다양한 편의기능을 일일이 시작하기 위한 제스처를 구별하는 데에는 한계가 있다.On the other hand, since the number of gestures that a user can take is limited, there is a limit to distinguishing gestures for starting various convenience functions applied to a vehicle.

그렇다고, 제스처의 종류가 많아지거나 이를 위해 제스처가 복잡해지는 경우 사용자가 기능별로 매칭된 제스처를 기억하기 어려울 뿐 아니라, 제스처 인식 시스템이 복잡한 제스처를 인식하는 데에도 어려움이 있어 인식 성공률이 떨어지는 문제점이 있다.However, when the number of kinds of gestures is increased or the gesture is complicated for the user, it is difficult for the user to remember the gesture matched to each function, and the gesture recognition system has difficulties in recognizing the complicated gesture, .

한편, 최근 차량에는 적용되고 있는 헤드업 디스플레이(Head Up Display, HUD)는 운전자 앞창의 가시영역 내에 운전에 필요한 정보를 제공하므로, 운전자의 시선이 분산 없이 도로교통 상황에만 정신을 집중할 수 있어서 안전운전을 지원하고 있다.On the other hand, the Head Up Display (HUD), which is applied to recent vehicles, provides information necessary for driving in the visible area of the driver's front window, so that the driver's attention can be focused only on the road traffic situation, .

그러나, HUD는 특성상 표시되는 정보를 선명하게 볼 수 있는 가시범위(Eyebox)가 한정되어 있어 그 정보를 동승자와 공유하는데 어려움이 있으며, 그로인해 차량의 기능 조작이 운전자에게 집중되는 문제점이 있다.However, due to the nature of the HUD, there is a limited visual range (Eyebox) in which the displayed information can be clearly seen, and it is difficult to share the information with the passenger, thereby causing a problem that the function of the vehicle is manipulated by the driver.

따라서, 차량용 제스처 인식 시스템을 개발하는데 있어서 그 시작 및 제스처 입력이 용이하고, 표시된 정보를 공유할 수 있는 방안이 절실히 요구된다.Accordingly, in developing a gesture recognition system for a vehicle, it is urgently required to start and input gestures easily and to share displayed information.

본 발명의 실시 예는 사용자의 시작 인식 제스처를 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있는 차량 제스처 인식 시스템 및 그 제어 방법을 제공하고자 한다.The embodiment of the present invention is a vehicle gesture recognition apparatus that starts recognizing gestures of each function of a vehicle through a start recognition gesture of a user and can share a function operation by freely exchanging information displayed according to a specific function execution with a passenger through gesture recognition System and a control method thereof.

본 발명의 일 측면에 따르면, 차량 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부; 차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디플레이 장치에 표시하는 시작 제스처 명령을 저장하는 저장부; 사용자의 손위치를 추적 하여 사용자의 손이 제1 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및 상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함한다.According to an aspect of the present invention, a vehicle gesture recognition system includes: a camera unit installed in a vehicle and photographing the inside of the vehicle; A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle; A storage unit for storing gesture setting information matched with various convenience functions in the vehicle, and a start gesture instruction for selectively starting gesture recognition for each function and displaying the gesture recognition on a designated display device; A gesture recognizing unit for recognizing a start gesture instruction for tracing a user's hand position to detect that the user's hand touches the touch region of the first function and moving to the first display device region after the touch is performed; And a controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device.

한편, 본 발명의 일 측면에 따른, 차량 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 차량 내 편의 기능별 조작 부위에 각각 설치되어 사용자의 손이 제1 기능의 조작 부위를 터치하는 것을 검출하는 터치센서; 차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부; 차량 내 편의 기능과 매칭되는 제스처 설정정보를 저장하는 저장부; 카메라부를 통해 상기 손이 상기 제1 기능의 터치가 이루어진 후 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및 상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a vehicle gesture recognition system including: a camera unit installed in a vehicle and photographing an inside of the vehicle; A touch sensor which is provided at each function-based operation portion of the vehicle and detects that the user's hand touches the operation portion of the first function; A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle; A storage unit for storing gesture setting information matched with a function in the vehicle; A gesture recognition unit for recognizing a start gesture command that the hand moves to a first display device area after a touch of the first function is made through the camera unit; And a controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device.

한편, 본 발명의 일 측면에 따른, 차량 제스처 인식 시스템 제어 방법은, a) 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(Head Up Display)이 지정된 시작 제스처 명령을 인식하는 단계; b) 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 운전석 측의 상기 제1 HUD에 표시하는 단계; c) 사용자의 손 위치를 추적하여 사용자의 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 d) 상기 제1 HUD에서 표시하고 있는 화면을 제2 HUD로 전환하여 표시하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for controlling a vehicle gesture recognition system, comprising the steps of: a) touching a touch region of a first function for which a user's hand desires to operate; ; b) executing the first function matched to the start gesture command and displaying the operation screen of the first function on the first HUD on the driver's seat side; c) tracking a hand position of the user and recognizing a display switching gesture command in which the user's hand moves from the first HUD area to the second HUD area on the assistant seat side; And d) switching the screen displayed in the first HUD to the second HUD and displaying the screen.

한편, 본 발명의 일 측면에 따른, 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법은, a) 차량의 블루투스와 연동된 휴대폰으로 전화가 오면 운전석 측의 제1 HUD(Head Up Display)에 착신 화면을 표시하는 단계; b) 상기 착신으로 인해 제스처 인식 기능을 자동으로 시작하는 단계; c) 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 d) 상기 제1 HUD에서 표시하고 있는 상기 착신 화면을 보조석 측의 제2 HUD로 전환하여 표시하는 단계를 포함한다.Meanwhile, according to an aspect of the present invention, a method of controlling a vehicle gesture recognition system according to an external start function includes the steps of: a) when a phone calls to a mobile phone interfaced with Bluetooth of a vehicle, the first HUD (Head Up Display) Displaying an incoming call screen; b) automatically starting the gesture recognition function due to the incoming call; c) tracking a hand position of the driver to recognize a display switching gesture command that the hand moves from the first HUD area to the second HUD area on the assistant seat side; And d) switching the incoming call screen displayed in the first HUD to a second HUD on the assistant's seat side and displaying the converted incoming call screen.

또한, 본 발명의 일 측면에 따른, 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법은, a) 차량의 후진 변속기 조작에 따른 후방 카메라 작동화면을 운전자 측의 제1 HUD(Head Up Display)에 표시하는 단계; b) 카메라부를 통해 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 뒷창 측의 제3 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 c) 상기 제1 HUD에서 표시하고 있는 상기 후방 카메라화면을 상기 제3 HUD로 전환하여 표시하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of controlling a vehicle gesture recognition system in accordance with an aspect of the present invention, including the steps of: a) displaying a rear camera operation screen according to an operation of a reverse transmission of a vehicle on a first HUD (Head Up Display) step; b) tracking a driver's hand position through the camera unit to recognize a display switching gesture command that the hand moves from the first HUD area to a third HUD area on the rear window side; And c) switching the rear camera screen displayed in the first HUD to the third HUD and displaying the converted rear camera screen.

본 발명의 실시 예에 따르면, 사용자의 시작 제스처 인식을 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있다.According to the embodiment of the present invention, it is possible to start recognizing gestures of each function of the vehicle through the recognition of the start gesture of the user, and to share the function operation by freely exchanging information displayed according to the execution of the specific function with the passenger through gesture recognition.

또한, 차량 내 각종 편의 기능을 조작하기 위해서 따로 포즈 제스처를 사용해야 할 필요가 없으므로 사용자가 일일이 기능 실행을 위한 포즈 제스처를 기억해야 하는 불편이 없으며 직접 기기를 터치 후 디스플레이 방향으로 밀듯이 이동하는 동작만으로 기기를 선택할 수 있어 편의성을 향상시킬 수 있다.In addition, there is no need to use a pause gesture to operate various convenience functions in the vehicle, so there is no inconvenience that a user has to memorize a pause gesture for performing a function individually, and only by directly moving the device, So that convenience can be improved.

도 1은 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.
도 2는 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.
도 3은 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 측면에 따른 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.
도 6은 본 발명의 일 측면에 따른 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.
도 7은 본 발명의 일 측면에 따른 동승자간 표시정보를 교환하는 차량 제스처 인식 시스템 제어 방법을 나타낸다.1 schematically shows a configuration of a vehicle gesture recognition system according to a first embodiment of the present invention.
2 schematically shows a configuration of a vehicle gesture recognition system according to a second embodiment of the present invention.
3 is a flowchart illustrating a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.
4 is a diagram for explaining a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.
FIG. 5 illustrates a method of controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.
6 illustrates a method of controlling a vehicle gesture recognition system according to an aspect of the present invention.
FIG. 7 illustrates a method of controlling a vehicle gesture recognition system for exchanging passenger display information according to an aspect of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

이제 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 및 그 제어 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.Now, a vehicle gesture recognition system and a control method thereof according to an embodiment of the present invention will be described in detail with reference to the drawings.

[제1 실시 예][First Embodiment]

도 1은 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.1 schematically shows a configuration of a vehicle gesture recognition system according to a first embodiment of the present invention.

첨부된 도 1을 참조하면, 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템(100)은 카메라부(110), 표시부(120), 저장부(130), 제스처 인식부(140) 및 제어부(150)를 포함한다.1, a vehicle gesture recognition system 100 according to a first embodiment of the present invention includes a camera unit 110, a display unit 120, a storage unit 130, a gesture recognition unit 140, (150).

카메라부(110)는 차량 내 설치되어 차량 내부를 촬영하고 촬영된 영상을 제스처 인식부(140)로 전달한다.The camera unit 110 is installed in the vehicle, photographs the inside of the vehicle, and transmits the photographed image to the gesture recognition unit 140.

카메라부(110)는 적외선 기능을 가지는 3차원 비전센서 또는 스테레오 카메라로 구성하여 손 위치를 3D(X, Y, Z)로 검출하도록 구성할 수 있다.The camera unit 110 may be configured to detect a hand position in 3D (X, Y, Z) by using a 3D vision sensor or a stereo camera having an infrared function.

표시부(120)는 차량 내 각종 편의 기능제어에 따른 동작상태를 표시하는 복수의 디스플레이 장치를 포함한다.The display unit 120 includes a plurality of display devices for displaying an operation state according to various convenience function controls in the vehicle.

예컨대, 표시부(120)는 차량 기능 동작상태에 따른 영상 데이터를 수신하여 운전석 앞창에 표시하는 제1 HUD(121) 및 보조석 앞창에 표시하는 제2 HUD(122)를 포함할 수 있다.For example, the display unit 120 may include a first HUD 121 for receiving image data according to a vehicle function operating state and displaying the image data on the front side of the driver's seat, and a second HUD 122 for displaying the front side of the assistant's seat.

그리고, 도 1에서는 생략되었으나, 수신된 영상 데이터를 뒷창(Back window)에 표시하는 제3 HUD(123), 후석 좌측 디스플레이(124) 및 후석 우측 디스플레이(125) 중 적어도 하나를 포함할 수 있다.And may include at least one of a third HUD 123, a left side display 124 and a right side display 125, which are not shown in FIG. 1, but display the received image data in a back window.

저장부(130)는 제스처 인식 시스템(100)의 구현을 위한 각종 설정 정보 및 프로그램을 저장하고, 제스처 인식 시스템(100)의 구동에 따라 생성되는 데이터를 저장한다.The storage unit 130 stores various setting information and programs for the implementation of the gesture recognition system 100 and stores data generated according to the operation of the gesture recognition system 100. [

저장부(130)는 차량 내 각종 편의 기능별로 매칭되는 제스처 정보를 저장하고, 별도의 시작 버튼 입력 없이 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디플레이 장치에 표시하도록 하는 시작 제스처 명령을 저장한다. The storage unit 130 stores gesture information that is matched according to various convenience functions in the vehicle and stores a start gesture command for selectively starting gesture recognition for each function without inputting a separate start button and displaying the gesture recognition on a designated display device.

예컨대, 저장부(130)는 사용자의 손이 특정 기능의 조작계가 위치한 부위(이하, 터치영역이라 명명함)를 터치하고 특정 디스플레이장치가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 저장한다.For example, the storage unit 130 stores a start gesture instruction that touches a site where a user's hand is located where a specific function's operation system is located (hereinafter referred to as a touch area) and moves in a direction in which the specific display device is located.

이를 위해, 저장부(130)는 차량 내부의 공간 좌표계 기반, 도 1에서와 같이 AVN, 썬루프, 공조 기능, 클러스터, 시트 조절기능 등의 조작계가 위치한 부위별 터치영역을 설정하여 저장할 수 있다.To this end, the storage unit 130 can set and store a touch area for each part in which an operation system such as an AVN, a sunroof, an air conditioning function, a cluster, and a seat control function is located, as shown in FIG.

또한, 저장부(130)는 특정 디스플레이 장치가 표시하고 있는 화면을 다른 디스플레이 장치에 표시하도록 전환하는 디스플레이 전환 제스처를 저장할 수 있다.In addition, the storage unit 130 may store a display switching gesture for switching the screen displayed by the specific display device to another display device.

제스처 인식부(140)는 카메라부(110)를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손끝 좌표를 검출하고, 검출된 손 골과 손 끝의 이동 패턴을 추적하여 제스처를 인식한다.The gesture recognition unit 140 extracts feature points according to the shape of the hand stored in advance in the image obtained through the camera unit 110 to detect hand and fingertip coordinates and tracks movement patterns of the detected hand and fingertip Thereby recognizing the gesture.

특히, 제스처 인식부(140)는 사용자의 손위치를 추적 하여 사용자의 손이 차량 내 특정 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 특정 디스플레이장치가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 인식한다.In particular, the gesture recognition unit 140 tracks the position of the user's hand, detects that the user's hand touches the touch region of the specific function in the vehicle, and starts to move toward the specific display device Recognize gesture commands.

이 때, 상기 시작 제스처 명령은 사용자의 손이 터치영역을 터치하여 선택된 기능 정보와 그 기능의 동작상태를 표시하고자 하는 디스플레이 장치 정보를 포함한다.At this time, the start gesture command includes display function information for displaying a selected function information and an operation state of the function by touching a touch area by a user's hand.

즉, 도 1에서와 같이 사용자의 손이 AVN 터치영역을 터치한 후에 운전석 앞창의 제1 HUD(121) 영역으로 밀듯이 이동하면, 사용자가 AVN 기능을 시작하여 그 동작 화면을 제1 HUD(121)에 표시하려 하는 시작 제스처 명령으로 인식한다.1, if the user's hand touches the AVN touch area and then moves to the first HUD 121 area of the front seat of the driver's seat, the user starts the AVN function and transmits the operation screen to the first HUD 121, As a start gesture command to be displayed on the display unit.

마찬가지로, 사용자의 손이 AVN 터치영역을 터치한 후에 보조석 앞창의 제2 HUD(122) 영역으로 밀듯이 이동하면, AVN 기능을 시작하여 그 동작 화면을 제2 HUD(122)에 표시하는 시작 제스처 명령으로 인식한다.Similarly, when the user's hand touches the AVN touch area and then moves toward the second HUD 122 area of the assistant's front window, the start gesture instruction is started to start the AVN function and display the operation screen on the second HUD 122 .

제어부(150)는 제스처 인식부(140)로부터 시작 제스처 명령을 수신하면, 상기 시작 제스처 명령과 매칭된 기능을 저장부(130)에서 검출하고 지정된 디스플레이 장치에 영상 데이터를 인가하여 동작 화면을 표시한다. Upon receiving the start gesture instruction from the gesture recognition unit 140, the control unit 150 detects the function matched with the start gesture instruction in the storage unit 130 and displays the operation screen by applying the image data to the designated display device .

그리고, 제어부(150)는 상기 시작 제스처 명령에 따른 기능 시작 및 동작 화면을 표시한 후에 제스처 인식부(140)에서 인식된 제스처에 매칭된 기능을 제어하고 관련 동작상태를 계속 표시한다.The control unit 150 controls the functions matched to the gesture recognized by the gesture recognition unit 140 and displays the related operation state after displaying the function start and operation screen according to the start gesture command.

이를 위해 제어부(150)는 AVN 시스템 및 차량의 기능별 각종 전자 제어 유닛과 연동하여 해당 기능을 제어하고, 관련 영상 데이터를 확보할 수 있다.To this end, the control unit 150 can control the corresponding functions by interlocking with various AVN system and various electronic control units according to functions of the vehicle, and acquire related video data.

한편, 제어부(150)는 제스처 인식부(140)로부터 디스플레이 전환 제스처 명령을 수신하면, 현재 표시하고 있는 디스플레이 장치의 화면을 지정된 다른 디스플레이 장치로 전환하여 표시한다.On the other hand, when receiving the display switching gesture command from the gesture recognition unit 140, the control unit 150 switches the screen of the currently displayed display device to another designated display device and displays the converted display gesture instruction.

예컨대, 제어부(150)는 상기 디스플레이 전환 제스처 명령에 따라 운전석 측의 제1 HUD(121)에서 표시하고 있는 화면을 보조석 측의 제2 HUD(122)로 전환하여 표시할 수 있다.For example, the control unit 150 can switch the screen displayed by the first HUD 121 on the driver's seat side to the second HUD 122 on the assistant seat side in accordance with the display switching gesture command.

이 때, 제어부(150)는 운전석 측의 제어 권한을 보조석 측으로 인계할 수 있다. 따라서, 제2 HUD(122)로의 화면 전환 이후 보조석에 있는 동승자의 제스처 입력으로도 기능제어가 이루어질 수 있다.At this time, the control unit 150 can transfer the control right on the driver's seat side to the assistant seat side. Thus, functional control can also be performed with the gesture input of the passenger in the assistant seat after screen switching to the second HUD 122. [

여기서, 상기 제어권한을 보조석 측으로 인계하는 것은 카메라부(110)가 일정 범위의 제스처 인식 영역을 운전자의 제스처 입력이 유리한 위치에서 동승자의 제스처 입력이 유리한 위치로 변경하는 것을 의미할 수 있다.Here, taking over the control right to the assistant seat may mean that the camera unit 110 changes the gesture recognition area of a certain range from a position where the gesture input of the driver is favorable to a position where the gesture input of the passenger is favorable.

또한, 제어부(150)는 이와 같은 방식으로 상기 디스플레이 전환 제스처 명령에 따라 제1 HUD(121)에서 표시하고 있는 화면을 뒷창의 제3 HUD(123), 후석 좌측 디스플레이(124) 및 후석 우측 디스플레이(125) 중 적어도 하나로 자유롭게 전환할 수 있다.In this way, the controller 150 displays the screen displayed by the first HUD 121 in the rear HUD 123, the left display 124 and the right display 125). ≪ / RTI >

또한, 제어부(150)는 하나의 기능 화면을 복수의 디스플레이 장치에서 동시에 표시하도록 하여 공유할 수 있다.
In addition, the control unit 150 can display one function screen on a plurality of display apparatuses at the same time and share them.

[제 2 실시 예][Second Embodiment]

한편, 도 2는 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.2 schematically shows a configuration of a vehicle gesture recognition system according to a second embodiment of the present invention.

첨부된 도 2를 참조하면, 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템(100)은 앞서 설명한 제1 실시예와 유사하며, 다만 사용자의 기능별 부위 터치를 인식하는 터치센서(160)를 더 포함하는 점만 다르다.Referring to FIG. 2, the vehicle gesture recognition system 100 according to the second embodiment of the present invention is similar to the first embodiment described above, except that the touch sensor 160 recognizes a function touch It is different only in the point that it contains.

즉, 제1 실시 예와 같이 카메라부(110)의 손 위치 추적에 따른 기능별 터치영역을 인식하는 것이 아닌, 각 기기에 장착된 터치센서(160)를 통해 사용자의 기능 선택을 인식할 수 있다.That is, similar to the first embodiment, it is possible to recognize the function selection of the user through the touch sensor 160 mounted on each device, instead of recognizing the function-specific touch area according to the hand position tracking of the camera unit 110. [

여기서, 상기 터치센서(160)는 근접센서나 동작인식 센서로 구성될 수 있다.Here, the touch sensor 160 may include a proximity sensor or a motion recognition sensor.

그리고, 나머지 구성에 대한 설명은 제1 실시 예에서 설명한 시작 제스처 명령 인식 및 디스플레이 전환 제스처 명령 인식에 따른 해당 기능 시작 및 화면 전환제어의 내용과 동일하므로 생략한다. The description of the rest of the configuration is omitted because it is the same as the contents of the corresponding function start and screen switching control according to the recognition of the start gesture command and the display switching gesture command described in the first embodiment.

한편, 다음의 도 3 및 도 4를 통하여 본 발명의 가장 기본적인 차량 제스처 인식 시스템 제어 방법을 설명한다.3 and 4, the most basic vehicle gesture recognition system control method of the present invention will be described.

도 3은 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 설명하기 위한 예시도이다.4 is a diagram for explaining a method of controlling a vehicle gesture recognition system according to an embodiment of the present invention.

본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(121)이 지정된 시작 제스처 명령을 인식한다(S101).The gesture recognition system 100 according to the embodiment of the present invention touches a touch area of a first function that a user's hand desires to operate and the first HUD 121 recognizes a designated start gesture command at step S101.

예컨대, 제스처 인식시스템(100)은 도 4의 (A)와 같이 운전자의 손이 AVN 시스템 터치영역(터치센서)을 터치한 후에 제1 HUD(121)가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 인식할 수 있다.For example, the gesture recognition system 100 may include a start gesture instruction to move the first HUD 121 in the direction in which the first HUD 121 is located after the driver's hand touches the AVN system touch region (touch sensor) Can be recognized.

제스처 인식 시스템(100)은 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 제1 HUD(121)에 표시한다(S102).The gesture recognition system 100 executes the first function matched with the start gesture command and displays an operation screen of the first function on the first HUD 121 (S102).

제스처 인식 시스템(100)은 카메라부(110)의 제스처 인식 영역 내에서 이루어진 사용자의 제스처 동작을 인식한다(S103).The gesture recognition system 100 recognizes the gesture operation of the user in the gesture recognition area of the camera unit 110 (S103).

이 때, 제스처 인식 시스템(100)은 카메라부(110)를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손 끝 좌표를 검출한다. 그리고, 검출된 손 골과 손 끝 좌표의 이동패턴을 추적하여 입력된 제스처를 인식할 수 있다.At this time, the gesture recognition system 100 extracts feature points according to the shape of the hand previously stored in the image obtained through the camera unit 110, and detects the hand bone and hand end coordinates. Then, the input gesture can be recognized by tracking the movement patterns of the detected hand gestures and hand end coordinates.

제스처 인식 시스템(100)은 인식된 제스처와 매칭된 기능을 검출하여 해당 기능을 제어한다(S104).The gesture recognition system 100 detects a function matched with the recognized gesture and controls the corresponding function (S104).

이 때, 제스처 인식 시스템(100)은 도 4의 (B)와 같이 제스처 입력에 따른 AVN 시스템의 네비게이션 기능을 실행하여 네비게이션 화면을 제1 HUD(121)를 통해 표시할 수 있다.At this time, the gesture recognition system 100 can display the navigation screen through the first HUD 121 by executing the navigation function of the AVN system according to the gesture input as shown in FIG. 4B.

제스처 인식 시스템(100)은 사용자의 제스처 입력에 따른 디스플레이 전환 제스처 명령 인식한다(S104).The gesture recognition system 100 recognizes a display switching gesture command according to a user's gesture input (S104).

이 때, 제스처 인식 시스템(100)은 도 4의 (C)와 같이 운전자의 손이 제1 HUD(121) 영역에서 제2 HUD(122)의 영역으로 이동하는 것으로 디스플레이 전환 제스처 명령을 인식할 수 있다.At this time, the gesture recognition system 100 recognizes the display switching gesture command by moving the hand of the driver from the area of the first HUD 121 to the area of the second HUD 122 as shown in FIG. 4C. have.

제스처 인식 시스템(100)은 현재 제1 HUD(121)를 통해 표시하고 있는 화면을 지정된 다른 디스플레이 장치로 전환하여 표시한다(S105).The gesture recognition system 100 switches the screen currently displayed through the first HUD 121 to another specified display device and displays it (S105).

이 때, 제스처 인식 시스템(100)은 도 4의 (D)와 같이 제1 HUD(121)에서 표시하고 있는 네비게이션 화면을 보조석 측의 제2 HUD(122)로 전환하여 표시할 수 있다. 그리고, 제스처 인식 시스템(100)는 운전석 측의 제어 권한을 보조석으로 넘겨 보조석에 있는 동승자의 제스처 입력으로도 기능제어가 이루어지도록 할 수 있다.At this time, the gesture recognition system 100 can display the navigation screen displayed on the first HUD 121 by switching to the second HUD 122 on the assistant seat side as shown in (D) of FIG. Then, the gesture recognition system 100 can transfer the control right on the driver's seat side to the assistant seat so that the function control can be performed also by the gesture input of the passenger on the assistant seat.

다만, 상기 보조석 측의 제어 권한과 화면은 운전자가 제1 HUD(121) 측으로 권환 회수 제스처를 취하면 언제든지 회수할 수 있다.
However, the control authority and the screen of the assistant seat can be retrieved at any time when the driver takes the number-of-times gesture to the first HUD 121 side.

한편, 전술한 본 발명의 실시 예에 따른 차량 제스처 인식 시스템(100)의 구성과 그 제어 방법을 기준으로 다양한 측면으로 응용될 수 있는 차량 제스처 인식 시스템 제어 방법을 설명한다.A vehicle gesture recognition system control method that can be applied to various aspects based on the configuration of the vehicle gesture recognition system 100 and the control method thereof according to the embodiment of the present invention will be described.

도 5는 본 발명의 일 측면에 따른 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.FIG. 5 illustrates a method of controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.

첨부된 도 5를 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 운전 중 차량의 블루투스에 연동된 휴대폰에 전화가 오면 운전석 측의 제1 HUD(121)에 착신 화면을 표시한다(S11).5, the gesture recognition system 100 according to the embodiment of the present invention displays a call reception screen on the first HUD 121 on the driver's seat side when a phone call is made to a cellular phone interfaced with the Bluetooth of the vehicle during operation (S11).

제스처 인식 시스템(100)은 착신과 함께 자동으로 제스처 인식이 활성화 되며, 운전자로부터 전화 끊기, 전화 받기 및 통화를 동승자에게 인계하는 디스플레이 전환 제스처 명령을 입력 받을 수 있다.The gesture recognition system 100 can automatically receive gesture recognition upon receipt, and can receive a display switching gesture command from a driver to hang up a phone, receive a call, and take over a call to a passenger.

이 때, 제스처 인식 시스템(100)은 운전자의 손이 제1 HUD(121) 영역에서 제2 HUD(122)의 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하면, 제1 HUD(121)를 통해 표시하고 있는 착신 화면을 지정된 제2 HUD(122)로 전환하여 표시한다(S12).At this time, when the gesture recognition system 100 recognizes the display switching gesture command that the driver's hand moves from the first HUD 121 area to the second HUD 122 area, To the designated second HUD 122 and displays it (S12).

그리고, 제스처 인식 시스템(100)는 보조석측으로 제어 권한을 인계하여 보조석에 있는 동승자의 제스처 입력으로 전화를 받거나 끊을 수 있다(S13).
Then, the gesture recognition system 100 can take over the control right to the assistant seat and receive or disconnect the call to the passenger's gesture input in the assistant seat (S13).

한편, 도 6은 본 발명의 일 측면에 따른 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.Meanwhile, FIG. 6 shows a method of controlling a vehicle gesture recognition system according to an aspect of the present invention.

첨부된 도 6을 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 운전자가 주차를 할 경우, 특정 제스처를 통해 후방 카메라 작동화면을 제1 HUD(121)에 표시한다(S21).Referring to FIG. 6, a gesture recognition system 100 according to an embodiment of the present invention displays a rear camera operation screen on a first HUD 121 through a specific gesture when a driver is parking (S21) .

제스처 인식 시스템(100)은 주차의 편리성을 위해서 특정 제스처를 통해 뒷창 측의 제3 HUD(123)로 후방 카메라 작동화면을 넘긴다. 이 때, 제스처 인식 시스템(100)은 운전자의 손이 제1 HUD(121) 영역에서 제3 HUD(123) 방향으로 이동하는 디스플레이 전환 제스처 명령을 인식하고(S22), 제1 HUD(121)를 통해 표시하고 있는 착신 화면을 지정된 제3 HUD(123)로 전환하여 표시한다(S23).The gesture recognition system 100 passes the rear camera operation screen to the third HUD 123 on the rear window side through a specific gesture for convenience of parking. At this time, the gesture recognition system 100 recognizes the display switching gesture instruction in which the driver's hand moves in the direction of the third HUD 123 from the first HUD 121 area (S22), and recognizes the first HUD 121 To the designated third HUD 123 (S23).

따라서, 운전자는 몸을 돌려 뒤의 상황을 확인하고 후방 카메라 작동화면을 동시에 확인하면서 주차가 가능하다.
Therefore, the driver can turn around and check the rear situation and simultaneously check the rear camera operation screen.

한편, 도 7은 본 발명의 일 측면에 따른 동승자간 표시정보를 교환하는 차량 제스처 인식 시스템 제어 방법을 나타낸다.Meanwhile, FIG. 7 shows a method of controlling a vehicle gesture recognition system for exchanging display information between passengers according to an aspect of the present invention.

첨부된 도 7을 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 오디오를 실행하고 운전자의 디스플레이 전환 제스처 명령을 입력 받아 오디오 재생화면을 제1 HUD(121)에서 제2 HUD(122)로 전환하여 표시한다(S31).7, the gesture recognition system 100 according to an embodiment of the present invention executes audio, receives a display switching gesture command from a driver, and receives an audio reproduction screen from a first HUD 121 to a second HUD 122) for display (S31).

그리고, 제스처 인식 시스템(100)은 동승자의 디플레이 전환 제스처 명령을 입력 받아서 오디오 재생화면을 후석 우측 디스플레이(125)로 전환하여 표시한다(S32). Then, the gesture recognition system 100 receives the de-play conversion gesture command of the passenger and switches the audio reproduction screen to the rear right display 125 and displays it (S32).

이 밖에도, 제스처 인식 시스템(100)은 동승자끼리 현재 디스플레이에 표시되어 있는 정보를 다른 동승자 디스플레이에도 더 표시하도록 하여 표시정보를 공유할 수 있다.In addition, the gesture recognition system 100 may display information displayed on the current display among passengers to other passenger displays so that the gesture recognition system 100 can share the display information.

이와 같이 본 발명의 실시 예에 따르면, 사용자의 시작 제스처 인식을 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있는 효과가 있다.As described above, according to the embodiment of the present invention, it is possible to start recognition of gestures according to functions of the vehicle through the recognition of the start gesture of the user, and to share the function operation by freely exchanging the information displayed according to the execution of the specific function with the passenger through gesture recognition There is an effect.

또한, 차량 내 각종 편의 기능을 조작하기 위해서 따로 포즈 제스처를 사용해야 할 필요가 없으므로 사용자가 일일이 기능 실행을 위한 포즈 제스처를 기억해야 하는 불편이 없으며 직접 기기를 터치 후 디스플레이 방향으로 밀듯이 이동하는 동작만으로 기기를 선택할 수 있어 편의성을 향상시킬 수 있다.In addition, there is no need to use a pause gesture to operate various convenience functions in the vehicle, so there is no inconvenience that a user has to memorize a pause gesture for performing a function individually, and only by directly moving the device, So that convenience can be improved.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

100: 제스처 인식 시스템 110: 카메라부
120: 표시부 121: 제1 HUD
122: 제2 HUD 123: 제3 HUD
124: 후석 좌측 디스플레이 125: 후석 우측 디스플레이
130: 저장부 140: 제스처 인식부
150: 제어부100: gesture recognition system 110: camera part
120: Display section 121: 1st HUD
122: 2nd HUD 123: 3rd HUD
124: Bottom left display 125: Bottom right display
130: storage unit 140: gesture recognition unit
150:

Claims (16)

차량 내 설치되어 차량 내부를 촬영하는 카메라부;
차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부;
차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디플레이 장치에 표시하는 시작 제스처 명령을 저장하는 저장부;
사용자의 손위치를 추적 하여 사용자의 손이 제1 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및
상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부
를 포함하는 차량 제스처 인식 시스템.A camera unit installed in the vehicle and photographing the inside of the vehicle;
A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle;
A storage unit for storing gesture setting information matched with various convenience functions in the vehicle, and a start gesture instruction for selectively starting gesture recognition for each function and displaying the gesture recognition on a designated display device;
A gesture recognizing unit for recognizing a start gesture instruction for tracing a user's hand position to detect that the user's hand touches the touch region of the first function and moving to the first display device region after the touch is performed; And
A controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device,
And a vehicle gesture recognition system. 제 1 항에 있어서,
상기 표시부는,
화면을 운전석 앞창에 표시하는 제1 HUD, 보조석 앞창에 표시하는 제2 HUD, 뒷창에 표시하는 제3 HUD, 후석 좌측 디스플레이 및 후석 우측 디스플레이 중 적어도 하나를 포함하는 차량 제스처 인식 시스템.The method according to claim 1,
The display unit includes:
A vehicle gesture recognition system comprising at least one of a first HUD for displaying a screen in a driver's front window, a second HUD for displaying in an assistant front window, a third HUD for displaying in a rear window, a left door display in the rear and a right display in the rear right. 제 1 항에 있어서,
상기 저장부는,
차량 내부의 좌표계 기반 각 기능별 조작계가 위치한 부위별 터치영역을 설정하여 저장하는 차량 제스처 인식 시스템.The method according to claim 1,
Wherein,
A vehicle gesture recognition system for setting and storing a touch area for each part in which an operation system of each function based on the coordinate system of a vehicle is located. 제 1 항 내지 제 3 항 중 어느 한 항 있어서,
상기 저장부는,
상기 제1 디스플레이 장치가 표시하고 있는 화면을 다른 제2 디스플레이 장치에 표시하도록 전환하는 디스플레이 전환 제스처 명령을 저장하는 차량 제스처 인식 시스템.4. The method according to any one of claims 1 to 3,
Wherein,
And a display switching gesture command for switching the display of the first display device to be displayed on another second display device. 제 4 항에 있어서,
상기 제스처 인식부는,
사용자의 손이 상기 제1 디스플레이 장치 영역에서 상기 제2 디스플레이장치 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 차량 제스처 인식 시스템.5. The method of claim 4,
The gesture recognizing unit recognizes,
Wherein the user recognizes a display switching gesture command in which a user's hand moves from the first display device area to the second display device area. 제 4 항에 있어서,
상기 제어부는,
상기 디스플레이 전환 제스처 명령에 따라 상기 제1 디스플레이 장치에서 표시하고 있는 화면을 상기 제2 디스플레이 장치로 전환하여 표시하거나, 두 디스플레이 장치에 상기 화면을 공유하여 표시하는 차량 제스처 인식 시스템.5. The method of claim 4,
Wherein,
Wherein the display switching gesture command displays the screen displayed on the first display device by switching to the second display device or displays the same on both display devices. 제 6 항에 있어서,
상기 제어부는,
상기 디스플레이 전환 제스처 명령에 따른 화면 전환과 표시와 함께 제어 권한을 동승자에게 인계하는 차량 제스처 인식 시스템.The method according to claim 6,
Wherein,
Wherein the control means transfers control authority to the passenger along with the screen switching and display according to the display switching gesture command. 제 7 항에 있어서,
상기 제어부는,
운전자가 상기 제1 HUD의 영역으로 권한 회수 제스처를 입력하면 전환된 화면과 동승자에게 인계된 제어 권한을 회수하는 차량 제스처 인식 시스템.8. The method of claim 7,
Wherein,
When the driver inputs the right recovery gesture to the area of the first HUD, retrieves the control authority inherited to the converted screen and the passenger. 차량 내 설치되어 차량 내부를 촬영하는 카메라부;
차량 내 편의 기능별 조작 부위에 각각 설치되어 사용자의 손이 제1 기능의 조작 부위를 터치하는 것을 검출하는 터치센서;
차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부;
차량 내 편의 기능과 매칭되는 제스처 설정정보를 저장하는 저장부;
카메라부를 통해 상기 손이 상기 제1 기능의 터치가 이루어진 후 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및
상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부
를 포함하는 차량 제스처 인식 시스템.A camera unit installed in the vehicle and photographing the inside of the vehicle;
A touch sensor which is provided at each function-based operation portion of the vehicle and detects that the user's hand touches the operation portion of the first function;
A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to control of various convenience functions in the vehicle;
A storage unit for storing gesture setting information matched with a function in the vehicle;
A gesture recognition unit for recognizing a start gesture command that the hand moves to a first display device area after a touch of the first function is made through the camera unit; And
A controller for executing a first function according to the recognition of the start gesture command and displaying an operation screen of the first function on the first display device,
And a vehicle gesture recognition system. 차량 제스처 인식 시스템 제어 방법에 있어서,
a) 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(Head Up Display)이 지정된 시작 제스처 명령을 인식하는 단계;
b) 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 운전석 측의 상기 제1 HUD에 표시하는 단계;
c) 사용자의 손 위치를 추적하여 사용자의 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
d) 상기 제1 HUD에서 표시하고 있는 화면을 제2 HUD로 전환하여 표시하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.A method of controlling a vehicle gesture recognition system,
a) touching a touch area of a first function for which a user's hand desires to operate, and recognizing a start gesture command designated by a first HUD (Head Up Display);
b) executing the first function matched to the start gesture command and displaying the operation screen of the first function on the first HUD on the driver's seat side;
c) tracking a hand position of the user and recognizing a display switching gesture command in which the user's hand moves from the first HUD area to the second HUD area on the assistant seat side; And
d) switching the screen displayed in the first HUD to a second HUD and displaying the second HUD. 제 10 항에 있어서,
상기 a) 단계는,
카메라를 통해 손이 상기 제1 기능의 터치영역을 터치하는 것을 검출하거나, 또는 상기 제1 기능의 터치센서를 통해 상기 손이 터치하는 것을 검출하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.11. The method of claim 10,
The step a)
Detecting whether the hand touches the touch area of the first function through the camera or detecting that the hand touches the touch area of the first function. 제 10 항에 있어서,
상기 d) 단계는,
상기 보조석에 위치한 동승자에게 제스처 입력 제어 권한을 인계하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.11. The method of claim 10,
The step d)
And transferring the gesture input control authority to the passenger located in the assistant seat. 제 12 항에 있어서,
상기 d) 단계는,
상기 보조석에 위치한 동승자의 디스플레이 전환 제스처 명령을 인식하여 상기 제2 HUD에서 표시하고 있는 화면을 후석에 있는 디스플레이로 전환하여 표시하는 단계를 더 포함하는 차량 제스처 인식 시스템 제어 방법.13. The method of claim 12,
The step d)
Recognizing the display switching gesture command of the passenger located in the assistant seat and switching the display screen displayed on the second HUD to a display on the background, and displaying the display. 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법에 있어서,
a) 차량의 블루투스와 연동된 휴대폰으로 전화가 오면 운전석 측의 제1 HUD(Head Up Display)에 착신 화면을 표시하는 단계;
b) 상기 착신으로 인해 제스처 인식 기능을 자동으로 시작하는 단계;
c) 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
d) 상기 제1 HUD에서 표시하고 있는 상기 착신 화면을 보조석 측의 제2 HUD로 전환하여 표시하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.A method of controlling a vehicle gesture recognition system according to an external function,
a) displaying an incoming call screen on a first HUD (Head Up Display) on the driver's seat when a call comes in to a mobile phone interlocked with the Bluetooth of the vehicle;
b) automatically starting the gesture recognition function due to the incoming call;
c) tracking a hand position of the driver to recognize a display switching gesture command that the hand moves from the first HUD area to the second HUD area on the assistant seat side; And
d) switching the incoming call screen displayed in the first HUD to a second HUD on the assistant seat side and displaying the converted incoming call screen. 제 14 항에 있어서,
상기 d) 단계는,
상기 보조석에 위치한 동승자의
상기 보조석 측으로 제어 권한을 넘겨 보조석에 있는 동승자의 제스처 입력으로 전화를 받거나 끊는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.15. The method of claim 14,
The step d)
The passenger
And transferring the control authority to the assistant seat to receive or terminate the call with the gesture input of the passenger in the assistant seat. 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법에 있어서,
a) 차량의 후진 변속기 조작에 따른 후방 카메라 작동화면을 운전자 측의 제1 HUD(Head Up Display)에 표시하는 단계;
b) 카메라부를 통해 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 뒷창 측의 제3 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
c) 상기 제1 HUD에서 표시하고 있는 상기 후방 카메라화면을 상기 제3 HUD로 전환하여 표시하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.A method of controlling a vehicle gesture recognition system according to a rear camera operation,
a) displaying a rear camera operation screen according to a backward transmission operation of the vehicle on a first HUD (Head Up Display) on the driver side;
b) tracking a driver's hand position through the camera unit to recognize a display switching gesture command that the hand moves from the first HUD area to a third HUD area on the rear window side; And
and c) switching the rear camera screen displayed in the first HUD to the third HUD and displaying the converted rear camera screen.
KR1020130159334A 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle KR102029842B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130159334A KR102029842B1 (en) 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130159334A KR102029842B1 (en) 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle

Publications (2)

Publication Number Publication Date
KR20150072074A true KR20150072074A (en) 2015-06-29
KR102029842B1 KR102029842B1 (en) 2019-10-08

Family

ID=53518171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130159334A KR102029842B1 (en) 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle

Country Status (1)

Country Link
KR (1) KR102029842B1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170061453A (en) * 2015-11-26 2017-06-05 현대모비스 주식회사 Apparatus and method for assisting driver
WO2017138702A1 (en) * 2016-02-12 2017-08-17 엘지전자 주식회사 Vehicle user interface device and vehicle
KR20180025378A (en) * 2016-08-30 2018-03-09 자동차부품연구원 System and method for provision of head up display information based on driver's gesture
KR20190016362A (en) * 2017-08-08 2019-02-18 엘지전자 주식회사 Vehicle control device mounted on vehicle and method for controlling the vehicle
KR20190030089A (en) * 2017-09-13 2019-03-21 엘지전자 주식회사 Apparatus for user-interface
KR101960723B1 (en) * 2018-12-18 2019-03-21 코어다 주식회사 Smart car control system using motion recognition
GB2568669A (en) * 2017-11-17 2019-05-29 Jaguar Land Rover Ltd Vehicle controller
CN109828655A (en) * 2017-11-23 2019-05-31 英属开曼群岛商麦迪创科技股份有限公司 The more screen control systems of vehicle and the more screen control methods of vehicle
KR101986157B1 (en) * 2018-05-28 2019-06-05 주식회사 디젠 Apparatus for communizing information of AVN device
WO2019132078A1 (en) * 2017-12-26 2019-07-04 엘지전자 주식회사 In-vehicle display device
CN110126759A (en) * 2019-04-02 2019-08-16 爱驰汽车有限公司 Reminding method, device and the automobile of running information
KR102179289B1 (en) * 2019-05-31 2020-11-17 연세대학교 산학협력단 Large Display Interaction System and Method of Autonomous Vehicles
US20200410264A1 (en) * 2019-06-25 2020-12-31 Hyundai Mobis Co., Ltd. Control system using in-vehicle gesture input
WO2021194177A1 (en) * 2020-03-23 2021-09-30 엘지전자 주식회사 Display control device
US11554668B2 (en) 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274334B1 (en) 2021-03-29 2021-07-08 (주)복서 Method, device and system for comtrolling vehical interior of user-responsive using hologram

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170061453A (en) * 2015-11-26 2017-06-05 현대모비스 주식회사 Apparatus and method for assisting driver
WO2017138702A1 (en) * 2016-02-12 2017-08-17 엘지전자 주식회사 Vehicle user interface device and vehicle
US11040620B2 (en) 2016-02-12 2021-06-22 Lg Electronics Inc. User interface apparatus for vehicle, and vehicle
KR20180025378A (en) * 2016-08-30 2018-03-09 자동차부품연구원 System and method for provision of head up display information based on driver's gesture
KR20190016362A (en) * 2017-08-08 2019-02-18 엘지전자 주식회사 Vehicle control device mounted on vehicle and method for controlling the vehicle
KR20190030089A (en) * 2017-09-13 2019-03-21 엘지전자 주식회사 Apparatus for user-interface
GB2568669A (en) * 2017-11-17 2019-05-29 Jaguar Land Rover Ltd Vehicle controller
GB2568669B (en) * 2017-11-17 2020-03-25 Jaguar Land Rover Ltd Proximity based vehicle controller
CN109828655A (en) * 2017-11-23 2019-05-31 英属开曼群岛商麦迪创科技股份有限公司 The more screen control systems of vehicle and the more screen control methods of vehicle
KR20190088090A (en) * 2017-12-26 2019-07-26 엘지전자 주식회사 Display device mounted on vehicle
WO2019132078A1 (en) * 2017-12-26 2019-07-04 엘지전자 주식회사 In-vehicle display device
KR101986157B1 (en) * 2018-05-28 2019-06-05 주식회사 디젠 Apparatus for communizing information of AVN device
KR101960723B1 (en) * 2018-12-18 2019-03-21 코어다 주식회사 Smart car control system using motion recognition
CN110126759A (en) * 2019-04-02 2019-08-16 爱驰汽车有限公司 Reminding method, device and the automobile of running information
KR102179289B1 (en) * 2019-05-31 2020-11-17 연세대학교 산학협력단 Large Display Interaction System and Method of Autonomous Vehicles
US20200410264A1 (en) * 2019-06-25 2020-12-31 Hyundai Mobis Co., Ltd. Control system using in-vehicle gesture input
US11514687B2 (en) 2019-06-25 2022-11-29 Hyundai Mobis Co., Ltd. Control system using in-vehicle gesture input
US11554668B2 (en) 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
US20230045996A1 (en) * 2019-06-25 2023-02-16 Hyundai Mobis Co., Ltd. Control system using in-vehicle gesture input
US11820228B2 (en) 2019-06-25 2023-11-21 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
WO2021194177A1 (en) * 2020-03-23 2021-09-30 엘지전자 주식회사 Display control device

Also Published As

Publication number Publication date
KR102029842B1 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
KR20150072074A (en) System and control method for gesture recognition of vehicle
KR101219933B1 (en) System for controlling device in vehicle using augmented reality and thereof method
US10489100B2 (en) Electronic device and method for sharing images
EP2914475B1 (en) System and method for using gestures in autonomous parking
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
CN110395182B (en) Motor vehicle with electronic rear view mirror
US20110169750A1 (en) Multi-touchpad multi-touch user interface
US20150205943A1 (en) Manipulation apparatus
KR101438615B1 (en) System and method for providing a user interface using 2 dimension camera in a vehicle
JP7077615B2 (en) Parking control method and parking control device
KR101490908B1 (en) System and method for providing a user interface using hand shape trace recognition in a vehicle
JP2010184600A (en) Onboard gesture switch device
CA2914712C (en) Gesture input apparatus for car navigation system
US20220244789A1 (en) Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head
CN111231860B (en) Operation module, operation method, operation system, and storage medium for vehicle
KR20150000076A (en) Blind control system for vehicle
JP3933139B2 (en) Command input device
WO2018061413A1 (en) Gesture detection device
JP5136948B2 (en) Vehicle control device
JP2011255812A (en) Parking support device
KR101500412B1 (en) Gesture recognize apparatus for vehicle
US20230249552A1 (en) Control apparatus
WO2014184902A1 (en) User interface device
CN117075721A (en) Display control method and system of vehicle-mounted screen, display equipment and vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant