KR102029842B1 - System and control method for gesture recognition of vehicle - Google Patents

System and control method for gesture recognition of vehicle Download PDF

Info

Publication number
KR102029842B1
KR102029842B1 KR1020130159334A KR20130159334A KR102029842B1 KR 102029842 B1 KR102029842 B1 KR 102029842B1 KR 1020130159334 A KR1020130159334 A KR 1020130159334A KR 20130159334 A KR20130159334 A KR 20130159334A KR 102029842 B1 KR102029842 B1 KR 102029842B1
Authority
KR
South Korea
Prior art keywords
display
vehicle
function
gesture
hud
Prior art date
Application number
KR1020130159334A
Other languages
Korean (ko)
Other versions
KR20150072074A (en
Inventor
김선아
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020130159334A priority Critical patent/KR102029842B1/en
Publication of KR20150072074A publication Critical patent/KR20150072074A/en
Application granted granted Critical
Publication of KR102029842B1 publication Critical patent/KR102029842B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/005—Electro-mechanical devices, e.g. switched

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

차량 제스처 인식 시스템 및 그 제어 방법이 개시된다.
본 발명의 실시 예에 따른, 차량 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부; 차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디스플레이 장치에 표시하는 시작 제스처 명령을 저장하는 저장부; 사용자의 손위치를 추적 하여 사용자의 손이 제1 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및 상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함한다.A vehicle gesture recognition system and control method thereof are disclosed.
According to an embodiment of the present disclosure, a vehicle gesture recognition system may include: a camera unit installed in a vehicle and photographing an interior of the vehicle; A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to various convenience function control in a vehicle; A storage unit for storing gesture setting information matched with various convenient functions in a vehicle and a start gesture command for selectively starting gesture recognition for each function and displaying the same on a designated display device; A gesture recognition unit which detects a user's hand touching the touch area of the first function by tracking the hand position of the user and recognizes a start gesture command to move to the first display device area after the touch is made; And a controller configured to execute a first function according to the start gesture command recognition and to display an operation screen of the first function on the first display device.

Description

차량 제스처 인식 시스템 및 그 제어 방법{SYSTEM AND CONTROL METHOD FOR GESTURE RECOGNITION OF VEHICLE}Vehicle gesture recognition system and its control method {SYSTEM AND CONTROL METHOD FOR GESTURE RECOGNITION OF VEHICLE}

본 발명은 차량 제스처 인식 시스템 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 차량 내 복수의 디스플레이와 연계하여 제스처 인식을 시작하고 그 표시된 정보를 교환하는 제스처 인식 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a vehicle gesture recognition system and a control method thereof, and more particularly, to a gesture recognition system and a control method for starting gesture recognition and exchanging the displayed information in association with a plurality of displays in a vehicle.

일반적으로 차량에 적용되는 카메라 기반 제스처 인식 시스템은 사용자가 차량 내 각종 편의 기능을 제스처를 통해 안전하고 편리하게 조작할 수 있도록 하는 신개념의 사용자 인터페이스로(UI)로 적용되고 있다.In general, a camera-based gesture recognition system applied to a vehicle has been applied as a new concept of user interface (UI) that enables a user to safely and conveniently manipulate various convenient functions in a vehicle through gestures.

이러한 카메라 기반 제스처 인식 시스템에서는 사용자의 제스처 입력을 정확히 인식하는 인식 성공률과 획득된 영상에서 제스처 인식을 빠르게 처리하는 응답성이 매우 중요한 요소로 여겨지고 있다.In such a camera-based gesture recognition system, a recognition success rate for accurately recognizing a user's gesture input and responsiveness for quickly processing gesture recognition in an acquired image are considered to be very important factors.

종래의 제스처 인식 시스템은 제스처 시작 버튼이 존재하여 제스처 시작(ON) 버튼을 누른 후에 제스처 인식을 시작할 수 있으며, 제스처 입력이 되면 종료(OFF) 버튼을 눌러 제스처 인식을 종료해야 하는 불편함이 있다.The conventional gesture recognition system may start a gesture recognition after the gesture start button is pressed and the gesture start button is pressed. When the gesture input is performed, it is inconvenient to end the gesture recognition by pressing the OFF button.

한편, 차량에는 운전 및 탑승자의 편의를 위한 사이드브레이크, 도어, 공조, 램프, AV 시스템(Audio Visual System), DIS(Diagnostic Information System) 시스템, 썬루프, 열선시트, 통풍시트, 와이퍼 스위치, 시트 변경, 헤드업 디스플레이(Head Up Display, HUD), 텔레매틱스 기능 등의 다양한 편의 기능이 적용되고 있다.Meanwhile, the vehicle has side brakes, doors, air conditioning, lamps, AV systems (Audio Visual System), DIS (Diagnostic Information System) systems, sunroofs, heated seats, ventilation seats, wiper switches and seats for the convenience of drivers and passengers. Various convenience functions such as a head up display (HUD) and a telematics function are applied.

반면에 사용자가 취할 수 있는 제스처는 그 수가 한정되어 있기 때문에 차량에 적용된 다양한 편의기능을 일일이 시작하기 위한 제스처를 구별하는 데에는 한계가 있다.On the other hand, since the number of gestures that a user can take is limited, there is a limit in distinguishing gestures for starting various convenience functions applied to the vehicle.

그렇다고, 제스처의 종류가 많아지거나 이를 위해 제스처가 복잡해지는 경우 사용자가 기능별로 매칭된 제스처를 기억하기 어려울 뿐 아니라, 제스처 인식 시스템이 복잡한 제스처를 인식하는 데에도 어려움이 있어 인식 성공률이 떨어지는 문제점이 있다.However, when the number of gestures increases or the gestures become complicated for this purpose, it is not only difficult for a user to remember a gesture matched for each function, but also has a problem in that the recognition success rate decreases because the gesture recognition system has difficulty in recognizing a complex gesture. .

한편, 최근 차량에는 적용되고 있는 헤드업 디스플레이(Head Up Display, HUD)는 운전자 앞창의 가시영역 내에 운전에 필요한 정보를 제공하므로, 운전자의 시선이 분산 없이 도로교통 상황에만 정신을 집중할 수 있어서 안전운전을 지원하고 있다.Meanwhile, the Head Up Display (HUD), which is recently applied to a vehicle, provides information necessary for driving in the visible area of the driver's front window, so that the driver's eyes can concentrate on the road traffic situation without distraction. Is supported.

그러나, HUD는 특성상 표시되는 정보를 선명하게 볼 수 있는 가시범위(Eyebox)가 한정되어 있어 그 정보를 동승자와 공유하는데 어려움이 있으며, 그로인해 차량의 기능 조작이 운전자에게 집중되는 문제점이 있다.However, since the HUD has a limited visibility range (Eyebox) that can clearly see the information displayed on the characteristics, it is difficult to share the information with the passenger, thereby causing a problem that the operation of the vehicle is concentrated on the driver.

따라서, 차량용 제스처 인식 시스템을 개발하는데 있어서 그 시작 및 제스처 입력이 용이하고, 표시된 정보를 공유할 수 있는 방안이 절실히 요구된다.Accordingly, in developing a gesture recognition system for a vehicle, a method of easily starting and gesture input and sharing displayed information is urgently needed.

본 발명의 실시 예는 사용자의 시작 인식 제스처를 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있는 차량 제스처 인식 시스템 및 그 제어 방법을 제공하고자 한다.An embodiment of the present invention initiates gesture recognition for each function of a vehicle through a user's start recognition gesture, and recognizes a vehicle gesture that can share function manipulation by freely exchanging information displayed according to a specific function execution with a passenger. It is intended to provide a system and a control method thereof.

본 발명의 일 측면에 따르면, 차량 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부; 차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디스플레이 장치에 표시하는 시작 제스처 명령을 저장하는 저장부; 사용자의 손위치를 추적 하여 사용자의 손이 제1 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및 상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함한다.According to an aspect of the present invention, a vehicle gesture recognition system, the camera unit is installed in the vehicle to shoot the inside of the vehicle; A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to various convenience function control in a vehicle; A storage unit for storing gesture setting information matched with various convenient functions in a vehicle and a start gesture command for selectively starting gesture recognition for each function and displaying the same on a designated display device; A gesture recognition unit which detects a user's hand touching the touch area of the first function by tracking the hand position of the user and recognizes a start gesture command to move to the first display device area after the touch is made; And a controller configured to execute a first function according to the start gesture command recognition and to display an operation screen of the first function on the first display device.

한편, 본 발명의 일 측면에 따른, 차량 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 차량 내 편의 기능별 조작 부위에 각각 설치되어 사용자의 손이 제1 기능의 조작 부위를 터치하는 것을 검출하는 터치센서; 차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부; 차량 내 편의 기능과 매칭되는 제스처 설정정보를 저장하는 저장부; 카메라부를 통해 상기 손이 상기 제1 기능의 터치가 이루어진 후 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및 상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함한다.On the other hand, the vehicle gesture recognition system according to an aspect of the present invention, the camera unit is installed in the vehicle to shoot the inside of the vehicle; A touch sensor which is installed at each operation part for each convenience function in the vehicle and detects that a user's hand touches the operation part of the first function; A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to various convenience function control in a vehicle; A storage unit for storing gesture setting information matching with the convenience function in the vehicle; A gesture recognition unit recognizing a start gesture command for moving the hand to a first display device area after the hand makes a touch of the first function through a camera unit; And a controller configured to execute a first function according to the start gesture command recognition and to display an operation screen of the first function on the first display device.

한편, 본 발명의 일 측면에 따른, 차량 제스처 인식 시스템 제어 방법은, a) 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(Head Up Display)이 지정된 시작 제스처 명령을 인식하는 단계; b) 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 운전석 측의 상기 제1 HUD에 표시하는 단계; c) 사용자의 손 위치를 추적하여 사용자의 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 d) 상기 제1 HUD에서 표시하고 있는 화면을 제2 HUD로 전환하여 표시하는 단계를 포함한다.Meanwhile, according to an aspect of the present invention, a method for controlling a vehicle gesture recognition system includes: a) a start gesture command in which a user's hand touches a touch area of a first function to be operated and a first head up display (HUD) is designated; Recognizing; b) executing the first function matched with the start gesture command and displaying an operation screen of the first function on the first HUD on the driver's seat side; c) tracking the position of the user's hand to recognize a display change gesture command for moving the user's hand from the first HUD area to the second HUD area on the side of the passenger seat; And d) converting the screen displayed on the first HUD to a second HUD and displaying the screen.

한편, 본 발명의 일 측면에 따른, 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법은, a) 차량의 블루투스와 연동된 휴대폰으로 전화가 오면 운전석 측의 제1 HUD(Head Up Display)에 착신 화면을 표시하는 단계; b) 상기 착신으로 인해 제스처 인식 기능을 자동으로 시작하는 단계; c) 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 d) 상기 제1 HUD에서 표시하고 있는 상기 착신 화면을 보조석 측의 제2 HUD로 전환하여 표시하는 단계를 포함한다.On the other hand, according to an aspect of the present invention, the vehicle gesture recognition system control method according to the external start of the function, a) when a call to the mobile phone interlocked with the Bluetooth of the vehicle to the first HUD (Head Up Display) of the driver's seat Displaying the incoming screen; b) automatically starting a gesture recognition function due to the incoming call; c) tracking a hand position of a driver and recognizing a display change gesture command for moving the hand from the first HUD area to a second HUD area on the side of a passenger seat; And d) converting the incoming call screen displayed on the first HUD into a second HUD on the side of the passenger seat and displaying the same.

또한, 본 발명의 일 측면에 따른, 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법은, a) 차량의 후진 변속기 조작에 따른 후방 카메라 작동화면을 운전자 측의 제1 HUD(Head Up Display)에 표시하는 단계; b) 카메라부를 통해 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 뒷창 측의 제3 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및 c) 상기 제1 HUD에서 표시하고 있는 상기 후방 카메라화면을 상기 제3 HUD로 전환하여 표시하는 단계를 포함한다.In addition, according to an aspect of the present invention, a method for controlling a vehicle gesture recognition system according to a rear camera operation includes: a) displaying a rear camera operation screen according to a reverse transmission operation of a vehicle on a first head up display (HUD) of a driver; step; b) tracking a hand position of a driver through a camera unit and recognizing a display change gesture command for moving the hand from the first HUD area to the third HUD area on the rear window side; And c) converting and displaying the rear camera screen displayed on the first HUD into the third HUD.

본 발명의 실시 예에 따르면, 사용자의 시작 제스처 인식을 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있다.According to an embodiment of the present invention, the function operation can be shared by starting gesture recognition for each function of the vehicle through recognition of the start gesture of the user, and freely exchanging information displayed according to the execution of a specific function with the passenger through gesture recognition.

또한, 차량 내 각종 편의 기능을 조작하기 위해서 따로 포즈 제스처를 사용해야 할 필요가 없으므로 사용자가 일일이 기능 실행을 위한 포즈 제스처를 기억해야 하는 불편이 없으며 직접 기기를 터치 후 디스플레이 방향으로 밀듯이 이동하는 동작만으로 기기를 선택할 수 있어 편의성을 향상시킬 수 있다.In addition, there is no need to use pose gestures separately in order to operate various convenience functions in the vehicle, and there is no inconvenience for the user to remember pose gestures to execute the functions individually. Can be selected to improve convenience.

도 1은 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.
도 2는 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.
도 3은 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 측면에 따른 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.
도 6은 본 발명의 일 측면에 따른 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.
도 7은 본 발명의 일 측면에 따른 동승자간 표시정보를 교환하는 차량 제스처 인식 시스템 제어 방법을 나타낸다.1 schematically illustrates a configuration of a vehicle gesture recognition system according to a first embodiment of the present invention.
2 schematically illustrates a configuration of a vehicle gesture recognition system according to a second embodiment of the present invention.
3 is a flowchart illustrating a method for controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.
4 is an exemplary diagram for describing a method for controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.
5 is a view illustrating a method for controlling a vehicle gesture recognition system according to a function start by an external device according to an aspect of the present invention.
6 illustrates a method for controlling a vehicle gesture recognition system according to operation of a rear camera according to an aspect of the present invention.
7 illustrates a method for controlling a vehicle gesture recognition system for exchanging display information between passengers according to an aspect of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise. In addition, the terms “… unit”, “… unit”, “module”, etc. described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.

이제 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 및 그 제어 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.Now, a vehicle gesture recognition system and a control method thereof according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

[제1 실시 예][First Embodiment]

도 1은 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.1 schematically illustrates a configuration of a vehicle gesture recognition system according to a first embodiment of the present invention.

첨부된 도 1을 참조하면, 본 발명의 제1 실시 예에 따른 차량 제스처 인식 시스템(100)은 카메라부(110), 표시부(120), 저장부(130), 제스처 인식부(140) 및 제어부(150)를 포함한다.Referring to FIG. 1, the vehicle gesture recognition system 100 according to the first embodiment of the present invention may include a camera unit 110, a display unit 120, a storage unit 130, a gesture recognition unit 140, and a controller. And 150.

카메라부(110)는 차량 내 설치되어 차량 내부를 촬영하고 촬영된 영상을 제스처 인식부(140)로 전달한다.The camera unit 110 is installed in the vehicle and photographs the inside of the vehicle and transmits the captured image to the gesture recognition unit 140.

카메라부(110)는 적외선 기능을 가지는 3차원 비전센서 또는 스테레오 카메라로 구성하여 손 위치를 3D(X, Y, Z)로 검출하도록 구성할 수 있다.The camera unit 110 may be configured as a 3D vision sensor or a stereo camera having an infrared function to detect a hand position in 3D (X, Y, Z).

표시부(120)는 차량 내 각종 편의 기능제어에 따른 동작상태를 표시하는 복수의 디스플레이 장치를 포함한다.The display unit 120 includes a plurality of display devices for displaying an operation state according to various convenient function controls in the vehicle.

예컨대, 표시부(120)는 차량 기능 동작상태에 따른 영상 데이터를 수신하여 운전석 앞창에 표시하는 제1 HUD(121) 및 보조석 앞창에 표시하는 제2 HUD(122)를 포함할 수 있다.For example, the display unit 120 may include a first HUD 121 that receives image data according to a vehicle function operation state and displays the first HUD 121 on the driver's front window and a second HUD 122 displayed on the front passenger's front window.

그리고, 도 1에서는 생략되었으나, 수신된 영상 데이터를 뒷창(Back window)에 표시하는 제3 HUD(123), 후석 좌측 디스플레이(124) 및 후석 우측 디스플레이(125) 중 적어도 하나를 포함할 수 있다.Although not illustrated in FIG. 1, the display apparatus may include at least one of a third HUD 123, a rear seat left display 124, and a rear seat right display 125 that display the received image data in a back window.

저장부(130)는 제스처 인식 시스템(100)의 구현을 위한 각종 설정 정보 및 프로그램을 저장하고, 제스처 인식 시스템(100)의 구동에 따라 생성되는 데이터를 저장한다.The storage unit 130 stores various setting information and programs for implementing the gesture recognition system 100, and stores data generated by driving the gesture recognition system 100.

저장부(130)는 차량 내 각종 편의 기능별로 매칭되는 제스처 정보를 저장하고, 별도의 시작 버튼 입력 없이 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디스플레이 장치에 표시하도록 하는 시작 제스처 명령을 저장한다. The storage unit 130 stores gesture information matched for various convenient functions in the vehicle, and stores a start gesture command for selectively starting gesture recognition for each function and displaying it on a designated display device without inputting a separate start button.

예컨대, 저장부(130)는 사용자의 손이 특정 기능의 조작계가 위치한 부위(이하, 터치영역이라 명명함)를 터치하고 특정 디스플레이장치가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 저장한다.For example, the storage unit 130 stores a start gesture command in which a user's hand touches a location (hereinafter, referred to as a touch area) in which a control system of a specific function is located and moves in a direction in which a specific display device is located.

이를 위해, 저장부(130)는 차량 내부의 공간 좌표계 기반, 도 1에서와 같이 AVN, 썬루프, 공조 기능, 클러스터, 시트 조절기능 등의 조작계가 위치한 부위별 터치영역을 설정하여 저장할 수 있다.To this end, the storage unit 130 may set and store a touch area for each region in which a control system such as an AVN, a sunroof, an air conditioning function, a cluster, and a seat adjusting function is located, as shown in FIG. 1.

또한, 저장부(130)는 특정 디스플레이 장치가 표시하고 있는 화면을 다른 디스플레이 장치에 표시하도록 전환하는 디스플레이 전환 제스처를 저장할 수 있다.In addition, the storage unit 130 may store a display switch gesture for switching the screen displayed by the specific display device to be displayed on the other display device.

제스처 인식부(140)는 카메라부(110)를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손끝 좌표를 검출하고, 검출된 손 골과 손 끝의 이동 패턴을 추적하여 제스처를 인식한다.The gesture recognition unit 140 extracts feature points according to the shape of the hand stored in advance from the image acquired through the camera unit 110 to detect the hand bone and the finger coordinates, and track the movement pattern of the detected hand bone and the fingertip. To recognize the gesture.

특히, 제스처 인식부(140)는 사용자의 손위치를 추적 하여 사용자의 손이 차량 내 특정 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 특정 디스플레이장치가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 인식한다.In particular, the gesture recognition unit 140 tracks the position of the user's hand to detect the user's hand touching the touch area of the specific function in the vehicle, and starts to move in the direction in which the specific display device is located after the touch is made. Recognize gesture commands.

이 때, 상기 시작 제스처 명령은 사용자의 손이 터치영역을 터치하여 선택된 기능 정보와 그 기능의 동작상태를 표시하고자 하는 디스플레이 장치 정보를 포함한다.In this case, the start gesture command includes the function information selected by the user's hand by touching the touch area and the display device information for displaying the operation state of the function.

즉, 도 1에서와 같이 사용자의 손이 AVN 터치영역을 터치한 후에 운전석 앞창의 제1 HUD(121) 영역으로 밀듯이 이동하면, 사용자가 AVN 기능을 시작하여 그 동작 화면을 제1 HUD(121)에 표시하려 하는 시작 제스처 명령으로 인식한다.That is, as shown in FIG. 1, when the user's hand touches the AVN touch area and moves to the first HUD 121 area of the driver's front window, the user starts the AVN function and moves the operation screen to the first HUD 121. Recognize it as a start gesture command that you want to display in.

마찬가지로, 사용자의 손이 AVN 터치영역을 터치한 후에 보조석 앞창의 제2 HUD(122) 영역으로 밀듯이 이동하면, AVN 기능을 시작하여 그 동작 화면을 제2 HUD(122)에 표시하는 시작 제스처 명령으로 인식한다.Similarly, if the user's hand moves to the second HUD 122 area of the front seat after touching the AVN touch area, the user starts the AVN function and displays the operation screen on the second HUD 122 as a start gesture command. Recognize.

제어부(150)는 제스처 인식부(140)로부터 시작 제스처 명령을 수신하면, 상기 시작 제스처 명령과 매칭된 기능을 저장부(130)에서 검출하고 지정된 디스플레이 장치에 영상 데이터를 인가하여 동작 화면을 표시한다. When the controller 150 receives the start gesture command from the gesture recognition unit 140, the controller 150 detects a function matched with the start gesture command in the storage unit 130 and applies image data to a designated display device to display an operation screen. .

그리고, 제어부(150)는 상기 시작 제스처 명령에 따른 기능 시작 및 동작 화면을 표시한 후에 제스처 인식부(140)에서 인식된 제스처에 매칭된 기능을 제어하고 관련 동작상태를 계속 표시한다.After displaying the function start and operation screen according to the start gesture command, the controller 150 controls the function matched to the gesture recognized by the gesture recognition unit 140 and continues to display the related operation state.

이를 위해 제어부(150)는 AVN 시스템 및 차량의 기능별 각종 전자 제어 유닛과 연동하여 해당 기능을 제어하고, 관련 영상 데이터를 확보할 수 있다.To this end, the controller 150 may control the corresponding function by interlocking with the AVN system and various electronic control units for each function of the vehicle and obtain relevant image data.

한편, 제어부(150)는 제스처 인식부(140)로부터 디스플레이 전환 제스처 명령을 수신하면, 현재 표시하고 있는 디스플레이 장치의 화면을 지정된 다른 디스플레이 장치로 전환하여 표시한다.On the other hand, when the controller 150 receives a display switch gesture command from the gesture recognition unit 140, the controller 150 switches the screen of the currently displayed display device to another designated display device and displays the same.

예컨대, 제어부(150)는 상기 디스플레이 전환 제스처 명령에 따라 운전석 측의 제1 HUD(121)에서 표시하고 있는 화면을 보조석 측의 제2 HUD(122)로 전환하여 표시할 수 있다.For example, the controller 150 may switch the screen displayed by the first HUD 121 on the driver's seat side to the second HUD 122 on the passenger seat side according to the display change gesture command.

이 때, 제어부(150)는 운전석 측의 제어 권한을 보조석 측으로 인계할 수 있다. 따라서, 제2 HUD(122)로의 화면 전환 이후 보조석에 있는 동승자의 제스처 입력으로도 기능제어가 이루어질 수 있다.At this time, the controller 150 may take over the control authority of the driver's seat side to the side of the passenger seat. Therefore, after the screen switching to the second HUD 122, the function control may also be performed by the gesture input of the passenger in the passenger seat.

여기서, 상기 제어권한을 보조석 측으로 인계하는 것은 카메라부(110)가 일정 범위의 제스처 인식 영역을 운전자의 제스처 입력이 유리한 위치에서 동승자의 제스처 입력이 유리한 위치로 변경하는 것을 의미할 수 있다.Here, the handing over of the control authority to the side of the passenger seat may mean that the camera unit 110 changes the gesture recognition region of a predetermined range from a position where the driver's gesture input is advantageous to a position where the passenger's gesture input is advantageous.

또한, 제어부(150)는 이와 같은 방식으로 상기 디스플레이 전환 제스처 명령에 따라 제1 HUD(121)에서 표시하고 있는 화면을 뒷창의 제3 HUD(123), 후석 좌측 디스플레이(124) 및 후석 우측 디스플레이(125) 중 적어도 하나로 자유롭게 전환할 수 있다.In addition, the controller 150 displays the screen displayed on the first HUD 121 according to the display change gesture command in the same manner as the third HUD 123, the rear left display 124, and the rear right display ( 125) can be freely switched to at least one of.

또한, 제어부(150)는 하나의 기능 화면을 복수의 디스플레이 장치에서 동시에 표시하도록 하여 공유할 수 있다.
In addition, the controller 150 may share one function screen by simultaneously displaying the same function screen on a plurality of display devices.

[제 2 실시 예]Second Embodiment

한편, 도 2는 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템의 구성을 개략적으로 나타낸다.2 schematically illustrates a configuration of a vehicle gesture recognition system according to a second embodiment of the present invention.

첨부된 도 2를 참조하면, 본 발명의 제2 실시 예에 따른 차량 제스처 인식 시스템(100)은 앞서 설명한 제1 실시예와 유사하며, 다만 사용자의 기능별 부위 터치를 인식하는 터치센서(160)를 더 포함하는 점만 다르다.Referring to FIG. 2, the vehicle gesture recognition system 100 according to the second embodiment of the present invention is similar to the first embodiment described above, except that the touch sensor 160 recognizes a user's functional touch. The only difference is that it includes more.

즉, 제1 실시 예와 같이 카메라부(110)의 손 위치 추적에 따른 기능별 터치영역을 인식하는 것이 아닌, 각 기기에 장착된 터치센서(160)를 통해 사용자의 기능 선택을 인식할 수 있다.That is, instead of recognizing the touch area for each function according to the hand position tracking of the camera unit 110 as in the first embodiment, the user's function selection may be recognized through the touch sensor 160 mounted in each device.

여기서, 상기 터치센서(160)는 근접센서나 동작인식 센서로 구성될 수 있다.Here, the touch sensor 160 may be configured as a proximity sensor or a motion recognition sensor.

그리고, 나머지 구성에 대한 설명은 제1 실시 예에서 설명한 시작 제스처 명령 인식 및 디스플레이 전환 제스처 명령 인식에 따른 해당 기능 시작 및 화면 전환제어의 내용과 동일하므로 생략한다. Since the descriptions of the remaining components are the same as the contents of the corresponding function start and screen switching control according to the start gesture command recognition and the display switch gesture command described in the first embodiment, the descriptions thereof will be omitted.

한편, 다음의 도 3 및 도 4를 통하여 본 발명의 가장 기본적인 차량 제스처 인식 시스템 제어 방법을 설명한다.Meanwhile, the most basic vehicle gesture recognition system control method of the present invention will be described with reference to FIGS. 3 and 4.

도 3은 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method for controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 차량 제스처 인식 시스템 제어 방법을 설명하기 위한 예시도이다.4 is an exemplary diagram for describing a method for controlling a vehicle gesture recognition system according to an exemplary embodiment of the present invention.

본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(121)이 지정된 시작 제스처 명령을 인식한다(S101).The gesture recognition system 100 according to an embodiment of the present invention touches a touch area of a first function that a user's hand wants to operate, and the first HUD 121 recognizes a designated start gesture command (S101).

예컨대, 제스처 인식시스템(100)은 도 4의 (A)와 같이 운전자의 손이 AVN 시스템 터치영역(터치센서)을 터치한 후에 제1 HUD(121)가 위치한 방향으로 밀듯이 이동하는 시작 제스처 명령을 인식할 수 있다.For example, the gesture recognition system 100 issues a start gesture command in which the driver's hand moves in the direction in which the first HUD 121 is located after touching the AVN system touch area (touch sensor) as shown in FIG. 4A. I can recognize it.

제스처 인식 시스템(100)은 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 제1 HUD(121)에 표시한다(S102).The gesture recognition system 100 executes the first function matched with the start gesture command and displays an operation screen of the first function on the first HUD 121 (S102).

제스처 인식 시스템(100)은 카메라부(110)의 제스처 인식 영역 내에서 이루어진 사용자의 제스처 동작을 인식한다(S103).The gesture recognition system 100 recognizes a gesture action of the user made in the gesture recognition area of the camera unit 110 (S103).

이 때, 제스처 인식 시스템(100)은 카메라부(110)를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손 끝 좌표를 검출한다. 그리고, 검출된 손 골과 손 끝 좌표의 이동패턴을 추적하여 입력된 제스처를 인식할 수 있다.At this time, the gesture recognition system 100 extracts feature points according to the shape of the hand stored in advance from the image acquired through the camera unit 110 to detect the hand bone and the hand end coordinates. In addition, the input gesture may be recognized by tracking the movement pattern of the detected hand bone and the fingertip coordinates.

제스처 인식 시스템(100)은 인식된 제스처와 매칭된 기능을 검출하여 해당 기능을 제어한다(S104).The gesture recognition system 100 detects a function matched with the recognized gesture and controls the corresponding function (S104).

이 때, 제스처 인식 시스템(100)은 도 4의 (B)와 같이 제스처 입력에 따른 AVN 시스템의 네비게이션 기능을 실행하여 네비게이션 화면을 제1 HUD(121)를 통해 표시할 수 있다.In this case, the gesture recognition system 100 may display the navigation screen through the first HUD 121 by executing the navigation function of the AVN system according to the gesture input as shown in FIG. 4B.

제스처 인식 시스템(100)은 사용자의 제스처 입력에 따른 디스플레이 전환 제스처 명령 인식한다(S104).The gesture recognition system 100 recognizes a display switch gesture command according to a user's gesture input (S104).

이 때, 제스처 인식 시스템(100)은 도 4의 (C)와 같이 운전자의 손이 제1 HUD(121) 영역에서 제2 HUD(122)의 영역으로 이동하는 것으로 디스플레이 전환 제스처 명령을 인식할 수 있다.In this case, the gesture recognition system 100 may recognize the display change gesture command by moving the driver's hand from the first HUD 121 to the area of the second HUD 122 as shown in FIG. 4C. have.

제스처 인식 시스템(100)은 현재 제1 HUD(121)를 통해 표시하고 있는 화면을 지정된 다른 디스플레이 장치로 전환하여 표시한다(S105).The gesture recognition system 100 converts and displays the screen currently displayed through the first HUD 121 to another designated display device (S105).

이 때, 제스처 인식 시스템(100)은 도 4의 (D)와 같이 제1 HUD(121)에서 표시하고 있는 네비게이션 화면을 보조석 측의 제2 HUD(122)로 전환하여 표시할 수 있다. 그리고, 제스처 인식 시스템(100)는 운전석 측의 제어 권한을 보조석으로 넘겨 보조석에 있는 동승자의 제스처 입력으로도 기능제어가 이루어지도록 할 수 있다.In this case, the gesture recognition system 100 may switch the navigation screen displayed on the first HUD 121 to the second HUD 122 on the side of the passenger seat as shown in FIG. 4D. In addition, the gesture recognition system 100 may transfer the control authority of the driver's seat to the passenger seat so that the function control may be performed even by the gesture input of the passenger in the passenger seat.

다만, 상기 보조석 측의 제어 권한과 화면은 운전자가 제1 HUD(121) 측으로 권환 회수 제스처를 취하면 언제든지 회수할 수 있다.
However, the control authority and the screen on the side of the passenger seat can be retrieved at any time when the driver takes the number of turns gesture toward the first HUD 121.

한편, 전술한 본 발명의 실시 예에 따른 차량 제스처 인식 시스템(100)의 구성과 그 제어 방법을 기준으로 다양한 측면으로 응용될 수 있는 차량 제스처 인식 시스템 제어 방법을 설명한다.On the other hand, the vehicle gesture recognition system control method that can be applied to various aspects based on the configuration and control method of the vehicle gesture recognition system 100 according to an embodiment of the present invention described above.

도 5는 본 발명의 일 측면에 따른 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.5 is a view illustrating a method for controlling a vehicle gesture recognition system according to a function start by an external device according to an aspect of the present invention.

첨부된 도 5를 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 운전 중 차량의 블루투스에 연동된 휴대폰에 전화가 오면 운전석 측의 제1 HUD(121)에 착신 화면을 표시한다(S11).Referring to FIG. 5, the gesture recognition system 100 according to an embodiment of the present invention displays an incoming call screen on the first HUD 121 at the driver's seat when a call comes to a mobile phone linked to the Bluetooth of the vehicle while driving. (S11).

제스처 인식 시스템(100)은 착신과 함께 자동으로 제스처 인식이 활성화 되며, 운전자로부터 전화 끊기, 전화 받기 및 통화를 동승자에게 인계하는 디스플레이 전환 제스처 명령을 입력 받을 수 있다.The gesture recognition system 100 automatically activates gesture recognition with an incoming call, and may receive a display change gesture command for disconnecting a call, answering a call, and handing over a call to a passenger.

이 때, 제스처 인식 시스템(100)은 운전자의 손이 제1 HUD(121) 영역에서 제2 HUD(122)의 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하면, 제1 HUD(121)를 통해 표시하고 있는 착신 화면을 지정된 제2 HUD(122)로 전환하여 표시한다(S12).In this case, when the driver's hand recognizes a display change gesture command for moving from the first HUD 121 to the area of the second HUD 122, the gesture recognition system 100 displays the first HUD 121 through the first HUD 121. The incoming call screen is switched to the designated second HUD 122 and displayed (S12).

그리고, 제스처 인식 시스템(100)는 보조석측으로 제어 권한을 인계하여 보조석에 있는 동승자의 제스처 입력으로 전화를 받거나 끊을 수 있다(S13).
Then, the gesture recognition system 100 may take over the control authority to the side of the passenger seat to answer or hang up the call by the gesture input of the passenger in the seat (S13).

한편, 도 6은 본 발명의 일 측면에 따른 후방 카메라 작동 따른 차량 제스처 인식 시스템 제어 방법을 나타낸다.On the other hand, Figure 6 shows a vehicle gesture recognition system control method according to the operation of the rear camera according to an aspect of the present invention.

첨부된 도 6을 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 운전자가 주차를 할 경우, 특정 제스처를 통해 후방 카메라 작동화면을 제1 HUD(121)에 표시한다(S21).Referring to FIG. 6, when the driver parks, the gesture recognition system 100 displays the rear camera operation screen on the first HUD 121 through a specific gesture (S21). .

제스처 인식 시스템(100)은 주차의 편리성을 위해서 특정 제스처를 통해 뒷창 측의 제3 HUD(123)로 후방 카메라 작동화면을 넘긴다. 이 때, 제스처 인식 시스템(100)은 운전자의 손이 제1 HUD(121) 영역에서 제3 HUD(123) 방향으로 이동하는 디스플레이 전환 제스처 명령을 인식하고(S22), 제1 HUD(121)를 통해 표시하고 있는 착신 화면을 지정된 제3 HUD(123)로 전환하여 표시한다(S23).The gesture recognition system 100 passes the rear camera operation screen to the third HUD 123 of the rear window side through a specific gesture for the convenience of parking. At this time, the gesture recognition system 100 recognizes a display change gesture command in which the driver's hand moves in the direction of the third HUD 123 in the area of the first HUD 121 (S22), and recognizes the first HUD 121. The incoming call screen displayed through the screen is switched to the designated third HUD 123 and displayed (S23).

따라서, 운전자는 몸을 돌려 뒤의 상황을 확인하고 후방 카메라 작동화면을 동시에 확인하면서 주차가 가능하다.
Therefore, the driver can turn the body to check the situation behind and check the rear camera operation screen while parking.

한편, 도 7은 본 발명의 일 측면에 따른 동승자간 표시정보를 교환하는 차량 제스처 인식 시스템 제어 방법을 나타낸다.On the other hand, Figure 7 shows a vehicle gesture recognition system control method for exchanging display information between passengers in accordance with an aspect of the present invention.

첨부된 도 7을 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 오디오를 실행하고 운전자의 디스플레이 전환 제스처 명령을 입력 받아 오디오 재생화면을 제1 HUD(121)에서 제2 HUD(122)로 전환하여 표시한다(S31).Referring to FIG. 7, the gesture recognition system 100 according to an embodiment of the present invention executes audio and receives a display switch gesture command of a driver to display an audio reproduction screen from the first HUD 121 to the second HUD ( The display is switched to (122) (S31).

그리고, 제스처 인식 시스템(100)은 동승자의 디플레이 전환 제스처 명령을 입력 받아서 오디오 재생화면을 후석 우측 디스플레이(125)로 전환하여 표시한다(S32). Then, the gesture recognition system 100 receives the passenger's de-play switching gesture command and switches the audio playback screen to the rear right display 125 to display it (S32).

이 밖에도, 제스처 인식 시스템(100)은 동승자끼리 현재 디스플레이에 표시되어 있는 정보를 다른 동승자 디스플레이에도 더 표시하도록 하여 표시정보를 공유할 수 있다.In addition, the gesture recognition system 100 may share the display information by allowing the passengers to further display the information currently displayed on the display on the other passenger display.

이와 같이 본 발명의 실시 예에 따르면, 사용자의 시작 제스처 인식을 통해 차량의 기능별 제스처 인식을 시작하고, 특정 기능 실행에 따라 표시되는 정보를 제스처 인식을 통해 동승자와 자유롭게 교환함으로써 기능조작을 공유할 수 있는 효과가 있다.As described above, according to an exemplary embodiment of the present invention, the function operation can be shared by initiating gesture recognition for each function of the vehicle through the user's start gesture recognition and freely exchanging information displayed according to the execution of a specific function with the passenger through gesture recognition. It has an effect.

또한, 차량 내 각종 편의 기능을 조작하기 위해서 따로 포즈 제스처를 사용해야 할 필요가 없으므로 사용자가 일일이 기능 실행을 위한 포즈 제스처를 기억해야 하는 불편이 없으며 직접 기기를 터치 후 디스플레이 방향으로 밀듯이 이동하는 동작만으로 기기를 선택할 수 있어 편의성을 향상시킬 수 있다.In addition, there is no need to use pose gestures separately in order to operate various convenience functions in the vehicle, and there is no inconvenience for the user to remember pose gestures to execute the functions individually. Can be selected to improve convenience.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.An embodiment of the present invention is not implemented only through the above-described apparatus and / or method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded, and the like. In addition, such an implementation may be easily implemented by those skilled in the art from the description of the above-described embodiments.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

100: 제스처 인식 시스템 110: 카메라부
120: 표시부 121: 제1 HUD
122: 제2 HUD 123: 제3 HUD
124: 후석 좌측 디스플레이 125: 후석 우측 디스플레이
130: 저장부 140: 제스처 인식부
150: 제어부100: gesture recognition system 110: camera unit
120: display unit 121: first HUD
122: second HUD 123: third HUD
124: Rear left display 125: Rear right display
130: storage unit 140: gesture recognition unit
150: control unit

Claims (16)

차량 내 설치되어 차량 내부를 촬영하는 카메라부;
차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부;
차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 각 기능별 제스처 인식을 선택적으로 시작하여 지정된 디스플레이 장치에 표시하는 시작 제스처 명령을 저장하는 저장부;
사용자의 손위치를 추적 하여 사용자의 손이 제1 기능의 터치영역을 터치하는 것을 검출하고, 상기 터치가 이루어진 후에 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및
상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함하되,
상기 저장부는 상기 제1 디스플레이 장치가 표시하고 있는 화면을 다른 제2 디스플레이 장치에 표시하도록 전환하는 디스플레이 전환 제스처 명령을 저장하고,
상기 제어부는 상기 디스플레이 전환 제스처 명령에 따라 상기 제1 디스플레이 장치에서 표시하고 있는 화면을 상기 제2 디스플레이 장치로 전환하여 표시하며, 상기 디스플레이 전환 제스처 명령에 따른 화면 전환과 함께 제어 권한을 동승자에게 인계하는 차량 제스처 인식 시스템.A camera unit installed in the vehicle and photographing the inside of the vehicle;
A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to various convenience function control in a vehicle;
A storage unit for storing gesture setting information matched with various convenient functions in a vehicle and a start gesture command for selectively starting gesture recognition for each function and displaying the same on a designated display device;
A gesture recognition unit which detects a user's hand touching the touch area of the first function by tracking the hand position of the user and recognizes a start gesture command to move to the first display device area after the touch is made; And
And a controller configured to execute a first function according to the start gesture command recognition and to display an operation screen of the first function on the first display device.
The storage unit stores a display change gesture command for switching to display the screen displayed by the first display device on another second display device,
The control unit switches the screen displayed on the first display device to the second display device according to the display change gesture command, and transfers the control right to the passenger along with the screen change according to the display change gesture command. Vehicle gesture recognition system. 제 1 항에 있어서,
상기 표시부는,
화면을 운전석 앞창에 표시하는 제1 HUD, 보조석 앞창에 표시하는 제2 HUD, 뒷창에 표시하는 제3 HUD, 후석 좌측 디스플레이 및 후석 우측 디스플레이 중 적어도 하나를 포함하는 차량 제스처 인식 시스템.The method of claim 1,
The display unit,
A vehicle gesture recognition system comprising at least one of a first HUD displaying a screen on a driver's front window, a second HUD displayed on a front window, a third HUD displayed on a rear window, a rear left display, and a rear right display. 제 1 항에 있어서,
상기 저장부는,
차량 내부의 좌표계 기반 각 기능별 조작계가 위치한 부위별 터치영역을 설정하여 저장하는 차량 제스처 인식 시스템.The method of claim 1,
The storage unit,
Vehicle gesture recognition system for setting and storing the touch area for each part where the control system for each function based on the coordinate system in the vehicle is located. 삭제delete 제 1 항에 있어서,
상기 제스처 인식부는,
사용자의 손이 상기 제1 디스플레이 장치 영역에서 상기 제2 디스플레이장치 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 차량 제스처 인식 시스템.The method of claim 1,
The gesture recognition unit,
And a display switch gesture command for moving a user's hand from the first display device area to the second display device area. 제 1 항에 있어서,
상기 제어부는,
상기 제1 디스플레이 장치 및 제2 디스플레이 장치에 상기 화면을 공유하여 표시하는 차량 제스처 인식 시스템.The method of claim 1,
The control unit,
And displaying the screen by sharing the screen on the first display device and the second display device. 삭제delete 제 1 항에 있어서,
상기 제어부는,
운전자가 상기 제1 디스플레이 장치의 영역으로 권한 회수 제스처를 입력하면 전환된 화면과 동승자에게 인계된 제어 권한을 회수하는 차량 제스처 인식 시스템.The method of claim 1,
The control unit,
And a driver inputting a permission recovery gesture to an area of the first display device, to recover the changed screen and the control authority transferred to the passenger. 차량 내 설치되어 차량 내부를 촬영하는 카메라부;
차량 내 편의 기능별 조작 부위에 각각 설치되어 사용자의 손이 제1 기능의 조작 부위를 터치하는 것을 검출하는 터치센서;
차량 내 각종 편의 기능제어에 따른 동작화면을 표시하는 HUD(Head Up Display)를 포함하는 복수의 디스플레이 장치로 구성된 표시부;
차량 내 편의 기능과 매칭되는 제스처 설정정보를 저장하는 저장부;
카메라부를 통해 상기 손이 상기 제1 기능의 터치가 이루어진 후 제1 디스플레이 장치 영역으로 이동하는 시작 제스처 명령을 인식하는 제스처 인식부; 및
상기 시작 제스처 명령 인식에 따른 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 상기 제1 디스플레이 장치에 표시하는 제어부를 포함하되,
상기 저장부는 상기 제1 디스플레이 장치가 표시하고 있는 화면을 다른 제2 디스플레이 장치에 표시하도록 전환하는 디스플레이 전환 제스처 명령을 저장하고,
상기 제어부는 상기 디스플레이 전환 제스처 명령에 따라 상기 제1 디스플레이 장치에서 표시하고 있는 화면을 상기 제2 디스플레이 장치로 전환하여 표시하며, 상기 디스플레이 전환 제스처 명령에 따른 화면 전환과 함께 제어 권한을 동승자에게 인계하는 차량 제스처 인식 시스템.A camera unit installed in the vehicle and photographing the inside of the vehicle;
A touch sensor which is installed at each operation part for each convenience function in the vehicle and detects a user's hand touching the operation part of the first function;
A display unit including a plurality of display devices including a head up display (HUD) for displaying an operation screen according to various convenience function control in a vehicle;
A storage unit for storing gesture setting information matching with the convenience function in the vehicle;
A gesture recognition unit recognizing a start gesture command for moving the hand to a first display device area after the hand makes a touch of the first function through a camera unit; And
And a controller configured to execute a first function according to the start gesture command recognition and to display an operation screen of the first function on the first display device.
The storage unit stores a display switch gesture command for switching to display the screen displayed by the first display device on another second display device,
The control unit switches the screen displayed on the first display device to the second display device according to the display change gesture command, and transfers the control right to the passenger along with the screen change according to the display change gesture command. Vehicle gesture recognition system. 차량 제스처 인식 시스템 제어 방법에 있어서,
a) 사용자의 손이 작동을 원하는 제1 기능의 터치영역을 터치하고, 제1 HUD(Head Up Display)이 지정된 시작 제스처 명령을 인식하는 단계;
b) 상기 시작 제스처 명령에 매칭된 상기 제1 기능을 실행하고 상기 제1 기능의 동작 화면을 운전석 측의 상기 제1 HUD에 표시하는 단계;
c) 사용자의 손 위치를 추적하여 사용자의 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
d) 상기 제1 HUD에서 표시하고 있는 화면을 제2 HUD로 전환하여 표시하는 단계를 포함하되,
상기 d) 단계는 상기 보조석에 위치한 동승자에게 제스처 입력 제어 권한을 인계하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.In the vehicle gesture recognition system control method,
a) touching a touch area of a first function that a user's hand wants to operate, and recognizing a start gesture command to which a first head up display (HUD) is assigned;
b) executing the first function matched with the start gesture command and displaying an operation screen of the first function on the first HUD on the driver's seat side;
c) tracking the position of the user's hand to recognize a display change gesture command for moving the user's hand from the first HUD area to the second HUD area on the side of the passenger seat; And
d) converting the screen displayed on the first HUD to a second HUD and displaying the screen;
The step d) includes the step of handing over the gesture input control authority to the passenger located in the passenger seat. 제 10 항에 있어서,
상기 a) 단계는,
카메라를 통해 손이 상기 제1 기능의 터치영역을 터치하는 것을 검출하거나, 또는 상기 제1 기능의 터치센서를 통해 상기 손이 터치하는 것을 검출하는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.The method of claim 10,
Step a) is
Detecting that the hand touches the touch area of the first function through a camera, or detecting that the hand touches through the touch sensor of the first function. 삭제delete 제 10 항에 있어서,
상기 d) 단계는,
상기 보조석에 위치한 동승자의 디스플레이 전환 제스처 명령을 인식하여 상기 제2 HUD에서 표시하고 있는 화면을 후석에 있는 디스플레이로 전환하여 표시하는 단계를 더 포함하는 차량 제스처 인식 시스템 제어 방법.The method of claim 10,
Step d),
And recognizing a display change gesture command of a passenger located in the passenger seat, converting and displaying a screen displayed on the second HUD to a display on a rear seat. 외부에 의한 기능 시작에 따른 차량 제스처 인식 시스템 제어 방법에 있어서,
a) 차량의 블루투스와 연동된 휴대폰으로 전화가 오면 운전석 측의 제1 HUD(Head Up Display)에 착신 화면을 표시하는 단계;
b) 상기 착신으로 인해 제스처 인식 기능을 자동으로 시작하는 단계;
c) 운전자의 손 위치를 추적하여 상기 손이 상기 제1 HUD 영역에서 보조석 측의 제2 HUD 영역으로 이동하는 디스플레이 전환 제스처 명령을 인식하는 단계; 및
d) 상기 제1 HUD에서 표시하고 있는 상기 착신 화면을 보조석 측의 제2 HUD로 전환하여 표시하는 단계를 포함하되,
상기 d) 단계는 상기 보조석에 위치한 동승자의 상기 보조석 측으로 제어 권한을 인계하여 보조석에 있는 동승자의 제스처 입력으로 전화를 받거나 끊는 단계를 포함하는 차량 제스처 인식 시스템 제어 방법.


In the vehicle gesture recognition system control method according to the external start of the function,
a) displaying an incoming call screen on a first head up display (HUD) of a driver's seat when a call comes to a mobile phone interworking with the Bluetooth of the vehicle;
b) automatically starting a gesture recognition function due to the incoming call;
c) tracking a hand position of a driver and recognizing a display change gesture command for moving the hand from the first HUD area to a second HUD area on the side of a passenger seat; And
d) converting the incoming call screen displayed on the first HUD into a second HUD on the side of the passenger seat;
The step d) includes the step of transferring a control right to the passenger seat side of the passenger seated in the passenger seat to answer or hang up the call with the gesture input of the passenger in the passenger seat.


삭제delete 삭제delete
KR1020130159334A 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle KR102029842B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130159334A KR102029842B1 (en) 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130159334A KR102029842B1 (en) 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle

Publications (2)

Publication Number Publication Date
KR20150072074A KR20150072074A (en) 2015-06-29
KR102029842B1 true KR102029842B1 (en) 2019-10-08

Family

ID=53518171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130159334A KR102029842B1 (en) 2013-12-19 2013-12-19 System and control method for gesture recognition of vehicle

Country Status (1)

Country Link
KR (1) KR102029842B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274334B1 (en) 2021-03-29 2021-07-08 (주)복서 Method, device and system for comtrolling vehical interior of user-responsive using hologram

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102548369B1 (en) * 2015-11-26 2023-06-27 현대모비스 주식회사 Apparatus and method for assisting driver
EP3415394B1 (en) 2016-02-12 2023-03-01 LG Electronics Inc. User interface apparatus for vehicle, and vehicle
KR102025434B1 (en) * 2016-08-30 2019-09-26 자동차부품연구원 System and method for provision of head up display information based on driver's gesture
KR101951426B1 (en) * 2017-08-08 2019-02-22 엘지전자 주식회사 Vehicle control device mounted on vehicle and method for controlling the vehicle
KR102005443B1 (en) * 2017-09-13 2019-07-30 엘지전자 주식회사 Apparatus for user-interface
GB2568669B (en) * 2017-11-17 2020-03-25 Jaguar Land Rover Ltd Proximity based vehicle controller
CN109828655A (en) * 2017-11-23 2019-05-31 英属开曼群岛商麦迪创科技股份有限公司 The more screen control systems of vehicle and the more screen control methods of vehicle
KR102041965B1 (en) * 2017-12-26 2019-11-27 엘지전자 주식회사 Display device mounted on vehicle
KR101986157B1 (en) * 2018-05-28 2019-06-05 주식회사 디젠 Apparatus for communizing information of AVN device
KR101960723B1 (en) * 2018-12-18 2019-03-21 코어다 주식회사 Smart car control system using motion recognition
CN110126759A (en) * 2019-04-02 2019-08-16 爱驰汽车有限公司 Reminding method, device and the automobile of running information
KR102179289B1 (en) * 2019-05-31 2020-11-17 연세대학교 산학협력단 Large Display Interaction System and Method of Autonomous Vehicles
KR20210000466A (en) * 2019-06-25 2021-01-05 현대모비스 주식회사 Control system using gesture in vehicle
US11554668B2 (en) 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
US20230146403A1 (en) * 2020-03-23 2023-05-11 Lg Electronics Inc. Display control device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008162376A (en) * 2006-12-27 2008-07-17 Takata Corp Vehicular working system, and vehicle
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274334B1 (en) 2021-03-29 2021-07-08 (주)복서 Method, device and system for comtrolling vehical interior of user-responsive using hologram

Also Published As

Publication number Publication date
KR20150072074A (en) 2015-06-29

Similar Documents

Publication Publication Date Title
KR102029842B1 (en) System and control method for gesture recognition of vehicle
US11503251B2 (en) Vehicular vision system with split display
US10489100B2 (en) Electronic device and method for sharing images
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
CN110395182B (en) Motor vehicle with electronic rear view mirror
US9594472B2 (en) Method and array for providing a graphical user interface, in particular in a vehicle
EP2914475B1 (en) System and method for using gestures in autonomous parking
US20110169750A1 (en) Multi-touchpad multi-touch user interface
US20190073040A1 (en) Gesture and motion based control of user interfaces
JP2016538780A (en) Method and apparatus for remotely controlling vehicle functions
JP2016503741A (en) Input device for automobile
US9052750B2 (en) System and method for manipulating user interface by 2D camera
JP2011118857A (en) User interface device for operations of multimedia system for vehicle
US20170108988A1 (en) Method and apparatus for recognizing a touch drag gesture on a curved screen
JP7077615B2 (en) Parking control method and parking control device
US20220244789A1 (en) Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head
WO2015001606A1 (en) Imaging system
WO2022226736A1 (en) Multi-screen interaction method and apparatus, and terminal device and vehicle
US20200401818A1 (en) Camera monitroing system for motor vehicles
US20140379212A1 (en) Blind control system for vehicle
CN111231860B (en) Operation module, operation method, operation system, and storage medium for vehicle
CA2914712A1 (en) Gesture input apparatus for car navigation system
JP2017111711A (en) Operation device for vehicle
KR101806172B1 (en) Vehicle terminal control system and method
KR101946746B1 (en) Positioning of non-vehicle objects in the vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant