KR101542986B1 - System and control method for gestures recognition using holographic - Google Patents

System and control method for gestures recognition using holographic Download PDF

Info

Publication number
KR101542986B1
KR101542986B1 KR1020130159601A KR20130159601A KR101542986B1 KR 101542986 B1 KR101542986 B1 KR 101542986B1 KR 1020130159601 A KR1020130159601 A KR 1020130159601A KR 20130159601 A KR20130159601 A KR 20130159601A KR 101542986 B1 KR101542986 B1 KR 101542986B1
Authority
KR
South Korea
Prior art keywords
gesture recognition
gesture
hologram
hand
recognition area
Prior art date
Application number
KR1020130159601A
Other languages
Korean (ko)
Other versions
KR20150072206A (en
Inventor
김선아
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020130159601A priority Critical patent/KR101542986B1/en
Publication of KR20150072206A publication Critical patent/KR20150072206A/en
Application granted granted Critical
Publication of KR101542986B1 publication Critical patent/KR101542986B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법이 개시된다.
본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 홀로그램을 투영하여 상기 카메라부의 제스처 인식 영역을 입체적으로 표시하는 홀로그램 투영부; 차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 매뉴얼 정보를 저장하는 저장부; 상기 카메라부를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 좌표를 검출하고, 검출된 손의 이동 패턴을 추적하여 제스처를 인식하는 제스처 인식부; 및 상기 제스처 인식부에서 인식된 제스처와 매칭된 기능을 검출하여 검출된 기능을 제어하는 제어부를 포함한다.A gesture recognition system using a hologram and a control method thereof are disclosed.
According to an embodiment of the present invention, there is provided a gesture recognition system using a hologram, including: a camera unit installed in a vehicle and photographing an interior of the vehicle; A hologram projection unit for projecting a hologram to three-dimensionally display a gesture recognition area of the camera unit; A storage unit for storing gesture setting information and manual information matched with various convenience functions in the vehicle; A gesture recognition unit for extracting a feature point according to a shape of a hand previously stored in the image obtained through the camera unit to detect hand coordinates and tracking a movement pattern of the detected hand to recognize a gesture; And a control unit for detecting a function matched with the gesture recognized by the gesture recognition unit and controlling the detected function.

Description

홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법{SYSTEM AND CONTROL METHOD FOR GESTURES RECOGNITION USING HOLOGRAPHIC}TECHNICAL FIELD [0001] The present invention relates to a gesture recognition system using a hologram,

본 발명은 차량에 적용되는 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법에 관한 것이다. The present invention relates to a gesture recognition system using a hologram applied to a vehicle and a control method thereof.

일반적으로 차량에 적용되는 카메라 기반 제스처 인식 시스템은 사용자가 차량 내 각종 편의 기능을 안전하고 편리하게 조작할 수 있도록 하는 신개념의 사용자 인터페이스로(UI)로 적용되고 있다.In general, a camera-based gesture recognition system applied to a vehicle is applied as a new conceptual user interface (UI) that enables a user to safely and conveniently operate various convenient functions in a vehicle.

이러한 카메라 기반 제스처 인식 시스템에서는 사용자의 제스처 입력을 정확히 인식하는 인식 성공률과 획득된 영상에서 제스처 인식을 빠르게 처리하는 응답성이 매우 중요한 요소로 여겨지고 있다.In this camera - based gesture recognition system, it is considered that the recognition success rate that accurately recognizes user 's gesture input and the responsiveness to quickly process the gesture recognition in the acquired image are very important factors.

일반적으로 제스처 인식 시스템은 카메라 기반 사용자의 제스처 인식이 가능한 범위(이하, 제스처 인식 영역이라 명명함)가 존재한다. 따라서, 사용자가 최적의 제스처 인식 영역 내에서 제스처를 취할 때 안정적으로 그 제스처를 인식할 수 있다.Generally, the gesture recognition system has a range in which a gesture recognition of a camera-based user is possible (hereinafter referred to as a gesture recognition area). Therefore, the user can stably recognize the gesture when the user takes the gesture within the optimum gesture recognition area.

그러나, 제스처 인식 시스템은 사용자가 제스처 인식 영역 밖에서 제스처를 취하게 되는 경우 인식 성공률이 떨어질 수 밖에 없는 문제가 있다.However, the gesture recognition system has a problem that the recognition success rate is inevitably lowered when the user takes a gesture outside the gesture recognition area.

한편, 이러한 문제를 해결하기 위하여 제스처 인식 영역을 넓히는 것을 고려할 수 있다. 그러나, 제스처 인식을 위해서는 영상을 이루고 있는 매 프레임마다 제스처 인식 영역에 대한 계산하는 과정을 포함하고 있는데 그 인식 영역이 넓어질수록 객체(손)이미지가 작아져 인식이 어려우며 연산량이 늘어나 처리속도 및 응답성이 떨어지는 단점이 있다.On the other hand, in order to solve such a problem, it is possible to consider expanding the gesture recognition area. However, in order to recognize a gesture, a process of calculating a gesture recognition area is included in every frame constituting an image. As the recognition area becomes wider, the object (hand) image becomes smaller and recognition becomes difficult. There is a drawback that the sex is reduced.

따라서, 차량 내 공간에서 설정된 최적의 제스처 인식 영역 내에서 사용자가제스처 인식을 입력하도록 하는 방안이 요구된다.Therefore, there is a need for a method for allowing the user to input the gesture recognition within the optimum gesture recognition area set in the in-vehicle space.

또한, 차량에 적용된 제스처 인식 시스템을 처음 접하는 사용자나 첨단 디지털 기기에 익숙하지 않은 고령자들은 그 사용방법을 이해하는데 어려움이 있으며, 그로 인해 사용빈도가 떨어져지거나 오히려 불편한 UI로 치부될 수 있다.In addition, a user who is new to the gesture recognition system applied to a vehicle or an elderly person who is not familiar with advanced digital devices has difficulty in understanding how to use the gesture recognition system, and accordingly, the UI may be used less frequently or may be regarded as an inconvenient UI.

따라서, 차량에 적용된 제스처 인식 시스템을 처음 접하는 사용자나 첨단 디지털 기기에 익숙하지 않은 고령자들이 제스처 인식 시스템의 사용을 쉽게 이해할 수 있도록 가이드 하는 방안이 절실하다.Therefore, it is urgent to guide the user who is new to the gesture recognition system applied to the vehicle or the elderly who are not familiar with the advanced digital device to easily understand the use of the gesture recognition system.

본 발명의 실시 예는 본 발명은 홀로그램을 이용하여서 차량 내 공간에서 설정된 최적의 제스처 인식 영역을 직관적으로 표시하고, 사용자가 원하는 위치로 제스처 인식 영역을 조정할 수 있는 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법을 제공하기 위한 것이다.The present invention provides a gesture recognition system using a hologram capable of intuitively displaying an optimal gesture recognition area set in a vehicle interior space using a hologram and adjusting a gesture recognition area to a desired position by the user, Method.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 사용자에게 홀로그램을 이용하여 제스처 입력 매뉴얼(Menual)을 가이드 할 수 있는 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법을 제공하기 위한 것이다.According to another aspect of the present invention, there is provided a gesture recognition system using a hologram capable of guiding a gesture input manual to a user using a hologram, and a control method thereof.

본 발명의 일 측면에 따르면, 홀로그램을 이용한 제스처 인식 시스템은, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 홀로그램을 투영하여 상기 카메라부의 제스처 인식 영역을 입체적으로 표시하는 홀로그램 투영부; 차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 매뉴얼 정보를 저장하는 저장부; 상기 카메라부를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 좌표를 검출하고, 검출된 손의 이동 패턴을 추적하여 제스처를 인식하는 제스처 인식부; 및 상기 제스처 인식부에서 인식된 제스처와 매칭된 기능을 검출하여 검출된 기능을 제어하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a gesture recognition system using a hologram, comprising: a camera unit installed in a vehicle and photographing the inside of the vehicle; A hologram projection unit for projecting a hologram to three-dimensionally display a gesture recognition area of the camera unit; A storage unit for storing gesture setting information and manual information matched with various convenience functions in the vehicle; A gesture recognition unit for extracting a feature point according to a shape of a hand previously stored in the image obtained through the camera unit to detect hand coordinates and tracking a movement pattern of the detected hand to recognize a gesture; And a control unit for detecting a function matched with the gesture recognized by the gesture recognition unit and controlling the detected function.

또한, 상기 카메라부는, 적외선 기능을 가지는 3차원 비전센서 또는 스테레오 카메라로 구성하여 탑승자의 손 위치를 3차원좌표로 검출하도록 구성할 수 있다.In addition, the camera unit may include a three-dimensional vision sensor or a stereo camera having an infrared function to detect a hand position of a passenger in three-dimensional coordinates.

또한, 상기 홀로그램 투영부는, 상기 카메라부의 제스처 인식 영역 설정 변경에 따른 홀로그램의 투영 포지션을 변경하여 변경된 제스처 인식 영역을 표시할 수 있다.The hologram projecting unit may display the changed gesture recognition area by changing the projection position of the hologram according to the gesture recognition area setting change of the camera unit.

또한, 상기 홀로그램 투영부는, 사용자의 제스처 인식 모드 사용방법을 안내하는 각 제스처 별 매칭 기능을 실행하는 영상을 상기 제스처 인식 영역에 표시할 수 있다.In addition, the hologram projecting unit may display, in the gesture recognition area, an image for performing a matching function for each gesture guiding a user using the gesture recognition mode.

또한, 상기 홀로그램 투영부는, 주변의 밝기에 정도에 따라 상기 제스처 인식 영역의 표시 색상 또는 밝기를 조절하여 표시할 수 있다.In addition, the hologram projecting unit may display and adjust the display color or brightness of the gesture recognition area according to the brightness of the surroundings.

또한, 상기 저장부는, 차량 내부의 공간 좌표계를 저장하고 상기 좌표계 기반 상기 카메라부를 기준으로 형성된 제스처 인식 영역 설정 정보를 저장할 수 있다.The storage unit may store a spatial coordinate system within the vehicle and store gesture recognition area setting information formed on the basis of the coordinate system-based camera unit.

또한, 상기 제스처 인식부는, 상기 제스처 인식 시 손의 이동에 따른 핸드 제스처 및 적어도 하나의 손가락을 구부리거나 펴는 손 모양의 핸드 포스처 중 적어도 하나를 인식할 수 있다.The gesture recognition unit may recognize at least one of a hand gesture according to movement of the hand and a hand posture to bend or straighten at least one finger when recognizing the gesture.

한편, 본 발명의 일 측면에 따른, 차량용 제스처 인식 시스템의 홀로그램을 이용한 제스처 인식 제어 방법은, a) 제스처 인식 모드가 개시되면 카메라부를 통해 제스처 인식영역을 촬영하는 단계; b) 홀로그램 투영부를 통해 홀로그램을 투영하여 상기 제스처 인식 영역을 입체적으로 표시하는 단계; c) 상기 홀로그램 표시된 상기 제스처 인식 영역 내에서 이루어진 사용자의 제스처 동작을 인식하는 단계; 및 d) 인식된 상기 제스처와 매칭된 기능을 검출하고 해당 기능을 제어하는 단계를 포함한다.According to an aspect of the present invention, there is provided a gesture recognition control method using a hologram of a vehicle gesture recognition system, the method comprising: a) photographing a gesture recognition area through a camera unit when a gesture recognition mode is started; b) stereoscopically displaying the gesture recognition area by projecting a hologram through the hologram projection part; c) recognizing a gesture operation of the user in the gesture recognition area indicated by the hologram; And d) detecting a function matched with the recognized gesture and controlling the function.

또한, 상기 b) 단계는, 상기 홀로그램 투영부의 구동은 상기 제스처 인식 모드 시 사용자의 옵션 설정에 따라 자동 투영되도록 설정할 수 있다.In the step b), the hologram projecting unit may be set to be automatically projected according to a user's option setting in the gesture recognition mode.

또한, 상기 c) 단계는, 상기 카메라부를 통해 상기 홀로그램 표시 영역에서 촬영된 촬영 영상을 획득하고 손의 형태에 따른 특징점을 추출하여 손 골과 손 끝 좌표를 검출하는 단계; 및 검출된 상기 손 골과 손 끝 좌표의 이동패턴을 추적하여 입력된 제스처를 인식하는 단계를 포함 할 수 있다.The step (c) may further include the steps of: acquiring a photographed image photographed in the hologram display area through the camera unit and extracting feature points according to the shape of the hand to detect the hand bone and hand end coordinates; And recognizing the input gesture by tracking the movement patterns of the hand and the hand coordinates detected.

한편, 본 발명의 일 측면에 따른, 차량용 제스처 인식 시스템의 홀로그램을 이용한 매뉴얼 모드 제어 방법은, a) 차량의 제스처 인식 모드에서 매뉴얼 안내 모드 메뉴가 실행되는 단계; b) 상기 매뉴얼 안내 모드 개시에 따른 홀로그램 투영부를 실행하여 홀로그램을 통해 제스처 별 매칭된 기능을 순차적으로 실행하는 시연 영상을 표시하는 단계; c) 저장된 매뉴얼 정보에 따라 소정 제스처의 시연 영상이 표시되면, 상기 소정 제스처와 매칭된 차량 기능을 실제 작동하는 단계; 및 d) 상기 시연 영상의 순차적 표시를 완료되면 카메라부의 제스처 인식 영역에 홀로그램을 투영하여 현재 홀로그램 표시 영역이 최적 제스처 인식 영역임을 표시하는 단계를 포함한다.Meanwhile, a manual mode control method using a hologram of a gesture recognition system for a vehicle according to an aspect of the present invention includes: a) executing a manual guidance mode menu in a gesture recognition mode of a vehicle; b) executing a hologram projection unit according to the start of the manual guidance mode and displaying a demonstration image sequentially executing gesture-matched functions through a hologram; c) if the demonstration image of the predetermined gesture is displayed according to the stored manual information, actually operating the vehicle function matched with the predetermined gesture; And d) projecting the hologram to the gesture recognition area of the camera unit when the sequential display of the demonstration image is completed, thereby indicating that the current hologram display area is the optimal gesture recognition area.

또한, 상기 시연 영상은, 저장부에 저장된 상기 매뉴얼 정보로부터 불러들여 상기 제스처 인식 영역에 입체 영상으로 표시하는 단계를 포함 할 수 있다.In addition, the demonstration image may include a step of retrieving from the manual information stored in the storage unit and displaying the stereoscopic image in the gesture recognition area.

또한, 상기 b) 단계는, b-1) 상기 홀로그램을 통해 손의 1측 방향 이동에 따른 제1 제스처가 표시되면 상기 제1 제스처에 매칭된 차량의 제1 기능을 작동하는 단계; 및 b-2) 상기 홀로그램을 통해 손의 2측 방향 이동에 따른 제2 제스처가 표시되면 상기 제2 제스처에 매칭된 차량의 제2 기능을 작동하는 단계를 포함할 수 있다.The step (b) may further include the steps of: (b-1) activating a first function of the vehicle matched with the first gesture if a first gesture according to one-sided movement of the hand is displayed through the hologram; And (b-2) activating a second function of the vehicle matched to the second gesture if a second gesture according to two-sided movement of the hand is displayed through the hologram.

또한, 상기 b) 단계는, 상기 시연 영상의 재생 중 사용자가 소정 제스처를 입력하면 상기 매뉴얼 안내 모드를 종료할 수 있다.In the step b), when the user inputs a predetermined gesture during reproduction of the demonstration image, the user can exit the manual guidance mode.

또한, 상기 매뉴얼 안내 모드의 동작 시 상기 홀로그램을 이용한 영상 표시와 함께 안내 멘트를 출력할 수 있다.In addition, during the operation of the manual guidance mode, the announcement can be output together with the video display using the hologram.

한편, 본 발명의 일 측면에 따른, 차량용 제스처 인식 시스템의 홀로그램을 이용한 제스처 인식 영역 변경 제어 방법은, a) 제스처 인식 모드가 개시되면 카메라부를 통해 제스처 인식영역을 촬영하는 단계; b) 홀로그램 투영부를 통해 홀로그램을 투영하여 상기 제스처 인식 영역을 입체적으로 표시하는 단계; c) 상기 홀로그램 표시된 상기 제스처 인식 영역 내에서 제스처 인식 영역을 변경하는 제1 핸드 포스처 명령을 인식하는 단계; 및 d) 사용자의 손이 이동 후 멈춘 위치에서 제2 핸드 포스처 명령을 인식하면 상기 멈춘 위치를 기준으로 변경된 제스처 인식 영역으로 설정하는 단계를 포함한다.According to an aspect of the present invention, there is provided a gesture recognition area change control method using a hologram of a vehicle gesture recognition system, comprising: a) photographing a gesture recognition area through a camera unit when a gesture recognition mode is started; b) stereoscopically displaying the gesture recognition area by projecting a hologram through the hologram projection part; c) recognizing a first hand posture instruction to change the gesture recognition area within the gesture recognition area indicated by the hologram; And d) if the user recognizes the second hand posture instruction at the position where the hand stops after the movement, setting the changed hand gesture recognition area to the changed gesture recognition area based on the stopped position.

또한, 상기 c) 단계와 d) 단계 사이에, 상기 사용자의 손 이동좌표를 추적하고 손의 이동 좌표를 따라 동기된 위치로 상기 홀로그램을 투영하여 제스처 인식 영역을 이동시키는 단계를 포함할 수 있다.The method may further include moving the gesture recognition area between the steps c) and d) by tracking the user's hand movement coordinates and projecting the hologram to a synchronized position along the movement coordinates of the hand.

또한, 상기 제1 핸드 포스처 명령은 사용자의 손이 주먹을 쥐는 것으로 인식하고, 상기 제2 핸드 포스처 명령은 사용자의 손이 주먹을 펴는 것으로 인식하는 것을 특징으로 한다. Also, the first hand posture instruction recognizes that the user's hand grasps the fist, and the second hand posture instruction recognizes that the user's hand spreads the fist.

또한, 상기 c) 단계에서 상기 제스처 인식 영역은, 차량 내 3차원 공간에 설정된 좌표계의 어느 한 지점으로 이동하여 변경 설정될 수 있다.In addition, in the step (c), the gesture recognition area may be changed and set by moving to any one point of the coordinate system set in the in-vehicle three-dimensional space.

본 발명의 실시 예에 따르면, 차량의 제스처 인식을 위한 홀로그램을 통해 최적의 제스처 인식 영역을 직관적으로 표시하여 사용자가 제스처 입력을 정확하게 할 수 있도록 함으로써 인식 성공률을 높일 수 있다.According to an embodiment of the present invention, an optimal gesture recognition area can be intuitively displayed through a hologram for gesture recognition of a vehicle, so that a user can precisely input a gesture, thereby improving the recognition success rate.

또한, 차량 구입자가 기존의 책자에 의존하던 기능 설명을 홀로그램을 통해 안내 시각적 청각적으로 안내 받을 수 있어 기능 취득을 위한 피로도를 줄이고 제스처 인시 시스템의 차별된 기능을 제공할 수 있다.In addition, the purchaser of the vehicle can receive guiding visual and auditory guidance through the hologram on the function description depending on the existing booklet, thereby reducing the fatigue for the function acquisition and providing the differentiated function of the gesture insight system.

또한, 사용자의 신체 사이즈 및 운전자세를 고려하여 제스처 인식 영역을 자유롭게 변경할 수 있어 사용자의 제스처 입력이 편안한 상태에서 이루어 질 수 있도록 할 수 있다. In addition, the gesture recognition area can be freely changed in consideration of the user's body size and driving posture, so that the gesture input of the user can be performed in a comfortable state.

도 1은 본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 영역을 표시한 상태를 나타낸다.
도 3은 본 발명의 실시 예에 따른 제스처 인식 영역의 이동 가능한 좌표를 나타낸다.
도 4는 본 발명의 제1 실시 예에 따른 홀로그램을 이용한 이용한 제스처 인식 방법을 나타낸 흐름도이다.
도 5는 본 발명의 제2 실시 예에 따른 홀로그램을 이용한 제스처 인식 가이드 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시 예에 따른 홀로그램을 이용한 최적 제스처 인식 영역을 표시한 상태를 나타낸다.
도 7은 본 발명의 제3 실시 예에 따른 제스처 인식 영역 변경 방법을 나타낸 흐름도이다.
도 8 및 도 9는 본 발명의 실시 예에 따른 제스처 인식 영역이 변경되는 과정을 나타낸다.1 is a block diagram schematically showing a configuration of a gesture recognition system using a hologram according to an embodiment of the present invention.
FIG. 2 shows a state in which a gesture recognition area using a hologram according to an embodiment of the present invention is displayed.
3 illustrates movable coordinates of a gesture recognition area according to an embodiment of the present invention.
4 is a flowchart illustrating a gesture recognition method using a hologram according to the first embodiment of the present invention.
5 is a flowchart illustrating a gesture recognition guide method using a hologram according to a second embodiment of the present invention.
FIG. 6 shows a state in which an optimal gesture recognition area using a hologram according to an embodiment of the present invention is displayed.
7 is a flowchart illustrating a method of changing a gesture recognition area according to a third embodiment of the present invention.
8 and 9 illustrate a process of changing a gesture recognition area according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

이제 본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.Now, a gesture recognition system using a hologram and a control method thereof according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 시스템의 구성을 개략적으로 나타낸 블록도이다.1 is a block diagram schematically showing a configuration of a gesture recognition system using a hologram according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 영역을 표시한 상태를 나타낸다.FIG. 2 shows a state in which a gesture recognition area using a hologram according to an embodiment of the present invention is displayed.

첨부된 도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 제스처 인식 시스템(100)은 카메라부(110), 홀로그램 투영부(120), 저장부(130), 제스처 인식부(140) 및 제어부(150)를 포함한다.1 and 2, a gesture recognition system 100 according to an exemplary embodiment of the present invention includes a camera unit 110, a hologram projection unit 120, a storage unit 130, a gesture recognition unit 140, And a control unit 150.

카메라부(110)는 차량 내 설치되어 차량 내부를 촬영하고 촬영된 영상을 제스처 인식부(140)로 전달한다.The camera unit 110 is installed in the vehicle, photographs the inside of the vehicle, and transmits the photographed image to the gesture recognition unit 140.

이러한, 카메라부(110)는 적외선 기능을 가지는 3차원 비전센서 또는 스테레오 카메라로 구성하여 손 위치를 3D(X, Y, Z)로 검출하도록 구성할 수 있으나 이에 한정되지 않으며, 뎁스 카메라나 웹켐을 이용하여 손의 위치를 검출할 수도 있다.The camera unit 110 may be configured to detect a hand position in 3D (X, Y, Z) by using a 3D vision sensor or a stereo camera having an infrared function, but the present invention is not limited thereto. The position of the hand can be detected.

홀로그램 투영부(120)는 차량 내 복수로 설치되며 제스처 인식모드가 실행되면 홀로그램을 투영하여 카메라부(110)의 제스처 인식 영역을 입체적으로 표시한다.The hologram projecting unit 120 is installed in a plurality of vehicles, and when the gesture recognition mode is executed, the hologram is projected to three-dimensionally display the gesture recognition area of the camera unit 110. [

홀로그램 투영부(120)은 카메라부(110)의 제스처 인식 영역 설정 변경에 따른 홀로그램의 투영 포지션을 변경하여 제스처 인식 영역을 표시할 수 있다.The hologram projecting unit 120 can display the gesture recognition area by changing the projection position of the hologram according to the change of the gesture recognition area setting of the camera unit 110. [

또한, 홀로그램 투영부(120)는 제스처 인식 시스템(100)이 사용자의 제스처 인식 모드 사용방법을 안내하는 매뉴얼 안내 모드로 동작 시 제스처 별로 매칭된 기능을 실행하는 영상을 홀로그램을 이용하여 상기 제스처 인식 영역에 표시할 수 있다. In addition, the hologram projecting unit 120 may project the image, which is executed by the gesture recognition system 100 in the manual guidance mode guiding the user's gesture recognition mode using the gesture-matched function, using the hologram, Can be displayed.

저장부(130)는 제스처 인식 시스템(100)의 구현을 위한 각종 설정 정보 및 프로그램을 저장하고, 제스처 인식 시스템(100)의 구동에 따라 생성되는 데이터를 저장한다.The storage unit 130 stores various setting information and programs for the implementation of the gesture recognition system 100 and stores data generated according to the operation of the gesture recognition system 100. [

예컨대, 저장부(130)는 차량 내 각종 편의 기능과 매칭되는 제스처 설정정보와 그에 따른 매뉴얼 정보를 저장한다.For example, the storage unit 130 stores gesture setting information matched with various convenience functions in the vehicle and corresponding manual information.

예컨대, 저장부(130)는 차량 내 각종 기능을 조작하기 위하여 탑승자의 골격과 관절의 위치 및 그 위치의 변화를 근거로 미리 지정된 제스처를 저장한다. 여기서, 상기 골격과 관절은 팔꿈치, 손목, 손가락 등을 포함할 수 있다.For example, the storage unit 130 stores a predetermined gesture based on a change of a skeleton of a passenger, a position of a joint, and a position thereof in order to operate various functions in the vehicle. Here, the skeleton and the joint may include an elbow, a wrist, a finger, and the like.

또한, 저장부(130)는 차량 내부의 공간 좌표계를 저장하고, 상기 좌표계 기반 카메라부(110)를 기준으로 형성된 제스처 인식 영역 설정 정보를 저장할 수 있다. In addition, the storage unit 130 may store the spatial coordinate system of the vehicle and store the gesture recognition area setting information formed on the basis of the coordinate system-based camera unit 110. [

제스처 인식부(140)는 카메라부(110)를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손끝 좌표를 검출하고, 검출된 손 골과 손 끝의 이동 패턴을 추적하여 제스처를 인식한다.The gesture recognition unit 140 extracts feature points according to the shape of the hand stored in advance in the image obtained through the camera unit 110 to detect hand and fingertip coordinates and tracks movement patterns of the detected hand and fingertip Thereby recognizing the gesture.

이 때, 제스처 인식부(140)는 손의 색깔, 형태, 밝기, 손목 및 손가락 관절의 형태 등의 다양한 특징점을 추출한 후 손의 형태 모델링을 통해 손을 검출할 수 있다.At this time, the gesture recognition unit 140 can extract various feature points such as the color of the hand, the shape, the brightness, the shape of the wrist and the finger joint, and then detect the hand through morphological modeling of the hand.

따라서, 본 발명의 실시 예에 따른 제스처 인식부(140)가 인식하는 제스처는 손의 이동에 따른 핸드 제스처와 적어도 하나의 손가락을 구부리거나 펴는 손 모양(예; 주먹, 가위, 보자기)의 핸드 포스처를 포함할 수 있다.Accordingly, the gesture recognized by the gesture recognizing unit 140 according to the embodiment of the present invention includes a hand gesture according to the movement of the hand and a hand force (e.g., a fist, a scissors, a crease) for bending or stretching at least one finger .

제어부(150)는 본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 시스템(100)의 구동을 위해 상기 각부의 전반적인 동작을 제어한다.The control unit 150 controls the overall operation of the respective units for driving the gesture recognition system 100 using the hologram according to the embodiment of the present invention.

제어부(150)는 사용자의 조작 입력 또는 음성 입력으로 제스처 인식모드가 실행되면 카메라부(110)를 통해 제스처 인식 영역을 촬영하고, 이와 동시에 홀로그램 투영부(120)를 통해 상기 제스처 인식 영역을 입체적으로 표시한다.The control unit 150 photographs the gesture recognition area through the camera unit 110 when the gesture recognition mode is executed by a user's operation input or voice input, and at the same time, the gesture recognition area is three-dimensionally projected through the hologram projecting unit 120 Display.

이 때, 홀로그램 투영부(120)를 통해 표시되는 상기 제스처 인식 영역은 주변의 밝기에 정도에 따라 표시 색상 또는 밝기가 조절되어 낮에는 진하고 밝게 밤에는 옅고 은은하게 표시할 수 있다.In this case, the gesture recognition area displayed through the hologram projecting unit 120 may be displayed in a darker color and brighter in the daytime and lighter and darker in the nighttime, depending on the brightness of the surroundings.

제어부(150)는 제스처 인식부(140)에서 인식된 제스처와 매칭된 기능을 저장부(130)에서 검출하고, 도면에서는 생략되었으나 차량 내 각종 전자 제어 유닛과 연동하여 해당 기능을 제어할 수 있다.The control unit 150 detects the function matched with the gesture recognized by the gesture recognition unit 140 in the storage unit 130 and controls the corresponding function in cooperation with various electronic control units in the vehicle although it is omitted in the drawing.

한편, 제어부(150)는 제스처 인식 시스템의 이용에 익숙치 않은 사용자가 제스처 인식 매뉴얼 모드를 실행하면, 저장된 매뉴얼 정보에 따른 홀로그램 투영부(120)를 실행하여 다양한 제스처 별로 매칭된 기능을 실행하는 시연 영상을 표시한다.When the user who is unfamiliar with the use of the gesture recognition system executes the gesture recognition manual mode, the control unit 150 executes the hologram projecting unit 120 according to the stored manual information and displays a demonstration image .

예컨대, 제어부(150)는 AVN 기능 조작을 위한 제스처를 통한 시연 영상이 표시되는 경우, 설정 매뉴얼에 따라 해당 AVN 기능을 실제 구동함으로써 사용자의 제스처 입력을 실감적으로 가이드 할 수 있다.For example, when the demonstration image through the gesture for the AVN function operation is displayed, the controller 150 may actually guide the user's gesture input by actually driving the AVN function according to the setting manual.

또한, 제어부(150)는 운전자의 신체 사이즈에 따라 좌석시트의 위치가 다르고, 팔 길이에 따라 제스처 가능한 범위가 다를 수 있으므로 운전자의 입력에 따라 카메라부(110)의 상기 제스처 인식 영역을 가변 설정할 수 있다.In addition, since the position of the seat is different according to the body size of the driver, and the gestureable range may be different according to the arm length, the controller 150 may vary the gesture recognition area of the camera unit 110 have.

이 때, 제어부(150)는 카메라부(110)의 제스처 인식 영역 설정 변경에 따라 동기되도록 홀로그램 투영부(120) 투영 포지션을 변경하여 제스처 인식 영역을 표시할 수 있도록 한다.At this time, the control unit 150 changes the projection position of the hologram projecting unit 120 so that the gesture recognition area can be displayed in synchronization with the change of the gesture recognition area setting of the camera unit 110.

예컨대, 도 3은 본 발명의 실시 예에 따른 제스처 인식 영역의 이동 가능한 좌표를 나타낸다.For example, FIG. 3 shows movable coordinates of a gesture recognition area according to an embodiment of the present invention.

첨부된 도 3을 참조하면, 카메라부(110)의 촬영 영역에는 복수의 좌표(Point)가 3차원 형태로 배치된 좌표계가 설정되어 있다. 이 때, 도 3에 도시된 좌표계는 좌우축(X, Y)의 평면 좌표로만 표시되었으나 깊이 방향(Z축)으로 좌표가 더 배치되어 있다. Referring to FIG. 3, a coordinate system in which a plurality of coordinates are arranged in a three-dimensional form is set in an image capturing area of the camera unit 110. At this time, the coordinate system shown in FIG. 3 is displayed only in the plane coordinates of the left and right axes (X, Y), but the coordinates are further arranged in the depth direction (Z axis).

제어부(150)는 제스처 인식부(140)를 통해 사용자가 제스처 인식 영역을 이동하는 제스처 입력을 인식하면, 상기 좌표의 위치에 맞게 제스처 인식 영역을 변경 설정할 수 있다. When the user recognizes the gesture input through the gesture recognition unit 140, the control unit 150 can change the gesture recognition area according to the position of the coordinates.

예컨대, 제스처 인식부(140) 상기 제스처 인식 영역을 이동할 때, 손 골과 손끝 좌표를 검출하여 사용자가 주먹을 쥐는 핸드 포스처를 제스처 입력으로 인식하고, 주먹을 쥔 상태의 좌표가 이동한 패턴을 계산한다. 그리고, 주먹의 이동이 시작된 좌표부터 멈추고 손을 편 시점의 좌표까지를 사용자가 원하는 변경 위치로 인식할 수 있다 For example, when moving the gesture recognition area, the gesture recognition unit 140 detects hand gestures and fingertip coordinates, recognizes a hand posture in which the user holds the fist as a gesture input, and displays a pattern in which the coordinates . Then, from the coordinates at which the movement of the fist has been started to the stop,

이 때, 주먹이 멈춘 시점의 좌표는 도 3의 좌표계와 일치하지 않을 수 있으므로 제스처 인식부(140)는 사용자가 원하는 변경 위치의 변수를 최적화 하기 위한 알고리즘을 다음과 같이 수행할 수 있다.3, the gesture recognition unit 140 may perform an algorithm for optimizing a variable of a desired change position as follows.

제스처 인식부(140)는 각 차종 별로 도 3의 각 좌표와 같이 미리 지정된 특정 좌표에서의 최적 변수를 찾아 룩업 테이블에 저장한다. 만약, 사용자가 상기 좌표들 이외의 위치에서 제스처 인식 영역을 이동시키고자 할 때에는 보간(Interpolation)기법을 이용하여 그 위치에서의 최적변수를 계산한다.The gesture recognition unit 140 finds optimal variables at specific coordinates predetermined in advance, such as the respective coordinates of FIG. 3 for each vehicle type, and stores it in a lookup table. If the user wishes to move the gesture recognition area at a position other than the coordinates, an optimum parameter at that position is calculated using an interpolation technique.

예컨데, 사용자의 손 위치가 제 1좌표와 이웃한 제 2좌표 사이를 변경 위치로 입력한 경우 제 1좌표에서의 룩업 테이블에 저장된 최적 변수와 현재 좌표에서의 룩업 테이블에 저장된 최적변수를 거리의 비에 따라 입력 위치에서의 최적변수를 계산한 후 둘 중 어느 하나의 좌표를 기준으로 제스처 인식 영역을 변경할 수 있다.For example, when the hand position of the user is inputted between the first coordinate and the neighboring second coordinate as the changing position, the optimal variable stored in the lookup table at the first coordinate and the optimum variable stored in the lookup table at the current coordinate are set as the distance ratio The gesture recognition area can be changed on the basis of any one of the two coordinates after calculating the optimal parameter at the input position.

한편, 전술한 본 발명의 실시 예에 따른 홀로그램을 이용한 제스처 인식 시스템(100)의 구성을 바탕으로 하는 차량용 제스처 인식 방법을 아래의 다양한 실시 예를 통해 설명한다.
Meanwhile, a vehicle gesture recognition method based on the configuration of the gesture recognition system 100 using the hologram according to the embodiment of the present invention will be described with reference to the following embodiments.

[제1 실시 예][First Embodiment]

도 4는 본 발명의 제1 실시 예에 따른 홀로그램을 이용한 이용한 제스처 인식 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a gesture recognition method using a hologram according to the first embodiment of the present invention.

첨부된 도 4를 참조하면, 제스처 인식 시스템(100)은 사용자의 조작 입력 또는 음성 입력으로 제스처 인식모드가 개시되면(S101), 카메라부(110)를 통해 제스처 인식 영역을 촬영한다(S102).Referring to FIG. 4, the gesture recognition system 100 photographs a gesture recognition area through the camera unit 110 (S102) when a gesture recognition mode is started by a user's operation input or voice input (S101).

제스처 인식 시스템(100)은 홀로그램 투영부(120)를 통해 홀로그램을 투영하여 카메라부(110)의 제스처 인식 영역을 입체적으로 표시한다(S103). The gesture recognition system 100 projects the hologram through the hologram projection unit 120 to display the gesture recognition area of the camera unit 110 in three dimensions (S103).

이 때, 홀로그램 투영부(120)의 구동은 사용자의 옵션 설정에 따라 자동 투영되도록 설정될 수 있다.At this time, the driving of the hologram projection unit 120 can be set to be automatically projected according to the option setting of the user.

제스처 인식 시스템(100)은 홀로그램 표시 영역(즉, 최적의 제스처 인식 영역) 내에서 이루어진 사용자의 제스처 동작을 인식한다(S104).The gesture recognition system 100 recognizes the gesture operation of the user in the hologram display area (i.e., the optimal gesture recognition area) (S104).

좀더 구체적으로 설명하면, 제스처 인식 시스템(100)은 카메라부(110)를 통해 홀로그램 표시 영역 내에서 이루어진 손동작 촬영 영상을 획득하여, 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 골과 손 끝 좌표를 검출한다. 그리고, 검출된 손 골과 손 끝의 이동패턴(이동 좌표)을 추적하여 입력된 제스처를 인식할 수 있다.More specifically, the gesture recognition system 100 acquires hand gesture photographed images in the hologram display area through the camera unit 110, extracts feature points corresponding to previously stored hand shapes, . Then, the input gesture can be recognized by tracking the movement pattern (movement coordinates) of the detected hand gestures and hand ends.

제스처 인식 시스템(100)은 인식된 제스처와 매칭된 기능을 검출하여 해당 기능을 제어한다(S105).The gesture recognition system 100 detects a function matched with the recognized gesture and controls the corresponding function (S105).

이후, 제스처 인식 시스템(100)은 일정시간 동안 제스처 입력이 없으면 상기 제스처 인식모드를 종료한다(S106).
Thereafter, the gesture recognition system 100 ends the gesture recognition mode if there is no gesture input for a predetermined time (S106).

[제2 실시 예][Second Embodiment]

한편, 본 발명이 제2 실시 예를 통하여 제스처 인식 시스템(100)이 사용자의 매뉴얼 안내 모드로 동작하는 방법을 설명한다.Meanwhile, a method of operating the gesture recognition system 100 in the manual guidance mode of the user through the second embodiment of the present invention will be described.

도 5는 본 발명의 제2 실시 예에 따른 홀로그램을 이용한 제스처 인식 매뉴얼 안내 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a gesture recognition manual guidance method using a hologram according to a second embodiment of the present invention.

첨부된 도 5를 참조하면, 제스처 인식 시스템(100)은 운전자가 차량을 구입하여 처음 제스처 모드를 실행하거나 제스처 가이드 모드 실행 메뉴를 입력 받으면 매뉴얼 안내 모드를 개시한다(S201)Referring to FIG. 5, the gesture recognition system 100 starts a manual guidance mode when the driver purchases a vehicle and executes a gesture mode for the first time or receives a gesture guide mode execution menu (S201)

제스처 인식 시스템(100)은 매뉴얼 안내 모드 개시에 따른 홀로그램 투영부(120)를 실행하고 제스처 별 매칭된 기능을 순차적으로 실행하는 시연 영상을 표시한다(S202). 이 때, 상기 시연 영상은 저장된 매뉴얼 정보로부터 불러들여 제스처 인식 영역에 입체 영상으로 표시할 수 있다.The gesture recognition system 100 executes the hologram projection unit 120 according to the start of the manual guidance mode and displays a demonstration image sequentially executing the matched functions for each gesture (S202). At this time, the demonstration image may be retrieved from the stored manual information and displayed as a stereoscopic image in the gesture recognition area.

그리고, 제스처 인식 시스템(100)은 상기 매뉴얼 정보에 따라 소정 제스처의 시연 영상이 표시되면 동시에 이와 매칭된 기능을 실제 구동한다(S203).When the demonstration image of the predetermined gesture is displayed according to the manual information, the gesture recognition system 100 actually drives the matched function (S203).

예컨대, 제스처 인식 시스템(100)은 소정 제스처로 음악기능을 실행하여 아래와 같은 제스처를 순차적으로 안내할 수 있다.For example, the gesture recognition system 100 may execute a music function with a predetermined gesture to sequentially guide the following gestures.

손이 우측에서 좌측으로 이동하는 제1 제스처가 표시되면 음악 목록에서 이 전곡을 재생할 수 있다.If the first gesture is displayed in which the hand moves from right to left, the whole music can be reproduced from the music list.

또한, 손이 좌측에서 우측으로 이동하는 제2 제스처가 표시되면 음악 목록의 이전 곡을 재생할 수 있다.Also, if a second gesture is displayed in which the hand moves from the left to the right, the previous song of the music list can be reproduced.

또한, 손이 시계방향으로 회전하는 제3 제스처가 표시되면 볼륨을 높이고, 손이 반 시계방향으로 회전하는 제3 제스처가 표시되면 볼륨을 낮일 수 있다.Further, when the third gesture in which the hand rotates in the clockwise direction is displayed, the volume is increased, and when the third gesture in which the hand is rotated in the counterclockwise direction is displayed, the volume can be lowered.

이 때, 도면에서는 생략되었으나, 제스처 인식 시스템(100)은 상기 시연 영상의 재상 중 사용자가 특정 제스처를 입력하면 매뉴얼 안내 모드를 종료할 수 있다.At this time, although not shown in the drawing, the gesture recognition system 100 can exit the manual guidance mode when the user inputs a specific gesture during the reproduction of the demonstration image.

한편, 도 6은 본 발명의 실시 예에 따른 홀로그램을 이용한 최적 제스처 인식 영역을 표시한 상태를 나타낸다.Meanwhile, FIG. 6 shows a state in which an optimal gesture recognition area using a hologram according to an embodiment of the present invention is displayed.

제스처 인식 시스템(100)은 시연 영상의 순차적 재생이 완료되면 홀로그램 투영부(120)를 통해 홀로그램을 투영하여 현재 홀로그램 표시 영역이 최적 제스처 인식 영역임을 표시한다(S204). The gesture recognition system 100 projects the hologram through the hologram projection unit 120 when the reproduction of the preview image is completed, and indicates that the current hologram display area is the optimal gesture recognition area (S204).

이후, 제스처 인식 시스템(100)은 사용자의 제스처 입력이 있으면 상기 제1 실시 예를 수행하고, 일정시간 동안 제스처 입력이 없으면 상기 제스처 인식모드를 종료한다(S205).Thereafter, the gesture recognition system 100 performs the first embodiment if there is a gesture input of the user, and ends the gesture recognition mode if there is no gesture input for a predetermined period of time (S205).

이상의 본 발명의 제2 실시 예에 따른 설명에서, 매뉴얼 안내 모드의 동작 시 홀로그램의 영상표시와 함께 안내멘트를 출력할 수 있다.In the description according to the second embodiment of the present invention described above, it is possible to output the announcement along with the video display of the hologram during the operation of the manual guidance mode.

또한, 사용자의 옵션 선택에 따라 다른 기능에 대한 설명을 안내 받을 수 도 있다. 따라서, 사용자가 기존의 책차에 의존하던 기능 설명을 홀로그램을 통해 안내 시각적 청각적으로 안내 받을 수 있어 일일이 차량책자를 찾아봐야 하는 피로도를 줄이고 편리하게 차량 기능을 확인할 수 있는 이점이 있다.
You can also get a description of other features depending on your options. Therefore, the user can receive the guidance of the audiovisual guidance through the hologram by explaining the function description which depended on the existing book, thereby reducing the fatigue of searching the book of the vehicle and conveniently checking the function of the vehicle.

[제3 실시 예][Third Embodiment]

한편, 본 발명이 제3 실시 예를 통하여 제스처 인식 시스템(100)이 사용자의 설정에 따라 제스처 인식 영역을 변경하는 방법을 설명한다.Meanwhile, a method of changing the gesture recognition area according to the setting of the user by the gesture recognition system 100 will be described with reference to the third embodiment of the present invention.

도 7은 본 발명의 제3 실시 예에 따른 제스처 인식 영역 변경 방법을 나타낸 흐름도이다.7 is a flowchart illustrating a method of changing a gesture recognition area according to a third embodiment of the present invention.

첨부된 도 7을 참조하면, 제스처 인식 시스템(100)은 상기 S103 또는 S204 단계 이후에, 제스처 인식 모드가 활성화된 상태에서(S301), 제스처 인식 영역 내에서 제스처 인식 영역을 변경하는 제1 핸드 포스처 명령을 인식한다(S302).Referring to FIG. 7, the gesture recognition system 100 determines whether the gesture recognition mode is activated (S301) after the step S103 or S204, (Step S302).

예컨대, 제스처 인식 시스템(100)은 제스처 인식 영역 내에서 사용자가 손을 편 상태에서 주먹을 쥐는 것으로 제1 핸드 포스처 명령을 인식할 수 있다.For example, the gesture recognition system 100 can recognize a first hand posture command by holding a fist in a hand-held state in the gesture recognition area.

한편, 도 8 및 도 9는 본 발명의 실시 예에 따른 제스처 인식 영역이 변경되는 과정을 나타낸다.8 and 9 illustrate a process of changing a gesture recognition area according to an embodiment of the present invention.

첨부된 도 8 및 도 9를 참조하면, 제스처 인식 시스템(100)은 상기 제스처 명령을 인식 후 사용자의 손 이동좌표를 추적하고(S303), 손의 이동 좌표를 따라 동기된 위치로 홀로그램을 투영하여 제스처 인식 영역을 이동시킨다(S304)Referring to FIGS. 8 and 9, the gesture recognition system 100 recognizes the gesture command and then tracks the movement coordinates of the user's hand (S303), projects the hologram to the synchronized position along the movement coordinates of the hand The gesture recognition area is moved (S304)

그리고, 제스처 인식 시스템(100)은 사용자의 손이 멈춘 상태에서 주먹을 펴는 제2 핸드 포스처 명령을 인식하면(S305), 지정된 현재 위치를 변경된 제스처 인식 영역으로 설정한다(S306).Then, the gesture recognition system 100 recognizes the second hand posture instruction to open the fist when the user's hand is stopped (S305), and sets the designated current position as the changed gesture recognition area (S306).

따라서, 제스처 인식 시스템(100)은 이후부터 실행되는 제스처 인식 모드에서는 홀로그램 투영부(120)를 통해 변경된 위치에 홀로그램을 투영하여 제스처 인식 영역을 표시할 수 있다. Accordingly, the gesture recognition system 100 can display a gesture recognition area by projecting a hologram to a changed position through the hologram projection unit 120 in a gesture recognition mode executed subsequently.

이상에서 설명된 본 발명의 실시 예에 따르면, 차량의 제스처 인식을 위한 홀로그램을 통해 최적의 제스처 인식 영역을 직관적으로 표시하여 사용자가 제스처 입력을 정확하게 할 수 있도록 함으로써 인식 성공률을 높일 수 있는 효과가 있다.According to the embodiment of the present invention described above, an optimal gesture recognition area is intuitively displayed through a hologram for gesture recognition of a vehicle, so that a user can precisely input the gesture, thereby enhancing the recognition success rate .

또한, 차량 구입자가 기존의 책자에 의존하던 기능 설명을 홀로그램을 통해 안내 시각적 청각적으로 안내 받을 수 있어 기능 취득을 위한 피로도를 줄이고 제스처 인시 시스템의 차별된 기능을 제공할 수 있는 효과가 있다.In addition, the purchaser of the vehicle can receive the guidance of the audiovisual guidance through the hologram, which is dependent on the existing booklet, thereby reducing the fatigue for acquiring the function and providing differentiated functions of the gesture in-system.

또한, 사용자의 신체 사이즈 및 운전자세를 고려하여 제스처 인식 영역을 자유롭게 변경할 수 있어 사용자의 제스처 입력이 편안한 상태에서 이루어 질 수 있도록 할 수 있는 효과가 있다. Further, the gesture recognition area can be freely changed in consideration of the body size and the driving posture of the user, so that the gesture input of the user can be performed in a comfortable state.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

100: 제스처 인식 시스템 110: 카메라부
120: 홀로그램 투영부 130: 저장부
140: 제스처 인식부 150: 제어부100: gesture recognition system 110: camera part
120: hologram projection unit 130:
140: Gesture recognition unit 150:

Claims (19)

차량 내 설치되어 차량 내부를 촬영하는 카메라부;
홀로그램을 투영하여 상기 카메라부의 제스처 인식 영역을 입체적으로 표시하는 홀로그램 투영부;
차량 내 각종 편의 기능과 매칭되는 제스처 설정정보 및 매뉴얼 정보를 저장하는 저장부;
상기 카메라부를 통해 획득된 영상에서 미리 저장된 손의 형태에 따른 특징점을 추출하여 손 좌표를 검출하고, 검출된 손의 이동 패턴을 추적하여 제스처를 인식하는 제스처 인식부; 및
상기 제스처 인식부에서 인식된 제스처와 매칭된 기능을 검출하여 검출된 기능을 제어하는 제어부를 포함하며,
상기 제어부는 사용자가 제스처 인식 영역을 이동하는 제스처 입력을 인식하면 상기 손 좌표의 이동 위치에 맞게 제스처 인식 영역을 변경 설정하되, 상기 제스처 인식 영역 내에서 제스처 인식 영역을 변경하는 제1 핸드 포스처 명령을 인식하고, 사용자의 손이 이동 후 멈춘 위치에서 제2 핸드 포스처 명령을 인식하면 상기 멈춘 위치를 기준으로 변경된 제스처 인식 영역을 설정하는 홀로그램을 이용한 제스처 인식 시스템.A camera unit installed in the vehicle and photographing the inside of the vehicle;
A hologram projection unit for projecting a hologram to three-dimensionally display a gesture recognition area of the camera unit;
A storage unit for storing gesture setting information and manual information matched with various convenience functions in the vehicle;
A gesture recognition unit for extracting a feature point according to a shape of a hand previously stored in the image obtained through the camera unit to detect hand coordinates and tracking a movement pattern of the detected hand to recognize a gesture; And
And a control unit for detecting a function matched with the gesture recognized by the gesture recognition unit and controlling the detected function,
Wherein the controller is configured to change a gesture recognition area in accordance with a movement position of the hand coordinate when the user recognizes a gesture input to move the gesture recognition area and to change a gesture recognition area in the gesture recognition area, And recognizes a second hand posture instruction at a position where the user's hand stops after moving, and sets the changed gesture recognition area on the basis of the stopped position. 제 1 항에 있어서,
상기 카메라부는,
적외선 기능을 가지는 3차원 비전센서 또는 스테레오 카메라로 구성하여 탑승자의 손 위치를 3차원좌표로 검출하도록 구성하는 홀로그램을 이용한 제스처 인식 시스템.The method according to claim 1,
The camera unit includes:
A three-dimensional vision sensor or a stereo camera having an infrared function and configured to detect a hand position of a passenger in three-dimensional coordinates. 제 1 항에 있어서,
상기 홀로그램 투영부는,
상기 카메라부의 제스처 인식 영역 설정 변경에 따른 홀로그램의 투영 포지션을 변경하여 변경된 제스처 인식 영역을 표시하는 홀로그램을 이용한 제스처 인식 시스템.The method according to claim 1,
Wherein the hologram projecting unit comprises:
And changing the projection position of the hologram according to the gesture recognition area setting change of the camera unit to display the changed gesture recognition area. 제 1 항에 있어서,
상기 홀로그램 투영부는,
사용자의 제스처 인식 모드 사용방법을 안내하는 각 제스처 별 매칭 기능을 실행하는 영상을 홀로그램을 이용하여 표시하는 홀로그램을 이용한 제스처 인식 시스템.The method according to claim 1,
Wherein the hologram projecting unit comprises:
A gesture recognition system using a hologram that displays an image that executes a matching function for each gesture guiding a user using the gesture recognition mode using a hologram. 제 1 항에 있어서,
상기 홀로그램 투영부는,
주변의 밝기에 정도에 따라 상기 제스처 인식 영역의 표시 색상 또는 밝기를 조절하여 표시하는 홀로그램을 이용한 제스처 인식 시스템.The method according to claim 1,
Wherein the hologram projecting unit comprises:
And a display color or brightness of the gesture recognition area is adjusted according to a degree of brightness of a surrounding area to display the gesture recognition area. 제 1 항에 있어서,
상기 저장부는,
차량 내부의 공간 좌표계를 저장하고 상기 좌표계 기반 상기 카메라부를 기준으로 형성된 제스처 인식 영역 설정 정보를 저장하는 홀로그램을 이용한 제스처 인식 시스템.The method according to claim 1,
Wherein,
And storing gesture recognition area setting information formed based on the coordinate system based on the coordinate system. 제 1 항에 있어서,
상기 제스처 인식부는,
상기 제스처 인식 시 손의 이동에 따른 핸드 제스처 및 적어도 하나의 손가락을 구부리거나 펴는 손 모양의 핸드 포스처 중 적어도 하나를 인식하는 홀로그램을 이용한 제스처 인식 시스템.The method according to claim 1,
The gesture recognizing unit recognizes,
And recognizing at least one of a hand gesture according to the movement of the hand when recognizing the gesture and a hand posture in which at least one finger is bent or stretched. 차량용 제스처 인식 시스템의 홀로그램을 이용한 제스처 인식 제어 방법에 있어서,
a) 제스처 인식 모드가 개시되면 카메라부를 통해 제스처 인식영역을 촬영하는 단계;
b) 홀로그램 투영부를 통해 홀로그램을 투영하여 상기 제스처 인식 영역을 입체적으로 표시하는 단계;
c) 상기 홀로그램 표시된 상기 제스처 인식 영역 내에서 이루어진 사용자의 제스처 동작을 인식하는 단계; 및
d) 인식된 상기 제스처와 매칭된 기능을 검출하고 해당 기능을 제어하는 단계를 포함하되,
상기 b) 단계와 c) 단계 사이에는, 상기 제스처 인식 영역 내에서 제스처 인식 영역을 변경하는 제1 핸드 포스처 명령을 인식하고, 사용자의 손이 이동 후 멈춘 위치에서 제2 핸드 포스처 명령을 인식하면 상기 멈춘 위치를 기준으로 변경된 제스처 인식 영역을 설정하는 단계를 포함하는 홀로그램을 이용한 제스처 인식 제어 방법.A gesture recognition control method using a hologram of a vehicle gesture recognition system,
a) photographing the gesture recognition area through the camera unit when the gesture recognition mode is started;
b) stereoscopically displaying the gesture recognition area by projecting a hologram through the hologram projection part;
c) recognizing a gesture operation of the user in the gesture recognition area indicated by the hologram; And
d) detecting a function matched with the recognized gesture and controlling the function,
Between the step b) and the step c), a first hand posture instruction for changing the gesture recognition area in the gesture recognition area is recognized, and a second hand posture instruction is recognized And setting a changed gesture recognition area on the basis of the stopped position. 제 8 항에 있어서,
상기 b) 단계는,
상기 홀로그램 투영부의 구동은 상기 제스처 인식 모드 시 사용자의 옵션 설정에 따라 자동 투영되도록 설정하는 것을 특징으로 하는 홀로그램을 이용한 제스처 인식 제어 방법.9. The method of claim 8,
The step b)
Wherein the hologram projection unit is set to be automatically projected according to a user's option setting in the gesture recognition mode. 제 8 항에 있어서,
상기 c) 단계는,
상기 카메라부를 통해 상기 홀로그램 표시 영역에서 촬영된 촬영 영상을 획득하고 손의 형태에 따른 특징점을 추출하여 손 골과 손 끝 좌표를 검출하는 단계; 및
검출된 상기 손 골과 손 끝 좌표의 이동패턴을 추적하여 입력된 제스처를 인식하는 단계를 포함하는 홀로그램을 이용한 제스처 인식 제어 방법.9. The method of claim 8,
The step c)
Acquiring a photographed image photographed in the hologram display area through the camera unit and extracting a feature point according to a shape of a hand to detect a hand bone and a hand end coordinate; And
And recognizing the input gesture by tracking the detected movement pattern of the hand and the hand end coordinates. 차량용 제스처 인식 시스템의 홀로그램을 이용한 매뉴얼 모드 제어 방법에 있어서,
a) 차량의 제스처 인식 모드에서 매뉴얼 안내 모드 메뉴가 실행되는 단계;
b) 상기 매뉴얼 안내 모드 개시에 따른 홀로그램 투영부를 실행하여 홀로그램을 통해 제스처 별 매칭된 기능을 순차적으로 실행하는 시연 영상을 표시하는 단계;
c) 저장된 매뉴얼 정보에 따라 소정 제스처의 시연 영상이 표시되면, 상기 소정 제스처와 매칭된 차량 기능을 실제 작동하는 단계 및
d) 상기 시연 영상의 순차적 표시를 완료되면 카메라부의 제스처 인식 영역에 홀로그램을 투영하여 현재 홀로그램 표시 영역이 최적 제스처 인식 영역임을 표시하는 단계를 포함하는 홀로그램을 이용한 매뉴얼 모드 제어 방법.A manual mode control method using a hologram of a vehicle gesture recognition system,
a) executing a manual guidance mode menu in a gesture recognition mode of the vehicle;
b) executing a hologram projection unit according to the start of the manual guidance mode to display a demonstration image sequentially executing a function matched to each gesture through a hologram;
c) if the demonstration image of the predetermined gesture is displayed according to the stored manual information, a step of actually operating the vehicle function matched with the predetermined gesture, and
and d) projecting a hologram to the gesture recognition area of the camera unit when the sequential display of the demonstration image is completed, thereby indicating that the current hologram display area is the optimal gesture recognition area. 제 11 항에 있어서,
상기 시연 영상은 저장부에 저장된 상기 매뉴얼 정보로부터 불러들여 상기 제스처 인식 영역에 입체 영상으로 표시하는 단계를 포함하는 홀로그램을 이용한 매뉴얼 모드 제어 방법.12. The method of claim 11,
And displaying the demonstration image as a stereoscopic image in the gesture recognition area by calling from the manual information stored in the storage unit. 제 11 항에 있어서,
상기 b) 단계는,
b-1) 상기 홀로그램을 통해 손의 1측 방향 이동에 따른 제1 제스처가 표시되면 상기 제1 제스처에 매칭된 차량의 제1 기능을 작동하는 단계; 및
b-2) 상기 홀로그램을 통해 손의 2측 방향 이동에 따른 제2 제스처가 표시되면 상기 제2 제스처에 매칭된 차량의 제2 기능을 작동하는 단계를 포함하는 홀로그램을 이용한 매뉴얼 모드 제어 방법.12. The method of claim 11,
The step b)
b-1) activating a first function of the vehicle matched to the first gesture if a first gesture according to one-sided movement of the hand is displayed through the hologram; And
b-2) activating a second function of the vehicle matched with the second gesture if the second gesture according to the two-sided movement of the hand is displayed through the hologram. 제 11 항에 있어서,
상기 b) 단계는,
상기 시연 영상의 재생 중 사용자가 소정 제스처를 입력하면 상기 매뉴얼 안내 모드를 종료하는 것을 특징으로 하는 홀로그램을 이용한 매뉴얼 모드 제어 방법.12. The method of claim 11,
The step b)
Wherein when the user inputs a predetermined gesture during reproduction of the demonstration image, the manual guiding mode is terminated. 제 11 항에 있어서,
상기 매뉴얼 안내 모드의 동작 시 상기 홀로그램을 이용한 영상 표시와 함께 안내 멘트를 출력하는 것을 특징으로 하는 홀로그램을 이용한 매뉴얼 모드 제어 방법.12. The method of claim 11,
And outputting an announcement along with an image display using the hologram when the manual guide mode is operated. 차량용 제스처 인식 시스템의 홀로그램을 이용한 제스처 인식 영역 변경 제어 방법에 있어서,
a) 제스처 인식 모드가 개시되면 카메라부를 통해 제스처 인식영역을 촬영하는 단계;
b) 홀로그램 투영부를 통해 홀로그램을 투영하여 상기 제스처 인식 영역을 입체적으로 표시하는 단계;
c) 상기 홀로그램 표시된 상기 제스처 인식 영역 내에서 제스처 인식 영역을 변경하는 제1 핸드 포스처 명령을 인식하는 단계; 및
d) 사용자의 손이 이동 후 멈춘 위치에서 제2 핸드 포스처 명령을 인식하면 상기 멈춘 위치를 기준으로 변경된 제스처 인식 영역으로 설정하는 단계
를 포함하는 홀로그램을 이용한 제스처 인식 영역 변경 제어 방법.A gesture recognition area change control method using a hologram of a vehicle gesture recognition system,
a) photographing the gesture recognition area through the camera unit when the gesture recognition mode is started;
b) stereoscopically displaying the gesture recognition area by projecting a hologram through the hologram projection part;
c) recognizing a first hand posture instruction to change the gesture recognition area within the gesture recognition area indicated by the hologram; And
d) recognizing a second hand posture command at a position where the user's hand has stopped moving, setting the changed hand gesture recognition area to the changed gesture recognition area based on the stopped position
Wherein the gesture recognition area change control method comprises the steps of: 제 16 항에 있어서,
상기 c) 단계와 d) 단계 사이에,
상기 사용자의 손 이동좌표를 추적하고 손의 이동 좌표를 따라 동기된 위치로 상기 홀로그램을 투영하여 제스처 인식 영역을 이동시키는 단계를 포함하는 홀로그램을 이용한 제스처 인식 영역 변경 제어 방법.17. The method of claim 16,
Between step c) and step d)
And moving the gesture recognition area by tracking the user's hand movement coordinates and projecting the hologram to a synchronized position along the movement coordinates of the hand to move the gesture recognition area. 제 16 항에 있어서,
상기 제1 핸드 포스처 명령은 사용자의 손이 주먹을 쥐는 것으로 인식하고, 상기 제2 핸드 포스처 명령은 사용자의 손이 주먹을 펴는 것으로 인식하는 것을 특징으로 하는 홀로그램을 이용한 제스처 인식 영역 변경 제어 방법. 17. The method of claim 16,
Wherein the first hand posture instruction recognizes that the user's hand grasps the fist, and the second hand posture instruction recognizes that the user's hand spreads the fist. The gesture recognition area change control method using the hologram . 제 16 항에 있어서,
상기 c) 단계에서 상기 제스처 인식 영역은,
차량 내 3차원 공간에 설정된 좌표계의 어느 한 지점으로 이동하여 변경 설정되는 것을 특징으로 하는 홀로그램을 이용한 제스처 인식 영역 변경 제어 방법.17. The method of claim 16,
In the step (c), the gesture recognition area may include:
Wherein the gesture recognition area is changed and set by moving to any one point of the coordinate system set in the three-dimensional space in the vehicle.
KR1020130159601A 2013-12-19 2013-12-19 System and control method for gestures recognition using holographic KR101542986B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130159601A KR101542986B1 (en) 2013-12-19 2013-12-19 System and control method for gestures recognition using holographic

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130159601A KR101542986B1 (en) 2013-12-19 2013-12-19 System and control method for gestures recognition using holographic

Publications (2)

Publication Number Publication Date
KR20150072206A KR20150072206A (en) 2015-06-29
KR101542986B1 true KR101542986B1 (en) 2015-08-07

Family

ID=53518272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130159601A KR101542986B1 (en) 2013-12-19 2013-12-19 System and control method for gestures recognition using holographic

Country Status (1)

Country Link
KR (1) KR101542986B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274334B1 (en) 2021-03-29 2021-07-08 (주)복서 Method, device and system for comtrolling vehical interior of user-responsive using hologram
KR102308901B1 (en) 2021-03-29 2021-10-05 (주)복서 Method, device and system for comtrolling vehical using dashbord with transparent conductive film
DE102021125263A1 (en) 2020-12-30 2022-06-30 Hyundai Motor Company PROCEDURE FOR EMERGENCY BRAKING OF A VEHICLE

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150185858A1 (en) * 2013-12-26 2015-07-02 Wes A. Nagara System and method of plane field activation for a gesture-based control system
DE102015213424A1 (en) * 2015-07-16 2017-01-19 Audi Ag Method and operating system for operating at least one function in a vehicle
KR102530219B1 (en) 2015-10-30 2023-05-09 삼성전자주식회사 Method and apparatus of detecting gesture recognition error
KR20170060473A (en) * 2015-11-24 2017-06-01 엘지전자 주식회사 Mobile terminal and method for controlling the same
GB2552703B (en) * 2016-08-04 2018-11-14 Ford Global Tech Llc A holographic display system
KR102635976B1 (en) * 2016-12-30 2024-02-13 에스엘 주식회사 The Apparatus For Recognizing Gesture
KR102395288B1 (en) * 2017-05-18 2022-05-09 현대자동차주식회사 Apparatus and method for controlling display of hologram, vehicle system
KR101934587B1 (en) * 2017-06-15 2019-01-02 주식회사 진진 Blackbox for vehicle and control method thereof
KR102616850B1 (en) * 2018-03-05 2023-12-26 삼성전자주식회사 An external device capable of being combined with an electronic device, and a display method thereof.
KR102359136B1 (en) * 2019-11-12 2022-02-09 주식회사 에스오에스랩 Gesture recognition method and gesture recognition device performing the same
DE102022210527A1 (en) 2022-10-05 2024-04-11 Volkswagen Aktiengesellschaft Targeted 3D image generation in a motor vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (en) 2000-02-01 2001-08-10 Toshiba Corp Operation inputting device and direction detecting method
JP2004334590A (en) 2003-05-08 2004-11-25 Denso Corp Operation input device
JP2005254851A (en) 2004-03-09 2005-09-22 Nissan Motor Co Ltd Command input device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (en) 2000-02-01 2001-08-10 Toshiba Corp Operation inputting device and direction detecting method
JP2004334590A (en) 2003-05-08 2004-11-25 Denso Corp Operation input device
JP2005254851A (en) 2004-03-09 2005-09-22 Nissan Motor Co Ltd Command input device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021125263A1 (en) 2020-12-30 2022-06-30 Hyundai Motor Company PROCEDURE FOR EMERGENCY BRAKING OF A VEHICLE
US11878672B2 (en) 2020-12-30 2024-01-23 Hyundai Motor Company Method of emergency braking of vehicle
KR102274334B1 (en) 2021-03-29 2021-07-08 (주)복서 Method, device and system for comtrolling vehical interior of user-responsive using hologram
KR102308901B1 (en) 2021-03-29 2021-10-05 (주)복서 Method, device and system for comtrolling vehical using dashbord with transparent conductive film

Also Published As

Publication number Publication date
KR20150072206A (en) 2015-06-29

Similar Documents

Publication Publication Date Title
KR101542986B1 (en) System and control method for gestures recognition using holographic
AU2020356572B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US20220084279A1 (en) Methods for manipulating objects in an environment
JP6090140B2 (en) Information processing apparatus, information processing method, and program
KR102029842B1 (en) System and control method for gesture recognition of vehicle
US20170185214A1 (en) Display apparatus, display system, method for controlling display apparatus, and program
KR102045218B1 (en) Body Information Analysis Apparatus and Method of Auxiliary Comparison of Eyebrow Shapes thereof
CN108958467A (en) For controlling the device and method of the display of hologram, Vehicular system
US20220229524A1 (en) Methods for interacting with objects in an environment
US9052750B2 (en) System and method for manipulating user interface by 2D camera
KR20140078853A (en) Augmented reality system and control method thereof
CN108369451B (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP6187668B1 (en) Display device, image processing device, and program
WO2018061603A1 (en) Gestural manipulation system, gestural manipulation method, and program
JP2016096449A (en) Image display device, brightness change method, and program
KR20140003149A (en) User customizable interface system and implementing method thereof
US10558850B2 (en) Body information analysis apparatus and method of simulating face shape by using same
JP6065908B2 (en) Stereoscopic image display device, cursor display method thereof, and computer program
CN116529125A (en) Method and apparatus for controlled hand-held steering wheel gesture interaction
JP2015005823A (en) Image processing apparatus and digital mirror system
KR101731935B1 (en) Apparatus and method of providing 3-dimension virtual controller interface based on recognizing hand motion
KR101246304B1 (en) System and method for providing augmented reality service
US20200310546A1 (en) Non-contact operating apparatus for vehicle and vehicle
JP5676959B2 (en) Information processing apparatus and control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 4