KR102274334B1 - 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템 - Google Patents

홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR102274334B1
KR102274334B1 KR1020210040632A KR20210040632A KR102274334B1 KR 102274334 B1 KR102274334 B1 KR 102274334B1 KR 1020210040632 A KR1020210040632 A KR 1020210040632A KR 20210040632 A KR20210040632 A KR 20210040632A KR 102274334 B1 KR102274334 B1 KR 102274334B1
Authority
KR
South Korea
Prior art keywords
user
hologram
area
gesture
gesture recognition
Prior art date
Application number
KR1020210040632A
Other languages
English (en)
Inventor
곽경원
Original Assignee
(주)복서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)복서 filed Critical (주)복서
Priority to KR1020210040632A priority Critical patent/KR102274334B1/ko
Application granted granted Critical
Publication of KR102274334B1 publication Critical patent/KR102274334B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00335—
    • G06K9/00389—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B60K2360/146—
    • B60K2360/21—
    • B60K2360/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/10—Input devices or features thereof
    • B60K2370/12—Input devices or input features
    • B60K2370/146—Input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera

Abstract

홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템이 개시된다. 일실시예에 따른 홀로그램을 이용한 사용자 반응형 차량 제어 방법은, 홀로그램을 이용한 사용자 반응형 차량 제어 방법에 있어서, 기설정된 범위 내에서 사용자의 동작이 인식되는 경우, 차량 내부에 배치된 카메라부, 센서부 및 홀로그램 투영부를 활성화시키기 위해 모드시작신호를 생성하는 단계; 상기 모드시작신호에 대응하여 제스처인식시작모드가 실행되는 경우, 사용자정보에 기초하여 상기 카메라부를 통해 수신된 영상정보에 포함된 손모양을 인식하는 단계; 제스처 인식영역에 상기 손모양의 인식에 대응하여 투영정보가 포함된 홀로그램을 투영하는 단계; 상기 제스처 인식영역에 대응하여 상기 투영정보를 선택한 제스처 동작을 인식하는 단계; 상기 투영정보를 기초로 상기 제스처 동작을 분석하여 기설정위치정보와 선택위치정보의 매칭여부를 판단하여, 매칭되는 경우 상기 사용자의 설정에 따라 차량을 제어하는 단계; 및 상기 사용자의 동작이 인식되지 않는 경우 제스처종료신호를 생성하여 상기 카메라부, 상기 센서부 및 상기 홀로그램 투영부를 비활성화 하여 제스처인식종료모드를 실행하는 단계;를 포함할 수 있다.

Description

홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR COMTROLLING VEHICAL INTERIOR OF USER-RESPONSIVE USING HOLOGRAM}
아래 실시예들은 홀로그램을 이용한 사용자 반응형 차량을 제어하는 기술에 관한 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
일반적으로 차량에 탑승함에 있어서, 차량에 구비된 기기를 제어하기 위해서는 제어 장치가 집중되어 있는 센터페시아의 제어 장치를 조작하여야 한다. 이때, 차량 내 기기는 운전자가 직접 제어 장치를 조작하거나, 보조석에 위치한 사용자가 제어 장치를 조작함으로써 제어될 수 있다.
이러한 제어 장치의 조작을 위해 운전자가 주행 중일 때는 차량의 도어 측 또는 센터페시아 측으로 시선과 손을 이동시켜 버튼 또는 스위치를 조작하여야 한다. 이러한 경우, 운전자의 주의가 분산되어 운전에 집중을 할 수가 없게 된다.
이를 해결하기 위해 차량의 스티어링 핸들에 다양한 버튼 또는 스위치가 구비되기도 한다. 그러나, 차량의 스티어링 핸들에 구비되는 버튼 또는 스위치의 개수가 제한적이므로, 차량의 다양한 기능들을 동작시키는 데에 한계가 있다.
따라서, 최근에는 차량에도 제스처 인식 시스템이 장착되고 있다. 제스처 인식, 특히 공간 제스처를 인식하는 시스템을 통해 사용자는 3차원 공간 내에서 다양한 공간 제스처를 취함으로써, 그에 대응되는 차량 내의 기능들을 용이하게 동작시킬 수 있다.
일반적으로 제스처 인식 시스템에는 사용자의 공간 제스처를 인식할 수 있는 일정한 영역이 있다. 사용자가 이러한 제스처 인식 영역 내에서 제스처를 취할 때, 제스처 신호의 인식률이 높다. 그런데 사용자가 이러한 제스처 인식 영역을 벗어나 제스처를 취하는 경우가 있다. 특히, 차량에 장착된 제스처 인식 시스템을 처음 접하는 사용자 또는 첨단 디지털 기기에 익숙하지 않은 고령자들은 이러한 제스처 인식 영역을 곧바로 인지하지 못하고, 제스처 인식 영역을 벗어난 위치에서 제스처를 취할 수도 있다. 이러한 경우에는 제스처 신호의 인식률이 저하되어, 정상적으로 기능들이 동작하지 못하게 되는 문제점이 있었다.
한국등록특허 제10-1542986호(2015.08.03) 한국공개특허 제10-2017-0119934호(2017.10.30) 한국공개특허 제10-2018-0083073호(2018.01.12) 한국등록특허 제10-2029842호(2019.10.01)
일실시예들은 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템을 제공할 수 있고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
일실시예에 따른 웨어러블 홀로그램을 이용한 사용자 반응형 차량 제어 방법은, 홀로그램을 이용한 사용자 반응형 차량 제어 방법에 있어서, 기설정된 범위 내에서 사용자의 동작이 인식되는 경우, 차량 내부에 배치된 카메라부, 센서부 및 홀로그램 투영부를 활성화시키기 위해 모드시작신호를 생성하는 단계; 상기 모드시작신호에 대응하여 제스처인식시작모드가 실행되는 경우, 사용자정보에 기초하여 상기 카메라부를 통해 수신된 영상정보에 포함된 손모양을 인식하는 단계; 제스처 인식영역에 상기 손모양의 인식에 대응하여 투영정보가 포함된 홀로그램을 투영하는 단계; 상기 제스처 인식영역에 대응하여 상기 투영정보를 선택한 제스처 동작을 인식하는 단계; 상기 투영정보를 기초로 상기 제스처 동작을 분석하여 기설정위치정보와 선택위치정보의 매칭여부를 판단하여, 매칭되는 경우 상기 사용자의 설정에 따라 차량을 제어하는 단계; 및 상기 사용자의 동작이 인식되지 않는 경우 제스처종료신호를 생성하여 상기 카메라부, 상기 센서부 및 상기 홀로그램 투영부를 비활성화 하여 제스처인식종료모드를 실행하는 단계;를 포함할 수 있다.
일실시예에 따르면, 상기 사용자정보는, 상기 제스처 인식영역에 대응하여 사용자별 손의 중심점을 설정한 후, 상기 중심점을 기준으로 상기 사용자의 손모양을 인식하여 손의 특정점을 추출한 상기 손모양과, 상기 사용자의 선호도에 대응하는 선호투영정보를 포함할 수 있다.
일실시예에 따르면, 상기 홀로그램을 이용한 사용자 반응형 차량 제어 방법은 상기 홀로그램을 상기 차량의 대시보드의 상면에 투영하고, 상기 홀로그램을 투영하는 단계는, 상기 사용자의 제스처의 포지션에 따라 상기 상기 제스처 인식영역에 대응하여 상기 대시보드의 상면에 상기 홀로그램을 투영할 수 있다.
일실시예에 따르면, 상기 홀로그램을 투영하는 단계는, 상기 대시보드의 전체영역을 상기 제스처 인식영역으로 설정하거나, 중심 영역, 상측 영역, 하측 영역, 좌측 영역 또는 우측 영역 중 적어도 하나의 일부영역을 상기 제스처 인식영역으로 설정하거나, 상기 전체영역을 축소한 축소영역을 상기 제스처 인식영역으로 설정하거나, 상기 전체영역을 복수개로 분할하여 선택적으로 상기 제스처 인식영역으로 설정하여 상기 홀로그램을 투영할 수 있다.
일실시예에 따르면, 상기 차량 주행 중 또는 신호 대기중에 횡단보도로 대상체 접근 시 횡단보도에서 소정 거리 이내의 LED 표시등만 점등되는 횡단보조신호를 생성하여 상기 차량으로 전송하는 횡단보조제어장치;를 더 포함하고, 상기 횡단보조제어장치는, 상기 횡단보도에 인접하게 위치하는 제1 멀티포스트에 소정 높이로 설치되어 적외선 대역 신호를 형성하고, 상기 적외선 대역 신호를 송신하는 투광기와, 상기 제1 멀티포스트로부터 상기 횡단보도의 폭 방향으로 소정 거리 이격되어 위치하는 제2 멀티포스트에 소정 높이로 설치되어 상기 투광기에서 송신된 적외선 대역 신호를 수신하는 수광기를 포함하는 적외선 대역 포토 센서로 구성되고, 지면에서 일정거리 이격된 위치부터 일정한 높이와 횡단보도의 진입부를 커버할 수 있는 폭으로 이루어진 면적의 감지영역을 형성하고, 상기 감지영역 내에 상기 대상체가 위치할 경우 제1 감지 신호를 형성하는 제1 감지부; 레이저 펄스 신호를 형성하여 송신하고, 상기 레이저 펄스 신호가 대상체로부터 반사되어 수신되는 반사 신호를 이용하여 상기 대상체까지의 거리 및 상기 대상체의 통과 유형을 파악할 수 있는 라이다(LiDAR: Light Detection And Ranging)로 구성되고, 상기 제1 감지부로부터 상기 제1 감지 신호를 수신할 경우 상기 레이저 펄스 신호를 형성하여 상기 대상체를 향해서 송신하고, 상기 대상체로부터 수신되는 반사 신호의 수신 시간 간격을 이용하여 상기 반사 신호의 수신 시간 간격이 감소할 경우 상기 대상체가 상기 횡단보도로 접근하는 것으로 판단하고, 상기 반사 신호의 수신 시간 간격이 증가할 경우 상기 대상체가 상기 횡단보도로부터 멀어지고 있는 것으로 판단하며, 상기 대상체가 상기 횡단보도로 접근하는 경우 제2 감지 신호를 형성 제2 감지부; 및 상기 제2 감지 신호를 수신할 경우 LED 표시등을 미리 설정된 시간 동안 점멸하는 LED 점등 신호를 형성하는 장치 제어부;를 포함할 수 있다.
일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.
실시예들은 홀로그램을 이용한 사용자 반응형 차량을 제어할 수 있다.
실시예들은 도로주행중인 자동차 또는 자율주행차의 운전자 또는 동승자에게 홀로그램을 제공함으로써, 운행 중 운전자 또는 동승자가 편리하게 차량을 제어할 수 있다.
실시예들은 운전자 또는 동승자의 성향에 따라 맞춤형 홀로그램을 제공함으로써, 운전자 또는 동승자가 쉽게 차량을 제어할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일실시예에 따른 홀로그램을 이용한 사용자 반응형 차량 제어 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 홀로그램을 이용한 사용자 반응형 차량 제어 시스템을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 횡단보조제어장치를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 홀로그램을 이용한 사용자 반응형 차량 제어 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 도 4에 도시된 홀로그램을 투영하는 방법을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 도 4에 도시된 투영되는 홀로그램의 위치를 설명하기 위한 도면이다.
도 7은 일실시예에 따른 사용자정보를 생성하는 방법을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 도 7에 도시된 손정보를 저장하는 방법을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 장치의 구성의 예시도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 1은 일실시예에 따른 홀로그램을 이용한 사용자 반응형 차량 제어 시스템의 구성을 설명하기 위한 블록도이고, 도 2는 도 1에 도시된 홀로그램을 이용한 사용자 반응형 차량 제어 시스템을 설명하기 위한 도면이며, 도 3은 일 실시예에 따른 횡단보조제어장치를 설명하기 위한 도면이다.
일실시예에 따른 홀로그램을 이용한 사용자 반응형 차량 제어 시스템(1)은 도 1 및 도 2를 참조하면, 카메라부(10), 센서부(12), 홀로그램 투영부(14), 저장부(16) 및 제어부(18)를 포함할 수 있다.
본 실시예에서, 홀로그램을 이용한 사용자 반응형 차량 제어 시스템(1)은 차량의 대시보드(D, Dashboard)에 홀로그램을 투영하여 차량에 탑승한 운전석에 탑승한 운전자 또는 조수석에 탑승한 동승자를 포함하는 사용자의 제스처(Gesture)에 의해 차량을 제어하는 것으로 개시하였지만, 이에 한정되는 것은 아니다. 이때, 대시보드(D)는 조수석 정면에 있는 부분을 가리키는 것으로써, 홀로그램을 이용한 사용자 반응형 차량 제어 시스템(1)에 의해 차량을 제어하지 않는 경우 기설정된 조건에 의해 명화, 문구, 광고 등이 포함되어 2D 또는 3D로 이루어진 동영상 또는 이미지가 실시간으로 디스플레이될 수 있다.
또한, 사용자의 제스처(Gesture)는 사용자가 차량의 제어를 위해 취하는 동작으로써, 본 실시예에서 손동작으로 개시하였지만, 터치 팬과 같은 터치도구와 결합된 동작 또는 인식도구의 동작일 수도 있다.
카메라부(10)는 차량의 내부에 설치되어 차량의 내부를 촬영하여 사용자의 제스처를 인식하여 인식한 제스처에 대한 영상이 포함된 영상정보를 획득할 수 있다.
일실시예에 따라, 카메라부(10)는 복수의 사용자로부터 각각의 사용자별 손모양을 인식하여 인식한 손모양에 대한 영상이 포함된 영상정보를 획득할 수 있다.
카메라부(10)는 렌즈를 통해 촬상되는 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서(도시되지 않음)와, 카메라 센서로부터 촬 영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부(도시되지 않음)를 구비할 수 있다. 이때, 카메라 센서는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서가 적용될 수 있고, 신호처리부는 DSP(Digital Signal Processor)로 구현될 수 있으나, 이에 한정되는 것은 아니다.
여기서, 카메라부(10)는 대시보드(D) 상에서 행해지는 사용자의 제스처를 촬영하기 위해서 대시보드(D) 상측의 주변부에 구비되는 것이 바람직하다.
일실시예에 따라, 카메라부(10)는 모드시작신호에 의해 활성화되고, 모드종료신호에 의해 비활성화될 수 있다.
일실시예에 따라, 카메라부(10)는 적외선 기능을 가지는 3차원 비전센서 또는 스테레오 카메라로 구성하여 제스처 또는 손모양을 3D(X, Y, Z)로 인식할 수 있지만, 이에 한정되는 것은 아니다. 예를 들어, 카메라부(10)는 뎁스 카메라 또는 웹켐을 이용하여 제스처 또는 손모양을 인식할 수 있다.
센서부(12)는 사용자의 제스처로부터 발생하는 적외선을 감지하여 적외선정보를 획득할 수 있다. 즉, 센서부(12)는 적외선 센서(Infrared Sensor)를 이용하여 빛을 발광하고, 외부로부터 입력되는 사용자의 움직임 또는 물체의 움직임 등과 같은 물리적 신호를 감지할 수 있다.
예를 들어, 센서부(12)는 적외선을 복사하여 빛이 차단됨으로써 변화를 감지하는 능동식과, 자체에 발광부를 가지지 않고 외부로부터 받는 적외선의 변화만을 감지하는 수동식으로 구분될 수 있다. 특히, 센서부(12)가 능동식으로 구성되는 경우 적외선을 방사하는 발광 다이오드(Light Emitting Diode, LED)로 이루어지는 발광부(미도시)와, 반사되는 빛을 감지할 수 있는 다이오드 또는 트랜지스터(Transister, TR)와 같은 검출기(Detector)로 이루어지는 수광부(미도시)로 구성될 수 있다.
일실시예에 따라, 센서부(12)는 모드시작신호에 의해 활성화되고, 모드종료신호에 의해 비활성화될 수 있다.
이와 달리, 센서부(12)는 일정한 감지 영역을 가지므로, 센서부(12)는 센서의 기능을 이용하기 위한 입력 신호가 없더라도 기설정된 거리 이내에서 사용자의 제스처가 이루어지는 경우에 활성화될 수 있다.
홀로그램 투영부(14)는 차량 내부에 설치되어 사용자의 제스처가 인식될 수 있는 제스처 인식영역에 대응하여 홀로그램을 투영할 수 있다. 즉, 홀로그램 투영부(14)는 홀로그램 투영부는 대시보드(D)의 상부에 홀로그램을 투영할 수 있다.
홀로그램 투영부(14)는 차량의 제어를 위해 대시보드(D)의 상부면에 표준메뉴얼을 포함하는 표준투영정보 또는 사용자의 선호도에 따른 선호매뉴얼이 포함된 선호투영정보를 선택적으로 투영할 수 있다.
일실시예에 따라, 홀로그램 투영부(14)는 대시보드(D)의 상부에서 사용자의 제스처의 포지션에 따라 홀로그램을 투영할 수 있다.
예를 들어, 홀로그램을 대시보드(D)의 전체 영역을 인식영역으로 설정하거나, 중심 영역, 상측 영역, 하측 영역, 좌측 영역 또는 우측 영역 중 적어도 하나의 영역, 복수의 영역 또는 전체 영역을 축소한 일부 영역에 투영할 수 있지만, 이에 한정되는 것은 아니다.
일실시예에 따라, 홀로그램 투영부(14)는 대시보드(D)의 전체영역을 복수개로 분할하여 선택적으로 홀로그램을 투영할 수 있다.
일실시예에 따라, 홀로그램 투영부(14)는 모드시작신호에 의해 활성화되고, 모드종료신호에 의해 비활성화될 수 있다.
저장부(16)는 홀로그램을 이용한 사용자 반응형 차량 제어 시스템(1)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 홀로그램을 이용한 사용자 반응형 차량 제어 시스템(1)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.
제어부(18)는 획득한 영상정보 및 적외선정보를 이용하여 사용자의 제스처를 분석하여 제스처를 인식하여 기설정위치정보와 선택위치정보와의 매칭여부를 판단하여 차량의 제어할 수 있다.
구체적으로, 제어부(18)는 동작인식모듈(180), 사용자관리모듈(182) 및 장치제어모듈(184)을 포함할 수 있다.
동작인식모듈(180)은 영상정보를 기초로 사용자의 손모양 및 제스처 에 대한 동작을 인식할 수 있다.
구체적으로, 동작인식모듈(180)은 제스처인식시작모드 또는 제스처인식종료모드를 실행하기 위해 영상정보에 포함된 사용자별 손모양을 인식할 수 있다.
예를 들어, A 사용자는 손모양을 손바닥 동작을 수행하는 경우 제스처인식시작모드가 실행되고, 손모양을 손등 동작을 수행하는 경우 제스처인식종료모드를 실행할 수 있고, B 사용자는 손모양을 주먹 동작을 수행하는 경우 제스처인식시작모드가 실행되고, 손모양을 손바닥 동작을 수행하는 경우 제스처인식종료모드를 실행할 수 있다.
또한, 동작인식모듈(180)은 차량제어를 위해 영상정보에 포함된 투영정보에 대응하는 제스처를 인식할 수 있다.
예를 들어, 표준매뉴얼에 대응하여 표준투영정보에 의해 라디오 영역에서 제스처가 인식된 경우 라디오를 온/오프하고, 선호매뉴얼에 대응하여 선호투영정보에 의해 선루프영역에 제스처가 인식된 경우 선루프를 온/오프할 수 있다.
사용자관리모듈(182)은 손의 특정점을 추출하여 사용자별로 손정보를 저장 및 업데이트할 수 있다.
구체적으로, 사용자관리모듈(182)은 제스처 인식영역에 대응하여 사용자별 손의 중심점을 설정한 후, 중심점을 기준으로 사용자의 손모양을 인식하여 손의 특정점을 추출하여 사용자별로 손모양을 저장할 수 있다.
예를 들어, 각각의 손가락, 손가락 마디, 손바닥, 손등 등을 각각의 객체로 인식하여 손의 특정점을 추출하여 사용자별로 손모양을 저장할 수 있다.
또한, 사용자관리모듈(182)은 손모양에 대응하여 사용자의 선호도에 따른 선호매뉴얼을 사용자로부터 수신하여 손모양에 매칭하는 선호투영정보가 포함된 사용자정보를 생성할 수 있다. 여기서, 선호투영정보는 사용자에 의해 변경 및 저장되어 업데이트될 수 있다.
제어모듈(184)은 기설정된 거리 이내에서 사용자의 동작인 인식된 경우, 사용자의 영상정보 및 적외선정보를 수신하고, 수신한 영상정보 및 적외선정보를 분석하여 투영정보에 대응하여 차량을 제어할 수 있다.
구체적으로, 제어모듈(184)은 투영정보를 기초로 영상정보에 포함된 손모양에 의해 제스처인식시작모드인 경우, 모드시작신호를 생성하여 홀로그램 투영부(14)를 활성화하여 투영정보를 대시보드(D)에 투영한 후 카메라부(10) 및 센서부(12)를 활성화하여 영상정보와 적외선정보를 수신 및 분석하여 제스처를 인식하여 기설정위치정보와 선택위치정보를 매칭하여 서로 매칭되는 경우 차량을 제어한 후, 별도의 사용자 제스처가 인식되지 않는 경우 제스처종료신호를 생성하여 카메라부(10), 센서부(12), 홀로그램 투영부(14)를 비활성화 하여 제스처인식종료모드를 실행할 수 있다. 이때, 제어모듈(184)은 제스처 인식영역에 대응하여 영상정보를 획득하고, 제스처 인식영역에 대응하여 투영정보가 포함된 홀로그램을 투영할 수 있다
이와 달리, 기설정위치정보와 선택위치정보가 서로 매칭되지 않는 경우 사용자에게 새로운 영상정보를 획득하거나, 오류에 대한 경고를 출력할 수 있다.
일실시예에 따라, 제어모듈(184)은 사용자의 조작입력 또는 음성입력에 의해 제스처인식시작모드 또는 제스처인식종료모드를 실행할 수 있다.
일실시예에 따라, 제어모듈(184)은 영상정보에 불필요한 이미지가 포함된 경우 이를 제거한 후, 이미지 작업을 통해 보정을 하는 전처리 작업을 수행할 수 있다.
예를 들어, 영상정보 획득 시 대시보드(D) 상에 휴대폰과 같은 기타 물건이 배치된 경우, 대시보드(D)를 제외한 불필요한 이미지정보를 제거할 수 있다.
일실시예에 따라, 제어모듈(184)은 횡단보조제어장치(20)로부터 차량 주행 중 또는 신호 대기중에 횡단보도로 대상체 접근 시 횡단보도에서 소정 거리 이내의 LED 표시등만 점등되는 횡단보조신호를 수신받을 수 있다.
구체적으로, 도 3을 참조하면, 횡단보조제어장치(20)는 적외선 대역 센서를 이용하여 횡단보도를 통과하는 대상체를 감지할 경우 감지 신호를 형성하는 대상체 감지부(22)와, LED 점등 신호를 수신하여 미리 설정된 시간 동안 점멸하는 적어도 하나의 LED 표시등(24)과, 대상체 감지부(22)로부터 수신된 감지 신호에 기초하여 LED(Light Emit Diode) 점등 신호를 형성하며, 감지 신호에 포함된 위치 정보와 적어도 하나의 LED 표시등(24)의 위치 정보를 이용하여 횡단보도로부터 미리 설정된 거리 이내에 위치한 제1 LED 표시등을 추출하고, 제1 LED 표시등으로 횡단보조신호를 송신하는 장치제어부(26)을 포함할 수 있다.
대상체 감지부(22)는 제1 감지부(220)와 제2 감지부(226)을 포함할 수 있다.
제1 감지부(220)는 지면에서 일정거리 이격된 위치부터 일정한 높이와 횡단보도의 진입부를 커버할 수 있는 폭으로 이루어진 면적의 감지영역을 형성하고, 감지영역 내에 대상체가 위치할 경우 제1 감지 신호를 형성할 수 있다.
구체적으로, 제1 감지부(220)는 횡단보도에 인접하게 위치하는 제1 멀티포스트에 소정 높이로 설치되어 적외선 대역 신호를 형성하고, 적외선 대역 신호를 송신하는 투광기(222)와, 제1 멀티포스트로부터 횡단보도의 폭 방향으로 소정 거리 이격되어 위치하는 제2 멀티포스트에 소정 높이로 설치되어 투광기(222)에서 송신된 적외선 대역 신호를 수신하는 수광기(224)를 포함할 수 있다.
제2 감지부(226)는 레이저 펄스 신호를 형성하여 송신하고, 레이저 펄스 신호가 대상체로부터 반사되어 수신되는 반사 신호를 이용하여 대상체까지의 거리 및 대상체의 통과 유형을 파악할 수 있는 라이다(LiDAR: Light Detection And Ranging)로 구성될 수 있다.
구체적으로, 제2 감지부는 제1 감지부로부터 제1 감지 신호를 수신할 경우 레이저 펄스 신호를 형성하여 대상체를 향해서 송신하고, 대상체로부터 수신되는 반사 신호의 수신 시간 간격을 이용하여 반사 신호의 수신 시간 간격이 감소할 경우 대상체가 횡단보도로 접근하는 것으로 판단하고, 반사 신호의 수신 시간 간격이 증가할 경우 대상체가 횡단보도로부터 멀어지고 있는 것으로 판단하며, 대상체가 횡단보도로 접근하는 경우 제2 감지 신호를 형성할 수 있다.
이때, 장치제어부(26)는 제2 감지 신호를 수신할 경우 횡단보조신호를 형성할 수 있다.
이와 같은 구조를 갖는 본 발명의 일실시예에 따른 홀로그램을 이용한 사용자 반응형 차량 제어 시스템의 동작은 다음과 같다.
도 4는 일실시예에 따른 홀로그램을 이용한 사용자 반응형 차량 제어 방법을 설명하기 위한 도면이고, 도 5는 일실시예에 따른 도 4에 도시된 홀로그램을 투영하는 방법을 설명하기 위한 도면이고, 도 6은 일실시예에 따른 도 4에 도시된 투영되는 홀로그램의 위치를 설명하기 위한 도면이다.
우선, 도 4에 도시된 바와 같이, 사용자가 차량을 제어하기 위해 사용자가 동작을 취하면 홀로그램을 이용한 사용자 반응형 차량 제어 시스템(1)을 이용하여 사용자의 동작을 인식할 수 있다(S10).
이때, 사용자의 동작이 기설정된 범위 내에서 이루어지는지를 판단할 수 있다. 기설정된 범위 내에서 이루어지지 않는 경우, 사용자의 동작이 인식되지 않아 차량을 제어할 수 없을 수도 있다.
다음으로, 기설정된 거리 이내에서 사용자의 동작이 이루어져지는 경우, 제스처인식시작모드를 실행할 수 있다(S12).
구체적으로, 제스처인식시작모드를 실행에 따른 모드시작신호를 생성하여 카메라부(10) 및 센서부(12)를 활성화함으로써, 카메라부(10) 및 센서부(12)로부터 영상정보와 적외선정보를 수신할 수 있다.
다음으로, 영상정보로부터 손모양을 획득하여 사용자정보를 확인할 수 있다(S14).
다음으로, 사용자정보에 기초하여 대시보드(D) 상에서의 제스처 인식영역을 확인하여 설정할 수 있다(S16).
예를 들어, 사용자의 설정에 의해 대시보드(D)의 전체 영역을 인식영역으로 설정하거나, 중심 영역, 상측 영역, 하측 영역, 좌측 영역 또는 우측 영역 중 적어도 하나의 영역, 복수의 영역 또는 전체 영역을 축소한 일부 영역을 인식영역으로 설정하거나, 복수개로 분할하여 인식영역으로 설정할 수 있지만, 이에 한정되는 것은 아니다.
다음으로, 제스처 인식영역이 설정된 상태에서 투영정보가 포함된 홀로그램을 대시보드(D)의 제스처 인식영역에 투영할 수 있다(S18).
예를 들어, 도 6에 도시된 바와 같이, 사용자의 인식영역 설정에 따라, 대시보드(D)의 중심 영역, 상측 영역, 하측 영역, 좌측 영역 또는 우측 영역 중 적어도 하나의 영역 또는 복수의 영역에 투영정보를 투영하거나(도 6(a) 참조), 대시보드(D)의 전체 영역 또는 전체 영역을 축소한 일부 영역에 투영정보를 투영할 수 있다(도 6(b) 참조).
다음으로, 제스처 인식영역에 투영된 투영정보를 선택하는 사용자의 제스처 동작을 인식할 수 있다(S20).
구체적으로, 차량제어를 위해 영상정보에 포함된 투영정보에 대응하는 제스처를 인식할 수 있다.
이때, 영상정보 획득 시 대시보드(D) 상에 휴대폰과 같은 기타 물건이 배치된 경우, 대시보드(D)를 제외한 불필요한 이미지정보를 제거한 후, 제거된 이미지정보를 명확하게 하기 위해 전처리 작업을 수행할 수 있다.
다음으로, 인식된 제스처를 통해서 기설정위치정보와 선택위치정보와의 매칭여부를 판단하여 차량의 제어할 수 있다(S22, S24).
구체적으로, 기설정위치정보와 선택위치정보가 서로 매칭되는 경우 사용자의 설정에 따라 차량을 제어할 수 있다.
예를 들어, 표준매뉴얼에 대응하여 표준투영정보에 의해 라디오 영역에서 제스처가 인식된 경우 라디오를 온/오프하고, 선호매뉴얼에 대응하여 선호투영정보에 의해 선루프영역에 제스처가 인식된 경우 선루프를 온/오프할 수 있다.
한편, 기설정위치정보와 선택위치정보가 서로 매칭되지 않는 경우, 기설정위치정보와 선택위치정보가 서로 매칭될 때까지 제스처 동작을 인식하는 단계 또는 홀로그램을 투영하는 단계를 반복적으로 수행할 수 있다.
일실시예에 따라, 기설정위치정보와 선택위치정보가 서로 매칭되지 않는 경우 사용자로부터 새로운 영상정보를 획득하거나, 오류에 대한 경고를 출력할 수 있다.
마지막으로, 기설정위치정보와 선택위치정보를 매칭하여 서로 매칭되는 경우 차량을 제어한 후, 별도의 사용자 제스처가 인식되지 않는 경우 제스처종료신호를 생성하여 카메라부(10), 센서부(12), 홀로그램 투영부(14)를 비활성화 하여 제스처인식종료모드를 실행할 수 있다.
도 7은 일실시예에 따른 사용자정보를 생성하는 방법을 설명하기 위한 도면이고, 도 8은 일실시예에 따른 도 7에 도시된 손정보를 저장하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 제스처 인식영역에 대응하여 사용자별 손의 중심점을 설정할 수 있다(S100, S110).
다음, 설정된 중심점을 기준으로 사용자의 손모양을 인식하여 손의 특정점을 추출하여 사용자별로 손모양을 저장할 수 있다.
구체적으로, 손의 중심점을 기준으로 손가락, 손가락 마디, 손바닥, 손등 등을 각각의 객체로 인식하고(S120), 인식된 객체에 대한 특정점을 추출하여(S130) 사용자별로 손모양을 저장할 수 있다(S140).
예를 들어, 도 8에 도시된 바와 같이, A의 사용자로부터 손가락을 핀 손바닥 모양의 손모양을 인식한 경우, 손바닥의 중심점을 기준으로 엄지를 객체 1로 설정하고, 검지를 객체 2로 설정하고, 중지를 객체 3으로 설정하고, 약지를 객체 4로 설정하고, 소지를 객체 5로 설정하여 각각의 객체 1-5의 끝점을 특징점으로 설정하여 A 사용자의 손모양을 저장할 수 있다.
이에 따라, 제스처인식시작모드시 손가락을 핀 손바닥 모양이 인식되는 경우 A 사용자로 인식하여 A 사용자가 설정한 사용자정보에 기초하여 투영정보가 홀로그램을 통해 대시보드(D)에 투영될 수 있다.
다음, 사용자의 손모양에 대응하여 사용자의 선호도에 따른 선호매뉴얼을 사용자로부터 수신하여 손모양에 매칭하여 선호투영정보가 포함된 사용자정보를 생성할 수 있다(S150, S160). 여기서, 선호투영정보는 사용자에 의해 변경 및 저장되어 업데이트될 수 있다.
도 9는 일실시예에 따른 장치의 구성의 예시도이다.
일실시예에 따른 장치(401)는 프로세서(402) 및 메모리(403)를 포함한다. 일실시예에 따른 장치(401)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 8을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 8을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(403)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(403)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(402)는 프로그램을 실행하고, 장치(401)를 제어할 수 있다. 프로세서(402)에 의하여 실행되는 프로그램의 코드는 메모리(403)에 저장될 수 있다. 장치(401)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
1 : 홀로그램을 이용한 사용자 반응형 차량 제어 시스템
10 : 카메라부 12 : 센서부
14 : 홀로그램 투영부 16 : 저장부
18 : 제어부

Claims (3)

  1. 홀로그램을 이용한 사용자 반응형 차량 제어 방법에 있어서,
    기설정된 범위 내에서 사용자의 동작이 인식되는 경우, 차량 내부에 배치된 카메라부, 센서부 및 홀로그램 투영부를 활성화시키기 위해 모드시작신호를 생성하는 단계;
    상기 모드시작신호에 대응하여 제스처인식시작모드가 실행되는 경우, 사용자정보에 기초하여 상기 카메라부를 통해 수신된 영상정보에 포함된 손모양을 인식하는 단계;
    제스처 인식영역에 상기 손모양의 인식에 대응하여 투영정보가 포함된 홀로그램을 투영하는 단계;
    상기 제스처 인식영역에 대응하여 상기 투영정보를 선택한 제스처 동작을 인식하는 단계;
    상기 투영정보를 기초로 상기 제스처 동작을 분석하여 기설정위치정보와 선택위치정보의 매칭여부를 판단하여, 매칭되는 경우 상기 사용자의 설정에 따라 차량을 제어하는 단계; 및
    상기 사용자의 동작이 인식되지 않는 경우 제스처종료신호를 생성하여 상기 카메라부, 상기 센서부 및 상기 홀로그램 투영부를 비활성화 하여 제스처인식종료모드를 실행하는 단계;를 포함하고,
    상기 홀로그램을 이용한 사용자 반응형 차량 제어 방법은 상기 홀로그램을 상기 차량의 대시보드의 상면에 투영하고,
    상기 홀로그램을 투영하는 단계는,
    상기 사용자의 제스처의 포지션에 따라 상기 상기 제스처 인식영역에 대응하여 상기 대시보드의 상면에 상기 홀로그램을 투영하고,
    상기 홀로그램을 투영하는 단계는,
    상기 대시보드의 전체영역을 상기 제스처 인식영역으로 설정하거나, 중심 영역, 상측 영역, 하측 영역, 좌측 영역 또는 우측 영역 중 적어도 하나의 일부영역을 상기 제스처 인식영역으로 설정하거나, 상기 전체영역을 축소한 축소영역을 상기 제스처 인식영역으로 설정하거나, 상기 전체영역을 복수개로 분할하여 선택적으로 상기 제스처 인식영역으로 설정하여 상기 홀로그램을 투영하는,
    홀로그램을 이용한 사용자 반응형 차량 제어 방법.
  2. 제1항에 있어서,
    상기 사용자정보는,
    상기 제스처 인식영역에 대응하여 사용자별 손의 중심점을 설정한 후, 상기 중심점을 기준으로 상기 사용자의 손모양을 인식하여 손의 특정점을 추출한 상기 손모양과, 상기 사용자의 선호도에 대응하는 선호투영정보를 포함하는,
    홀로그램을 이용한 사용자 반응형 차량 제어 방법.
  3. 삭제
KR1020210040632A 2021-03-29 2021-03-29 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템 KR102274334B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210040632A KR102274334B1 (ko) 2021-03-29 2021-03-29 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210040632A KR102274334B1 (ko) 2021-03-29 2021-03-29 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR102274334B1 true KR102274334B1 (ko) 2021-07-08

Family

ID=76893506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040632A KR102274334B1 (ko) 2021-03-29 2021-03-29 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102274334B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072206A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법
JP2015125778A (ja) * 2013-12-26 2015-07-06 ビステオン グローバル テクノロジーズ インコーポレイテッド ジェスチャベース制御システムのための平面場アクティブ化のシステムおよび方法
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
KR20170119934A (ko) 2016-04-20 2017-10-30 삼성전자주식회사 제스처 입력을 처리하기 위한 전자 장치 및 방법
KR20180078997A (ko) * 2016-12-30 2018-07-10 에스엘 주식회사 제스처 인식 장치
KR20180083073A (ko) 2017-01-12 2018-07-20 삼성전자주식회사 차량 장치 및 전자 장치와 차량 장치에서 디스플레이 방법 및 전자 장치에서 정보 전송 방법
KR20180126707A (ko) * 2017-05-18 2018-11-28 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
KR102029842B1 (ko) 2013-12-19 2019-10-08 현대자동차 주식회사 차량 제스처 인식 시스템 및 그 제어 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072206A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법
KR101542986B1 (ko) 2013-12-19 2015-08-07 현대자동차 주식회사 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법
KR102029842B1 (ko) 2013-12-19 2019-10-08 현대자동차 주식회사 차량 제스처 인식 시스템 및 그 제어 방법
JP2015125778A (ja) * 2013-12-26 2015-07-06 ビステオン グローバル テクノロジーズ インコーポレイテッド ジェスチャベース制御システムのための平面場アクティブ化のシステムおよび方法
KR20160036242A (ko) * 2014-09-25 2016-04-04 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법
KR20170119934A (ko) 2016-04-20 2017-10-30 삼성전자주식회사 제스처 입력을 처리하기 위한 전자 장치 및 방법
KR20180078997A (ko) * 2016-12-30 2018-07-10 에스엘 주식회사 제스처 인식 장치
KR20180083073A (ko) 2017-01-12 2018-07-20 삼성전자주식회사 차량 장치 및 전자 장치와 차량 장치에서 디스플레이 방법 및 전자 장치에서 정보 전송 방법
KR20180126707A (ko) * 2017-05-18 2018-11-28 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템

Similar Documents

Publication Publication Date Title
CN109478354B (zh) 触觉引导系统
US8760432B2 (en) Finger pointing, gesture based human-machine interface for vehicles
WO2019144880A1 (en) Primary preview region and gaze based driver distraction detection
US10591726B2 (en) Apparatus and method for controlling display of hologram, vehicle system
US11308809B2 (en) Collision control method and apparatus, and storage medium
KR102021135B1 (ko) 가상 현실 환경에서의 내비게이션을 위한 제어 시스템
US20130204457A1 (en) Interacting with vehicle controls through gesture recognition
KR20150076627A (ko) 차량 운전 학습 시스템 및 방법
KR20140079162A (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101741691B1 (ko) 차량 및 그 제어방법
US9052750B2 (en) System and method for manipulating user interface by 2D camera
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
WO2019058611A1 (ja) 携帯端末及び遠隔操作方法
US20130187845A1 (en) Adaptive interface system
KR20140118610A (ko) 제스쳐 인식 시스템을 갖는 차량
KR20210120398A (ko) 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
KR101807516B1 (ko) 모션 인식을 통한 디지털 기기 제어 장치 및 방법
KR102274334B1 (ko) 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템
KR102081059B1 (ko) 보행 보조 스마트 폰
US20140098998A1 (en) Method and system for controlling operation of a vehicle in response to an image
KR101629553B1 (ko) 이동 단말기에서 디스플레이 화면 제어 장치 및 그 방법
KR101500412B1 (ko) 차량용 제스처 인식 장치
KR102159996B1 (ko) 이벤트 필터링 장치 및 이를 이용한 동작 인식 장치
KR101500413B1 (ko) 차량용 제스처 인식 장치
JP2015020677A (ja) 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant