KR102303412B1 - Virtual steering wheel providing system for autonomous vehicle - Google Patents

Virtual steering wheel providing system for autonomous vehicle Download PDF

Info

Publication number
KR102303412B1
KR102303412B1 KR1020190080866A KR20190080866A KR102303412B1 KR 102303412 B1 KR102303412 B1 KR 102303412B1 KR 1020190080866 A KR1020190080866 A KR 1020190080866A KR 20190080866 A KR20190080866 A KR 20190080866A KR 102303412 B1 KR102303412 B1 KR 102303412B1
Authority
KR
South Korea
Prior art keywords
vehicle
autonomous driving
steering wheel
virtual steering
autonomous
Prior art date
Application number
KR1020190080866A
Other languages
Korean (ko)
Other versions
KR20210005756A (en
Inventor
박소진
장시현
육근아
이다희
박수조
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020190080866A priority Critical patent/KR102303412B1/en
Publication of KR20210005756A publication Critical patent/KR20210005756A/en
Application granted granted Critical
Publication of KR102303412B1 publication Critical patent/KR102303412B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명은 자율주행차량의 가상 조향 핸들 제공 시스템, 이를 위한 자율주행차량 단말에 관한 것이다. 본 발명은, 네트워크(200)를 통해 무선 통신을 수행하는 네트워크 모듈과, 블루투스 방식 등을 통해 차량 공유자 스마트 디바이스(100)와 근거리 무선통신을 수행하는 근거리 통신 모듈을 포함하는 송수신부(310); 및 네트워크(200)를 통해 자율주행제공 서버(400)로 액세스하여 자율주행차량(10)의 경로 및 교통상황 정보를 제공받고, 센싱부(320)를 구성하는 4방향 카메라(321)에 의해 획득된 영상정보를 통해 경로인 목적지로 향하도록 구동부(360)를 구성하는 조향장치인 조향 핸들(361), 그리고 가속 페달(362), 제동 페달(363)에 대한 자율주행 제어 정보를 생성하여 자율주행차량(10)의 자율주행을 제어하는 자율주행모듈(341); 을 포함하는 것을 특징으로 한다.
이에 의해, 자율주행차량을 공유하는 차량 공유자가 위급한 상황에서 자율주행차량을 자동화 기능을 제거하고 스스로 운전할 수 있도록 하는 효과를 제공한다.
또한, 본 발명은, 가상 조향 핸들을 홀로그램 또는 허공에서 핸들을 쥔 자세에 대한 영상인식을 통해 제어 신호를 획득하여 완전 자율주행에서 단일 기능 자동화에 따른 자율주행으로 전환할 뿐만 아니라, 가상 조향 핸들 조작 정보에 대해서 미리 설정된 시간차를 두고 보정 정보로만 반영하다가 안정화 단계에서 본격적으로 제공함으로써, 운전자의 안전성을 확보할 수 있는 효과를 제공한다. The present invention relates to a system for providing a virtual steering wheel for an autonomous vehicle, and an autonomous vehicle terminal therefor. The present invention, a transceiver 310 including a network module for performing wireless communication through the network 200, and a short-range communication module for performing short-range wireless communication with the vehicle sharer smart device 100 through a Bluetooth method; and access to the autonomous driving providing server 400 through the network 200 to receive route and traffic condition information of the autonomous driving vehicle 10 , and obtained by the four-way camera 321 constituting the sensing unit 320 . Autonomous driving by generating autonomous driving control information for the steering wheel 361, accelerator pedal 362, and braking pedal 363, as well as the steering wheel 361, which is a steering device that configures the driving unit 360 to go to the destination, which is a route, through the image information an autonomous driving module 341 for controlling autonomous driving of the vehicle 10; It is characterized in that it includes.
Thereby, it provides the effect of allowing the vehicle sharer sharing the autonomous vehicle to remove the automation function of the autonomous vehicle in an emergency and to drive the autonomous vehicle by itself.
In addition, the present invention acquires a control signal through a hologram of a virtual steering wheel or image recognition for a posture holding the steering wheel in the air to switch from fully autonomous driving to autonomous driving according to single function automation, as well as operating the virtual steering wheel It provides the effect of securing the driver's safety by reflecting only the correction information with a preset time difference for the information and providing it in earnest at the stabilization stage.

Description

자율주행차량의 가상 조향 핸들 제공 시스템{VIRTUAL STEERING WHEEL PROVIDING SYSTEM FOR AUTONOMOUS VEHICLE} Virtual Steering Wheel Provisioning System for Autonomous Vehicles

본 발명은 자율주행차량의 가상 조향 핸들 제공 시스템, 이를 위한 자율주행차량 단말에 관한 것으로, 보다 구체적으로는, 자율주행차량을 공유하는 차량 공유자가 위급한 상황에서 자율주행차량을 자동화 기능을 제거하고 스스로 운전할 수 있도록 하기 위한 자율주행차량의 가상 조향 핸들 제공 시스템, 이를 위한 자율주행차량 단말에 관한 것이다. The present invention relates to a system for providing a virtual steering wheel for an autonomous vehicle, and an autonomous vehicle terminal for this purpose, and more specifically, to a vehicle sharer sharing an autonomous vehicle by removing the automatic function of the autonomous vehicle in an emergency situation, and It relates to a system for providing a virtual steering wheel of an autonomous vehicle for enabling self-driving, and an autonomous vehicle terminal for this purpose.

자율주행차량은 각종 주행 수단에 내장되어 주행 위치 탐색을 통해 자율 주행을 수행하는 자율주행장치에 해당하는 차량 단말이 포함되어 있으며, 이러한 자율주행장치는 주로 선박, 항공기 등에 적용되다가, 최근 들어 도로를 주행하는 차량에도 적용되어 예를 들면, 주행 경로, 도로 혼잡도 등과 같은 다양한 정보를 모니터를 통해 사용자에게 알려주거나, 스스로 차량을 운전하거나 주행 상태를 제어한다.Autonomous driving vehicles are embedded in various driving means and include vehicle terminals corresponding to autonomous driving devices that perform autonomous driving through driving location search. It is also applied to a driving vehicle, for example, notifies a user of various information such as a driving route and road congestion through a monitor, or drives a vehicle by itself or controls a driving state.

이러한 자율주행차량은 고속으로 움직이는 이동체의 경우, 주행 환경(예를 들면, 전방 차량 인식, 장애물 검출 등)을 실시간으로 인식하여 운전자에게 알려주거나, 주행 환경을 실시간으로 판단하여 스스로 그에 대응하는 각각의 응급 기능을 수행해야 하며, 이를 위해서 많은 데이터량을 실시간으로 처리할 수 있다.In the case of a moving object moving at high speed, the autonomous vehicle recognizes the driving environment (eg, front vehicle recognition, obstacle detection, etc.) in real time and informs the driver, or determines the driving environment in real time and responds to the driving environment in real time. It needs to perform an emergency function, and for this purpose, a large amount of data can be processed in real time.

이러한 자율주행차량이 앞으로 보급되는 경우, 차량공유서비스가 보다 활발히 진행될 뿐만 아니라, 자율주행차량의 완전 자율주행 상황에서 차량 공유자가 긴급한 상황에 자율주행차량을 수동으로 운전해야하는 상황도 발생할 수 있을 것이다. If such autonomous vehicles are distributed in the future, not only will the vehicle sharing service proceed more actively, but there may also be situations in which the vehicle sharer has to manually drive the autonomous vehicle in an emergency situation in the fully autonomous driving situation of the autonomous vehicle.

이에 따라, 해당 기술분야에 있어서는 자율주행차량을 공유하는 차량 공유자가 위급한 상황에서 자율주행차량을 자동화 기능을 제거하고 스스로 운전하기 위한 기술개발이 요구되고 있다. Accordingly, in the technical field, there is a demand for technology development for a vehicle sharer sharing an autonomous vehicle to remove the automation function and drive the autonomous vehicle by itself in an emergency situation.

대한민국 특허출원 출원번호 제10-2018-0004940호 "자율주행차량을 이용한 가상 계좌 연계 인공지능 통합 서비스 제공 시스템 및 방법(SYSTEM AND METHOD FOR PROVIDING INTEGRATED ARTIFICIAL INTELLIGENCE SERVICE INTERWORKING VIRTUAL ACCOUNT USING SELF-DRIVING VEHICLE)"Korean Patent Application No. 10-2018-0004940 "SYSTEM AND METHOD FOR PROVIDING INTEGRATED ARTIFICIAL INTELLIGENCE SERVICE INTERWORKING VIRTUAL ACCOUNT USING SELF-DRIVING VEHICLE"

본 발명은 상기의 문제점을 해결하기 위한 것으로, 자율주행차량을 공유하는 차량 공유자가 위급한 상황에서 자율주행차량을 자동화 기능을 제거하고 스스로 운전할 수 있도록 하기 위한 자율주행차량의 가상 조향 핸들 제공 시스템을 제공하기 위한 것이다.The present invention is to solve the above problems, and provides a system for providing a virtual steering handle of an autonomous vehicle so that a vehicle sharer sharing an autonomous vehicle can remove the automation function and drive the autonomous vehicle by itself in an emergency situation. is to provide

또한, 본 발명은 가상 조향 핸들을 홀로그램 또는 허공에서 핸들을 쥔 자세에 대한 영상인식을 통해 제어 신호를 획득하여 완전 자율주행에서 단일 기능 자동화에 따른 자율주행으로 전환할 뿐만 아니라, 가상 조향 핸들 조작 정보에 대해서 미리 설정된 시간차를 두고 보정 정보로만 반영하다가 안정화 단계에서 본격적으로 제공함으로써, 운전자의 안전성을 확보할 수 있도록 하기 위한 차량 공유자의 안전성을 유지할 수 있도록 하기 위한 자율주행차량의 가상 조향 핸들 제공 시스템을 제공하기 위한 것이다.In addition, the present invention not only converts the virtual steering wheel to autonomous driving according to single function automation by acquiring a control signal through a hologram or image recognition for a posture holding the steering wheel in the air, but also virtual steering wheel manipulation information A system for providing a virtual steering handle for autonomous driving vehicles to maintain the safety of the vehicle sharer so that the safety of the driver can be secured by reflecting only the correction information with a preset time difference and providing it in earnest at the stabilization stage. is to provide

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템은, 네트워크(200)를 통해 무선 통신을 수행하는 네트워크 모듈과, 블루투스 방식 등을 통해 차량 공유자 스마트 디바이스(100)와 근거리 무선통신을 수행하는 근거리 통신 모듈을 포함하는 송수신부(310); 및 네트워크(200)를 통해 자율주행제공 서버(400)로 액세스하여 자율주행차량(10)의 경로 및 교통상황 정보를 제공받고, 센싱부(320)를 구성하는 4방향 카메라(321)에 의해 획득된 영상정보를 통해 경로인 목적지로 향하도록 구동부(360)를 구성하는 조향장치인 조향 핸들(361), 그리고 가속 페달(362), 제동 페달(363)에 대한 자율주행 제어 정보를 생성하여 자율주행차량(10)의 자율주행을 제어하는 자율주행모듈(341); 을 포함하는 것을 특징으로 한다.In order to achieve the above object, a system for providing a virtual steering wheel for an autonomous vehicle according to an embodiment of the present invention includes a network module that performs wireless communication through the network 200, and a smart device ( 100) and a transceiver 310 including a short-range communication module for performing short-range wireless communication; and access to the autonomous driving providing server 400 through the network 200 to receive route and traffic condition information of the autonomous driving vehicle 10 , and obtained by the four-way camera 321 constituting the sensing unit 320 . Autonomous driving by generating autonomous driving control information for the steering handle 361, accelerator pedal 362, and brake pedal 363, which is a steering device constituting the driving unit 360 to go to a destination, which is a route, through the image information an autonomous driving module 341 for controlling autonomous driving of the vehicle 10; It is characterized in that it includes.

이때, 본 발명은, 센싱부(320)를 구성하는 4방향 카메라(321)에 의해 획득된 영상정보를 기반으로 자율주행차량(10)의 자율주행에 대한 피드백 정보를 생성하여 저장부(350)에 저장하는 센싱 모듈(342); 을 더 포함하는 것을 특징으로 한다.At this time, the present invention generates feedback information on autonomous driving of the autonomous vehicle 10 based on the image information obtained by the four-way camera 321 constituting the sensing unit 320 to generate the storage unit 350 . Sensing module 342 to store in; It is characterized in that it further comprises.

또한, 센싱 모듈(342)은, 자율주행 제어 정보와 피드백 정보 간의 실시간 매칭 여부를 분석한 뒤, 분석된 매칭 정보 중 가속 페달(362) 및 제동 페달(363)에 대해서는 실시간 매칭되나 조향 핸들(361)에 대해서는 미리 설정된 시간 이상 매칭되지 않는 경우 완전 자율주행 불능 상황으로 분석하는 것을 특징으로 한다.In addition, the sensing module 342 analyzes whether or not real-time matching between the autonomous driving control information and the feedback information is matched, and then performs real-time matching with respect to the accelerator pedal 362 and the brake pedal 363 among the analyzed matching information, but the steering handle 361 ), if it does not match for more than a preset time, it is characterized in that it is analyzed as a fully autonomous driving impossible situation.

또한, 본 발명은, 센싱 모듈(342)에 의한 완전 자율주행 불능 상황으로 분석시, 센싱 모듈(342)로부터 가상 조향 핸들 호출 명령을 수신하는 가상 조향 핸들 제공 모듈(343); 을 더 포함하는 것을 특징으로 한다.In addition, the present invention provides a virtual steering handle providing module 343 that receives a virtual steering wheel call command from the sensing module 342 when the fully autonomous driving impossible situation is analyzed by the sensing module 342 ; It is characterized in that it further comprises.

또한, 가상 조향 핸들 제공 모듈(343)은, 가상 조향 핸들 호출 명령을 제공받는 경우, 터치스크린(330)을 통해 차량 공유자의 운전면허에 대한 가능한지에 대한 질의를 수행하고, 차량 면허증에 대해서 차량 공유자 스마트 디바이스(100)를 통해 자율주행제공 서버(400)에 액세스하여 인증하도록 하는 메시지를 출력하는 것을 특징으로 한다.In addition, the virtual steering wheel providing module 343, when receiving a virtual steering wheel call command, performs a query on whether the driver's license of the vehicle sharer is possible through the touch screen 330, and the vehicle sharer with respect to the vehicle license It is characterized by outputting a message to access and authenticate the autonomous driving providing server 400 through the smart device 100 .

본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템은, 자율주행차량을 공유하는 차량 공유자가 위급한 상황에서 자율주행차량을 자동화 기능을 제거하고 스스로 운전할 수 있도록 하는 효과를 제공한다. The system for providing a virtual steering handle for an autonomous driving vehicle according to an embodiment of the present invention provides an effect of allowing a vehicle sharer sharing an autonomous driving vehicle to remove the automation function and drive the autonomous vehicle by itself in an emergency situation.

뿐만 아니라, 본 발명의 다른 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템은, 가상 조향 핸들을 홀로그램 또는 허공에서 핸들을 쥔 자세에 대한 영상인식을 통해 제어 신호를 획득하여 완전 자율주행에서 단일 기능 자동화에 따른 자율주행으로 전환할 뿐만 아니라, 가상 조향 핸들 조작 정보에 대해서 미리 설정된 시간차를 두고 보정 정보로만 반영하다가 안정화 단계에서 본격적으로 제공함으로써, 운전자의 안전성을 확보할 수 있는 효과를 제공한다. In addition, the system for providing a virtual steering wheel for an autonomous vehicle according to another embodiment of the present invention acquires a control signal through a hologram of a virtual steering wheel or an image recognition for a posture holding the steering wheel in the air to obtain a single control signal in fully autonomous driving. In addition to switching to autonomous driving according to function automation, the virtual steering wheel operation information is reflected only as correction information with a preset time difference, and then provided in earnest at the stabilization stage, thereby providing the effect of securing the driver's safety.

도 1은 본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1)을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1) 중 자율주행차량 단말(300)의 구성요소를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1)에서 자율주행차량 단말(300)에 의해 수행되는 단일 기능 자동화 상태(L1), 완전 자율주행 상태(L5)를 설명하기 위한 도면이다.
도 4는 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1)에서 홀로그램 타입의 가상 조향 핸들(I1)이 구현된 것을 나타내는 도면이다.1 is a diagram illustrating a system 1 for providing a virtual steering wheel for an autonomous vehicle according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating components of an autonomous driving vehicle terminal 300 in a system 1 for providing a virtual steering wheel for an autonomous driving vehicle according to an embodiment of the present invention.
3 is a single-function automation state (L1) and a fully autonomous driving state (L5) performed by the autonomous driving vehicle terminal 300 in the system 1 for providing a virtual steering wheel of an autonomous driving vehicle according to an embodiment of the present invention. It is a drawing for explanation.
4 is a diagram illustrating a hologram-type virtual steering wheel I1 implemented in the system 1 for providing a virtual steering wheel for an autonomous vehicle according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, detailed description of preferred embodiments of the present invention will be described with reference to the accompanying drawings. In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.In the present specification, when one component 'transmits' data or signal to another component, the component may directly transmit the data or signal to another component, and through at least one other component This means that data or signals can be transmitted to other components.

도 1은 본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1)을 나타내는 도면이다. 도 1을 참조하면, 자율주행차량의 가상 조향 핸들 제공 시스템(1)은 차량 공유자 스마트 디바이스(100), 네트워크(200), 자율주행차량(10)에 설치된 자율주행차량 단말(300), 그리고 자율주행제공 서버(400)를 포함할 수 있다.1 is a diagram illustrating a system 1 for providing a virtual steering wheel for an autonomous vehicle according to an embodiment of the present invention. Referring to FIG. 1 , a system 1 for providing a virtual steering wheel of an autonomous vehicle includes a vehicle sharer smart device 100 , a network 200 , an autonomous vehicle terminal 300 installed in an autonomous vehicle 10 , and an autonomous vehicle. It may include a driving providing server (400).

차량 공유자 스마트 디바이스(100)는 사전에 네트워크(200)를 통해 자율주행제공 서버(400)로 자율주행차량(10)에 대한 차량 공유 신청을 하고 자신의 단말식별번호(IMEI)를 등록한 사용자의 모바일 단말에 해당할 수 있다. The vehicle sharer smart device 100 is a mobile device of a user who has previously applied for vehicle sharing for the autonomous vehicle 10 to the autonomous driving providing server 400 through the network 200 and registered their own terminal identification number (IMEI). It may correspond to a terminal.

여기서, 네트워크(200)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 네트워크(200)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 이동통신망(700)은 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(200)는 차량 공유자 스마트 디바이스(100), 자율주행차량(10)에 설치된 자율주행차량 단말(300), 그리고 자율주행제공 서버(400), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다. Here, the network 200 is a high-speed backbone network of a large-scale communication network capable of large-capacity, long-distance voice and data services, and may be a next-generation wired or wireless network for providing the Internet or high-speed multimedia services. When the network 200 is a mobile communication network, it may be a synchronous mobile communication network or an asynchronous mobile communication network. As an embodiment of the asynchronous mobile communication network, there may be a wideband code division multiple access (WCDMA) type communication network. In this case, although not shown in the drawings, the mobile communication network 700 may include a Radio Network Controller (RNC). Meanwhile, although the WCDMA network is taken as an example, it may be a next-generation communication network such as a 3G LTE network or a 4G network, or other IP-based IP networks. The network 200 transmits signals and data between the vehicle sharer smart device 100, the autonomous driving vehicle terminal 300 installed in the autonomous driving vehicle 10, the autonomous driving providing server 400, and other systems. play a role

도 2는 본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1) 중 자율주행차량 단말(300)의 구성요소를 나타내는 도면이다. 도 3은 본 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1)에서 자율주행차량 단말(300)에 의해 수행되는 단일 기능 자동화 상태(L1), 완전 자율주행 상태(L5)를 설명하기 위한 도면이다. 도 4는 발명의 실시예에 따른 자율주행차량의 가상 조향 핸들 제공 시스템(1)에서 홀로그램 타입의 가상 조향 핸들(I1)이 구현된 것을 나타내는 도면이다.FIG. 2 is a diagram illustrating components of an autonomous driving vehicle terminal 300 in a system 1 for providing a virtual steering wheel for an autonomous driving vehicle according to an embodiment of the present invention. 3 is a single-function automation state (L1) and a fully autonomous driving state (L5) performed by the autonomous driving vehicle terminal 300 in the system 1 for providing a virtual steering wheel of an autonomous driving vehicle according to an embodiment of the present invention. It is a drawing for explanation. 4 is a diagram illustrating a hologram-type virtual steering wheel I1 implemented in the system 1 for providing a virtual steering wheel for an autonomous vehicle according to an embodiment of the present invention.

먼저, 도 2를 참조하면, 자율주행차량 단말(300)은 송수신부(310), 센싱부(320), 디스플레이(330), 제어부(340), 저장부(350), 구동부(360) 및 빔프로젝터(370)를 포함할 수 있다.First, referring to FIG. 2 , the autonomous vehicle terminal 300 includes a transceiver 310 , a sensing unit 320 , a display 330 , a control unit 340 , a storage unit 350 , a driving unit 360 , and a beam. A projector 370 may be included.

송수신부(310)는 네트워크(200)를 통해 무선 통신을 수행하는 네트워크 모듈과, 블루투스 방식 등을 통해 차량 공유자 스마트 디바이스(100)와 근거리 무선통신을 수행하는 근거리 통신 모듈을 포함할 수 있다. The transceiver 310 may include a network module for performing wireless communication through the network 200 and a short-range communication module for performing short-range wireless communication with the vehicle sharer smart device 100 through a Bluetooth method or the like.

제어부(340)는 자율주행모듈(341), 센싱 모듈(342), 가상 조향 핸들 제공 모듈(343) 및 가상 조향 핸들 종료 모듈(344)을 포함할 수 있다. The controller 340 may include an autonomous driving module 341 , a sensing module 342 , a virtual steering handle providing module 343 , and a virtual steering steering wheel termination module 344 .

자율주행모듈(341)은 네트워크(200)를 통해 자율주행제공 서버(400)로 액세스하여 자율주행차량(10)의 경로 및 교통상황 정보를 제공받고, 센싱부(320)를 구성하는 4방향 카메라(321)에 의해 획득된 영상정보를 통해 경로인 목적지로 향하도록 구동부(360)를 구성하는 조향장치인 조향 핸들(361), 그리고 가속 페달(362), 제동 페달(363)에 대한 자율주행 제어 정보를 생성하여 자율주행차량(10)의 자율주행을 제어할 수 있다.The autonomous driving module 341 accesses the autonomous driving providing server 400 through the network 200 to receive route and traffic situation information of the autonomous driving vehicle 10 , and a four-way camera constituting the sensing unit 320 . Autonomous driving control for the steering handle 361 as a steering device that configures the driving unit 360 to go to the destination, which is a route, and the accelerator pedal 362 and the brake pedal 363 through the image information obtained by the 321 . By generating information, the autonomous driving of the autonomous driving vehicle 10 may be controlled.

센싱 모듈(342)은 센싱부(320)를 구성하는 4방향 카메라(321)에 의해 획득된 영상정보를 기반으로 자율주행차량(10)의 자율주행에 대한 피드백 정보를 생성하여 저장부(350)에 저장할 수 있다. The sensing module 342 generates feedback information on autonomous driving of the autonomous vehicle 10 based on the image information obtained by the four-way camera 321 constituting the sensing unit 320 and stores the information in the storage unit 350 . can be stored in

또한, 센싱 모듈(342)은 자율주행 제어 정보와 피드백 정보 간의 실시간 매칭 여부를 분석한 뒤, 분석된 매칭 정보 중 가속 페달(362) 및 제동 페달(363)에 대해서는 실시간 매칭되나 조향 핸들(361)에 대해서는 미리 설정된 시간 이상 매칭되지 않는 경우, 완전 자율주행 불능 상황으로 분석하여 가상 조향 핸들 제공 모듈(343)로 가상 조향 핸들 호출 명령을 제공할 수 있다. In addition, the sensing module 342 analyzes whether or not real-time matching between the autonomous driving control information and the feedback information is matched, and then matches the accelerator pedal 362 and the brake pedal 363 among the analyzed matching information in real time, but the steering handle 361) , when it does not match for more than a preset time, it is analyzed as a fully autonomous driving impossible situation, and a virtual steering wheel call command may be provided to the virtual steering wheel providing module 343 .

가상 조향 핸들 제공 모듈(343)은 가상 조향 핸들 호출 명령을 제공받는 경우, 터치스크린(330)을 통해 차량 공유자의 운전면허에 대한 가능한지에 대한 질의를 수행하고, 차량 면허증에 대해서 차량 공유자 스마트 디바이스(100)를 통해 자율주행제공 서버(400)에 액세스하여 인증하도록 하는 메시지를 출력할 수 있다.When the virtual steering wheel call command is provided, the virtual steering wheel providing module 343 performs a query on whether the driver's license of the vehicle sharer is possible through the touch screen 330, and the vehicle sharer smart device ( 100) to access and authenticate the autonomous driving providing server 400 may be output.

이에 따라, 차량 공유자 스마트 디바이스(100)는 네트워크(200)를 통해 자율주행제공 서버(400)에 액세스하여 자율주행제공 서버(400)에 미리 등록된 차량 공유자 스마트 디바이스(100)의 단말식별번호(IMEI)와 매칭하여 저장된 자율주행차량(10)의 차량번호 정보를 전송한 뒤, 차량 공유자의 운전면허증을 촬영한 영상 이미지도 자율주행제공 서버(400)로 전송함으로써, 자율주행제공 서버(400)에 의한 운전가능한지에 대한 운전면허증 확인 과정을 수행할 수 있다.Accordingly, the car sharer smart device 100 accesses the autonomous driving providing server 400 through the network 200, and the terminal identification number ( After transmitting the vehicle number information of the autonomous driving vehicle 10 stored by matching with the IMEI), the video image of the vehicle sharer's driver's license is also transmitted to the autonomous driving providing server 400, whereby the autonomous driving providing server 400 You can perform the driver's license verification process for whether you can drive by

이에 따라, 가상 조향 핸들 제공 모듈(343)은 자율주행제공 서버(400)로부터 네트워크(200)를 통해 운전면허증 확인이 완료되어 운전이 가능한 것으로 분석에 따라 확인 메시지를 수신하도록 송수신부(310)를 제어할 수 있다.Accordingly, the virtual steering wheel providing module 343 transmits and receives a confirmation message from the autonomous driving providing server 400 through the network 200 to receive a confirmation message according to the analysis that the driver's license verification is completed and driving is possible. can be controlled

이후, 가상 조향 핸들 제공 모듈(343)은 완전 자율주행 상태(도 3의 L5)에서 차량 공유자가 특수한 경우인 자율주행 불능 상황에 해당하는 자율주행차량(10)의 센싱 모듈(342)에 의해 인식하지 못하는 사고 등으로 분석하여 자율주행차량(10)에 대해서 단일 기능 자동화 상태(도 3의 L1)로 전환함과 동시에 자율주행차량(10)에 대한 조향 핸들(361)을 대체하기 위한 가상 조향 핸들(I1, 도 4 참조)에 대한 호출 명령을 빔프로젝터(370)로 제공할 수 있다.Thereafter, the virtual steering handle providing module 343 is recognized by the sensing module 342 of the autonomous driving vehicle 10 corresponding to the autonomous driving impossible situation, which is a special case of the vehicle sharer in the fully autonomous driving state (L5 in FIG. 3 ). A virtual steering handle to replace the steering handle 361 for the autonomous vehicle 10 at the same time as switching to the single-function automation state (L1 in FIG. 3) for the autonomous vehicle 10 by analyzing it as an accident that cannot be done A call command for (I1, see FIG. 4 ) may be provided to the beam projector 370 .

이에 따라, 가상 조향 핸들 제공 모듈(343)은 자율주행차량(10)의 루프 중 운전자석의 상단 영역에 형성된 빔프로젝터(370)에 의한 운전자석 전면에 가상 조향 핸들(I1)이 출력되도록 하고, 출력된 가상 조향 핸들(I1)에 대한 차량 공유자의 조작을 감지하기 위해 운전자석을 감시가능한 자율주행차량(10)의 루프 중 운전자석의 뒷 부분에 형성된 내부 카메라(322)를 통해 영상인식을 수행할 수 있다. Accordingly, the virtual steering handle providing module 343 outputs the virtual steering handle I1 to the front of the driver's seat by the beam projector 370 formed in the upper region of the driver's seat among the loops of the autonomous vehicle 10, Image recognition is performed through the internal camera 322 formed in the rear part of the driver's seat among the loops of the autonomous driving vehicle 10 capable of monitoring the driver's seat in order to detect the operation of the vehicle sharer on the output virtual steering wheel I1. can do.

이후, 가상 조향 핸들 제공 모듈(343)은 자율주행차량(10)이 완전 자율주행 방식으로 이동중인 경우에 처음부터 차량 공유자가 가상 조향 핸들링을 수행하면 위험할 수 있으므로 차량 공유자의 최초 가상 조향 핸들링시에는 차량 공유자의 가상 조향 핸들링 정보를 완전 자율주행 정보에 보정 정보로 산입하고, 차량 공유자의 가상 조향 핸들링이 미리 설정된 시간 수행되었다고 판단되는 경우, 차량 공유자의 가상 조향 핸들링에 의해서만 자율주행차량(10)이 제어되도록 하는 단일 기능 자동화 상태(도 3의 L1)로 완전히 전환할 수 있다. Thereafter, when the autonomous driving vehicle 10 is moving in a fully autonomous driving manner, the virtual steering handle providing module 343 may be dangerous if the vehicle sharer performs virtual steering handling from the beginning. In this case, the virtual steering handling information of the vehicle sharer is counted as correction information in the fully autonomous driving information, and when it is determined that the virtual steering handling of the vehicle sharer is performed for a preset time, the autonomous driving vehicle 10 only by the virtual steering handling of the vehicle sharer. It can fully transition to a single function automation state (L1 in Figure 3) that allows it to be controlled.

본 발명의 다른 실시예로, 가상 조향 핸들 제공 모듈(343)은 가상 조향 핸들(I1)을 홀로그램 형식으로 제공하는 것 외에 차량 공유자가 허공에 핸들을 잡은 자세를 취하고 좌우로 돌리는 형상을 내부 카메라(322)를 통해 영상인식을 수행한 뒤, 인식된 영상에서 조작 방향 및 각속도 정보를 생성한 뒤, 생성된 가상 조향 핸들링 정보를 생성하여 생성된 가상 조향 핸들링 정보로 자율주행차량(10)에 대한 단일 기능 자동화 상태(도 3의 L1)로의 전환을 수행할 수 있다. In another embodiment of the present invention, the virtual steering handle providing module 343 provides the virtual steering wheel I1 in the form of a hologram, and the vehicle sharer takes a posture holding the steering wheel in the air and turns left and right with an internal camera ( 322), after generating the manipulation direction and angular velocity information from the recognized image, and then generating the generated virtual steering handling information, the generated virtual steering handling information for the autonomous vehicle 10 is single A transition to the functional automation state (L1 in FIG. 3 ) may be performed.

가상 조향 핸들 종료 모듈(344)은 가상 조향 핸들 제공 모듈(343)에 의해 단일 기능 자동화 상태로 가상 조향 핸들(I1)이 수행되는 상태에서 센싱부(320)를 구성하는 핸들 가속도/각속도 센서(323)로부터 조작 방향 및 각속도 정보를 수신한 뒤, 조작 방향 및 각속도 정보를 자율주행 제어 정보로 자율주행 알고리즘에 대입하여 자율주행차량(10)의 자율주행에 대한 피드백 정보를 생성한 뒤, 자율주행 제어 정보인 조작 방향 정보와 각속도 정보와 미리 설정된 피드백 정보 간의 실시간 매칭 여부를 분석한 뒤, 분석된 매칭 정보 중 가속 페달(362) 및 제동 페달(363)에 대해서는 실시간 매칭될 뿐만 아니라, 조향 핸들(361)에 대해서도 매칭되는 경우, 완전 자율주행 복귀 상황으로 분석하여 가상 조향 핸들 제공 모듈(343)로 가상 조향 핸들 슬립 명령을 제공할 수 있다. The virtual steering handle termination module 344 is a steering wheel acceleration/angular velocity sensor 323 configuring the sensing unit 320 in a state in which the virtual steering handle I1 is performed in a single function automation state by the virtual steering handle providing module 343 . After receiving the operation direction and angular velocity information from ), the operation direction and angular velocity information are substituted into the autonomous driving algorithm as the autonomous driving control information to generate feedback information for the autonomous driving of the autonomous driving vehicle 10, and then the autonomous driving control After analyzing whether real-time matching between the manipulation direction information, angular velocity information, and preset feedback information, which is information, is analyzed, not only real-time matching is performed with respect to the accelerator pedal 362 and the brake pedal 363 among the analyzed matching information, but also the steering handle 361 ), a virtual steering wheel slip command may be provided to the virtual steering wheel providing module 343 by analyzing it as a fully autonomous driving return situation.

이에 따라, 가상 조향 핸들 종료 모듈(344)은 사고 상황 등과 같은 특수한 경우인 자율주행 불능 상황에서 벗어났다고 판단하여 다시 자율주행모듈(341)로 자율주행 명령을 제공함으로써, 완전 자율주행 상태(도 3의 L5)로 자율주행차량(10)이 진입하도록 제어할 수 있다.Accordingly, the virtual steering wheel termination module 344 determines that it is out of the autonomous driving impossible situation, which is a special case such as an accident situation, and provides an autonomous driving command to the autonomous driving module 341 again, thereby providing a fully autonomous driving state (see FIG. 3 ). It is possible to control the autonomous vehicle 10 to enter L5).

본 발명의 다른 실시예로, 제어부(320)는 차량 공유자에 의한 차량 탑승을 인지한 자율주행차량 단말(300)이 트립 컴퓨터 기능, 네비게이션 기능, 차량 운전자 정보 센싱 기능을 포함하는 경우, 자율주행차량 단말(300)에 의해 차량 공유자 스마트 디바이스(100) 간의 근거리 무선통신 방식으로 제공된 음악 파일 정보, 연락처 정보, 자주 가는 목적지, 주행방법, 각 스마트 디바이스 상에서의 검색 정보를 추출할 수 있다. In another embodiment of the present invention, the controller 320 controls the autonomous driving vehicle when the autonomous driving vehicle terminal 300 that recognizes the vehicle boarding by the vehicle sharer includes a trip computer function, a navigation function, and a vehicle driver information sensing function. Music file information, contact information, frequent destinations, driving methods, and search information on each smart device provided by the terminal 300 in a short-range wireless communication method between the car sharer smart devices 100 may be extracted.

이후, 제어부(320)는 네트워크(200)를 통해 추출된 정보를 빅데이터 서버(미도시)로 전송하여 빅데이터 서버로부터 추천 음악, 추천 목적지, 추천 자율주행 주행 방법, 추천 음식점 및 맛집, 추천 여행지 등에 대한 추천 정보를 수신하여 터치스크린(330)으로 출력할 뿐만 아니라, 차량 공유자 스마트 디바이스로 전송하도록 송수신부(310)를 제어함으로써, 차량 공유자에게 추천정보를 제공할 수 있다. Thereafter, the control unit 320 transmits the information extracted through the network 200 to a big data server (not shown), and from the big data server, recommended music, recommended destination, recommended autonomous driving method, recommended restaurant and restaurant, and recommended travel destination Recommendation information can be provided to the vehicle sharer by controlling the transceiver 310 to receive and output the recommended information on the touch screen 330 and transmit it to the vehicle sharer smart device.

본 발명의 다른 실시예로, 제어부(320)는 추출된 정보 중 SNS 메신저 연락처 정보를 제공받는 경우, 연락처 정보 중 특정인이 소유하는 다른 차량 공유자 스마트 디바이스에 대한 차량 공유자 스마트 디바이스(100)로부터 네트워크(200)를 통해 자율주행차량(10)의 이용허락요청을 수신하도록 송수신부(310)를 제어한 뒤, 다른 차량 공유자 스마트 디바이스로 네트워크(200)를 통해 이용허락요청 알림을 전송하도록 송수신부(310)를 제어할 수 있다.In another embodiment of the present invention, when receiving SNS messenger contact information from among the extracted information, the control unit 320 provides a network ( 200) to control the transceiver 310 to receive the request for permission of the autonomous driving vehicle 10 through ) can be controlled.

또한, 제어부(320)는 자율주행차량(10)에 대한 차량 사용이 허여된 차량 공유자 스마트 디바이스(100)에 대한 자율주행차량 단말(300) 자체적인 생체 정보 인식에 따른 자율주행차량(10)에 대한 시동이 수행되도록 할 뿐만 아니라, 차량 사용이 허여된 차량 공유자에 의한 원격에서 원격 시동 명령을 수신한 뒤, 자율주행차량(10)에 대한 시동을 걸수 있다. In addition, the control unit 320 controls the autonomous driving vehicle 10 according to the self-recognition of biometric information of the autonomous driving vehicle terminal 300 for the vehicle sharer smart device 100 that is permitted to use the vehicle for the autonomous driving vehicle 10 . The autonomous driving vehicle 10 may be started after receiving a remote start command from a vehicle sharer who is permitted to use the vehicle, as well as to start the vehicle.

보다 구체적인 예로, 제어부(320)는 차량 공유자 스마트 디바이스(100)의 위치 정보로 자율주행차량(10)에 대한 자율주행 제어를 통해 차량 공유자의 위치로 자율주행차량(10)이 도달하면 자율주행차량(10)에 대해서 시동 오프(OFF)를 수행할 수 있다.As a more specific example, when the autonomous driving vehicle 10 arrives at the vehicle sharer's location through the autonomous driving control for the autonomous driving vehicle 10 with the location information of the vehicle sharer's smart device 100, the autonomous driving vehicle Start-off (OFF) can be performed with respect to (10).

이후, 제어부(320)는 사용이 허여된 차량 공유자 스마트 디바이스(100)가 목적지에 해당하는 위치 정보에서 미리 설정된 거리 이상으로 멀어지는 경우, 네트워크(200)를 통해 차량 공유자 스마트 디바이스(100)에 대해서 차량 시동 요청 시간 선택을 위한 팝업 화면을 차량 공유 앱을 통해 팝업 메시지 형태로 전송하도록 송수신부(310)를 제어할 수 있으며, 팝업 메시지의 리턴 메시지 형태로 수신된 차량 시동 요청 시간에 따라 자율주행차량(10)에 대한 차량 시동을 수행할 수 있다. Thereafter, when the vehicle sharer smart device 100 permitted for use moves away from the location information corresponding to the destination by more than a preset distance, the control unit 320 controls the vehicle sharer smart device 100 through the network 200. The transceiver 310 can be controlled to transmit a pop-up screen for selecting a start request time in the form of a pop-up message through the vehicle sharing app, and according to the vehicle start request time received in the form of a return message of the pop-up message, the autonomous vehicle ( 10) can be used to start the vehicle.

또한, 제어부(320)는 자율주행차량(10)에 대해서 사용이 허여된 차량 공유자의 각 카드 정보에 대해서 자율주행차량 단말(300)의 카메라에 의해 수신된 카드 정보인 카드 이미지, 그리고 터치스크린을 통해 입력된 카드 번호 및 유효 기간을 결제정보로 반환받아 저장부(350)에 저장할 수 있다.In addition, the control unit 320 for each card information of the vehicle sharer permitted to use for the autonomous vehicle 10, the card image, which is card information received by the camera of the autonomous vehicle terminal 300, and the touch screen. The input card number and validity period may be returned as payment information and stored in the storage unit 350 .

이후, 제어부(320)는 자율주행차량 단말(300)에 의한 주차장 및 고속도로 톨게이트에서의 차량 공유자에 대한 인식 정보를 포함하는 결제 요청을 수신하는 경우, 인식된 차량 공유자에 대한 결제정보를 RFID 기능을 통해 자동결제 기능이 수행되도록 할 수 있다. Then, when receiving a payment request including identification information for a vehicle sharer in a parking lot and a highway tollgate by the autonomous vehicle terminal 300, the control unit 320 transmits payment information for the recognized vehicle sharer to the RFID function. The automatic payment function can be performed through

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. also includes

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms are used, these are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention. , it is not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

1 : 자율주행차량의 가상 조향 핸들 제공 시스템
100 : 차량 공유자 스마트 디바이스
200 : 네트워크
300 : 자율주행차량 단말
310 : 송수신부
320 : 센싱부
330 : 디스플레이
340 : 제어부
341 : 자율주행모듈
342 : 센싱 모듈
343 : 가상 조향 핸들 제공 모듈
344: 가상 조향 핸들 종료 모듈
350 : 저장부
360 : 구동부
370 : 빔프로젝터
400 : 자율주행제공 서버1: A system for providing a virtual steering wheel for an autonomous vehicle
100: car sharer smart device
200: network
300: autonomous vehicle terminal
310: transceiver
320: sensing unit
330: display
340: control unit
341: autonomous driving module
342: sensing module
343: virtual steering wheel providing module
344: virtual steering wheel termination module
350: storage
360: drive unit
370: beam projector
400: autonomous driving providing server

Claims (5)

센싱부에 의해 획득된 정보를 통해 경로인 목적지로 향하도록 구동부를 제어하는 자율주행모듈; 및
자율주행 제어 정보와 피드백 정보 간의 실시간 매칭 여부를 분석하여 미리 설정된 시간 이상 매칭되지 않는 경우 완전 자율주행 불능 상황으로 분석하는 센싱 모듈; 및
센싱 모듈에 의한 완전 자율주행 불능 상황으로 분석시, 센싱 모듈로부터 가상 조향 핸들 호출 명령을 수신하는 가상 조향 핸들 제공 모듈;
을 포함하고,
상기 가상 조향 핸들 제공 모듈은 차량 공유자의 최초 가상 조향 핸들링시에는 차량 공유자의 가상 조향 핸들링 정보를 완전 자율주행 정보에 보정 정보로 산입하는 것을 특징으로 하는 자율주행차량의 가상 조향 핸들 제공 시스템.
an autonomous driving module for controlling the driving unit to go to a destination, which is a route, through the information obtained by the sensing unit; and
a sensing module that analyzes whether or not real-time matching between autonomous driving control information and feedback information is matched, and analyzes the situation as a fully autonomous driving incapable situation if the matching is not performed for more than a preset time; and
a virtual steering wheel providing module that receives a virtual steering wheel call command from the sensing module when the sensing module analyzes the fully autonomous driving impossible situation;
including,
The virtual steering wheel providing module for an autonomous driving vehicle, wherein the virtual steering wheel providing module incorporates the vehicle sharer's virtual steering handling information into the fully autonomous driving information as correction information when the vehicle sharer's first virtual steering handling is performed.
 제1항에 있어서,
상기 가상 조향 핸들 제공 모듈은 차량 공유자의 가상 조향 핸들링이 미리 설정된 시간 수행되었다고 판단되는 경우, 차량 공유자의 가상 조향 핸들링에 의해서만 자율주행차량이 제어되도록 하는 단일 기능 자동화 상태로 전환하는 것을 특징으로 하는 자율주행차량의 가상 조향 핸들 제공 시스템.
According to claim 1,
The virtual steering wheel providing module converts to a single-function automation state in which the autonomous driving vehicle is controlled only by the virtual steering handling of the vehicle sharer when it is determined that the virtual steering handling of the vehicle sharer has been performed for a preset time. A virtual steering wheel providing system for a driving vehicle.
 청구항 1에 있어서, 가상 조향 핸들 제공 모듈은,
가상 조향 핸들 호출 명령을 제공받는 경우, 터치스크린을 통해 차량 공유자의 운전면허에 대한 가능한지에 대한 질의를 수행하고, 차량 면허증에 대해서 차량 공유자 스마트 디바이스를 통해 자율주행제공 서버에 액세스하여 인증하도록 하는 메시지를 출력하는 것을 특징으로 하는 자율주행차량의 가상 조향 핸들 제공 시스템.
The method according to claim 1, wherein the virtual steering handle providing module comprises:
When a virtual steering wheel call command is provided, a message to perform a query on whether the vehicle sharer's driver's license is possible through the touch screen and to access and authenticate the autonomous driving server through the vehicle sharer's smart device for the vehicle license A system for providing a virtual steering wheel of an autonomous vehicle, characterized in that it outputs
 삭제delete 삭제delete
KR1020190080866A 2019-07-04 2019-07-04 Virtual steering wheel providing system for autonomous vehicle KR102303412B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190080866A KR102303412B1 (en) 2019-07-04 2019-07-04 Virtual steering wheel providing system for autonomous vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190080866A KR102303412B1 (en) 2019-07-04 2019-07-04 Virtual steering wheel providing system for autonomous vehicle

Publications (2)

Publication Number Publication Date
KR20210005756A KR20210005756A (en) 2021-01-15
KR102303412B1 true KR102303412B1 (en) 2021-09-27

Family

ID=74126982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080866A KR102303412B1 (en) 2019-07-04 2019-07-04 Virtual steering wheel providing system for autonomous vehicle

Country Status (1)

Country Link
KR (1) KR102303412B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592091B1 (en) 2022-04-18 2023-10-24 김태민 Virtual steering implement and operating method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102609600B1 (en) * 2021-05-14 2023-12-06 (주)다산지앤지 Apparatus, method and computer program for providing virtual dirver service
KR102568728B1 (en) 2021-07-07 2023-08-18 정해용 Support device that allows steering wheel of autonomous vehicle to be operated with knee

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364003A1 (en) * 2015-06-10 2016-12-15 Wayne Patrick O'Brien Holographic interface for manipulation
JP2017132290A (en) * 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 Automatic drive control device and automatic drive control method
JP2018154338A (en) 2013-04-10 2018-10-04 ウェイモ エルエルシー Mapping active and inactive construction zones for autonomous driving

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101838187B1 (en) * 2016-03-25 2018-04-26 엘지전자 주식회사 Display Apparatus and Vehicle Having The Same
KR101765229B1 (en) * 2016-09-29 2017-08-04 엘지전자 주식회사 Apparatus for switching driving mode of vehicle and method thereof
KR102336017B1 (en) * 2016-11-09 2021-12-07 한국전자통신연구원 Interaction method between user and autonomous driving system in fully autonomous driving

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018154338A (en) 2013-04-10 2018-10-04 ウェイモ エルエルシー Mapping active and inactive construction zones for autonomous driving
US20160364003A1 (en) * 2015-06-10 2016-12-15 Wayne Patrick O'Brien Holographic interface for manipulation
JP2017132290A (en) * 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 Automatic drive control device and automatic drive control method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592091B1 (en) 2022-04-18 2023-10-24 김태민 Virtual steering implement and operating method

Also Published As

Publication number Publication date
KR20210005756A (en) 2021-01-15

Similar Documents

Publication Publication Date Title
US11709490B1 (en) Behavior and intent estimations of road users for autonomous vehicles
AU2020200302B2 (en) Fall back trajectory systems for autonomous vehicles
JP7395529B2 (en) Testing autonomous vehicle predictions
CN108780610B (en) System and method for planning trajectories for unexpected pedestrians
US11608060B1 (en) Speed planning for autonomous vehicles
US9551992B1 (en) Fall back trajectory systems for autonomous vehicles
US11592570B2 (en) Automated labeling system for autonomous driving vehicle lidar data
KR102303412B1 (en) Virtual steering wheel providing system for autonomous vehicle
KR20210028575A (en) Methods for passenger authentication and door operation for autonomous vehicles
CN111357021A (en) System and method for matching an autonomous vehicle with an occupant
CN112230656A (en) Automatic driving method for park vehicle, system, client and storage medium thereof
KR102303422B1 (en) Autonomous vehicle control system for maximizing autonomy, and Autonomy providing server for the same
CN113306568A (en) Autonomous vehicle and method of operating an autonomous vehicle
KR102303421B1 (en) Customization providing system for autonomous vehicle, and customization server thereof
KR102235274B1 (en) Passing priority offering system based on autonomous vehicle, and autonomous vehicle apparatus thereof
WO2021199345A1 (en) Vehicle control system, device, method, and computer-readable medium
KR102191032B1 (en) Autonomous vehicle stagnation zone control system, and autonomous vehicle apparatus thereof
KR102382107B1 (en) Vehicle sharing system for autonomous vehicle, vehicle Sharing Server for the same
KR20200074528A (en) Operation system for self-driving vehicle using real time context information
CN112444264B (en) Unmanned vehicle-based user path guiding method and device and unmanned vehicle
KR102468814B1 (en) Self-driving assistance device that composes real-time map for autonomous driving
WO2022254561A1 (en) Information processing device, information processing method, and information processing program
US20240045027A1 (en) Adaptive lidar data processing for driverless vehicle
JP2023034213A (en) Remote operation server, remote operation method, and remote operation program
KR20210005762A (en) Autonomous vehicle control system for child protection mode, and autonomous drive providing server for the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant