KR101921074B1 - Sensor fusion system for controlling autonomous emergency braking in car - Google Patents

Sensor fusion system for controlling autonomous emergency braking in car Download PDF

Info

Publication number
KR101921074B1
KR101921074B1 KR1020170157125A KR20170157125A KR101921074B1 KR 101921074 B1 KR101921074 B1 KR 101921074B1 KR 1020170157125 A KR1020170157125 A KR 1020170157125A KR 20170157125 A KR20170157125 A KR 20170157125A KR 101921074 B1 KR101921074 B1 KR 101921074B1
Authority
KR
South Korea
Prior art keywords
monitoring unit
data
module
fault
vehicle
Prior art date
Application number
KR1020170157125A
Other languages
Korean (ko)
Inventor
김부군
이기원
김재복
김연균
Original Assignee
(주) 모토텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 모토텍 filed Critical (주) 모토텍
Priority to KR1020170157125A priority Critical patent/KR101921074B1/en
Priority to CN201810436722.XA priority patent/CN109823325A/en
Application granted granted Critical
Publication of KR101921074B1 publication Critical patent/KR101921074B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B60R16/033Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for characterised by the use of electrical cells or batteries
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • B60W2420/42
    • B60W2420/52
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/08Predicting or avoiding probable or impending collision
    • B60Y2300/09Taking automatic action to avoid collision, e.g. braking or steering

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

A sensor fusion system for operating an autonomous emergency braking (AEB) of a vehicle according to the present invention includes: a camera module mounted on the vehicle to photograph surroundings; a Lidar module mounted on the vehicle to recognize an object by scanning the surroundings to sense a distance to the recognized object; a voltage stabilization circuit for stabilizing a vehicle battery power to supply the power to the camera module and the Lidar module; a battery monitoring unit for monitoring whether the vehicle battery power is normally supplied to internal components of the sensor fusion system; a power monitoring unit for monitoring whether the power stabilized from the voltage stabilization circuit is normally supplied to the camera module and the Lidar module; a data synchronization unit for synchronizing camera data received from the camera module and Lidar data received from the Lidar module according to a time synchronization signal; a monitoring unit for determining a risky object around the vehicle by using the synchronized data from the data synchronization unit to determine whether a risk exists; and a micro controller unit (MCU) for controlling operations by transmitting a control signal to the components including the AEB, based on the risk determined by the monitoring unit.

Description

차량의 AEB 구동을 위한 센서 퓨전 시스템 {Sensor fusion system for controlling autonomous emergency braking in car}[0001] The present invention relates to a sensor fusion system for driving an AEB of a vehicle,

본 발명은 AEB(Autonomous Emergency Braking) 구동을 위한 센서 퓨전 시스템(Sensor fusion system)에 관한 것으로서, 더욱 상세하게는 차량에 장착된 카메라 모듈 및 라이다(LiDAR) 모듈을 기반으로 AEB 구동을 제어하는 센서 퓨전 시스템에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a sensor fusion system for driving an AEB (Autonomous Emergency Braking), and more particularly, to a sensor fusion system for driving an AEB based on a camera module and a LiDAR module mounted on a vehicle. Fusion systems.

자율주행 차량이란 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 스스로 목적지까지 찾아가는 차량으로, 항공기와 선박 등에 적용된 자율주행 기술이 접목된 스마트 차량을 일컫는다.A self-propelled vehicle refers to a smart car that incorporates self-propelled technology applied to aircraft and ships, such as a car that travels to its destination without requiring the driver to operate the steering wheel, accelerator pedal, or brake.

차량의 자율주행을 실현하기 위해서는 차간 거리를 자동으로 유지해 주는 HDA(Highway Driving Assist) 기술, 차선이탈 경보 시스템(LDWS; Lane Departure Warning System), 차선유지 지원 시스템(LKAS; Lane Keeping Assist System), 후측방 경보 시스템(BSD; Blind Spot Detection), 어드밴스트 스마트 크루즈 컨트롤(ASCC), 자동 긴급제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 차량 기술이 필요하며, 이외에 차량과 기지국사이의 통신기술, 차량과 위성사이의 통신기술 등 진보된 다양한 기술들이 필요하다.In order to realize the autonomous driving of the vehicle, it is necessary to use a highway driving assist (HDA) technology, a lane departure warning system (LDWS), a lane keeping assistance system (LKAS) Vehicle technologies such as Blind Spot Detection (BSD), Advanced Smart Cruise Control (ASCC), and Autonomous Emergency Braking (AEB) are required. In addition, Satellite communication technology, and so on.

한편, 자율주행 상황은 운전자가 차량의 페달(가속페달, 브레이크페달)을 조작하지 않는 상황으로, 만약에 자율 주행 중에 운전자가 페달을 조작하게 되면 차량 제어기는 운전자가 자율주행을 종료하고 운전자가 직접 운전을 원하는 상황으로 판단하여 자율주행을 위한 제어를 종료하게 된다. On the other hand, in the autonomous driving situation, the driver does not operate the pedal (accelerator pedal or brake pedal) of the vehicle. If the driver operates the pedal during autonomous driving, the vehicle controller ends the autonomous driving of the driver, It is determined that the operation is desired and the control for the autonomous running is terminated.

AEB(Advanced Emergency Braking) 시스템 기술은 차량의 자동긴급제동시스템으로서, 차량의 전방 또는 후방에 센서를 부착하여, 차량 주변의 타 차량 또는 장애물 등을 감지하고, 이를 이용하여 차량이 장애물과 충돌할 가능성이 있는 경우, 차량을 자동으로 제동시키는 기술을 말한다.The Advanced Emergency Braking (AEB) system technology is an automatic emergency braking system for vehicles. It attaches a sensor to the front or rear of the vehicle, detects other vehicles or obstacles around the vehicle, and uses this to detect the possibility Is a technique that automatically brakes the vehicle.

근래의 AEB 기술은 단순한 근접센서로 장애물을 인식하는 단계를 넘어서, 영상 카메라, GPS 등을 복합적으로 이용함으로써, 차량 주변의 타 차량 또는 장애물을 더욱 정밀하게 감지하고, 충돌가능성을 정확하게 판단하여, 차량을 효과적으로 제동시키는 단계에 이르고 있다.The recent AEB technology uses a combination of a video camera, a GPS, and the like beyond a step of recognizing an obstacle with a simple proximity sensor, thereby more accurately detecting other vehicles or obstacles around the vehicle, accurately determining the possibility of collision, To effectively braking the engine.

이처럼 AEB 기술은 센서를 통해 전방의 물체를 인식하여 운행 중인 차량을 자동으로 제동하는 기술로서, 선행 차량이 속도를 줄이거나 정지할 경우 또는 보행자 등의 장애물이 갑자기 나타날 경우 작동하는 적극적 안전 장비이다. 이러한 AEB는 추돌 사고를 약 27%까지 감소시킬 수 있는 것으로 보고되고 있으며, 차량 속도나 감지 거리에 따라 시가지용 AEB, 외곽용 AEB, 보행자용 AEB 등으로 구분되기도 한다.In this way, AEB technology is a technology to automatically braking a vehicle while recognizing an object ahead through a sensor. It is an active safety device that operates when the preceding vehicle is speeding down or stopping, or when obstacles such as pedestrians suddenly appear. These AEBs are reported to reduce collision accidents by about 27%, and they are classified into AEB for urban area, AEB for street, and AEB for pedestrian depending on the speed and detection distance.

이와 관련하여, 유로 NCAP(New Car Assessment Program)은 2014년부터 AEB 기능을 자동차 안전도 등급 판정 항목에 포함시키고, 이후 단계적으로 AEB의 의무 장착을 규제하기로 결정하였으며, 그에 따라 자동차 생산 업체들도 AEB 기능이 탑재된 차량의 생산을 시작하고 있다. 이처럼, 최근에는 자율주행차량에서 차량 운전시 안전도를 향상시키기 위한 필요성이 요구되고 있는 실정이다.In this regard, the Euro NCAP (New Car Assessment Program) has decided to include the AEB function in the category of automobile safety grade in 2014, and subsequently regulate the AEB's mandatory installation, We are starting production of vehicles equipped with AEB function. Thus, in recent years, there is a need for improving the safety of a self-driving vehicle when driving the vehicle.

대한민국 공개특허 10-2017-0077317Korean Patent Publication No. 10-2017-0077317

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 차량의 AEB 구동을 위해, 카메라 모듈 및 라이다 모듈의 오류를 감지하여 주행 안정성을 향상시키고, 기술 안전 컨셉(Technical safety concept)을 적용하여 안정성을 향상시킨 센서 퓨전 시스템을 제공하는데 그 목적이 있다. SUMMARY OF THE INVENTION The present invention has been conceived to solve the above-mentioned problems, and it is an object of the present invention to improve the driving stability by detecting an error of a camera module and a lidar module in order to drive AEB of a vehicle and apply a technical safety concept And to provide a sensor fusion system with improved stability.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 차량의 AEB(Autonomous Emergency Braking) 구동을 위한 센서 퓨전 시스템에서, 차량에 장착되어, 주변을 촬영하기 위한 카메라 모듈, 차량에 장착되어, 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하기 위한 라이다 모듈, 차량용 배터리 전원을 안정화하여 상기 카메라 모듈 및 상기 라이다 모듈에 공급하는 전압 안정화 회로, 상기 센서 퓨전 시스템의 내부 구성요소들에 차량용 배터리 전원이 정상적으로 공급되는지를 모니터링하기 위한 배터리 모니터링부, 상기 전압 안정화 회로로부터 안정화된 전원이 상기 카메라 모듈 및 상기 라이다 모듈에 정상적으로 공급되는지를 모니터링하기 위한 파워 모니터링부, 상기 카메라 모듈로부터 수신한 카메라 데이터와 상기 라이다 모듈로부터 수신한 라이다 데이터를 시간 동기 신호에 맞춰 동기화하기 위한 데이터 동기화부, 상기 데이터 동기화부에서 동기화된 데이터를 이용하여 차량 주변의 위험 물체를 판별하고, 이를 통해 위험 여부를 판단하는 모니터링부 및 상기 모니터링부에서 판단된 위험 여부에 따라 AEB를 포함하는 구성요소에 제어 신호를 전송하여 구동을 제어하는 MCU(Micro Controller Unit)를 포함한다. In order to achieve the above object, there is provided a sensor fusion system for driving an AEB (Autonomous Emergency Braking) of a vehicle according to the present invention. The sensor fusion system includes a camera module for photographing the surroundings, a camera module mounted on the vehicle, A voltage stabilizing circuit for stabilizing the vehicle battery power and supplying the stabilized battery to the camera module and the lidar module; a vehicle battery A power monitoring unit for monitoring whether the stabilized power is normally supplied to the camera module and the Raider module from the voltage stabilization circuit, a battery monitoring unit for monitoring whether the power supplied from the camera module And a receiving module A monitoring unit for determining a dangerous object around the vehicle using the data synchronized by the data synchronizing unit and for determining whether there is a danger through the synchronized data, And an MCU (Micro Controller Unit) for controlling the driving by transmitting a control signal to a component including the AEB according to the danger.

상기 모니터링부는 상기 카메라 모듈에서 정해진 속도로 카메라 데이터가 전송되는지를 모니터링하고, 상기 라이다 모듈에서 정해진 속도로 라이다 데이터가 전송되는지를 모니터링하고, 카메라 데이터와 라이다 데이터의 시간 동기에 대한 이상 여부를 모니터링하는 폴트 모니터링부를 포함한다. The monitoring unit monitors whether camera data is transmitted at a predetermined speed in the camera module, monitors whether the Lada data is transmitted at a predetermined speed in the Lada module, and determines whether the camera data and the Lada data are time- And a fault monitoring unit for monitoring the fault.

상기 배터리 모니터링부에서 차량용 배터리 전원의 공급에 오류가 있음을 감지하면, 상기 모니터링부는 CAN(Controller Area Network) 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS(Advanced Driver Assistance System)로 전송할 수 있다. When the battery monitoring unit detects that there is an error in the supply of the vehicle battery power, the monitoring unit can transmit a fault message in ADAS (Advanced Driver Assistance System) within a predetermined time through CAN (Controller Area Network) communication.

상기 파워 모니터링부에서 상기 카메라 모듈 및 상기 라이다 모듈에 공급되는 전원에 오류를 감지하면, 상기 모니터링부는 CAN 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS로 전송할 수 있다. When the power monitoring unit detects an error in the power supplied to the camera module and the Raider module, the monitoring unit can transmit a fault message to the ADAS within a predetermined time through the CAN communication.

상기 모니터링부는 상기 카메라 모듈 및 상기 라이다 모듈에 12V의 전원이 공급되는지 여부를 모니터링하고, 오류가 발생하면, 상기 센서 퓨전 시스템을 미리 정해진 횟수만큼 재부팅하고, 재부팅 후에도 오류가 지속되면 상기 센서 퓨전 시스템에 공급되는 전원을 오프(off)시킬 수 있다. The monitoring unit monitors whether the 12V power is supplied to the camera module and the Raidium module. If an error occurs, the monitoring unit reboots the sensor fusion system a predetermined number of times. If the error persists after rebooting, (Not shown).

상기 폴트 모니터링부는 상기 카메라 모듈에서 수평 FOV(Field of View)가 140°이내에서 객체를 감지하는지 여부와, 66.7ms 이내에 객체를 인식하는지 여부를 모니터링하고, 오류를 감지하면, 이에 대한 폴트 메시지를 CAN 통신을 통해 ADAS로 미리 정해진 시간 내에 전송할 수 있다. The fault monitoring unit monitors whether the horizontal FOV (Field of View) detects an object within 140 ° and whether or not the object is recognized within 66.7 ms in the camera module. If an error is detected, a fault message is transmitted to the CAN It can be transmitted within a predetermined time to ADAS through communication.

상기 폴트 모니터링부는 상기 카메라 모듈에서 30 FPS(Frame Per Second)의 전송속도로 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어할 수 있다. The fault monitoring unit monitors whether the camera module transmits data at a transmission rate of 30 frames per second (FPS). If an error occurs, the fault monitoring unit transmits a fault message to the MCU. The MCU transmits a fault A control signal for a message may be transmitted to control the driving.

상기 폴트 모니터링부는 상기 라이다 모듈에서 수평 FOV가 140°이내이고, 수직 FOV가 5°이내의 시야각을 갖고, 15 FPS의 전송속도로 라이다 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어할 수 있다. The fault monitoring unit monitors whether the horizontal FOV of the Lidar module has a viewing angle of 140 ° or less and a vertical FOV of 5 ° or less and transmits LIDAR data at a transmission rate of 15 FPS. If a fault occurs, The MCU transmits a control signal for a fault message to the AEB through CAN communication, and controls the driving.

상기 데이터 동기화부는 상기 카메라 모듈에서 30 FPS의 전송속도로 전송되는 카메라 데이터를 상기 라이다 모듈에서 전송되는 15 FPS의 전송속도에 맞춰 동기화하고, 상기 폴트 모니터링부는 상기 데이터 동기화부에서 15 FPS의 속도로 동기화하는지 이상 유무를 모니터링하고, 오류가 발생하면 50ms 이내에 ADAS로 송신할 수 있다. Wherein the data synchronization unit synchronizes camera data transmitted at a transmission rate of 30 FPS in the camera module to a transmission rate of 15 FPS transmitted from the Lydia module, and the fault monitoring unit transmits the camera data at a rate of 15 FPS It can monitor whether it is synchronizing or not, and if an error occurs, it can be sent to ADAS within 50ms.

상기 MCU는 상기 모니터링부의 동작을 정해진 주기로 모니터링하기 위한 와치독 타이머를 포함할 수 있다. The MCU may include a watchdog timer for monitoring the operation of the monitoring unit at a predetermined period.

상기 MCU는 상기 와치독 타이머를 이용하여 일정주기로 상기 모니터링부의 비정상 동작을 모니터링하고, 오류가 발생하면 시스템을 리셋하고, 해당 오류 정보를 ADAS로 50ms 이내에 송신할 수 있다. The MCU monitors the abnormal operation of the monitoring unit at regular intervals using the watchdog timer, resets the system when an error occurs, and transmits the error information to ADAS within 50 ms.

본 발명에 의하면, 차량의 AEB 구동을 위한 센서 퓨전 시스템에서 카메라 모듈 및 라이다 모듈의 오류를 감지하여 주행 안정성을 향상시키고, 기술 안전 컨셉(Technical safety concept)을 적용하여 안정성을 향상시킬 수 있는 효과가 있다. According to the present invention, in the sensor fusion system for driving the AEB of a vehicle, it is possible to improve the stability by sensing the error of the camera module and the lidar module, and to improve the stability by applying the technical safety concept .

도 1은 본 발명의 일 실시예에 따른 센서 퓨전 시스템의 아키텍처를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 모듈과 라이다 모듈의 동기화 과정을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 배터리 모니터링 과정을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 파워 모니터링 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 폴트 모니터링 과정을 보여주는 도면이다.
1 is a block diagram illustrating an architecture of a sensor fusion system according to an embodiment of the present invention.
2 is a flowchart illustrating a synchronization process between a camera module and a Lada module according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a battery monitoring process according to an embodiment of the present invention.
4 is a flowchart illustrating a power monitoring process according to an embodiment of the present invention.
5 is a flowchart illustrating a fault monitoring process according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

본 발명은 차량의 AEB(Autonomous Emergency Braking) 구동을 위해 차량 내에 설치되는 센서 퓨전 시스템(Sensor Fusion system)에 대한 것이다. The present invention relates to a sensor fusion system installed in a vehicle for driving an AEB (Autonomous Emergency Brake) of a vehicle.

도 1은 본 발명의 일 실시예에 따른 센서 퓨전 시스템의 아키텍처를 보여주는 도면이다. 1 is a block diagram illustrating an architecture of a sensor fusion system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 센서 퓨전 시스템(10)은 카메라 모듈(110), 라이다(LiDAR) 모듈(120), 보드(Board)(20)를 포함한다. Referring to FIG. 1, a sensor fusion system 10 according to an embodiment of the present invention includes a camera module 110, a LiDAR module 120, and a board 20.

보드(20)는 AP(Application Processor)(30), 배터리 모니터링부(150), 전압 안정화 회로(160), 파워 모니터링부(170), MCU(Micro Controller Unit)(50) 등을 포함한다. The board 20 includes an AP (Application Processor) 30, a battery monitoring unit 150, a voltage stabilization circuit 160, a power monitoring unit 170, an MCU (Micro Controller Unit)

AP(30)는 데이터 동기화부(190), 모니터링부(40)를 포함한다. The AP 30 includes a data synchronization unit 190 and a monitoring unit 40.

카메라 모듈(110)은 차량에 장착되어, 주변을 촬영하는 역할을 한다. The camera module 110 is mounted on the vehicle and serves to photograph the surroundings.

AHD 디코더 인터페이스부(130)는 카메라 모듈(210)에서 촬영된 AHD 규격의 영상 데이터(image data)를 MIPI(Mobile Industry Processor Interface) 규격으로 변환하는 역할을 한다. The AHD decoder interface unit 130 converts the image data of the AHD standard captured by the camera module 210 into a MIPI (Mobile Industry Processor Interface) standard.

라이다 모듈(120)은 광신호를 이용한 레이저 모듈로서, 차량에 장착되어, 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하는 역할을 한다. The Lidar module 120 is a laser module using an optical signal. The Lidar module 120 is mounted on a vehicle, recognizes an object by scanning the periphery thereof, and detects a distance to the recognized object.

전압 안정화 회로(160)는 차량용 배터리 전원을 안정화하여 카메라 모듈(110) 및 라이다 모듈(120)에 공급하는 역할을 한다. The voltage stabilizing circuit 160 stabilizes the battery power for the vehicle and supplies the stabilized battery power to the camera module 110 and the Raider module 120.

배터리 모니터링부(150)는 센서 퓨전 시스템(10)의 내부 구성요소들에 차량용 배터리 전원이 정상적으로 공급되는지를 모니터링하는 역할을 한다. 예를 들어, 차량용 배터리는 12V일 수 있다. The battery monitoring unit 150 monitors the internal components of the sensor fusion system 10 to determine whether the vehicle battery power is normally supplied. For example, the vehicle battery may be 12V.

파워 모니터링부(170)는 전압 안정화 회로(160)로부터 안정화된 전원이 카메라 모듈(110) 및 라이다 모듈(120)에 정상적으로 공급되는지를 모니터링하는 역할을 한다. The power monitoring unit 170 monitors whether the stabilized power from the voltage stabilization circuit 160 is normally supplied to the camera module 110 and the Raider module 120.

데이터 동기화부(190)는 AHD 디코더 인터페이스부(130)로부터 수신한 카메라 데이터와 라이다 모듈(120)로부터 수신한 라이다 데이터를 시간 동기(Time sync) 신호에 맞춰 동기화하는 역할을 한다. The data synchronization unit 190 synchronizes the camera data received from the AHD decoder interface unit 130 and the LADIR data received from the LADIR module 120 according to a time sync signal.

모니터링부(40)는 데이터 동기화부(190)에서 동기화된 데이터를 이용하여 차량 주변의 위험 물체를 판별하고, 이를 통해 위험 여부를 판단한다. The monitoring unit 40 uses the data synchronized by the data synchronization unit 190 to identify a dangerous object in the vicinity of the vehicle, and determines whether the dangerous object is dangerous.

MCU(50)는 모니터링부(40)에서 판단된 위험 여부에 따라 AEB를 포함하는 구성요소에 제어 신호를 전송하여 구동을 제어한다. The MCU 50 controls the driving by transmitting a control signal to the component including the AEB according to the danger determined by the monitoring unit 40.

CAN 트랜시버(Transceiver)(250)는 MCU(50)의 TTL(Transistor Transistor Logic) 레벨의 CAN(Controller Area Network) 신호를 12V 차량용 CAN 신호로 변환하는 역할을 한다.The CAN transceiver 250 converts a TTL (Transistor Transistor Logic) level CAN (Controller Area Network) signal of the MCU 50 into a 12V vehicle CAN signal.

CAN 데이터 모니터링부(260)는 CAN 트랜시버(250)에서 출력되는 CAN 신호의 오류를 모니터링하는 역할을 한다. The CAN data monitoring unit 260 monitors the error of the CAN signal output from the CAN transceiver 250.

폴트 모니터링부(200)는 카메라 모듈(110)에서 정해진 속도로 카메라 데이터가 전송되는지를 모니터링하고, 라이다 모듈(120)에서 정해진 속도로 라이다 데이터가 전송되는지를 모니터링하고, 카메라 데이터와 라이다 데이터의 시간 동기에 대한 이상 여부를 모니터링한다. The fault monitoring unit 200 monitors whether camera data is transmitted at a predetermined speed in the camera module 110, monitors whether the Lada data is transmitted at a predetermined rate in the Lada module 120, And monitors for abnormality in time synchronization of data.

ADAS(Advanced Driver Assistance System)는 AEB(Autonomous Emergency Braking)을 포함하는 차량 구동 보조 시스템이다.ADAS (Advanced Driver Assistance System) is a vehicle driving auxiliary system including AEB (Autonomous Emergency Braking).

본 발명에서 배터리 모니터링부(150)에서 차량용 배터리 전원의 공급에 오류가 있음을 감지하면, 모니터링부(40)는 CAN(Controller Area Network) 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS(Advanced Driver Assistance System)로 전송한다. In the present invention, when the battery monitoring unit 150 detects that there is an error in supply of the vehicle battery power, the monitoring unit 40 transmits a fault message to the Advanced Driver Assistance (ADAS) within a predetermined time through CAN (Controller Area Network) System).

그리고, 파워 모니터링부(160)에서 카메라 모듈(110) 및 라이다 모듈(120)에 공급되는 전원에 오류를 감지하면, 모니터링부(40)는 CAN 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS로 전송할 수 있다. When the power monitoring unit 160 detects an error in the power supplied to the camera module 110 and the Raider module 120, the monitoring unit 40 transmits a fault message to the ADAS Lt; / RTI >

모니터링부(40)는 전압 안정화 회로(10)를 통해 카메라 모듈(110) 및 라이다 모듈(120)에 12V의 전원이 공급되는지 여부를 모니터링하고, 오류가 발생하면, 센서 퓨전 시스템(10)을 미리 정해진 횟수만큼 재부팅하고, 재부팅 후에도 오류가 지속되면 센서 퓨전 시스템(10)에 공급되는 전원을 오프(off)시킬 수 있다. The monitoring unit 40 monitors whether or not 12 V power is supplied to the camera module 110 and the Raider module 120 through the voltage stabilization circuit 10 and monitors the sensor fusion system 10 It is possible to reboot the sensor fusion system 10 a predetermined number of times and turn off the power supplied to the sensor fusion system 10 if the error continues even after rebooting.

폴트 모니터링부(200)는 카메라 모듈(110)에서 수평 FOV(Field of View)가 140°이내에서 객체를 감지하는지 여부와, 66.7ms 이내에 객체를 인식하는지 여부를 모니터링하고, 오류를 감지하면, 이에 대한 폴트 메시지를 CAN 통신을 통해 ADAS로 미리 정해진 시간 내에 전송할 수 있다. The fault monitoring unit 200 monitors whether the horizontal FOV (Field of View) of the camera module 110 detects an object within 140 占 and whether or not the object is recognized within 66.7 ms. If an error is detected, The fault message for CAN can be transmitted to the ADAS within a predetermined time via the CAN communication.

폴트 모니터링부(200)는 카메라 모듈(110)에서 30 FPS(Frame Per Second)의 전송속도로 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 MCU(50)에 전송한다. 그리고, MCU(50)는 CAN 통신을 통해 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어한다. The fault monitoring unit 200 monitors whether the camera module 110 transmits data at a transmission rate of 30 frames per second (FPS), and transmits a fault message to the MCU 50 when an error occurs. Then, the MCU 50 transmits a control signal for the fault message to the AEB through the CAN communication, thereby controlling the driving.

폴트 모니터링부(200)는 라이다 모듈(120)에서 수평 FOV가 140°이내이고, 수직 FOV가 5°이내의 시야각을 갖고, 15 FPS의 전송속도로 라이다 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 MCU(50)에 전송한다. 그리고, MCU(50)는 CAN 통신을 통해 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어한다. The fault monitoring unit 200 monitors whether the horizontal FOV of the Lada module 120 has a viewing angle of 140 DEG or less and a vertical FOV of 5 DEG or less and transmits LADID data at a transmission rate of 15 FPS, And transmits a fault message to the MCU 50 when it occurs. Then, the MCU 50 transmits a control signal for the fault message to the AEB through the CAN communication, thereby controlling the driving.

본 발명에서 데이터 동기화부(190)는 카메라 모듈(110)에서 30 FPS의 전송속도로 전송되는 카메라 데이터를 라이다 모듈에서 전송되는 15 FPS의 전송속도에 맞춰 동기화한다. 이때, 폴트 모니터링부(200)는 데이터 동기화부(190)에서 15 FPS의 속도로 동기화하는지 이상 유무를 모니터링하고, 오류가 발생하면 50ms 이내에 ADAS로 송신한다. In the present invention, the data synchronization unit 190 synchronizes the camera data transmitted from the camera module 110 at a transmission rate of 30 FPS to a transmission rate of 15 FPS transmitted from the Lada module. At this time, the fault monitoring unit 200 monitors whether the data synchronizing unit 190 synchronizes at a rate of 15 FPS or not, and transmits an error to the ADAS within 50 ms if an error occurs.

MCU(50)는 클럭 신호를 발생시키는 타임 클럭(Time clock)(230)과, 모니터링부(40)의 동작을 정해진 주기로 모니터링하기 위한 와치독 타이머(Watchdog Timer)(240)를 포함한다. The MCU 50 includes a time clock 230 for generating a clock signal and a watchdog timer 240 for monitoring the operation of the monitoring unit 40 at a predetermined period.

본 발명에서 MCU(50)는 와치독 타이머(240)를 이용하여 100ms 주기로 모니터링부(40)의 비정상 동작을 모니터링하고, 오류가 발생하면 센서 퓨전 시스템(10)을 리셋(reset)하고, 해당 오류 정보를 ADAS로 50ms 이내에 송신할 수 있다. In the present invention, the MCU 50 monitors the abnormal operation of the monitoring unit 40 at intervals of 100 ms using the watchdog timer 240, resets the sensor fusion system 10 when an error occurs, Information can be sent to ADAS within 50ms.

예를 들어, 라이다 모듈(120)은 초당 40만개 이상의 데이터 포인트를 처리하는데, 본 발명에서 보드(20)는 카메라 모듈(110)의 1080p의 영상 데이터에 라이다 모듈의 초당 40만개 이상의 전방 객체에 대한 포인트를 매칭하여 처리할 수 있다. 이때, 보드(20) 내에서 256개 이상의 스레드(thread)를 동시에 처리가 가능하여, 영상 정보와 라이다 객체 포인트 정보를 처리하는데 문제가 없어야 한다.For example, the lidar module 120 processes more than 400,000 data points per second. In the present invention, the board 20 is connected to 1080p image data of the camera module 110, Can be matched and processed. At this time, 256 or more threads can be simultaneously processed in the board 20 so that there is no problem in processing the image information and the RDA object point information.

예를 들어, 라이다 모듈(120)의 LD 드라이버(driver)에서 펄스 레이저를 10 나노 세컨드(nano second) 단위로 모아서 쏘아 주며, 초당 40만개 이상의 데이터 포인트(클라우드 포인트)로 수신되는 데이터 포인트를 처리한다. 그리고, 이러한 라이다 모듈 데이터는 전방 객체에 대한 카메라 센서로부터 획득된 영상정보와 매칭하여, 전방 객체를 인식하고 처리하는 동기화 작업을 수행한다. 동기화 작업은 라이다 데이터의 시간(time) 정보와 공간(Space) 정보에 대한 3D 데이터를 2D 데이터로 변환한 후, 카메라 데이터의 영상 정보와 맵핑(mapping)을 한다. For example, the LD driver of the Lidar module 120 collects pulse lasers in units of 10 nanoseconds and processes the received data points with more than 400,000 data points per second (cloud points) do. Then, the RDA module data is synchronized with the image information obtained from the camera sensor of the front object, and performs a synchronization operation of recognizing and processing the front object. The synchronization task converts the 3D data of the time information and the space information of the lidar data into the 2D data and then maps the 2D data with the image information of the camera data.

본 발명에서 라이다 모듈(120)의 데이터와 카메라 모듈(110)의 영상 데이터를 동기화하는 과정을 상세히 설명하면 다음과 같다. The process of synchronizing the data of the Lada module 120 and the image data of the camera module 110 according to the present invention will be described in detail as follows.

도 2는 본 발명의 일 실시예에 따른 카메라 모듈과 라이다 모듈의 동기화 과정을 보여주는 흐름도이다. 2 is a flowchart illustrating a synchronization process between a camera module and a Lada module according to an exemplary embodiment of the present invention.

도 2를 참조하면, 데이터 동기화부(190)는 카메라 모듈(110)과 라이다 모듈(120)의 데이터에 대하여 시간 동기(Time sync)를 맞추어 동기화한다. Referring to FIG. 2, the data synchronization unit 190 synchronizes data of the camera module 110 and the Lada module 120 according to time synchronization.

그리고, 동기화된 데이터에 대하여 데이터 파싱(data parcing)을 한다. Then, data is parse the synchronized data.

그리고, 카메라 데이터의 영상 ROI(Region of Interest)를 설정하고(S201), 라이다 데이터의 ROI를 설정한다(S203). Then, an image ROI (Region of Interest) of the camera data is set (S201), and an ROI of the Lada data is set (S203).

그리고, 포인트 클라우드(Point Cloud)를 통해 상대속도와 각도 정보를 산출하고(S205), 3D 객체(object)의 위치를 판별하고(S207), 3D 좌표를 2D 좌표로 변환한다(S209). 여기서, 시간(time) 및 공간(space) 정보를 맵핑(mapping)하는 방식으로 3D 좌표를 2D 좌표로 변환한다. Then, relative speed and angle information are calculated through a point cloud (S205), the position of the 3D object is determined (S207), and the 3D coordinates are converted into 2D coordinates (S209). Here, 3D coordinates are converted into 2D coordinates by mapping time and space information.

다음, 라이다 ROI 정보와 카메라 ROI 정보를 맵핑(mapping)한다(S211). 여기서, 맵핑에 실패(fail)하면, 실패 정보를 알린다(S213). Next, the ROI information and the camera ROI information are mapped (S211). Here, if the mapping fails, the failure information is notified (S213).

다음, 객체(object)를 인식한다(S215). 예를 들어, 3종의 동적객체와, 5종의 정적객체에 대해 인식할 수 있다. Next, the object is recognized (S215). For example, three dynamic objects and five static objects can be recognized.

그리고, 동적 객체와 정적 객체를 판별한다(S217). Then, the dynamic object and the static object are discriminated (S217).

그리고, 객체 트레이싱(object tracing)을 하여(S219), 위험 물체를 판별한다(S221). 예를 들어, 총 8종 31개의 객체에 대해 동시 추적할 수 있다. 여기서 객체 트레이싱에 실패하면, 실패 정보를 회신한다. Then, object tracing is performed (S219), and a dangerous object is discriminated (S221). For example, a total of 8 objects and 31 objects can be tracked simultaneously. If the object tracing fails, the failure information is returned.

그리고, 판별된 위험 물체의 위험도를 판별하여, 위험한 것으로 판단되면, 이를 AEB를 포함하는 ADAS로 전송한다(S223). If it is determined that the risk of the identified dangerous object is dangerous, it is transmitted to the ADAS including the AEB (S223).

도 3은 본 발명의 일 실시예에 따른 배터리 모니터링 과정을 보여주는 흐름도이다. 3 is a flowchart illustrating a battery monitoring process according to an embodiment of the present invention.

도 3을 참조하면, 배터리 모니터링부(150)는 차량용 배터리의 오류를 점검하기 위하여 폴트 모니터링을 실시한다(S301). 그리고, 오류를 감지하면, 폴트 메시지를 폴트 모니터링부(200)에 전송한다(S303). 그리고, 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S305), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S307). Referring to FIG. 3, the battery monitoring unit 150 performs fault monitoring to check an error of the vehicle battery (S301). If an error is detected, a fault message is transmitted to the fault monitoring unit 200 (S303). The fault monitoring unit 200 transmits a fault message to the MCU 50 in step S305 and the MCU 50 outputs a fault alarm message to the user in step S307 ).

그리고, AP(30)에 공급되는 차량용 배터리 전원의 오류를 감지하면(S309), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S311, S313), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S315). The fault monitoring unit 200 transmits a fault message to the MCU 50 at steps S311 and S313 and the MCU 50 transmits a fault message to the CAN 30, And outputs a fault alarm message informing the user of the power abnormality through communication (S315).

그리고, 전압 안정화 회로(160)에 공급되는 차량용 배터리 전원의 오류를 감지하면(S317), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S319, S321), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S323).The fault monitoring unit 200 transmits a fault message to the MCU 50 in steps S319 and S321 and detects an error of the vehicle battery power supplied to the voltage stabilization circuit 160 in step S317. And outputs a fault alarm message informing the user of the power abnormality via CAN communication (S323).

도 4는 본 발명의 일 실시예에 따른 파워 모니터링 과정을 보여주는 도면이다. 4 is a flowchart illustrating a power monitoring process according to an embodiment of the present invention.

도 4를 참조하면, 폴트 모니터링부(200)는 전압 안정화 회로(160)로부터 카메라 모듈(110) 및 라이다 모듈(120)에 안정적인 전원이 공급되는지 여부를 모니터링한다(S401). 그리고, 전압 안정화 회로(160)에 오류가 발생하면, 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S403, S405), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S407).Referring to FIG. 4, the fault monitoring unit 200 monitors whether or not stable power is supplied from the voltage stabilizing circuit 160 to the camera module 110 and the Raider module 120 (S401). If an error occurs in the voltage stabilization circuit 160, the fault monitoring unit 200 transmits a fault message to the MCU 50 (S403 and S405), and the MCU 50 notifies the user of the power failure And outputs a fault alarm message indicating that the fault has occurred (S407).

그리고, 카메라 모듈(110)에 공급되는 전원에 오류가 발생하면(S409), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S411, S413), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S415).If an error occurs in the power supplied to the camera module 110 in step S409, the fault monitoring unit 200 transmits a fault message to the MCU 50 in steps S411 and S413, And outputs a fault alarm message informing the user of the power abnormality (S415).

그리고, 라이다 모듈(120)에 공급되는 전원에 오류가 발생하면(S417), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S419, S421), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S423).If an error occurs in the power supplied to the lidar module 120 at step S417, the fault monitoring unit 200 transmits a fault message to the MCU 50 at steps S419 and S421, And outputs a fault alarm message informing the user of the power abnormality via communication (S423).

도 5는 본 발명의 일 실시예에 따른 폴트 모니터링 과정을 보여주는 도면이다. 5 is a flowchart illustrating a fault monitoring process according to an embodiment of the present invention.

도 5를 참조하면, 카메라 모듈(100)에서 처리된 센서 데이터를 로(raw) 데이터로 AHD 디코더 인터페이스부(130)에 전송한다(S501, S503). Referring to FIG. 5, the sensor data processed by the camera module 100 is transmitted as raw data to the AHD decoder interface unit 130 (S501, S503).

그리고, 폴트 모니터링부(200)에서는 로 데이터의 폴트를 모니터링하고(S505), 오류가 있으면 폴트 메시지를 MCU(50)에 전송한다(S507, S535). 그리고, MCU(50)는 CAN 통신을 통해, AEB에 폴트 메시지를 전송하고(S519), 사용자에게 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S537). 예를 들어, 폴트 모니터링부(200)는 카메라 모듈(110)의 심리스(seamless) 데이터가 30FPS로 전송되는지 여부를 모니터링한다. In step S505, the fault monitoring unit 200 monitors the fault of the data and transmits a fault message to the MCU 50 in steps S507 and S535. Then, the MCU 50 transmits a fault message to the AEB through the CAN communication (S519), and outputs a fault alarm message informing the user of the abnormality (S537). For example, the fault monitoring unit 200 monitors whether seamless data of the camera module 110 is transmitted at 30 FPS.

한편, 라이다 모듈(120)에서 처리된 센서 데이터를 로(raw) 데이터로 기가 이더넷(Giga Ethernet)을 통해 폴트 모니터링부(200)에 전송한다(S521, S523). Meanwhile, sensor data processed by the Lidar module 120 is transmitted as raw data to the fault monitoring unit 200 through Giga Ethernet (S521, S523).

그리고, 폴트 모니터링부(200)에서는 로 데이터의 폴트를 모니터링하고(S525, S529), 오류가 있으면 폴트 메시지를 MCU(50)에 전송한다(S527, S531, S535). 그리고, MCU(50)는 CAN 통신을 통해, AEB에 폴트 메시지를 전송하고(S519), 사용자에게 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S537). 예를 들어, 폴트 모니터링부(200)는 라이다 모듈(120)의 심리스(seamless) 데이터가 15FPS로 전송되는지 여부를 모니터링한다. The fault monitoring unit 200 monitors faults of the data (S525 and S529), and if there is an error, transmits a fault message to the MCU 50 (S527, S531, and S535). Then, the MCU 50 transmits a fault message to the AEB through the CAN communication (S519), and outputs a fault alarm message informing the user of the abnormality (S537). For example, the fault monitoring unit 200 monitors whether or not seamless data of the lidar module 120 is transmitted at 15 FPS.

그리고, 데이터 동기화부(190)에서는 카메라 데이터와 라이다 데이터를 수신하고(S509, S533), 카메라 데이터와 라이다 데이터에 대한 동기화 처리를 수행하고(S511), 동기화된 데이터를 AP(30)에 전송하고(S515), AP(30)는 이를 MCU(50)에 전송하며(S517), MCU(50)는 CAN 데이터로 AEB에 전송한다(S519).The data synchronizer 190 receives the camera data and the ladder data in steps S509 and S533 and performs the synchronization processing on the camera data and the ladder data in step S511 and transmits the synchronized data to the AP 30 (S515), and the AP 30 transmits it to the MCU 50 (S517), and the MCU 50 transmits the CAN data to the AEB (S519).

그리고, 폴트 모니터링부(200)에서는 데이터 동기화에 대한 폴트를 모니터링하고, 오류가 발생하면 폴트 메시지를 MCU(50)에 전송한다(S534). 그리고, MCU(50)는 CAN 통신을 통해, AEB에 폴트 메시지를 전송하고(S519), 사용자에게 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S537).The fault monitoring unit 200 monitors a fault for data synchronization, and if an error occurs, transmits a fault message to the MCU 50 (S534). Then, the MCU 50 transmits a fault message to the AEB through the CAN communication (S519), and outputs a fault alarm message informing the user of the abnormality (S537).

이상에서 설명한 바와 같이, 본 발명에서 제안하는 센서 퓨전 시스템의 특징은 전방 객체 인식을 위해 시스템 내에서 융합 센서(라이다 센서와 카메라 센서)의 데이터를 부하가 걸리지 않게 처리할 수 있다는 점이다. As described above, the feature of the sensor fusion system proposed in the present invention is that the data of the fusion sensor (the Lada sensor and the camera sensor) can be processed without any load in the system for front object recognition.

또한, 본 발명에서 제안하는 센서 퓨전 시스템은 대량의 센서 데이터(예를 들어, 전방객체 인식 데이터)를 가지고 객체 인식(예를 들어, 전방 32개 객체 인식) 알고리즘을 처리하는 데 있어서, 부하가 발생하지 않는다는 특징이 있다. In addition, the sensor fusion system proposed in the present invention has a problem in that when processing object recognition (for example, forward 32 object recognition) algorithm with a large amount of sensor data (for example, front object recognition data) It does not.

그리고, 본 발명에서 제안하는 센서 퓨전 시스템은 각 센서 동작을 위한 하드웨어적인 안전 기능과, 융합센서에 대한 데이터 융합하여 위험 객체를 인지하고 브레이크 기능을 동작하기까지 위험감지 과정, 인식 과정, 처리를 위한 데이터 출력 과정으로 이어지는 일련의 데이터 처리 작업을 수행하는데 부하가 발생하지 않는다는 특징이 있다. In addition, the sensor fusion system proposed in the present invention includes a hardware safety function for each sensor operation, a data fusion for the fusion sensor to detect a dangerous object, a danger detection process, a recognition process, There is no load in performing a series of data processing operations leading to the data outputting process.

또한, 본 발명의 센서 퓨전 시스템은 시스템 내에 물리적인 장애를 감지하고 사용자에게 알리거나 내부적으로 장애를 처리할 수 있다. In addition, the sensor fusion system of the present invention can detect a physical failure in the system and inform the user or handle the failure internally.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

10 센서 퓨전 시스템 20 보드
30 AP 40 모니터링부
50 MCU 110 카메라 모듈
120 라이다 모듈 130 AHD 디코더 인터페이스부
190 데이터 동기화부 200 폴트 모니터링부
10 sensor fusion system 20 board
30 AP 40 Monitoring Department
50 MCU 110 Camera module
120 LADA module 130 AHD decoder interface part
190 data synchronization unit 200 fault monitoring unit

Claims (10)

차량의 AEB(Autonomous Emergency Braking) 구동을 위해 차량 내에 설치되는 센서 퓨전 시스템에서,
차량에 장착되어, 주변을 촬영하기 위한 카메라 모듈;
차량에 장착되어, 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하기 위한 라이다 모듈;
차량용 배터리 전원을 안정화하여 상기 카메라 모듈 및 상기 라이다 모듈에 공급하는 전압 안정화 회로;
상기 센서 퓨전 시스템의 내부 구성요소들에 차량용 배터리 전원이 정상적으로 공급되는지를 모니터링하기 위한 배터리 모니터링부;
상기 전압 안정화 회로로부터 안정화된 전원이 상기 카메라 모듈 및 상기 라이다 모듈에 정상적으로 공급되는지를 모니터링하기 위한 파워 모니터링부;
상기 카메라 모듈로부터 수신한 카메라 데이터와 상기 라이다 모듈로부터 수신한 라이다 데이터를 시간 동기 신호에 맞춰 동기화하기 위한 데이터 동기화부;
상기 데이터 동기화부에서 동기화된 데이터를 이용하여 차량 주변의 위험 물체를 판별하고, 이를 통해 위험 여부를 판단하는 모니터링부; 및
상기 모니터링부에서 판단된 위험 여부에 따라 AEB를 포함하는 구성요소에 제어 신호를 전송하여 구동을 제어하는 MCU(Micro Controller Unit)를 포함하고,
상기 모니터링부는 상기 카메라 모듈에서 정해진 속도로 카메라 데이터가 전송되는지를 모니터링하고, 상기 라이다 모듈에서 정해진 속도로 라이다 데이터가 전송되는지를 모니터링하고, 카메라 데이터와 라이다 데이터의 시간 동기에 대한 이상 여부를 모니터링하는 폴트 모니터링부를 포함하며,
상기 배터리 모니터링부에서 차량용 배터리 전원의 공급에 오류가 있음을 감지하면, 상기 모니터링부는 CAN(Controller Area Network) 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS(Advanced Driver Assistance System)로 전송하고,
상기 파워 모니터링부에서 상기 카메라 모듈 및 상기 라이다 모듈에 공급되는 전원에 오류를 감지하면, 상기 모니터링부는 CAN 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS로 전송하고,
상기 모니터링부는 상기 카메라 모듈 및 상기 라이다 모듈에 12V의 전원이 공급되는지 여부를 모니터링하고, 오류가 발생하면, 상기 센서 퓨전 시스템을 미리 정해진 횟수만큼 재부팅하고, 재부팅 후에도 오류가 지속되면 상기 센서 퓨전 시스템에 공급되는 전원을 오프(off)시키고,
상기 폴트 모니터링부는 상기 카메라 모듈에서 수평 FOV(Field of View)가 140°이내에서 객체를 감지하는지 여부와, 66.7ms 이내에 객체를 인식하는지 여부를 모니터링하고, 오류를 감지하면, 이에 대한 폴트 메시지를 CAN 통신을 통해 ADAS로 미리 정해진 시간 내에 전송하며,
상기 폴트 모니터링부는 상기 카메라 모듈에서 30 FPS(Frame Per Second)의 전송속도로 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어하고,
상기 폴트 모니터링부는 상기 라이다 모듈에서 수평 FOV가 140°이내이고, 수직 FOV가 5°이내의 시야각을 갖고, 15 FPS의 전송속도로 라이다 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어하고,
상기 데이터 동기화부는 상기 카메라 모듈에서 30 FPS의 전송속도로 전송되는 카메라 데이터를 상기 라이다 모듈에서 전송되는 15 FPS의 전송속도에 맞춰 동기화하고,
상기 폴트 모니터링부는 상기 데이터 동기화부에서 15 FPS의 속도로 동기화하는지 이상 유무를 모니터링하고, 오류가 발생하면 50ms 이내에 ADAS로 송신하며,
상기 MCU는 상기 모니터링부의 동작을 정해진 주기로 모니터링하기 위한 와치독 타이머를 포함하고,
상기 MCU는 상기 와치독 타이머를 이용하여 일정 주기로 상기 모니터링부의 비정상 동작을 모니터링하고, 오류가 발생하면 센서 퓨전 시스템을 리셋하고, 해당 오류 정보를 ADAS로 50ms 이내에 송신하며,
상기 배터리 모니터링부, 상기 전압 안정화 회로, 상기 파워 모니터링부, 상기 데이터 동기화부, 상기 모니터링부, 상기 MCU가 하나의 보드에 배치되어 구동되고,
상기 데이터 동기화부는 상기 카메라 모듈의 데이터와 상기 라이다 모듈의 데이터에 대하여 시간 동기(Time sync)를 맞추어 동기화하고, 동기화된 데이터에 대하여 데이터 파싱(data parcing)을 하고, 카메라 데이터의 영상 ROI(Region of Interest)를 설정하고, 라이다 데이터의 ROI를 설정하고, 포인트 클라우드(Point Cloud)를 통해 상대속도와 각도 정보를 산출하고, 3D 객체(object)의 위치를 판별하고, 시간(time) 및 공간(space) 정보를 맵핑(mapping)하는 방식으로 3D 좌표를 2D 좌표로 변환하고, 라이다 ROI 정보와 카메라 ROI 정보를 맵핑(mapping)하고, 이를 통해 객체(object)를 인식하고, 동적 객체와 정적 객체를 판별하고, 객체 트레이싱(object tracing)을 하여, 위험 물체를 판별하고, 판별된 위험 물체의 위험도를 판별하여, 위험한 것으로 판단되면, 이를 ADAS로 전송하는 것을 특징으로 하는 센서 퓨전 시스템.
In a sensor fusion system installed in a vehicle for driving an AEB (Autonomous Emergency Brake) of a vehicle,
A camera module mounted on the vehicle for photographing the surroundings;
A lidar module mounted on a vehicle, for recognizing an object by scanning the periphery thereof and detecting a distance to the recognized object;
A voltage stabilizing circuit for stabilizing the vehicle battery power and supplying the stabilized battery power to the camera module and the lidar module;
A battery monitoring unit for monitoring whether the vehicle battery power is normally supplied to internal components of the sensor fusion system;
A power monitoring unit for monitoring whether the stabilized power from the voltage stabilization circuit is normally supplied to the camera module and the Raider module;
A data synchronization unit for synchronizing the camera data received from the camera module and the LADIR data received from the LADIR module according to a time synchronization signal;
A monitoring unit for discriminating a dangerous object in the vicinity of the vehicle using the data synchronized by the data synchronizing unit and for determining a danger through the dangerous object; And
And an MCU (Micro Controller Unit) for controlling the driving by transmitting a control signal to the component including the AEB according to the danger determined by the monitoring unit,
The monitoring unit monitors whether camera data is transmitted at a predetermined speed in the camera module, monitors whether the Lada data is transmitted at a predetermined speed in the Lada module, and determines whether the camera data and the Lada data are time- And a fault monitoring unit for monitoring the fault,
When the battery monitoring unit detects that there is an error in the supply of the vehicle battery power, the monitoring unit transmits a fault message to the Advanced Driver Assistance System (ADAS) within a predetermined time through CAN (Controller Area Network) communication,
Wherein the monitoring unit transmits a fault message to the ADAS within a predetermined time through the CAN communication when the power monitoring unit detects an error in the power supplied to the camera module and the LOWER module,
The monitoring unit monitors whether the 12V power is supplied to the camera module and the Raidium module. If an error occurs, the monitoring unit reboots the sensor fusion system a predetermined number of times. If the error persists after rebooting, Off the power supplied to the power source,
The fault monitoring unit monitors whether the horizontal FOV (Field of View) detects an object within 140 ° and whether or not the object is recognized within 66.7 ms in the camera module. If an error is detected, a fault message is transmitted to the CAN To the ADAS through the communication within a predetermined time,
The fault monitoring unit monitors whether the camera module transmits data at a transmission rate of 30 frames per second (FPS). If an error occurs, the fault monitoring unit transmits a fault message to the MCU. The MCU transmits a fault A control signal for the message is transmitted to control the driving,
The fault monitoring unit monitors whether the horizontal FOV of the Lidar module has a viewing angle of 140 ° or less and a vertical FOV of 5 ° or less and transmits LIDAR data at a transmission rate of 15 FPS. If a fault occurs, The MCU transmits a control signal for a fault message to the AEB through CAN communication to control driving,
Wherein the data synchronization unit synchronizes the camera data transmitted at a transmission rate of 30 FPS in the camera module according to a transmission rate of 15 FPS transmitted from the Lydia module,
The fault monitoring unit monitors whether the data synchronizing unit synchronizes at a speed of 15 FPS or not, and transmits an error to the ADAS within 50 ms when an error occurs.
Wherein the MCU includes a watchdog timer for monitoring the operation of the monitoring unit at a predetermined cycle,
The MCU monitors the abnormal operation of the monitoring unit at regular intervals using the watchdog timer, resets the sensor fusion system when an error occurs, and transmits the error information to the ADAS within 50 ms,
Wherein the battery monitoring unit, the voltage stabilization circuit, the power monitoring unit, the data synchronizing unit, the monitoring unit, and the MCU are arranged and driven on one board,
The data synchronization unit synchronizes the data of the camera module and the data of the Lydia module according to time synchronization, performs data parsing on the synchronized data, of interest, sets the ROI of the ladder data, calculates relative speed and angle information through a point cloud, determines the position of the 3D object, the 3D ROI information and the camera ROI information are mapped by mapping the space information to the 2D coordinates and recognizing the object through the ROI information and the camera ROI information, It identifies the object, performs object tracing, identifies the dangerous object, determines the risk of the identified dangerous object, and sends it to the ADAS if it is determined to be dangerous. Sensor fusion system.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020170157125A 2017-11-23 2017-11-23 Sensor fusion system for controlling autonomous emergency braking in car KR101921074B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170157125A KR101921074B1 (en) 2017-11-23 2017-11-23 Sensor fusion system for controlling autonomous emergency braking in car
CN201810436722.XA CN109823325A (en) 2017-11-23 2018-05-09 For driving the sensor fusion system of the automatic emergency brake system of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170157125A KR101921074B1 (en) 2017-11-23 2017-11-23 Sensor fusion system for controlling autonomous emergency braking in car

Publications (1)

Publication Number Publication Date
KR101921074B1 true KR101921074B1 (en) 2018-11-22

Family

ID=64557876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170157125A KR101921074B1 (en) 2017-11-23 2017-11-23 Sensor fusion system for controlling autonomous emergency braking in car

Country Status (2)

Country Link
KR (1) KR101921074B1 (en)
CN (1) CN109823325A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102117037B1 (en) * 2018-11-27 2020-05-29 (주) 모토텍 Sensor fusion system for controlling autonomous emergency braking in car
KR20210076756A (en) 2019-12-16 2021-06-24 현대오트론 주식회사 Device for vehicular sensor fusion
CN113219479A (en) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 Camera and laser radar synchronization method and system of intelligent driving control system
CN113661526A (en) * 2020-02-12 2021-11-16 深圳元戎启行科技有限公司 Vehicle detection method and system and electronic equipment
CN113997938A (en) * 2021-11-08 2022-02-01 长春一汽富晟集团有限公司 Driver state monitoring system according with function safety

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290333B (en) * 2019-06-14 2022-07-15 未来(北京)黑科技有限公司 Signal sending method and system, adapter plate and storage medium
CN112543876B (en) * 2019-07-22 2023-11-03 百度时代网络技术(北京)有限公司 System for sensor synchronicity data analysis in an autonomous vehicle
US10977503B2 (en) * 2019-08-15 2021-04-13 GM Global Technology Operations LLC Fault isolation for perception systems in autonomous/active safety vehicles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163792A (en) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit Obstacle collision prevention supporting system
JP6220232B2 (en) * 2013-11-08 2017-10-25 日立オートモティブシステムズ株式会社 Vehicle control device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4434296B1 (en) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 Object detection device
JPWO2015190329A1 (en) * 2014-06-12 2017-04-20 日立オートモティブシステムズ株式会社 Vehicle travel control device
KR101644370B1 (en) * 2014-10-23 2016-08-01 현대모비스 주식회사 Object detecting apparatus, and method for operating the same
CN104290745B (en) * 2014-10-28 2017-02-01 奇瑞汽车股份有限公司 Driving method of semi-automatic driving system for vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163792A (en) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit Obstacle collision prevention supporting system
JP6220232B2 (en) * 2013-11-08 2017-10-25 日立オートモティブシステムズ株式会社 Vehicle control device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102117037B1 (en) * 2018-11-27 2020-05-29 (주) 모토텍 Sensor fusion system for controlling autonomous emergency braking in car
KR20210076756A (en) 2019-12-16 2021-06-24 현대오트론 주식회사 Device for vehicular sensor fusion
CN113661526A (en) * 2020-02-12 2021-11-16 深圳元戎启行科技有限公司 Vehicle detection method and system and electronic equipment
CN113661526B (en) * 2020-02-12 2023-09-19 深圳元戎启行科技有限公司 Vehicle detection method, system and electronic equipment
CN113219479A (en) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 Camera and laser radar synchronization method and system of intelligent driving control system
CN113997938A (en) * 2021-11-08 2022-02-01 长春一汽富晟集团有限公司 Driver state monitoring system according with function safety

Also Published As

Publication number Publication date
CN109823325A (en) 2019-05-31

Similar Documents

Publication Publication Date Title
KR101921074B1 (en) Sensor fusion system for controlling autonomous emergency braking in car
EP3342661B1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
KR101848312B1 (en) Sensor fusion system for autonomous emergency braking system in car
CN107867283B (en) Integrated FCW/ACC/AEB system based on prediction model and vehicle
US9797734B2 (en) Object recognition apparatus
US10564434B2 (en) Display control device for vehicle
CN106114494B (en) A kind of reversing auxiliary collision avoidance system and method for vehicle
US9620017B2 (en) Vehicle merge assistance system and method
US10232772B2 (en) Driver assistance system
CN107323459B (en) Method for identifying driver intention identifying sensor device
JP2010030513A (en) Driving support apparatus for vehicle
US20150325126A1 (en) Method for detecting the presence of a trailer
WO2016194491A1 (en) Vehicle control device and vehicle control method'
CN109835251B (en) Vehicle forward collision early warning system
KR20200131951A (en) Adaptive aeb system considering steerable path and the method thereof
JP2020093766A (en) Vehicle control device, control system and control program
CN105818743A (en) Anticollision method and system used when vehicle doors are opened
KR20170052713A (en) Vehicle autonomous emergency braking system and method considering pedestrian's eye
KR102228385B1 (en) Safety driving control method using the eye-recognition function of the terminal, apparatus and a recording medium
KR101988563B1 (en) Vehicle collision protection control device, vehicle collision protection control system, and vehicle collision protection control method
KR102658769B1 (en) Driver assistance apparatus and method thereof
CN105774651A (en) Vehicle lane change auxiliary system
JP2004013466A (en) Vehicle surroundings monitoring system
CN109416887B (en) Vehicle notification device for identifying control object

Legal Events

Date Code Title Description
GRNT Written decision to grant