KR101921074B1 - Sensor fusion system for controlling autonomous emergency braking in car - Google Patents
Sensor fusion system for controlling autonomous emergency braking in car Download PDFInfo
- Publication number
- KR101921074B1 KR101921074B1 KR1020170157125A KR20170157125A KR101921074B1 KR 101921074 B1 KR101921074 B1 KR 101921074B1 KR 1020170157125 A KR1020170157125 A KR 1020170157125A KR 20170157125 A KR20170157125 A KR 20170157125A KR 101921074 B1 KR101921074 B1 KR 101921074B1
- Authority
- KR
- South Korea
- Prior art keywords
- monitoring unit
- data
- module
- fault
- vehicle
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 99
- 230000006641 stabilisation Effects 0.000 claims abstract description 10
- 238000011105 stabilization Methods 0.000 claims abstract description 10
- 230000001360 synchronised effect Effects 0.000 claims abstract description 9
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 12
- 241001673526 Lydia Species 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
- B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
- B60R16/033—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for characterised by the use of electrical cells or batteries
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/42—
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/08—Predicting or avoiding probable or impending collision
- B60Y2300/09—Taking automatic action to avoid collision, e.g. braking or steering
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 AEB(Autonomous Emergency Braking) 구동을 위한 센서 퓨전 시스템(Sensor fusion system)에 관한 것으로서, 더욱 상세하게는 차량에 장착된 카메라 모듈 및 라이다(LiDAR) 모듈을 기반으로 AEB 구동을 제어하는 센서 퓨전 시스템에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a sensor fusion system for driving an AEB (Autonomous Emergency Braking), and more particularly, to a sensor fusion system for driving an AEB based on a camera module and a LiDAR module mounted on a vehicle. Fusion systems.
자율주행 차량이란 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 스스로 목적지까지 찾아가는 차량으로, 항공기와 선박 등에 적용된 자율주행 기술이 접목된 스마트 차량을 일컫는다.A self-propelled vehicle refers to a smart car that incorporates self-propelled technology applied to aircraft and ships, such as a car that travels to its destination without requiring the driver to operate the steering wheel, accelerator pedal, or brake.
차량의 자율주행을 실현하기 위해서는 차간 거리를 자동으로 유지해 주는 HDA(Highway Driving Assist) 기술, 차선이탈 경보 시스템(LDWS; Lane Departure Warning System), 차선유지 지원 시스템(LKAS; Lane Keeping Assist System), 후측방 경보 시스템(BSD; Blind Spot Detection), 어드밴스트 스마트 크루즈 컨트롤(ASCC), 자동 긴급제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 차량 기술이 필요하며, 이외에 차량과 기지국사이의 통신기술, 차량과 위성사이의 통신기술 등 진보된 다양한 기술들이 필요하다.In order to realize the autonomous driving of the vehicle, it is necessary to use a highway driving assist (HDA) technology, a lane departure warning system (LDWS), a lane keeping assistance system (LKAS) Vehicle technologies such as Blind Spot Detection (BSD), Advanced Smart Cruise Control (ASCC), and Autonomous Emergency Braking (AEB) are required. In addition, Satellite communication technology, and so on.
한편, 자율주행 상황은 운전자가 차량의 페달(가속페달, 브레이크페달)을 조작하지 않는 상황으로, 만약에 자율 주행 중에 운전자가 페달을 조작하게 되면 차량 제어기는 운전자가 자율주행을 종료하고 운전자가 직접 운전을 원하는 상황으로 판단하여 자율주행을 위한 제어를 종료하게 된다. On the other hand, in the autonomous driving situation, the driver does not operate the pedal (accelerator pedal or brake pedal) of the vehicle. If the driver operates the pedal during autonomous driving, the vehicle controller ends the autonomous driving of the driver, It is determined that the operation is desired and the control for the autonomous running is terminated.
AEB(Advanced Emergency Braking) 시스템 기술은 차량의 자동긴급제동시스템으로서, 차량의 전방 또는 후방에 센서를 부착하여, 차량 주변의 타 차량 또는 장애물 등을 감지하고, 이를 이용하여 차량이 장애물과 충돌할 가능성이 있는 경우, 차량을 자동으로 제동시키는 기술을 말한다.The Advanced Emergency Braking (AEB) system technology is an automatic emergency braking system for vehicles. It attaches a sensor to the front or rear of the vehicle, detects other vehicles or obstacles around the vehicle, and uses this to detect the possibility Is a technique that automatically brakes the vehicle.
근래의 AEB 기술은 단순한 근접센서로 장애물을 인식하는 단계를 넘어서, 영상 카메라, GPS 등을 복합적으로 이용함으로써, 차량 주변의 타 차량 또는 장애물을 더욱 정밀하게 감지하고, 충돌가능성을 정확하게 판단하여, 차량을 효과적으로 제동시키는 단계에 이르고 있다.The recent AEB technology uses a combination of a video camera, a GPS, and the like beyond a step of recognizing an obstacle with a simple proximity sensor, thereby more accurately detecting other vehicles or obstacles around the vehicle, accurately determining the possibility of collision, To effectively braking the engine.
이처럼 AEB 기술은 센서를 통해 전방의 물체를 인식하여 운행 중인 차량을 자동으로 제동하는 기술로서, 선행 차량이 속도를 줄이거나 정지할 경우 또는 보행자 등의 장애물이 갑자기 나타날 경우 작동하는 적극적 안전 장비이다. 이러한 AEB는 추돌 사고를 약 27%까지 감소시킬 수 있는 것으로 보고되고 있으며, 차량 속도나 감지 거리에 따라 시가지용 AEB, 외곽용 AEB, 보행자용 AEB 등으로 구분되기도 한다.In this way, AEB technology is a technology to automatically braking a vehicle while recognizing an object ahead through a sensor. It is an active safety device that operates when the preceding vehicle is speeding down or stopping, or when obstacles such as pedestrians suddenly appear. These AEBs are reported to reduce collision accidents by about 27%, and they are classified into AEB for urban area, AEB for street, and AEB for pedestrian depending on the speed and detection distance.
이와 관련하여, 유로 NCAP(New Car Assessment Program)은 2014년부터 AEB 기능을 자동차 안전도 등급 판정 항목에 포함시키고, 이후 단계적으로 AEB의 의무 장착을 규제하기로 결정하였으며, 그에 따라 자동차 생산 업체들도 AEB 기능이 탑재된 차량의 생산을 시작하고 있다. 이처럼, 최근에는 자율주행차량에서 차량 운전시 안전도를 향상시키기 위한 필요성이 요구되고 있는 실정이다.In this regard, the Euro NCAP (New Car Assessment Program) has decided to include the AEB function in the category of automobile safety grade in 2014, and subsequently regulate the AEB's mandatory installation, We are starting production of vehicles equipped with AEB function. Thus, in recent years, there is a need for improving the safety of a self-driving vehicle when driving the vehicle.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 차량의 AEB 구동을 위해, 카메라 모듈 및 라이다 모듈의 오류를 감지하여 주행 안정성을 향상시키고, 기술 안전 컨셉(Technical safety concept)을 적용하여 안정성을 향상시킨 센서 퓨전 시스템을 제공하는데 그 목적이 있다. SUMMARY OF THE INVENTION The present invention has been conceived to solve the above-mentioned problems, and it is an object of the present invention to improve the driving stability by detecting an error of a camera module and a lidar module in order to drive AEB of a vehicle and apply a technical safety concept And to provide a sensor fusion system with improved stability.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명의 차량의 AEB(Autonomous Emergency Braking) 구동을 위한 센서 퓨전 시스템에서, 차량에 장착되어, 주변을 촬영하기 위한 카메라 모듈, 차량에 장착되어, 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하기 위한 라이다 모듈, 차량용 배터리 전원을 안정화하여 상기 카메라 모듈 및 상기 라이다 모듈에 공급하는 전압 안정화 회로, 상기 센서 퓨전 시스템의 내부 구성요소들에 차량용 배터리 전원이 정상적으로 공급되는지를 모니터링하기 위한 배터리 모니터링부, 상기 전압 안정화 회로로부터 안정화된 전원이 상기 카메라 모듈 및 상기 라이다 모듈에 정상적으로 공급되는지를 모니터링하기 위한 파워 모니터링부, 상기 카메라 모듈로부터 수신한 카메라 데이터와 상기 라이다 모듈로부터 수신한 라이다 데이터를 시간 동기 신호에 맞춰 동기화하기 위한 데이터 동기화부, 상기 데이터 동기화부에서 동기화된 데이터를 이용하여 차량 주변의 위험 물체를 판별하고, 이를 통해 위험 여부를 판단하는 모니터링부 및 상기 모니터링부에서 판단된 위험 여부에 따라 AEB를 포함하는 구성요소에 제어 신호를 전송하여 구동을 제어하는 MCU(Micro Controller Unit)를 포함한다. In order to achieve the above object, there is provided a sensor fusion system for driving an AEB (Autonomous Emergency Braking) of a vehicle according to the present invention. The sensor fusion system includes a camera module for photographing the surroundings, a camera module mounted on the vehicle, A voltage stabilizing circuit for stabilizing the vehicle battery power and supplying the stabilized battery to the camera module and the lidar module; a vehicle battery A power monitoring unit for monitoring whether the stabilized power is normally supplied to the camera module and the Raider module from the voltage stabilization circuit, a battery monitoring unit for monitoring whether the power supplied from the camera module And a receiving module A monitoring unit for determining a dangerous object around the vehicle using the data synchronized by the data synchronizing unit and for determining whether there is a danger through the synchronized data, And an MCU (Micro Controller Unit) for controlling the driving by transmitting a control signal to a component including the AEB according to the danger.
상기 모니터링부는 상기 카메라 모듈에서 정해진 속도로 카메라 데이터가 전송되는지를 모니터링하고, 상기 라이다 모듈에서 정해진 속도로 라이다 데이터가 전송되는지를 모니터링하고, 카메라 데이터와 라이다 데이터의 시간 동기에 대한 이상 여부를 모니터링하는 폴트 모니터링부를 포함한다. The monitoring unit monitors whether camera data is transmitted at a predetermined speed in the camera module, monitors whether the Lada data is transmitted at a predetermined speed in the Lada module, and determines whether the camera data and the Lada data are time- And a fault monitoring unit for monitoring the fault.
상기 배터리 모니터링부에서 차량용 배터리 전원의 공급에 오류가 있음을 감지하면, 상기 모니터링부는 CAN(Controller Area Network) 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS(Advanced Driver Assistance System)로 전송할 수 있다. When the battery monitoring unit detects that there is an error in the supply of the vehicle battery power, the monitoring unit can transmit a fault message in ADAS (Advanced Driver Assistance System) within a predetermined time through CAN (Controller Area Network) communication.
상기 파워 모니터링부에서 상기 카메라 모듈 및 상기 라이다 모듈에 공급되는 전원에 오류를 감지하면, 상기 모니터링부는 CAN 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS로 전송할 수 있다. When the power monitoring unit detects an error in the power supplied to the camera module and the Raider module, the monitoring unit can transmit a fault message to the ADAS within a predetermined time through the CAN communication.
상기 모니터링부는 상기 카메라 모듈 및 상기 라이다 모듈에 12V의 전원이 공급되는지 여부를 모니터링하고, 오류가 발생하면, 상기 센서 퓨전 시스템을 미리 정해진 횟수만큼 재부팅하고, 재부팅 후에도 오류가 지속되면 상기 센서 퓨전 시스템에 공급되는 전원을 오프(off)시킬 수 있다. The monitoring unit monitors whether the 12V power is supplied to the camera module and the Raidium module. If an error occurs, the monitoring unit reboots the sensor fusion system a predetermined number of times. If the error persists after rebooting, (Not shown).
상기 폴트 모니터링부는 상기 카메라 모듈에서 수평 FOV(Field of View)가 140°이내에서 객체를 감지하는지 여부와, 66.7ms 이내에 객체를 인식하는지 여부를 모니터링하고, 오류를 감지하면, 이에 대한 폴트 메시지를 CAN 통신을 통해 ADAS로 미리 정해진 시간 내에 전송할 수 있다. The fault monitoring unit monitors whether the horizontal FOV (Field of View) detects an object within 140 ° and whether or not the object is recognized within 66.7 ms in the camera module. If an error is detected, a fault message is transmitted to the CAN It can be transmitted within a predetermined time to ADAS through communication.
상기 폴트 모니터링부는 상기 카메라 모듈에서 30 FPS(Frame Per Second)의 전송속도로 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어할 수 있다. The fault monitoring unit monitors whether the camera module transmits data at a transmission rate of 30 frames per second (FPS). If an error occurs, the fault monitoring unit transmits a fault message to the MCU. The MCU transmits a fault A control signal for a message may be transmitted to control the driving.
상기 폴트 모니터링부는 상기 라이다 모듈에서 수평 FOV가 140°이내이고, 수직 FOV가 5°이내의 시야각을 갖고, 15 FPS의 전송속도로 라이다 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어할 수 있다. The fault monitoring unit monitors whether the horizontal FOV of the Lidar module has a viewing angle of 140 ° or less and a vertical FOV of 5 ° or less and transmits LIDAR data at a transmission rate of 15 FPS. If a fault occurs, The MCU transmits a control signal for a fault message to the AEB through CAN communication, and controls the driving.
상기 데이터 동기화부는 상기 카메라 모듈에서 30 FPS의 전송속도로 전송되는 카메라 데이터를 상기 라이다 모듈에서 전송되는 15 FPS의 전송속도에 맞춰 동기화하고, 상기 폴트 모니터링부는 상기 데이터 동기화부에서 15 FPS의 속도로 동기화하는지 이상 유무를 모니터링하고, 오류가 발생하면 50ms 이내에 ADAS로 송신할 수 있다. Wherein the data synchronization unit synchronizes camera data transmitted at a transmission rate of 30 FPS in the camera module to a transmission rate of 15 FPS transmitted from the Lydia module, and the fault monitoring unit transmits the camera data at a rate of 15 FPS It can monitor whether it is synchronizing or not, and if an error occurs, it can be sent to ADAS within 50ms.
상기 MCU는 상기 모니터링부의 동작을 정해진 주기로 모니터링하기 위한 와치독 타이머를 포함할 수 있다. The MCU may include a watchdog timer for monitoring the operation of the monitoring unit at a predetermined period.
상기 MCU는 상기 와치독 타이머를 이용하여 일정주기로 상기 모니터링부의 비정상 동작을 모니터링하고, 오류가 발생하면 시스템을 리셋하고, 해당 오류 정보를 ADAS로 50ms 이내에 송신할 수 있다. The MCU monitors the abnormal operation of the monitoring unit at regular intervals using the watchdog timer, resets the system when an error occurs, and transmits the error information to ADAS within 50 ms.
본 발명에 의하면, 차량의 AEB 구동을 위한 센서 퓨전 시스템에서 카메라 모듈 및 라이다 모듈의 오류를 감지하여 주행 안정성을 향상시키고, 기술 안전 컨셉(Technical safety concept)을 적용하여 안정성을 향상시킬 수 있는 효과가 있다. According to the present invention, in the sensor fusion system for driving the AEB of a vehicle, it is possible to improve the stability by sensing the error of the camera module and the lidar module, and to improve the stability by applying the technical safety concept .
도 1은 본 발명의 일 실시예에 따른 센서 퓨전 시스템의 아키텍처를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 모듈과 라이다 모듈의 동기화 과정을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 배터리 모니터링 과정을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 파워 모니터링 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 폴트 모니터링 과정을 보여주는 도면이다. 1 is a block diagram illustrating an architecture of a sensor fusion system according to an embodiment of the present invention.
2 is a flowchart illustrating a synchronization process between a camera module and a Lada module according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a battery monitoring process according to an embodiment of the present invention.
4 is a flowchart illustrating a power monitoring process according to an embodiment of the present invention.
5 is a flowchart illustrating a fault monitoring process according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
본 발명은 차량의 AEB(Autonomous Emergency Braking) 구동을 위해 차량 내에 설치되는 센서 퓨전 시스템(Sensor Fusion system)에 대한 것이다. The present invention relates to a sensor fusion system installed in a vehicle for driving an AEB (Autonomous Emergency Brake) of a vehicle.
도 1은 본 발명의 일 실시예에 따른 센서 퓨전 시스템의 아키텍처를 보여주는 도면이다. 1 is a block diagram illustrating an architecture of a sensor fusion system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 센서 퓨전 시스템(10)은 카메라 모듈(110), 라이다(LiDAR) 모듈(120), 보드(Board)(20)를 포함한다. Referring to FIG. 1, a sensor fusion system 10 according to an embodiment of the present invention includes a
보드(20)는 AP(Application Processor)(30), 배터리 모니터링부(150), 전압 안정화 회로(160), 파워 모니터링부(170), MCU(Micro Controller Unit)(50) 등을 포함한다. The board 20 includes an AP (Application Processor) 30, a battery monitoring unit 150, a
AP(30)는 데이터 동기화부(190), 모니터링부(40)를 포함한다. The AP 30 includes a data synchronization unit 190 and a monitoring unit 40.
카메라 모듈(110)은 차량에 장착되어, 주변을 촬영하는 역할을 한다. The
AHD 디코더 인터페이스부(130)는 카메라 모듈(210)에서 촬영된 AHD 규격의 영상 데이터(image data)를 MIPI(Mobile Industry Processor Interface) 규격으로 변환하는 역할을 한다. The AHD
라이다 모듈(120)은 광신호를 이용한 레이저 모듈로서, 차량에 장착되어, 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하는 역할을 한다. The Lidar
전압 안정화 회로(160)는 차량용 배터리 전원을 안정화하여 카메라 모듈(110) 및 라이다 모듈(120)에 공급하는 역할을 한다. The
배터리 모니터링부(150)는 센서 퓨전 시스템(10)의 내부 구성요소들에 차량용 배터리 전원이 정상적으로 공급되는지를 모니터링하는 역할을 한다. 예를 들어, 차량용 배터리는 12V일 수 있다. The battery monitoring unit 150 monitors the internal components of the sensor fusion system 10 to determine whether the vehicle battery power is normally supplied. For example, the vehicle battery may be 12V.
파워 모니터링부(170)는 전압 안정화 회로(160)로부터 안정화된 전원이 카메라 모듈(110) 및 라이다 모듈(120)에 정상적으로 공급되는지를 모니터링하는 역할을 한다. The power monitoring unit 170 monitors whether the stabilized power from the
데이터 동기화부(190)는 AHD 디코더 인터페이스부(130)로부터 수신한 카메라 데이터와 라이다 모듈(120)로부터 수신한 라이다 데이터를 시간 동기(Time sync) 신호에 맞춰 동기화하는 역할을 한다. The data synchronization unit 190 synchronizes the camera data received from the AHD
모니터링부(40)는 데이터 동기화부(190)에서 동기화된 데이터를 이용하여 차량 주변의 위험 물체를 판별하고, 이를 통해 위험 여부를 판단한다. The monitoring unit 40 uses the data synchronized by the data synchronization unit 190 to identify a dangerous object in the vicinity of the vehicle, and determines whether the dangerous object is dangerous.
MCU(50)는 모니터링부(40)에서 판단된 위험 여부에 따라 AEB를 포함하는 구성요소에 제어 신호를 전송하여 구동을 제어한다. The
CAN 트랜시버(Transceiver)(250)는 MCU(50)의 TTL(Transistor Transistor Logic) 레벨의 CAN(Controller Area Network) 신호를 12V 차량용 CAN 신호로 변환하는 역할을 한다.The CAN transceiver 250 converts a TTL (Transistor Transistor Logic) level CAN (Controller Area Network) signal of the
CAN 데이터 모니터링부(260)는 CAN 트랜시버(250)에서 출력되는 CAN 신호의 오류를 모니터링하는 역할을 한다. The CAN data monitoring unit 260 monitors the error of the CAN signal output from the CAN transceiver 250.
폴트 모니터링부(200)는 카메라 모듈(110)에서 정해진 속도로 카메라 데이터가 전송되는지를 모니터링하고, 라이다 모듈(120)에서 정해진 속도로 라이다 데이터가 전송되는지를 모니터링하고, 카메라 데이터와 라이다 데이터의 시간 동기에 대한 이상 여부를 모니터링한다. The
ADAS(Advanced Driver Assistance System)는 AEB(Autonomous Emergency Braking)을 포함하는 차량 구동 보조 시스템이다.ADAS (Advanced Driver Assistance System) is a vehicle driving auxiliary system including AEB (Autonomous Emergency Braking).
본 발명에서 배터리 모니터링부(150)에서 차량용 배터리 전원의 공급에 오류가 있음을 감지하면, 모니터링부(40)는 CAN(Controller Area Network) 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS(Advanced Driver Assistance System)로 전송한다. In the present invention, when the battery monitoring unit 150 detects that there is an error in supply of the vehicle battery power, the monitoring unit 40 transmits a fault message to the Advanced Driver Assistance (ADAS) within a predetermined time through CAN (Controller Area Network) System).
그리고, 파워 모니터링부(160)에서 카메라 모듈(110) 및 라이다 모듈(120)에 공급되는 전원에 오류를 감지하면, 모니터링부(40)는 CAN 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS로 전송할 수 있다. When the
모니터링부(40)는 전압 안정화 회로(10)를 통해 카메라 모듈(110) 및 라이다 모듈(120)에 12V의 전원이 공급되는지 여부를 모니터링하고, 오류가 발생하면, 센서 퓨전 시스템(10)을 미리 정해진 횟수만큼 재부팅하고, 재부팅 후에도 오류가 지속되면 센서 퓨전 시스템(10)에 공급되는 전원을 오프(off)시킬 수 있다. The monitoring unit 40 monitors whether or not 12 V power is supplied to the
폴트 모니터링부(200)는 카메라 모듈(110)에서 수평 FOV(Field of View)가 140°이내에서 객체를 감지하는지 여부와, 66.7ms 이내에 객체를 인식하는지 여부를 모니터링하고, 오류를 감지하면, 이에 대한 폴트 메시지를 CAN 통신을 통해 ADAS로 미리 정해진 시간 내에 전송할 수 있다. The
폴트 모니터링부(200)는 카메라 모듈(110)에서 30 FPS(Frame Per Second)의 전송속도로 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 MCU(50)에 전송한다. 그리고, MCU(50)는 CAN 통신을 통해 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어한다. The
폴트 모니터링부(200)는 라이다 모듈(120)에서 수평 FOV가 140°이내이고, 수직 FOV가 5°이내의 시야각을 갖고, 15 FPS의 전송속도로 라이다 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 MCU(50)에 전송한다. 그리고, MCU(50)는 CAN 통신을 통해 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어한다. The
본 발명에서 데이터 동기화부(190)는 카메라 모듈(110)에서 30 FPS의 전송속도로 전송되는 카메라 데이터를 라이다 모듈에서 전송되는 15 FPS의 전송속도에 맞춰 동기화한다. 이때, 폴트 모니터링부(200)는 데이터 동기화부(190)에서 15 FPS의 속도로 동기화하는지 이상 유무를 모니터링하고, 오류가 발생하면 50ms 이내에 ADAS로 송신한다. In the present invention, the data synchronization unit 190 synchronizes the camera data transmitted from the
MCU(50)는 클럭 신호를 발생시키는 타임 클럭(Time clock)(230)과, 모니터링부(40)의 동작을 정해진 주기로 모니터링하기 위한 와치독 타이머(Watchdog Timer)(240)를 포함한다. The
본 발명에서 MCU(50)는 와치독 타이머(240)를 이용하여 100ms 주기로 모니터링부(40)의 비정상 동작을 모니터링하고, 오류가 발생하면 센서 퓨전 시스템(10)을 리셋(reset)하고, 해당 오류 정보를 ADAS로 50ms 이내에 송신할 수 있다. In the present invention, the
예를 들어, 라이다 모듈(120)은 초당 40만개 이상의 데이터 포인트를 처리하는데, 본 발명에서 보드(20)는 카메라 모듈(110)의 1080p의 영상 데이터에 라이다 모듈의 초당 40만개 이상의 전방 객체에 대한 포인트를 매칭하여 처리할 수 있다. 이때, 보드(20) 내에서 256개 이상의 스레드(thread)를 동시에 처리가 가능하여, 영상 정보와 라이다 객체 포인트 정보를 처리하는데 문제가 없어야 한다.For example, the
예를 들어, 라이다 모듈(120)의 LD 드라이버(driver)에서 펄스 레이저를 10 나노 세컨드(nano second) 단위로 모아서 쏘아 주며, 초당 40만개 이상의 데이터 포인트(클라우드 포인트)로 수신되는 데이터 포인트를 처리한다. 그리고, 이러한 라이다 모듈 데이터는 전방 객체에 대한 카메라 센서로부터 획득된 영상정보와 매칭하여, 전방 객체를 인식하고 처리하는 동기화 작업을 수행한다. 동기화 작업은 라이다 데이터의 시간(time) 정보와 공간(Space) 정보에 대한 3D 데이터를 2D 데이터로 변환한 후, 카메라 데이터의 영상 정보와 맵핑(mapping)을 한다. For example, the LD driver of the
본 발명에서 라이다 모듈(120)의 데이터와 카메라 모듈(110)의 영상 데이터를 동기화하는 과정을 상세히 설명하면 다음과 같다. The process of synchronizing the data of the
도 2는 본 발명의 일 실시예에 따른 카메라 모듈과 라이다 모듈의 동기화 과정을 보여주는 흐름도이다. 2 is a flowchart illustrating a synchronization process between a camera module and a Lada module according to an exemplary embodiment of the present invention.
도 2를 참조하면, 데이터 동기화부(190)는 카메라 모듈(110)과 라이다 모듈(120)의 데이터에 대하여 시간 동기(Time sync)를 맞추어 동기화한다. Referring to FIG. 2, the data synchronization unit 190 synchronizes data of the
그리고, 동기화된 데이터에 대하여 데이터 파싱(data parcing)을 한다. Then, data is parse the synchronized data.
그리고, 카메라 데이터의 영상 ROI(Region of Interest)를 설정하고(S201), 라이다 데이터의 ROI를 설정한다(S203). Then, an image ROI (Region of Interest) of the camera data is set (S201), and an ROI of the Lada data is set (S203).
그리고, 포인트 클라우드(Point Cloud)를 통해 상대속도와 각도 정보를 산출하고(S205), 3D 객체(object)의 위치를 판별하고(S207), 3D 좌표를 2D 좌표로 변환한다(S209). 여기서, 시간(time) 및 공간(space) 정보를 맵핑(mapping)하는 방식으로 3D 좌표를 2D 좌표로 변환한다. Then, relative speed and angle information are calculated through a point cloud (S205), the position of the 3D object is determined (S207), and the 3D coordinates are converted into 2D coordinates (S209). Here, 3D coordinates are converted into 2D coordinates by mapping time and space information.
다음, 라이다 ROI 정보와 카메라 ROI 정보를 맵핑(mapping)한다(S211). 여기서, 맵핑에 실패(fail)하면, 실패 정보를 알린다(S213). Next, the ROI information and the camera ROI information are mapped (S211). Here, if the mapping fails, the failure information is notified (S213).
다음, 객체(object)를 인식한다(S215). 예를 들어, 3종의 동적객체와, 5종의 정적객체에 대해 인식할 수 있다. Next, the object is recognized (S215). For example, three dynamic objects and five static objects can be recognized.
그리고, 동적 객체와 정적 객체를 판별한다(S217). Then, the dynamic object and the static object are discriminated (S217).
그리고, 객체 트레이싱(object tracing)을 하여(S219), 위험 물체를 판별한다(S221). 예를 들어, 총 8종 31개의 객체에 대해 동시 추적할 수 있다. 여기서 객체 트레이싱에 실패하면, 실패 정보를 회신한다. Then, object tracing is performed (S219), and a dangerous object is discriminated (S221). For example, a total of 8 objects and 31 objects can be tracked simultaneously. If the object tracing fails, the failure information is returned.
그리고, 판별된 위험 물체의 위험도를 판별하여, 위험한 것으로 판단되면, 이를 AEB를 포함하는 ADAS로 전송한다(S223). If it is determined that the risk of the identified dangerous object is dangerous, it is transmitted to the ADAS including the AEB (S223).
도 3은 본 발명의 일 실시예에 따른 배터리 모니터링 과정을 보여주는 흐름도이다. 3 is a flowchart illustrating a battery monitoring process according to an embodiment of the present invention.
도 3을 참조하면, 배터리 모니터링부(150)는 차량용 배터리의 오류를 점검하기 위하여 폴트 모니터링을 실시한다(S301). 그리고, 오류를 감지하면, 폴트 메시지를 폴트 모니터링부(200)에 전송한다(S303). 그리고, 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S305), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S307). Referring to FIG. 3, the battery monitoring unit 150 performs fault monitoring to check an error of the vehicle battery (S301). If an error is detected, a fault message is transmitted to the fault monitoring unit 200 (S303). The
그리고, AP(30)에 공급되는 차량용 배터리 전원의 오류를 감지하면(S309), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S311, S313), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S315). The
그리고, 전압 안정화 회로(160)에 공급되는 차량용 배터리 전원의 오류를 감지하면(S317), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S319, S321), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S323).The
도 4는 본 발명의 일 실시예에 따른 파워 모니터링 과정을 보여주는 도면이다. 4 is a flowchart illustrating a power monitoring process according to an embodiment of the present invention.
도 4를 참조하면, 폴트 모니터링부(200)는 전압 안정화 회로(160)로부터 카메라 모듈(110) 및 라이다 모듈(120)에 안정적인 전원이 공급되는지 여부를 모니터링한다(S401). 그리고, 전압 안정화 회로(160)에 오류가 발생하면, 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S403, S405), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S407).Referring to FIG. 4, the
그리고, 카메라 모듈(110)에 공급되는 전원에 오류가 발생하면(S409), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S411, S413), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S415).If an error occurs in the power supplied to the
그리고, 라이다 모듈(120)에 공급되는 전원에 오류가 발생하면(S417), 폴트 모니터링부(200)는 MCU(50)에 폴트 메시지를 전달하고(S419, S421), MCU(50)는 CAN 통신을 통해 사용자에게 전원 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S423).If an error occurs in the power supplied to the
도 5는 본 발명의 일 실시예에 따른 폴트 모니터링 과정을 보여주는 도면이다. 5 is a flowchart illustrating a fault monitoring process according to an embodiment of the present invention.
도 5를 참조하면, 카메라 모듈(100)에서 처리된 센서 데이터를 로(raw) 데이터로 AHD 디코더 인터페이스부(130)에 전송한다(S501, S503). Referring to FIG. 5, the sensor data processed by the camera module 100 is transmitted as raw data to the AHD decoder interface unit 130 (S501, S503).
그리고, 폴트 모니터링부(200)에서는 로 데이터의 폴트를 모니터링하고(S505), 오류가 있으면 폴트 메시지를 MCU(50)에 전송한다(S507, S535). 그리고, MCU(50)는 CAN 통신을 통해, AEB에 폴트 메시지를 전송하고(S519), 사용자에게 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S537). 예를 들어, 폴트 모니터링부(200)는 카메라 모듈(110)의 심리스(seamless) 데이터가 30FPS로 전송되는지 여부를 모니터링한다. In step S505, the
한편, 라이다 모듈(120)에서 처리된 센서 데이터를 로(raw) 데이터로 기가 이더넷(Giga Ethernet)을 통해 폴트 모니터링부(200)에 전송한다(S521, S523). Meanwhile, sensor data processed by the
그리고, 폴트 모니터링부(200)에서는 로 데이터의 폴트를 모니터링하고(S525, S529), 오류가 있으면 폴트 메시지를 MCU(50)에 전송한다(S527, S531, S535). 그리고, MCU(50)는 CAN 통신을 통해, AEB에 폴트 메시지를 전송하고(S519), 사용자에게 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S537). 예를 들어, 폴트 모니터링부(200)는 라이다 모듈(120)의 심리스(seamless) 데이터가 15FPS로 전송되는지 여부를 모니터링한다. The
그리고, 데이터 동기화부(190)에서는 카메라 데이터와 라이다 데이터를 수신하고(S509, S533), 카메라 데이터와 라이다 데이터에 대한 동기화 처리를 수행하고(S511), 동기화된 데이터를 AP(30)에 전송하고(S515), AP(30)는 이를 MCU(50)에 전송하며(S517), MCU(50)는 CAN 데이터로 AEB에 전송한다(S519).The data synchronizer 190 receives the camera data and the ladder data in steps S509 and S533 and performs the synchronization processing on the camera data and the ladder data in step S511 and transmits the synchronized data to the AP 30 (S515), and the
그리고, 폴트 모니터링부(200)에서는 데이터 동기화에 대한 폴트를 모니터링하고, 오류가 발생하면 폴트 메시지를 MCU(50)에 전송한다(S534). 그리고, MCU(50)는 CAN 통신을 통해, AEB에 폴트 메시지를 전송하고(S519), 사용자에게 이상을 알리는 폴트 알람(fault alarm) 메시지를 출력한다(S537).The
이상에서 설명한 바와 같이, 본 발명에서 제안하는 센서 퓨전 시스템의 특징은 전방 객체 인식을 위해 시스템 내에서 융합 센서(라이다 센서와 카메라 센서)의 데이터를 부하가 걸리지 않게 처리할 수 있다는 점이다. As described above, the feature of the sensor fusion system proposed in the present invention is that the data of the fusion sensor (the Lada sensor and the camera sensor) can be processed without any load in the system for front object recognition.
또한, 본 발명에서 제안하는 센서 퓨전 시스템은 대량의 센서 데이터(예를 들어, 전방객체 인식 데이터)를 가지고 객체 인식(예를 들어, 전방 32개 객체 인식) 알고리즘을 처리하는 데 있어서, 부하가 발생하지 않는다는 특징이 있다. In addition, the sensor fusion system proposed in the present invention has a problem in that when processing object recognition (for example, forward 32 object recognition) algorithm with a large amount of sensor data (for example, front object recognition data) It does not.
그리고, 본 발명에서 제안하는 센서 퓨전 시스템은 각 센서 동작을 위한 하드웨어적인 안전 기능과, 융합센서에 대한 데이터 융합하여 위험 객체를 인지하고 브레이크 기능을 동작하기까지 위험감지 과정, 인식 과정, 처리를 위한 데이터 출력 과정으로 이어지는 일련의 데이터 처리 작업을 수행하는데 부하가 발생하지 않는다는 특징이 있다. In addition, the sensor fusion system proposed in the present invention includes a hardware safety function for each sensor operation, a data fusion for the fusion sensor to detect a dangerous object, a danger detection process, a recognition process, There is no load in performing a series of data processing operations leading to the data outputting process.
또한, 본 발명의 센서 퓨전 시스템은 시스템 내에 물리적인 장애를 감지하고 사용자에게 알리거나 내부적으로 장애를 처리할 수 있다. In addition, the sensor fusion system of the present invention can detect a physical failure in the system and inform the user or handle the failure internally.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.
10 센서 퓨전 시스템 20 보드
30 AP 40 모니터링부
50 MCU 110 카메라 모듈
120 라이다 모듈 130 AHD 디코더 인터페이스부
190 데이터 동기화부 200 폴트 모니터링부10 sensor fusion system 20 board
30 AP 40 Monitoring Department
50
120
190
Claims (10)
차량에 장착되어, 주변을 촬영하기 위한 카메라 모듈;
차량에 장착되어, 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하기 위한 라이다 모듈;
차량용 배터리 전원을 안정화하여 상기 카메라 모듈 및 상기 라이다 모듈에 공급하는 전압 안정화 회로;
상기 센서 퓨전 시스템의 내부 구성요소들에 차량용 배터리 전원이 정상적으로 공급되는지를 모니터링하기 위한 배터리 모니터링부;
상기 전압 안정화 회로로부터 안정화된 전원이 상기 카메라 모듈 및 상기 라이다 모듈에 정상적으로 공급되는지를 모니터링하기 위한 파워 모니터링부;
상기 카메라 모듈로부터 수신한 카메라 데이터와 상기 라이다 모듈로부터 수신한 라이다 데이터를 시간 동기 신호에 맞춰 동기화하기 위한 데이터 동기화부;
상기 데이터 동기화부에서 동기화된 데이터를 이용하여 차량 주변의 위험 물체를 판별하고, 이를 통해 위험 여부를 판단하는 모니터링부; 및
상기 모니터링부에서 판단된 위험 여부에 따라 AEB를 포함하는 구성요소에 제어 신호를 전송하여 구동을 제어하는 MCU(Micro Controller Unit)를 포함하고,
상기 모니터링부는 상기 카메라 모듈에서 정해진 속도로 카메라 데이터가 전송되는지를 모니터링하고, 상기 라이다 모듈에서 정해진 속도로 라이다 데이터가 전송되는지를 모니터링하고, 카메라 데이터와 라이다 데이터의 시간 동기에 대한 이상 여부를 모니터링하는 폴트 모니터링부를 포함하며,
상기 배터리 모니터링부에서 차량용 배터리 전원의 공급에 오류가 있음을 감지하면, 상기 모니터링부는 CAN(Controller Area Network) 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS(Advanced Driver Assistance System)로 전송하고,
상기 파워 모니터링부에서 상기 카메라 모듈 및 상기 라이다 모듈에 공급되는 전원에 오류를 감지하면, 상기 모니터링부는 CAN 통신을 통해 미리 정해진 시간 내에 폴트 메시지를 ADAS로 전송하고,
상기 모니터링부는 상기 카메라 모듈 및 상기 라이다 모듈에 12V의 전원이 공급되는지 여부를 모니터링하고, 오류가 발생하면, 상기 센서 퓨전 시스템을 미리 정해진 횟수만큼 재부팅하고, 재부팅 후에도 오류가 지속되면 상기 센서 퓨전 시스템에 공급되는 전원을 오프(off)시키고,
상기 폴트 모니터링부는 상기 카메라 모듈에서 수평 FOV(Field of View)가 140°이내에서 객체를 감지하는지 여부와, 66.7ms 이내에 객체를 인식하는지 여부를 모니터링하고, 오류를 감지하면, 이에 대한 폴트 메시지를 CAN 통신을 통해 ADAS로 미리 정해진 시간 내에 전송하며,
상기 폴트 모니터링부는 상기 카메라 모듈에서 30 FPS(Frame Per Second)의 전송속도로 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어하고,
상기 폴트 모니터링부는 상기 라이다 모듈에서 수평 FOV가 140°이내이고, 수직 FOV가 5°이내의 시야각을 갖고, 15 FPS의 전송속도로 라이다 데이터를 전송하는지를 모니터링하고, 오류가 발생하면 폴트 메시지를 상기 MCU에 전송하고, 상기 MCU는 CAN 통신을 통해 상기 AEB에 폴트 메시지에 대한 제어 신호를 전송하여 구동을 제어하고,
상기 데이터 동기화부는 상기 카메라 모듈에서 30 FPS의 전송속도로 전송되는 카메라 데이터를 상기 라이다 모듈에서 전송되는 15 FPS의 전송속도에 맞춰 동기화하고,
상기 폴트 모니터링부는 상기 데이터 동기화부에서 15 FPS의 속도로 동기화하는지 이상 유무를 모니터링하고, 오류가 발생하면 50ms 이내에 ADAS로 송신하며,
상기 MCU는 상기 모니터링부의 동작을 정해진 주기로 모니터링하기 위한 와치독 타이머를 포함하고,
상기 MCU는 상기 와치독 타이머를 이용하여 일정 주기로 상기 모니터링부의 비정상 동작을 모니터링하고, 오류가 발생하면 센서 퓨전 시스템을 리셋하고, 해당 오류 정보를 ADAS로 50ms 이내에 송신하며,
상기 배터리 모니터링부, 상기 전압 안정화 회로, 상기 파워 모니터링부, 상기 데이터 동기화부, 상기 모니터링부, 상기 MCU가 하나의 보드에 배치되어 구동되고,
상기 데이터 동기화부는 상기 카메라 모듈의 데이터와 상기 라이다 모듈의 데이터에 대하여 시간 동기(Time sync)를 맞추어 동기화하고, 동기화된 데이터에 대하여 데이터 파싱(data parcing)을 하고, 카메라 데이터의 영상 ROI(Region of Interest)를 설정하고, 라이다 데이터의 ROI를 설정하고, 포인트 클라우드(Point Cloud)를 통해 상대속도와 각도 정보를 산출하고, 3D 객체(object)의 위치를 판별하고, 시간(time) 및 공간(space) 정보를 맵핑(mapping)하는 방식으로 3D 좌표를 2D 좌표로 변환하고, 라이다 ROI 정보와 카메라 ROI 정보를 맵핑(mapping)하고, 이를 통해 객체(object)를 인식하고, 동적 객체와 정적 객체를 판별하고, 객체 트레이싱(object tracing)을 하여, 위험 물체를 판별하고, 판별된 위험 물체의 위험도를 판별하여, 위험한 것으로 판단되면, 이를 ADAS로 전송하는 것을 특징으로 하는 센서 퓨전 시스템.
In a sensor fusion system installed in a vehicle for driving an AEB (Autonomous Emergency Brake) of a vehicle,
A camera module mounted on the vehicle for photographing the surroundings;
A lidar module mounted on a vehicle, for recognizing an object by scanning the periphery thereof and detecting a distance to the recognized object;
A voltage stabilizing circuit for stabilizing the vehicle battery power and supplying the stabilized battery power to the camera module and the lidar module;
A battery monitoring unit for monitoring whether the vehicle battery power is normally supplied to internal components of the sensor fusion system;
A power monitoring unit for monitoring whether the stabilized power from the voltage stabilization circuit is normally supplied to the camera module and the Raider module;
A data synchronization unit for synchronizing the camera data received from the camera module and the LADIR data received from the LADIR module according to a time synchronization signal;
A monitoring unit for discriminating a dangerous object in the vicinity of the vehicle using the data synchronized by the data synchronizing unit and for determining a danger through the dangerous object; And
And an MCU (Micro Controller Unit) for controlling the driving by transmitting a control signal to the component including the AEB according to the danger determined by the monitoring unit,
The monitoring unit monitors whether camera data is transmitted at a predetermined speed in the camera module, monitors whether the Lada data is transmitted at a predetermined speed in the Lada module, and determines whether the camera data and the Lada data are time- And a fault monitoring unit for monitoring the fault,
When the battery monitoring unit detects that there is an error in the supply of the vehicle battery power, the monitoring unit transmits a fault message to the Advanced Driver Assistance System (ADAS) within a predetermined time through CAN (Controller Area Network) communication,
Wherein the monitoring unit transmits a fault message to the ADAS within a predetermined time through the CAN communication when the power monitoring unit detects an error in the power supplied to the camera module and the LOWER module,
The monitoring unit monitors whether the 12V power is supplied to the camera module and the Raidium module. If an error occurs, the monitoring unit reboots the sensor fusion system a predetermined number of times. If the error persists after rebooting, Off the power supplied to the power source,
The fault monitoring unit monitors whether the horizontal FOV (Field of View) detects an object within 140 ° and whether or not the object is recognized within 66.7 ms in the camera module. If an error is detected, a fault message is transmitted to the CAN To the ADAS through the communication within a predetermined time,
The fault monitoring unit monitors whether the camera module transmits data at a transmission rate of 30 frames per second (FPS). If an error occurs, the fault monitoring unit transmits a fault message to the MCU. The MCU transmits a fault A control signal for the message is transmitted to control the driving,
The fault monitoring unit monitors whether the horizontal FOV of the Lidar module has a viewing angle of 140 ° or less and a vertical FOV of 5 ° or less and transmits LIDAR data at a transmission rate of 15 FPS. If a fault occurs, The MCU transmits a control signal for a fault message to the AEB through CAN communication to control driving,
Wherein the data synchronization unit synchronizes the camera data transmitted at a transmission rate of 30 FPS in the camera module according to a transmission rate of 15 FPS transmitted from the Lydia module,
The fault monitoring unit monitors whether the data synchronizing unit synchronizes at a speed of 15 FPS or not, and transmits an error to the ADAS within 50 ms when an error occurs.
Wherein the MCU includes a watchdog timer for monitoring the operation of the monitoring unit at a predetermined cycle,
The MCU monitors the abnormal operation of the monitoring unit at regular intervals using the watchdog timer, resets the sensor fusion system when an error occurs, and transmits the error information to the ADAS within 50 ms,
Wherein the battery monitoring unit, the voltage stabilization circuit, the power monitoring unit, the data synchronizing unit, the monitoring unit, and the MCU are arranged and driven on one board,
The data synchronization unit synchronizes the data of the camera module and the data of the Lydia module according to time synchronization, performs data parsing on the synchronized data, of interest, sets the ROI of the ladder data, calculates relative speed and angle information through a point cloud, determines the position of the 3D object, the 3D ROI information and the camera ROI information are mapped by mapping the space information to the 2D coordinates and recognizing the object through the ROI information and the camera ROI information, It identifies the object, performs object tracing, identifies the dangerous object, determines the risk of the identified dangerous object, and sends it to the ADAS if it is determined to be dangerous. Sensor fusion system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170157125A KR101921074B1 (en) | 2017-11-23 | 2017-11-23 | Sensor fusion system for controlling autonomous emergency braking in car |
CN201810436722.XA CN109823325A (en) | 2017-11-23 | 2018-05-09 | For driving the sensor fusion system of the automatic emergency brake system of vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170157125A KR101921074B1 (en) | 2017-11-23 | 2017-11-23 | Sensor fusion system for controlling autonomous emergency braking in car |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101921074B1 true KR101921074B1 (en) | 2018-11-22 |
Family
ID=64557876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170157125A KR101921074B1 (en) | 2017-11-23 | 2017-11-23 | Sensor fusion system for controlling autonomous emergency braking in car |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101921074B1 (en) |
CN (1) | CN109823325A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102117037B1 (en) * | 2018-11-27 | 2020-05-29 | (주) 모토텍 | Sensor fusion system for controlling autonomous emergency braking in car |
KR20210076756A (en) | 2019-12-16 | 2021-06-24 | 현대오트론 주식회사 | Device for vehicular sensor fusion |
CN113219479A (en) * | 2021-05-13 | 2021-08-06 | 环宇智行科技(苏州)有限公司 | Camera and laser radar synchronization method and system of intelligent driving control system |
CN113661526A (en) * | 2020-02-12 | 2021-11-16 | 深圳元戎启行科技有限公司 | Vehicle detection method and system and electronic equipment |
CN113997938A (en) * | 2021-11-08 | 2022-02-01 | 长春一汽富晟集团有限公司 | Driver state monitoring system according with function safety |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110290333B (en) * | 2019-06-14 | 2022-07-15 | 未来(北京)黑科技有限公司 | Signal sending method and system, adapter plate and storage medium |
CN112543876B (en) * | 2019-07-22 | 2023-11-03 | 百度时代网络技术(北京)有限公司 | System for sensor synchronicity data analysis in an autonomous vehicle |
US10977503B2 (en) * | 2019-08-15 | 2021-04-13 | GM Global Technology Operations LLC | Fault isolation for perception systems in autonomous/active safety vehicles |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002163792A (en) * | 2000-11-27 | 2002-06-07 | Natl Inst For Land & Infrastructure Management Mlit | Obstacle collision prevention supporting system |
JP6220232B2 (en) * | 2013-11-08 | 2017-10-25 | 日立オートモティブシステムズ株式会社 | Vehicle control device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4434296B1 (en) * | 2008-09-05 | 2010-03-17 | トヨタ自動車株式会社 | Object detection device |
JPWO2015190329A1 (en) * | 2014-06-12 | 2017-04-20 | 日立オートモティブシステムズ株式会社 | Vehicle travel control device |
KR101644370B1 (en) * | 2014-10-23 | 2016-08-01 | 현대모비스 주식회사 | Object detecting apparatus, and method for operating the same |
CN104290745B (en) * | 2014-10-28 | 2017-02-01 | 奇瑞汽车股份有限公司 | Driving method of semi-automatic driving system for vehicle |
-
2017
- 2017-11-23 KR KR1020170157125A patent/KR101921074B1/en active IP Right Grant
-
2018
- 2018-05-09 CN CN201810436722.XA patent/CN109823325A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002163792A (en) * | 2000-11-27 | 2002-06-07 | Natl Inst For Land & Infrastructure Management Mlit | Obstacle collision prevention supporting system |
JP6220232B2 (en) * | 2013-11-08 | 2017-10-25 | 日立オートモティブシステムズ株式会社 | Vehicle control device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102117037B1 (en) * | 2018-11-27 | 2020-05-29 | (주) 모토텍 | Sensor fusion system for controlling autonomous emergency braking in car |
KR20210076756A (en) | 2019-12-16 | 2021-06-24 | 현대오트론 주식회사 | Device for vehicular sensor fusion |
CN113661526A (en) * | 2020-02-12 | 2021-11-16 | 深圳元戎启行科技有限公司 | Vehicle detection method and system and electronic equipment |
CN113661526B (en) * | 2020-02-12 | 2023-09-19 | 深圳元戎启行科技有限公司 | Vehicle detection method, system and electronic equipment |
CN113219479A (en) * | 2021-05-13 | 2021-08-06 | 环宇智行科技(苏州)有限公司 | Camera and laser radar synchronization method and system of intelligent driving control system |
CN113997938A (en) * | 2021-11-08 | 2022-02-01 | 长春一汽富晟集团有限公司 | Driver state monitoring system according with function safety |
Also Published As
Publication number | Publication date |
---|---|
CN109823325A (en) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101921074B1 (en) | Sensor fusion system for controlling autonomous emergency braking in car | |
EP3342661B1 (en) | Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method | |
US11787408B2 (en) | System and method for controlling vehicle based on condition of driver | |
KR101848312B1 (en) | Sensor fusion system for autonomous emergency braking system in car | |
CN107867283B (en) | Integrated FCW/ACC/AEB system based on prediction model and vehicle | |
US9797734B2 (en) | Object recognition apparatus | |
US10564434B2 (en) | Display control device for vehicle | |
CN106114494B (en) | A kind of reversing auxiliary collision avoidance system and method for vehicle | |
US9620017B2 (en) | Vehicle merge assistance system and method | |
US10232772B2 (en) | Driver assistance system | |
CN107323459B (en) | Method for identifying driver intention identifying sensor device | |
JP2010030513A (en) | Driving support apparatus for vehicle | |
US20150325126A1 (en) | Method for detecting the presence of a trailer | |
WO2016194491A1 (en) | Vehicle control device and vehicle control method' | |
CN109835251B (en) | Vehicle forward collision early warning system | |
KR20200131951A (en) | Adaptive aeb system considering steerable path and the method thereof | |
JP2020093766A (en) | Vehicle control device, control system and control program | |
CN105818743A (en) | Anticollision method and system used when vehicle doors are opened | |
KR20170052713A (en) | Vehicle autonomous emergency braking system and method considering pedestrian's eye | |
KR102228385B1 (en) | Safety driving control method using the eye-recognition function of the terminal, apparatus and a recording medium | |
KR101988563B1 (en) | Vehicle collision protection control device, vehicle collision protection control system, and vehicle collision protection control method | |
KR102658769B1 (en) | Driver assistance apparatus and method thereof | |
CN105774651A (en) | Vehicle lane change auxiliary system | |
JP2004013466A (en) | Vehicle surroundings monitoring system | |
CN109416887B (en) | Vehicle notification device for identifying control object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |