KR102212109B1 - Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium - Google Patents

Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium Download PDF

Info

Publication number
KR102212109B1
KR102212109B1 KR1020200071633A KR20200071633A KR102212109B1 KR 102212109 B1 KR102212109 B1 KR 102212109B1 KR 1020200071633 A KR1020200071633 A KR 1020200071633A KR 20200071633 A KR20200071633 A KR 20200071633A KR 102212109 B1 KR102212109 B1 KR 102212109B1
Authority
KR
South Korea
Prior art keywords
signal
micro
feature map
convolutional layer
frequency
Prior art date
Application number
KR1020200071633A
Other languages
Korean (ko)
Inventor
김기민
이크티요르 마지도프
Original Assignee
(주)이씨스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이씨스 filed Critical (주)이씨스
Priority to KR1020200071633A priority Critical patent/KR102212109B1/en
Application granted granted Critical
Publication of KR102212109B1 publication Critical patent/KR102212109B1/en
Priority to PCT/KR2021/006133 priority patent/WO2021251637A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

The present invention provides a signal processing apparatus using a radar sensor for a vehicle, and a method and a computer-readable recording medium thereof, which can classify a target with a small calculation amount. The signal processing apparatus using a radar sensor for a vehicle comprises: an RF module to generate a beat frequency signal having a difference frequency of a transmitted FMCW signal and a received FMCW signal reflected by a target of which a movement over time or a position including a movement changes; a signal processing module to generate an image of a micro-Doppler frequency change pattern based on the generated beat frequency; a CNN module to classify the target in accordance with the generated image of the micro-Doppler frequency change pattern. The signal processing module extracts a range bin in which the target exists among a plurality of range bins obtained by converting a difference frequency resulting from delay time into a distance, obtains a receiving angle of an FMCW signal received through a plurality of antennas for the range bin from which the target is extracted, tracks the location of the target by using an extended Kalman filter, and can generate the image of the micro-Doppler frequency change pattern through the short-time Fourier transform of a beat frequency signal of each of a plurality of chirps included in each frame across a plurality of frames of the FMCW signal based on the tracked location.

Description

차량용 레이더 센서를 이용한 신호 처리 장치, 방법 및 컴퓨터로 독출 가능한 기록 매체{APPARATUS AND METHOD OF PRECESSING SIGNAL USING VEHICULAR RADAR SENSOR, COMPUTER READABLE MEDIUM}A signal processing device and method using a vehicle radar sensor, and a computer-readable recording medium {APPARATUS AND METHOD OF PRECESSING SIGNAL USING VEHICULAR RADAR SENSOR, COMPUTER READABLE MEDIUM}

본 출원은, 차량용 레이더 센서를 이용한 신호 처리 장치, 방법 및 컴퓨터로 독출 가능한 기록 매체에 관한 것이다.The present application relates to a signal processing apparatus and method using a vehicle radar sensor, and a computer-readable recording medium.

차량용 센서를 이용한 물체 감지/분류/인지는 지능형 운전자 보조시스템(ADAS: Advanced Driver Assistant System)의 중요한 정보이며, 물체의 분류/인지(예: 보행자, 오토바이, 트럭)에 따라 능동적인 대처가 가능하다.Object detection/classification/recognition using vehicle sensors is important information of the Advanced Driver Assistant System (ADAS), and it is possible to actively respond according to the classification/recognition of objects (eg, pedestrians, motorcycles, trucks). .

현재 물체 분류는 이미지 센서(예: 디지털 카메라)를 사용하여 물체를 분류한다. 하지만, 이미지 센서는 기상 조건(예: 눈, 비, 안개) 및 주/야(예: 일출, 일몰, 야간)에 따라 물체 분류 내지 인지 성능이 확연히 저하된다.Currently, object classification uses image sensors (eg digital cameras) to classify objects. However, the image sensor classifies or perceives objects according to weather conditions (eg, snow, rain, fog) and day/night (eg, sunrise, sunset, and night).

한편, 레이더 센서는 전자파를 사용하기 때문에 악천후, 안개 및 주/야 조건에 따른 성능 저하가 이미지 센서와 다르게 미미하다.Meanwhile, since the radar sensor uses electromagnetic waves, performance degradation due to bad weather, fog, and day/night conditions is insignificant unlike image sensors.

이러한 레이더 센서는 여러 개의 주파수 변조된 신호를 송신 후, 물체에서 반사되어 수신된 신호를 분석하여 물체의 위치(예: 레이더 센서와 물체의 거리, 각도)와 속도(예: 도플러 주파수)를 감지한다.These radar sensors transmit several frequency-modulated signals, and then analyze the received signal reflected from the object to detect the position of the object (e.g., distance and angle between the radar sensor and the object) and speed (e.g., Doppler frequency). .

도플러 주파수는 레이더 센서에서 송신된 신호가 이동물체에 의해 반사 시 물체의 속도에 의해 생성되는 주파수를 의미한다.The Doppler frequency refers to the frequency generated by the velocity of an object when a signal transmitted from a radar sensor is reflected by a moving object.

현재 개발되는 차량용 레이더 센서를 이용한 물체 분류 방법은 높은 대역폭을 사용하여 거리 분해능을 향상시키는 방법으로, 이를 '고해상도 거리 프로파일 (HRRP: High Resolution Range Profile)'이라 한다(도 1 참조).The currently developed object classification method using a vehicle radar sensor is a method of improving distance resolution by using a high bandwidth, and this is referred to as a'high resolution range profile (HRRP)' (see FIG. 1).

하지만, 이러한 방법은 높은 샘플링 주파수로 이산화된 많은 샘플수의 신호처리가 필요하며, 많은 계산 량이 요구된다는 문제점이 있다.However, this method has a problem that it requires signal processing of a large number of samples discretized at a high sampling frequency, and a large amount of computation is required.

한국공개특허 제2018-0042052호('FMCW 레이더를 이용한 타겟 탐지 장치 및 방법', 공개일:2018년04월25일)Korean Patent Publication No. 2018-0042052 ('Target detection device and method using FMCW radar', Publication date: April 25, 2018)

본 발명은, 적은 계산량으로 대상물의 분류가 가능한 차량용 레이더 센서를 이용한 신호 처리 장치, 방법 및 컴퓨터로 독출 가능한 기록 매체를 제공한다.The present invention provides a signal processing apparatus, method, and computer-readable recording medium using a vehicle radar sensor capable of classifying an object with a small amount of calculation.

본 발명의 일 실시 형태에 의하면, 송신된 FMCW(Frequency Modulation Continuous Wave) 신호와 시간에 따라 움직임 또는 움직임을 포함한 위치 중 어느 하나가 변하는 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 생성하는 RF 모듈; 생성된 상기 비트 주파수 신호를 기반으로 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는 신호 처리 모듈; 및 생성된 상기 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 상기 대상물을 분류하는 CNN(Convolution Neural Network) 모듈;을 포함하며, 상기 신호 처리 모듈은, 지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 상기 대상물이 존재하는 레인지 빈을 추출하고, 상기 대상물이 추출된 레인지 빈에 대하여 복수 개의 안테나를 통해 수신된 FMCW 신호의 수신 각도를 구하며, 확장 칼만 필터를 이용하여 상기 대상물의 위치를 추적하되, 추적된 위치를 기반으로 FMCW 신호의 복수개의 프레임에 걸쳐 각 프레임에 포함된 복수개의 처프 각각의 비트 주파수 신호의 단시간 푸리에 변환을 통해 상기 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는, 차량용 레이더를 이용한 신호 처리 장치를 제공한다. According to an embodiment of the present invention, a beat frequency signal that is a difference frequency between a transmitted Frequency Modulation Continuous Wave (FMCW) signal and an FMCW signal received by being reflected by an object in which any one of motion or position including motion changes over time An RF module that generates; A signal processing module that generates an image of a micro Doppler frequency change pattern based on the generated beat frequency signal; And a CNN (Convolution Neural Network) module for classifying the object according to the generated image of the micro Doppler frequency change pattern; wherein the signal processing module includes a plurality of ranges obtained by converting a difference frequency according to a delay time into a distance Extracting a range bin in which the object is present among bins, obtaining a reception angle of the FMCW signal received through a plurality of antennas for the range bin from which the object was extracted, and tracking the position of the object using an extended Kalman filter. , Using a vehicle radar, generating an image of the micro-Doppler frequency change pattern through a short-time Fourier transform of the beat frequency signal of each of the plurality of chirps included in each frame over a plurality of frames of the FMCW signal based on the tracked position. It provides a signal processing device.

본 발명의 일 실시 형태에 의하면, RF 모듈에서, 송신된 FMCW(Frequency Modulation Continuous Wave) 신호와 시간에 따라 움직임 또는 움직임을 포함한 위치 중 어느 하나가 변하는 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 생성하는 제1 단계; 신호 처리 모듈에서, 생성된 상기 비트 주파수 신호를 기반으로 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는 제2 단계; 및 CNN(Convolution Neural Network) 모듈에서, 생성된 상기 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 상기 대상물을 분류하는 제3 단계;를 포함하며, 상기 제2 단계는, 지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 상기 대상물이 존재하는 레인지 빈을 추출하고, 상기 대상물이 추출된 레인지 빈에 대하여 복수 개의 안테나를 통해 수신된 FMCW 신호의 수신 각도를 구하며, 확장 칼만 필터를 이용하여 상기 대상물의 위치를 추적하되, 추적된 위치를 기반으로 FMCW 신호의 복수개의 프레임에 걸쳐 각 프레임에 포함된 복수개의 처프 각각의 비트 주파수 신호의 단시간 푸리에 변환을 통해 상기 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는, 차량용 레이더를 이용한 신호 처리 방법을 제공한다.According to an embodiment of the present invention, in the RF module, the difference frequency between the transmitted FMCW (Frequency Modulation Continuous Wave) signal and the received FMCW signal by being reflected by an object whose motion or position including motion changes over time A first step of generating an in-beat frequency signal; A second step of generating an image of a micro Doppler frequency change pattern based on the generated beat frequency signal, in a signal processing module; And a third step of classifying the object according to the image of the generated micro Doppler frequency change pattern in a convolution neural network (CNN) module; wherein, the second step includes: a difference frequency according to a delay time as a distance. From among a plurality of converted range bins, a range bin in which the object is present is extracted, a reception angle of the FMCW signal received through a plurality of antennas is obtained for the range bin from which the object is extracted, and the object is obtained using an extended Kalman filter. Tracking the location of, but generating an image of the micro Doppler frequency change pattern through a short-time Fourier transform of the beat frequency signal of each of the plurality of chirps included in each frame over a plurality of frames of the FMCW signal based on the tracked location. , It provides a signal processing method using a vehicle radar.

본 발명의 일 실시 형태에 의하면, 상기 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한, 컴퓨터로 독출 가능한 기록 매체를 제공한다.According to an embodiment of the present invention, there is provided a computer-readable recording medium in which a program for executing the method is recorded on a computer.

본 발명의 일 실시 형태에 의하면, 송신된 FMCW 신호와 시간에 따라 움직임 또는 움직임을 포함한 위치 중 어느 하나가 변하는 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수를 기반으로 생성된 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 대상물을 분류함으로써, 적은 계산량으로 대상물의 분류가 가능한 이점이 있다.According to an embodiment of the present invention, a micro Doppler frequency change pattern generated based on a difference frequency between a transmitted FMCW signal and a received FMCW signal reflected by an object in which any one of motion or position including motion changes over time By classifying the object according to the image of the object, there is an advantage that the object can be classified with a small amount of calculation.

도 1은 종래 고해상도 거리 프로파일 이용한 물체 분류를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 장치의 블록도이다.
도 3은 본 발명의 일 실시 형태에 따라 송신된 FMCW 신호와 대상물에 의해 반사되어 수신된 FMCW 신호를 도시한 도면이다.
도 4는 본 발명의 일 실시 형태에 따라 지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 대상물이 존재하는 레인지 빈을 추출하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 형태에 따라 복수개의 수신 채널을 포함하는 경우에 수식 각도를 구하는 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시 형태에 따라 대상물의 위치 추적을 통해 거리-각도 맵에 표시된 대상물의 위치를 도시한 도면이다.
도 7은 본 발명의 일 실시 형태에 따라 확장 칼만 필터를 이용하여 추적한 대상물에 대하여 수집한 FMCW 신호의 복수개의 프레임에 포함된 복수개의 처프와 이들의 비트 주파수 신호로부터 생성된 마이크로 도플러 주파수 변화 패턴의 이미지를 도시한 도면이다
도 8은 본 발명의 일 실시 형태에 따라 FMCW 신호의 복수개의 프레임을 이용하여 생성된 마이크로 도플러 주파수 변화 패턴의 이미지와 FMCW 신호의 하나의 프레임을 이용하여 생성된 마이크로 도플러 주파수 변화 패턴의 이미지를 비교 도시한 도면이다.
도 9는 본 발명의 일 실시 형태에 따른 컨볼루션 신경망 모델을 구성하는 레이어들을 도시한 도면이다.
도 10은 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 방법을 설명하는 흐름도이다.1 is a diagram for explaining object classification using a conventional high-resolution distance profile.
2 is a block diagram of a signal processing apparatus using a radar sensor for a vehicle according to an embodiment of the present invention.
3 is a diagram illustrating an FMCW signal transmitted according to an embodiment of the present invention and an FMCW signal reflected by an object and received.
FIG. 4 is a diagram for explaining a process of extracting a range bin in which an object exists among a plurality of range bins obtained by converting a difference frequency according to a delay time into a distance according to an embodiment of the present invention.
5 is a diagram for explaining a process of obtaining an equation angle when a plurality of reception channels are included according to an embodiment of the present invention.
6 is a diagram illustrating a location of an object displayed on a distance-angle map through location tracking of an object according to an embodiment of the present invention.
7 illustrates a plurality of chirps included in a plurality of frames of an FMCW signal collected for an object tracked using an extended Kalman filter according to an embodiment of the present invention, and a micro Doppler frequency change pattern generated from the beat frequency signals thereof. It is a drawing showing the image of
8 is a comparison between an image of a micro Doppler frequency change pattern generated using a plurality of frames of an FMCW signal and an image of a micro Doppler frequency change pattern generated using one frame of an FMCW signal according to an embodiment of the present invention It is a drawing shown.
9 is a diagram illustrating layers constituting a convolutional neural network model according to an embodiment of the present invention.
10 is a flowchart illustrating a signal processing method using a vehicle radar sensor according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, the embodiments of the present invention may be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. The shapes and sizes of elements in the drawings may be exaggerated for clearer description, and elements indicated by the same reference numerals in the drawings are the same elements.

도 2는 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 장치(100)의 블록도이다.2 is a block diagram of a signal processing apparatus 100 using a vehicle radar sensor according to an embodiment of the present invention.

우선, 도 2에 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 장치(100)는, 송신된 FMCW 신호와 시간에 따라 움직임 또는 움직임을 포함한 위치 중 어느 하나가 변하는 대상물(S)에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 생성하는 RF 모듈(110)과, 생성된 비트 주파수 신호를 기반으로 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는 신호 처리 모듈(123)과, 생성된 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 대상물(S)을 분류하는 CNN(Convolution Neural Network) 모듈(124)을 포함할 수 있으며, 신호 처리 모듈(123)과 CNN 모듈(124) 사이에는 비트 주파수 신호를 저역 통과 필터링하는 저역 통과 필터(121)과 저역 통과 필터링된 비트 주파수 신호를 디지털 신호로 변환하는 A/D 컨버터(122)가 더 구비될 수 있다. 예를 들어, 대상물(S)이 보행자인 경우 움직임은 팔, 다리 등의 움직임을, 위치는 보행자의 이동에 따른 위치를 의미할 수 있다.First, as shown in FIG. 2, the signal processing apparatus 100 using a radar sensor for a vehicle according to an embodiment of the present invention, in which any one of a motion or a position including a motion changes according to a transmitted FMCW signal and time An RF module 110 that generates a beat frequency signal that is a difference frequency of the FMCW signal reflected by the object S and received, and a signal processing module that generates an image of a micro Doppler frequency change pattern based on the generated beat frequency signal. 123 and a CNN (Convolution Neural Network) module 124 for classifying the object S according to the image of the generated micro Doppler frequency change pattern, and the signal processing module 123 and the CNN module 124 Between ), a low-pass filter 121 for low-pass filtering the beat frequency signal and an A/D converter 122 for converting the low-pass filtered bit frequency signal into a digital signal may be further provided. For example, when the object S is a pedestrian, the movement may refer to a movement of an arm or leg, and the position may refer to a position according to the movement of the pedestrian.

우선, RF 모듈(110)은 신호 처리 모듈(123)로부터 출력되는 주파수 변조 제어신호에 응답하여 FMCW 신호를 송신하고, 대상물(S)에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 생성하여 신호 처리 모듈(123)에 전달할 수 있다. 이러한 RF 모듈(110)은 파형 발생기(111), 전압 제어 발진기(112), 전력 증폭기(113), 저잡음 증폭기(114) 및 주파수 합성기(115)를 구비할 수 있다.First, the RF module 110 transmits the FMCW signal in response to the frequency modulation control signal output from the signal processing module 123, and transmits a beat frequency signal that is a difference frequency of the FMCW signal reflected by the object S and received. It may be generated and transmitted to the signal processing module 123. The RF module 110 may include a waveform generator 111, a voltage controlled oscillator 112, a power amplifier 113, a low noise amplifier 114, and a frequency synthesizer 115.

구체적으로, 파형 발생기(111)는 신호 처리 모듈(123)로부터 출력되며 송신 신호의 주파수 변조에 대한 정보를 가지고 있는 주파수 변조 제어 신호에 대응되는 신호를 생성할 수 있다Specifically, the waveform generator 111 may generate a signal corresponding to a frequency modulation control signal that is output from the signal processing module 123 and has information on frequency modulation of the transmission signal.

전압 제어 발진기(112)는 파형 발생기(111)로부터 출력되는 신호에 응답하여 일정한 주파수를 가지는 발진 신호를 생성할 수 있다 The voltage controlled oscillator 112 may generate an oscillation signal having a constant frequency in response to a signal output from the waveform generator 111.

전력 증폭기(113)는 전압 제어 발진기(112)로부터 생성된 발진 신호를 증폭할 수 있다.The power amplifier 113 may amplify the oscillation signal generated from the voltage controlled oscillator 112.

저잡음 증폭기(114)는 수신된 FMCW 신호에 포함된 잡음을 제외한 진정한 수신 신호만을 증폭할 수 있다.The low noise amplifier 114 may amplify only a true received signal excluding noise included in the received FMCW signal.

주파수 합성기(115)는 저잡음 증폭기(114)에 의해 증폭된 수신 신호와 전압 제어 발진기(112)로부터 출력되는 발진 신호를 합한 합성 신호를 생성할 수 있다.The frequency synthesizer 115 may generate a synthesized signal obtained by adding a received signal amplified by the low noise amplifier 114 and an oscillation signal output from the voltage controlled oscillator 112.

여기서 수신 신호와 발진 신호를 합성하는 이유는, 송신 신호와 수신 신호의 주파수 차이로 표현되는 비트 주파수 신호를 생성하기 위해서이다. Here, the reason for synthesizing the received signal and the oscillation signal is to generate a beat frequency signal expressed by the frequency difference between the transmission signal and the received signal.

저역 통과 필터(121)는 RF 모듈(110)로부터 출력되는 비트 주파수 신호 중 저주파수 대역의 신호만 필터링하여 고주파 성분의 잡음을 제거할 수 있다 The low pass filter 121 may filter only a signal of a low frequency band among the beat frequency signals output from the RF module 110 to remove noise of a high frequency component.

A/D 컨버터(122)는 저역 통과 필터링된 비트 주파수 신호를 이에 대응되는 디지털 신호로 변환할 수 있다 The A/D converter 122 may convert the low-pass filtered beat frequency signal into a digital signal corresponding thereto.

본 발명의 일 실시 형태에 따른 송신 신호는 FMCW 신호를 이용하며, 이를 위해 하나의 주파수 변조된 신호를 처프(Chirp)로 정의하며, 일정 시간 동안 일정 시간 간격으로 복수개의 처프 신호를 송신한다. 또한, 일정 시간 동안 복수개의 처프 신호의 배열을 하나의 프레임으로 정의한다.A transmission signal according to an embodiment of the present invention uses an FMCW signal, and for this purpose, one frequency modulated signal is defined as a chirp, and a plurality of chirp signals are transmitted at a predetermined time interval for a predetermined time. In addition, an arrangement of a plurality of chirp signals for a predetermined time is defined as one frame.

한편, 신호 처리 모듈(123)은 송신 파형 생성에 필요한 주파수 변조 제어 신호를 파형 발생기(111)로 출력하며, 주파수 합성기(115)에서 생성된 비트 주파수 신호를 기반으로 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있다Meanwhile, the signal processing module 123 outputs a frequency modulation control signal required for generating a transmission waveform to the waveform generator 111, and generates an image of a micro Doppler frequency change pattern based on the beat frequency signal generated by the frequency synthesizer 115. Can produce

이를 위해, 신호 처리 모듈(123)은 단일 시간 동안 하나의 프레임에서 수신된 복수개의 처프 신호 각각에 대하여, 지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈을 산출한다. 또한, 각 처프 신호에 대한 복수개의 레인지 빈 중 대상물(S)이 존재하는 레인지 빈을 추출하고, 추출된 레인지 빈에 대응하는 비트 주파수 신호의 단시간 푸리에 변환(Short Time Fourier Transform, STFT)을 통해 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있다. To this end, the signal processing module 123 calculates a plurality of range bins obtained by converting a difference frequency according to a delay time into a distance for each of a plurality of chirp signals received in one frame for a single time. In addition, the range bin in which the object S is present is extracted from among the plurality of range bins for each chirp signal, and a microcomputer is performed through a short time Fourier transform (STFT) of the beat frequency signal corresponding to the extracted range bin. An image of a Doppler frequency change pattern can be generated.

여기서, 하나의 프레임에서 감지된 복수개의 비트 주파수 신호를 이용하여 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 경우에는, 저해상도 이미지를 가지기 때문에 대상물의 분류에 어려움이 있다. 따라서, 본 발명의 일 실시 형태에 의하면, 복수개의 프레임에 포함된 복수개의 처프 신호를 수신하고, 연속된 시간 변화에 따른 대상물(S)의 변화된 거리와 각도에 따른 대상물을 추적하여 해당 비트 주파수를 수집할 수 있다. 이후 복수개의 프레임을 이용하여 수집된 복수개의 비트 주파수의 단시간 푸리에 변환(Short Time Fourier Transform, STFT)을 통해 고해상도 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있다. 이에 대해서는, 도 7을 참조하여 후술한다.Here, when an image of a micro Doppler frequency change pattern is generated using a plurality of bit frequency signals sensed in one frame, it is difficult to classify an object because it has a low-resolution image. Accordingly, according to an embodiment of the present invention, a plurality of chirp signals included in a plurality of frames are received, and a corresponding beat frequency is determined by tracking an object according to a changed distance and angle of the object S according to a continuous time change. Can be collected. Thereafter, an image of a high-resolution micro-Doppler frequency change pattern may be generated through a short time Fourier transform (STFT) of a plurality of bit frequencies collected using a plurality of frames. This will be described later with reference to FIG. 7.

구체적으로, 신호 처리 모듈(123)은, 주파수 합성기(115)로부터 전달받은 하나의 프레임에서 하나의 비트 주파수 신호를 주파수 변환(Fast Fourier Transform, FFT)하고, 거리별 주파수 변환된 비트 주파수 신호의 크기를 산출한다. 이는 복수개의 비트 주파수 신호만큼 반복한다. 이후 주파수 변환된 비트 주파수 신호의 크기가 소정의 임계값 이상이면 생성된 비트 주파수 신호가 속하는 레인지 빈을 대상물이 존재하는 레인지 빈으로 추출할 수 있다.Specifically, the signal processing module 123 performs a frequency conversion (Fast Fourier Transform, FFT) of one beat frequency signal in one frame transmitted from the frequency synthesizer 115, and the magnitude of the frequency transformed beat frequency signal for each distance. Yields This is repeated by a plurality of beat frequency signals. Thereafter, if the size of the frequency-converted beat frequency signal is equal to or greater than a predetermined threshold, a range bin to which the generated beat frequency signal belongs may be extracted as a range bin in which the object exists.

도 3은 본 발명의 일 실시 형태에 따라 송신된 FMCW 신호와 대상물에 의해 반사되어 수신된 FMCW 신호를 도시한 도면이며, 도 4는 본 발명의 일 실시 형태에 따라 지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 대상물이 존재하는 레인지 빈을 추출하는 과정을 설명하기 위한 도면이다.3 is a diagram showing an FMCW signal transmitted according to an embodiment of the present invention and an FMCW signal reflected by an object and received, and FIG. 4 is a distance between a difference frequency according to a delay time according to an embodiment of the present invention. It is a diagram for explaining a process of extracting a range bin in which an object exists among a plurality of range bins converted to.

이하 도 3 및 도 4를 참조하여 복수개의 레인지 빈 중 대상물이 존재하는 레인지 빈을 추출하는 과정을 상세하게 설명한다.Hereinafter, a process of extracting a range bin in which an object exists among a plurality of range bins will be described in detail with reference to FIGS. 3 and 4.

도 3에 도시된 바와 같이, 본 발명에서 FMCW 신호는 시간에 따라 주파수가 증가하는 톱니파 형태를 사용하였으며, 실선으로 도시된 송신 FMCW 신호(Tx Signal)와 점선으로 도시된 수신 FMCW 신호(Rx Signal)는 지연 시간(τ)만큼의 차 주파수(fbeat, 또는 '비트 주파수'라 함)가 존재한다. 여기서, fsweep는 대역폭, Tchip는 처프의 시간 길이, 1 내지 LN은 한 프레임당 전송되는 처프의 갯수이다. 도 3에서는 톱니파를 예시하고 있으나, 본 발명은 반드시 이에 한정되는 것은 아니며, 삼각파에도 적용될 수 있음은 물론이다.As shown in FIG. 3, the FMCW signal in the present invention uses a sawtooth wave whose frequency increases with time, and a transmission FMCW signal (Tx Signal) shown by a solid line and a received FMCW signal (Rx Signal) shown by a dotted line. There is a difference frequency (fbeat, or'bit frequency') equal to the delay time (τ). Here, fsweep bandwidth, Tchip is the time length of the chirp, 1 to L N is the number of chirp to be transmitted per frame. Although the sawtooth wave is illustrated in FIG. 3, the present invention is not necessarily limited thereto, and of course, it can be applied to a triangular wave.

상술한 도 3에서 비트 주파수(fbeat)는 대상물(S)까지의 거리(R)에 비례하며, 하기와 같은 수학식 1로 표현될 수 있다.In FIG. 3 described above, the beat frequency fbeat is proportional to the distance R to the object S, and can be expressed by Equation 1 below.

Figure 112020060693303-pat00001
Figure 112020060693303-pat00001

여기서, fbeat는 비트 주파수, c는 광속, fsweep는 대역폭, Tchirp는 처프의 시간 길이, R은 대상물까지의 거리이다.Here, fbeat is the bit frequency, c is the speed of light, fsweep is the bandwidth, Tchirp is the time length of the chirp, and R is the distance to the object.

한편, 도 4에 도시된 바와 같이, 신호 처리 모듈(123)은, 지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 대상물(S)이 존재하는 레인지 빈을 추출할 수 있다.Meanwhile, as shown in FIG. 4, the signal processing module 123 may extract a range bin in which the object S exists from among a plurality of range bins obtained by converting a difference frequency according to a delay time into a distance.

구체적으로, 도 4의 (a)는 수학식 1에 따라 지연 시간(도 3의 τ)에 따른 차 주파수(fbeat)를 거리로 환산한 복수개의 레인지 빈(range bin #1 내지 range bin #256) 나타내며, 도 4의 (b)는 송신된 FMCW 신호와 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 주파수 변환한 것으로, X축은 비트 주파수, Y축은 신호의 크기이다.Specifically, (a) of FIG. 4 is a plurality of range bins (range bin #1 to range bin #256) obtained by converting a difference frequency (fbeat) according to a delay time (τ in FIG. 3) into a distance according to Equation 1 4B is a frequency conversion of a beat frequency signal, which is a difference frequency between a transmitted FMCW signal and a received FMCW signal reflected by an object, where the X axis is the bit frequency and the Y axis is the signal size.

즉, 주파수 혼합기(115)에 의해 생성된 비트 주파수 신호는 사각파 형태가 되며, 이를 주파수 변환하여 주파수 영역에서 나타내면, 도 4의 (b)에 도시된 바와 같이, 싱크(sinc) 함수로 표현될 수 있다. That is, the beat frequency signal generated by the frequency mixer 115 is in the form of a square wave, and when the frequency is converted and expressed in the frequency domain, as shown in Fig. 4(b), it will be expressed as a sync function. I can.

따라서, 신호 처리 모듈(123)은 주파수 합성기(115)로부터 전달받은 비트 주파수 신호를 주파수 변환(FFT)하고, 주파수 변환된 비트 주파수 신호의 크기가 소정의 임계값 이상이면 생성된 비트 주파수 신호가 속하는 레인지 빈(도 4에서는 range bin #2)을 대상물이 존재하는 레인지 빈으로 추출할 수 있다. 여기서, 임계값은 기 설정된 값일 수 있다.Therefore, the signal processing module 123 performs frequency conversion (FFT) on the beat frequency signal received from the frequency synthesizer 115, and if the magnitude of the frequency converted beat frequency signal is greater than or equal to a predetermined threshold, the generated beat frequency signal belongs. The range bin (range bin #2 in FIG. 4) can be extracted as a range bin in which the object exists. Here, the threshold value may be a preset value.

한편, 본 발명의 일 실시 형태에 의하면, 신호 처리 모듈(123)은 FMCW 신호의 한 프레임에 포함된 복수개의 처프 각각의 비트 주파수 신호를 주파수 변환하고, 주파수 변환된 복수개의 비트 주파수 신호의 크기의 합산값(도 4의 (c) 참조)이 소정의 임계값 이상이면, 생성된 비트 주파수 신호가 속하는 레인지 빈을 대상물이 존재하는 레인지 빈으로 추출할 수 있다.Meanwhile, according to an embodiment of the present invention, the signal processing module 123 frequency-converts the beat frequency signals of each of a plurality of chirps included in one frame of the FMCW signal, and If the sum value (refer to (c) of FIG. 4) is greater than or equal to a predetermined threshold, a range bin to which the generated beat frequency signal belongs may be extracted as a range bin in which the object exists.

이와 같이, 주파수 변환된 복수개의 비트 주파수 신호의 크기를 합산하는 이유는, 주파수 변환된 하나의 비트 주파수 신호의 크기는 대상물(S)을 탐지할 정도로 충분한 피크값을 가질 수 없을 수도 있기 때문이다.The reason for summing the magnitudes of the plurality of frequency-converted beat frequency signals in this way is because the magnitude of one frequency-converted beat frequency signal may not have a peak value sufficient to detect the object S.

한편, 본 발명의 일 실시 형태에 의하면, RF 모듈(110)이 복수개의 수신 채널을 포함할 경우, 신호 처리 모듈(123)은 대상물이 검출된 레인지 빈에 대하여 FMCW 신호의 수신 각도를 구하고, 구한 수신 각도 및 대상물이 존재하는 레인지 빈을 레인지 빈 대비 수신 각도를 나타내는 거리-각도 맵에 도시할 수 있다.On the other hand, according to an embodiment of the present invention, when the RF module 110 includes a plurality of reception channels, the signal processing module 123 obtains the reception angle of the FMCW signal with respect to the range bin in which the object is detected, The reception angle and the range bin in which the object is present may be shown on a distance-angle map indicating a reception angle compared to the range bin.

도 5는 본 발명의 일 실시 형태에 따라 복수개의 수신 채널을 포함하는 경우에 수식 각도를 구하는 과정 및 거리-각도 맵을 도시한 도면이다. 도 5의 (a)에서, 복수개의 수신 안테나(여기서는 4개)를 통해 수신된 처프는 각각 Rx#0 내지 Rx#3이며, 수신 안테나 사이의 거리는 d로, 4개의 수신 안테나를 통해 수신된 처프 각각에 대한 비트 주파수 신호를 주파수 변환한 값은 Z0[2] 내지 Z3[2]으로 표시하였다. 한편, 도 5의 (b)는 레인지 빈 #2에서 대상물이 검출된 경우 이를 거리-각도 맵에 표시한 것이다.FIG. 5 is a diagram illustrating a process of obtaining an equation angle and a distance-angle map when a plurality of reception channels are included according to an embodiment of the present invention. 5A, chirps received through a plurality of receiving antennas (here 4) are Rx#0 to Rx#3, respectively, the distance between the receiving antennas is d, and chirps received through the 4 receiving antennas The frequency-converted value of the beat frequency signal for each is represented by Z 0 [2] to Z 3 [2]. On the other hand, FIG. 5(b) shows when an object is detected in range bin #2, it is displayed on a distance-angle map.

즉, 도 5의 (a)에 도시된 바와 같이, 4개의 수신 안테나를 통해 수신된 처프 각각에 대한 비트 주파수 신호를 주파수 변환한 값은 Z0[2] 내지 Z3[2]이며, 대상물의 각도는 하기 수학식 2에 따라 구할 수 있다.That is, as shown in (a) of FIG. 5, the frequency-converted value of the beat frequency signal for each chirp received through the four reception antennas is Z 0 [2] to Z 3 [2], and The angle can be obtained according to Equation 2 below.

Figure 112020060693303-pat00002
Figure 112020060693303-pat00002

여기서, H H()는 시스템 매트릭스, △θ는 각도 분해능, i는 -60도부터 60도까지 1도 단위, λ는 중심 주파수 파장, d는 수신 안테나간의 거리, Z0[2] 내지 Z3[2]는 4개의 수신 안테나를 통해 수신된 처프 각각에 대한 비트 주파수 신호를 주파수 변환한 값이다.Where H H () is the system matrix, △θ is the angular resolution, i is the unit of 1 degree from -60 to 60 degrees, λ is the center frequency wavelength, d is the distance between the receiving antennas, Z 0 [2] to Z 3 [2] is a frequency-converted value of the beat frequency signal for each chirp received through the four receiving antennas.

즉, 도 5에 도시된 바와 같이, 신호 처리 모듈(123)은, RF 모듈(110)이 복수개의 수신 채널을 포함할 경우, 대상물이 검출된 레인지 빈에 대하여 FMCW 신호의 수신 각도를 구하고, 구한 수신 각도 및 대상물이 존재하는 레인지 빈을 레인지 빈 대비 수신 각도를 나타내는 거리-각도 맵에 도시할 수 있다.That is, as shown in FIG. 5, when the RF module 110 includes a plurality of reception channels, the signal processing module 123 obtains the reception angle of the FMCW signal with respect to the range bin in which the object is detected, and The reception angle and the range bin in which the object is present may be shown on a distance-angle map indicating a reception angle compared to the range bin.

특히, 본 발명의 일 실시 형태에 의하면, 신호 처리 모듈(123)은, 한 프레임에 포함된 복수개의 처프 중 첫번째 처프(Chirp #1)에 대해서만 수신 각도를 구하는바, 한 프레임이 90개의 처프를 포함할 경우 90개의 처프를 송수신하는데 통상 1ms 미만이므로, 1ms 동안 대상물의 각도 변화가 거의 없다고 볼 수 있으며, 이와 같이 한 프레임 당 1개의 처프에 대해서만 수신 각도를 구함으로써 연산량을 줄일 수 있는 이점이 있다.In particular, according to an embodiment of the present invention, the signal processing module 123 obtains a reception angle only for the first chirp (Chirp #1) among a plurality of chirps included in one frame. When included, 90 chirps are transmitted and received, usually less than 1ms, so it can be seen that there is little change in the angle of the object for 1ms, and there is an advantage of reducing the amount of computation by calculating the reception angle for only one chirp per frame. .

한편, 본 발명의 일 실시 형태에 의하면, 신호 처리 모듈(123)은, 한 프레임당 거리-각도 맵을 기반으로 확장 칼만 필터를 이용하여 대상물의 위치를 추적하며, 추적된 대상물의 위치를 각 프레임당 거리-각도 맵에 도시할 수 있다.Meanwhile, according to an embodiment of the present invention, the signal processing module 123 tracks the location of an object using an extended Kalman filter based on a distance-angle map per frame, and determines the location of the tracked object in each frame. Per distance-angle can be plotted on the map.

도 6은 본 발명의 일 실시 형태에 따라 대상물의 위치 추적을 통해 거리-각도 맵에 표시된 대상물의 위치를 도시한 도면이다.6 is a diagram illustrating a location of an object displayed on a distance-angle map through location tracking of an object according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 보행자(대상물)가 이동할 때 k-2 시점, k-1 시점, k 시점에 각각 1개 프레임(90개의 처프로 구성됨)의 FMCW 신호를 송수신하며, 신호 처리 모듈(123)은, 확장 칼만 필터를 이용하여 대상물의 위치를 추적하며, 추적된 대상물의 위치를 거리-각도 맵에 표시할 수 있다. 대상물의 위치를 추적하기 위한 확장된 칼만 필터는 널리 알려진 기술인바, 본 발명에서는 상세하게 설명하지는 않는다. 또한, 확장 칼만 필터를 이용하여 시간 추이에 따른 대상물의 위치를 추적하여 FMCW 신호의 복수 개의 프레임에 걸쳐 각 프레임에 포함된 복수 개의 처프 각각의 해당 비트 주파수를 수집할 수 있다.As shown in FIG. 6, when a pedestrian (object) moves, it transmits and receives an FMCW signal of one frame (consisting of 90 chirps) at a time point k-2, a time point k-1, and a time point k, and a signal processing module ( 123) tracks the location of the object using the extended Kalman filter, and can display the location of the tracked object on the distance-angle map. Since the extended Kalman filter for tracking the location of an object is a widely known technique, it is not described in detail in the present invention. In addition, by using the extended Kalman filter to track the position of the object over time, corresponding beat frequencies of each of the plurality of chirps included in each frame may be collected over a plurality of frames of the FMCW signal.

이후, 신호 처리 모듈(123)은 시간 추이에 따른 대상물의 위치가 추적된 레인지 빈에 대응하는 비트 주파수 신호의 단시간 푸리에 변환(Short Time Fourier Transform, STFT)을 통해 고해상도의 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있다. 본 발명에서, 고해상도의 마이크로 도플러 주파수 변화 패턴의 이미지는 적어도 512개 이상의 비트 주파수 샘플을 가지고 생성된 마이크로 도플러 주파수 변화 패턴의 이미지를 의미할 수 있다.Thereafter, the signal processing module 123 uses a short time Fourier transform (STFT) of the beat frequency signal corresponding to the range bin in which the position of the object according to the time transition is tracked to provide a high-resolution micro Doppler frequency change pattern image. Can be created. In the present invention, the image of the high-resolution micro Doppler frequency change pattern may mean an image of the micro Doppler frequency change pattern generated with at least 512 bit frequency samples.

특히, 본 발명의 일 실시 형태에 의하면, 신호 처리 모듈(123)은 확장 칼만 필터를 이용하여 추적한 대상물에 대한 FMCW 신호의 복수개의 프레임에 걸쳐 각 프레임에 포함된 복수개의 처프 각각의 비트 주파수 신호의 단시간 푸리에 변환(STFT)을 통해 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있다.In particular, according to an embodiment of the present invention, the signal processing module 123 is a bit frequency signal of each of a plurality of chirps included in each frame over a plurality of frames of an FMCW signal for an object tracked using an extended Kalman filter. An image of a micro Doppler frequency change pattern may be generated through a short-time Fourier transform (STFT) of.

관련하여, 도 7은 본 발명의 일 실시 형태에 따라 확장 칼만 필터를 이용하여 추적한 대상물에 대하여 수집한 FMCW 신호의 복수개의 프레임에 포함된 복수개의 처프와 이들의 비트 주파수 신호로부터 생성된 마이크로 도플러 주파수 변화 패턴의 이미지를 도시한 도면이다.7 shows a plurality of chirps included in a plurality of frames of an FMCW signal collected with respect to an object tracked using an extended Kalman filter according to an embodiment of the present invention, and a micro Doppler generated from their bit frequency signals. It is a diagram showing an image of a frequency change pattern.

즉, 도 7에 도시된 바와 같이, 신호 처리 모듈(123)은 확장 칼만 필터를 이용하여 시간 추이에 따른 대상물의 위치를 추적하여 복수개의 프레임(프레임 #1 내지 프레임 #k)에 걸쳐 각 프레임에 포함된 복수개의 처프(chirp #1 내지 chirp #N) 각각의 비트 주파수 신호를 수집한다. 이후, 수집된 복수개의 프레임의 복수개의 처프 각각의 단시간 푸리에 변환(STFT)을 통해, 도 7의 (b)와 같은 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있다. That is, as shown in FIG. 7, the signal processing module 123 tracks the position of an object according to time by using an extended Kalman filter, so that each frame is applied over a plurality of frames (frames #1 to #k). The beat frequency signals of each of the included chirps (chirp #1 to chirp #N) are collected. Thereafter, an image of a micro Doppler frequency change pattern as shown in (b) of FIG. 7 may be generated through a short-time Fourier transform (STFT) of each of the plurality of chirps of the collected plurality of frames.

도 7에서는, 프레임의 수인 k 동안 확장 칼만 필터를 이용하여 추적된 대상물의 거리는 동일한 경우를 도시하고 있으나, 반드시 추적된 거리가 동일한 경우에만 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는 것은 아님에 유의하여야 한다. 또한, 본 발명에서는 처프의 수인 N은 예를 들면 90일 수 있으며, 프레임의 수인 k는 10개일 수 있으나, 반드시 구체적인 수치에 한정되는 것은 아님에 유의하여야 한다.7 shows a case where the distance of the object tracked using the extended Kalman filter during k, which is the number of frames, is the same, but it should be noted that the micro Doppler frequency change pattern image is not necessarily generated only when the tracked distance is the same. do. In addition, in the present invention, N, which is the number of chirps, may be 90, and k, which is the number of frames, may be 10, but it should be noted that it is not necessarily limited to a specific value.

한편, 도 8은 본 발명의 일 실시 형태에 따라 FMCW 신호의 복수개의 프레임을 이용하여 생성된 마이크로 도플러 주파수 변화 패턴의 이미지와 FMCW 신호의 하나의 프레임을 이용하여 생성된 마이크로 도플러 주파수 변화 패턴의 이미지를 비교 도시한 도면이다. 여기서, (a)는 복수개의 프레임을 통해 생성된 마이크로 도플러 주파수 변화 패턴의 컬러 이미지이며, (b)는 하나의 프레임을 통해 생성된 마이크로 도플러 주파수 변화 패턴의 컬러 이미지이다.Meanwhile, FIG. 8 is an image of a micro Doppler frequency change pattern generated using a plurality of frames of an FMCW signal and an image of a micro Doppler frequency change pattern generated using one frame of an FMCW signal according to an embodiment of the present invention. It is a diagram showing a comparison. Here, (a) is a color image of a micro Doppler frequency change pattern generated through a plurality of frames, and (b) is a color image of a micro Doppler frequency change pattern generated through one frame.

도 8에 도시된 바와 같이, 단시간 푸리에 변환(STFT)을 위한 샘플들의 수가 많을수록 주파수 고분해능을 가지며, 따라서, 복수개의 프레임을 통해 생성된 마이크로 도플러 주파수 변화 패턴의 이미지(도 8의 (a)가 하나의 프레임을 통해 생성된 마이크로 도플러 주파수 변화 패턴의 이미지(도 8의 (b))보다 주파수 고분해능을 가진다는 것을 알 수 있다.As shown in FIG. 8, as the number of samples for a short-time Fourier transform (STFT) increases, a higher frequency resolution is obtained, and thus, an image of a micro Doppler frequency change pattern generated through a plurality of frames (Fig. 8(a) is one It can be seen that the image of the micro Doppler frequency change pattern generated through the frame of (Fig. 8(b)) has a higher frequency resolution.

다시 도 2를 참조하면, 신호 처리 모듈(123)에 의해 생성된 마이크로 도플러 주파수 변화 패턴의 이미지는 CNN 모듈(124)로 입력되며, CNN 모듈(124)은 입력된 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 대상물(S)을 분류할 수 있다.Referring back to FIG. 2, the image of the micro Doppler frequency change pattern generated by the signal processing module 123 is input to the CNN module 124, and the CNN module 124 is applied to the image of the input micro Doppler frequency change pattern. Accordingly, the object (S) can be classified.

CNN(Convolution Neural Network) 모듈(124)은 마이크로 도플러 주파수 변화 패턴의 이미지를 기 학습된 컨볼루션 신경망 모델을 적용하여 마이크로 도플러 패턴 특징을 추출하는 도플러 특징 추출 모듈(124a)과, 도플러 특징 추출 모듈(124a)에서 추출한 마이크로 도플러 패턴 특징에 따라 대상물을 보행자 또는 비보행자로 분류하는 분류 모듈(124b)를 포함할 수 있다.The CNN (Convolution Neural Network) module 124 includes a Doppler feature extraction module 124a for extracting micro Doppler pattern features by applying a pre-learned convolutional neural network model to an image of a micro Doppler frequency change pattern, and a Doppler feature extraction module ( It may include a classification module 124b for classifying the object as a pedestrian or non-pedestrian according to the micro Doppler pattern feature extracted in 124a).

도 9는 본 발명의 일 실시 형태에 따른 컨볼루션 신경망 모델을 구성하는 레이어들을 도시한 도면이다.9 is a diagram illustrating layers constituting a convolutional neural network model according to an embodiment of the present invention.

컨볼루션 신경망 모델은 심층 신경망(DNN, deep neural network)의 한 종류로, 적어도 하나의 컨볼루션 레이어(convolutional layer)를 포함하는 7개의 컨벌루션 레이어 그룹(G1 내지 G7), 에버리지 풀 레이어(average pool layer, AVG pool), 풀 커넥티드 레이어(fully connected layer, FC: 2) 및 소프트맥스 레이어(softmax layer)로 구성된 신경망으로, 2차원 데이터의 학습에 적합한 구조를 가지며, 역전달(backpropagation algorithm)을 통해 훈련될 수 있다. 본 발명의 일 실시 형태에 따른 컨볼루션 신경망 모델은 'Resnet 14'로 지칭될 수 있다.The convolutional neural network model is a type of deep neural network (DNN), 7 convolutional layer groups (G1 to G7) including at least one convolutional layer, and an average pool layer. , AVG pool), a fully connected layer (FC: 2), and a softmax layer.It has a structure suitable for learning 2D data, and through a backpropagation algorithm. Can be trained. The convolutional neural network model according to an embodiment of the present invention may be referred to as'Resnet 14'.

본 발명의 일 실시 형태에 의하면, 7개의 컨벌루션 레이어 그룹은, 100×91×3 픽셀 크기의 이미지에서 5×5×3 크기의 필터 16개를 1픽셀 간격으로 2패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어 그룹(811, G1)을 포함할 수 있다.According to an embodiment of the present invention, the seven convolutional layer groups move 16 filters having a size of 5 × 5 × 3 in an image of 100 × 91 × 3 pixels in a vertical direction by 2 padding by 1 pixel. A first convolutional layer group 811 and G1 for extracting a feature map of a micro Doppler pattern having a size of 100×91×16 may be included.

본 발명의 일 실시 형태에 의하면, 7개의 컨벌루션 레이어 그룹은, 제1 컨벌루션 레이어 그룹(G1)을 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어(812)와, 제1 컨벌루션 레이어(812)를 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어(813)를 포함하는 제2 컨벌루션 레이어 그룹(G2)을 포함할 수 있다.According to an embodiment of the present invention, the seven convolutional layer groups include a filter 16 having a size of 3 × 3 × 16 in a feature map of a micro Doppler pattern having a size of 100 × 91 × 16 output through the first convolutional layer group G1. The first convolution layer 812 extracts a feature map of a micro Doppler pattern having a size of 100×91×16 by moving one padding at a 1-pixel interval in the vertical, left and right directions, and the output through the first convolution layer 812. In the 100×91×16 micro Doppler pattern feature map, 16 filters of size 3×3×16 are moved up, down, left and right by 1 padding at 1 pixel intervals to create a 100×91×16 micro Doppler pattern feature map. A second convolutional layer group G2 including the extracted second convolutional layer 813 may be included.

본 발명의 일 실시 형태에 의하면, 7개의 컨벌루션 레이어 그룹은, 제2 컨벌루션 레이어 그룹(G2)을 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어(814)와, 상기 제1 컨벌루션 레이어(814)를 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어(815)를 포함하는 제3 컨벌루션 레이어 그룹(G3)을 포함할 수 있다.According to an embodiment of the present invention, the seven convolutional layer groups include a filter 16 having a size of 3 × 3 × 16 in a feature map of a micro Doppler pattern having a size of 100 × 91 × 16 output through the second convolutional layer group G2. The first convolution layer 814 extracts a feature map of a micro Doppler pattern having a size of 100×91×16 by moving one padding at a 1-pixel interval in the vertical, left-right direction, and output through the first convolution layer 814 In the 100×91×16 micro Doppler pattern feature map, 16 filters of 3×3×16 size are moved up, down, left and right by 1 padding at 1 pixel intervals, and a 100×91×16 micro Doppler pattern feature map It may include a third convolutional layer group G3 including a second convolutional layer 815 for extracting.

본 발명의 일 실시 형태에 의하면, 7개의 컨벌루션 레이어 그룹은, 제3 컨벌루션 레이어 그룹(G3)을 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 32개를 2픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어(816)와, 제1 컨벌루션 레이어(816)를 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 32개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어(817)를 포함하는 제4 컨벌루션 레이어 그룹(G4)을 포함할 수 있다.According to an embodiment of the present invention, the seven convolutional layer groups include a filter 32 having a size of 3 × 3 × 16 in a feature map of a micro Doppler pattern having a size of 100 × 91 × 16 output through the third convolutional layer group G3. The first convolution layer 816 extracts a micro Doppler pattern feature map having a size of 50×46×32 by moving one padding vertically by 1 padding at 2 pixel intervals, and the output through the first convolution layer 816. In the 50×46×32 micro Doppler pattern feature map, 32 filters of 3×3×32 size are moved up, down, left, and right by 1 padding at 1-pixel intervals to create a 50×46×32 micro Doppler pattern feature map. A fourth convolutional layer group G4 including the extracted second convolutional layer 817 may be included.

본 발명의 일 실시 형태에 의하면, 7개의 컨벌루션 레이어 그룹은, 제4 컨벌루션 레이어 그룹(G4)을 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 32개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어(818)와, 제1 컨벌루션 레이어(818)를 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 32개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어(819)를 포함하는 제5 컨벌루션 레이어 그룹(G5)을 포함할 수 있다.According to an embodiment of the present invention, the seven convolutional layer groups include a filter 32 having a size of 3 × 3 × 32 in a feature map of a micro Doppler pattern having a size of 50 × 46 × 32 output through the fourth convolutional layer group G4. The first convolution layer 818 extracting a feature map of a 50×46×32 micro-Doppler pattern by moving one padding at a 1-pixel interval in the vertical, left and right directions, and the first convolutional layer 818 In the 50×46×32 micro Doppler pattern feature map, 32 filters of 3×3×32 size are moved up, down, left, and right by 1 padding at 1-pixel intervals to create a 50×46×32 micro Doppler pattern feature map. A fifth convolutional layer group G5 including the extracted second convolutional layer 819 may be included.

본 발명의 일 실시 형태에 의하면, 7개의 컨벌루션 레이어 그룹은, 제5 컨벌루션 레이어 그룹(G5)을 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 64개를 2픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어(820)와, 제1 컨벌루션 레이어(820를 통해 출력된 25×23×64 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 64개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어(821)를 포함하는 제6 컨벌루션 레이어 그룹(G6)을 포함할 수 있다.According to an embodiment of the present invention, the seven convolutional layer groups include a filter 64 having a size of 3 × 3 × 32 in a feature map of a micro Doppler pattern having a size of 50 × 46 × 32 output through the fifth convolutional layer group G5. The first convolution layer 820 extracts a feature map of a micro Doppler pattern having a size of 25×23×64 by moving one padding at a 2-pixel interval in the vertical, left and right directions, and 25 output through the first convolution layer 820. From the ×23×64 micro Doppler pattern feature map, 64 filters of 3×3×32 size are moved up, down, left, and right by 1 padding at 1 pixel intervals to extract the 25×23×64 micro Doppler pattern feature map. A sixth convolutional layer group G6 including a second convolutional layer 821 may be included.

본 발명의 일 실시 형태에 의하면, 7개의 컨벌루션 레이어 그룹은, 제6 컨벌루션 레이어 그룹(G6)을 통해 출력된 25×23×64 크기의 마이크로 도플러 패턴 특징맵에서 3×3×64 크기의 필터 64개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어(822)와, 제1 컨벌루션 레이어(822)를 통해 출력된 25×23×64 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 64개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어(823)를 포함하는 제7 컨벌루션 레이어 그룹(G7)을 포함할 수 있다.According to an embodiment of the present invention, the seven convolutional layer groups include a filter 64 having a size of 3 × 3 × 64 in a feature map of a micro Doppler pattern having a size of 25 × 23 × 64 output through the sixth convolutional layer group G6. The first convolutional layer 822 and the first convolutional layer 822 extract a feature map of a 25×23×64 micro-Doppler pattern by moving one padding at a 1-pixel interval in the vertical, left and right directions. In the 25×23×64 micro Doppler pattern feature map, 64 filters of 3×3×32 size are moved up, down, left and right by 1 padding at 1-pixel intervals to create a 25×23×64 micro Doppler pattern feature map. A seventh convolutional layer group G7 including the extracted second convolutional layer 823 may be included.

또한, 본 발명의 일 실시 형태에 의하면, 제2 컨벌루션 레이어 그룹(G2) 내지 제7 컨벌루션 레이어 그룹(G6)은, 이전 단계에서 추출된 마이크로 도플러 패턴 특징맵과 현 단계에서 추출된 마이크로 도플러 패턴 특징맵의 요소별 정보를 숏컷(Short CUT, SC)을 통해 결합할 수 있다.In addition, according to an embodiment of the present invention, the second convolutional layer group G2 to the seventh convolutional layer group G6 include a micro Doppler pattern feature map extracted in a previous step and a micro Doppler pattern feature extracted in a current step. Information for each element of the map can be combined through a shortcut (Short CUT, SC).

한편, 본 발명의 일 실시 형태에 의하면, 에버리지 풀 레이어(824)는, 제7 컨벌루션 레이어 그룹(G7)을 통해 출력된 25×23×64 크기의 마이크로 도플러 패턴 특징맵에서 7×7×64 크기의 필터 1개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 1×1×64 크기의 마이크로 도플러 패턴 특징맵을 추출할 수 있다.Meanwhile, according to an embodiment of the present invention, the average full layer 824 has a size of 7×7×64 in the micro Doppler pattern feature map of a size of 25×23×64 output through the seventh convolutional layer group G7. By moving one filter in the vertical, left and right directions by 1 padding at 1 pixel intervals, a 1×1×64 micro-Doppler pattern feature map can be extracted.

그리고, 풀 커넥티드 레이어(825)는, 에버리지 풀 레이어(824)에 연결되어 64 및 2 노드들을 입력 및 출력으로 각각 가지며, 64×2 만큼의 가중치들을 이용하여 마이크로 마이크로 도플러 패턴 특징맵을 축소하고, 소프트맥스 레이어는, 풀 커넥티드 레이어(824)를 통해 출력된 마이크로 마이크로 도플러 패턴 특징맵의 확률을 하기의 수학식 3에 따라 산출할 수 있다.In addition, the full connected layer 825 is connected to the average full layer 824 and has 64 and 2 nodes as inputs and outputs, respectively, and reduces the micro-micro Doppler pattern feature map using weights of 64×2. , The softmax layer may calculate the probability of the micro micro Doppler pattern feature map output through the fully connected layer 824 according to Equation 3 below.

Figure 112020060693303-pat00003
Figure 112020060693303-pat00003

여기서,

Figure 112020060693303-pat00004
는 i번째 클래스에 대한 확률로, 0 ~ 1 사이의 값을 가진다.
Figure 112020060693303-pat00005
는 i번째 클래스에 대한 특징값(가중치)이며, J는 전체 클래스의 개수를 의미한다. 본 발명에서, J=2이고, i=1이면 보행자의 마이크로 도플러 패턴, i=2이면 보행자가 아닌 마이크로 도플러 패턴으로 분류할 수 있다.here,
Figure 112020060693303-pat00004
Is the probability for the ith class and has a value between 0 and 1.
Figure 112020060693303-pat00005
Is the feature value (weight) for the i-th class, and J is the number of all classes. In the present invention, if J = 2 and i = 1, a micro Doppler pattern of a pedestrian can be classified, and if i = 2, a micro Doppler pattern other than a pedestrian can be classified.

마지막으로, 분류 모듈(124b)은, 산출된 확률에 따라 대상물을 보행자 또는 비보행자로 분류할 수 있다. 즉, 하기 수학식 4에 따라 산출된 확률이 0.5를 초과하면 보행자, 0.5 미만이면 보행자가 아닌 것으로 판단할 수 있다.Finally, the classification module 124b may classify the object as a pedestrian or non-pedestrian according to the calculated probability. That is, if the probability calculated according to Equation 4 below exceeds 0.5, it may be determined that the pedestrian is less than 0.5, and that the probability is not a pedestrian.

Figure 112020060693303-pat00006
Figure 112020060693303-pat00006

한편, 하기 표 1에는 본 발명의 일 실시 형태에 따른 상술한 Resnet 14 모델의 파라미터를 정리하였다.Meanwhile, in Table 1 below, parameters of the above-described Resnet 14 model according to an embodiment of the present invention are summarized.

Figure 112020060693303-pat00007
Figure 112020060693303-pat00007

한편, 본 발명의 일 실시 형태에 따른 Resnet-14 모델의 보다 정확한 분석을 위해 교차 검증(Cross Validation)을 수행하였다. 교차 검증 방법은 10 폴드 교차 검증(10 fold Cross Validation)을 사용하였으며, 수집된 마이크로 도플러 주파수 변화 패턴의 이미지 30,252개를 무작위로 10개의 그룹으로 나눈 후, 1폴드당 1개 그룹을 선택하여 테스트를 실행하고, 나머지 9개 그룹은 트레이닝을 실행하여 교차 검증의 정확도와 손실을 산출하였다.Meanwhile, cross validation was performed for a more accurate analysis of the Resnet-14 model according to an embodiment of the present invention. The cross-validation method used 10 fold cross validation, and after randomly dividing 30,252 images of the collected micro-Doppler frequency change pattern into 10 groups, one group per fold was selected and tested. Then, the remaining nine groups were trained to calculate the accuracy and loss of cross-validation.

또한, 본 발명의 일 실시 형태에 따른 Resnet-14 모델은 기존 Resnet-18 모델과 AlexNet 모델보다 적은 수의 파리미터로 구성되어 보다 빠른 학습 시간을 가진다.In addition, the Resnet-14 model according to an embodiment of the present invention is composed of fewer parameters than the existing Resnet-18 model and the AlexNet model, and thus has a faster learning time.

하기 표 2는 본 발명의 일 실시 형태에 따른 Resnet-14와 기존 Resnet-18 및 AlexNet의 모델 파라미터를 비교 도시한 것이다.Table 2 below shows a comparison of model parameters of Resnet-14 and existing Resnet-18 and AlexNet according to an embodiment of the present invention.

Figure 112020060693303-pat00008
Figure 112020060693303-pat00008

표 2에 도시된 바와 같이, 본 발명의 일 실시 형태에 따른 Resnet-14 모델의 교차 검증의 정확도는 다른 모델과 비슷하지만, 교차 검증 손실, 1회 프로세싱 시간 및 모델 파라미터의 개수는 현저히 낮음을 알 수 있다.As shown in Table 2, it can be seen that the accuracy of cross-validation of the Resnet-14 model according to an embodiment of the present invention is similar to that of other models, but the cross-validation loss, one-time processing time, and the number of model parameters are remarkably low. I can.

상술한 바와 같이, 본 발명의 일 실시 형태에 의하면, 송신된 FMCW 신호와 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수를 기반으로 생성된 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 대상물을 분류함으로써, 적은 계산량으로 대상물의 분류가 가능한 이점이 있다.As described above, according to an embodiment of the present invention, by classifying the object according to the image of the micro Doppler frequency change pattern generated based on the difference frequency between the transmitted FMCW signal and the received FMCW signal reflected by the object, There is an advantage that the object can be classified with a small amount of calculation.

한편, 도 10은 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 방법을 설명하는 흐름도이다.Meanwhile, FIG. 10 is a flowchart illustrating a signal processing method using a vehicle radar sensor according to an embodiment of the present invention.

이하에서는 도 1 내지 도 10을 참조하여 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 방법을 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 10과 관련하여 중복된 부분에 대한 설명은 생략하기로 한다.Hereinafter, a signal processing method using a radar sensor for a vehicle according to an embodiment of the present invention will be described with reference to FIGS. 1 to 10. However, for the sake of simplicity of the invention, descriptions of overlapping parts with respect to FIGS. 1 to 10 will be omitted.

도 1 내지 도 10을 참조하면, 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 방법은, RF 모듈(110)에서, 송신된 FMCW 신호와 대상물(S)에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 생성하는 단계에 의해 개시될 수 있다(S1000). 1 to 10, a signal processing method using a radar sensor for a vehicle according to an embodiment of the present invention is, in the RF module 110, a transmitted FMCW signal and a received FMCW reflected by the object (S). It may be initiated by generating a beat frequency signal that is a difference frequency of the signal (S1000).

다음, 신호 처리 모듈(123)은 생성된 비트 주파수 신호를 기반으로 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있다(S1010).Next, the signal processing module 123 may generate an image of a micro Doppler frequency change pattern based on the generated beat frequency signal (S1010).

단계 S1010에서, 본 발명의 일 실시 형태에 의하면, 신호 처리 모듈(123)은 지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 대상물(S)이 존재하는 레인지 빈을 추출하고, 추출된 레인지 빈에 대응하는 비트 주파수 신호의 단시간 푸리에 변환(Short Time Fourier Transform, STFT)을 통해 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있음은 상술한 바와 같다.In step S1010, according to an embodiment of the present invention, the signal processing module 123 extracts a range bin in which the object S exists among a plurality of range bins obtained by converting a difference frequency according to a delay time into a distance, and extracts As described above, an image of a micro Doppler frequency change pattern can be generated through a short time Fourier transform (STFT) of a bit frequency signal corresponding to the range bin.

또한, 단계 S1010에서, 신호 처리 모듈(123)은, 주파수 합성기(115)로부터 전달받은 비트 주파수 신호를 주파수 변환(Fast Fourier Transform, FFT)하고, 주파수 변환된 비트 주파수 신호의 크기가 소정의 임계값 이상이면 생성된 비트 주파수 신호가 속하는 레인지 빈을 대상물이 존재하는 레인지 빈으로 추출할 수 있음은 상술한 바와 같다.In addition, in step S1010, the signal processing module 123 performs a frequency transformation (Fast Fourier Transform, FFT) on the beat frequency signal received from the frequency synthesizer 115, and the amplitude of the frequency transformed beat frequency signal is a predetermined threshold. If it is above, it is as described above that the range bin to which the generated beat frequency signal belongs can be extracted as the range bin in which the object exists.

특히, 단계 S1010에서, 신호 처리 모듈(123)은 FMCW 신호의 한 프레임에 포함된 복수 개의 처프 각각의 비트 주파수 신호를 주파수 변환하고, 주파수 변환된 복수개의 비트 주파수 신호의 크기의 합산값(도 4의 (c) 참조)이 소정의 임계값 이상이면, 생성된 비트 주파수 신호가 속하는 레인지 빈을 대상물이 존재하는 레인지 빈으로 추출할 수 있음은 상술한 바와 같다.In particular, in step S1010, the signal processing module 123 frequency-converts the beat frequency signal of each of the plurality of chirps included in one frame of the FMCW signal, and the sum of the magnitudes of the frequency-converted bit frequency signals (Fig. 4 As described above, when (c) of) is equal to or greater than a predetermined threshold, the range bin to which the generated beat frequency signal belongs can be extracted as a range bin in which the object exists.

또한, 단계 S1010에서, 신호 처리 모듈(123)은 확장 칼만 필터를 이용하여 시간 추이에 따른 대상물의 위치를 추적하며, FMCW 신호의 복수 개의 프레임에 걸쳐 각 프레임에 포함된 복수 개의 처프 각각의 해당 비트 주파수를 수집하고, 수집된 비트 주파수 신호의 단시간 푸리에 변환(STFT)을 통해 고해상도 마이크로 도플러 주파수 변화 패턴의 이미지를 생성할 수 있음은 상술한 바와 같다.In addition, in step S1010, the signal processing module 123 tracks the position of the object over time using the extended Kalman filter, and the corresponding bit of each of the plurality of chirps included in each frame over a plurality of frames of the FMCW signal As described above, it is possible to collect frequencies and generate an image of a high-resolution micro-Doppler frequency change pattern through a short-time Fourier transform (STFT) of the collected beat frequency signal.

마지막으로, CNN 모듈(124)은, 생성된 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 대상물(S)을 분류할 수 있다(S1020).Finally, the CNN module 124 may classify the object S according to the image of the generated micro Doppler frequency change pattern (S1020).

구체적으로, CNN 모듈(124) 중 도플러 특징 추출 모듈(124a)은, 마이크로 도플러 주파수 변화 패턴의 이미지를 기 학습된 컨볼루션 신경망 모델을 적용하여 마이크로 도플러 패턴 특징을 추출하며, CNN 모듈(124) 중 분류 모듈(124b)은 추출된 마이크로 도플러 패턴 특징에 따라 대상물을 보행자 또는 비보행자로 분류할 수 있음은 상술한 바와 같다.Specifically, the Doppler feature extraction module 124a of the CNN module 124 extracts the micro Doppler pattern features by applying a pre-learned convolutional neural network model to the image of the micro Doppler frequency change pattern, and the CNN module 124 As described above, the classification module 124b can classify the object as a pedestrian or non-pedestrian according to the extracted micro-Doppler pattern characteristics.

상술한 바와 같이, 본 발명의 일 실시 형태에 의하면, 송신된 FMCW 신호와 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수를 기반으로 생성된 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 대상물을 분류함으로써, 적은 계산량으로 대상물의 분류가 가능한 이점이 있다.As described above, according to an embodiment of the present invention, by classifying the object according to the image of the micro Doppler frequency change pattern generated based on the difference frequency between the transmitted FMCW signal and the received FMCW signal reflected by the object, There is an advantage that the object can be classified with a small amount of calculation.

상술한 본 발명의 일 실시 형태에 따른 차량용 레이더 센서를 이용한 신호 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The signal processing method using a radar sensor for a vehicle according to an embodiment of the present invention described above may be produced as a program for execution in a computer and stored in a computer-readable recording medium. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

또한, 본 발명을 설명함에 있어, '~모듈'은 다양한 방식, 예를 들면 프로세서, 프로세서에 의해 수행되는 프로그램 명령들, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 프로그램 생성물, 로직 회로, 애플리케이션 전용 집적 회로, 펌웨어 등에 의해 구현될 수 있다.In addition, in describing the present invention,'~ module' refers to various methods, for example, a processor, program instructions executed by a processor, a software module, a microcode, a computer program product, a logic circuit, an application-only integrated circuit, and a firmware. It can be implemented by

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.The present invention is not limited by the above-described embodiments and the accompanying drawings. It is intended to limit the scope of the rights by the appended claims, and that various types of substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention described in the claims, to those of ordinary skill in the art. It will be self-evident.

100: 신호 처리 장치
110: RF 모듈
111: 파형 발생기
112: 전압 제어 발진기
113: 전력 증폭기
114: 저잡음 증폭기
115: 주파수 합성기
121: 저역통과필터
122: A/D 컨버터
123: 신호 처리 모듈
124: CNN 모듈
124a: 도플러 특징 추출 모듈
124b: 분류 모듈100: signal processing unit
110: RF module
111: waveform generator
112: voltage controlled oscillator
113: power amplifier
114: low noise amplifier
115: frequency synthesizer
121: low pass filter
122: A/D converter
123: signal processing module
124: CNN module
124a: Doppler feature extraction module
124b: classification module

Claims (22)

송신된 FMCW(Frequency Modulation Continuous Wave) 신호와 시간에 따라 움직임 또는 움직임을 포함한 위치 중 어느 하나가 변하는 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 생성하는 RF 모듈;
생성된 상기 비트 주파수 신호를 기반으로 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는 신호 처리 모듈; 및
생성된 상기 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 상기 대상물을 분류하는 CNN(Convolution Neural Network) 모듈;을 포함하며,
상기 신호 처리 모듈은,
지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 상기 대상물이 존재하는 레인지 빈을 추출하고, 상기 대상물이 추출된 레인지 빈에 대하여 복수 개의 안테나를 통해 수신된 FMCW 신호의 수신 각도를 구하며,
확장 칼만 필터를 이용하여 상기 대상물의 위치를 추적하되, 추적된 위치를 기반으로 FMCW 신호의 복수개의 프레임에 걸쳐 각 프레임에 포함된 복수개의 처프 각각의 비트 주파수 신호의 단시간 푸리에 변환을 통해 상기 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하되, 한 프레임에 포함된 복수개의 처프 중 첫번째 처프에 대해서만 상기 수신 각도를 구하며,
상기 CNN(Convolution Neural Network) 모듈은,
생성된 상기 마이크로 도플러 주파수 변화 패턴의 이미지를 기 학습된 컨볼루션 신경망(CNN) 모델을 적용하여 마이크로 도플러 패턴 특징을 추출하는 도플러 특징 추출 모듈; 및
상기 도플러 특징 추출 모듈에서 추출한 마이크로 도플러 패턴 특징에 따라 상기 대상물을 보행자 또는 비보행자로 분류하는 분류 모듈;을 포함하고,
상기 컨볼루션 신경망(CNN) 모델은, 적어도 하나의 컨볼루션 레이어를 포함하는 7개의 컨벌루션 레이어 그룹, 에버리지 풀 레이어, 풀 커넥티드 레이어 및 소프트맥스 레이어를 포함하며, 적어도 하나의 컨볼루션 레이어 그룹은, 숏컷을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
An RF module that generates a beat frequency signal that is a difference frequency of the received FMCW signal by being reflected by the transmitted Frequency Modulation Continuous Wave (FMCW) signal and an object in which any one of motion or position including motion changes over time;
A signal processing module that generates an image of a micro Doppler frequency change pattern based on the generated beat frequency signal; And
Includes; Convolution Neural Network (CNN) module for classifying the object according to the image of the generated micro Doppler frequency change pattern; and
The signal processing module,
Extracting a range bin in which the object exists among a plurality of range bins obtained by converting a difference frequency according to a delay time into a distance, and obtaining a reception angle of the FMCW signal received through a plurality of antennas for the range bin from which the object is extracted. ,
The location of the object is tracked using an extended Kalman filter, but based on the tracked location, the micro Doppler is performed through a short-time Fourier transform of the beat frequency signal of each of the plurality of chirps included in each frame over a plurality of frames of the FMCW signal. An image of a frequency change pattern is generated, but the reception angle is obtained only for the first chirp among a plurality of chirps included in one frame,
The CNN (Convolution Neural Network) module,
A Doppler feature extraction module for extracting micro Doppler pattern features by applying a pre-learned convolutional neural network (CNN) model to the generated micro Doppler frequency change pattern image; And
Including; a classification module for classifying the object as a pedestrian or non-pedestrian according to the micro Doppler pattern feature extracted from the Doppler feature extraction module,
The convolutional neural network (CNN) model includes seven convolutional layer groups including at least one convolutional layer, an average full layer, a full connected layer, and a softmax layer, and at least one convolutional layer group, Signal processing apparatus using a vehicle radar including a shortcut.
 삭제delete 제1항에 있어서,
상기 신호 처리 모듈은,
생성된 상기 비트 주파수 신호를 주파수 변환하고,
주파수 변환된 상기 비트 주파수 신호의 크기가 소정의 임계값 이상이면 생성된 상기 비트 주파수 신호가 속하는 레인지 빈을 상기 대상물이 존재하는 레인지 빈으로 추출하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 1,
The signal processing module,
Frequency conversion of the generated beat frequency signal,
When the amplitude of the frequency-converted beat frequency signal is greater than or equal to a predetermined threshold value, the range bin to which the generated beat frequency signal belongs is extracted as a range bin in which the object exists.
 제3항에 있어서,
상기 신호 처리 모듈은,
FMCW 신호의 한 프레임에 포함된 복수개의 처프 각각의 비트 주파수 신호를 주파수 변환하고,
주파수 변환된 복수개의 비트 주파수 신호의 크기의 합산값이 소정의 임계값 이상이면, 생성된 상기 비트 주파수 신호가 속하는 레인지 빈을 상기 대상물이 존재하는 레인지 빈으로 추출하는,
차량용 레이더를 이용한 신호 처리 장치.
The method of claim 3,
The signal processing module,
Frequency conversion of the beat frequency signal of each of the plurality of chirps included in one frame of the FMCW signal,
If the sum of the magnitudes of the plurality of frequency-converted beat frequency signals is equal to or greater than a predetermined threshold, extracting a range bin to which the generated beat frequency signal belongs to a range bin in which the object exists,
Signal processing device using vehicle radar.
 삭제delete 삭제delete 제1항에 있어서,
상기 신호 처리 모듈은,
추적된 상기 대상물의 위치를 레인지 빈 대비 수신 각도를 나타내는 거리-각도 맵에 표시하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 1,
The signal processing module,
A signal processing apparatus using a vehicle radar for displaying the tracked position of the object on a distance-angle map indicating a reception angle compared to a range bin.
 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 7개의 컨벌루션 레이어 그룹은,
100×91×3 픽셀 크기의 이미지에서 5×5×3크기의 필터 16개를 1픽셀 간격으로 2패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어 그룹을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 1,
The seven convolutional layer groups,
In an image of 100×91×3 pixels, 16 filters of size 5×5×3 are moved up, down, left, and right by 2 padding at 1-pixel intervals to extract a feature map of a micro Doppler pattern of size 100×91×16. A signal processing apparatus using a vehicle radar including one convolutional layer group.
 제11항에 있어서,
상기 7개의 컨벌루션 레이어 그룹은,
상기 제1 컨벌루션 레이어 그룹을 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어와, 상기 제1 컨벌루션 레이어를 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어를 포함하는 제2 컨벌루션 레이어 그룹을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 11,
The seven convolutional layer groups,
In the 100×91×16 micro Doppler pattern feature map output through the first convolutional layer group, 16 filters of 3×3×16 size are moved up, down, left, and right by 1 padding at 1 pixel intervals, and 100×91 16 filters of size 3×3×16 in a first convolution layer for extracting a ×16 micro Doppler pattern feature map and a 100×91×16 micro Doppler pattern feature map output through the first convolutional layer A signal using a vehicle radar including a second convolution layer group including a second convolution layer that extracts a feature map of a 100×91×16 micro Doppler pattern by moving up, down, left, and right by 1 padding at 1 pixel intervals. Processing device.
 제12항에 있어서,
상기 7개의 컨벌루션 레이어 그룹은,
상기 제2 컨벌루션 레이어 그룹을 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어와, 상기 제1 컨벌루션 레이어를 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 16개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 100×91×16 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어를 포함하는 제3 컨벌루션 레이어 그룹을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 12,
The seven convolutional layer groups,
In the 100×91×16 micro Doppler pattern feature map output through the second convolutional layer group, 16 filters of 3×3×16 size are moved up, down, left, and right by 1 padding at 1 pixel intervals, and 100×91 16 filters of size 3×3×16 in a first convolution layer for extracting a ×16 micro Doppler pattern feature map and a 100×91×16 micro Doppler pattern feature map output through the first convolutional layer A signal using a vehicle radar, including a third convolution layer group including a second convolution layer that extracts a feature map of a micro Doppler pattern having a size of 100×91×16 by moving up, down, left, and right by 1 padding at 1 pixel intervals. Processing device.
 제13항에 있어서,
상기 7개의 컨벌루션 레이어 그룹은,
상기 제3 컨벌루션 레이어 그룹을 통해 출력된 100×91×16 크기의 마이크로 도플러 패턴 특징맵에서 3×3×16 크기의 필터 32개를 2픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어와, 상기 제1 컨벌루션 레이어를 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 32개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어를 포함하는 제4 컨벌루션 레이어 그룹을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 13,
The seven convolutional layer groups,
In the 100×91×16 micro Doppler pattern feature map output through the third convolutional layer group, 32 filters of 3×3×16 size are moved up, down, left, and right by 1 padding at 2 pixel intervals, and 50×46 A first convolutional layer for extracting a ×32-sized micro Doppler pattern feature map, and 32 filters having a size of 3 × 3 × 32 in the 50 × 46 × 32 micro-Doppler pattern feature map output through the first convolutional layer A signal using a vehicle radar, including a fourth convolution layer group including a second convolution layer that extracts a feature map of a micro Doppler pattern having a size of 50×46×32 by moving up, down, left, and right by 1 padding at 1 pixel intervals. Processing device.
 제14항에 있어서,
상기 7개의 컨벌루션 레이어 그룹은,
상기 제4 컨벌루션 레이어 그룹을 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 32개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어와, 상기 제1 컨벌루션 레이어를 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 32개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 50×46×32 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어를 포함하는 제5 컨벌루션 레이어 그룹을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 14,
The seven convolutional layer groups,
In the 50×46×32 micro Doppler pattern feature map output through the fourth convolutional layer group, 32 filters of 3×3×32 size are moved up, down, left, and right by 1 padding at 1 pixel intervals, and 50×46 A first convolutional layer for extracting a ×32-sized micro Doppler pattern feature map, and 32 filters having a size of 3 × 3 × 32 in the 50 × 46 × 32 micro-Doppler pattern feature map output through the first convolutional layer A signal using a vehicle radar, including a fifth convolution layer group including a second convolution layer that extracts a micro Doppler pattern feature map of a size of 50×46×32 by moving one padding at 1 pixel intervals in the vertical, left, and right directions Processing device.
 제15항에 있어서,
상기 7개의 컨벌루션 레이어 그룹은,
상기 제5 컨벌루션 레이어 그룹을 통해 출력된 50×46×32 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 64개를 2픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어와, 상기 제1 컨벌루션 레이어를 통해 출력된 25×23×64 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 64개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어를 포함하는 제6 컨벌루션 레이어 그룹을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 15,
The seven convolutional layer groups,
In the 50×46×32 micro Doppler pattern feature map output through the fifth convolutional layer group, 64 filters of 3×3×32 size are moved up/down/left/right by 1 padding at 2 pixel intervals, and 25×23 A first convolutional layer for extracting a ×64-sized micro-Doppler pattern feature map, and 64 filters of a size of 3 × 3 × 32 in the 25 × 23 × 64 micro-Doppler pattern feature map output through the first convolutional layer A signal using a vehicle radar, including a sixth convolution layer group including a second convolution layer for extracting a 25×23×64 micro-Doppler pattern feature map by moving one padding at a 1-pixel interval Processing device.
 제16항에 있어서,
상기 7개의 컨벌루션 레이어 그룹은,
상기 제6 컨벌루션 레이어 그룹을 통해 출력된 25×23×64 크기의 마이크로 도플러 패턴 특징맵에서 3×3×64 크기의 필터 64개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제1 컨벌루션 레이어와, 상기 제1 컨벌루션 레이어를 통해 출력된 25×23×64 크기의 마이크로 도플러 패턴 특징맵에서 3×3×32 크기의 필터 64개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 25×23×64 크기의 마이크로 도플러 패턴 특징맵을 추출하는 제2 컨벌루션 레이어를 포함하는 제7 컨벌루션 레이어 그룹을 포함하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 16,
The seven convolutional layer groups,
In the 25×23×64 micro Doppler pattern feature map output through the sixth convolutional layer group, 64 filters of 3×3×64 size are moved up, down, left, and right by 1 padding at 1 pixel intervals, and 25×23 A first convolutional layer for extracting a ×64-sized micro-Doppler pattern feature map, and 64 filters of a size of 3 × 3 × 32 in the 25 × 23 × 64 micro-Doppler pattern feature map output through the first convolutional layer A signal using a vehicle radar, including a seventh convolution layer group including a second convolution layer that extracts a 25×23×64 micro Doppler pattern feature map by moving one padding at a 1-pixel interval in the vertical, left, and right directions Processing device.
 제12항 내지 제17항 중 어느 한 항에 있어서,
상기 제2 컨벌루션 레이어 그룹 내지 상기 제7 컨벌루션 레이어 그룹은,
이전 단계에서 추출된 마이크로 도플러 패턴 특징맵과 현 단계에서 추출된 마이크로 도플러 패턴 특징맵의 요소별 정보를 숏컷을 통해 결합하는, 차량용 레이더를 이용한 신호 처리 장치.
The method according to any one of claims 12 to 17,
The second convolutional layer group to the seventh convolutional layer group,
A signal processing device using a vehicle radar that combines element-specific information of the micro Doppler pattern feature map extracted in the previous step and the micro Doppler pattern feature map extracted in the current step through a shortcut.
 제17항에 있어서,
상기 에버리지 풀 레이어는,
상기 제7 컨벌루션 레이어 그룹을 통해 출력된 23×23×64 크기의 마이크로 도플러 패턴 특징맵에서 7×7×64 크기의 필터 1개를 1픽셀 간격으로 1패딩씩 상하좌우방향으로 이동하여 1×1×64 크기의 마이크로 도플러 패턴 특징맵을 추출하고,
상기 풀 커넥티드 레이어는, 상기 에버리지 풀 레이어와 연결되어 64 및 2 노드들을 입력 및 출력으로 각각 가지며, 64×2 만큼의 가중치들을 이용하여 마이크로 마이크로 도플러 패턴 특징맵을 축소하고,
상기 소프트맥스 레이어는, 상기 풀 커넥티드 레이어를 통해 출력된 마이크로 마이크로 도플러 패턴 특징맵이 보행자 또는 비보행자일 확률을 산출하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 17,
The average full layer,
In the 23×23×64 micro Doppler pattern feature map output through the seventh convolutional layer group, 1 filter of 7×7×64 size is moved up, down, left, and right by 1 padding at 1 pixel intervals, and 1×1 Extracting a feature map of a ×64 micro-Doppler pattern,
The full connected layer is connected to the average full layer and has 64 and 2 nodes as inputs and outputs, respectively, and reduces the micro-micro Doppler pattern feature map by using weights of 64×2,
The softmax layer calculates a probability that the micro micro Doppler pattern feature map output through the full connected layer is a pedestrian or a non-pedestrian.
 제19항에 있어서,
상기 분류 모듈은,
산출된 상기 확률에 따라 상기 대상물을 보행자 또는 비보행자로 분류하는, 차량용 레이더를 이용한 신호 처리 장치.
The method of claim 19,
The classification module,
A signal processing apparatus using a vehicle radar for classifying the object as a pedestrian or non-pedestrian according to the calculated probability.
 RF 모듈에서, 송신된 FMCW(Frequency Modulation Continuous Wave) 신호와 시간에 따라 움직임 또는 움직임을 포함한 위치 중 어느 하나가 변하는 대상물에 의해 반사되어 수신된 FMCW 신호의 차 주파수인 비트 주파수 신호를 생성하는 제1 단계;
신호 처리 모듈에서, 생성된 상기 비트 주파수 신호를 기반으로 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하는 제2 단계; 및
CNN(Convolution Neural Network) 모듈에서, 생성된 상기 마이크로 도플러 주파수 변화 패턴의 이미지에 따라 상기 대상물을 분류하는 제3 단계;를 포함하며,
상기 제2 단계는,
지연 시간에 따른 차 주파수를 거리로 환산한 복수개의 레인지 빈 중 상기 대상물이 존재하는 레인지 빈을 추출하고, 상기 대상물이 추출된 레인지 빈에 대하여 복수 개의 안테나를 통해 수신된 FMCW 신호의 수신 각도를 구하며,
확장 칼만 필터를 이용하여 상기 대상물의 위치를 추적하되, 추적된 위치를 기반으로 FMCW 신호의 복수개의 프레임에 걸쳐 각 프레임에 포함된 복수개의 처프 각각의 비트 주파수 신호의 단시간 푸리에 변환을 통해 상기 마이크로 도플러 주파수 변화 패턴의 이미지를 생성하되, 한 프레임에 포함된 복수개의 처프 중 첫번째 처프에 대해서만 상기 수신 각도를 구하며,
상기 제3 단계는,
도플러 특징 추출 모듈에서, 생성된 상기 마이크로 도플러 주파수 변화 패턴의 이미지를 기 학습된 컨볼루션 신경망(CNN) 모델을 적용하여 마이크로 도플러 패턴 특징을 추출하는 단계; 및
분류 모듈에서 상기 도플러 특징 추출 모듈에서 추출한 마이크로 도플러 패턴 특징에 따라 상기 대상물을 보행자 또는 비보행자로 분류하는 단계;를 포함하고,
상기 컨볼루션 신경망(CNN) 모델은, 적어도 하나의 컨볼루션 레이어를 포함하는 7개의 컨벌루션 레이어 그룹, 에버리지 풀 레이어, 풀 커넥티드 레이어 및 소프트맥스 레이어를 포함하며, 적어도 하나의 컨볼루션 레이어 그룹은, 숏컷을 포함하는, 차량용 레이더를 이용한 신호 처리 방법.
In the RF module, the first frequency modulation continuous wave (FMCW) signal is reflected by an object whose movement or position including movement changes over time and generates a beat frequency signal that is a difference frequency between the received FMCW signal. step;
A second step of generating an image of a micro Doppler frequency change pattern based on the generated beat frequency signal, in a signal processing module; And
In a CNN (Convolution Neural Network) module, a third step of classifying the object according to the image of the generated micro Doppler frequency change pattern; includes,
The second step,
Extracting a range bin in which the object exists among a plurality of range bins obtained by converting a difference frequency according to a delay time into a distance, and obtaining a reception angle of the FMCW signal received through a plurality of antennas for the range bin from which the object is extracted. ,
The location of the object is tracked using an extended Kalman filter, but based on the tracked location, the micro Doppler is performed through a short-time Fourier transform of the beat frequency signal of each of the plurality of chirps included in each frame over a plurality of frames of the FMCW signal. An image of a frequency change pattern is generated, but the reception angle is obtained only for the first chirp among a plurality of chirps included in one frame,
The third step,
Extracting micro Doppler pattern features by applying a pre-learned convolutional neural network (CNN) model to the generated image of the micro Doppler frequency change pattern in a Doppler feature extraction module; And
Classifying the object as a pedestrian or non-pedestrian according to the micro Doppler pattern feature extracted from the Doppler feature extraction module in a classification module; Including,
The convolutional neural network (CNN) model includes seven convolutional layer groups including at least one convolutional layer, an average full layer, a full connected layer, and a softmax layer, and at least one convolutional layer group, Signal processing method using a vehicle radar, including a shortcut.
 제21항의 방법을 컴퓨터상에서 실행하기 위한 프로그램을 기록한, 컴퓨터로 독출 가능한 기록 매체.A computer-readable recording medium storing a program for executing the method of claim 21 on a computer.
KR1020200071633A 2020-06-12 2020-06-12 Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium KR102212109B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200071633A KR102212109B1 (en) 2020-06-12 2020-06-12 Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium
PCT/KR2021/006133 WO2021251637A1 (en) 2020-06-12 2021-05-17 Signal processing apparatus and method using vehicle radar sensor, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200071633A KR102212109B1 (en) 2020-06-12 2020-06-12 Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium

Publications (1)

Publication Number Publication Date
KR102212109B1 true KR102212109B1 (en) 2021-02-04

Family

ID=74558683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071633A KR102212109B1 (en) 2020-06-12 2020-06-12 Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium

Country Status (2)

Country Link
KR (1) KR102212109B1 (en)
WO (1) WO2021251637A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251637A1 (en) * 2020-06-12 2021-12-16 주식회사 이씨스 Signal processing apparatus and method using vehicle radar sensor, and computer-readable recording medium
KR102377226B1 (en) * 2021-09-02 2022-03-22 주식회사 세렉스 Machine learning-based perimeter intrusion detection system using radar
WO2023075919A1 (en) * 2021-10-27 2023-05-04 Aurora Operations, Inc. Vehicle radar sensor utilizing non-uniform frequency modulated continuous wave (fmcw) chirps

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006103391A1 (en) * 2005-03-29 2006-10-05 Qinetiq Limited Coherent frequency modulated continuous wave radar
KR20180042052A (en) 2016-10-17 2018-04-25 한국전자통신연구원 Target detection apparatus and method using fmcw radar
WO2018183546A1 (en) * 2017-03-28 2018-10-04 Sri International Identification system for subject or activity identification using range and velocity data
KR20190040637A (en) * 2017-10-11 2019-04-19 한국전자통신연구원 SYSTEM AND METHOD FOR ESTIMATING RADAR DoA
KR20200023221A (en) * 2018-08-23 2020-03-04 서울대학교산학협력단 Method and system for real-time target tracking based on deep learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102212109B1 (en) * 2020-06-12 2021-02-04 (주)이씨스 Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006103391A1 (en) * 2005-03-29 2006-10-05 Qinetiq Limited Coherent frequency modulated continuous wave radar
KR20180042052A (en) 2016-10-17 2018-04-25 한국전자통신연구원 Target detection apparatus and method using fmcw radar
WO2018183546A1 (en) * 2017-03-28 2018-10-04 Sri International Identification system for subject or activity identification using range and velocity data
KR20190040637A (en) * 2017-10-11 2019-04-19 한국전자통신연구원 SYSTEM AND METHOD FOR ESTIMATING RADAR DoA
KR20200023221A (en) * 2018-08-23 2020-03-04 서울대학교산학협력단 Method and system for real-time target tracking based on deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Aleksandar Angelov 외 3명. Practical classification of different moving targets using automotive radar and deep neural networks. IET Radar, Sonar & Navigation. vol.12, no.10. 2018.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251637A1 (en) * 2020-06-12 2021-12-16 주식회사 이씨스 Signal processing apparatus and method using vehicle radar sensor, and computer-readable recording medium
KR102377226B1 (en) * 2021-09-02 2022-03-22 주식회사 세렉스 Machine learning-based perimeter intrusion detection system using radar
WO2023075919A1 (en) * 2021-10-27 2023-05-04 Aurora Operations, Inc. Vehicle radar sensor utilizing non-uniform frequency modulated continuous wave (fmcw) chirps

Also Published As

Publication number Publication date
WO2021251637A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
KR102212109B1 (en) Apparatus and method of precessing signal using vehicular radar sensor, computer readable medium
US20230400566A1 (en) Systems and methods for interpolated virtual aperture radar tracking
US11506776B2 (en) Method and device with improved radar resolution
US11719811B2 (en) Method and device to improve radar data using reference data
CN104678396B (en) Surrounding enviroment detection method and device based on frequency modulated continuous wave radar
US20210124011A1 (en) Robust radar-centric perception system
KR20180090856A (en) Vehicle radar system configured to determine unoccupied domains
CN101273281A (en) Motor vehicle wheel behaviour and radar system
CN106597411A (en) Radar signal processing method
US11587204B2 (en) Super-resolution radar for autonomous vehicles
US20240053435A1 (en) Method and apparatus with radar signal processing
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
EP3418770B1 (en) Synthetic-aperture-radar signal processing device
Pollin et al. Convolutional long short-term memory networks for doppler-radar based target classification
JP2024514618A (en) DNN-based human face classification
JP3518363B2 (en) FMCW radar device, recording medium, and vehicle control device
CN112444802A (en) Target detection method and detection device for vehicle-mounted radar and vehicle
Pandey et al. Database of simulated inverse synthetic aperture radar images for short range automotive radar
JP2018165654A (en) Travelling road information estimation device and travelling road information estimation method
CN110308445B (en) Imaging method based on vehicle-mounted digital array frequency modulation continuous wave radar
KR102132296B1 (en) A target detection apparatus and method using the fmcw radar
JP2019200082A (en) Azimuth calculation device and azimuth calculation method
JP3407045B2 (en) Millimeter-wave sensor signal processing method
JP7261302B2 (en) radar equipment
KR20220066796A (en) Method and apparatus for radar signal processing

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant