KR102529179B1 - Passenger detection radar system and radar signal processing method performed thereby - Google Patents

Passenger detection radar system and radar signal processing method performed thereby Download PDF

Info

Publication number
KR102529179B1
KR102529179B1 KR1020220159625A KR20220159625A KR102529179B1 KR 102529179 B1 KR102529179 B1 KR 102529179B1 KR 1020220159625 A KR1020220159625 A KR 1020220159625A KR 20220159625 A KR20220159625 A KR 20220159625A KR 102529179 B1 KR102529179 B1 KR 102529179B1
Authority
KR
South Korea
Prior art keywords
data
target
artificial intelligence
detection
unit
Prior art date
Application number
KR1020220159625A
Other languages
Korean (ko)
Inventor
최수호
양희진
정정수
Original Assignee
(주)디지탈엣지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)디지탈엣지 filed Critical (주)디지탈엣지
Priority to KR1020220159625A priority Critical patent/KR102529179B1/en
Application granted granted Critical
Publication of KR102529179B1 publication Critical patent/KR102529179B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01534Passenger detection systems using field detection presence sensors using electromagneticwaves, e.g. infrared
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B60R2021/006Type of passenger

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

The present invention relates to a passenger detection radar system that detects passengers by transmitting a radar signal toward a detection target and receiving a reception signal reflected from the detection target, and a radar signal processing method performed thereby. The passenger detection radar system comprises: a data collection unit that collects ADC data received through radar reception channels; a 4D data detection unit that detects 4D data by performing primary signal processing on the collected data; a target feature detection unit that detects feature information of the target through secondary signal processing that extracts and combines new information based on the detected 4D data detection results; an artificial intelligence learning data collection unit that collects data detected by the target feature detection unit; a step-by-step artificial intelligence detection unit that performs tertiary signal processing on the results of artificial intelligence data learning; and a final target determination unit that determines the presence or absence of child passengers and the 3D spatial location thereof by using the final result of artificial intelligence learning and the result value of the 4D data detection unit. Therefore, it is possible to detect living things existing in the interior space of a vehicle, especially child passengers who are alone.

Description

승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법{PASSENGER DETECTION RADAR SYSTEM AND RADAR SIGNAL PROCESSING METHOD PERFORMED THEREBY}Passenger detection radar system and radar signal processing method performed therein

본 발명은 승객 탐지 레이더 시스템에 관한 것으로, 더욱 상세하게는 레이더 센서를 이용해서 건물이나 차량의 실내 공간에 존재하는 생명체, 특히 단독으로 존재하는 어린이 승객을 탐지하는 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법에 관한 것이다. The present invention relates to a passenger detection radar system, and more particularly, to a passenger detection radar system for detecting living beings existing in the interior space of a building or vehicle using a radar sensor, in particular, a child passenger existing alone, and a passenger detection radar system performed therein It relates to a radar signal processing method.

레이더 센서는 마이크로파(microwave)를 이용하여 전파를 송신하고 표적에서 반사된 일부 반사(reflection) 신호를 수신하여 거리, 속도, 각도 정보를 측정하는 감지수단이다.A radar sensor is a sensing means that transmits radio waves using microwaves and receives a partial reflection signal reflected from a target to measure distance, speed, and angle information.

최근에는 차량 주행 중 충돌을 방지하고, 안전운전을 지원하기 위해 차량에 레이더 센서가 적용되고 있다.Recently, radar sensors are being applied to vehicles to prevent collisions while driving and to support safe driving.

본 출원인은 하기의 특허문헌 1 및 특허문헌 2 등 다수에 레이더 센서 기술을 개시해서 특허 출원하여 등록받은 바 있다.The present applicant has disclosed and registered a radar sensor technology in a number of patent documents 1 and 2 below.

한편, 최근에는 레이더 센서를 이용해서 생체신호 정보를 검출하는 기술이 개발되고 있다. Meanwhile, recently, a technology for detecting bio-signal information using a radar sensor has been developed.

일반적으로, 종래기술에 따른 생체신호 측정장치는 접촉식 센서를 이용해서 호흡수나 심박수를 감지하였다.In general, a bio-signal measuring device according to the prior art detects a respiratory rate or a heart rate using a contact sensor.

그러나 화상 환자나 유아 등 접촉식 센서를 이용하기 어려운 경우, 레이더 센서를 이용해서 생체신호를 탐지하는 기술이 개발되고 있다. However, when it is difficult to use a contact sensor, such as a burn patient or an infant, a technology for detecting a biosignal using a radar sensor is being developed.

즉, 상기 생체신호 중에서 호흡 신호와 심박 신호는 주기성을 가짐에 따라, 주파수 변조 연속파(Frequency Modulated Continuous Wave, FMCW), 연속파(Continuous Wave, CW), 펄스(pulse), 초광대역(Ultra Wide Band, UWB) 레이더와 같이 전파를 이용하는 레이더 센서를 이용해서 생체신호의 주기적인 신호 특성을 탐지하여 호흡수와 심박수를 측정한다. That is, among the biosignals, as the respiration signal and the heartbeat signal have periodicity, frequency modulated continuous wave (FMCW), continuous wave (CW), pulse, ultra wide band, UWB) radar sensors that use radio waves, such as radar, are used to detect periodic signal characteristics of biosignals to measure respiratory rate and heart rate.

이와 같이, 레이더 센서는 기본적으로 호흡과 심박을 포함하는 생체신호의 도플러 주파수(Doppler Frequency) 특성을 기반으로 표적을 탐지하고, 생체신호 정보를 검출한다. As such, the radar sensor basically detects a target and detects biosignal information based on Doppler frequency characteristics of biosignals including respiration and heartbeat.

한편, 최근에는 차내 방치로 인한 어린이의 열사병 사고를 방지하기 위해, 차내 어린이 방치 감지 기능인 CPD(Child Persense Detection)가 실용화되고 있다. Meanwhile, recently, in order to prevent heat stroke accidents of children due to being left in a vehicle, CPD (Child Persense Detection), a function for detecting a child left in a vehicle, has been put into practical use.

특히, 유럽에서 자동차 평가를 담당하는 유로 NCAP는 2025년부터 차내 어린이 방치 사실을 직접 감지할 수 있는 센서를 장착하도록, 평가 기준을 엄격하게 규정하고 있다. In particular, Euro NCAP, which is in charge of vehicle evaluation in Europe, strictly regulates evaluation standards to install sensors that can directly detect the fact that children are left in cars from 2025.

종래기술에 따른 레이더 센서는 거리, 속도, 각도의 특정 범위 내에 생명체가 존재하는 경우, 알람을 발생한다. A radar sensor according to the prior art generates an alarm when a creature exists within a specific range of distance, speed, and angle.

그러나 종래기술에 따른 레이더 센서는 진동이나 외란에 대한 레이더 검출 데이터 특성이 생명체와 유사한 경우, 구별이 불가능한 한계가 있었다. However, the radar sensor according to the prior art has a limitation in that it is impossible to distinguish when the characteristics of radar detection data for vibration or disturbance are similar to those of living organisms.

그리고 종래기술에 따른 레이더 센서는 다양한 상황별 많은 양의 인공지능 학습을 위한 데이터를 필요로 함에 따라 학습시간이 증가하고, 머신 러닝(machine learning)이나 딥 러닝(deep learning)을 위한 고성능의 프로세서를 적용해야 함에 따라, 제품의 제조 비용이 증가하는 문제점이 있었다. In addition, as the radar sensor according to the prior art requires a large amount of data for artificial intelligence learning in various situations, the learning time increases, and a high-performance processor for machine learning or deep learning As it has to be applied, there is a problem in that the manufacturing cost of the product increases.

따라서 기본적인 레이더 탐지 정보를 기반으로 별도의 특징 정보를 추출, 조합해서 새로운 정보를 만들어서 인공지능 학습 데이터로 활용해서 차량 실내 상황을 정확하게 파악하고, 진동, 외란 등에 의한 오경보를 효과적으로 제거할 수 있는 기술의 개발이 요구되고 있다. Therefore, based on basic radar detection information, separate feature information is extracted and combined to create new information and used as artificial intelligence learning data to accurately grasp the situation inside the vehicle and effectively eliminate false alarms caused by vibration and disturbance. development is required.

대한민국 특허 등록번호 제10-1513878호(2015년 4월 22일 공고)Korean Patent Registration No. 10-1513878 (published on April 22, 2015) 대한민국 특허 등록번호 제10-1505044호(2015년 3월 24일 공고)Republic of Korea Patent Registration No. 10-1505044 (Announced on March 24, 2015)

본 발명의 목적은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 건물이나 차량의 실내 공간에 존재하는 생명체, 특히 단독으로 존재하는 어린이 승객을 탐지할 수 있는 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법을 제공하는 것이다. An object of the present invention is to solve the above problems, and a passenger detection radar system capable of detecting living things existing in the interior space of a building or vehicle, in particular, a child passenger existing alone, and a radar signal performed by the passenger detection radar system to provide a treatment method.

본 발명의 다른 목적은 기본적인 레이더 탐지 정보를 기반으로 특징 정보를 추출, 조합해서 새로운 정보를 만들고, 인공지능 학습 데이터로 활용해서 어린이 승객을 탐지할 수 있는 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법을 제공하는 것이다. Another object of the present invention is a passenger detection radar system capable of detecting a child passenger by extracting and combining feature information based on basic radar detection information to create new information and using it as artificial intelligence learning data, and a radar signal performed in the passenger detection radar system to provide a treatment method.

본 발명의 또 다른 목적은 진동, 외란 등에 의한 오경보를 효과적으로 제거해서 탐지 결과에 대한 정밀도를 향상시킬 수 있는 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법을 제공하는 것이다.Another object of the present invention is to provide a passenger detection radar system and a radar signal processing method performed in the passenger detection radar system capable of improving the accuracy of detection results by effectively removing false alarms caused by vibration, disturbance, and the like.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 승객 탐지 레이더 시스템은 탐지 대상을 향해 레이더 신호를 송신하고 탐지 대상으로부터 반사되는 수신신호를 수신해서 승객을 탐지하도록, 레이더 수신 채널들로 수신되는 ADC 데이터를 수집하는 데이터 수집부, 수집된 데이터에 대해 1차 신호처리를 수행해서 4D 데이터를 검출하는 4D 데이터 검출부, 검출된 4D 데이터 검출 결과를 기반으로 새로운 정보를 추출하고 조합하는 2차 신호처리를 통해 표적의 특징 정보를 검출하는 표적 특징 검출부, 상기 표적 특징 검출부에서 검출된 데이터를 수집하는 인공지능 학습 데이터 수집부, 인공지능 데이터 학습을 수행한 결과를 3차 신호처리하는 단계적 인공지능 검출부 및 인공지능 학습을 수행한 최종 결과와 상기 4D 데이터 검출부의 결과 값을 활용해서 어린이 승객의 존재 여부 및 3차원 공간 위치를 판단하는 최종 표적 판단부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the passenger detection radar system according to the present invention transmits a radar signal toward a detection target and receives a received signal reflected from the detection target to detect a passenger, which is received through radar reception channels. A data collection unit that collects ADC data, a 4D data detector that detects 4D data by performing primary signal processing on the collected data, and a secondary signal processing that extracts and combines new information based on the detected 4D data detection results. A target feature detection unit detecting target feature information through a target feature detection unit, an artificial intelligence learning data collection unit collecting data detected by the target feature detection unit, and a step-by-step artificial intelligence detection unit performing tertiary signal processing of the result of artificial intelligence data learning, and It is characterized in that it includes a final target determining unit for determining the presence or absence of a child passenger and a 3D space position by using the final result of artificial intelligence learning and the resultant value of the 4D data detection unit.

또한, 상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법은 탐지 대상을 향해 레이더 신호를 송신하고 탐지 대상으로부터 반사되는 수신신호를 수신해서 승객을 탐지하도록, (a) 데이터 수집부에서 레이더 수신 채널들로 수신되는 ADC 데이터를 수집하는 단계, (b) 4D 데이터 검출부에서 수집된 데이터에 대해 1차 신호처리를 수행해서 4D 데이터를 검출하는 단계, (c) 표적 특징 검출부에서 검출된 4D 데이터 검출 결과를 기반으로 새로운 정보를 추출하고 조합하는 2차 신호처리를 통해 표적의 특징 정보를 검출하는 단계, (d) 인공지능 학습 데이터 수집부에서 상기 표적 특징 검출부에서 검출된 데이터를 수집하는 단계, (e) 단계적 인공지능 검출부에서 인공지능 데이터 학습을 수행한 결과를 3차 신호처리하는 단계 및 (f) 최종 표적 판단부에서 인공지능 학습을 수행한 최종 결과와 상기 4D 데이터 검출부의 결과 값을 활용해서 어린이 승객의 존재 여부 및 3차원 공간 위치를 판단하는 단계를 포함하는 것을 특징으로 한다. In addition, in order to achieve the above object, the radar signal processing method performed in the passenger detection radar system according to the present invention detects passengers by transmitting a radar signal toward a detection target and receiving a received signal reflected from the detection target. (a) collecting ADC data received through radar reception channels in the data collection unit, (b) detecting 4D data by performing primary signal processing on the data collected by the 4D data detection unit, ( c) detecting the feature information of the target through secondary signal processing to extract and combine new information based on the 4D data detection result detected by the target feature detector, (d) the target feature in the artificial intelligence learning data collection unit Collecting data detected by the detection unit, (e) tertiary signal processing of the result of artificial intelligence data learning in the staged artificial intelligence detection unit, and (f) final result of artificial intelligence learning in the final target determination unit. and determining whether a child passenger exists and a 3D space location by utilizing the result value of the 4D data detection unit.

상술한 바와 같이, 본 발명에 따른 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법에 의하면, 차량의 실내 공간에 존재하는 생명체, 특히 단독으로 존재하는 어린이 승객을 탐지할 수 있다는 효과가 얻어진다.As described above, according to the passenger detection radar system and the radar signal processing method performed in the passenger detection radar system according to the present invention, an effect of being able to detect living organisms existing in the interior space of a vehicle, in particular, a child passenger existing alone, is obtained. .

그리고 본 발명에 의하면, 기본적인 레이더 탐지 정보를 기반으로 표적의 특징 정보를 추출, 조합해서 새로운 특징 정보를 만들고, 인공지능 학습 데이터로 활용해서 어린이 승객의 존재 여부를 정확하게 탐지할 수 있다는 효과가 얻어진다. And according to the present invention, based on the basic radar detection information, the feature information of the target is extracted and combined to create new feature information, and it is used as artificial intelligence learning data to accurately detect the presence of child passengers. .

또한, 본 발명에 의하면, 진동, 외란 등에 의한 오경보를 효과적으로 제거해서 탐지 결과에 대한 정밀도를 향상시킬 수 있다는 효과가 얻어진다. In addition, according to the present invention, it is possible to effectively remove false alarms caused by vibration, disturbance, etc., thereby improving the accuracy of detection results.

도 1은 본 발명의 바람직한 실시 예에 따른 승객 탐지 레이더 시스템의 구성도,
도 2는 도 1에 도시된 레이더 신호처리부의 구성도,
도 3은 도 2에 도시된 단계적 인공지능 학습부의 구성도,
도 4 내지 도 9는 각각 단계별 인공지능 학습 과정을 설명하는 도면,
도 10은 본 발명의 바람직한 실시 예에 따른 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법을 단계별로 설명하는 흐름도.
1 is a configuration diagram of a passenger detection radar system according to a preferred embodiment of the present invention;
2 is a configuration diagram of a radar signal processing unit shown in FIG. 1;
3 is a configuration diagram of the step-by-step artificial intelligence learning unit shown in FIG. 2;
4 to 9 are diagrams for explaining a step-by-step artificial intelligence learning process, respectively;
10 is a flowchart illustrating a radar signal processing method performed in a passenger detection radar system according to a preferred embodiment of the present invention step by step.

이하 본 발명의 바람직한 실시 예에 따른 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법을 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, a passenger detection radar system and a radar signal processing method performed therein according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시 예에 따른 승객 탐지 레이더 시스템의 구성도이고, 도 2는 도 1에 도시된 레이더 신호처리부의 구성도이다.1 is a configuration diagram of a passenger detection radar system according to a preferred embodiment of the present invention, and FIG. 2 is a configuration diagram of a radar signal processing unit shown in FIG. 1 .

본 실시 예에서 생체신호는 탐지 대상의 호흡을 감지한 신호이거나, 심박을 감지한 신호, 또는 호흡과 심박을 동시에 감지한 신호일 수 있다. In this embodiment, the biosignal may be a signal obtained by detecting breathing of the detection target, a signal detected by heartbeat, or a signal detected by simultaneously detecting breathing and heartbeat.

본 발명의 바람직한 실시 예에 따른 레이더 시스템(10)은 도 1 및 도 2에 도시된 바와 같이, 탐지 대상을 향해 레이더 신호(이하 '송신신호'라 합니다)를 송신하고 탐지 대상으로부터 반사되는 수신신호를 수신하는 안테나부(11), 상기 송신신호를 발생하는 레이더 송신부(12)와 수신 안테나(22)를 통해 수신되는 수신신호의 데이터를 처리하는 레이더 수신부(13) 및 상기 송신신호를 발생하도록 제어신호를 발생하고 상기 수신신호를 신호처리하여 생체신호 정보를 탐지하는 신호처리용 프로세서(14)를 포함할 수 있다.As shown in FIGS. 1 and 2, the radar system 10 according to a preferred embodiment of the present invention transmits a radar signal (hereinafter referred to as a 'transmission signal') toward a detection target and receives a signal reflected from the detection target. The antenna unit 11 for receiving, the radar transmitter 12 for generating the transmission signal, the radar receiver 13 for processing the data of the received signal received through the receiving antenna 22, and control to generate the transmission signal It may include a signal processing processor 14 that generates a signal and processes the received signal to detect biosignal information.

이와 같이 구성되는 탑승객 탐지 레이더 시스템(10)은 24㎓, 60㎓, 77㎓, 79㎓ 등 다양한 주파수대를 이용하는 다양한 레이더 장치에 적용될 수 있다.The passenger detection radar system 10 configured as described above can be applied to various radar devices using various frequency bands such as 24 GHz, 60 GHz, 77 GHz, and 79 GHz.

안테나부(11)는 송신신호를 송신하는 송신 안테나(21)와 수신신호를 수신하는 수신 안테나(22)를 포함할 수 있다. The antenna unit 11 may include a transmission antenna 21 for transmitting a transmission signal and a reception antenna 22 for receiving a reception signal.

레이더 송신부(12)는 신호처리용 프로세서(14)의 제어신호에 따라 원하는 발진 주파수의 송신신호를 출력하고, 레이더 수신부(13)는 수신된 수신신호를 증폭하고, 수신신호의 데이터를 처리할 수 있다. The radar transmitter 12 outputs a transmission signal of a desired oscillation frequency according to the control signal of the signal processing processor 14, and the radar receiver 13 amplifies the received signal and processes the data of the received signal. there is.

신호처리용 프로세서(14)는 레이더 송신부(12)의 구동을 제어하는 레이더 송신 제어부(41), 레이더 수신부(13)의 구동을 제어하는 레이더 수신 제어부(42), 외부에 마련된 장치와 통신하는 통신부(43) 및 감지된 생체신호의 신호처리를 통해 생체신호 정보를 탐지하는 레이더 신호처리부(44)를 포함할 수 있다. The signal processing processor 14 includes a radar transmission control unit 41 that controls driving of the radar transmission unit 12, a radar reception control unit 42 that controls driving of the radar reception unit 13, and a communication unit that communicates with an external device. (43) and a radar signal processing unit 44 for detecting biosignal information through signal processing of the detected biosignal.

레이더 송신 제어부(41)는 송신신호의 레이더 파형과 송신 파워(Tx Power)를 조절하도록 제어신호를 발생할 수 있다. The radar transmission controller 41 may generate a control signal to adjust the radar waveform and transmission power (Tx Power) of the transmission signal.

레이더 수신 제어부(42)는 수신신호의 수신 이득(Rx Gain)를 조절하고, 밴드패드필터를 조절하도록 제어신호를 발생할 수 있다. The radar reception control unit 42 may generate a control signal to adjust the reception gain (Rx Gain) of the received signal and to adjust the band pad filter.

레이더 수신 제어부(42)는 아날로그 신호 형태의 수신신호(Rx)를 디지털 신호로 변환하는 아날로그 디지털 컨버터(이하 'ADC'라 함)를 포함할 수 있다. The radar reception controller 42 may include an analog-to-digital converter (hereinafter referred to as 'ADC') that converts the received signal Rx in the form of an analog signal into a digital signal.

즉, 레이더 수신 제어부(42)는 수신 안테나(22)의 개수에 대응되는 복수의 ADC를 포함하고, 각 ADC는 각 수신 안테나(22)를 통해 수신된 수신신호를 ADC 처리할 수 있다. That is, the radar reception control unit 42 includes a plurality of ADCs corresponding to the number of reception antennas 22, and each ADC may ADC-process the reception signal received through each reception antenna 22.

한편, 레이더 센서는 표적과의 거리, 표적의 속도 및 방위각과 고각 정보를 포함하는 각도 정보를 감지해서 4D 데이터를 검출할 수 있다. Meanwhile, the radar sensor may detect 4D data by detecting angle information including a distance to the target, speed of the target, and azimuth and elevation information.

호흡 신호는 들숨과 날숨으로 구성되고, 주기적인 특성을 갖는다. 그리고 어린이의 호흡 신호는 성인의 호흡 신호에 비해 상대적으로 크기가 작은 특성을 갖는다. The respiratory signal consists of inhalation and exhalation and has a periodic characteristic. In addition, the child's respiratory signal has a relatively small size compared to the adult's respiratory signal.

그래서 레이더 센서는 호흡 신호와 같이 주기적인 특성을 갖는 생체 신호를 감지해서 상기한 4D 데이터를 검출할 수 있다. Therefore, the radar sensor can detect the 4D data by detecting a biosignal having periodic characteristics such as a breathing signal.

본 발명에서 레이더 시스템(10)은 특정 범위의 거리, 속도, 각도 내에 생명체가 존재하는 경우, 특히 어린이가 단독으로 존재하는 경우, 어린이 존재 감지 알람을 발생한다. In the present invention, the radar system 10 generates a child presence detection alarm when a living creature exists within a specific range of distance, speed, and angle, particularly when a child exists alone.

일반적으로, 생명체 이외의 진동이나 외란 등에 의한 레이더 검출 데이터가 생명체와 유사한 특성을 갖는 경우, 생명체 표적의 구별이 불가능해짐에 따라 오경보가 증가한다. In general, when radar detection data caused by vibrations or disturbances other than living things have characteristics similar to those of living things, false alarms increase as it becomes impossible to distinguish living targets.

그래서 본 발명은 오경보를 감소시키기 위해, 인공지능 데이터 학습을 활용해서 생명체의 존재 여부, 어린이 단독 여부, 진동이나 외란과 구별 및 판단한다. Therefore, in order to reduce false alarms, the present invention utilizes artificial intelligence data learning to distinguish and determine whether there is a living being, whether a child is alone, and distinguishing from vibration or disturbance.

그리고 본 발명은 인공지능 학습을 위해 많은 양의 학습 데이터와 고성능 프로세서를 적용하는 대신에, 저사양의 프로세서를 적용하고 적은 양의 학습 데이터를 사용해서 생명체와 진동이나 외란 특성을 정확하게 추출한다. And instead of applying a large amount of learning data and a high-performance processor for artificial intelligence learning, the present invention applies a low-end processor and uses a small amount of learning data to accurately extract life forms, vibrations, and disturbance characteristics.

이를 위해, 레이더 신호처리부(44)는 레이더 수신 채널들로 수신되는 ADC 데이터를 수집하는 데이터 수집부(51), 수집된 데이터에 대해 1차 신호처리를 수행해서 4D 데이터를 검출하는 4D 데이터 검출부(52), 검출된 4D 데이터 검출 결과를 기반으로 새로운 정보를 추출하고 조합하는 2차 신호처리를 통해 표적의 특징 정보를 검출하는 표적 특징 검출부(53), 표적 특징 검출부(53)에서 검출된 데이터를 수집하는 인공지능 학습 데이터 수집부(54), 인공지능 데이터 학습을 수행한 결과를 3차 신호처리하는 단계적 인공지능 검출부(55) 및 인공지능 학습을 수행한 최종 결과와 4D 데이터 검출부(52)의 결과 값을 활용해서 어린이 승객의 존재 여부 및 3차원 공간 위치를 판단하는 최종 표적 판단부(56)를 포함한다. To this end, the radar signal processing unit 44 includes a data collection unit 51 that collects ADC data received through radar reception channels and a 4D data detection unit that detects 4D data by performing primary signal processing on the collected data ( 52), a target feature detector 53 that detects target feature information through secondary signal processing that extracts and combines new information based on the detected 4D data detection result, and the data detected by the target feature detector 53 The collection of artificial intelligence learning data collection unit 54, the staged artificial intelligence detection unit 55 for tertiary signal processing of the result of artificial intelligence data learning, and the final result of artificial intelligence learning and 4D data detection unit 52 and a final target determining unit 56 for determining whether a child passenger exists and a 3D spatial position by using the resulting value.

이와 함께, 레이더 신호처리부(44)는 상기 표적의 특징 정보를 인공 지능 입력으로 활용해서 단계별로 분류하고, 구별된 표적의 특징 정보 검출 결과를 학습하는 단계적 인공지능 학습부(57)를 더 포함할 수 있다. In addition, the radar signal processing unit 44 may further include a step-by-step artificial intelligence learning unit 57 that classifies the target feature information in stages by using the target feature information as an artificial intelligence input and learns a result of detecting the feature information of the differentiated target. can

데이터 수집부(51)는 단일 및 복수 개의 수신 채널을 통해 수집된 ADC 데이터를 거리와 속도, 각도 정보를 파라미터로 하는 3D ADC 데이터 큐브 형태로 저장할 수 있다. The data collection unit 51 may store ADC data collected through single and multiple reception channels in the form of a 3D ADC data cube having distance, speed, and angle information as parameters.

4D 데이터 검출부(52)는 거리 및 속도 정보와 각도 정보, 즉 고각 및 방위각 정보를 포함하는 4D 데이터를 검출하기 위해, 4D 고속 푸리에 변환(Fast Fourier Transform, 이하 'FFT'라 함)을 수행해서 다중 표적을 검출하며, 다중 표적 클러스터링을 수행할 수 있다. The 4D data detector 52 performs a 4D Fast Fourier Transform (FFT) to detect 4D data including distance and speed information and angle information, that is, elevation and azimuth information, Targets are detected and multi-target clustering can be performed.

이를 통해, 4D 데이터 검출부(52)는 기본적으로 레이더 신호처리를 통해 얻을 수 있는 표적 정보를 검출할 수 있다. Through this, the 4D data detection unit 52 can basically detect target information that can be obtained through radar signal processing.

표적 특징 검출부(53)는 4D 데이터 검출부(52)에서 검출된 4D 데이터를 검출된 4D 데이터 검출 결과를 기반으로 새로운 정보를 추출하고 조합하는 2차 신호처리를 통해 표적의 특징 정보를 검출할 수 있다. The target feature detection unit 53 may detect feature information of the target through secondary signal processing of extracting and combining the 4D data detected by the 4D data detection unit 52 with new information based on the detected 4D data detection result. .

예를 들어, 표적 특징 검출부(53)는 상기 4D 데이터에 포함된 거리 정보와 속도 정보를 조합하거나, 거리 정보와 각도 정보를 조합하거나, 각도 정보와 크기 정보를 조합하거나, 또는 시간 정보와 속도 정보를 조합해서 표적의 신규 특징 정보를 도출할 수 있다. For example, the target feature detection unit 53 combines distance information and speed information included in the 4D data, distance information and angle information, angle information and size information, or time information and speed information. New feature information of the target may be derived by combining.

물론, 본 발명은 반드시 이에 한정되는 것은 아니며, 필요에 따라 4D 데이터에 포함된 2가지 정보 이상을 다양한 형태의 조합으로 선택적으로 적용해서 표적의 신규 특징 정보를 도출할 수 있다. Of course, the present invention is not necessarily limited thereto, and new feature information of a target may be derived by selectively applying two or more pieces of information included in 4D data in various types of combinations as needed.

인공지능 학습 데이터 수집부(54)는 표적 특징 검출부에서 검출된 데이터를 수집해서 단계적 인공지능 학습부(57)에 제공하고, 단계적 인공지능 학습부(57)와 연계하여 데이터를 학습하며, 각 단계별 기능(function)에 필요한 학습 데이터를 분류 및 구별할 수 있다. The artificial intelligence learning data collection unit 54 collects the data detected by the target feature detection unit, provides it to the staged artificial intelligence learning unit 57, learns the data in conjunction with the staged artificial intelligence learning unit 57, and learns the data for each stage. It is possible to classify and distinguish learning data required for a function.

단계적 인공지능 학습부(57)는 학습 데이터의 양을 줄이고 학습 데이터 간 간섭 영향을 줄이기 위해, 단계별 인공지능 구조를 적용해서 표적의 특징 정보 검출 결과를 단계별 인공지능의 입력으로 활용할 수 있다. The step-by-step artificial intelligence learning unit 57 may apply a step-by-step artificial intelligence structure and use the target feature information detection result as an input for step-by-step artificial intelligence in order to reduce the amount of learning data and reduce the influence of interference between learning data.

그리고 단계적 인공지능 학습부(57)는 이전 단계 인공 지능 학습 결과와 신규 표적의 특징 정보 검출 결과를 다음 단계 인공지능 학습 입력으로 사용할 수 있다. Further, the step-by-step AI learning unit 57 may use the previous step AI learning result and the feature information detection result of the new target as the next step AI learning input.

이와 같이, 본 실시 예에서 단계적 인공지능 학습부(57)에 단계별 인공지능 구조를 적용함에 따라, 신규 인공지능 기능이 필요한 경우 용이하게 기능을 추가할 수 있다. In this way, as the step-by-step artificial intelligence structure is applied to the step-by-step artificial intelligence learning unit 57 in this embodiment, a new artificial intelligence function can be easily added if necessary.

그래서 단계적 인공지능 검출부(55)는 단계적 인공지능 학습부(57)를 통해 학습된 인공지능 최적 파라미터를 적용할 수 있다. So, the step-by-step artificial intelligence detection unit 55 may apply the artificial intelligence optimal parameters learned through the step-by-step artificial intelligence learning unit 57 .

예를 들어, 단계적 인공지능 검출부(55)는 단계적 인공지능 학습부(57)의 단계별 기능 구조를 동일하게 해서 마이크로컨트롤러유닛(MCU)의 소프트웨어 구현에 적용할 수 있다. For example, the step-by-step artificial intelligence detection unit 55 can apply the step-by-step functional structure of the step-by-step artificial intelligence learning unit 57 to the software implementation of a microcontroller unit (MCU).

이와 같은 인공지능 데이터 학습을 통해 얻는 최적 파라미터는 레이더 신호처리부(44)에서 수행될 수도 있으나, 레이더 시스템(10)에 적용되는 신호처리용 프로레서(14)의 부하를 최소화하고 고사양 프로세서 적용으로 인한 비용을 저감하기 위해, 레이더 시스템(10) 외부의 컴퓨터 단말이나 서버(도면 미도시)에서 수행한 후 적용할 수 있다. 즉, 단계적 인공지능 학습부(57)는 외부의 컴퓨터 단말이나 서버에 마련되고, 통신부(43)를 통해 레이더 신호처리부(44)와 학습 데이터의 송수신이 가능하게 연결될 수 있다. Although the optimal parameters obtained through such artificial intelligence data learning may be performed in the radar signal processing unit 44, the load of the processor 14 for signal processing applied to the radar system 10 is minimized and the high-specification processor is applied. In order to reduce the cost, it can be applied after being performed in a computer terminal or server (not shown) outside the radar system 10. That is, the step-by-step artificial intelligence learning unit 57 is provided in an external computer terminal or server, and can be connected to the radar signal processing unit 44 through the communication unit 43 to enable transmission and reception of learning data.

최종 표적 판단부(56)는 단계적 인공지능 학습부(57)의 최종 결과와 4D 데이터 검출부(52)의 검출 결과 값을 활용해서 최종적으로 어린이 승객의 존재 여부 및 3차원 공간의 위치를 판단할 수 있다. The final target determination unit 56 may finally determine the existence of a child passenger and the position in the 3D space by utilizing the final result of the step-by-step artificial intelligence learning unit 57 and the detection result value of the 4D data detection unit 52. there is.

이어서, 도 3 내지 도 9를 참조해서 단계적 인공지능 학습 과정을 설명한다. Next, a step-by-step artificial intelligence learning process will be described with reference to FIGS. 3 to 9 .

도 3은 도 2에 도시된 단계적 인공지능 학습부의 구성도이고, 도 4 내지 도 9는 각각 단계별 인공지능 학습 과정을 설명하는 도면이다. 3 is a configuration diagram of the step-by-step artificial intelligence learning unit shown in FIG. 2, and FIGS. 4 to 9 are diagrams explaining the step-by-step artificial intelligence learning process, respectively.

도 4에는 기능 #1 인공지능 학습부의 구성 예시되어 있고, 도 5에는 기능 #1 인공지능 학습 로직이 예시되어 있으며, 도 6에는 기능 #1 인공지능 학습 결과가 예시되어 있다. 그리고 도 7에는 기능 #2 인공지능 학습부의 구성이 예시되어 있고, 도 8에는 기능 #2 인공지능 학습 로직이 예시되어 있으며, 도 9에는 기능 #2 기능 인공지능 학습 결과가 예시되어 있다. 4 illustrates the configuration of the function #1 artificial intelligence learning unit, FIG. 5 illustrates the function #1 artificial intelligence learning logic, and FIG. 6 illustrates the function #1 artificial intelligence learning result. In addition, FIG. 7 illustrates the configuration of the function #2 AI learning unit, FIG. 8 illustrates the function #2 AI learning logic, and FIG. 9 illustrates the function #2 AI learning result.

단계적 인공지능 학습부(57)는 도 3에 도시된 바와 같이, 단계적 기능의 종류를 정의한다. As shown in FIG. 3, the step-by-step artificial intelligence learning unit 57 defines the type of step-by-step function.

예를 들어, 첫번째 기능(이하 '기능 #1'이라 함)은 표적의 존재, 기능 #2는 진동이나 외란, 기능 #3은 생명체 존재, 기능 #4는 승객 존재, 기능 #5는 어린이 승객 존재 여부로 정의될 수 있다. For example, the first function (hereafter referred to as 'function #1') is the presence of a target, function #2 is vibration or disturbance, function #3 is a living being, function #4 is a passenger, and function #5 is a child passenger. It can be defined as whether

물론, 본 발명은 반드시 이에 한정되는 것은 아니며, 단계적 기능의 개수, 각 기능의 정의를 다양하게 변경할 수 있다. Of course, the present invention is not necessarily limited to this, and the number of step-by-step functions and the definition of each function can be variously changed.

여기서, 각 인공지능 기능의 단계별 인공지능 학습 결과는 단계별 인공지능 결과를 그대로 사용하거나, 단계별로 인공지능 결과를 추가 가공하여 사용하거나, 단계별 인공지능 결과와 표적 특징 정보를 조합하여 신규 특징 정보를 도출하여 사용하는 방안을 통해 활용될 수 있다. Here, as the AI learning result of each AI function, the AI result of each stage is used as it is, the AI result of each stage is additionally processed and used, or new feature information is derived by combining the AI result of each stage and target feature information. It can be utilized through the method used by the user.

본 실시 예에서는 단계적 기능 종류 및 정의와 단계별 인공지능 학습 결과를 활용하고, 표적 특징 정보 그룹 매핑은 인공지능 학습 데이터 수집부(54)의 수집 결과물을 비교 분석하여 생성하는 것으로 설명한다.In this embodiment, step-by-step function types and definitions and step-by-step AI learning results are used, and target feature information group mapping is described as being generated by comparing and analyzing collection results of the AI learning data collection unit 54.

예를 들어, 단계적 인공지능 학습부(57)는 표적 특징 정보 그룹 #1 내지 표적 특징 정보 그룹 #N을 각각 입력받아 인공지능 학습을 수행하는 기능 #1 내지 기능 #N 인공지능 학습부(571 내지 57N)를 포함할 수 있다. For example, the step-by-step artificial intelligence learning unit 57 receives target feature information group #1 to target feature information group #N and performs artificial intelligence learning function #1 to function #N artificial intelligence learning units 571 to 571 57N) may be included.

그래서 기능 #1 인공지능 학습부(571)는 도 4 내지 도 6에 도시된 바와 같이, 표적 특징 정보 그룹 #1을 입력받아 인공지능 학습을 수행한다. Accordingly, the function #1 artificial intelligence learning unit 571 receives the target feature information group #1 and performs artificial intelligence learning, as shown in FIGS. 4 to 6 .

기능 #2 인공지능 학습부(572) 내지 기능 #1 인공지능 학습부(57N)는 각각 도 7 내지 도 9에 도시된 바와 같이, 표적 특징 정보 그룹 #2 내지 표적 특징 정보 그룹 #N과 이전의 인공지능 학습부(571 내지 57N-1)에서 학습한 결과, 즉 기능 #1 인공지능 학습 결과 내지 기능 #N-1 인공지능 학습결과를 입력받아 인공지능 학습을 수행할 수 있다. Function #2 artificial intelligence learning unit 572 to function #1 artificial intelligence learning unit 57N, as shown in FIGS. 7 to 9 , respectively, target feature information group #2 to target feature information group #N and previous Artificial intelligence learning may be performed by receiving a learning result from the artificial intelligence learning units 571 to 57N-1, that is, a function #1 artificial intelligence learning result or a function #N-1 artificial intelligence learning result.

다음, 도 10을 참조해서 본 발명의 바람직한 실시 예에 따른 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법을 상세하게 설명한다. Next, a radar signal processing method performed in a passenger detection radar system according to a preferred embodiment of the present invention will be described in detail with reference to FIG. 10 .

도 10은 본 발명의 바람직한 실시 예에 따른 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법을 단계별로 설명하는 흐름도이다. 10 is a flowchart illustrating a radar signal processing method performed in a passenger detection radar system according to a preferred embodiment of the present invention step by step.

먼저, 레이더 송수신부(12)는 신호처리용 프로세서(14)의 레이더 송신 제어부(41)의 제어신호에 따라 송신 안테나(21)를 통해 탐지 대상, 즉 생체신호를 탐지하고자 하는 표적의 주변으로 신호를 송신하고, 수신 안테나(22)를 통해 탐지 대상으로 반사되는 신호를 수신한다. First, the radar transmission/reception unit 12 transmits a signal to the surroundings of a detection target, that is, a target to detect a biosignal, through the transmission antenna 21 according to the control signal of the radar transmission control unit 41 of the signal processing processor 14. and receives a signal reflected to the detection target through the receiving antenna 22.

그러면, 레이더 수신 제어부(42)에 마련된 ADC는 아날로그 신호 형태의 수신신호를 디지털 신호로 변환한다. Then, the ADC provided in the radar reception controller 42 converts the received signal in the form of an analog signal into a digital signal.

도 4의 S10단계에서 데이터 수집부(51)는 수신되는 레이더 반사 신호에 대한 ADC 데이터를 수집한다. In step S10 of FIG. 4 , the data collection unit 51 collects ADC data for the received radar reflection signal.

S12단계에서 4D 데이터 검출부(52)는 1차 신호처리를 수행해서 4D 레이더 신호를 검출한다. 이때, 4D 데이터 검출부(52)는 4D FFT를 통해 다중 표적을 검출하고, 표적의 거리, 속도, 방위각, 고각 정보와 크기 정보를 포함하는 기본적인 레이더 표적 검출 신호를 검출할 수 있다.In step S12, the 4D data detector 52 detects the 4D radar signal by performing primary signal processing. In this case, the 4D data detector 52 may detect multiple targets through 4D FFT and detect a basic radar target detection signal including range, speed, azimuth, elevation information and size information of the target.

S14단계에서 표적 특징 검출부(53)는 2차 신호처리를 수행해서 검출된 4D 데이터 검출 결과를 기반으로 새로운 정보를 추출하고 조합하는 2차 신호처리를 통해 표적의 특징 정보를 검출한다. 이때, 표적 특징 검출부(53)는 상기 4D 데이터에 포함된 거리 정보와 속도 정보를 조합하거나, 거리 정보와 각도 정보를 조합하거나, 각도 정보와 크기 정보를 조합하거나, 또는 시간 정보와 속도 정보를 조합해서 가공하여 표적의 신규 특징 정보를 검출할 수 있다. 이를 통해, 표적 특징 검출부(53)는 표적의 존재 유무, 진동이나 외란 여부, 생명체 유무, 어린이 승객 유무 등 다양한 상황별 데이터를 수집하고 표적의 특징 신호를 추출할 수 있다. In step S14, the target feature detector 53 detects target feature information through secondary signal processing to extract and combine new information based on the detected 4D data detection result. At this time, the target feature detector 53 combines distance information and speed information included in the 4D data, distance information and angle information, angle information and size information, or time information and speed information. and processing to detect new feature information of the target. Through this, the target feature detection unit 53 may collect various data for each situation, such as whether a target exists, whether there is vibration or disturbance, whether there is a living creature, whether there is a child passenger, etc., and extracts a feature signal of the target.

S16단계에서 인공지능 학습 데이터 수집부(54)는 1차 및 2차 신호처리 결과, 즉 인공지능 학습 데이터를 수집해서 저장한다. In step S16, the artificial intelligence learning data collection unit 54 collects and stores primary and secondary signal processing results, that is, artificial intelligence learning data.

그리고 S18단계에서 단계적 인공지능 학습부(54)는 단계별 인공지능 기능을 정의하고, 표적 특징 정보 그룹을 생성하며, 인공지능 최적 파라미터를 추출한다.In step S18, the step-by-step artificial intelligence learning unit 54 defines step-by-step artificial intelligence functions, creates target feature information groups, and extracts artificial intelligence optimal parameters.

여기서, 단계적 인공지능 학습부(54)는 레이더 시스템(10)의 신호처리용 프로세서(14)에 마련되거나, 레이더 시스템(10)과 통신 가능하게 연결되는 컴퓨터 단말이나 서버에 마련된 상태에서, S16단계에서 수집된 학습 데이터에 대해 인공지능 학습을 수행하여 단계별 인공지능 기능을 정의하고, 표적 특징 정보 그룹을 생성하는 방법 및 인공지능 최적 파라미터를 도출할 수 있다. Here, the step-by-step artificial intelligence learning unit 54 is provided in the signal processing processor 14 of the radar system 10 or in a computer terminal or server communicatively connected to the radar system 10, in step S16. By performing AI learning on the learning data collected in , it is possible to define AI functions for each stage, create a target feature information group, and derive AI optimal parameters.

S20단계에서 단계적 인공지능 검출부(55)는 3차 신호처리를 통해 단계별 인공지능 신호를 검출한다. 여기서, 단계적 인공지능 검출부(55)는 단계적 인공지능 학습부(57)를 통해 도출된 인공지능 최적 파라미터를 적용한다. In step S20, the staged AI detection unit 55 detects the staged AI signal through tertiary signal processing. Here, the staged artificial intelligence detection unit 55 applies the artificial intelligence optimal parameters derived through the staged artificial intelligence learning unit 57.

S22단계에서 단계별 인공지능 검출부(55)는 단계별 인공지능 최종 결과와 상기한 S12단계에서 1차 신호처리 결과의 조합을 통해 다양한 상황별 구분 및 분리한다. 이때, 단계별 인공지능 검출부(55)는 1차 및 3차 신호처리 결과를 기반으로 표적의 존재 여부, 진동이나 외란 유무, 생명체 유무, 사람 유무, 성인이나 어린이 승객 여부 등에 대한 상황을 판단할 수 있다. In step S22, the artificial intelligence detection unit 55 classifies and separates for various situations through a combination of the final result of artificial intelligence for each step and the primary signal processing result in step S12. At this time, the artificial intelligence detection unit 55 for each stage can determine the presence or absence of a target, presence or absence of vibration or disturbance, presence or absence of a living creature, presence or absence of a person, whether an adult or child passenger, etc. based on the results of the first and third signal processing. .

그래서 S24단계에서 최종 표적 판단부(56)는 어린이 승객이 존재하는지 검사한다.So, in step S24, the final target determining unit 56 checks whether there is a child passenger.

만약, S24단계의 검사결과 어린이 승객이 존재하는 경우, 최종 표적 판단부(56)는 차량 시트의 3차원 위치 정보를 판단하고, S26단계에서 어린이 승객의 존재를 감지한 알람을 발생한다. If, as a result of the inspection in step S24, there is a child passenger, the final target determining unit 56 determines the 3D location information of the vehicle seat, and generates an alarm detecting the presence of the child passenger in step S26.

S26단계를 수행한 이후, 또는 S24단계의 검사결과 어린이 승객이 존재하지 않는 경우, 레이더 신호처리부(44)는 각 장치의 구동을 중지하고 종료한다.After performing step S26, or when there is no child passenger as a result of the check in step S24, the radar signal processing unit 44 stops driving each device and ends the operation.

상기한 바와 같은 과정을 통해, 본 발명은 차량의 실내 공간에 존재하는 생명체, 특히 단독으로 존재하는 어린이 승객을 탐지할 수 있다.Through the process as described above, the present invention can detect living organisms existing in the interior space of a vehicle, especially child passengers existing alone.

그리고 본 발명은 기본적인 레이더 탐지 정보를 기반으로 표적의 특징 정보를 추출, 조합해서 새로운 특징 정보를 만들고, 인공지능 학습 데이터로 활용해서 어린이 승객의 존재 여부를 정확하게 탐지할 수 있다. In addition, the present invention extracts and combines target feature information based on basic radar detection information to create new feature information, and uses it as artificial intelligence learning data to accurately detect the presence of child passengers.

또한, 본 발명은 진동, 외란 등에 의한 오경보를 효과적으로 제거해서 탐지 결과에 대한 정밀도를 향상시킬 수 있다. In addition, the present invention can improve the precision of detection results by effectively removing false alarms caused by vibration, disturbance, and the like.

한편, 상기의 실시 예에서는 차량에 방치된 어린이의 열사병을 방지하기 위한 CPD 규정을 만족시키기 위해, 차량의 실내 공간에 단독으로 존재하는 어린이 승객을 탐지하는 것으로 설명하였으나, 본 발명은 반드시 이에 한정되는 것은 아니다. On the other hand, in the above embodiment, in order to satisfy the CPD regulation for preventing heat stroke in children left in the vehicle, it has been described that a child passenger present alone in the interior space of the vehicle is detected, but the present invention is necessarily limited thereto. It is not.

예를 들어, 본 발명은 어린이 승객과 다른 생체 신호 특성을 갖는 성인이나 노인을 탐지하거나, 개나 고양이 등 반려동물을 탐지하도록 변경될 수도 있다. For example, the present invention may be modified to detect an adult or an elderly person having different vital signal characteristics from a child passenger, or a companion animal such as a dog or cat.

또한, 본 발명은 차량의 실내 공간 뿐만 아니라, 건물의 실내 공간 등에도 적용해서 다양한 탐지 대상을 탐지하도록 변경될 수도 있다. In addition, the present invention may be applied not only to the interior space of a vehicle but also to the interior space of a building to detect various detection targets.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.Although the invention made by the present inventors has been specifically described according to the above embodiments, the present invention is not limited to the above embodiments, and various changes can be made without departing from the gist of the present invention.

본 발명은 차량의 실내 공간에 존재하는 생명체, 특히 단독으로 존재하는 어린이 승객을 탐지하는 승객 탐지 레이더 시스템 및 그에서 수행되는 레이더 신호처리방법 기술에 적용된다.The present invention is applied to a passenger detection radar system and a radar signal processing method technology performed in the passenger detection radar system for detecting living beings existing in the interior space of a vehicle, in particular, a child passenger existing alone.

10: 레이더 시스템
11: 안테나부 12: 레이더 송신부
13: 레이더 수신부 14: 신호처리용 프로세서
21: 송신 안테나 22: 수신 안테나
41: 레이더 송신 제어부 42: 레이더 수신 제어부
43: 통신부 44: 레이더 신호처리부
51: 데이터 수집부 52: 4D 데이터 검출부
53: 표적 특징 검출부 54: 인공지능 학습 데이터 수집부
55: 단계적 인공지능 검출부 56: 최종 표적 판단부
57: 단계적 인공지능 학습부
571 내지 57N: 기능#1 내지 기능#N 인공지능 학습부
10: Radar system
11: antenna unit 12: radar transmission unit
13: radar receiver 14: processor for signal processing
21: transmit antenna 22: receive antenna
41: radar transmission control unit 42: radar reception control unit
43: communication unit 44: radar signal processing unit
51: data collection unit 52: 4D data detection unit
53: target feature detection unit 54: artificial intelligence learning data collection unit
55: step-by-step artificial intelligence detection unit 56: final target determination unit
57: step-by-step artificial intelligence learning unit
571 to 57N: function #1 to function #N artificial intelligence learning unit

Claims (10)

탐지 대상을 향해 레이더 신호를 송신하고 탐지 대상으로부터 반사되는 수신신호를 수신해서 승객을 탐지하는 승객 탐지 레이더 시스템에 있어서,
레이더 수신 채널들로 수신되는 ADC 데이터를 수집하는 데이터 수집부,
수집된 데이터에 대해 1차 신호처리를 수행해서 4D 데이터를 검출하는 4D 데이터 검출부,
검출된 4D 데이터 검출 결과를 기반으로 새로운 정보를 추출하고 조합하는 2차 신호처리를 통해 표적의 특징 정보를 검출하는 표적 특징 검출부,
상기 표적 특징 검출부에서 검출된 데이터를 수집하는 인공지능 학습 데이터 수집부,
인공지능 데이터 학습을 수행한 결과를 3차 신호처리하는 단계적 인공지능 검출부 및
인공지능 학습을 수행한 최종 결과와 상기 4D 데이터 검출부의 결과 값을 활용해서 어린이 승객의 존재 여부 및 3차원 공간 위치를 판단하는 최종 표적 판단부를 포함하며,
상기 4D 데이터 검출부는 거리 및 속도 정보와 고각 및 방위각 정보를 포함하는 4D 데이터를 검출하도록, 4D 고속 푸리에 변환을 수행해서 다중 표적을 검출하며, 다중 표적 클러스터링을 수행해서 레이더 신호처리를 통해 얻어지는 표적 정보를 검출하고,
상기 표적 특징 검출부는 상기 4D 데이터에 포함된 2가지 정보 이상을 선택적으로 조합하여 표적의 신규 특징 정보를 도출하는 것을 특징으로 하는 승객 탐지 레이더 시스템.
In a passenger detection radar system that detects a passenger by transmitting a radar signal toward a detection target and receiving a reception signal reflected from the detection target,
A data collection unit for collecting ADC data received through radar reception channels;
A 4D data detector detecting 4D data by performing primary signal processing on the collected data;
A target feature detector detecting target feature information through secondary signal processing that extracts and combines new information based on the detected 4D data detection result;
An artificial intelligence learning data collection unit for collecting data detected by the target feature detection unit;
A step-by-step artificial intelligence detection unit that processes the result of artificial intelligence data learning into a tertiary signal, and
And a final target determination unit for determining the presence or absence of a child passenger and a 3D spatial location using the final result of artificial intelligence learning and the resultant value of the 4D data detection unit,
The 4D data detection unit detects multiple targets by performing 4D fast Fourier transform to detect 4D data including distance and speed information and elevation and azimuth information, and performs multiple target clustering to obtain target information through radar signal processing detect,
The passenger detection radar system, characterized in that the target feature detector derives new feature information of the target by selectively combining two or more pieces of information included in the 4D data.
제1항에 있어서,
상기 표적의 특징 정보를 인공 지능 입력으로 활용해서 단계별로 분류하고, 구별된 표적의 특징 정보 검출 결과를 학습하는 단계적 인공지능 학습부를 더 포함하고,
상기 인공지능 학습 데이터 수집부는 상기 단계적 인공지능 학습부와 연계하여 데이터를 학습하며, 각 단계별 기능에 필요한 학습 데이터를 분류 및 구별하는 것을 특징으로 하는 승객 탐지 레이더 시스템.
According to claim 1,
Further comprising a step-by-step artificial intelligence learning unit that classifies the target feature information in stages by using the target feature information as an artificial intelligence input and learns a result of detecting the feature information of the distinguished target;
The artificial intelligence learning data collection unit learns data in conjunction with the step-by-step artificial intelligence learning unit, and classifies and distinguishes the learning data required for each step function.
제2항에 있어서,
상기 단계적 인공지능 학습부는 단계별 인공지능 구조를 적용해서 상기 표적의 특징 정보 검출 결과를 단계별 인공지능의 입력으로 활용하여 이전 단계 인공 지능 학습 결과와 신규 표적의 특징 정보 검출 결과를 다음 단계 인공지능 학습 입력으로 사용하는 것을 특징으로 하는 승객 탐지 레이더 시스템.
According to claim 2,
The step-by-step AI learning unit applies a step-by-step AI structure and uses the target feature information detection result as an input for step-by-step AI, and inputs the previous step AI learning result and the new target feature information detection result to the next step AI learning input. Passenger detection radar system, characterized in that for use as.
삭제delete 제2항에 있어서,
상기 단계적 인공지능 검출부는 상기 단계적 인공지능 학습부를 통해 학습된 파라미터를 적용하여 표적의 존재 여부, 진동이나 외란 유무, 생명체 유무, 사람 유무, 성인이나 어린이 승객 존재 여부를 판단하고,
상기 최종 표적 판단부는 어린이 승객이 존재하는 것으로 판단된 경우, 차량 시트의 3차원 위치 정보를 판단하고, 어린이 승객 존재를 감지한 알람을 발생하는 것을 특징으로 하는 승객 탐지 레이더 시스템.
According to claim 2,
The step-by-step artificial intelligence detection unit applies the parameters learned through the step-by-step artificial intelligence learning unit to determine whether there is a target, whether there is vibration or disturbance, whether there is a living being, whether there is a person, whether an adult or child passenger is present,
The passenger detection radar system, characterized in that the final target determiner determines the three-dimensional position information of the vehicle seat and generates an alarm detecting the presence of a child passenger when it is determined that a child passenger exists.
탐지 대상을 향해 레이더 신호를 송신하고 탐지 대상으로부터 반사되는 수신신호를 수신해서 승객을 탐지하는 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법에 있어서,
(a) 데이터 수집부에서 레이더 수신 채널들로 수신되는 ADC 데이터를 수집하는 단계,
(b) 4D 데이터 검출부에서 수집된 데이터에 대해 1차 신호처리를 수행해서 4D 데이터를 검출하는 단계,
(c) 표적 특징 검출부에서 검출된 4D 데이터 검출 결과를 기반으로 새로운 정보를 추출하고 조합하는 2차 신호처리를 통해 표적의 특징 정보를 검출하는 단계,
(d) 인공지능 학습 데이터 수집부에서 상기 표적 특징 검출부에서 검출된 데이터를 수집하는 단계,
(e) 단계적 인공지능 검출부에서 인공지능 데이터 학습을 수행한 결과를 3차 신호처리하는 단계 및
(f) 최종 표적 판단부에서 인공지능 학습을 수행한 최종 결과와 상기 4D 데이터 검출부의 결과 값을 활용해서 어린이 승객의 존재 여부 및 3차원 공간 위치를 판단하는 단계를 포함하며,
상기 (b)단계에서 상기 4D 데이터 검출부는 거리 및 속도 정보와 고각 및 방위각 정보를 포함하는 4D 데이터를 검출하도록, 4D 고속 푸리에 변환을 수행해서 다중 표적을 검출하며, 다중 표적 클러스터링을 수행해서 레이더 신호처리를 통해 얻어지는 표적 정보를 검출하고,
상기 (c)단계에서 상기 표적 특징 검출부는 상기 4D 데이터에 포함된 2가지 정보 이상을 선택적으로 조합하여 표적의 신규 특징 정보를 도출하는 것을 특징으로 하는 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법.
A radar signal processing method performed in a passenger detection radar system for detecting a passenger by transmitting a radar signal toward a detection target and receiving a reception signal reflected from the detection target,
(a) collecting ADC data received through radar reception channels in a data collection unit;
(b) detecting 4D data by performing primary signal processing on the data collected by the 4D data detector;
(c) detecting target feature information through secondary signal processing to extract and combine new information based on the 4D data detection result detected by the target feature detector;
(d) collecting data detected by the target feature detection unit in an artificial intelligence learning data collection unit;
(e) tertiary signal processing of the result of artificial intelligence data learning in the staged artificial intelligence detection unit, and
(f) determining whether a child passenger exists and a 3D spatial location by using the final result of artificial intelligence learning performed by the final target determination unit and the resultant value of the 4D data detection unit;
In step (b), the 4D data detection unit detects multiple targets by performing 4D fast Fourier transform to detect 4D data including distance and speed information and elevation and azimuth information, and performs multiple target clustering to obtain radar signals. detect target information obtained through processing;
In the step (c), the target feature detection unit selectively combines two or more pieces of information included in the 4D data to derive new feature information of the target. Radar signal processing method performed in a passenger detection radar system.
제6항에 있어서,
(g) 단계적 인공지능 학습부에서 표적의 특징 정보를 인공 지능 입력으로 활용해서 단계별로 분류하고, 구별된 표적의 특징 정보 검출 결과를 학습하는 단계를 더 포함하며,
상기 (d)단계에서 상기 인공지능 학습 데이터 수집부는 상기 단계적 인공지능 학습부와 연계하여 데이터를 학습하며, 각 단계별 기능에 필요한 학습 데이터를 분류 및 구별하는 것을 특징으로 하는 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법.
According to claim 6,
(g) further comprising the step of using the target feature information as an artificial intelligence input in a step-by-step artificial intelligence learning unit to classify the target feature information in stages, and learning a result of detecting the feature information of the differentiated target;
In the step (d), the artificial intelligence learning data collection unit learns data in conjunction with the step-by-step artificial intelligence learning unit, and classifies and distinguishes the learning data required for each step function. Radar signal processing method.
제7항에 있어서,
상기 (g)단계에서 상기 단계적 인공지능 학습부는 단계별 인공지능 구조를 적용해서 상기 표적의 특징 정보 검출 결과를 단계별 인공지능의 입력으로 활용하여 이전 단계 인공 지능 학습 결과와 신규 표적의 특징 정보 검출 결과를 다음 단계 인공지능 학습 입력으로 사용하는 것을 특징으로 하는 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법.
According to claim 7,
In the step (g), the step-by-step artificial intelligence learning unit applies a step-by-step artificial intelligence structure and uses the result of detecting feature information of the target as an input of step-by-step artificial intelligence to obtain the result of AI learning at the previous step and the feature information detection result of the new target. A radar signal processing method performed in a passenger detection radar system, characterized in that it is used as a next step artificial intelligence learning input.
삭제delete 제7항에 있어서,
상기 (d)단계에서 상기 단계적 인공지능 검출부는 상기 단계적 인공지능 학습부를 통해 학습된 파라미터를 적용하여 표적의 존재 여부, 진동이나 외란 유무, 생명체 유무, 사람 유무, 성인이나 어린이 승객 존재 여부를 판단하고,
상기 (f)단계에서 상기 최종 표적 판단부는 어린이 승객이 존재하는 것으로 판단된 경우, 차량 시트의 3차원 위치 정보를 판단하고, 어린이 승객 존재를 감지한 알람을 발생하는 것을 특징으로 하는 승객 탐지 레이더 시스템에서 수행되는 레이더 신호처리방법.
According to claim 7,
In the step (d), the step-by-step artificial intelligence detection unit applies the parameters learned through the step-by-step artificial intelligence learning unit to determine whether there is a target, whether there is vibration or disturbance, whether there is a living being, whether there is a person, whether an adult or child passenger is present, ,
In the step (f), when the final target determining unit determines that a child passenger exists, the passenger detection radar system determines the 3D location information of the vehicle seat and generates an alarm detecting the presence of the child passenger. Radar signal processing method performed in.
KR1020220159625A 2022-11-24 2022-11-24 Passenger detection radar system and radar signal processing method performed thereby KR102529179B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220159625A KR102529179B1 (en) 2022-11-24 2022-11-24 Passenger detection radar system and radar signal processing method performed thereby

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220159625A KR102529179B1 (en) 2022-11-24 2022-11-24 Passenger detection radar system and radar signal processing method performed thereby

Publications (1)

Publication Number Publication Date
KR102529179B1 true KR102529179B1 (en) 2023-05-08

Family

ID=86381254

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220159625A KR102529179B1 (en) 2022-11-24 2022-11-24 Passenger detection radar system and radar signal processing method performed thereby

Country Status (1)

Country Link
KR (1) KR102529179B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116965791A (en) * 2023-06-29 2023-10-31 中国人民解放军国防科技大学 Four-dimensional biological radar heart rate measurement method for inhibiting motion interference

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101505044B1 (en) 2014-02-28 2015-03-24 (주)디지탈엣지 Radar apparatus and blind zone rejection method thereof
KR101513878B1 (en) 2014-03-19 2015-04-22 (주)디지탈엣지 Radar apparatus, collision avoidance and accident recode method thereof
KR20190005740A (en) * 2017-07-07 2019-01-16 인피니언 테크놀로지스 아게 System and method for identifying a target using radar sensors
KR101982605B1 (en) * 2018-10-16 2019-08-29 주식회사 젠다카디언 Device for detecting a passenger in a vehicle
KR20220104444A (en) * 2021-01-18 2022-07-26 재단법인대구경북과학기술원 Apparatus for recognizing passenger based on radar and method thereof
KR20220141748A (en) * 2020-04-14 2022-10-20 주식회사 비트센싱 Method and computer readable storage medium for extracting target information from radar signal
KR102467923B1 (en) * 2022-06-08 2022-11-17 (주)디지탈엣지 Radar system and radar signal processing method performed thereby

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101505044B1 (en) 2014-02-28 2015-03-24 (주)디지탈엣지 Radar apparatus and blind zone rejection method thereof
KR101513878B1 (en) 2014-03-19 2015-04-22 (주)디지탈엣지 Radar apparatus, collision avoidance and accident recode method thereof
KR20190005740A (en) * 2017-07-07 2019-01-16 인피니언 테크놀로지스 아게 System and method for identifying a target using radar sensors
KR101982605B1 (en) * 2018-10-16 2019-08-29 주식회사 젠다카디언 Device for detecting a passenger in a vehicle
KR20220141748A (en) * 2020-04-14 2022-10-20 주식회사 비트센싱 Method and computer readable storage medium for extracting target information from radar signal
KR20220104444A (en) * 2021-01-18 2022-07-26 재단법인대구경북과학기술원 Apparatus for recognizing passenger based on radar and method thereof
KR102467923B1 (en) * 2022-06-08 2022-11-17 (주)디지탈엣지 Radar system and radar signal processing method performed thereby

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116965791A (en) * 2023-06-29 2023-10-31 中国人民解放军国防科技大学 Four-dimensional biological radar heart rate measurement method for inhibiting motion interference
CN116965791B (en) * 2023-06-29 2024-05-17 中国人民解放军国防科技大学 Four-dimensional biological radar heart rate measurement method for inhibiting motion interference

Similar Documents

Publication Publication Date Title
US11850027B2 (en) Multi-person vital signs monitoring using millimeter wave (mm-wave) signals
US11801774B2 (en) Method and system for unattended child detection
US10677905B2 (en) System and method for occupancy detection using a millimeter-wave radar sensor
US11585891B2 (en) Radar-based vital sign estimation
KR102529179B1 (en) Passenger detection radar system and radar signal processing method performed thereby
KR102467923B1 (en) Radar system and radar signal processing method performed thereby
US10672247B2 (en) Vehicle occupant detection device
CN112754441B (en) Millimeter wave-based non-contact heartbeat detection method
KR101964135B1 (en) Radar apparatus and rear occuapant sensing method thereof
KR102123521B1 (en) Passanger detecting system using uwb radar
CN110461230B (en) Information processing apparatus and detection apparatus
KR20210006225A (en) Method and Apparatus for Measuring Multi Object Bio Signal
JP7072403B2 (en) Vital sensor
KR20210001840A (en) Radar signal processing and radar system for occupant detection and people counting using deep learning
KR20210023556A (en) Apparatus and method for radar-based detection of living body in vehicle
US20200290541A1 (en) Biological information output device, biological information output method, and non-transitory computer-readable medium
Gharamohammadi et al. Multi-Bin Breathing Pattern Estimation by Radar Fusion for Enhanced Driver Monitoring
KR102381262B1 (en) Radar system and bio-signal detection method performed thereby
KR20230080737A (en) Apparatus for recognizing pedestrian based on doppler radar and method thereof
JP2010108434A (en) System for detecting obstacle and method for controlling same
KR102625285B1 (en) Passenger detection radar system and blockage detection method performed thereby
JP2021179323A (en) Attribute identification device and identification method
KR102628336B1 (en) Proximity and intrusion detection radar system for vehicle and radar signal processing method thereof
WO2020250233A1 (en) A multi fixed beams system for vital signs determination and method thereof
CN112526501A (en) Radar system for detecting life breath

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant