CN110361725A - 使用毫米波雷达进行人类检测和识别的系统和方法 - Google Patents
使用毫米波雷达进行人类检测和识别的系统和方法 Download PDFInfo
- Publication number
- CN110361725A CN110361725A CN201910280977.6A CN201910280977A CN110361725A CN 110361725 A CN110361725 A CN 110361725A CN 201910280977 A CN201910280977 A CN 201910280977A CN 110361725 A CN110361725 A CN 110361725A
- Authority
- CN
- China
- Prior art keywords
- group
- data
- target
- angle
- frft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 16
- 230000003068 static effect Effects 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000005855 radiation Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 231100001261 hazardous Toxicity 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000287196 Asthenes Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 208000012802 recumbency Diseases 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/288—Coherent receivers
- G01S7/2883—Coherent receivers using FFT processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
- G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
- G01S13/26—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein the transmitted pulses use a frequency- or phase-modulated carrier wave
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/505—Systems of measurement based on relative movement of target using Doppler effect for determining closest range to a target or corresponding time, e.g. miss-distance indicator
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/881—Radar or analogous systems specially adapted for specific applications for robotics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/288—Coherent receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/292—Extracting wanted echo-signals
- G01S7/2921—Extracting wanted echo-signals based on data belonging to one radar period
- G01S7/2922—Extracting wanted echo-signals based on data belonging to one radar period by using a controlled threshold
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
- G01S7/354—Extracting wanted echo-signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
- G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
- G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
- G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
- G01S7/356—Receivers involving particularities of FFT processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/414—Discriminating targets with respect to background clutter
Abstract
本发明涉及使用毫米波雷达进行人类检测和识别的系统和方法。本发明公开了一种人类检测方法,包括:使用毫米波雷达接收第一回波信号和第二回波信号以分别产生第一组数据和第二组数据;分别基于第一组数据和第二组数据选择第一角度和第二角度;使用第一角度对第一组数据执行FrFT;通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标;使用第二角度对第二组数据执行FrFT;通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标;基于所识别的第一目标和第二目标生成一组目标跟踪;以及基于将该组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较来将目标跟踪与人类跟踪相关联。
Description
技术领域
本发明总体涉及使用毫米波雷达在工厂车间中进行人类检测和识别的系统和方法。
背景技术
由于低成本半导体技术例如硅锗(SiGe)和精细几何互补金属氧化物半导体(CMOS)工艺的快速发展,毫米波频率体制下的应用在过去几年获得了极大的关注。高速双极性晶体管和金属氧化物半导体(MOS)晶体管的可用性导致对用于24GHz、60GHz、77GHz和80GHz以及超过100GHz的毫米波应用的集成电路的需求不断增长。这样的应用包括例如机动车雷达系统和数千兆通信系统。
在一些雷达系统中,通过发送调频信号、接收调频信号的反射(也称为回波)来确定雷达与目标之间的距离,并且基于调频信号的发送与接收之间的时间延迟和/或频率差来确定距离。因此,一些雷达系统包括用于发射射频(RF)信号的发射天线、用于接收RF的接收天线以及用于产生发射信号和接收RF信号的相关RF电路。在一些情况下,可以使用多个天线来利用相控阵技术实现定向波束。具有多个芯片组的多输入多输出(MIMO)配置也可以用于执行相干和非相干信号处理。
发明内容
根据实施方式,一种用于人类检测的方法包括:使用毫米波雷达朝向场景中的对象发送/发射(transmit)多个啁啾以产生回波信号;使用毫米波雷达接收第一回波信号以产生第一组数据;基于第一组数据识别第一初始目标;基于第一组数据选择第一角度;基于第一初始目标使用第一角度对第一组数据执行分数阶傅里叶变换(FrFT);通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标;在接收到第一回波信号后,使用毫米波雷达接收第二回波信号以产生第二组数据;基于第二组数据识别第二初始目标;基于第二组数据选择第二角度,其中第二角度与第一角度不同;基于第二初始目标使用第二角度对第二组数据执行FrFT;通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标;基于所识别的第一目标和第二目标生成一组目标跟踪;将该组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较,以生成相应的目标跟踪比较结果;并且基于相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
根据实施方式,一种系统包括:处理器,其被配置成耦接至毫米波雷达传感器电路,该处理器被配置成:从毫米波雷达传感器电路接收第一组数据和第二组数据;基于第一组数据识别第一初始目标;基于第一组数据选择第一角度;基于第一初始目标使用第一角度对第一组数据执行FrFT;通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标;基于第二组数据选择第二角度,其中,第二角度与第一角度不同;基于第二组数据识别第二初始目标;基于第二初始目标使用第二角度对第二组数据执行FrFT;通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标;基于所识别的第一目标和第二目标跟踪识别的目标;以及将所跟踪的识别目标与参考跟踪特征进行比较以检测人类。
根据实施方式,一种毫米波雷达包括:毫米波雷达传感器电路,其被配置成:朝向场景中的对象连续地发送多个啁啾以产生回波信号,使用毫米波雷达接收第一回波信号以产生第一组数据,并且在接收到第一回波信号之后接收第二回波信号以产生第二组数据;以及处理器,其被配置成:基于第一组数据选择第一角度,使用第一角度对第一组数据执行FrFT,通过将第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标,基于第二组数据选择第二角度,其中第二角度与第一角度不同,使用第二角度对第二组数据执行FrFT,通过将第二组数据的FrFT的峰值与第一阈值进行比较来识别第二目标,基于所识别的第一目标和第二目标跟踪识别的目标,并且将所跟踪的识别目标与参考跟踪特征进行比较以检测人类。
附图说明
为了更完整地理解本发明及其优点,现在参照下面结合附图的描述,附图中:
图1示出了包括与移动部件共存的人的汽车装配厂的工厂车间;
图2示出了包括与移动部件共存的人的电梯井中的电梯;
图3示出了根据本发明的实施方式的工业环境中的雷达系统;
图4示出了根据本发明的实施方式的在工业环境中检测和监视人类的实施方法的流程图;
图5A示出了根据本发明的实施方式的雷达传感器阵列的俯视图;
图5B示出了根据本发明的实施方式的图5A的雷达传感器阵列的正视图;
图6示出了根据本发明的另一实施方式的雷达传感器阵列的俯视图;
图7A至图7D示出了根据本发明的实施方式的由图3的毫米波雷达捕获和/或处理的回波信号的图形表示;
图7E示出了毫米波雷达传感器电路的TX元件和RX元件的可能布置;
图7F示出了根据本发明的实施方式的波束成形的图形表示;
图8示出了根据本发明的实施方式的在工业环境中检测和监视人类的实施方法的流程图;以及
图9示出了示出用于特征提取和标识的机器学习流水线的框图。
除非另有说明,否则不同附图中的对应数字和符号通常指代对应的部分。绘制附图以清楚地说明优选实施方式的相关方面,并且不一定按比例绘制附图。为了更清楚地说明特定实施方式,指示相同结构、材料或处理步骤的变化的字母可以遵循附图标记。
具体实施方式
下面详细讨论目前优选的实施方式的制作和使用。然而,应该理解的是,本发明提供了可以在各种具体场合中实施的许多可应用的发明概念。所讨论的具体实施方式仅说明制造和使用本发明的具体方式,并不限制本发明的范围。
下面的描述说明了各种具体细节,以根据本说明书来提供对若干示例实施方式的深入理解。可以在没有具体细节中的一个或更多个的情况下获得实施方式或者利用其他方法、组件、材料等获得实施方式。在其他情况下,未详细示出或描述已知的结构、材料或操作,以免模糊实施方式的不同方面。在本说明书中对“实施方式”的引用指示关于该实施方式描述的特定配置、结构或特征被包括在至少一个实施方式中。因此,可能出现在本说明书的不同点处的例如“在一个实施方式中”的短语不一定准确指代相同的实施方式。此外,在一个或更多个实施方式中,可以以任何适当的方式组合特定的形成、结构或特征。
将关于具体场合中的实施方式、在工业环境中使用毫米波雷达系统进行人类检测和识别的系统和方法来描述本发明,该工业环境包括具有移动部件的机械。可以在不同的环境中使用本发明的实施方式。一些实施方式可用于检测并识别除人类之外的对象,例如动物。
在一些环境中,具有多个移动部件的机械与人共存。例如,图1示出了汽车装配厂的工厂车间,其中包括与移动部件共存的员工。图2示出了包括与移动部件共存的安装者/维修者的电梯井中的电梯。
在与机械交互时人的受伤率可能很高。因此,对例如工厂环境中的事件进行预测、预防、警告和/或反应以减小或消除对人造成伤害的风险是有益的。本发明的实施方式使用基于雷达的解决方案在例如工厂车间的各种环境中检测人类。一些实施方式对任何给定时间处的给定环境中的多个人进行计数并跟踪每个人。例如,人类识别和跟踪信息可以用于警告危险情况,例如当人太靠近移动部件的情况。
一些实施方式执行活动辨识例如检测人是否躺在地板上,然后基于检测到的活动来采取行动。在一些实施方式中,一旦发生触发事件(例如,人躺在地板上),则采取例如警报当局、启动急救程序和/或停止移动部件中的一个或更多个移动部件的行动。一些实施方式执行人类的识别用于例如跟踪疏散程序。
工业环境例如图1中所示的工厂车间,可以在不同时间处包括各种类型的对象。例如,工厂车间可以包括静态对象(例如,家具)、移动机械(例如,机器臂)和其他移动设备(例如,风扇)。移动设备例如风扇显示出具有中等到低强度的周期性移动。机械通常显示出高强度的周期性移动,尽管相对于移动设备例如风扇机械通常显示出较长周期的周期性移动。
工业环境中存在的人可以例如正在移动(例如,行走)、站立(例如,很少或没有移动)或躺在地板上(例如,由于事故)。在与机械的移动相比时,人通常以非周期性的方式移动并且强度较低。
本发明的实施方式通过使用毫米波雷达与信号处理技术一起在杂波(例如,移动机械、其他移动设备和静态对象)存在时对人(例如,移动、站立、躺下等)进行检测。例如,图3示出了根据本发明的实施方式的工业环境中的雷达系统300。雷达系统300包括毫米波雷达302和处理器304。
在正常操作期间,毫米波雷达302将多个辐射脉冲306例如啁啾发射至场景308。发射的辐射脉冲306在场景308的对象中被反射。反射的辐射脉冲(图3中未示出)也被称为回波信号,其由毫米波雷达302进行检测并由处理器304进行处理用于例如识别人类。
场景308中的对象可以包括静态的人例如躺着的人310,显示低运动和不频繁运动的人例如站立的人312以及移动的人例如跑步或行走的人314。场景308中的对象可以还包括静态对象例如家具316,周期性移动的设备例如风扇318以及周期性移动的机械例如机器臂320。场景308中还可以存在其他对象。
处理器304分析回波数据以识别目标(例如,人)。处理器304还可以使用回波数据来跟踪人,识别并警告危险情况并启动急救程序,例如疏散、联系当局(例如,消防部门或护理人员)、停止机械、照亮紧急出口等。
处理器304可以被实现为通用处理器、控制器或数字信号处理器(DSP)。在一些实施方式中,处理器304可以被实现为定制的专用集成电路(ASIC)。在一些实施方式中,处理器304包括多个处理器,每个处理器具有一个或更多个处理核。在其他实施方式中,处理器304包括具有一个或更多个处理核的单个处理器。
毫米波雷达302包括毫米波雷达传感器电路和(多个)天线。可以使用二维毫米波相位阵列雷达来实现毫米波雷达传感器电路。毫米波相位阵列雷达发射和接收20GHz至122GHz范围内的信号。可替选地,也可以使用该范围之外的频率。一些实施方式使用单个毫米波雷达传感器电路。其他实施方式使用多个毫米波雷达传感器电路,其数据由处理器304收集并处理,处理器304可以被实现为集中处理设备。
在一些实施方式中,毫米波雷达302包括均匀线性阵列天线。以本领域已知的方式使用带通滤波器(BPF)、低通滤波器(LPF)、混频器、低噪声放大器(LNA)和中频(IF)放大器对所接收的回波信号进行过滤和放大。然后使用一个或更多个模数转换器(ADC)将回波信号数字化以进行进一步处理。其他实现也是可能的。
图4示出了根据本发明实施方式的在工业环境中检测和监视人的实施方法400的流程图。例如,方法400可以由处理器304执行。
在步骤401期间,通过雷达系统例如毫米波雷达302,辐射脉冲被发射、在对象中被反射并被接收。步骤401包括步骤402和步骤404。在步骤402期间,朝向场景例如场景308发送一系列辐射脉冲例如啁啾。一些实施方式可以在500ms时段期间发送例如128至256个啁啾。经过不同时段(例如,1秒或250毫秒)可以发送不同数量的啁啾(例如,16至32个啁啾)。在一些实施方式中,经过预定义时段发送的啁啾的数量是2的幂。
在一些实施方式中,从单个发射器的单个天线发射辐射脉冲。在其他实施方式中,从单个发射器的多个天线发射辐射脉冲。在其他实施方式中,从多个发射器的一个或更多个天线发射辐射脉冲,每个发射器朝向场景的不同视野发射。
在辐射脉冲在来自场景的对象中被反射之后,在步骤404中接收回波信号。在一些实施方式中,在单个接收器的单个天线中接收回波信号。在其他实施方式中,由单个接收器的多个天线接收回波信号。在其他实施方式中,在多个接收器的一个或更多个天线中接收回波信号,每个接收器捕获场景的不同视野。
在步骤405期间分析(处理)来自回波信号的数据。步骤405包括以下步骤:初始目标识别(步骤406);数据过滤(步骤408);杂波去除(步骤410)和活动确定(步骤412)。在一些实施方式中,步骤408和步骤410可以组合成单个步骤。
在步骤406期间,执行初始目标识别。例如,可以使用范围快速傅里叶变换(FFT)来执行目标识别。通过分析所接收的回波信号的相位信息并将该信息与阈值进行比较来识别移动目标以及静态目标。可以选择在该步骤中应用的阈值以避免排除期望的目标。选择许可阈值可以导致高概率的识别期望目标(例如,人)。许可阈值还可以导致识别为某些杂波的目标(例如,移动机械、家具和其他移动设备)。
在步骤408期间,从正在分析的数据中去除数据异常值。可以使用统计方法例如通过使用带通滤波(例如,利用已知的人类活动多普勒极限来设计)来识别这样的数据异常值。可以使用其他异常值去除技术,例如多普勒间歇性脉冲串的中值滤波。
步骤408是可选的。一些实施方式可以执行步骤408连同另一步骤。例如,一些实施方式可以在执行杂波去除的同时执行数据过滤。其他实施方式可以在杂波去除之前和杂波去除期间执行数据过滤。其他实现也是可能的。
在步骤410期间,从正在分析的数据中识别杂波并去除杂波。例如,可以通过使用分数阶傅里叶变换(FrFT)技术来识别杂波。例如,人可以与特定特征例如特定时间-频率特征相关联。如果步骤406中识别的目标表现出人的特征,则将该目标识别为人。否则,如果步骤406中识别的目标没有表现出人的特征,或者表现出已知的非人对象的特征,则在考虑中去除这样的目标。
在步骤410中从杂波中识别人类目标之后,在步骤412中执行人的活动确定。例如,可以使用短时分数阶傅里叶变换(STFrFT)来执行微多普勒(m-D)特征提取以确定所识别的人正在移动、站立还是躺下。
在步骤405期间分析来自回波信号的数据并且识别人之后,在步骤416期间报告结果。报告结果可以包括:识别并报告场景中的人的数量;他们各自的状态(例如,站立、行走、躺下等);是否存在危险情况(例如,人太靠近危险位置)等。如果识别到危险情况(例如,人躺下,人太靠近危险位置等),可以触发响应,例如警告个人(例如,工厂车间管理员)和/或该情况的急救响应团队。一些实施方式可以停止一个或更多个机器或采取额外的行动来解决危险情况。
一些实施方式可以连续地执行步骤402、404、406、408、410和412。例如,可以连续地执行辐射脉冲的发射(步骤402)和回波信号的接收(步骤404)。可以通过分析从接收的回波信号中提取的数据的移动窗口来执行步骤406、408、410和412。
包括发射辐射脉冲(步骤402)和接收回波信号(步骤404)的步骤401可以用毫米波雷达传感器电路阵列来实现。例如,图5A示出了根据本发明的实施方式的雷达传感器阵列500的俯视图。雷达传感器阵列500包括被分布成捕获场景502的多个毫米波雷达传感器电路504。毫米波雷达传感器电路504中的每一个具有视场506。
在正常操作期间,毫米波雷达传感器电路504中的每一个发射辐射脉冲(例如,啁啾)并在辐射脉冲从场景502中的对象反射之后接收相关联的回波信号。由毫米波雷达传感器电路504中的每一个生成的数据与它们在场景502中的相应位置相关。可以将来自毫米波雷达传感器电路504中的每一个的数据发送至集中处理器(未示出)。集中处理器可以将局部坐标变换成整体坐标。例如,可以通过执行下面的Householder矩阵乘法将局部坐标变换成全局坐标:
Rx·Ry (1)
其中
其中x0和y0分别是沿x方向和y方向的平移分量,θx和θy分别是围绕x轴和y轴的旋度。
如图5A所示,一些毫米波雷达传感器电路504具有交叠的视场506区域。可以在集中处理器中处理交叠区域,并且可以通过例如使用已知的图像拼接技术将局部图像拼接在一起。例如,对于交叠区,首先估计交叠的数,并且然后将交叠的数用于对这样的区上的数据求平均。
使用多个雷达传感器电路的优点包括:可能用第一雷达传感器的视场不能观察到的对象(例如,因为对象妨碍视线)可以由具有不同的视场的第二雷达传感器捕获。一些实施方式可以选择雷达传感器电路的位置以优化雷达传感器阵列的视场。
在一些实施方式中,毫米波雷达传感器电路504可以位于场景的天花板处,并且由毫米波雷达传感器电路504捕获的位置信息可以与距离、方位角和仰角分量(elevationcomponent)相关联。例如,图5B示出了根据本发明的实施方式的雷达传感器阵列500的正视图。图5B示出了天花板508和地板510。如图5B所示,毫米波雷达传感器电路504位于天花板508中。目标对象512位于场景502中。例如,毫米波雷达传感器电路504可以通过使用仰角分量518、方位角分量516和距离分量514来报告目标对象512的位置信息。
一些实施方式可以具有位于三维(3D)空间的不同位置中和/或具有不同视角的毫米波雷达传感器电路504。作为另一个非限制示例,图6示出了根据本发明的另一实施方式的雷达传感器阵列600的俯视图。雷达传感器阵列600以与雷达传感器阵列500类似的方式操作。然而,雷达传感器阵列600包括毫米波雷达传感器电路604,每个毫米波雷达传感器电路都具有相应的视场606,其中视场606与视场506不同。
雷达回波具有各种相关特性,例如信号功率、频率、到达角、时域特性和噪声。回波信号特性中的一个或更多个特性可能受到场景中的对象(例如,场景中的对象的大小、位置和材料)以及这样的对象的行为(例如,场景中的对象的移动方向和速度)的影响。在一些实施方式中,M个啁啾(例如,相同的啁啾声)以已知间隔(例如,相同的间隔)被隔开发送,由天线阵列对其进行接收,由一个或更多个ADC(例如,每个天线一个ADC)对其进行采样,并且将其存储在数据结构中。
图7A示出了根据本发明的实施方式的由毫米波雷达302捕获的回波信号700的图形表示。如图所示,捕获到的回波信号700包括与由N个天线信道(例如,N个天线的阵列)捕获的M个啁啾有关的信息,其中每个啁啾被采样L次(每个啁啾具有L个样本)。在一些实施方式中,每个样本对应于跨越啁啾的整个带宽的压控振荡器(VCO)中的离散步骤。如图7A所示,捕获到的回波信号700被示为3D数据立方体,其中数据立方体的轴中的每一个分别表示脉冲、相位中心和范围(range)。数据立方体的每个方形(即,单元)表示复杂的同相和正交分量(I&Q)样本。
可以以不同方式分析捕获到的回波信号700。例如,捕获到的回波信号700可以沿着二维(2D)切片702(也在图7B中示出)并且沿着2D切片704(也在图7D中示出)被分析。还可以沿着不同的2D切片以及通过不同方向的矢量分析数据。应当理解的是,在该示例中存在N个2D切片702和L个2D切片704。还应理解的是,尽管可以关于特定数据切片(例如,2D切片702)描述特定处理步骤,但是相同的处理步骤可以应用于其他类似数据切片中的一个或更多个,包括所有其他类似切片(例如,所有N个2D切片702)。
如图7A所示,沿z轴应用的操作与单个啁啾有关。沿z轴的操作被称为在快速时间中执行的操作。沿x轴执行的操作与多个啁啾的相同样本位置有关。沿x轴的操作被称为在慢时间内执行的操作(因为它们与多个啁啾有关)。
例如,可以通过分析2D切片702中的一个或更多个来执行对象检测。例如,如图7B所示,M个啁啾中的每一个在2D切片702的列(例如,列j)中被捕获,其中每一行表示啁啾的样本位置。2D切片702的每行可以被称为范围区间(range bin)。例如,如果发送16个啁啾,并且用512次采样捕获每个啁啾,则M等于16并且L等于512。
如果对象在与2D切片702相关联的视场中没有正在移动,则特定行(例如,行i)中的单元的相位和幅度信息将是相同的(因为每个发送的啁啾是相同的)。因此,可以例如基于行i的一个或更多个单元的幅度峰值来获得关于范围的信息。换句话说,沿z轴的每个范围区间对应固定距离/范围,(多个)特定单元的目标检测表示具有该范围的目标。
如果对象正在移动,则跨越相应行i的每个单元的相位信息可以根据移动方向、速度等而变化。在一些实施方式中,可以基于在慢时间中捕获的相位差来识别移动对象。例如,可以过滤(例如,使用线性滤波器)沿着范围区间的数据(慢时间数据)并将该数据与阈值进行比较。当数据显示高于阈值的峰值时,可以检测到移动目标。
为了提取速度信息,可以将使用傅里叶变换(例如FFT)的多普勒分析应用于2D切片702的每一行以生成图7C的矩阵706。如图7C所示,矩阵706具有K个频率区间(bin)。如果特定行的样本大于阈值,则检测到目标并且相应的频率区间与检测到的目标的速度相关。在与相对于数据立方体(即相对于相位中心)的切片702相对应的位置检测目标。可以使用FrFT而不是FFT来执行类似的分析。
为了确定到达角,可以使用如图7D所示的2D切片704。可以通过接收器波束成形来实现对所检测的目标的到达角的估计。例如,可以沿方位角并且沿仰角执行波束成形。例如,在一些实施方式中,通过基于由不同接收器或其组合接收的多个信号对多个基带信号进行后处理,在发射器处形成波束。通过后处理接收的基带信号来实现波束成形可以允许实现低复杂度的发射器。
在一个实施方式中,使用毫米波传感器系统,其中以线性阵列布置Nt=2个发射(TX)元件以及Nr=2个接收(RX)元件。因此,在用于方位角分布的线性阵列配置中存在从TX阵列到RX阵列的Nt×Nr=4个不同的传播信道。如果可以在RX阵列处识别接收的信号的发射源(TX信道),则可以用Nt+Nr个天线元件合成Nt×Nr个元件的虚拟相控阵列。在各种实施方式中,时分复用MIMO阵列为能够进行近场成像的完全填充的天线孔径提供低成本解决方案。在一些实施方式中,可以使用TX和RX元件的对称线性布置,其中TX阵列与RX阵列之间的一些垂直偏移用于减少耦合。一些实施方式可以包括多于2个的TX元件和/或多于2个的RX元件。
在一些实施方式中,毫米波传感器系统的TX元件和RX元件可以布置成L形,如图7E所示。例如,对于图5B,可以利用图7E中示出的布置将TX元件和RX元件布置在毫米波雷达传感器电路504中,其中TX元件在朝向地板510的方向上照射并且RX元件具有在朝向地板510的方向上的视场。其他布置是可能的。
图7F示出了用于说明实施方式算法的坐标轴。如图所示,图7F示出了目标780、发射(TX)天线元件782和接收(RX)天线元件784的位置。目标780的位置r可以表示为:
r=[R cos(θ)sin(φ);R cos(θ)cos(φ);Rsin(θ)]
其中R是从原点到目标780的距离。目标780的方向向量u可以表示为
u=[cos(θ)sin(φ);cos(θ)cos(φ);sin(θ)]。
在空间中将TX天线元件的3D位置坐标表示为并且将RX天线元件的3D位置坐标表示为然后在假设远场情况下,从TX元件到目标780(假设是点散射体)的信号传播以及随后从目标780到RX天线元件的反射可以近似为2*x+dij,其中x是目标780到虚拟线性阵列的中心的基础距离,并且dij指的是虚拟元件到阵列中心的距离。
发射导向矢量可以写为:
并且接收导向矢量可以表示为:
其中λ是发射信号的波长。可以导出联合TX和RX导向矢量a(θ,φ)作为发送和接收导向矢量的克罗内克(Kronecker)积(假设i=j=1):
根据联合导向矢量,可以计算下面的波束空间频谱,根据最小方差无失真响应(MVDR)算法可以从中估计角度θ和φ:
在上面的表达式中,将C=E{x(r,d)x(r,d)H}计算为协方差矩阵,其中E{.}是期望算子。可以将上述协方差矩阵估计为样本矩阵指示符:
其中xi(r,d)表示多普勒数据(r,d)的测量范围。
在本发明的实施方式中,在检测识别的目标之前通过跟踪在工厂环境中检测人。对雷达的回波执行范围FFT以识别初始静态目标和移动目标。以最佳角度α执行FrFT以改善信号杂波比(SCR)。对识别的目标进行聚类及跟踪。将跟踪的聚类与参考特征进行比较以进一步改善SCR。基于跟踪的聚类来检测人。使用短时分数阶傅里叶变换(STFrFT)和微多普勒(m-D)提取和检测来执行对检测到的人的活动确定。通过周期性地更新角度α来进一步改善信号杂波比(SCR)。
图8示出了根据本发明的实施方式的在工业环境中检测和监视人的实施方法800的流程图。方法800是方法400的一部分的可能实现。方法800可以例如由处理器304执行。
在正常操作期间,如关于图4的步骤401所描述,接收雷达回波信号。雷达回波信号可以包括例如使用雷达传感器阵列的天线捕获的具有8到16个啁啾的数据帧,如关于图7A所描述的。一些实施方式可以使用不同数量的捕获啁啾(例如,32、64等)。在一些实施方式中,啁啾的数量可以是2的幂。
可以使用2×2的雷达传感器阵列来捕获雷达回波信号。具有不同大小的雷达传感器(例如3×3、3×2、4×2等)也是可能的。一些实施方式可以具有单个雷达传感器而不是雷达传感器阵列。
数据帧可以由ADC(未示出)生成。ADC(未示出)可以生成例如每个啁啾512个样本。每个啁啾的不同数量的样本例如128或256也是可能的。
在接收到回波信号之后,执行初始目标识别步骤(步骤406)。步骤406包括执行范围FFT(步骤801),执行范围FFT识别初始移动目标(步骤802)和初始静态目标(步骤804)。例如,可以按照关于图7A和图7C所描述的执行步骤802。例如,可以按照关于图7A和图7B所描述的执行步骤804。在步骤801期间,利用其对应的范围区间来识别潜在目标(静态或移动)。在一些实施方式中,还在步骤406期间执行过滤步骤以去除异常值目标。
选择用于确定移动目标识别和静态目标识别的阈值以允许检测所有人类目标,即使某些杂波也可能被检测为目标。执行步骤410以从检测到的目标中去除杂波。
在步骤410期间,对与在步骤801期间识别的目标相关联的数据使用FrFT。对于任何实际角度α(不与波束成形期间使用的到达角度混淆),信号s(t)的FrFT由下式给出:
其中n是整数。FrFT可以被理解为时频平面旋转角度α。例如,当α=0时,FrFT是恒等算子并且产生时域信号。当时,FrFT等同于傅里叶变换。当时,FrFT提供时频平面中信号的表示。
信号的分数阶傅里叶频谱可以高度集中在分数阶频率中。线性调频(LFM)信号的质心可以由信号的能量峰值在分数阶傅里叶频率中的位置来确定。因此,通过选择适当的旋转角度(即角度α),可以检测由移动目标生成的LFM信号。
在步骤808(也可以称为校准步骤)期间,执行对最佳角度α的搜索。步骤808包括步骤810、812、814和816。在步骤810期间,评估多个角度αi,其中i可以是例如10。对每个角度αi,计算FrFT,如步骤812所示。可以按照与将FFT应用于2D切片702类似的方式对2D切片702执行FrFT以生成2D切片706。计算每个角度αi的每个FrFT的多个局部峰值(例如,5到10个局部峰值)的能量并将其与相应FrFT的平均能量进行比较,以对每个角度αi生成峰值平均功率比(PAPR)度量标准。在针对所有i评估所有角度αi之后,选择具有最高PAPR的角度αi用于在步骤816期间的进一步处理。在一些实施方式中,选择的角度αi用于评估后续步骤中的所有2D切片。在一些实施方式中,每5到10秒执行一次步骤808。可以使用其他间隔。当不执行步骤808时,在步骤818中使用先前选择的角度α。
使用多个局部峰值来生成PAPR度量标准增加了所识别的目标包括存在的所有人的概率。使用多个局部峰值还增加了将杂波识别为目标的概率。为了最小化检测到杂波,可以从考虑中去除被识别为非人类的局部峰值。例如,如果局部峰值对应于高于人的高度的高度(例如,高于7英尺的高度),则在PAPR计算中从考虑中去除局部峰值。换句话说,局部峰值不被视为“峰值”的一部分,而被认为是PAPR计算中“平均值”的一部分。其他情况,例如人(例如,相对于范围和方位角)不能存在的位置可以被使用以从考虑中去除局部峰值。
步骤808通过使用PAPR选择最佳角度α,如步骤810、812、814和816所示。选择最佳角度α的其他方式也是可能的。例如,在一些实施方式中,通过对邻域中的峰值的数量进行计数并选择在范围/多普勒邻域中具有最小区别的峰值的角度α来选择最佳角度α。
在步骤818期间,使用所选择的角度α执行FrFT。可以按照与将FFT应用于2D切片702类似的方式在2D切片702上执行FrFT以生成2D切片706。可以仅在步骤801期间识别到潜在目标的范围区间上执行FrFT。通过将FrFT的峰值与阈值进行比较来识别目标。可以基于与相应峰值相关联的FrFT区间位置来提取所识别的移动目标的速度。
在步骤820期间使用例如波束成形技术来确定所识别的目标的位置和移动方向。例如,可以针对仰角和方位角来执行波束成形,如关于图7F所描述的。
在步骤822期间生成每个范围的对数似然比(LLR)、多普勒(例如,速度)、方位角和仰角分量。换句话说,在步骤822期间确定在扫描的位置中的每个位置中存在目标的概率。基于预定参考目标特征来确定概率。例如,与非人类行为或非人类的位置相关联的峰值可能被丢弃或与非常低的概率相关联。类似地,与高于人类移动的移动速度(例如,高于12m/s)相关联以及具有重复多普勒模式的峰值可能与非常低的概率(例如0%)相关联。相反,与人类行为相关联或不与非人类行为相关联的峰值可能与较高的概率(例如70%)相关联。作为另一示例,如果在已知不可移动的家具处于的位置中识别到静态对象,则可以将低概率(例如0%)分配给该位置。例如可以使用机器学习算法例如随机森林算法来确定参考目标特征。
在步骤824期间对识别的目标进行聚类。例如,将彼此邻近的与高于例如50%的概率相关联的位置聚类在一起,这是因为它们很可能源自相同的目标。聚类中的能量中心可以与所识别的聚类的中心(质心)相关联,其中聚类是邻域内所有点的并集。与识别的目标相关联的位置或聚类也被称为命中(hit)。
在步骤826期间随时间跟踪所识别的聚类。例如,通过使用最近邻方法可以将聚类与跟踪相关联。
识别的跟踪中的一些可能与杂波相关联,而其他识别的聚类可能与人相关联。可以通过将跟踪的聚类行为与参考跟踪特征进行比较来执行对杂波聚类和人类聚类的区分。例如,当在步骤818期间使用特定角度α时,机械的一些移动部件可能显示为命中,但是当在步骤818期间使用不同角度α时,机械的一些移动部件可能不会显示为命中。由于角度α在校准步骤808期间被周期性地更新,机械的这样的移动部件可以在第一时间期间被检测为命中,并且可以在第二时间期间不被检测为命中。聚类的出现和消失可以与跟踪特征相关联,并且如果聚类周期性地出现并消失,则可以通过将跟踪的行为与参考跟踪特征进行比较来检测聚类,并且可以将其丢弃。例如,可以使用机器学习算法例如随机森林算法来确定参考跟踪特征。
在一些实施方式中,在步骤826期间生成每个识别的聚类的概率密度函数(pdf)p(Sk|Zk),其中Zk包含直到时间k的所有测量。进行所识别的聚类的下一状态的估计其包含例如位置、速度和加速度的信息。状态Sk可以对应于人类或非人类。
如果与人类行为相关联的跟踪达至少预定时间例如30秒,则跟踪与人相关联,并且在步骤828期间检测到人。
对于被识别为人的每个聚类,在步骤412期间执行活动确定。例如,可以通过在步骤830期间对例如2D切片702执行STFrFT来对被识别为人的每个聚类执行微多普勒(m-D)特征提取。在步骤830期间,可以将整个多普勒轴传递到分类器用于在步骤832期间检测人类活动。将提取的m-D特征与参考m-D特征进行比较以在步骤838期间使用例如随机森林算法来确定(分类),例如,确定人是站立、行走还是躺下。例如,可以使用机器学习算法例如随机森林算法来确定参考m-D特征。
可以在受控环境(例如消声室)中对要被分类的活动(例如,站立、行走和躺下)提取参考m-D特征并且参考m-D特征被用于离线训练分类器。然后,训练的分类器/模型用于在步骤838期间对活动进行分类。使用例如所描述的允许在嘈杂环境中进行适当分类的分类器。
在步骤416期间,可以报告来自人类识别、检测和跟踪的结果。例如,处理器304可以报告检测到的人的数量,每个检测到的人的位置以及每个检测到的人正在执行的活动。还可以报告每个检测到的人的历史数据,例如人的位置跟踪、每个人在场景中已经存在的时间等。
在步骤834期间对人的数量进行计数。在一些实施方式中,人的数量基于步骤828期间与人相关联的跟踪数。例如,如果5次跟踪与人相关联,则人数等于5。如果跟踪被终止(例如,因为人退出场景)或者如果跟踪不再与人相关联,则在步骤834期间更新人数以反映与人相关联的跟踪数。
在步骤416期间,处理器304可以响应于检测到的触发条件。例如,在步骤836期间,将人类聚类的位置与参考位置进行比较。如果人类聚类的位置与参考位置交叠,则执行响应程序步骤840。作为另一示例,在步骤838期间,如果确定人类聚类躺下,则执行响应程序步骤840。其他活动和其他触发事件可以导致执行响应程序步骤840。
响应程序步骤840可以包括各种响应程序,例如,向个人(例如,工厂车间管理员)警报和/或向急救响应团队警报该情况、触发疏散,以及停止或关闭一台或更多台机器。其他响应程序也是可能的。
执行的特定响应程序可以取决于响应程序的触发。例如,躺下的人可以触发警报个人程序。作为另一示例,处于危险位置的人可能触发关闭与危险位置相关联的机器。
当触发疏散时,处理器304可以在每次疏散该区域时跟踪多个人。如果人在预定时间内未离开该区域,则处理器304可以警告急救人员。在一些实施方式中,可以在疏散与躺下的人相关联的人类聚类期间警告急救人员。其他动作也是可能的。
一些实施方式的优点包括在嘈杂环境例如工厂环境中对人进行检测,嘈杂环境中移动机械、静止对象、人和其他移动设备共存。通过对人进行检测,监视和/或计数,可以防止伤亡/受伤。其他优点包括通过在检测技术之前使用跟踪和动态最佳角度α选择来改善SCR。
图9示出了示出用于基于机器语言的特征提取和标识的机器学习流水线的框图,该机器学习流水线可用于生成参考特征(参考目标特征、参考跟踪特征和参考m-D特征)以对目标进行分类(步骤822)、跟踪目标(步骤826)并检测人类活动(步骤832)。图9的顶部900专用于处理特征存储,用于与后面的测量进行比较。此部分中显示的数据和步骤表示在对分类类别执行和处理雷达测量时执行的操作。底部920专用于新测量值的处理和比较,用于与存储数据进行比较。这些数据和步骤表示在系统识别和检测人类和人类活动时执行的操作。部900适用于生成参考目标特征、参考跟踪特征和参考m-D特征。部920适用于分类步骤822、826和832。
如图9的顶部900所示,训练数据902被变换成存储的特征向量910和对应的标签912。训练数据902表示原始数据(例如回波)。特征向量910表示代表训练数据902的生成向量的集合。标签912表示与对应训练数据902和特征向量910相关联的用户元数据。
如示出的,使用图像形成算法将训练数据902变换成特征向量910。数据准备块904表示原始传感器数据的初始格式化,并且数据注释块908表示来自训练数据902的状态标识。
在操作期间,使用上面描述的毫米波传感器获取包括一个或更多个静态和移动目标(例如,人、移动机械、家具和其他移动设备)的受控环境的一个或更多个雷达图像。在一些情况下,记录多个雷达图像以提高识别的准确度。机器学习算法914评估预测模型930用以标识特征向量的能力并且迭代地更新训练数据902以提高算法的分类准确度。可以通过计算交叉熵性能来确定机器学习算法的训练性能。在一些实施方式中,机器学习算法914迭代地调整图像形成参数以获得至少90%的分类准确度。可替选地,可以使用其他分类准确度。
可以使用本领域已知的各种机器学习算法来实现机器学习算法914。例如,随机森林算法或神经网络算法例如ResNet-18或本领域已知的其他神经网络算法可以用于存储的特征向量910的分类和分析。在存储的特征向量910的迭代优化期间,可以更新图像形成906的多个参数。
一旦使用参考训练数据902训练了系统,参考特征可以用于正常操作期间的分类。在正常操作期间,接收新目标数据922。数据准备块924准备新的目标数据922用于图像形成,并且图像形成块926形成新提取的特征向量928。预测模型930利用机器学习算法914将新提取的特征向量928与存储的特征向量910进行匹配。在匹配被识别时,提供标识新特征向量的预测标签。在一些实施方式中,来自存储的标签912的数据被提供为预测标签。预测模型930可以是具有通过机器学习算法计算/评估的最佳参数的机器学习模型。
此处概述了本发明的示例实施方式。根据在本文中提交的整个说明书和权利要求中还可以理解其他实施方式。
示例1.一种用于人类检测的方法,该方法包括:使用毫米波雷达朝向场景中的对象发送多个啁啾以产生回波信号;使用所述毫米波雷达接收第一回波信号以产生第一组数据;基于所述第一组数据识别第一初始目标;基于所述第一组数据选择第一角度;基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换(FrFT);通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标;在接收到所述第一回波信号之后,使用所述毫米波雷达接收第二回波信号以产生第二组数据;基于所述第二组数据识别第二初始目标;基于所述第二组数据选择第二角度,其中,所述第二角度与所述第一角度不同;基于所述第二初始目标使用所述第二角度对所述第二组数据执行FrFT;通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标;基于所识别的第一目标和第二目标生成一组目标跟踪;将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较,以生成相应的目标跟踪比较结果;以及基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
示例2.根据示例1所述的方法,还包括通过对与人类跟踪相关联的多个目标跟踪进行计数来对所述场景中的多个人进行计数。
示例3.根据示例1或2中的一项所述的方法,其中,所述场景包括具有移动机械的工厂环境。
示例4.根据示例1至3中的一项所述的方法,其中,发送所述多个啁啾包括每500ms连续发送128至256个啁啾。
示例5.根据示例1至4中的一项所述的方法,其中,发送所述多个啁啾包括在时间上等间隔地发送啁啾。
示例6.根据示例1所述的方法,还包括:基于所识别的第一目标和第二目标来更新基于位置的概率矩阵;根据人类跟踪来对人进行检测;对所述第二组数据执行短时FrFT(STFrFT)以生成第一STFrFT数据集;以及基于所述第一STFrFT数据集和所述基于位置的概率矩阵来使用微多普勒测量确定检测到的人的相应状态。
示例7.根据示例1至6中的一项所述的方法,还包括在至少一个检测到的人具有与躺下相关联的状态时生成警报。
示例8.根据示例1至7中的一项所述的方法,其中,与检测到的人相关联的状态包括:躺下、站立和行走。
示例9.根据示例1至8中的一项所述的方法,其中,基于所述第一STFrFT数据集确定检测到的人的相应状态包括将所述第一STFrFT数据集与参考活动特征进行比较。
示例10.根据示例1至9中的一项所述的方法,还包括:基于所确定的检测到的人的状态触发疏散;以及在所述疏散期间跟踪所述场景中的许多人。
示例11.根据示例1至10中的一项所述的方法,还包括使用机器学习算法生成所述参考活动特征。
示例12.根据示例1至11中的一项所述的方法,其中,所述毫米波雷达包括毫米波雷达传感器电路阵列,其中,每个毫米波雷达传感器捕获不同的视场。
示例13.根据示例1至12中的一项所述的方法,还包括拼接每个毫米波雷达传感器电路捕获到的相应的视场以生成拼接的数据集,其中,所述第一组数据和所述第二组数据是拼接的数据集。
示例14.根据示例1至13中的一项所述的方法,还包括基于所述第一组数据识别静态对象。
示例15.根据示例1至14中的一项所述的方法,其中,识别第一初始目标包括对所述第一组数据执行范围快速傅里叶变换(FFT)。
示例16.根据示例1至15中的一项所述的方法,其中,选择所述第一角度包括:使用相应的多个不同角度对所述第一组数据执行多次FrFT;以及对于所述多次FrFT中的每次FrFT,计算峰值平均功率比(PAPR),其中,选择所述多个不同角度中的与最高PAPR相关联的角度作为所述第一角度。
示例17.根据示例1至16中的一项所述的方法,其中,计算所述PAPR包括:识别相应FrFT的五个或更多个局部峰值;以及通过将所识别的五个或更多个局部峰值的能量与所述相应FrFT的平均能量进行比较来计算所述PAPR。
示例18.根据示例1至17中的一项所述的方法,其中,选择所述第二角度包括:使用相应的第二多个不同角度对所述第二组数据执行第二多次FrFT;以及对于所述第二多次FrFT中的每次FrFT,计算PAPR,其中,选择所述第二多个不同角度中的与最高PAPR相关联的角度作为所述第二角度。
示例19.根据示例1至18中的一项所述的方法,还包括:基于所识别的第一目标来更新基于位置的概率矩阵;以及通过对所述第一组数据执行波束成形来确定所述第一回波信号的到达角度,其中,基于所述波束成形更新所述基于位置的概率矩阵。
示例20.根据示例1至19中的一项所述的方法,还包括使用最邻近算法根据基于位置的概率矩阵来将目标聚类,其中,所述基于位置的概率矩阵基于所识别的第一目标和第二目标来更新,并且其中,生成所述一组目标跟踪包括跟踪聚类后的目标。
示例21.根据示例1至20中的一项所述的方法,其中,所述一组目标跟踪中的每个目标跟踪包括随时间的位置信息。
示例22.一种系统,包括:处理器,其被配置成耦接至毫米波雷达传感器电路,所述处理器被配置成:从所述毫米波雷达传感器电路接收第一组数据和第二组数据;基于所述第一组数据识别第一初始目标;基于所述第一组数据选择第一角度;基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换(FrFT);通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标;基于所述第二组数据选择第二角度,其中,所述第二角度与所述第一角度不同;基于所述第二组数据识别第二初始目标;基于所述第二初始目标使用所述第二角度对所述第二组数据执行FrFT;通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标;基于所识别的第一目标和第二目标跟踪识别的目标;以及将所跟踪的识别目标与参考跟踪特征进行比较以检测人。
示例23.根据示例22所述的系统,其中,跟踪识别的目标包括根据基于位置的概率矩阵生成一组目标跟踪,其中,所述一组目标跟踪中的每个目标跟踪包括随时间的位置信息,并且其中,将所跟踪的识别目标与参考跟踪特征进行比较包括:将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较以生成相应的目标跟踪比较结果,以及基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
示例24.一种毫米波雷达,包括:毫米波雷达传感器电路,其被配置成:朝向场景中的对象连续发送多个啁啾以产生回波信号,使用所述毫米波雷达接收第一回波信号以产生第一组数据,并且在接收到所述第一回波信号之后接收第二回波信号以产生第二组数据;以及处理器,其被配置成:基于所述第一组数据选择第一角度,使用所述第一角度对所述第一组数据执行分数阶傅里叶变换(FrFT),通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标,基于所述第二组数据选择第二角度,其中所述第二角度与所述第一角度不同,使用所述第二角度对所述第二组数据执行FrFT,通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标,基于所识别的第一目标和第二目标跟踪识别的目标,并且将所跟踪的识别目标与参考跟踪特征进行比较以对人进行检测。
示例25.根据示例24所述的毫米波雷达,还包括布置在所述场景的天花板中的多个毫米波雷达传感器电路,其中,所述处理器还被配置成拼接所述多个毫米波雷达传感器电路中的每个毫米波雷达传感器电路捕获到的相应的视场,以生成拼接的数据集。
尽管已经参考说明性实施方式描述了本发明,但是该描述并不旨在以限制意义来解释。参考说明书,本领域技术人员将清楚说明性实施方式的各种修改和组合以及本发明的其他实施方式。因此,所附权利要求书旨在涵盖任何这样的修改或实施方式。
Claims (25)
1.一种用于人类检测的方法,所述方法包括:
使用毫米波雷达朝向场景中的对象发送多个啁啾以产生回波信号;
使用所述毫米波雷达接收第一回波信号以产生第一组数据;
基于所述第一组数据识别第一初始目标;
基于所述第一组数据选择第一角度;
基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换即FrFT;
通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标;
在接收到所述第一回波信号之后,使用所述毫米波雷达接收第二回波信号以产生第二组数据;
基于所述第二组数据识别第二初始目标;
基于所述第二组数据选择第二角度,其中,所述第二角度与所述第一角度不同;
基于所述第二初始目标使用所述第二角度对所述第二组数据执行FrFT;
通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标;
基于所识别的第一目标和第二目标生成一组目标跟踪;
将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较,以生成相应的目标跟踪比较结果;以及
基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
2.根据权利要求1所述的方法,还包括通过对与人类跟踪相关联的多个目标跟踪进行计数来对所述场景中的多个人进行计数。
3.根据权利要求1所述的方法,其中,所述场景包括具有移动机械的工厂环境。
4.根据权利要求1所述的方法,其中,发送所述多个啁啾包括每500ms连续发送128至256个啁啾。
5.根据权利要求1所述的方法,其中,发送所述多个啁啾包括在时间上等间隔地发送啁啾。
6.根据权利要求1所述的方法,还包括:
基于所识别的第一目标和第二目标来更新基于位置的概率矩阵;
根据人类跟踪来对人进行检测;
对所述第二组数据执行短时FrFT即STFrFT以生成第一STFrFT数据集;以及
基于所述第一STFrFT数据集和所述基于位置的概率矩阵来使用微多普勒测量确定检测到的人的相应状态。
7.根据权利要求6所述的方法,还包括在至少一个检测到的人具有与躺下相关联的状态时生成警报。
8.根据权利要求6所述的方法,其中,与检测到的人相关联的状态包括躺下、站立和行走。
9.根据权利要求6所述的方法,其中,基于所述第一STFrFT数据集确定检测到的人的相应状态包括将所述第一STFrFT数据集与参考活动特征进行比较。
10.根据权利要求9所述的方法,还包括:
基于所确定的检测到的人的状态触发疏散;以及
在所述疏散期间跟踪所述场景中的多个人。
11.根据权利要求9所述的方法,还包括使用机器学习算法生成所述参考活动特征。
12.根据权利要求1所述的方法,其中,所述毫米波雷达包括毫米波雷达传感器电路阵列,其中,每个毫米波雷达传感器电路捕获不同的视场。
13.根据权利要求12所述的方法,还包括拼接每个毫米波雷达传感器电路捕获到的相应的视场以生成拼接的数据集,其中,所述第一组数据和所述第二组数据是拼接的数据集。
14.根据权利要求1所述的方法,还包括基于所述第一组数据识别静态对象。
15.根据权利要求1所述的方法,其中,识别第一初始目标包括对所述第一组数据执行范围快速傅里叶变换即FFT。
16.根据权利要求1所述的方法,其中,选择所述第一角度包括:
使用相应的多个不同角度对所述第一组数据执行多次FrFT;以及
对于所述多次FrFT中的每次FrFT,计算峰值平均功率比即PAPR,其中,选择所述多个不同角度中的与最高PAPR相关联的角度作为所述第一角度。
17.根据权利要求16所述的方法,其中,计算所述PAPR包括:
识别相应FrFT的五个或更多个局部峰值;以及
通过将所识别的五个或更多个局部峰值的能量与所述相应FrFT的平均能量进行比较来计算所述PAPR。
18.根据权利要求16所述的方法,其中,选择所述第二角度包括:
使用相应的第二多个不同角度对所述第二组数据执行第二多次FrFT;以及
对于所述第二多次FrFT中的每次FrFT,计算PAPR,其中,选择所述第二多个不同角度中的与最高PAPR相关联的角度作为所述第二角度。
19.根据权利要求1所述的方法,还包括:
基于所识别的第一目标来更新基于位置的概率矩阵;以及
通过对所述第一组数据执行波束成形来确定所述第一回波信号的到达角度,其中,更新所述基于位置的概率矩阵是基于所述波束成形。
20.根据权利要求1所述的方法,还包括使用最近邻算法根据基于位置的概率矩阵来将目标聚类,其中,基于所识别的第一目标和第二目标来更新所述基于位置的概率矩阵,并且其中,生成所述一组目标跟踪包括跟踪聚类后的目标。
21.根据权利要求1所述的方法,其中,所述一组目标跟踪中的每个目标跟踪包括随时间的位置信息。
22.一种用于人类检测的系统,包括:
处理器,其被配置成耦接至毫米波雷达传感器电路,所述处理器被配置成:
从所述毫米波雷达传感器电路接收第一组数据和第二组数据;
基于所述第一组数据识别第一初始目标;
基于所述第一组数据选择第一角度;
基于所述第一初始目标使用所述第一角度对所述第一组数据执行分数阶傅里叶变换即FrFT;
通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标;
基于所述第二组数据选择第二角度,其中,所述第二角度与所述第一角度不同;
基于所述第二组数据识别第二初始目标;
基于所述第二初始目标使用所述第二角度对所述第二组数据执行FrFT;
通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标;
基于所识别的第一目标和第二目标跟踪识别的目标;以及
将所跟踪的识别目标与参考跟踪特征进行比较以对人进行检测。
23.根据权利要求22所述的系统,其中,跟踪识别的目标包括根据基于位置的概率矩阵生成一组目标跟踪,其中,所述一组目标跟踪中的每个目标跟踪包括随时间的位置信息,并且其中,将所跟踪的识别目标与参考跟踪特征进行比较包括:
将所述一组目标跟踪中的每个目标跟踪与一组参考跟踪特征进行比较,以生成相应的目标跟踪比较结果,以及
基于所述相应的目标跟踪比较结果将目标跟踪与人类跟踪相关联。
24.一种毫米波雷达,包括:
毫米波雷达传感器电路,其被配置成:
朝向场景中的对象连续发送多个啁啾以产生回波信号,
使用所述毫米波雷达接收第一回波信号以产生第一组数据,并且
在接收到所述第一回波信号之后,接收第二回波信号以产生第二组数据;以及
处理器,其被配置成:
基于所述第一组数据选择第一角度,
使用所述第一角度对所述第一组数据执行分数阶傅里叶变换即FrFT,
通过将所述第一组数据的FrFT的峰值与第一阈值进行比较来识别第一目标,
基于所述第二组数据选择第二角度,其中,所述第二角度与所述第一角度不同,
使用所述第二角度对所述第二组数据执行FrFT,
通过将所述第二组数据的FrFT的峰值与所述第一阈值进行比较来识别第二目标,
基于所识别的第一目标和第二目标跟踪识别的目标,并且
将所跟踪的识别目标与参考跟踪特征进行比较以对人进行检测人。
25.根据权利要求24所述的毫米波雷达,还包括布置在所述场景的天花板中的多个毫米波雷达传感器电路,其中,所述处理器还被配置成拼接所述多个毫米波雷达传感器电路中的每个毫米波雷达传感器电路捕获到的相应的视场,以生成拼接的数据集。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/950,615 US10775482B2 (en) | 2018-04-11 | 2018-04-11 | Human detection and identification in a setting using millimeter-wave radar |
US15/950,615 | 2018-04-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110361725A true CN110361725A (zh) | 2019-10-22 |
Family
ID=68161653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910280977.6A Pending CN110361725A (zh) | 2018-04-11 | 2019-04-09 | 使用毫米波雷达进行人类检测和识别的系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10775482B2 (zh) |
CN (1) | CN110361725A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110779149A (zh) * | 2019-11-14 | 2020-02-11 | 宁波奥克斯电气股份有限公司 | 一种空调控制方法、装置及空调器 |
CN110779148A (zh) * | 2019-11-14 | 2020-02-11 | 宁波奥克斯电气股份有限公司 | 一种基于毫米波的空调趣味控制方法、装置及空调器 |
CN111175718A (zh) * | 2019-12-18 | 2020-05-19 | 南京理工大学 | 联合时频域的地面雷达自动目标识别方法及系统 |
CN111580060A (zh) * | 2020-04-21 | 2020-08-25 | 北京航空航天大学 | 目标姿态识别的方法、装置和电子设备 |
CN111657897A (zh) * | 2020-07-02 | 2020-09-15 | 武汉领科新云科技有限公司 | 一种检测人体体征的人工智能算法 |
CN111814688A (zh) * | 2020-07-09 | 2020-10-23 | 成都傅立叶电子科技有限公司 | 基于FFTc的数字波束形成角度捕获方法及装置、存储介质 |
CN112946630A (zh) * | 2021-01-27 | 2021-06-11 | 上海兰宝传感科技股份有限公司 | 一种基于毫米波雷达的人员计数跟踪方法 |
CN113794662A (zh) * | 2021-09-15 | 2021-12-14 | 西安电子科技大学广州研究院 | 一种基于lfm技术的卫星物联网传输方法和系统 |
CN114527463A (zh) * | 2022-04-24 | 2022-05-24 | 南京楚航科技有限公司 | 一种利用相位匹配的车内活体检测方法及设备 |
CN114578306A (zh) * | 2020-11-30 | 2022-06-03 | 群迈通讯股份有限公司 | 利用毫米波雷达的人体姿态识别方法及存储介质 |
CN115399747A (zh) * | 2022-08-15 | 2022-11-29 | 电子科技大学 | 一种基于毫米波雷达的多人生命体征监测方法 |
US11797098B2 (en) | 2020-05-26 | 2023-10-24 | Boe Technology Group Co., Ltd. | Methods for recognizing human hand and hand gesture from human, and display apparatus |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190339362A1 (en) * | 2018-05-03 | 2019-11-07 | Mediatek Inc. | Signature-based object detection method and associated apparatus |
US11391817B2 (en) * | 2018-05-11 | 2022-07-19 | Qualcomm Incorporated | Radio frequency (RF) object detection using radar and machine learning |
US10948581B2 (en) * | 2018-05-30 | 2021-03-16 | Richwave Technology Corp. | Methods and apparatus for detecting presence of an object in an environment |
US10928502B2 (en) | 2018-05-30 | 2021-02-23 | Richwave Technology Corp. | Methods and apparatus for detecting presence of an object in an environment |
US10962637B2 (en) * | 2018-06-25 | 2021-03-30 | Texas Instruments Incorporated | Radar data processing using neural network classifier and confidence metrics |
US11402470B2 (en) * | 2018-12-05 | 2022-08-02 | Tata Consultancy Services Limited | Method and system for monitoring machine health using radar based segregation for induced machine vibrations |
IL265930B2 (en) * | 2019-04-08 | 2023-05-01 | Essence Security International Esi Ltd | Method and device for detection |
US11187782B2 (en) * | 2019-04-10 | 2021-11-30 | GM Global Technology Operations LLC | Radar system with enhanced angular resolution and method for enhancing angular resolution in a radar system |
CA3148412A1 (en) * | 2019-08-05 | 2021-02-11 | Srivatsan RAMESH | Non-contact identification of multi-person presence for elderly care |
US11372083B2 (en) * | 2019-12-16 | 2022-06-28 | Ay Dee Kay Llc | Calibrating array antennas based on signal energy distribution as a function of velocity |
US20210181303A1 (en) * | 2019-12-16 | 2021-06-17 | Semiconductor Components Industries, Llc | Calibrating array antennas based on signal energy distribution as a function of angle |
JP7359706B2 (ja) | 2020-01-24 | 2023-10-11 | Jrcモビリティ株式会社 | 物標識別装置 |
US10972316B1 (en) * | 2020-02-06 | 2021-04-06 | The Aerospace Corporation | Channel estimation using a chirp signal and the Fractional Fourier Transform |
US20210326581A1 (en) * | 2020-04-14 | 2021-10-21 | Bitsensing Inc. | DNN-Based Human Face Classification |
CN111474538A (zh) * | 2020-04-28 | 2020-07-31 | 北京理工大学 | 一种基于模糊逻辑推理的目标分类方法 |
CN111856422A (zh) * | 2020-07-03 | 2020-10-30 | 西安电子科技大学 | 基于宽带多通道毫米波雷达的唇语识别方法 |
US11704917B2 (en) | 2020-07-09 | 2023-07-18 | Infineon Technologies Ag | Multi-sensor analysis of food |
CN112014821B (zh) * | 2020-08-27 | 2022-05-17 | 电子科技大学 | 一种基于雷达宽带特征的未知车辆目标识别方法 |
US11614511B2 (en) | 2020-09-17 | 2023-03-28 | Infineon Technologies Ag | Radar interference mitigation |
CN112346055B (zh) * | 2020-10-23 | 2024-04-16 | 无锡威孚高科技集团股份有限公司 | 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备 |
CN112327288B (zh) * | 2020-10-29 | 2023-07-25 | 深圳大学 | 雷达人体动作识别方法、装置、电子设备和存储介质 |
US11300652B1 (en) * | 2020-10-30 | 2022-04-12 | Rebellion Defense, Inc. | Systems and methods for generating images from synthetic aperture radar data using neural networks |
US11719787B2 (en) | 2020-10-30 | 2023-08-08 | Infineon Technologies Ag | Radar-based target set generation |
CN112526473A (zh) * | 2020-11-17 | 2021-03-19 | 中国人民解放军海军航空大学 | 一种群目标个数判别方法及系统 |
US11719805B2 (en) | 2020-11-18 | 2023-08-08 | Infineon Technologies Ag | Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT) |
DE102020215252A1 (de) | 2020-12-03 | 2022-06-09 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur radarbasierten Gestenklassifikation und Radarsensor |
CN112764022A (zh) * | 2020-12-24 | 2021-05-07 | 珠海格力电器股份有限公司 | 公共安全管理方法及公共安全管理系统 |
CN112859187B (zh) * | 2021-01-06 | 2022-11-08 | 路晟(上海)科技有限公司 | 被探测物的姿态识别方法和装置、设备及系统 |
CN112731332A (zh) * | 2021-01-13 | 2021-04-30 | 路晟悠拜(重庆)科技有限公司 | 基于毫米波的静态目标存在识别方法及系统 |
CN114943242A (zh) * | 2021-02-08 | 2022-08-26 | 北京小米移动软件有限公司 | 事件检测方法及装置、电子设备、存储介质 |
CN113030868A (zh) * | 2021-03-29 | 2021-06-25 | 长沙莫之比智能科技有限公司 | 一种毫米波雷达角度超分辨方法 |
CN113093140B (zh) * | 2021-04-09 | 2023-05-19 | 西安电子科技大学 | 基于加权admm的微动目标时频图重构方法 |
CN113534138B (zh) * | 2021-06-18 | 2024-01-30 | 西安电子科技大学 | 基于fpga的毫米波雷达室内人员统计计数方法 |
CN113537035A (zh) * | 2021-07-12 | 2021-10-22 | 宁波溪棠信息科技有限公司 | 人体目标检测方法、装置、电子装置和存储介质 |
CN113835074B (zh) * | 2021-08-04 | 2024-01-16 | 南京常格科技发展有限公司 | 一种基于毫米波雷达的人流量动态监测方法 |
CN113688848B (zh) * | 2021-08-30 | 2023-09-05 | 重庆大学 | 基于分数阶傅里叶变换的早期胃癌目标特征提取系统 |
CN113985393B (zh) * | 2021-10-25 | 2024-04-16 | 南京慧尔视智能科技有限公司 | 一种目标检测方法、装置及系统 |
CN114280612B (zh) * | 2021-12-13 | 2023-03-31 | 珠海安自达科技有限公司 | 一种绝缘体目标的毫米波雷达恒虚警检测方法 |
CN115407273B (zh) * | 2022-08-29 | 2024-01-05 | 哈尔滨工业大学(威海) | 一种特定安防区域监控提醒报警装置及方法 |
CN115826062A (zh) * | 2022-11-22 | 2023-03-21 | 广东分数维无线科技有限公司 | 基于毫米波雷达的生物体识别系统及方法 |
CN116106847B (zh) * | 2023-01-18 | 2023-11-07 | 珠海微度芯创科技有限责任公司 | 毫米波雷达二维联合超分辨测角方法、装置及存储介质 |
CN116699714A (zh) * | 2023-04-28 | 2023-09-05 | 武汉领普科技有限公司 | 探测装置、方法及系统 |
CN117129947B (zh) * | 2023-10-26 | 2023-12-26 | 成都金支点科技有限公司 | 一种基于miniunet的平面变换法雷达信号识别方法 |
CN117331047A (zh) * | 2023-12-01 | 2024-01-02 | 德心智能科技(常州)有限公司 | 基于毫米波雷达的人体行为数据分析方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07191133A (ja) * | 1993-12-27 | 1995-07-28 | Fujitsu Ten Ltd | 静止物識別型移動体レーダー装置 |
CN1444009A (zh) * | 2002-03-13 | 2003-09-24 | 欧姆龙株式会社 | 监视装置 |
CN101305295A (zh) * | 2005-11-09 | 2008-11-12 | 丰田自动车株式会社 | 物体检测装置 |
CN102340651A (zh) * | 2011-07-28 | 2012-02-01 | 上海高位安全网络管理有限公司 | 移动式巡逻监视系统 |
CN106199582A (zh) * | 2016-06-23 | 2016-12-07 | 长沙学院 | 应用于室内的双频连续波雷达人体定位跟踪的方法 |
CN106646457A (zh) * | 2016-11-02 | 2017-05-10 | 南京慧尔视智能科技有限公司 | 基于微波的人员行为检测方法与装置 |
Family Cites Families (146)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4241347A (en) | 1978-06-28 | 1980-12-23 | International Telephone And Telegraph Corporation | PRC/FM CW Radar system |
GB2247799A (en) | 1990-09-04 | 1992-03-11 | Gec Ferranti Defence Syst | Radar based navigation aid |
US6304178B1 (en) | 1997-01-20 | 2001-10-16 | Kabushiki Kaisha Tsuden | Door safety system |
US6147572A (en) | 1998-07-15 | 2000-11-14 | Lucent Technologies, Inc. | Filter including a microstrip antenna and a frequency selective surface |
JP3393204B2 (ja) | 1999-10-06 | 2003-04-07 | 株式会社ホンダエレシス | マルチビームレーダ装置 |
ATE403166T1 (de) * | 2000-06-06 | 2008-08-15 | Altratek Inc | Sensorsystem und verfahren zum detektieren und verfolgen von zielen |
DE10037099A1 (de) | 2000-07-28 | 2002-02-07 | Wienand Hans Theo | Personenzählvorrichtung |
JP3680029B2 (ja) | 2001-08-08 | 2005-08-10 | 三菱重工業株式会社 | 金属薄膜の気相成長方法およびその気相成長装置 |
US7176506B2 (en) | 2001-08-28 | 2007-02-13 | Tessera, Inc. | High frequency chip packages with connecting elements |
US7948769B2 (en) | 2007-09-27 | 2011-05-24 | Hemisphere Gps Llc | Tightly-coupled PCB GNSS circuit and manufacturing method |
KR100477647B1 (ko) | 2002-06-01 | 2005-03-23 | 삼성전자주식회사 | 영상의 움직임 보정 장치 및 방법 |
US6963259B2 (en) | 2002-06-27 | 2005-11-08 | Harris Corporation | High efficiency resonant line |
JP3833606B2 (ja) | 2002-12-19 | 2006-10-18 | 三菱電機株式会社 | 車載レーダ装置 |
US6806821B2 (en) * | 2003-03-12 | 2004-10-19 | Itt Manufacturing Enterprises, Inc. | Apparatus and method for rapid detection of objects with time domain impulsive signals |
KR20060130715A (ko) | 2004-03-03 | 2006-12-19 | 닛본 덴끼 가부시끼가이샤 | 측위 시스템, 측위 방법, 및 그 프로그램 |
US8350747B2 (en) * | 2004-04-14 | 2013-01-08 | L-3 Communications Security And Detection Systems, Inc. | Surveillance with subject screening |
US7119745B2 (en) | 2004-06-30 | 2006-10-10 | International Business Machines Corporation | Apparatus and method for constructing and packaging printed antenna devices |
US7317417B2 (en) * | 2004-07-12 | 2008-01-08 | Orhan Arikan | Methods for detection and tracking of targets |
US7057564B2 (en) | 2004-08-31 | 2006-06-06 | Freescale Semiconductor, Inc. | Multilayer cavity slot antenna |
US7615856B2 (en) | 2004-09-01 | 2009-11-10 | Sanyo Electric Co., Ltd. | Integrated antenna type circuit apparatus |
US7692684B2 (en) | 2004-09-27 | 2010-04-06 | Point Grey Research Inc. | People counting systems and methods |
JP2006234513A (ja) | 2005-02-23 | 2006-09-07 | Toyota Central Res & Dev Lab Inc | 障害物検出装置 |
US8066642B1 (en) | 2005-05-03 | 2011-11-29 | Sonosite, Inc. | Systems and methods for ultrasound beam forming data control |
EP1899744A2 (en) * | 2005-06-06 | 2008-03-19 | Signal-Labs, Inc. | System and method for detection and discrimination of targets in the presence of interference |
US7596241B2 (en) | 2005-06-30 | 2009-09-29 | General Electric Company | System and method for automatic person counting and detection of specific events |
US8228382B2 (en) | 2005-11-05 | 2012-07-24 | Ram Pattikonda | System and method for counting people |
EP1791277A1 (de) | 2005-11-28 | 2007-05-30 | Siemens Aktiengesellschaft | Verfahren und Anordnung zur Kalibrierung von Sendepfaden eines Antennensystems |
US20070210959A1 (en) | 2006-03-07 | 2007-09-13 | Massachusetts Institute Of Technology | Multi-beam tile array module for phased array systems |
US7652617B2 (en) | 2006-06-01 | 2010-01-26 | University Of Florida Research Foundation, Inc. | Radar microsensor for detection, tracking, and classification |
US7873326B2 (en) | 2006-07-11 | 2011-01-18 | Mojix, Inc. | RFID beam forming system |
DE102006032539A1 (de) | 2006-07-13 | 2008-01-17 | Robert Bosch Gmbh | FMCW-Radarsensor |
US20080238762A1 (en) * | 2007-01-31 | 2008-10-02 | Donald Spyro Gumas | System and methods for multistep target detection and parameter estimation |
US7889147B2 (en) | 2007-02-23 | 2011-02-15 | Northrop Grumman Systems Corporation | Modular active phased array |
US7525474B2 (en) | 2007-03-30 | 2009-04-28 | Honeywell International Inc. | Integrated distance measuring equipment and transponder system and method |
US7675465B2 (en) | 2007-05-22 | 2010-03-09 | Sibeam, Inc. | Surface mountable integrated circuit packaging scheme |
US8237259B2 (en) | 2007-06-13 | 2012-08-07 | Infineon Technologies Ag | Embedded chip package |
JP4415040B2 (ja) | 2007-09-18 | 2010-02-17 | 三菱電機株式会社 | レーダ装置 |
US7880677B2 (en) | 2007-12-12 | 2011-02-01 | Broadcom Corporation | Method and system for a phased array antenna embedded in an integrated circuit package |
US8134425B2 (en) | 2007-12-13 | 2012-03-13 | Broadcom Corporation | Method and system for filters embedded in an integrated circuit package |
JP4861303B2 (ja) | 2007-12-27 | 2012-01-25 | 株式会社日立製作所 | レーダセンサ |
WO2009129232A1 (en) | 2008-04-14 | 2009-10-22 | Digital Lumens Incorporated | Modular lighting systems |
EP2307907A1 (en) | 2008-07-24 | 2011-04-13 | Koninklijke Philips Electronics N.V. | Distance measurement |
US9250323B2 (en) * | 2008-12-10 | 2016-02-02 | The United States Of America As Represented By The Secretary Of The Army | Target detection utilizing image array comparison |
DE102008054570A1 (de) | 2008-12-12 | 2010-06-17 | Robert Bosch Gmbh | FMCW-Radarsensor für Kraftfahrzeuge |
US8654006B2 (en) | 2009-02-13 | 2014-02-18 | Freescale Semiconductor, Inc. | Integrated circuit comprising frequency generation circuitry for controlling a frequency source |
US20100207805A1 (en) | 2009-02-19 | 2010-08-19 | Agd Systems Limited | Obtaining an indication of a number of moving objects passing speed detection apparatus |
JP5726852B2 (ja) | 2009-04-06 | 2015-06-03 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH | 送信信号と受信信号とを分離しかつ妨害放射を抑制する装置を持つレーダシステム及び方法 |
CN201438747U (zh) | 2009-05-18 | 2010-04-14 | 幻音科技(深圳)有限公司 | 耳塞式耳机 |
CN101585361A (zh) | 2009-05-25 | 2009-11-25 | 郭文艺 | 汽车防碰撞防车道偏离控制装置 |
US8861328B2 (en) | 2009-06-17 | 2014-10-14 | Optis Cellular Technology, Llc | Method for antenna calibration in a wideband communication system |
US8941625B2 (en) | 2009-07-07 | 2015-01-27 | Elliptic Laboratories As | Control using movements |
US8779965B2 (en) * | 2009-12-18 | 2014-07-15 | L-3 Communications Cyterra Corporation | Moving-entity detection |
DE102009055262A1 (de) | 2009-12-23 | 2011-06-30 | Endress + Hauser GmbH + Co. KG, 79689 | Verfahren zur Ermittlung und Überwachung des Füllstands eines Mediums in einem Behälter nach einem Laufzeitmessverfahren |
US9069067B2 (en) * | 2010-09-17 | 2015-06-30 | The Invention Science Fund I, Llc | Control of an electronic apparatus using micro-impulse radar |
JP2013521508A (ja) | 2010-03-05 | 2013-06-10 | ユニバーシティ・オブ・ウィンザー | レーダーシステム及びその製造方法 |
US8725085B2 (en) | 2010-06-03 | 2014-05-13 | Broadcom Corporation | RF front-end module |
US9569003B2 (en) | 2010-09-30 | 2017-02-14 | Broadcom Corporation | Portable computing device including a three-dimensional touch screen |
JP5549560B2 (ja) | 2010-11-26 | 2014-07-16 | 富士通株式会社 | Fm−cwレーダ装置、ペアリング方法 |
JP2012168157A (ja) | 2011-02-11 | 2012-09-06 | National Univ Corp Shizuoka Univ | 車載用のマルチビーム方式レーダ装置、マルチビーム方式レーダ方法およびマルチビーム方式レーダプログラム |
US8988299B2 (en) | 2011-02-17 | 2015-03-24 | International Business Machines Corporation | Integrated antenna for RFIC package applications |
US20120280900A1 (en) | 2011-05-06 | 2012-11-08 | Nokia Corporation | Gesture recognition using plural sensors |
DE102011100907A1 (de) | 2011-05-09 | 2012-01-12 | Daimler Ag | Vorrichtung und Verfahren zur Ermittlung eines Fahrbahnzustands |
DE102011075725A1 (de) | 2011-05-12 | 2012-11-15 | Robert Bosch Gmbh | Verfahren zum Erkennen von Gesten |
US8860532B2 (en) | 2011-05-20 | 2014-10-14 | University Of Central Florida Research Foundation, Inc. | Integrated cavity filter/antenna system |
US9183686B2 (en) | 2011-07-12 | 2015-11-10 | Tyco Fire & Security Gmbh | Method and system for people counting using passive infrared detectors |
US9705204B2 (en) | 2011-10-20 | 2017-07-11 | Keyssa, Inc. | Low-profile wireless connectors |
EP2589979A1 (en) * | 2011-11-03 | 2013-05-08 | Thales Nederland B.V. | System for characterizing motion of an individual, notably a human individual |
EP2788838A4 (en) | 2011-12-09 | 2015-10-14 | Nokia Technologies Oy | METHOD AND APPARATUS FOR IDENTIFYING A GESTURE AFTER THE FUSION OF MULTIPLE SENSOR SIGNALS |
US9202105B1 (en) | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
CN102788969B (zh) | 2012-07-04 | 2015-01-28 | 中国人民解放军海军航空工程学院 | 基于短时分数阶傅里叶变换的海面微动目标检测和特征提取方法 |
US9678573B2 (en) | 2012-07-30 | 2017-06-13 | Microsoft Technology Licensing, Llc | Interaction with devices based on user state |
US20140070994A1 (en) | 2012-09-13 | 2014-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | 3d short range detection with phased array radar |
US9196951B2 (en) | 2012-11-26 | 2015-11-24 | International Business Machines Corporation | Millimeter-wave radio frequency integrated circuit packages with integrated antennas |
CN102967854B (zh) | 2012-12-07 | 2014-08-13 | 中国人民解放军海军航空工程学院 | Frft域海杂波中目标的多重分形检测方法 |
WO2014104189A1 (ja) | 2012-12-26 | 2014-07-03 | 日立化成株式会社 | エキスパンド方法、半導体装置の製造方法、及び半導体装置 |
US8836596B2 (en) | 2013-01-15 | 2014-09-16 | Cubic Corporation | Filter antenna |
US9413079B2 (en) | 2013-03-13 | 2016-08-09 | Intel Corporation | Single-package phased array module with interleaved sub-arrays |
WO2014172668A1 (en) * | 2013-04-18 | 2014-10-23 | California Institute Of Technology | Life detecting radars |
KR101480348B1 (ko) | 2013-05-31 | 2015-01-09 | 삼성에스디에스 주식회사 | 사람 검출 장치 및 방법과 사람 계수 장치 및 방법 |
US9459339B2 (en) | 2013-06-13 | 2016-10-04 | Texas Instruments Incorporated | Kalman filter for indoor positioning |
US9671492B2 (en) * | 2013-08-14 | 2017-06-06 | Iee International Electronics & Engineering S.A. | Radar sensing of vehicle occupancy |
CN103529444A (zh) | 2013-09-27 | 2014-01-22 | 安徽师范大学 | 一种车载毫米波雷达动目标识别器及识别方法 |
US9900687B2 (en) | 2013-10-07 | 2018-02-20 | Gn Netcom A/S | Earphone device with optical sensor |
US9753131B2 (en) * | 2013-10-09 | 2017-09-05 | Massachusetts Institute Of Technology | Motion tracking via body radio reflections |
US9759807B2 (en) | 2013-10-25 | 2017-09-12 | Texas Instruments Incorporated | Techniques for angle resolution in radar |
US9773742B2 (en) | 2013-12-18 | 2017-09-26 | Intel Corporation | Embedded millimeter-wave phased array module |
US20150181840A1 (en) | 2013-12-31 | 2015-07-02 | i4c Innovations Inc. | Ultra-Wideband Radar System for Animals |
JP2015141109A (ja) | 2014-01-29 | 2015-08-03 | 富士通テン株式会社 | レーダ装置、及び、信号処理方法 |
US9704769B2 (en) | 2014-02-27 | 2017-07-11 | STATS ChipPAC Pte. Ltd. | Semiconductor device and method of forming encapsulated wafer level chip scale package (EWLCSP) |
CN203950036U (zh) | 2014-03-12 | 2014-11-19 | 肖令军 | 一种基于毫米波雷达测距的有人无人直升机避撞系统 |
US9921657B2 (en) | 2014-03-28 | 2018-03-20 | Intel Corporation | Radar-based gesture recognition |
EP3128339B1 (en) * | 2014-03-31 | 2020-10-21 | Mitsumi Electric Co., Ltd. | Radar module, transport equipment, and object identification method |
CN106415454A (zh) | 2014-04-30 | 2017-02-15 | Lg伊诺特有限公司 | 触控设备、具有该触控设备的可穿戴设备及触控识别方法 |
US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
US9666553B2 (en) | 2014-06-16 | 2017-05-30 | Texas Instruments Incorporated | Millimeter wave integrated circuit with ball grid array package including transmit and receive channels |
US20170131395A1 (en) | 2014-06-25 | 2017-05-11 | University Of Washington | Devices, systems, and methods for detecting gestures using multiple antennas and/or reflections of signals transmitted by the detecting device |
US10627480B2 (en) | 2014-07-17 | 2020-04-21 | Texas Instruments Incorporated | Distributed radar signal processing in a radar system |
US9921660B2 (en) | 2014-08-07 | 2018-03-20 | Google Llc | Radar-based gesture recognition |
US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
US10094920B2 (en) | 2014-08-27 | 2018-10-09 | Texas Instruments Incorporated | Range resolution in FMCW radars |
US9784828B2 (en) | 2014-08-27 | 2017-10-10 | Texas Insturments Incorporated | FMCW doppler processing algorithm for achieving CW performance |
US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
US10539669B2 (en) | 2014-10-08 | 2020-01-21 | Texas Instruments Incorporated | Three dimensional (3D) tracking of objects in a radar system |
US10634778B2 (en) | 2014-10-21 | 2020-04-28 | Texas Instruments Incorporated | Camera assisted tracking of objects in a radar system |
US20160118353A1 (en) | 2014-10-22 | 2016-04-28 | Infineon Techologies Ag | Systems and Methods Using an RF Circuit on Isolating Material |
KR20160058594A (ko) | 2014-11-17 | 2016-05-25 | 삼성전자주식회사 | 로봇 청소기, 단말장치 및 그 제어 방법 |
US9733340B2 (en) | 2014-11-21 | 2017-08-15 | Texas Instruments Incorporated | Techniques for high arrival angle resolution using multiple nano-radars |
US9829566B2 (en) | 2014-11-25 | 2017-11-28 | Texas Instruments Incorporated | Controlling radar transmission to enable interference mitigation |
US20160306034A1 (en) | 2014-12-23 | 2016-10-20 | Infineon Technologies Ag | RF System with an RFIC and Antenna System |
US9921295B2 (en) | 2014-12-30 | 2018-03-20 | Texas Instruments Incorporated | Multiple chirp generation in a radar system |
US9696359B2 (en) | 2014-12-31 | 2017-07-04 | Texas Instruments Incorporated | Dynamic measurement of frequency synthesizer noise spurs or phase noise |
JP6567832B2 (ja) | 2015-01-29 | 2019-08-28 | 日本電産株式会社 | レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム |
US10622694B2 (en) | 2015-02-12 | 2020-04-14 | Texas Instruments Incorporated | Dielectric waveguide radar signal distribution |
US9817109B2 (en) | 2015-02-27 | 2017-11-14 | Texas Instruments Incorporated | Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution |
US10168785B2 (en) | 2015-03-03 | 2019-01-01 | Nvidia Corporation | Multi-sensor based user interface |
US10067221B2 (en) | 2015-04-06 | 2018-09-04 | Texas Instruments Incorporated | Interference detection in a frequency modulated continuous wave (FMCW) radar system |
US9835714B2 (en) | 2015-04-09 | 2017-12-05 | Texas Instruments Incorporated | Circuit and method for impedance detection in millimeter wave systems |
CN113940655A (zh) * | 2015-04-20 | 2022-01-18 | 瑞思迈传感器技术有限公司 | 用传感器进行手势识别 |
JP6940414B2 (ja) * | 2015-04-20 | 2021-09-29 | レスメッド センサー テクノロジーズ リミテッド | 特性信号から人間の検出及び識別 |
EP3289432B1 (en) | 2015-04-30 | 2019-06-12 | Google LLC | Rf-based micro-motion tracking for gesture tracking and recognition |
CN111880650A (zh) | 2015-04-30 | 2020-11-03 | 谷歌有限责任公司 | 基于宽场雷达的手势识别 |
US9853365B2 (en) | 2015-05-05 | 2017-12-26 | Texas Instruments Incorporated | Dynamic programming of chirps in a frequency modulated continuous wave (FMCW) radar system |
US10613208B2 (en) | 2015-05-15 | 2020-04-07 | Texas Instruments Incorporated | Low complexity super-resolution technique for object detection in frequency modulation continuous wave radar |
US20160349845A1 (en) | 2015-05-28 | 2016-12-01 | Google Inc. | Gesture Detection Haptics and Virtual Tools |
US9806040B2 (en) | 2015-07-29 | 2017-10-31 | STATS ChipPAC Pte. Ltd. | Antenna in embedded wafer-level ball-grid array package |
US10048354B2 (en) | 2015-08-13 | 2018-08-14 | Texas Instruments Incorporated | Chirp frequency non-linearity mitigation in radar systems |
US20170054449A1 (en) | 2015-08-19 | 2017-02-23 | Texas Instruments Incorporated | Method and System for Compression of Radar Signals |
US10555256B2 (en) | 2015-09-08 | 2020-02-04 | Texas Instruments Incorporated | Re-sampling with reduced power consumption and complexity |
US10078131B2 (en) | 2015-09-15 | 2018-09-18 | Texas Instruments Incorporated | Method and apparatus for FMCW radar processing |
US10061015B2 (en) | 2015-09-30 | 2018-08-28 | Texas Instruments Incorporated | Multi-chip transceiver testing in a radar system |
US10234542B2 (en) | 2015-09-30 | 2019-03-19 | Texas Instruments Incorporated | Measurement of transceiver performance parameters in a radar system |
US10718852B2 (en) | 2015-10-23 | 2020-07-21 | Texas Instruments Incorporated | RF/mm-wave peak detector with high-dynamic range calibration |
US9759808B2 (en) | 2015-11-12 | 2017-09-12 | Texas Instruments Incorporated | Buffer sample size control for variable chirp radar |
WO2017084700A1 (de) | 2015-11-17 | 2017-05-26 | Vega Grieshaber Kg | Antennenvorrichtung und verfahren zum senden und/oder empfangen eines signals |
KR102427185B1 (ko) | 2015-12-09 | 2022-08-01 | 삼성전자 주식회사 | 스위치 운용 방법 및 이를 지원하는 전자 장치 |
US10746851B2 (en) | 2015-12-18 | 2020-08-18 | Texas Instruments Incorporated | Circuits and methods for determining chirp signal linearity and phase noise of a FMCW radar |
US10599518B2 (en) | 2015-12-31 | 2020-03-24 | Texas Instruments Incorporated | Protecting data memory in a signal processing system |
US10530053B2 (en) | 2016-01-13 | 2020-01-07 | Infineon Technologies Ag | System and method for measuring a plurality of RF signal paths |
US9965043B2 (en) | 2016-01-27 | 2018-05-08 | Wipro Limited | Method and system for recommending one or more gestures to users interacting with computing device |
US20190013960A1 (en) | 2016-02-29 | 2019-01-10 | Innosys, Inc. | Switched Wireless Signaling |
US10514770B2 (en) | 2016-06-17 | 2019-12-24 | Texas Instruments Incorporated | Hidden Markov model-based gesture recognition with FMCW radar |
US10180495B2 (en) * | 2016-07-05 | 2019-01-15 | The Aerospace Corporation | Separating weak and strong moving targets using the fractional fourier transform |
EP3497546B1 (en) | 2016-08-09 | 2021-10-06 | Google LLC | Radar-based gestural interface |
CN106338732B (zh) * | 2016-08-23 | 2019-02-26 | 华讯方舟科技有限公司 | 一种毫米波三维全息成像方法及系统 |
CN106980362A (zh) | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
US10912493B2 (en) * | 2017-01-06 | 2021-02-09 | Panasonic Intellectual Property Management Co., Ltd. | Sensor and method |
-
2018
- 2018-04-11 US US15/950,615 patent/US10775482B2/en active Active
-
2019
- 2019-04-09 CN CN201910280977.6A patent/CN110361725A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07191133A (ja) * | 1993-12-27 | 1995-07-28 | Fujitsu Ten Ltd | 静止物識別型移動体レーダー装置 |
CN1444009A (zh) * | 2002-03-13 | 2003-09-24 | 欧姆龙株式会社 | 监视装置 |
CN101305295A (zh) * | 2005-11-09 | 2008-11-12 | 丰田自动车株式会社 | 物体检测装置 |
CN102340651A (zh) * | 2011-07-28 | 2012-02-01 | 上海高位安全网络管理有限公司 | 移动式巡逻监视系统 |
CN106199582A (zh) * | 2016-06-23 | 2016-12-07 | 长沙学院 | 应用于室内的双频连续波雷达人体定位跟踪的方法 |
CN106646457A (zh) * | 2016-11-02 | 2017-05-10 | 南京慧尔视智能科技有限公司 | 基于微波的人员行为检测方法与装置 |
Non-Patent Citations (1)
Title |
---|
张军;: "基于分数阶傅里叶变换步态特征提取", 北京理工大学学报, no. 06, pages 1 - 5 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110779148A (zh) * | 2019-11-14 | 2020-02-11 | 宁波奥克斯电气股份有限公司 | 一种基于毫米波的空调趣味控制方法、装置及空调器 |
CN110779149A (zh) * | 2019-11-14 | 2020-02-11 | 宁波奥克斯电气股份有限公司 | 一种空调控制方法、装置及空调器 |
CN111175718A (zh) * | 2019-12-18 | 2020-05-19 | 南京理工大学 | 联合时频域的地面雷达自动目标识别方法及系统 |
CN111175718B (zh) * | 2019-12-18 | 2023-08-08 | 南京理工大学 | 联合时频域的地面雷达自动目标识别方法及系统 |
CN111580060A (zh) * | 2020-04-21 | 2020-08-25 | 北京航空航天大学 | 目标姿态识别的方法、装置和电子设备 |
US11579248B2 (en) | 2020-04-21 | 2023-02-14 | Beihang University | Method, apparatus and electronic equipment for recognizing posture of target |
US11797098B2 (en) | 2020-05-26 | 2023-10-24 | Boe Technology Group Co., Ltd. | Methods for recognizing human hand and hand gesture from human, and display apparatus |
CN111657897A (zh) * | 2020-07-02 | 2020-09-15 | 武汉领科新云科技有限公司 | 一种检测人体体征的人工智能算法 |
CN111814688A (zh) * | 2020-07-09 | 2020-10-23 | 成都傅立叶电子科技有限公司 | 基于FFTc的数字波束形成角度捕获方法及装置、存储介质 |
CN111814688B (zh) * | 2020-07-09 | 2023-10-13 | 成都傅立叶电子科技有限公司 | 基于FFTc的数字波束形成角度捕获方法及装置、存储介质 |
CN114578306A (zh) * | 2020-11-30 | 2022-06-03 | 群迈通讯股份有限公司 | 利用毫米波雷达的人体姿态识别方法及存储介质 |
CN112946630A (zh) * | 2021-01-27 | 2021-06-11 | 上海兰宝传感科技股份有限公司 | 一种基于毫米波雷达的人员计数跟踪方法 |
CN113794662B (zh) * | 2021-09-15 | 2022-06-17 | 西安电子科技大学广州研究院 | 一种基于lfm技术的卫星物联网传输方法和系统 |
CN113794662A (zh) * | 2021-09-15 | 2021-12-14 | 西安电子科技大学广州研究院 | 一种基于lfm技术的卫星物联网传输方法和系统 |
CN114527463A (zh) * | 2022-04-24 | 2022-05-24 | 南京楚航科技有限公司 | 一种利用相位匹配的车内活体检测方法及设备 |
CN114527463B (zh) * | 2022-04-24 | 2022-08-12 | 南京楚航科技有限公司 | 一种利用相位匹配的车内活体检测方法及设备 |
CN115399747B (zh) * | 2022-08-15 | 2023-09-26 | 电子科技大学 | 一种基于毫米波雷达的多人生命体征监测方法 |
CN115399747A (zh) * | 2022-08-15 | 2022-11-29 | 电子科技大学 | 一种基于毫米波雷达的多人生命体征监测方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190317191A1 (en) | 2019-10-17 |
US10775482B2 (en) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110361725A (zh) | 使用毫米波雷达进行人类检测和识别的系统和方法 | |
CN109557535B (zh) | 用于使用毫米波雷达传感器的占用检测的系统和方法 | |
Patwari et al. | RF sensor networks for device-free localization: Measurements, models, and algorithms | |
US7345621B2 (en) | Real-time multistatic radar signal processing system and method | |
Liu et al. | Automatic fall detection based on Doppler radar motion signature | |
US9383426B2 (en) | Real-time, two dimensional (2-D) tracking of first responders with identification inside premises | |
US10761187B2 (en) | Liquid detection using millimeter-wave radar sensor | |
EP3792659A1 (en) | Human target tracking system and method | |
Li et al. | On CSI and passive Wi-Fi radar for opportunistic physical activity recognition | |
US20220179062A1 (en) | Detection apparatus and method | |
US20230112537A1 (en) | Vital information acquisition apparatus and method | |
Kocur et al. | Imaging method: an efficient algorithm for moving target tracking by UWB radar | |
CN112634566B (zh) | 基于毫米波的智能电子围栏构建方法及系统 | |
Kocur et al. | Imaging method: A strong tool for moving target tracking by a multistatic UWB radar system | |
Endo et al. | Multi-person position estimation based on correlation between received signals using mimo fmcw radar | |
Khawaja et al. | UWB radar based beyond wall sensing and tracking for ambient assisted living | |
JP5969818B2 (ja) | 行動検出システム | |
Zande | 3D Point Cloud Object Detection for Millimeter Wave Radar: a Synthesis Study | |
Urdzık et al. | Shadowing effect analysis at multiple moving persons tracking by UWB radar | |
Novák et al. | Static person detection and localization with estimation of person's breathing rate using single multistatic UWB radar | |
Wang et al. | Analysis of Processing Pipelines for Indoor Human Tracking using FMCW radar | |
Xu et al. | Mimo space-delay adaptive processing for wide-area indoor human motion classification | |
Gao et al. | MMW-Carry: Enhancing Carry Object Detection through Millimeter-Wave Radar-Camera Fusion | |
ZHU | HUMAN ACTIVITY | |
Iqbal et al. | Intelligent tracking and positioning of targets using passive sensing systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |