CN118438976A - 活体检测方法及相关装置 - Google Patents

活体检测方法及相关装置 Download PDF

Info

Publication number
CN118438976A
CN118438976A CN202310149338.2A CN202310149338A CN118438976A CN 118438976 A CN118438976 A CN 118438976A CN 202310149338 A CN202310149338 A CN 202310149338A CN 118438976 A CN118438976 A CN 118438976A
Authority
CN
China
Prior art keywords
vehicle
data
radar
intermediate frequency
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310149338.2A
Other languages
English (en)
Inventor
丁根明
李进进
陈志凯
许广成
沈奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310149338.2A priority Critical patent/CN118438976A/zh
Priority to PCT/CN2024/073424 priority patent/WO2024160078A1/zh
Publication of CN118438976A publication Critical patent/CN118438976A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供活体检测方法及相关装置。本申请提供通过雷达装置检测车辆座舱内活体的方法。实施本申请提供的方法,车辆可以在车主离开后,自主对车辆内是否存在活体进行检测。并且,雷达装置可以集成在中控显示屏中减少在车辆中的排线。车辆可以对离雷达装置不同距离的活体进行探测,并排除车身晃动,摆件晃动等干扰。车辆还可以将检测结果发送到车主的电子设备上。这样,车辆可以在检测到座舱内存在活体时及时提醒车主,保障车内滞留儿童或宠物的生命安全。

Description

活体检测方法及相关装置
技术领域
本申请涉及智能汽车技术领域,尤其涉及活体检测方法及相关装置。
背景技术
车辆熄火后,由于车主忽视车内的儿童或宠物,导致儿童或宠物受伤或死亡的事故时有发生。尤其是当车主离开车辆时,如果车内滞留的儿童或宠物处于熟睡状态,更易发生车主遗忘儿童或宠物的情况。因此,车辆需要在熄火后及时对车内的活体进行检测。这样,就可以在车辆内有活体时及时提醒车主,保障车内滞留儿童或宠物的生命安全。
发明内容
本申请提供活体检测方法及相关装置。车辆可以在车主离开后,自主对车辆内是否存在活体进行检测。雷达装置可以集成在中控显示屏中减少在车辆中的排线。为了适应中控显示屏计算量不足的问题,中控显示屏可以对雷达装置发送和接收的信号处理后发送给车机系统,由车机系统对车辆内是否存在活体进行判定。最后,车机系统可以将检测结果发送到车主的电子设备上。这样,车辆可以在检测到座舱内存在活体时及时提醒车主,保障车内滞留儿童或宠物的生命安全。
第一方面,本申请提供一种活体检测方法。该方法可以应用于车辆,车辆可以包括显示设备和第一设备。显示设备中可以包括雷达装置。该方法可以包括:车辆通过雷达装置发射雷达信号,并接收回波信号。车辆中的显示设备根据雷达信号和回波信号得到N1帧中频信号。N1帧中频信号中的一帧中频信号可以包括N2个中频信号。N2个中频信号中的一个中频信号可以是根据雷达装置发射的一次雷达信号和一次雷达信号的回波信号得到的。N1、N2均为正整数。车辆中的显示设备可以根据N1帧中频信号的M个中频信号得到第一数据。M可以是小于N1*N2的正整数。第一数据可以包含M个中频信号频域上的幅度和/或相位。车辆中的显示设备可以向第一设备发送第一数据。车辆中的第一设备可以根据第一数据确定车辆中存在活体。
其中,雷达装置可以将N2个雷达信号划分为一帧。雷达装置可以发送N1帧雷达信号,并接收N1帧雷达信号的回波信号。雷达装置可以根据每个雷达信号对应的回波信号获得中频信号。这样,雷达装置共可以得到N1*N2个中频信号。显示设备中的微处理器可以从N1*N2个中频信号中的M个中频信号得到第一数据。其中,第一数据可以是显示设备中的微处理器对M个中频信号进行傅里叶变换后得到的不同频率的采样点。上述不同频率的采样点也可以称为Range-bin。Range-bin中可以包含M个中频信号在不同频率采样点上的幅度和/或相位信息。中频信号在一个频率采样点的幅度可以称为一个Range-bin的幅度。中频信号在一个频率采样点的相位可以称为一个Range-bin的相位。车辆中的第一设备可以根据第一数据的特征确定车辆中存在活体。其中上述第一数据的特征可以是第一数据的时域特征和/或频域特征。
可以理解的,车辆中的显示设备可以对N1*N2个中频信号进行选择,从N1*N2个中频信号中选择其中M个中频信号得到第一数据。这样,车辆就可以在显示设备向第一设备传输数据受限的情况下完成活体的检测。并且,雷达装置集成在显示设备中可以在雷达装置监测范围覆盖座舱内部的情况下减少布线,避免雷达装置固定点出现松动导致监测范围出现变化。
结合第一方面,在一些实施例中,车辆中的显示设备可以根据N1帧中频信号的M个中频信号得到第一数据,该方法具体可以包括:车辆中的显示设备从N1帧中频信号中筛选M个中频信号。车辆中的显示设备对M个中频信号进行傅里叶变换得到第一数据。其中,第一数据可以是M个中频信号经过距离维FFT计算后得到的Range-bin。
可以理解的,车辆中的显示设备可以先从N1帧中频信号中筛选出M个中频信号,然后再对M个中频信号进行傅里叶变换。这样就可以减少显示设备的计算量,并且可以在显示设备向第一设备传输数据受限的情况下完成活体的检测。
结合第一方面,在一些实施例中,车辆中的显示设备根据N1帧中频信号的M个中频信号得到第一数据,具体可以包括:车辆中的显示设备根据M个中频信号得到第二数据。第二数据可以包含M个中频信号中根据第一监测范围内反射的回波信号得到的中频信号频域上的幅度和/或相位。车辆中的显示设备从第二数据中筛选得到第一数据,第一数据可以包含M个中频信号中根据第二监测范围内反射的回波信号得到的中频信号频域上的幅度和/或相位。第二监测范围小于第一监测范围。
其中,第一监测范围可以是雷达装置能够监测的最大范围。第一监测范围的大小可以由雷达装置的距离分辨率和中频信号的采样点数计算得到。第一监测范围的最远距离可以是雷达装置可探测的最远距离。上述雷达装置可探测的最远距离可以是雷达装置发射的雷达信号经过物体反射后无法返回雷达装置的信号传输距离,也可以是雷达装置能够到达物体的最远直线距离。第二监测范围可以是座舱监测范围。第二监测范围可以与车辆座舱的长度有关。第二数据可以是座舱监测范围对应的Range-bin。
可以理解的,车辆中的显示设备可以从N1*N2个中频信号中选择M个中频信号,再计算M个中频信号的Range-bin数据,减少计算量。并且,显示设备还可以对每个中频信号对应的Range-bin进行距离维度的筛选。显示设备可以保留座舱监测范围的Range-bin数据,并删除距离超过座舱监测范围较多的Range-bin数据。这样,就可以解决在显示设备向第一设备传输数据量受限和显示设备中的微处理器计算力不足的情况下完成活体的检测。
结合第一方面,在一些实施例中,车辆中的第一设备根据第一数据确定车辆中存在活体,具体包括:车辆中的第一设备从第一数据中筛选得到第三数据。第三数据包含根据在第一位置处反射回波信号得到的中频信号频域上的幅度和/或相位。第一位置为离雷达装置第一距离处的位置。车辆中的第一设备对第三数据分组,得到Q组数据,Q为正整数。车辆中的第一设备计算Q组数据的特征值。车辆中的第一设备确定Q组数据的特征值大于特征值对应的门限值的比例超过第一比例。车辆中的第一设备确定第一位置存在活体。
其中,第一数据可以包含第二监测范围内,不同距离的Range-bin数据。第三数据可以包含第二监测范围内,第一距离的Range-bin数据。第一位置可以位于第二监测范围内,在离雷达装置的第一距离上。其中第一距离可以是离雷达装置的直线距离,也可以是经过多个物体反射的距离。第一设备可以通过将第三数据划分到Q个检测时间窗口中实现对第三数据的分组。其中不同的特征值可以有不同的门限值。第一设备可以计算所有时间窗口中所有特征值超出对应门限值的个数占特征值总数的比例。当上述比例超过第一比例时,第一设备可以确定第一位置存在活体。
可以理解的,第一设备可以对所有第一距离上的Range-bin分组,并分别计算每组Range-bin的特征值。第一设备可以对第二监测范围内所有距离都执行上述活体判定方法,以确定离雷达装置的不同距离处是否存在活体。
结合第一方面,在一些实施例中,车辆中的第一设备计算Q组数据的特征值,具体包括:车辆中的第一设备计算Q组第一数据中每组第一数据的幅度差值,得到幅度差值。第一设备可以计算幅度差值的平均值和/或方差;和/或,车辆中的第一设备计算Q组第一数据中每组第一数据的相位累计差值,得到相位累计差值。第一设备可以计算相位累计差值的平均值和/或方差。
可以理解的,当车辆中的活体产生位移时,会引起对应位置Range-bin的幅度或相位发生变化。第一设备可以计算Range-bin的幅度差值,以获取Range-bin的幅度变化情况和/或第一设备可以计算Range-bin的相位累计差值,以获取Range-bin的相位变化情况。第一设备可以对幅度差值取平均值和/或方差,和/或,对相位累计差值取平均值和/或方差。由于平均值和方差不会受到某一特殊值的影响,这样,就可以避免车辆震动等影响活体判定的准确性。
结合第一方面,在一些实施例中,车辆中的第一设备计算Q组数据的特征值,具体包括:车辆中的第一设备计算Q组第一数据中每组第一数据的幅度差值,得到幅度差值。第一设备获取幅度差值的频域特征;和/或车辆中的第一设备计算Q组第一数据中每组第一数据的相位累计差值,得到相位累计差值。第一设备获取相位累计差值的频域特征。
可以理解的,第一设备可以计算幅度差值和相位累计差值的变化频率。第一设备可以选择活体运动所在频率对应的特征与门限值进行对比。这样,就可以排除车辆车身晃动等干扰,提高活体判定的准确性。
结合第一方面,在一些实施例中,车辆通过雷达装置发射雷达信号,并接收回波信号之前,包括:车辆中的第一设备确定车辆的车门,车窗,发动机,油箱口和充电口中的一个或多个关闭。车辆中的第一设备向显示设备发送第一信号。第一信号用于指示雷达装置发射雷达信号。
可以理解的,第一设备可以在确定车辆的车门,车窗,发动机,油箱口和充电口中的一个或多个关闭后再进行活体检测,这样就可以有效避免车辆外部行人走动等对活体检测准确性的干扰。并且也可以避免在车主只是暂时离开车辆的情况下进行活体检测。
结合第一方面,在一些实施例中,车辆中的第一设备向显示设备发送第一信号,具体包括:车辆中的第一设备在确定车辆的车门,车窗,发动机,油箱口和充电口中的一个或多个关闭之后等待第一时间段,再向显示设备发送第一信号;或者,车辆中的第一设备向显示设备发送第一信号之后,还包括:车辆中的显示设备等待第二时间段后,指示雷达装置发射雷达信号并接收回波信号。其中,第一时间段可以是5秒,第二时间段也可以是5秒。
可以理解的,车辆中的第一设备可以在确定车辆的车门,车窗,发动机,油箱口和充电口中的一个或多个关闭之后,等待第一时间段再指示显示设备中的雷达装置发射雷达信号并接收回波信号。或是车辆中的第一设备可以在确定车辆的车门,车窗,发动机,油箱口和充电口中的一个或多个关闭之后,指示显示设备开始活体检测。显示设备可以等待第二时间段再指示显示设备中的雷达装置发射雷达信号并接收回波信号。这样就可以避免车辆刚刚停止,车辆中的挂件仍在摆动对活体检测准确性的影响。
结合第一方面,在一些实施例中,车辆中的第一设备根据第一数据确定车辆中存在活体之后,还包括:车辆中的第一设备发送第一信息到电子设备,第一信息用于表示车辆中存在活体。
其中,电子设备可以是手机,电脑,还可以是手表,手环等便携式穿戴设备。第一设备中的通信模块可以发送第一信息到电子设备。电子设备可以提醒车主车辆中存在活体。
可以理解的是,当第一设备确定车辆中存在活体时,可以通知车主的电子设备。电子设备可以提醒车主车辆中存在活体。这样车主就可以及时返回车辆查看,保证车辆中活体的生命安全。
结合第一方面,在一些实施例中,第一设备可以是车机系统。
可以理解的是,车机系统的计算力较强。车机系统可以接收显示设备发来的Range-bin数据,进而对车辆内是否存在活体进行判定。这样,车辆就可以在显示设备计算力较低的情况下,完成对座舱内的活体检测。
第二方面,本申请提供一种活体检测方法。该方法可以应用于车辆,车辆可以包括显示设备和第一设备。显示设备中可以包括雷达装置。该方法可以包括:车辆通过雷达装置发射雷达信号,并接收回波信号。车辆中的显示设备根据雷达信号和回波信号得到N1帧中频信号。N1帧中频信号中的一帧中频信号可以包括N2个中频信号。N2个中频信号中的一个中频信号可以是根据雷达装置发射的一次雷达信号和一次雷达信号的回波信号得到的。N1、N2均为正整数。车辆中的显示设备根据N1帧中频信号得到第二数据。第二数据可以是N1*N2个中频信号中根据第一监测范围内反射的回波信号得到的Range-bin,上述Range-bin中包含了第一监测范围对应中频信号在频域上的幅度和/或相位。车辆中的显示设备从第二数据中筛选得到第一数据。第一数据可以是N1*N2个中频信号中根据第二监测范围内反射的回波信号得到的中频信号频域上的Range-bin。上述Range-bin包含了第二监测范围对应中频信号在频域上的幅度和/或相位。第二监测范围小于第一监测范围。车辆中的显示设备可以向第一设备发送第一数据。车辆中的第一设备可以根据第一数据确定车辆中存在活体。
其中,雷达装置可以将N2个雷达信号划分为一帧。雷达装置可以发送N1帧雷达信号,并接收N1帧雷达信号的回波信号。雷达装置可以根据每个雷达信号对应的回波信号获得中频信号。这样,雷达装置共可以得到N1*N2个中频信号。显示设备中的微处理器可以对N1*N2个中频信号进行距离维傅里叶变换计算,得到第一数据。第一数据可以是N1*N2个中频信号经过距离维FFT计算后得到的Range-bin。第一监测范围可以是雷达装置能够监测的最大范围。第一监测范围的大小可以由雷达装置的距离分辨率和中频信号的采样点数计算得到。第一监测范围的最远距离可以是雷达装置可探测的最远距离。上述雷达装置可探测的最远距离可以是雷达装置发射的雷达信号经过物体反射后无法返回雷达装置的信号传输距离,也可以是雷达装置能够到达物体的最远直线距离。第二监测范围可以是座舱监测范围。第二监测范围可以与车辆座舱的长度有关。第二数据可以是座舱监测范围对应的Range-bin。
可以理解的,车辆中的显示设备可以对N1*N2个中频信号进行距离维傅里叶变换得到Range-bin数据。显示设备可以对每个中频信号对应的Range-bin进行距离维度的筛选。显示设备可以保留座舱监测范围的Range-bin数据,并删除距离超过座舱监测范围较多的Range-bin数据。这样,就可以解决在显示设备向第一设备传输数据量受限和显示设备中的微处理器计算力不足的情况下完成活体的检测。并且,雷达装置集成在显示设备中可以在雷达装置监测范围覆盖座舱内部的情况下减少布线,避免雷达装置固定点出现松动导致监测范围出现变化。
第三方面,本申请提供一种车辆,车辆包括显示设备、存储器和处理器,其中:显示设备可以用于显示界面,显示设备可以包括雷达装置,雷达装置可以用于发射雷达信号并接收回波信号,存储器中可以存储有计算机可执行指令,处理器执行计算机可执行指令时,可以使得车辆实现上述第一方面或第二方面中任一种可能的实现方式。
第四方面,本申请提供一种计算机存储介质,包括指令,当上述指令在车辆上运行时,使得上述车辆执行上述第一方面或第二方面中任一种可能的实现方式。
第五方面,本申请实施例提供一种芯片,该芯片应用于车辆,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该车辆执行上述第一方面或第二方面中任一种可能的实现方式。
第六方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在设备上运行时,使得上述车辆执行上述第一方面或第二方面中任一种可能的实现方式。
可以理解地,上述第三方面提供的车辆、第四方面提供的计算机存储介质、第五方面提供的芯片、第六方面提供的计算机程序产品均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1是本申请实施例提供的一种活体检测系统架构示意图;
图2是本申请实施例提供的一种车辆的结构示意图;
图3是本申请实施例提供的一种电子设备的结构示意图;
图4A是本申请实施例提供的一种中控显示屏的正面示意图;
图4B是本申请实施例提供的一种雷达装置集成在中控显示屏的内部结构示意图;
图5A~图5D是本申请实施例提供的一些车辆中雷达装置发射波束的场景示意图;
图6是本申请实施例提供的一种活体检测方法的流程图;
图7A~图7B是本申请实施例提供的一些雷达数据立方体示意图;
图8A是本申请实施例提供的一种中频信号的距离谱图示意图;
图8B是本申请实施例提供的一种对Range-bin数据处理的距离谱图示意图;
图8C是本申请实施例提供的一种对Range-bin数据处理的雷达数据块平面示意图;
图9A是本申请实施例提供的一种对多帧Range-bin数据处理的示意图;
图9B是本申请实施例提供的一种对多帧Range-bin数据处理的雷达数据块平面示意图;
图9C是本申请实施例提供的一种中控显示屏发送到车机系统的Range-bin数据示意图;
图10A是本申请实施例提供的一种幅度差值的幅度值数据块示例图;
图10B是本申请实施例提供的一种通过时域特征判定序号为2的Range-bin对应雷达装置距离处是否存在活体的流程示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请提供基于雷达的活体检测方法,为了便于理解,下面先对本申请实施例涉及的相关术语及概念进行介绍。
(1)调频连续波
调频连续波(frequencymodulated continuous wave,FMCW)是调频的连续信号。调频连续波的频率会随着时间的变化而变化。其中,频率随着时间线性变化的调频连续波信号称为线性调频连续波信号。
(2)中频信号
中频信号是高频信号经过变频获得的一种信号,是一种中间频率的信号形式。雷达装置的发射信号与回波信号经过混频后得到的差频信号是一种中频信号。上述中频信号的频率是发射信号与接收信号的频率差,相位是发射信号与接收信号的相位差。
(3)快速傅里叶变换
快速傅里叶变换(fast fourier transform,FFT)是一种用来计算离散傅里叶变换的快速算法。快速傅里叶变换可以用于将波形信号从时域变换到频域。
(4)距离维FFT
距离维FFT(Range FFT)为对中频信号进行N点FFT计算的操作。其中N为中频信号的采样点数。对中频信号进行RangeFFT后可以得到距离单元(Range-bin)。一个Range-bin可以对应于中频信号的一个频点。因此对中频信号进行N点FFT计算后,可以得到N个Range-bin。一个Range-bin可以反映距离雷达装置某一位置的信息。其中,range-bin可具有幅度和相位。一个Range-bin的幅度和相位可以分别是中频信号在一个频点的幅度和相位。当活体运动时会产生位移。上述位移会导致对应位置Range-bin的幅度和相位出现变化。在一段时间内一个Range-bin的幅度或相位的变化量超过预设的幅度阈值或相位阈值时可以表示这一个Range-bin对应的位置存在活体。
(5)距离分辨率
当两个目标位于雷达装置的同一方向,而与雷达装置的距离不同时,雷达装置能够区分这两个目标的最小距离称为雷达装置的距离分辨率。
本申请实施例提供利用雷达对车内的活体进行检测的方法。其中,车辆内的显示屏中可集成有雷达装置。在车辆熄火且车窗处于关闭状态的情况下,车辆可以开始进行活体检测。具体的,车辆内的显示屏中还可集成有显示屏微处理器(microcontroller unit,MCU)。显示屏MCU可以控制雷达装置发射雷达信号,并接收由目标反射的回波信号。显示屏MCU可以对雷达装置发射的雷达信号和接收的回波信号进行差频处理,并得到中频信号。然后,显示屏MCU可以对上述中频信号进行时间维度上的选择,然后对被选中的中频信号进行距离维FFT计算,得到Range-bin。显示屏MCU可以提取有效范围的Range-bin发送到车辆的车机系统。或者,显示屏MCU可以在对上述中频信号进行距离维FFT计算之后,对得到的Range-bin进行时间维度和距离维度的筛选,并将筛选得到的Range-bin发送给车机系统。车机系统可以根据Range-bin对车内是否存在活体进行判定。当确定车内存在活体时,车机系统可以将滞留提醒发送到用户终端。
可以理解的,活体通常是时时处于运动状态的。例如,活体呼吸会使其胸腔产生微小的位移。再例如,活体在移动,活体的位置改变。活体离雷达装置的距离对应Range-bin的幅度和相位会由于活体的位移产生变化。这样,车机系统可以通过连续时间内Range-bin的幅度和相位变化情况确定车辆中是否存在活体。
本申请中将雷达装置集成在显示屏中可以减少车辆内的布线。并且,由于显示屏的位置比较固定,将雷达装置集成在显示屏中可以避免雷达装置由于固定点出现松动,导致检测区域发生变化,引起误检或漏检。此外,显示屏MCU在处理中频信号时进行了时间维度和距离维度的数据筛选。上述数据筛选可以减少显示屏MCU传输到车机系统的数据量。这样,在显示屏MCU和车机系统之间数据传输量受限的情况下,车机系统也能够根据显示屏MCU发送的数据快速进行活体检测,提高活体检测的效率。并且,显示屏将Range-bin发送给车机系统,由车机系统进行活体检测判决的分布式处理方法可以降低对显示屏MCU计算力的要求。即便在显示屏MCU计算力较低的情况下,车辆100也可以完成活体检测。
在一些实施例中,车辆内的显示屏可以包括:中控显示屏、流媒体后视镜,后座显示屏等。在本申请提供的活体检测方法中,雷达装置可以集成在车辆内的任意一个或多个显示屏上。为了便于描述,本申请后续实施例以中控显示屏为例介绍活体检测方法。不限于中控显示屏,还可以是其它显示屏。只要基于本申请提供的同一发明思想,都在本申请保护范围内。在一些实施例中,上述雷达装置还可以集成在车辆内的多个显示屏中。由于显示屏的位置不同,雷达装置收发信号的位置也可以不同。这样就可以有不同的监测范围。车机系统可以通过集成在不同显示屏中多个雷达装置的信号共同确定车辆中某一位置上是否存在活体。
本申请的雷达装置可以包括以下一种或多种雷达装置:激光雷达,毫米波雷达,微波雷达等。其中,毫米波雷达发射的雷达信号不受光线强度的影响,毫米波雷达的准确率不会因此而下降。此外,毫米波雷达的分辨率更高,并且发射的雷达信号可以在车内进行反射,在活体被座椅遮挡的情况下,利用毫米波雷达仍可以对车辆内的滞留活体进行检测。另外,毫米波雷达可以对微运动如呼吸,心跳进行感应。即使车内的儿童或宠物等处于熟睡状态,也可以准确地检测到滞留的儿童或宠物。本申请对车辆100的显示屏上集成的雷达装置的类型不作限定。
本申请实施例对活体检测的应用场景不作限定,除了可以是检测车辆中的活体,还可以检测其他应用场景下的活体。例如仓库,洗手间,浴室等。雷达装置可以集成在家居设备,洗手间中控设备等。本申请实施例以雷达装置安装于车辆中的中控显示屏上,检测车辆中活体的应用场景为例进行具体说明。
下面介绍本申请实施例提供的一种活体检测系统。
图1示例性示出了一种活体检测系统架构图。
如图1所示,活体检测系统可以包括车辆100和电子设备120。车辆100包括车机系统101、中控显示屏102、车身控制系统103和发动机104,等等。
车机系统101可用于车辆100接入互联网以便与电子设备120等设备通信。车机系统101可以为车辆100提供远程通讯接口。提供包括导航、娱乐、行车数据采集、行驶轨迹记录、车辆故障监控、车辆远程查询和控制(如开闭锁、空调控制、车窗控制、发动机扭矩限制、发动机启停、调整座椅,查询电池电量、油量、车门状态等)、驾驶行为分析、无线热点分享、道路救援、异常提醒等服务。
车机系统101可用于和汽车远程服务提供商(telematics service provider,TSP)以及用户(如驾驶员)侧电子设备通信,实现电子设备120上的车辆状态显示与控制。当用户通过电子设备上的车辆管理应用发送控制命令后,TSP会发出请求指令到车机系统101,车机系统101在获取到控制命令后,通过CAN总线发送控制报文并实现对车辆100的控制,最后反馈操作结果到用户侧电子设备上的车辆管理应用上。也就是说,车机系统101通过CAN总线读取到的数据,例如车况报告、行车报告、油耗统计、违章查询、位置轨迹、驾驶行为等数据,可以通过网络将传输到TSP后台系统,由TSP后台系统转发给用户侧的电子设备,以供用户查看。
车机系统101具体可包括通信模块105,串行器106和车机系统系统级芯片(systemon Chip,SOC)107。
通信模块105可以用于提供无线通信功能,支持车辆100通过无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)、超宽带(ultra-wideband,UWB)等无线通信技术和其他设备通信。通信模块105还可用于提供移动通信功能,支持车辆100通过全球移动通讯系统(global system for mobile communications,GSM)、通用移动通信系统(universalMobile telecommunications system,UMTS)、宽带码分多址(wideband code divisionmultiple access,WCDMA),时分码分多址(time-division code division multipleaccess,TD-SCDMA),长期演进(long term evolution,LTE),5G以及未来出现的6G等通信技术和其他设备通信。
通信模块105可以通过基于蜂窝网络的车辆与万物(vehicle to everything,V2X)通信技术(cellular V2X,C-V2X)和其他设备如服务器、用户侧电子设备等建立连接并通信。C-V2X例如可包括基于长期演进(long term evolution,LTE)的V2X(LTE-V2X)、5G-V2X等。
串行器106是车机系统101中的一个接口电路。串行器106可以用于将并行数据转化为串行数据。车机系统101处理的视频数据可以是多条并行的高速数据。由于并行数据数量较多,车机系统101直接传输并行数据到中控显示屏102难度较大。串行器106可以把车机系统SOC107处理后的多条并行的数据转换成串行数据后,再发送到中控显示屏102中的解串器108。
车机系统SOC107中可以包括一个或多个处理单元。车机系统SOC107可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphicsprocessing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是车机系统101的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。在一些实施例中,车机系统SOC107中的控制器可以是一个或多个MCU。
车机系统SOC107中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器中的存储器为高速缓冲存储器。该存储器可以保存处理器刚用过或循环使用的指令或数据。如果处理器需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器的等待时间,因而提高了系统的效率。
车机系统101也可以被称为T-box、远程信息处理器、车辆网关等等,本申请实施例对此不作限制。
车身控制系统103可以对车辆100中车身的部件进行控制。例如,车身控制系统103可以对车窗,车门,油箱口,充电口等车身部件中的一项或多项进行控制。车身控制系统103可以包括以下一项或多项车身部件的控制单元:车窗控制单元,车门控制单元,油箱控制单元,充电控制单元。其中,车窗控制单元可以控制车辆100中车窗的打开与关闭。车门控制单元可以控制车辆100中车门的打开与关闭。油箱控制单元可以用于控制车辆100中油箱的打开与关闭。在一些实施例中,车辆100可以是电动汽车。这样,油箱控制单元可以替换为充电控制单元。充电控制单元可以用于控制车辆100充电口的打开与关闭。其中,充电口用于给车辆100充电。在另一些实施例中,车辆100还可以是油、电混合式汽车,车辆100中可以既包含油箱控制单元,还可以包含充电控制单元。本申请实施例对于车辆100的动力来源不作限制。
发动机104是为车辆100提供动力的装置。发动机104中可以包括发动机MCU,用于管理发动机,协调发动机的各个功能,例如可用于启动发动机、关闭发动机等等。在本申请实施例中,当发动机104关闭时,发动机MCU可以发送熄火信号到车机系统101。
中控显示屏102可以用于为驾驶员提供可视化的界面。中控显示屏102中可以包括解串器108和中控显示屏MCU109。在本申请实施例中,中控显示屏102中还可以包括雷达装置110。
解串器108是中控显示屏102的一个接口电路。解串器108可以将车机系统101中的串行器106发出的串行数据转换成并行数据,便于中控显示屏102处理。解串器108除了可以接收串行器106发送的数据,还可以通过反向数据通道发送数据到串行器106。串行器106和解串器108可以通过双向二线制同步串行总线(inter-intergrated circuit,I2C)连接。
中控显示屏MCU109是中控显示屏102的大脑。中控显示屏MCU109可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。中控显示屏102中还可以包括显示面板。中控显示屏MCU109可以通过上述指令控制中控显示屏102中的显示面板显示不同的画面。在本申请实施例中,中控显示屏MCU109还可以指示雷达装置110发射雷达信号,并接收由目标反射的回波信号。
雷达装置110可以包括发射天线,接收天线和混频器等。其中,发射天线可以用于发射雷达信号。接收天线可以用于接收雷达信号的回波信号。发射天线和接收天线的数量可以大于1个。发射天线也可以称为TX天线,接收天线也可以称为RX天线。混频器可以将TX天线发射的每个雷达信号和RX天线接收的同一雷达信号经过不同距离处物体后反射的回波信号进行混频,生成中频信号。混频后生成的中频信号可以看作多个物体产生的单个中频信号的线性组合。混频后的中频信号的频率为多个物体产生的单个中频信号频率的叠加。其中,雷达装置110TX天线发射出的雷达信号的带宽可以是100MHz-2GHz。本申请实施例对于雷达装置110的带宽不作限定。
电子设备120可以包括天线,无线通信模块,处理器和显示屏。其中天线用于发射和接收电磁波信号。电子设备120中的每个天线可用于覆盖单个或多个通信频带。电子设备120的无线通信模块可以通过天线接收电磁波,将电磁波信号调频以及滤波处理。在一些实施例中,电子设备120可以与车机系统101中的通信模块105建立连接,接收车机系统101发送的活体滞留信息。电子设备120可以根据接收到的活体滞留信息在显示屏上显示提示信息,以提示用户车辆内存在活体。
示例性地,电子设备120中显示的提示信息可以是文字信息“车内有儿童滞留!”。电子设备100提示用户的方法还可以是通过语音播报、振动等形式。本申请实施例对于电子设备120接收到车机系统101发送的活体滞留信息后,提示用户的方式不作限定。电子设备120可以是手机,电脑,还可以是手表,手环等便携式穿戴设备。本申请实施例对于电子设备120的类型不作限制。
在一些实施例中,当车辆100熄火并锁车后,车机系统SOC107可以接收到车门控制单元发出的锁车信号和发动机104发出的熄火信号。进而,车机系统SOC107可以发送活体检测指令到串行器106。车机系统101中的串行器106可以将活体检测指令发送到中控显示屏102的解串器108,指示中控显示屏102进行活体检测。中控显示屏MCU109读取到解串器108接收到的活体检测指令后,可以启动雷达装置110开始收发信号。雷达装置110可以通过发射天线发射雷达信号,并通过接收天线接收雷达信号经车内的物体反射的回波信号。其中,雷达装置110发射的雷达信号可以是线性调频连续波信号。雷达装置110中的混频器可以对雷达信号和回波信号进行混频,生成中频信号。中控显示屏MCU109可以对中频信号进行Range FFT得到中频信号的Range-bin。然后中控显示屏MCU109可以提取车辆100座舱中有效监测范围内的Range-bin数据,通过解串器108发送到车机系统101的串行器106。上述有效范围可以包括:和雷达装置110距离在预设长度内目标对应的Range-bin数据。其中,预设长度可以和车辆100的座舱长度有关。车辆100的座舱长度越长,上述预设长度可以越长。例如,座舱长度为2米时,预设长度可以是2.5米。车机系统SOC107可以读取到串行器106接收的Range-bin数据,对车辆100中是否存在活体进行判定。当车机系统SOC107确定车辆100中存在活体时,可以通过通信模块105发送活体滞留信息到电子设备120。
在一些实施例中,车机系统SOC107除了可以接收车门控制单元发出的锁车信号和发动机发出的熄火信号外,还可以接收到车窗控制单元发出的车窗关闭信号,油箱口控制单元发出的油箱口关闭信号和充电控制单元发出的充电口关闭信号。车机系统SOC107可以在接收到上述锁车信号,熄火信号,车窗关闭信号,油箱口关闭信号和充电口关闭信号之后,再发送活体检测指令到中控显示屏102。其中,车窗关闭信号可以是在车辆100中的车窗被关闭后,车身控制系统103中的车窗控制单元发送到车机系统SOC107的。油箱口关闭信号可以是在车辆100中的油箱口被关闭后,车身控制系统103中的油箱控制单元发送到车机系统SOC107的。充电口关闭信号可以是在车辆100中的充电口被关闭后,车身控制系统103中的充电控制单元发送到车机系统SOC107的。
在一些实施例中,当中控显示屏MCU109接收到车机系统101发出的活体检测指令后,可以多次启动雷达装置110进行收发信号。例如,中控显示屏MCU109可以在三十分钟内每隔五分钟指示一次雷达装置110进行收发信号。每次收发信号时,雷达装置110中的发射天线和接收天线可以运行30秒。
在另一些实施例中,车辆100在熄火后,车辆100内的一个或多个摆件可能会持续摆动一段时间才进入静止状态。中控显示屏MCU109可以在接收到车机系统101发出的活体检测指令后,等待第二时间段再指示雷达装置110进行活体检测。这样就可以减少车内摆件摆动对雷达装置110检测活体准确度的影响。在一种可能的实现方式中,车机系统SOC107除了可以接收车门控制单元发出的锁车信号和发动机发出的熄火信号外之后,还可以等待第一时间段再发送信号指示中控显示屏MCU109开始活体检测。
下面介绍本申请实施例提供的车辆100的结构示意图。
图2是本申请实施例提供的车辆100的结构示意图。
如图2所示,车辆100包括:控制器局域网络(controller area network,CAN)总线200、发动机104、变速器202、传感器系统203、防抱死系统(antilock brake system,ABS)204、摄像系统205,车机系统101,中控显示屏102和车身控制系统103。
CAN总线200是支持分布式控制或实时控制的串行通信网络,用于连接车辆100的各个部件。在CAN总线200上的任何部件都可以监听到CAN总线200上传输的所有数据。CAN总线200传输的帧可以包含数据帧、远程帧、错误帧、过载帧,不同的帧传输不同类型的数据。在本申请实施例中,CAN总线200可用于传输各个部件在基于语音指令的控制方法中涉及到的数据,该方法的具体实现可参考后文方法实施例的详细描述。
不限于CAN总线200,在其他一些实施例中,车辆100的各个部件还可以通过其他方式来连接及通信。如,各个部件还可以通过车载以太网(ethernet)局域互联网络(localinterconnect network,LIN)总线、FlexRay及常用车载网络系统(media orientedsystems,MOST)总线等等通信,本申请实施例对此不做限制。以下实施例以各个部件通过CAN总线200通信进行说明。
发动机104是为车辆100提供动力的装置。发动机104是将某一种形式的能量转换为机械能的机器。车辆100可用于将液体或气体燃烧的化学能,或者将电能转化为机械能并对外输出动力。发动机104组成部分可以包括曲柄连杆机构和配气机构两大机构,以及冷却、润滑、点火、能量供给、启动系统等五大系统。发动机104的主要部件有气缸体、气缸盖、活塞、活塞销、连杆、曲轴、飞轮等。
变速器202可以用来改变发动机的转速和转矩的机构,它能固定或分档改变输出轴和输入轴传动比。变速器202组成部分可以包含变速传动机构、操纵机构以及动力输出机构等。变速传动机构的主要作用是改变转矩和转速的数值和方向;操纵机构的主要作用是控制传动机构,实现变速器传动比的变换,即实现换档,以达到变速变矩。
传感器系统203可包括:加速度传感器、车速传感器、震动传感器、陀螺仪传感器,信号发射器,信号接收器等等。加速度传感器及车速传感器用于检测车辆100的速度。震动传感器可以设置在座位下方、安全带、椅背、操作面板、气囊或其他位置,用于检测车辆100是否被碰撞以及用户所在位置。陀螺仪传感器可以用于确定车辆100的运动姿态。信号发射器和信号接收器用于收发信号,该信号例如可以是超声波、毫米波、激光等。
防抱死系统204是在车辆制动时,自动控制制动器制动力的大小,使车轮不被抱死,处于边滚边滑的状态,以保证车轮与地面的附着力为最大值。在制动过程中,电子控制装置根据车轮转速传感器输入的车轮转速信号判定有车轮趋于抱死时,防抱死系统就进入防抱死制动压力调节过程。
摄像系统205可包括多个摄像头,摄像头用于捕获静态图像或视频。摄像系统205中的摄像头可以设置在车前、车后、侧边、车内等位置,便于实现辅助驾驶、行车记录、全景环视、车内监控等功能。
车机系统101主要负责和互联网通信,
车机系统101可以与中控显示屏102通过I2C总线连接。在本申请实施例中,中控显示屏102中可以包括雷达装置。雷达装置可以发射电磁波对目标进行照射并接收其回波,进而检测车辆100中是否存在活体。
车身控制系统103可以对车辆100中车身的部件进行控制。例如,车身控制系统103可以对车窗,车门,油箱口和/或充电口进行控制。
可以理解的是,本申请实施例示意的结构并不构成对车辆系统的具体限定。车辆100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
例如,车辆100还可包括单独的存储器、电池、车灯、雨刷、仪表盘、音响、车载终端(transmission control unit,TCU)、辅助控制单元(auxiliary control unit,ACU)、智能进入及启动系统(passive entry passive start,PEPS)、车载单元(on board unit,OBU)、充电接口等等。
在一些实施例中,车辆100中还可以包括流媒体后视镜。流媒体后视镜可以安装在中控台中间的顶部,用于显示媒体信息或车辆100座舱内、外的环境。流媒体后视镜可以包含流媒体后视镜MCU和解串器。其中,流媒体后视镜中的解串器可以和车机系统101中的车机系统SOC107通信。关于流媒体后视镜中流媒体后视镜MCU和解串器的介绍可以参考中控显示屏102中中控显示屏MCU109和解串器108的介绍。这里不再赘述。在一种可能的实现方式中,流媒体后视镜中可以包含雷达装置,用于对车辆100座舱内的活体进行检测。
在一种可能的实现方式中,雷达装置还可以安装在车辆顶部或座椅头枕内部。在中控显示屏102确定车辆100中某一位置存在活体时,车辆顶部或对应座椅内部的雷达装置可以对中控显示屏102的检测结果进行确认。车辆100各个部件的具体作用也可参考后续方法实施例的介绍,这里不赘述。
下面介绍本申请实施例提供的电子设备120的结构示意图。
图3是本申请实施例提供的电子设备120的结构示意图。
下面以电子设备120为例对实施例进行具体说明。应该理解的是,电子设备120可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备120可以包括:处理器310,外部存储器接口320,内部存储器321,通用串行总线(universal serial bus,USB)接口330,充电管理模块340,电源管理模块341,电池342,天线1,天线2,移动通信模块350,无线通信模块360,音频模块370,扬声器370A,受话器370B,麦克风370C,耳机接口370D,马达380,显示屏390等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备120的具体限定。在本申请另一些实施例中,电子设备120可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备120的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器310的等待时间,因而提高了系统的效率。
在一些实施例中,处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块340用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块341用于连接电池342,充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入,为处理器310,内部存储器321,外部存储器,显示屏390和无线通信模块360等供电。
电子设备120的无线通信功能可以通过天线1,天线2,移动通信模块350,无线通信模块360,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备120中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块350可以提供应用在电子设备120上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块350可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块350可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块350还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块350的至少部分功能模块可以被设置于处理器310中。在一些实施例中,移动通信模块350的至少部分功能模块可以与处理器310的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器370A,受话器370B等)输出声音信号,或通过显示屏390显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器310,与移动通信模块350或其他功能模块设置在同一个器件中。
无线通信模块360可以提供应用在电子设备120上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备120的天线1和移动通信模块350耦合,天线2和无线通信模块360耦合,使得电子设备120可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。
电子设备120通过GPU,显示屏390,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏390和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器310可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏390用于显示图像,视频等。显示屏390包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备120可以包括1个或N个显示屏390,N为大于1的正整数。
外部存储器接口320可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备120的存储能力。外部存储卡通过外部存储器接口320与处理器310通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器321可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令,从而执行电子设备120的各种功能应用以及数据处理。内部存储器321可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用(比如人脸识别功能,指纹识别功能、移动支付功能等)等。存储数据区可存储电子设备120使用过程中所创建的数据(比如人脸信息模板数据,指纹信息模板等)等。此外,内部存储器321可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflash storage,UFS)等。
音频模块370用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。在一些实施例中,音频模块370可以设置于处理器310中,或将音频模块370的部分功能模块设置于处理器310中。
扬声器370A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备120可以通过扬声器370A收听音乐,或收听免提通话。在一些实施例中,当电子设备120接收到车辆100发送的活体滞留信息时,电子设备120中的扬声器370A可以对用户进行语音提示。示例性地,扬声器370A可以语音播报“车内有儿童滞留!”。
受话器370B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备120接听电话或语音信息时,可以通过将受话器370B靠近人耳接听语音。
麦克风370C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风370C发声,将声音信号输入到麦克风370C。
耳机接口370D用于连接有线耳机。耳机接口370D可以是USB接口330,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
马达380可以产生振动提示。马达380可以用于来电振动提示,也可以用于触摸振动反馈。在一些实施例中,当电子设备120接收到车辆100发送的活体滞留信息后,电子设备120中的马达380可以通过振动对用户进行提示。
在一些实施例中,为了能够对车辆100中不同位置的活体进行探测,同时减少车辆100中线缆部署的复杂度,雷达装置可以集成在中控显示屏中。这样可以避免由于雷达装置固定点松动,导致雷达装置的检测区域发生变化,影响活体检测的结果。
下面介绍本申请提供的一种中控显示屏102集成雷达装置110的结构示意图。
如图4A所示为一种中控显示屏102的正面示意图。中控显示屏102可以包括边框401,显示面板402。显示面板402可以用于显示用户界面。显示屏边框401可以包含第一区域403和第二区域404。其中第一区域403的内部可以布置有发射天线405,第二区域404的内部可以布置有接收天线406。其中发射天线也可以称为TX天线,接收天线也可以称为RX天线。TX天线405和RX天线406在边框401内部可以安装在同一块基板上。其中TX天线405可以用于发射雷达信号,RX天线406可以用于接收雷达信号。
在一些实施例中,中控显示屏102的边框401可以覆盖显示面板402的外表面,并环绕显示面板402一周。边框401可以具有一定宽度,例如,边框401的宽度可以是0.1~1.5厘米等等取值。本申请实施例对上述边框401的位置以及宽度均不作限定。例如,边框401还可以仅位于显示面板402的一侧。
在一些实施例中,其中,第二区域404可以在边框401下方水平方向的中心位置,第一区域403可以在第二区域404的左边。在一种可能的实现方式中,第一区域403和第二区域404还可以在边框401的上方。本申请实施例对于第一区域403和第二区域404的布置位置不作限定。
如图4B所示是雷达装置110集成在中控显示屏102的内部结构示意图。其中,中控显示屏102从内到外可以分别包括显示面板402,基板407和边框401。基板407中可以包括雷达装置110的发射天线405和接收天线406。雷达装置110中的TX天线405可以透过边框401向座舱内发射雷达信号波束,RX天线406可以透过边框401接收回波信号。
在一些实施例中,TX天线405发射波束的一端可以垂直朝向边框401的内表面,垂点位于如图4A所示边框401中的第一区域403。RX天线406接收波束的一端可以垂直朝向边框401的内表面,垂点位于如图4A所示边框401中的第二区域404。边框401可以是塑料,玻璃等不含金属的材质,以减少雷达装置110的信号衰减。
在一些实施例中,中控显示屏102的结构可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件。可以理解的是,本申请实施例示意的结构并不构成对中控显示屏102的结构的具体限定。
在一些实施例中,雷达装置110的TX天线的数量可以多于1个,RX天线的数量也可以多于一个。当TX天线多于1个时,多个TX天线可以采用时分复用(time divisionmultiplexing,TDM)的方式收发信号。TX天线和RX天线可以沿着边框401的长度方向在基板407上按照从左向右的顺序依次排列。不限于从左向右排列,还可以是其它排列方式。本申请实施例对于雷达装置110包含多个发射天线和多个接收天线时,发射天线和接收天线的排列方式不作限定。为了便于描述,本申请后续实施例以单个发射天线TX天线405和单个接收天线RX天线406为例介绍活体检测方法。可以理解的是,雷达装置110可以包含更多的TX天线和RX天线,本申请实施例对于雷达装置110中TX天线和RX天线的数量不作限定。其中TX天线405和RX天线406可以是贴片天线。
下面介绍本申请提供的车辆100中布置雷达装置110的场景示意图。
图5A~图5D为本申请实施例提供的一些车辆中雷达装置发射波束的场景示意图。
如图5A所示,中控显示屏102可以嵌入在驾驶位和副驾驶位之间的中控台内。不限于中控显示屏102嵌入中控台,在一种可能的实现方式中,中控显示屏还可以是悬浮式显示屏,全部或部分突出设置在中控台的上方。本申请实施例对于中控显示屏102在车辆100中的固定形式不作限定。雷达装置110天线发射的波束可以是锥形。其中,雷达装置110天线的波束可以以发射位置为顶点,确保天线波束能够到达座舱中不同座位,覆盖座舱内座位的靠背和底座等。以雷达装置110安装在中控显示屏102的边框401下方为例。雷达装置110的TX天线405可以发射出线性调频连续波信号,其中线性调频信号的波束可以是锥形的。TX天线405发出的线性调频连续波信号可以被物体反射,RX天线406可以接收到TX天线405发出的线性调频连续波信号经过物体反射后的回波信号。上述TX天线405发射的雷达信号经过车辆100内物体的一次或多次反射可以到达车辆100中的任意位置。上述TX天线405发射的雷达信号和RX天线406接收的回波信号可用于对车辆100中各个位置的活体进行检测。
如图5B所示,当前排座椅存在婴儿时,雷达装置110中TX天线405发射出的信号可以直接到达前排座椅上的婴儿,而不会被其它物体遮挡。TX天线405的发射信号可以被婴儿反射。发射信号经过物体反射后,返回雷达装置110的信号可以称为回波信号。RX天线406可以接收到婴儿反射后的回波信号。进而中控显示屏MCU109和车机系统SOC107可以根据TX天线405的发射信号和RX天线406接收到的回波信号对车辆100中前排座椅是否存在活体进行检测。
如图5C所示,当婴儿在后排座椅时,雷达装置110中TX天线405的发射信号可能无法直接到达后排的婴儿。发射信号可以经过车辆100内车顶的反射,到达后排座椅区域。到达后排座椅区域的雷达信号可以经由后排座椅上的婴儿反射后而被RX天线406接收。上述经由后排座椅上的婴儿反射的雷达信号可以是再次经过车辆100内车顶的反射而到达RX天线406的。这样,中控显示屏MCU109和车机系统SOC107就可以根据TX天线405的发射信号和RX天线406接收到的回波信号对车辆100中后排座椅是否存在活体进行检测。本申请实施例对上述TX天线405发射的雷达信号的反射路径不作限定。例如,TX天线405发射的雷达信号还可以按照下述反射路径被RX天线406接收到:经前排驾驶员座位反射至后排座位上的婴儿→经后排座位上的婴儿反射至车顶→经车顶反射到达RX天线406。
在一种可能的实现方式中,如图5D所示,雷达装置110还可以安装在车辆100中的流媒体后视镜501中。流媒体后视镜501可以部署在车辆100内中控显示屏102的上方。雷达装置110部署在流媒体后视镜中的结构和安装方式可以参考前述实施例中雷达装置110部署在中控显示屏102中的结构和安装方式。这里不再赘述。由于流媒体后视镜501的高度较高,TX天线405发射出的波束可以直接到达前排座椅和后排座椅,而不会被其它物体遮挡。
中控显示屏102中的雷达装置110可以发射雷达信号。雷达装置110发射出的雷达信号经过车辆100中的物体反射,可以到达车辆100的各个位置。上述雷达信号经过物体反射后可以返回雷达装置110。这样,中控显示屏MCU109和车机系统101就可以对雷达信号进行处理,并确定车辆100中是否存在活体。
下面具体介绍本申请实施例提供的一种活体检测方法的流程图。
如图6所示,本申请实施例提供的活体检测方法可以包括但不限于如下步骤:
S601,车机系统101接收车门关闭信号。
S602,车机系统101接收熄火信号。
当发动机104熄火后,发动机104可以发送熄火信号到CAN总线200。车辆100中的车门关闭后,车身控制系统103可以发送车门关闭信号到CAN总线200。车机系统101从CAN总线200接收到上述熄火信号和车门关闭信号后,可以开始进行活体检测。这样车辆100就可以在发动机熄火和车门关闭后,及时进行活体检测,保证车辆100中的活体安全。
在另一些实施例中,当车机系统101接收到以下一项或多项信号:熄火信号,车门关闭信号,车窗关闭信号,油箱口关闭信号、充电口关闭信号,可以开始进行活体检测。上述熄火信号可以表示车辆100中的发动机已熄火。车门关闭信号可以表示车辆100的车门关闭。车窗关闭信号可以表示车辆100的车窗关闭。油箱口关闭信号可以表示车辆100的油箱口关闭。充电口关闭信号可以表示车辆100的充电口关闭,其中充电口用于给车辆100充电。这样,车机系统101可以开始对车辆100中是否存在活体进行检测。油箱口关闭信号可以是当车辆100中的油箱口关闭时,车身控制系统103发送到CAN总线200上的。充电口关闭信号可以是当车辆100中的充电口关闭时,车身控制系统103发送到CAN总线200上的。可以理解的是,车辆100可以在车辆熄火,车门关闭后对车辆100的座舱开始活体检测。除了车辆熄火和车门关闭,车辆100还可以在车窗,油箱口和充电口都关闭的情况下,再开始活体检测。这样就可以避免车主只是暂时车辆100,避免在不需要对车辆100座舱内进行活体检测时打扰车主。并且在车窗,油箱口和充电口都关闭的情况下,车辆100进行活体检测时还可以减少外部环境干扰对车辆100活体检测准确性的影响,避免出现虚警。
在一种可能的实现方式中,车辆100中还可以包括温度传感器。车辆100可以在接收到熄火和车门关闭信号后,在温度传感器检测到座舱内的温度超过30度或低于10度时进行活体检测。这样,就可以当车辆100内温度过高或过低时及时检测车辆100内是否存在活体。
S603,车机系统101向中控显示屏102发送活体检测指令。
车机系统101接收熄火信号和车门关闭信号后,可以向中控显示屏102发送活体检测指令,开始对车辆100中是否存在活体进行检测。
在一种可能的实现方式中,车机系统101中的车机系统SOC107可以将活体检测指令发送到串行器106。串行器可以对活体检测指令进行处理后,通过I2C发送到中控显示屏102的解串器108。中控显示屏102中的中控显示屏MCU109可以读取到解串器108处理后的活体检测指令,确定对车辆100内部开始进行活体检测。
在一些实施例中,车机系统101接收熄火信号和车门关闭信号后,可以等待第一时间段再向中控显示屏102发送活体检测指令。这样就可以减少车内摆件摆动对雷达装置110检测活体准确度的影响。其中,第一时间段可以是5秒。
S604,中控显示屏102启动雷达装置110。
中控显示屏102中的中控显示屏MCU109确定要对车辆100内部开始进行活体检测后,可以发送启动指令到雷达装置110。
在一些实施例中,中控显示屏MCU109可以向雷达装置110发送多次启动指令。例如,中控显示屏102可以在接收到车机系统101发送的活体检测指令后,在三十分钟内每隔五分钟启动一次雷达装置110。
在一些实施例中,中控显示屏MCU109可以在接收到车机系统101发出的活体检测指令后,等待第二时间段再向雷达装置110发送启动指令。这样就可以减少车内摆件摆动对雷达装置110检测活体准确度的影响。其中,第二时间段可以是5秒。
S605,雷达装置发射雷达信号,接收回波信号,并根据发射出的雷达信号和回波信号生成中频信号。
雷达装置110接收到中控显示屏MCU109发送的启动指令后,TX天线405可以发射雷达信号,RX天线406可以接收回波信号。其中,回波信号是TX天线405发射的雷达信号经过物体反射后,回到RX天线406的信号。
在一些实施例中,雷达装置110可以包括频率综合器。频率综合器可以用于产生TX天线405发射的雷达信号。其中,TX天线405发射的雷达信号可以是线性调频连续波信号。
在一些实施例中,雷达装置110接到中控显示屏102的启动指令后,可以发射第一时长的雷达信号。该第一时长可以例如是20秒、30秒等等。本申请实施例对上述预设时长的取值不作限定。雷达装置110可以根据发射的雷达信号和接收到的回波信号划分信号帧。其中,雷达装置110可以将第二时长内发射的雷达信号以及由这第二时长内发射的雷达信号反射的回波信号划分为一帧信号。上述第二时长的取值小于上述第一时长的取值,例如,第二时长可以是50毫秒、100毫秒等等。本申请实施例对第二时长的取值不作限定。
示例性地,上述第一时长的取值为30秒。上述第二时长的取值为50毫秒。雷达装置110的TX天线405可以在30秒内多次发射线性调频连续波信号,RX天线406可以接收由这30秒内发射的信号而反射的回波信号。雷达装置110可以将上述发射和接收的雷达信号划分为600帧信号。其中,一帧信号可以包括在50毫秒内发射的雷达信号和由这50毫秒内发射的雷达信号反射的回波信号。
在一些实施例中,雷达装置110中可以包括混频器。雷达装置110在发射一次雷达信号后,接收到的回波信号可以是由一个或多个物体反射的回波信号的组合。混频器可以对发射信号和同一发射信号经过多个物体反射后的回波信号进行混频,得到混频信号。进一步地,雷达装置110可以对上述混频信号进行低通滤波,从中提取出后续活体检测需要使用的中频信号。也即是说,雷达装置110得到的中频信号的数量可以是与雷达装置110发射雷达信号的次数相关的。例如,雷达装置110发射k1次雷达信号。根据这k1次雷达信号以及相应的回波信号,雷达装置110可以得到k1个中频信号。
其中,该中频信号的频率可以是发射信号和回波信号的频率差,相位可以是发射信号和回波信号的相位差。例如,雷达装置110发射出的信号可以是x1=sin(2πf1t+θ1),该信号接收到的回波信号可以是x2=sin(2πf2t+θ2)。其中,f1可以是发射信号的瞬时频率,f2可以是回波信号的瞬时频率。θ1可以是发射信号的瞬时相位,f2可以是回波信号的瞬时相位。最终输出的中频信号可以是xout=sin(2π(f1-f2)t+(θ12))。
S606,中控显示屏102处理中频信号。
雷达装置110在获得中频信号后,可以将中频信号发送到中控显示屏102中的中控显示屏MCU109。中控显示屏MCU109可以对上述中频信号进行处理。中控显示屏MCU109对中频信号的处理过程可以包括:中频信号采样、距离维FFT计算和Range-bin截取。
下面具体介绍中控显示屏MCU109处理中频信号的过程:
1,中频信号采样
雷达装置110混频后得到的中频信号为模拟信号。中控显示屏102中的中控显示屏MCU109可以对上述中频信号进行采样,将模拟信号转换为数字信号。这样能够便于中控显示屏MCU109对中频信号进行分析和处理。
在一些实施例中,为了进行复数运算,雷达装置110中可以包括正交接收机。正交接收机可以将发射信号和接收回波信号的同相和正交信号混合,生成中频信号。其中同相信号即信号频谱的实部,正交信号即信号频谱的虚部。中频信号可以是复指数信号,包括正交的两路基带信号I路信号和Q路信号。其中I路信号可以存储中频信号的虚部,Q路信号可以存储中频信号的实部。相应的,中控显示屏MCU109可以包括两路数模转换器。进而,中控显示屏MCU109可以对中频信号的I/Q两路基带信号同时采样,将中频信号转化为数字信号。这样便于中控显示屏MCU109对中频信号的实部和虚部分别进行运算,并能保留中频信号的相位信息。两种通道在采样时可能会出现差异,导致采样后的中频信号出现毛刺,需要对中频信号进行去毛刺处理。对原始模拟信号形式的中频信号进行采样后,可以得到数字信号形式的中频信号。上述采样后的中频信号可以通过一个雷达数据立方体表示。
图7A示例性示出了雷达数据立方体700的示意图。
如图7A所示,雷达数据立方体700可以表示一帧中频信号数据。其中,一帧中频信号可以是由雷达装置110发射的一帧雷达信号经过与其回波混频后得到的。雷达数据立方体700在x轴方向上可以表示中频信号的序号,y轴方向可以表示接收信道的序号,z轴方向可以表示中频信号采样点的序号。雷达数据立方体700的中频信号的数量可以根据一帧中频信号数据包含的中频信号的数量确定。即雷达数据立方体700在x轴的列数可以等于一帧中频信号数据包含的中频信号的数量。雷达数据立方体700的接收信道的数量可以根据雷达装置110中RX天线的数量来确定。一个接收信道接收的数据可以是雷达装置110中一个RX天线接收的数据。上述雷达装置110中的RX天线可以是物理天线,也可以是虚拟化天线。即雷达数据立方体在y轴上包含的数据块平面的数量可以是雷达装置110中RX天线的数量。一个数据块平面上的数据块可以是根据一个RX天线接收的数据得到的。雷达数据立方体700在z轴的行数可以等于对中频信号进行采样的点数。以雷达数据立方体700中的一个数据块可以表示由一个接收信道获取到的一个中频信号中某一个采样点的数据。其中该采样点的数据可以是由上述中频信号的I路信号和Q路信号中对应采样点的数据组成的。
雷达数据立方体700可以包括多个数据块。雷达数据立方体700中数据块的数量可以根据雷达数据立方体700的中频信号的数量、接收信道的数量、中频信号的采样点数量确定。即数据块的数量=中频信号的数量*接收信道的数量*中频信号的采样点数量。其中,一个数据块可以表示这一个数据块对应的中频信号在一个采样点的幅度值。上述一个数据块对应的中频信号可以是根据雷达装置110发射的一次雷达信号,以及雷达装置110中一个RX天线接收的由这一次雷达信号反射的回波信号经过混频、低通滤波等处理而得到的。
2,距离维FFT计算
中控显示屏MCU109可以对采样后的中频信号进行距离维FFT的计算。其中,中控显示屏MCU109可以对中频信号进行N点快速傅里叶变换计算。上述N可以为中频信号采样点的数量。中频信号的频率Sτ可以表示为:Sτ=μτ=μ2d/c。其中,μ为调频斜率,d为雷达信号到达车辆100内目标的距离,c为电磁波传播速度。则雷达信号到达车辆100内目标的距离公式为:d=cSτ/2μ。其中,μ可以由线性调频连续波的带宽B除以持续时间T得到,由于线性调频连续波的带宽B和持续时间T可以设置,因此μ可以是人为设置的。又因为电磁波传播速度c为定值,故目标到雷达装置的距离主要受中频信号频率Sτ的影响。距离d与中频信号频率Sτ的大小成正比。因此求出中频信号的频率Sτ,即可得出雷达信号到达车辆100内目标的距离d。因此对中频信号进行距离维FFT计算后,由于中频信号的频率可以与雷达装置到达车辆100内的不同距离对应,这样就能得到不同距离物体对应中频信号的幅度值。
中控显示屏对中频信号进行距离维FFT计算后,可以得到不同距离物体对应中频信号的幅度值。不同距离物体对应中频信号的幅度值可以通过图7B所示的雷达数据立方体710表示。图7B所示的雷达数据立方体710中数据块可以是图7A所示雷达数据立方体700同一位置数据块经过FFT计算后得到的。雷达数据立方体710中也可以包含多个数据块,其中每个数据块可以表示中频信号在数据块对应采样点的FFT结果。雷达数据立方体710中的数据块也可以称为Range-bin。其中,雷达数据立方体710x轴方向上数据块的次序可以表示中频信号的序号,y轴方向上数据块的次序可以表示雷达装置110接收信道的序号。z轴方向上数据块的次序可以表示离雷达装置的距离。
雷达数据立方体710在z轴方向上一个Range-bin对应的距离即为当两个目标位于雷达装置的同一方向,而与雷达装置的距离不同时,雷达装置能够区分这两个目标的最小距离,也即雷达装置110距离分辨率的大小。其中,在z轴方向上每增加一个Range-bin,相应的就增加一个距离分辨率大小的距离。例如,当距离分辨率为0.6米时,z轴正方向上第一个Range-bin就是雷达信号经过0-0.6米到达的目标对应中频信号的幅度值。z轴正方向上第一个Range-bin就是雷达信号经过0.6-1.2米到达的目标对应中频信号的幅度值。其中雷达装置110距离分辨率的大小与线性调频连续波信号的带宽有关。雷达装置110距离分辨率的计算公式可以是:ΔR=c/2B。其中c为电磁波传播速度,B为线性调频连续波的带宽。线性调频连续波的带宽与雷达装置110的距离分辨率成正比。雷达装置发射的线性调频连续波的带宽越大,其距离分辨率就越高。可以理解的,当雷达装置110的带宽改变时,雷达装置110的距离分辨率会发送改变。为了适应车辆100的大小,雷达装置110可以有不同的距离分辨率。本申请实施例对于雷达装置110的距离分辨率不作限定。以雷达数据立方体710中某一个接收信道所在的数据块平面为例,同一行数据块可以表示在离雷达装置同一距离下中频信号的数据随中频信号序号的变化情况。其中中频信号的序号随时间向后依次递增,故同一行数据块可以表示在离雷达装置同一距离下中频信号的数据随时间的变化情况。同一列数据块可以表示在同一时间下,不同距离对应中频信号的数据。如图8A所示为一种经过距离FFT计算后中频信号的距离谱图示意图。其中距离谱图的横轴可以称为x轴,纵轴可以称为y轴。图8A所示的距离谱图示意图可以看作雷达数据立方体710中其中一个接收信道的某一列Range-bin在x-y坐标轴上的表示形式。图8A所示距离谱图的横坐标可以是Range-bin的序号,纵坐标可以是中频信号的幅度值。雷达数据立方体710中一个接收信道任一列可以包括N个Range-bin,则图8A所示距离谱图的横坐标最大值可以是N。Range-bin的序号增加,对应目标离雷达装置110的距离也会增加。例如,当距离分辨率为60厘米时,一个Range-bin可以对应于60厘米。则当Range-bin序号为1时,距离谱图中图像在横坐标为1时纵坐标的数值表示目标距离雷达装置110距离为60厘米时中频信号的幅度值。当Range-bin序号为2时,距离谱图中图像在横坐标为2时纵坐标的数值可以表示目标距离雷达装置110距离为120厘米时中频信号的幅度值。这样,雷达数据立方体710中的一行Range-bin就可以看作是某个目标离雷达装置110距离上的中频信号幅度变化情况。
3,Range-bin截取
在一些实施例中,中控显示屏102可以对中频信号经过距离维FFT后的数据进行截取,删除较远距离对应Range-bin的数据。其中,截取的数据可以与雷达装置110的距离分辨率以及车辆100的座舱内监控范围有关。在一种可能的实现方式中,车辆100的座舱内监控范围可以是从雷达装置110到后排座椅的最远距离。不限于这一距离,还可以是其它距离。车辆100的座舱内监控范围还可以是从雷达装置110到后备箱门的距离。本申请实施例对于车辆100座舱内监控范围的设置不作限制。示例性地,如图8B所示,雷达装置110的距离分辨率可以是60厘米,车辆100的座舱内监控范围可以是2.3米。则Range-bin序号为4时,波形图y轴的数值表示目标距离雷达装置110距离为240厘米时中频信号的幅度值。由于240厘米大于2.3米,则第0-4个Range-bin即可覆盖车辆100的座舱内监控范围。如图8B所示,虚线对应的横坐标为Range-bin=4。虚线左方的数据可以是中控显示屏MCU109要截取的部分,虚线右方的数据可以是中控显示屏MCU109删除的数据。可以理解的,雷达装置发射出的信号可能会经过多次反射才由RX天线接收到。这样,就会使得计算出的距离超过座舱监测范围。中控显示屏MCU109可以删除超过座舱监测距离范围的Range-bin数据,进而减少计算量,提高活体检测时的效率。
如图8C所示的雷达数据块平面810可以是如图7B所示雷达数据立方体710中某一接收信道对应的数据块平面。雷达数据块平面810可以包括x轴和z轴方向。其中x轴方向可以表示中频信号的序号,z轴方向可以表示离雷达装置的距离。关于雷达数据块平面810中x轴和z轴的介绍可以参考雷达数据立方体710中x轴和z轴的介绍,这里不再赘述。如图8C所示,雷达数据块平面810中由虚线划分为两部分。其中虚线上部分为删除部分。删除部分的数据块可以表示中控显示屏MCU109删除的座舱监测距离范围之外的Range-bin数据。雷达数据块平面810中虚线下部分为截取部分。截取部分的数据块可以表示中控显示屏MCU109截取的座舱监测距离范围的Range-bin数据。其中,雷达数据块平面810删除部分的数据块可以与如图8B所示删除部分的Range-bin数据对应。雷达数据块平面810截取部分的数据块可以与如图8B所示截取部分的Range-bin数据对应。
在一些实施例中,为了排除车辆100内摆件晃动对判定结果准确度的影响,车机系统SOC107还可以删除近距离对应的Range-bin。例如,雷达装置110离车内摆件的距离可以是50cm。则车机系统SOC107可以删除第0个和第1个Range-bin数据。这样就可以排除雷达装置60cm范围内车内摆件晃动对后续活体检测准确度的影响。
上述图8A~图8C所示对Range-bin截取也可以称为在距离维度上对Range-bin进行筛选。
S607,中控显示屏102发送处理后的中频信号到车机系统101。
中控显示屏102中的中控显示屏MCU109对中频信号进行处理后,可以发送处理后的中频信号到车机系统101。其中,处理后的中频信号可以包括中控显示屏MCU109对中频信号经过采样和距离维FFT计算后,提取座舱内监控范围对应的Range-bin数据。
中控显示屏MCU109可以对多帧中频信号进行采样和距离维FFT计算。其中,一帧中频信号中可以包含多个中频信号。每个中频信号经过距离维FFT计算后,可以得到一个Range-bin集合。上述Range-bin集合对应于雷达数据立方体710中同一接收信道对应Range-bin平面中的一列Range-bin。在一些实施例中,为了减少计算量,中控显示屏MCU109可以从一帧数据中选择部分Range-bin集合发送到车机系统101。这样,在步骤S606中,为了减少处理对象,中控显示屏MCU109可以只对要发送的Range-bin集合进行截取,而不再对其它的Range-bin集合进行处理。
在一种可能的实现方式中,中控显示屏MCU109可以发送每一帧中的第一个Range-bin数据到车机系统101。这可以看作将雷达数据立方体710中最前方Range-bin平面中最左边的一列Range-bin数据发送到车机系统101。可以理解的,雷达数据立方体710为一帧Range-bin数据。中控显示屏MCU109可以对每帧中多个Range-bin集合都选择其中一个Range-bin集合发送到车机系统101。不限于每帧中的第一个Range-bin集合,还可以是每帧中其它的Range-bin集合。本申请实施例对于中控显示屏MCU109选择的Range-bin集合不作限制。在另一种可能的实现方式中,中控显示屏MCU109还可以从每一帧中随机选择n个Range-bin集合到车机系统101中,n为大于0,小于一帧中Range-bin集合总数的任意正整数。
示例性地,图9A示出了中控显示屏MCU109处理后Range-bin集合的时序距离谱图。其中时序距离谱图的横轴可以称为x轴,纵轴可以称为y轴。由于Range-bin是由回波信号经过与发射信号混频后经过距离维FFT计算得到的,时序距离谱图中的x轴坐标可以表示RX天线406接收该Range-bin集合对应回波信号的时间。时序距离谱图中的y轴坐标可以是Range-bin在Range-bin集合中的序号。时序距离谱图中的z轴坐标可以是回波信号对应中频信号的幅度值。图9A所示时序距离谱图中y轴和z轴所表示的波形可以参考图8A中距离谱图的介绍。可以理解的是,图8A所示的距离谱图对应于一个中频信号经过距离维FFT计算后的结果。图9A所示时序距离谱图是将多个中频信号经过距离维FFT计算后的结果表示在同一张图中。图9A示出了第一帧和第二帧中中控显示屏MCU109选择距离谱数据的方式。其中,第一帧可以是雷达装置110接收的第一帧回波信号经过处理后得到的一帧Range-bin集合数据。中控显示屏MCU109可以选择每帧中的第一个Range-bin集合发送到车机系统101。可以理解的是,雷达装置110还可以接收更多帧回波信号。其它帧回波信号经过处理后得到的Range-bin数据的选择方法可以参考第一帧,第二帧中Range-bin集合的选择方法,这里不再赘述。
如图9B所示,图9A所示时序距离谱图中对一帧中频信号进行选择的时序距离谱图可以表示成雷达数据块平面910的形式。雷达数据块平面910也可以看作是对如图8C所示的雷达数据块平面810截取后得到的。雷达数据块平面910可以包括x轴和z轴方向。其中x轴方向可以表示中频信号的序号,z轴方向可以表示离雷达装置的距离。关于雷达数据块平面910中x轴和z轴的介绍可以参考雷达数据块平面810中x轴和z轴的介绍,这里不再赘述。如图9B所示,在一帧中频信号中,中控显示屏MCU109可以选择其中一个中频信号对应的Range-bin发送到车机系统101。其中雷达数据块平面910中虚线框框起的数据块可以是一帧Range-bin集合中最终选择发送到车机系统101的Range-bin。其中中控显示屏MCU109发送到车机系统101可以只包括座舱有效监测范围的Range-bin,即截取部分的Range-bin。
上述图9A所示对Range-bin进行选择也可以称为在时间维度上对Range-bin进行筛选。
如图9C所示可以是中控显示屏MCU109最终发送到车机系统101的数据对应的帧数距离谱图。其中帧数距离谱图的横轴可以称为x轴,纵轴可以称为y轴。帧数距离谱图中的y轴坐标可以是Range-bin在Range-bin集合中的序号。帧数距离谱图中的z轴坐标可以是回波信号对应中频信号的幅度值。帧数距离谱图中的x轴可以表示该Range-bin对应帧的序号。例如,当x轴坐标为1时,表示该Range-bin集合是从第一帧中的所有Range-bin集合中选择其一后得到的。若雷达装置110启动时间内,共接收了H帧回波信号,则中控显示屏MCU109可以发送H个Range-bin集合到车机系统101。中控显示屏MCU109在发送H个Range-bin集合到车机系统101之前,可以对车辆100座舱监测范围内的数据进行截取。例如,中控显示屏MCU109可以截取Range-bin集合中序号0-4的Range-bin,便于减少计算量。为了便于描述,本申请后续实施例以取Range-bin序号为0-4介绍活体检测方法,可以理解的是,对于不同车辆100的座舱监测范围,可以对Range-bin集合有不同的截取范围。
可以理解的是,中控显示屏MCU109可以从一帧中频信号经过距离维FFT计算后的Range-bin数据中,选择其中一个中频信号对应的Range-bin数据发送到车机系统101。并且,中控显示屏MCU109还可以对中频信号经过距离维FFT计算后的Range-bin进行截取,选择座舱有效监测范围内的Range-bin发送到车机系统101。这样,就可以解决在中控显示屏MCU109到车机系统101传输数据量受限的情况下,中控显示屏MCU109如何传输数据到车机系统101,使得车机系统101能够判定车辆100中是否存在活体的问题。
S608,车机系统101根据处理后的中频信号确定车辆中存在活体。
车机系统101可以接收到中控显示屏102发送的处理后的中频信号。进而,车机系统101中的车机系统SOC107可以根据处理后的中频信号确定车辆100的座舱内是否存在活体。其中,处理后的中频信号可以包括中控显示屏MCU109截取的反应座舱监测范围内雷达信号特征的Range-bin数据。
在一些实施例中,车机系统SOC107可以获取车辆100座舱监测范围内Range-bin的时域或频域特征。其中Range-bin的时域特征可以包括:Range-bin在T时间段内幅度差值的均值和方差,以及Range-bin在T时间段内相位累计差值的均值和方差。其中,T可以是检测时间窗口的大小。Range-bin的频域特征可以包括:Range-bin在T时间段内幅度差值的变化频率以及Range-bin在T时间段内相位累计差值的变化频率。车机系统SOC107可以通过上述Range-bin的时域特征或频域特征确定车辆100座舱监测范围内是否存在活体。
下面先对车机系统通过Range-bin的时域特征确定车辆100中是否存在活体的方法进行介绍。
车机系统SOC107确定车辆100中是否存在活体的方法可以具体包括以下几步:
1,计算Range-bin的幅度和相位
车机系统SOC107可以计算从中控显示屏102获取到的每个Range-bin集合中Range-bin的幅度和相位。其中,某一监测距离对应Range-bin的幅度即为中频信号在该监测距离对应频率上的幅度值。中控显示屏可以通过反正切函数和相位解缠绕获得不同Range-bin的相位。例如,车机系统SOC107接收到的Range-bin集合可以包括从中控显示屏MCU109在一帧Range-bin集合中提取得到的。车机系统SOC107在第t帧时获取到的Range-bin集合的幅度值可以表示为:相位值可以表示为其中k为Range-bin序号的最大取值,例如,当Range-bin序号取4时对应车辆100的最大座舱监测范围,则k=4。车机系统SOC107可以得到每一帧中不同Range-bin的幅度值。其中,每一帧中不同Range-bin的幅度值对应于离雷达装置110不同距离对应中频信号的幅度值。车机系统SOC107得到的每一帧中不同Range-bin的幅度值可以表示为如图10A所示的幅度值数据块示例图。幅度值数据块示例图中包含多个数据块。数据块在水平方向上,Range-bin的序号可以从左到右依次递增。例如第一列数据块Range-bin的序号可以是0,这表示距离为0的Range-bin信号在不同帧时的幅度值。数据块在竖直方向上,帧数序号可以从下到上依次递增。例如最上面一列可以是第t帧时,不同Range-bin对应的幅度值。可以理解的是,不同Range-bin对应于目标到达雷达装置110的不同距离。故最上面一列可以表示第H帧时,到达雷达装置110不同距离目标对应中频信号的幅度值。对于Range-bin相位的表示方法可以参考如图10A所示对于Range-bin幅度的表示方法,这里不再赘述。
2,划分不同的检测时间窗口
在一些实施例中,车机系统SOC107可以将所有Range-bin中划分到不同的检测时间窗口,得到不同窗口内Range-bin的幅度和相位。图10B是本申请实施例提供的一种通过时域特征判定序号为2的Range-bin对应雷达装置距离处是否存在活体的流程示意图。如图10B所示,以序号为2的Range-bin对应离雷达装置的距离处的目标为例。当距离分辨率为0.6m时,每一帧Range-bin集合中i=2的Range-bin可以对应于距离雷达装置1.2m的目标。车机系统SOC107可以提取所有帧中i=2的Range-bin,得到距离为1.2m的目标对应中频信号的幅度值在H帧中的变化情况。示例性地,车机系统SOC107可以以5帧为一个窗口,将所有帧Range-bin集合中i=2的Range-bin划分到不同的窗口中,此时检测时间窗口大小T=5。例如当Range-bin集合共有20帧时,H=20。第一帧到第五帧Range-bin集合中i=2的Range-bin可以划分到检测时间窗口1。第六帧到第十帧Range-bin集合中i=2的Range-bin可以划分到检测时间窗口2。第十一帧到第十五帧Range-bin集合中i=2的Range-bin可以划分到检测时间窗口3。第十六帧到第二十帧Range-bin集合中i=2的Range-bin可以划分到检测时间窗口4。则在不同检测时间窗口中Range-bin的幅度值可以表示为当t=5时对应检测时间窗口1中Range-bin的幅度值。当t=10时对应检测时间窗口2中Range-bin的幅度值。当t=15时对应检测时间窗口3中Range-bin的幅度值。当t=20时对应检测时间窗口4中Range-bin的幅度值。车机系统SOC107还可以计算每个检测时间窗口内Range-bin的相位值,其中不同检测时间窗口中Range-bin的相位值可以表示为上述式子中不同检测时间窗口中Range-bin的相位值的含义可以参考前述对于不同检测时间窗口中Range-bin的幅度值式子的介绍,这里不再赘述。
同样的,车机系统SOC107还可以将i为其它值时的Range-bin划分到不同的窗口中。车机系统SOC107在i为其它值时划分Range-bin窗口的方法可以参考前述实施例中i=2时,车机系统SOC107将Range-bin划分到不同窗口的方法,这里不再赘述。
3,计算不同检测时间窗口内Range-bin的时域特征
车机系统SOC107计算出各个Range-bin的幅度和相位后,就可以计算Range-bin的时域特征。其中,Range-bin的时域特征可以包括但不限于幅度差值的均值和方差,以及相位累计差值的均值和方差。
当车辆100中存在活体时,由于活体的心脏收缩和舒张,或是呼吸等微小运动会导致活体的一些位置产生距离差。上述距离差会引起Range-bin幅度和相位的改变。其中,Range-bin的幅度可以反应对应距离的反射强度。当对应距离存在目标时,Range-bin的幅度会较高。当当目标出现位移时,Range-bin的幅度就会发生变化。而相位对目标位置的微小变化非常明显。中频信号的相位差可以表示为:其中,为中频信号的相位变化量。Δd为目标离雷达装置110的距离变化量。λ为雷达装置110的波长。以77GHz的雷达装置为例,77GHz雷达装置的波长约为4mm。当Δd=1mm时,中频信号的相位变化量可以理解的是,目标和雷达装置110的距离变化为1毫米时,中频信号的相位变化量为半个周期。因此,车机系统SOC107可以通过计算不同Range-bin的幅度差和相位累计差,确定车辆100座舱内不同监测距离上是否存在运动的物体,进而确定车辆100座舱内不同监测距离上是否存在活体。
如图10B所示,在一些实施例中,车机系统SOC107可以计算检测时间窗口T内Range-bin的幅度差值。其中,检测时间窗口T内的幅度差值可以表示为其中进而,车机系统SOC107可以计算幅度差值的平均值,其中幅度差值平均值的计算方式可以是: 可以理解的是,活体运动的距离差会导致Range-bin的幅度值发生改变。车机系统SOC107可以计算Range-bin幅度值的差值,这样可以更便于获取活体运动的变化情况。在一些情况下,雷达装置110检测活体会受到影响。例如当车辆100受到外界碰撞时,Range-bin的幅度值可能会发生大的改变。雷达装置110可以计算检测时间窗口T内幅度差值的平均值。这样,信号采集时的误差值就会在作平均计算时被平均掉,提高雷达装置110检测活体时的准确性。
在一种可能的实现方式中,车机系统SOC107还可以计算幅度差值的方差。幅度差值方差的计算方式可以是: Range-bin幅度差值的方差可以反应Range-bin幅度差值的稳定性,只有当车辆100内持续存在活体运动时,方差的变化才比较明显。因此,车机系统SOC107可以将Range-bin幅度差值转化为平均值或方差值,消除特异情况时活体检测准确度的影响。
在一些实施例中,车机系统SOC107可以计算检测时间窗口T内Range-bin的相位差值,然后根据相位累计差值的正负性进行累加得到相位累计差值。相位累计差值的计算方式可以是其中由于相位的取值在-π到π。当相位累计差的值大于π,车机系统SOC107可以对上述相位累计差减去2π。当相位累计差的值小于-π,车机系统SOC107可以对上述相位累计差加上2π实现相位展开。进而车机系统SOC107可以计算上述相位累计差值的均值,其中,相位累计差值的均值计算方法可以是:在一种可能的实现方式中,车机系统SOC107还可以计算相位累计差值的方差。相位累计差值的方差计算方式可以是:
4,根据时域特征判定活体
在一些实施例中,车机系统SOC107可以根据上述Range-bin的时域特征确定座舱监测范围内是否存在活体。车机系统101中可以存储Range-bin幅度差平均值的门限值Range-bin幅度差方差值的门限值Range-bin相位累计差平均值的门限值和Range-bin相位累计差方差的门限值中的一个或多个。其中上述门限值是车辆100检测区域内存在活体的门限值。该门限值可以是通过机器学习等方法得到的。当时域特征大于对应的门限值时,表示该次检测存在活体。例如,当时,表示在t时刻时,Range-bin=i对应雷达装置110的距离位置上存在活体。车机系统可以统计在检测时间内上述时域特征大于各自门限值的次数,并计算统计次数占总体计数次数的比例。例如,车机系统SOC107可以选择Range-bin幅度差平均值和相位累计差平均值作为判断依据。
如图10B所示,车机系统SOC107可以计算四个检测时间窗口的时域特征。其中,检测时间窗口1中Range-bin获得的时域特征可以记为时域特征1。其中,时域特征1可以是第一帧到第五帧对应Range-bin的幅度差平均值其中幅度差平均值的上标为Range-bin在Range-bin集合中的序号i=2。的下标可以表示检测时间窗口的序号。则车机系统SOC107可以获取到四个检测时间窗口对应的幅度差平均值。车机系统SOC107可以将四个检测时间窗口对应的幅度差平均值分别与Range-bin幅度差平均值的门限值的门限值作对比,计算四个检测时间窗口对应的幅度差平均值大于Range-bin幅度差平均值的门限值的门限值的个数。进而,车机系统SOC107可以计算幅度差平均值大于幅度差平均值门限值的次数占总统计次数(4次)的百分比。在一些实施例中,车机系统SOC107可以确定当时域特征大于各自门限值的统计次数占总体计数次数的比例超过某一比例时,车辆100座舱监测范围内存在活体。例如,若该阈值为10%,而若四个检测时间窗口对应的幅度差平均值中有一个超过了门限值,即幅度差平均值大于幅度差平均值门限值的次数占总统计次数的百分比为25%。由于25%>10%,而上述幅度差平均值对应于i=2的Range-bin,则车机系统SOC107可以确定雷达装置110距离1.2m远的位置上存在活体。其它监测距离上的活体判定方法可以参考上述实施例中,距离雷达装置1.2m远位置的活体判定方法,这里不再赘述。
在一些实施例中,车机系统SOC107可以在只有较短监测距离下Range-bin的时域特征略大于门限,且大于其它监测距离下Range-bin的时域特征的情况下,确定车辆100中不存在活体。例如,车机系统SOC107可以在i=0,i=1的Range-bin的幅度差平均值略大于门限值,且在i=0,i=1的Range-bin的幅度差平均值大于i=2,i=3和i=4时Range-bin的幅度差平均值时,确定车辆100中不存在活体。这样,就可以排除摆件晃动或是车辆外界周边晃动引发虚警。
车机系统SOC107可以选择幅度差值平均值C_Δγi,幅度差值方差σ_Δγi,相位累计差值平均值C_Δθi和相位累计差值方差σ_Δθi中的一个或多个作为确定车辆100座舱监测范围内是否存在活体的依据。车机系统SOC选择其它时域特征确定座舱监测范围内是否存在活体的方法可以参考上述实施例中选择幅度差平均值C_Δγi和相位累计差平均值C_Δθi确定座舱监测范围内是否存在活体的方法,这里不再赘述。
在一些实施例中,车机系统可以获得不同的时域特征,得到不同时域特征超过对应门限值的占比。进而,车机系统SOC107可以在所有时域特征都确定监测距离上存在活体时,确定监测距离上存在活体。例如,车机系统SOC107可以获取到i=2时不同检测时间窗口的Range-bin的幅度差值平均值和幅度差值方差,并分别计算幅度差值平均值大于其门限值的统计次数占总体计数次数的比例,以及幅度差值方差大于其门限值的统计次数占总体计数次数的比例。当幅度差值平均值大于其门限值的统计次数占总体计数次数的比例超过比例A,幅度差值方差大于其门限值的统计次数占总体计数次数的比例超过比例B时,可以确定该监测距离上存在活体。其中比例A和比例B的值可以相同,也可以不同。
在另一些实施例中,车机系统SOC107可以获得不同的时域特征,计算所有时域特征超过对应门限值的总占比。进而,车机系统SOC107可以在上述总占比超过某一比例时确定监测距离上存在活体。例如,车机系统SOC107可以获取到i=2时不同检测时间窗口的Range-bin的幅度差值平均值和幅度差值方差。车机系统SOC107可以计算幅度差值平均值大于其门限值的统计次数和幅度差值方差大于其门限值的统计次数的第一总和,以及幅度差值平均值和幅度差值方差的第二总和,计算第一总和占第二总和的比例。当上述比例超过某一比例时,车机系统SOC107可以确定该监测距离上存在活体。
在一些实施例中,车机系统SOC107还可以通过Range-bin的频域特征确定车辆100中是否存在活体,具体可以包括以下几步:
1,计算Range-bin的幅度和相位
2,划分不同的检测时间窗口
车机系统SOC107可以计算从中控显示屏102获取到的每个Range-bin集合中Range-bin的幅度和相位。并且,车机系统SOC107可以将所有Range-bin划分到不同的检测时间窗口,得到不同窗口内Range-bin的幅度和相位。车机系统SOC107获取Range-bin幅度和相位的方法以及将所有Range-bin划分到不同的检测时间窗口的方法可以参考上述实施例的介绍,这里不再赘述。
3,计算不同检测时间窗口内Range-bin的频域特征
在一些实施例中,车机系统SOC107可以计算Range-bin的频域特征。车机系统SOC107在计算出Range-bin的幅度差Δγi或相位累计差Δθi后,可以对上述幅度差Δγi或相位累计差Δθi进行FFT计算。其中,幅度差Δγi或相位累计差Δθi的计算方式可以参考上述实施例的介绍,这里不再赘述。将对幅度差Δγi作FFT计算后的结果记为fft_Δγi,将对相位累计差Δθi作FFT计算后的结果记为fft_Δθi。则fft_Δγi可以反应活体运动时幅度的变化频率。fft_Δθi可以反应活体运动时相位的变化频率。
4,根据频域特征判定活体
在一些实施例中,车机系统SOC107可以根据上述Range-bin的频域特征确定座舱监测范围内是否存在活体。其中,车机系统SOC107可以通过fft_Δγi确定目标运动引起的幅度变化频率,车机系统SOC107可以通过fft_Δθi确定目标运动引起的相位变化频率。当在某个变化频率上,上述频域特征超过对应门限值时,车机系统SOC107可以确定车辆100座舱监测范围内存在活体。车机系统101中可以存储频域特征的门限值。当频域特征大于对应的门限值时,表示该次检测存在活体。其中幅度差频率fft_Δγi的门限值可以记为相位差频率fft_Δθi的门限值可以记为车机系统SOC107可以确定上述频域特征大于对应门限值的次数,并计算频域特征大于各自门限值的统计次数占总体计数次数的比例。在一些实施例中,车机系统SOC107可以确定当频域特征大于各自门限值的统计次数占总体计数次数的比例超过某一阈值时,车辆100座舱监测范围内存在活体。
在一种可能的实现方式中,由于人心跳的频率在0.8Hz-2Hz之间,车机系统SOC107可以通过带通滤波器,选择fft_Δγi和/或fft_Δθi中0-2Hz范围内的幅度值进行门限判定。这样,可以减少计算量,并排除干扰,提高活体检测的准确性。车机系统SOC107还可以从频域特征中筛选出活体运动的其它频率,进而对车辆座舱监测范围内的活体进行检测。本申请实施例对于车机系统通过频域特征判定活体时,选择的频率大小不作限定。车机系统SOC107根据Range-bin的频域特征确定座舱监测范围内是否存在活体的方法可以参考前述实施例中根据Range-bin的时域特征确定座舱监测范围内是否存在活体的方法,这里不再赘述。
在另一些实施例中,车机系统SOC107还可以通过机器学习确定车辆100中是否存在活体。例如,车机系统SOC107可以将上述时域特征和/或频域特征输入二分类器(如多层感知机),并通过二分类器输出车辆100座舱监测范围内是否存在活体。在一种可能的实现方式中,车机系统SOC107可以对上述时域特征和频域特征进行特征融合。这里的特征融合方式可包括拼接(concat)方式、叠加(add)方式或者其它特征融合方式。车机系统SOC107可以将时频域的融合特征输入到二分类器中。这里的二分类器(也可以称为二分类网络)可以为全连接网络,且该全连接网络的激活函数可包括sigmoid函数以及其它激活函数(如tanh函数、relu函数和softmax函数),全连接网络的损失函数可包括交叉熵(cross-entropy)损失函数以及其它损失函数(如合页损失函数、逻辑斯谛损失函数和指数损失函数)。其中,二分类器可以是由多个车辆100座舱监测范围内存在活体和不存在活体时的时域特征,频域特征及时频域融合特征中的一个或多个训练得到的。计算机设备在二分类器输出0时可确定车辆100中座舱监测范围内不存在活体;或者在二分类器输出1时可确定车辆100中座舱监测范围内存在活体。
可以理解的是,车机系统SOC107中还可以包括其它分类网络,用于根据Range-bin的时域特征和频域特征对车辆100中是否存在活体进行判定。本申请实施例对于车机系统SOC107中用于确定车辆100中是否存在活体的分类网络类型不作限制。
S609,车机系统101发送活体滞留信息到电子设备120。
车机系统SOC107确定车辆100座舱监测范围内存在活体后,可以发送活体滞留信息到电子设备120。其中电子设备120可以是车主的手机,电脑,手环,手表等设备,本申请实施例对于电子设备120的类型不作限制。
在一些实施例中,电子设备120中可以包括显示屏。当电子设备120接收到车机系统101发送的活体滞留信息后,可以在显示屏上显示提示信息。其中,上述提示信息可以是在显示屏上显示“车内有儿童滞留”的文字信息。在一种可能的实现方式中,电子设备120中还可以包括马达。当电子设备120接收到车机系统101发送的活体滞留信息后,电子设备120中的马达可以振动,提示用户查看显示屏上显示的文字信息。
在另一些实施例中,电子设备120中可以包括扬声器。这样,当电子设备120接收到车机系统101发送活体滞留信息后,电子设备120的扬声器可以播放语音提示。其中,语音提示的内容可以是“车内有儿童滞留”。电子设备120的扬声器可以重复播放语音提示,直到接收到用户停止语音提示的指令。
可以理解的是,车机系统101在检测到确定车辆100中存在活体时,可以发送活体滞留信息到车主的电子设备120上。这样,即使车主已经远离车辆,也可以获取到车辆100中有活体滞留的信息,及时到车辆100中查看,保证车辆100中活体的生命安全。
通过实施本申请实施例提供的活体检测方法,车辆100中的车机系统101可以在接收到车门关闭信号,熄火信号,车窗关闭信号,油箱口关闭信号和充电口关闭信号中的一个或多个时,对车辆100内座舱监测范围内是否存在活体进行检测。这样,就可以在车主离开车辆100时及时对车辆内是否存在活体进行检测。车机系统在接收到车门关闭信号,熄火信号,车窗关闭信号,油箱口关闭信号和充电口关闭信号中的一个或多个关闭后再进行活体检测可以有效避免车辆外部行人走动等对活体检测准确性的干扰,并且也可以避免在车主只是暂时离开车辆的情况下进行活体检测。车机系统101可以在接收到上述信号后,等待第一时间段再启动活体检测或是车机系统101将活体检测指令发送到中控显示屏后,中控显示屏等待第二时间段再指示雷达装置开始发射雷达信号,接收回波信号,这样就可以减少车辆100内摆件晃动对活体检测准确性的影响。
车辆100中的雷达装置可以集成在中控显示屏102中,这样可以减少布线,并且避免了雷达装置固定点松动导致监测范围出现变化。雷达装置可以对发射的雷达信号和回波信号进行混频,得到中频信号。中控显示屏MCU可以对上述中频信号进行距离维度和时间维度的筛选再发送给车机系统SOC,这样就解决了从中控显示屏MCU发送数据到车机系统SOC时数据传输量受限的问题。并且,显示屏将Range-bin发送给车机系统,由车机系统进行活体检测判决的分布式处理方法可以降低对显示屏MCU计算力的要求。即便在显示屏MCU计算力较低的情况下,车辆100也可以完成活体检测。
最后车机系统SOC可以根据接收到数据对车辆100座舱监测范围内是否存在活体进行判断。车机系统SOC可以获取接收到Range-bin数据的时域特征,频域特征或是机器学习的方法判定车辆内是否存在活体。车机系统SOC获取的Range-bin数据的时域特征可以是Range-bin幅度差的平均值,Range-bin幅度差的方差,相位累计差值的平均值和相位累计差值的方差中的一个或多个。这样不但能够避免由于车身突然晃动等干扰产生虚警,还能有效检测到座舱监测范围内活体的微小位移如胸腔的移动。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (12)

1.一种活体检测方法,其特征在于,所述方法应用于车辆,所述车辆包括显示设备和第一设备,所述显示设备中包括雷达装置,所述方法包括:
所述车辆通过所述雷达装置发射雷达信号,并接收回波信号;
所述车辆中的所述显示设备根据所述雷达信号和所述回波信号得到N1帧中频信号,所述N1帧中频信号中的一帧中频信号包括N2个中频信号,所述N2个中频信号中的一个中频信号是根据所述雷达装置发射的一次雷达信号和所述一次雷达信号的回波信号得到的,所述N1、所述N2均为正整数;
所述车辆中的所述显示设备根据所述N1帧中频信号的M个中频信号得到第一数据,所述M是小于N1*N2的正整数;所述第一数据包含所述M个中频信号频域上的幅度和/或相位;
所述车辆中的所述显示设备向所述第一设备发送所述第一数据;
所述车辆中的所述第一设备根据所述第一数据确定所述车辆中存在活体。
2.根据权利要求1所述的活体检测方法,其特征在于,所述车辆中的所述显示设备根据所述N1帧中频信号的M个中频信号得到第一数据,所述方法具体包括:
所述车辆中的所述显示设备从所述N1帧中频信号中筛选M个中频信号;
所述车辆中的所述显示设备对所述M个中频信号进行傅里叶变换得到所述第一数据。
3.根据权利要求1所述的活体检测方法,其特征在于,所述车辆中的所述显示设备根据所述N1帧中频信号的M个中频信号得到第一数据,所述方法具体包括:
所述车辆中的所述显示设备根据所述M个中频信号得到第二数据,所述第二数据包含所述M个中频信号中根据第一监测范围内反射的回波信号得到的中频信号频域上的幅度和/或相位;
所述车辆中的所述显示设备从所述第二数据中筛选得到所述第一数据,所述第一数据包含所述M个中频信号中根据第二监测范围内反射的回波信号得到的中频信号频域上的幅度和/或相位,所述第二监测范围小于所述第一监测范围。
4.根据权利要求1-3任一项所述的活体检测方法,其特征在于,所述车辆中的所述第一设备根据所述第一数据确定所述车辆中存在活体,具体包括:
所述车辆中的所述第一设备从所述第一数据中筛选得到第三数据,所述第三数据包含根据在第一位置处反射回波信号得到的中频信号频域上的幅度和/或相位,所述第一位置为离所述雷达装置第一距离处的位置;
所述车辆中的所述第一设备对所述第三数据分组,得到Q组数据,所述Q为正整数;
所述车辆中的所述第一设备计算所述Q组数据的特征值;
所述车辆中的所述第一设备确定所述Q组数据的特征值大于所述特征值对应的门限值的比例超过第一比例;
所述车辆中的所述第一设备确定所述第一位置存在活体。
5.根据权利要求4所述的活体检测方法,其特征在于,所述车辆中的所述第一设备计算所述Q组数据的特征值,具体包括:
所述车辆中的所述第一设备计算Q组所述第一数据中每组所述第一数据的幅度差值,得到所述幅度差值,所述第一设备计算所述幅度差值的平均值和/或方差;和/或,
所述车辆中的所述第一设备计算Q组所述第一数据中每组所述第一数据的相位累计差值,得到所述相位累计差值,所述第一设备计算所述相位累计差值的平均值和/或方差。
6.根据权利要求4所述的活体检测方法,其特征在于,所述车辆中的所述第一设备计算所述Q组数据的特征值,具体包括:
所述车辆中的所述第一设备计算Q组所述第一数据中每组所述第一数据的幅度差值,得到所述幅度差值,所述第一设备获取所述幅度差值的频域特征;和/或
所述车辆中的所述第一设备计算Q组所述第一数据中每组所述第一数据的相位累计差值,得到所述相位累计差值,所述第一设备获取所述相位累计差值的频域特征。
7.根据权利要求1-6任一项所述的活体检测方法,其特征在于,所述车辆通过所述雷达装置发射雷达信号,并接收回波信号之前,所述方法包括:
所述车辆中的所述第一设备确定所述车辆的车门,车窗,发动机,油箱口和充电口中的一个或多个关闭;
所述车辆中的所述第一设备向所述显示设备发送第一信号,所述第一信号用于指示所述雷达装置发射雷达信号。
8.根据权利要求7所述的活体检测方法,其特征在于,所述车辆中的所述第一设备向所述显示设备发送第一信号,具体包括:
所述车辆中的所述第一设备在确定所述车辆的车门,车窗,发动机,油箱口和充电口中的一个或多个关闭之后等待第一时间段,再向所述显示设备发送所述第一信号;或者,
所述车辆中的所述第一设备向所述显示设备发送第一信号之后,所述方法还包括:
所述车辆中的所述显示设备等待第二时间段后,指示所述雷达装置发射雷达信号并接收回波信号。
9.根据权利要求1-8任一项所述的活体检测方法,其特征在于,所述车辆中的所述第一设备根据所述第一数据确定所述车辆中存在活体之后,所述方法还包括:
所述车辆中的所述第一设备发送第一信息到电子设备,所述第一信息用于表示所述车辆中存在活体。
10.根据权利要求1-9任一项所述的活体检测方法,其特征在于,所述第一设备为车机系统。
11.一种车辆,其特征在于,所述车辆包括:显示设备、存储器、处理器;所述显示设备用于显示界面,所述显示设备包括雷达装置,所述雷达装置用于发射雷达信号并接收回波信号,所述存储器中存储有计算机可执行指令,所述处理器执行所述计算机可执行指令时使得所述车辆实现如权利要求1至10中任一项所述的方法。
12.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在车辆上运行时,使得所述车辆执行如权利要求1至10中任一项所述的方法。
CN202310149338.2A 2023-02-03 2023-02-03 活体检测方法及相关装置 Pending CN118438976A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310149338.2A CN118438976A (zh) 2023-02-03 2023-02-03 活体检测方法及相关装置
PCT/CN2024/073424 WO2024160078A1 (zh) 2023-02-03 2024-01-22 活体检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310149338.2A CN118438976A (zh) 2023-02-03 2023-02-03 活体检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN118438976A true CN118438976A (zh) 2024-08-06

Family

ID=92047496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310149338.2A Pending CN118438976A (zh) 2023-02-03 2023-02-03 活体检测方法及相关装置

Country Status (2)

Country Link
CN (1) CN118438976A (zh)
WO (1) WO2024160078A1 (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09145829A (ja) * 1995-11-28 1997-06-06 Mitsubishi Electric Corp レーダ信号処理装置
US8169362B2 (en) * 2009-08-03 2012-05-01 Raytheon Company Mobile sense through the wall radar system
US12072440B2 (en) * 2017-03-28 2024-08-27 Sri International Identification system for subject or activity identification using range and velocity data
CN108216104A (zh) * 2018-01-05 2018-06-29 杨敏 一种警示车内遗忘生命体的系统和警示方法
US11230293B2 (en) * 2018-06-11 2022-01-25 Iee International Electronics & Engineering S.A. Method for robust vehicle occupancy detection with vital sign monitoring
CN109375215A (zh) * 2018-10-09 2019-02-22 深圳卓影科技有限公司 车内生命体探测方法、装置、计算机设备及存储介质
CN111391753A (zh) * 2020-03-16 2020-07-10 杭州杭韵电器有限公司 车内生命体检测方法及使用该方法的检测装置、检测系统
CN212540743U (zh) * 2020-08-20 2021-02-12 江西商思伏沌科技有限公司 车内活体遗落监测装置
CN111856592A (zh) * 2020-08-20 2020-10-30 江西商思伏沌科技有限公司 室内活体监测装置和方法
CN112782684B (zh) * 2020-12-31 2023-07-28 深圳大学 一种人体目标检测方法、装置、计算机设备和存储介质
CN113805165B (zh) * 2021-09-18 2024-04-30 无锡威孚高科技集团股份有限公司 车内生命体遗留检测方法、装置及车辆安全控制方法和装置

Also Published As

Publication number Publication date
WO2024160078A1 (zh) 2024-08-08

Similar Documents

Publication Publication Date Title
CN109774641B (zh) 车内人员检测方法、雷达和车
EP3879299A1 (en) Detection device
US20190331776A1 (en) Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program
US10373503B2 (en) Trainable transceiver with single camera park assist
US11953898B2 (en) Vehicle remote operation system
US10949659B2 (en) Vehicle occupant detection
US20180354443A1 (en) System and Method for Child Car Seat Safety Detection and Notification
CN106164698B (zh) 雷达模块、输送设备以及物体识别方法
US10471934B2 (en) Boundary detection system utilizing wireless signals
JP7275606B2 (ja) 車両用位置推定システム
CN115552274A (zh) 位置估计系统、位置估计方法、车辆用通信器
Ma et al. CarOSense: Car occupancy sensing with the ultra-wideband keyless infrastructure
US11561303B2 (en) Ranging processing device, ranging module, ranging processing method, and program
CN105984469B (zh) 车辆及其控制方法
CN115700401A (zh) 车辆定位方法及相关装置
CN118438976A (zh) 活体检测方法及相关装置
US11999316B2 (en) Systems and methods of vehicle surveillance
US20220413144A1 (en) Signal processing device, signal processing method, and distance measurement device
EP4418227A1 (en) Riding service card recommendation method and related apparatus
JP2020155798A (ja) 方向性結合器、無線通信機器及び制御方法
WO2022019148A1 (ja) アンテナ装置
CN221477000U (zh) 一种设备安全监控器及车辆
US20240069185A1 (en) Classification systems and methods for in-vehicle sensing with radar
US11787290B2 (en) Projection on a vehicle window
WO2023155066A1 (zh) 一种控制方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination