CN116774203A - 一种感知目标的方法和装置 - Google Patents
一种感知目标的方法和装置 Download PDFInfo
- Publication number
- CN116774203A CN116774203A CN202210242015.3A CN202210242015A CN116774203A CN 116774203 A CN116774203 A CN 116774203A CN 202210242015 A CN202210242015 A CN 202210242015A CN 116774203 A CN116774203 A CN 116774203A
- Authority
- CN
- China
- Prior art keywords
- target
- time
- spectrum data
- characteristic value
- echo signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001228 spectrum Methods 0.000 claims abstract description 82
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000008447 perception Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 47
- 230000006854 communication Effects 0.000 description 47
- 230000006870 function Effects 0.000 description 44
- 238000001514 detection method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 20
- 239000000523 sample Substances 0.000 description 17
- 230000005236 sound signal Effects 0.000 description 16
- 238000010295 mobile communication Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000001976 improved effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
- G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
Abstract
本申请提供了一种感知目标的方法,该方法包括:在第一时刻至第二时刻内接收回波信号;基于接收到的回波信号,计算每个目标时刻对应的特征值,得到特征值序列;特征值序列由按时间先后排序的多个目标时刻对应的特征值组成,目标时刻为第一时刻至第二时刻之间的时刻;计算目标时刻对应的特征值的过程包括:基于目标时刻之前的子时间段接收的多个目标回波信号,得到多个目标回波信号分别对应的目标频谱数据,子时间段包括目标时刻,目标频谱数据为距离向取值小于预设值的频点对应的频谱数据;基于多个目标回波信号分别对应的目标频谱数据,得到目标时刻对应的特征值;基于特征值序列感知目标。实施本技术方案,可以精确感知目标。
Description
技术领域
本方案涉及雷达技术,应用于自动驾驶、智能驾驶、测绘、智能家居或者智能制造领域,尤其涉及一种感知目标的方法和装置。
背景技术
随着终端技术的发展,越来越多的终端设备开始通过靠近感应实现终端设备的节能和极简操控体验。例如车辆中控屏及家电操控面板等产品,而在此类产品上的感知目标的功能需要较高感知精度如厘米级的感知精度,以避免误触。
目前,感知目标的方法包括红外、2D/3D摄像头、超声传感器和毫米波雷达等,其中,毫米波雷达方式在感知目标时需要较高带宽才可实现高精度的感知。例如,基于调频连续波(Frequency-modulated continuous wave,FMCW)毫米波雷达实现目标的距离检测是,通过分析距离多普勒谱(range-doppler)识别有效运动目标得到该目标的距离。该方法要实现厘米级的距离感应需要4GHz以上大带宽,如使用60GHz频段的4GHz带宽可实现厘米级的距离感应。但是,由于60GHz频段在许多地区未开放免费使用,通常可使用的24GHz毫米波频段只有250MHz带宽,在此带宽下采用上述方法的理论分辨率只有60cm,无法实现厘米级靠近感应。
如何在有限带宽条件下提高目标感知的精度,是业界亟需解决的问题。
发明内容
本申请实施例提供了一种感知目标的方法和装置,由于该方法是通过距离向取值小于预设值的频点对应的频谱数据的变化特性来感知目标,不需要较高带宽的支持,从而可以在有限带宽条件下提高目标感知的精度。
第一方面,本申请实施例提供了一种感知目标的方法,该方法包括:
在第一时刻至第二时刻内接收回波信号;
基于接收到的回波信号,计算每个目标时刻对应的特征值,得到特征值序列;特征值序列由按时间先后排序的多个目标时刻对应的特征值组成,目标时刻为第一时刻至第二时刻之间的时刻;
计算目标时刻对应的特征值的过程包括:基于目标时刻之前的子时间段接收的多个目标回波信号,得到多个目标回波信号分别对应的目标频谱数据,子时间段包括目标时刻,目标频谱数据为距离向取值小于预设值的频点对应的频谱数据;基于多个目标回波信号分别对应的目标频谱数据,得到目标时刻对应的特征值;
基于特征值序列感知目标。
本申请实施例中,可以基于接收到回波信号的距离向取值小于预设值的频点对应的频谱数据,计算特征值;进而,可以基于特征值与距离的对应关系,感知目标。该方法与带宽无关,仅涉及特征值与距离的对应的关系,因此该方法可以在低带宽条件下提高感知精度。
在一种可能的实现方式中,距离向取值小于预设值的频点为距离向取值为零处的频点。
在一种可能的实现方式中,可以对雷达接收的啁啾(Chirp)信号进行N点快速傅里叶变换(fastfourier transformation,FFT)计算,获得距离向的频谱幅度谱,该距离向频谱幅度谱为各距离单元(range-bin)上的回波信号能量,距离向取值为零处的频点对应的频谱数据可以为零频点对应的幅值。即,零频点为range-bin为0的频点,零频点对应的幅值则为range-bin为0的频点对应的幅值。该方法通过零频点对应的幅值的变化特性感知目标,可以在低带宽条件下提高感知精度。通过实验可以得到,本申请实施例在24GHz频段250MHz带宽的约束下,通过该方法可以突破雷达测距理论局限,实现低带宽下厘米级靠近感应功能。
在一种可能的实现方式中,目标时刻为第一时刻至第二时刻之间的部分或全部时刻。
在一种可能的实现方式中,所述基于多个目标回波信号分别对应的目标频谱数据,得到目标时刻对应的特征值,包括:从多个目标回波信号分别对应的目标频谱数据获取部分目标频谱数据;基于所述部分目标频谱数据,得到目标时刻对应的特征值。可以理解的,该方法可以节省计算量。
结合第一方面,在一种可能的实现方式中,目标时刻对应的特征值为多个目标回波信号分别对应的目标频谱数据的方差或标准差。
结合第一方面,在一种可能的实现方式中,基于特征值序列感知目标,包括:
基于特征值序列,从第一时刻至第二时刻中确定第一时间段,第一时间段内的目标时刻对应的特征值由最小门限上升至最大门限;
在第一时间段内目标的移动速度大于预设阈值时,确定感知到目标,第一时间段内目标的移动速度为最大门限和最小门限的差与第一时间段的时长的比值。
结合第一方面,在一种可能的实现方式中,基于特征值序列感知目标,包括;
基于特征值序列,从第一时刻至第二时刻中确定第二时间段,第二时间段内的目标时刻对应的特征值均不小于最大门限;
在第二时间段内的时长大于预设时长时,确定感知到目标。
结合第一方面,在一种可能的实现方式中,基于特征值序列感知目标,包括;
将特征值序列输入训练后的神经网络,得到第二时刻的感知结果;训练后的神经网络是基于样本时间段对应的特征值序列为输入,样本时间段的感知结果为标签训练得到的。
结合第一方面,在一种可能的实现方式中,基于目标时刻之前的子时间段接收的多个目标回波信号,得到多个目标回波信号分别对应的目标频谱数据,包括:
基于多个目标回波信号,得到每个目标回波信号对应的频谱数据组,频谱数据组包括多个频谱数据,多个频谱数据对应多个频点;
分别对每个频谱数据组进行归一化处理,得到多个处理后的频谱数据组;
分别从每个处理后的频谱数据组中获取距离向取值小于预设值的频点对应的频谱数据,得到每个目标回波信号对应的目标频谱数据。
结合第一方面,在一种可能的实现方式中,基于多个目标回波信号,得到每个目标回波信号对应的频谱数据组,包括:
计算目标回波信号对应的中频信号;
对中频信号进行N点傅里叶变换,得到目标回波信号对应的频谱数据组,频谱数据组包括N个数据,N为正整数。
第二方面,本申请实施例提供了一种感知目标的装置,该装置包括天线单元和感知单元:
天线单元,用于在第一时刻至第二时刻内接收回波信号;
感知单元,用于基于接收到的回波信号,计算每个目标时刻对应的特征值,得到特征值序列;特征值序列由按时间先后排序的多个目标时刻对应的特征值组成,目标时刻为第一时刻至第二时刻之间的时刻;计算目标时刻对应的特征值的过程包括:基于目标时刻之前的子时间段接收的多个目标回波信号,得到多个目标回波信号分别对应的目标频谱数据,子时间段包括目标时刻,目标频谱数据为距离向取值小于预设值的频点对应的频谱数据;基于多个目标回波信号分别对应的目标频谱数据,得到目标时刻对应的特征值;基于特征值序列感知目标。
第三方面,本申请实施例提供了一种车辆,该车辆包括如第二方面所示的感知目标的装置。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行如第一方面的任意一种可能的实施方式所描述的方法。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在电子设备上运行时,使得上述电子设备执行如第一方面的任意一种可能的实施方式所描述的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行如第一方面、第二方面、或第三方面以及上述任一方面的任意一种可能的实施方式所描述的方法。
需要说明的是,本申请第二方面、第三方面、第四方面、第五方面和第四方面的部分可能实施方式与第一方面的部分实施方式构思一致,其所带来的有益效果可以参考第一方面的有益效果,因此不再赘述。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种感知目标的装置的示意图;
图2是本申请实施例提供的一种感知目标的装置与显示器的集成示意图;
图3是本申请实施例提供的一种探测范围的示意图;
图4A是本申请实施例提供的一种电子设备100的结构示意图;
图4B是本申请实施例提供的一种电子设备100的软件结构框图;
图5是本申请实施例提供的一种应用场景示意图;
图6是本申请实施例提供的一种感知目标的方法的流程图;
图7是本申请实施例提供的一种探测时间的示意图;
图8是本申请实施例提供的一种目标时刻的示意图;
图9是本申请实施例提供的一种确定目标时刻对应的特征值的流程示意图;
图10是本申请实施例提供的一种距离谱的示意图;
图11是本申请实施例提供的一种目标靠近时特征值序列的示意图;
图12是本申请实施例提供的几种标签的示意图;
图13是本申请实施例提供车载显示器的显示屏上可能的用户界面;
图14是本申请实施例提供智能家居设备的显示屏上可能的用户界面;
图15是本申请实施例提供的一种车辆10的一种可能的功能框架示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请实施例的限制。如在本申请实施例的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请实施例中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
为了更好地理解本申请实施例提供的一种感知目标的方法,下面先对本申请实施例使用的感知目标的装置进行描述。
请参见图1,图1为本申请实施例提供的一种感知目标的装置的示意图。如图1所示,该感知目标的装置可以包括天线单元11、雷达单元12和检测单元13,其中:
天线单元11包括发射天线和接收天线,其中,发射天线用于发射射频信号,接收天线用于接收射频信号的回波信号。
雷达单元12用于结合天线单元11进行信号的收发,并对接收的回波信号进行信号处理,得到频谱数据。例如,雷达单元12可以计算回波信号的距离谱(Range-FFT)。
检测单元13用于根据雷达单元12输出的频谱数据感知目标,得到检测结果。
在一种实现中,天线单元11可以在探测时间内接收回波信号;雷达单元12对接收到的回波信号对应的中频信号进行N点傅里叶变换,得到回波信号对应的频谱数据组;检测单元13基于回波信号对应的频谱数据组,得到多个目标时刻对应的特征值,进而,基于多个目标时刻对应的特征值感知目标,其中,特征值是基于距离向取值小于预设值的频点对应的频谱数据得到的。
在一些实施例中,该感知目标的装置还可以包括应用模块,应用模块用于接收该检测结果,响应于该检测结果执行对应的操作。例如该感知目标的装置包括应用模块和显示屏,应用模块可以在确定感知到目标时通过显示屏显示预设的用户界面,如将熄屏状态的感知目标的装置唤醒。
上述感知目标的装置可以单独作为一个产品;也可以集成于电子设备,使该电子设备成为具备感知能力的终端设备。
上述电子设备包括但不限于智能手机、平板电脑、个人数字助理(personaldigital assistant,PDA)、具备无线通讯功能的可穿戴电子设备(如智能手表、智能眼镜)、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备等。电子设备的示例性实施例包括但不限于搭载Linux或者其它操作系统的便携式电子设备。上述电子设备也可为其它便携式电子设备,诸如膝上型计算机(Laptop)等。还应当理解的是,在其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是台式计算机等等。
例如,该感知目标的装置可以集成在显示器上,例如车载智慧屏、中控屏和家居设备显示屏等。
请参见图2,图2是本申请实施例提供的一种感知目标的装置与显示器的集成示意图。如图2中的(A)所示,图中以黑色实心圆代表接收天线,以黑色实心方块代表发射天线,接收天线和发射天线可以镶嵌在显示屏的边框,具体可以位于显示器的左下角。图2中的(B)为显示器的横截面示意图,示例性示出了接收天线的集成形态,图中以空白区域代表显示器,以横线区域代表接收天线,以方格区域代表雷达单元,可见,接收天线可以镶嵌在显示器内,三角的斜线区域用于接收回波信号,从而传输至雷达单元。需要说明的是,接收天线和发射天线还可以设置在显示屏的其它位置,此处仅为一种示例,不应造成对感知目标的装置的集成位置的限定。
图3示例性示出了图2所示的感知目标的装置的探测范围。如图3所示,三角区域用于表示在垂直方向的探测范围;椭圆形区域用于表示在水平方向的探测范围。
图4A为本申请实施例公开的一种电子设备100的结构示意图。
下面以电子设备100为例对实施例进行具体说明。应该理解的是,电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
SIM接口可以被用于与SIM卡接口195通信,实现传送数据到SIM卡或读取SIM卡中数据的功能。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用(比如人脸识别功能,指纹识别功能、移动支付功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如人脸信息模板数据,指纹信息模板等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。例如,电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
在本申请实施例中,距离传感器180F可以包括上述感知目标的装置,具体可以包括天线单元、雷达单元和检测单元。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。
本申请实施例中,电子设备100可以通过处理器110执行所述感知目标的方法,由显示屏194显示确定感知目标后的界面。
图4B为本申请实施例公开的一种电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将系统分为四层,从上至下分别为应用程序层,应用程序框架层,运行时(Runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图4B所示,应用程序层还包括感知模块,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。
核心库包含两部分:一部分是编程语言(例如,jave语言)需要调用的功能函数,另一部分是系统的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件(例如,jave文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
请参见图5,图5为本申请实施例提供的一种应用场景示意图。如图5所示,该终端设备为具备感知能力的终端设备,该终端设备包括显示屏和上述感知目标的装置,该终端设备的感知目标的装置位于终端设备左下角。用户可以用手靠近显示屏的左下方,发射天线发射的射频信号发射至用户手上,产生回波信号;回波信号被接收天线所接收;终端设备可以基于接收到回波信号确定是否有目标靠近,从而在目标靠近时通过显示屏显示相应的界面。
以图5的场景为例,介绍本申请实施例提供的一种感知目标的方法。
请参考图6,图6为本申请实施例提供的一种感知目标的方法的流程图,该方法可以由图5所示的终端设备执行,该方法可以包括以下部分或全部步骤。
S601、在第一时刻至第二时刻内接收回波信号。
其中,第一时刻至第二时刻也可以称为探测时间。请参见图7,图7是本申请实施例提供的一种探测时间的示意图,如图7所示,探测时间为第一时刻至第二时刻的时间段,该时间段内包括多个时刻。
在一些实施例中,终端设备可以实时处于探测状态,即实时通过发射天线发射射频信号和通过接收天线接收射频信号的回波信号。
在另一些实施例中,终端设备可以在接收到用户操作时,开始接收回波信号。例如,终端设备在开机状态时通过感知目标的装置探测目标,在休眠状态时不探测目标;又例如目标应用可以调用感知能力,终端设备可以在检测到用户针对目标应用输入的用户操作时,开始接收回波信号探测目标。
在一种实现中,在接收回波信号之前,可以预先配置雷达的射频信号的关键参数,如带宽、帧率和Chirp信号的信号数。例如,雷达可以采用FMCW调制方式,将带宽B设置为β≤B≤250MHz,β值设置为200MHz,如B值为250MHz,则采用传统的雷达测距下理论分辨率为60cm;雷达帧率设置为20帧每秒或以上,每帧包含k个Chirp信号,k为正整数。需要说明的是,以上仅为发射信号的一种示例,此处对射频信号的参数的设置不做限定。其中,Chirp信号为持续期间频率连续线性变化的信号,也即线性调频信号,是一种常用的雷达信号。
S602、基于接收到的回波信号,计算每个目标时刻对应的特征值,目标时刻为第一时刻至第二时刻之间的时刻。
其中,第一时刻至第二时刻包括多个目标时刻。例如,第一时刻至第二时刻包括M个时刻,M为大于1的正整数,第一时刻至第二时刻内可以包括m个目标时刻,m为不大于M的正整数。此处对目标时刻的个数不做限定。
在一些实施例中,计算目标时刻对应的特征值的过程可以包括:针对每一个目标时刻,确定该目标时刻对应的子时间段,子时间段包括目标时刻;基于目标时刻对应的子时间段接收的目标回波信号,得到每一个目标回波信号对应的目标频谱数据,目标频谱数据为距离向取值小于预设值的频点对应的频谱数据;基于多个目标回波信号分别对应的目标频谱数据,得到目标时刻对应的特征值。例如目标频谱数据可以为零频点的幅值,则可以基于目标时刻对应的子时间段接收的目标回波信号,得到每一个目标回波信号对应的零频点的幅值;进而,可以基于得到的多个零频点的幅值,计算目标时刻对应的特征值。
在一种实现中,可以通过滑动时间窗确定目标时刻对应的子时间段,从而基于子时间段接收的多个目标回波信号确定该目标时刻对应的特征值。请参见图8,图8是本申请实施例提供的一种目标时刻的示意图。如图8所示,斜线区域表示滑动时间窗,图8中示例性的以三个时刻代表滑动时间窗的时长,则第一个目标时刻和该目标时刻对应的子时间段如图8所示;滑动时间窗每滑动一个步长可以确定一个目标时刻和该目标时刻对应的子时间段,假设滑动时间窗的步长为1个时刻,则第一时刻至第二时刻除前三个时刻外的其它时刻均可以为目标时刻,则第一时刻至第二时刻的多个目标时刻可以如图8所示。也即是说,假设探测时间包括Q个时刻,滑动时间窗包括q个时刻,则目标时刻的个数不大于Q-q,特征值的个数不大于Q-q,Q为大于1的正整数,q为大于0的正整数。
以下示例性的以一个目标时刻为例,介绍一种确定目标时刻对应的特征值的方法。请参见图9,图9是本申请实施例提供的一种确定目标时刻对应的特征值的流程示意图,该方法包括以下部分或全部步骤:
S901、针对目标时刻对应的子时间段接收的W个目标回波信号,分别计算每个目标回波信号对应的中频信号,得到W个中频信号,其中,W为正整数。
其中,W个目标回波信号可以为目标时刻对应的子时间段接收的回波信号的部分或全部。也就是说,可以从接收的回波信号中抽取W个目标回波信号,具体可以根据预设规则进行抽取,例如间隔预设时间进行抽取。
在一些实施例中,射频信号可以为FMCW信号,在持续发射FMCW信号时,可以接收固定的单接收天线接收的每个Chirp回波信号;进而,分别获取对应每个Chirp回波信号的中频信号。其中,雷达的本振信号与雷达接收的回波信号(是雷达的发送信号经过目标物体反射后的信号)经过混频器处理后的信号,即为中频信号。
S902、分别对W个中频信号中每个中频信号进行N点傅里叶变换,得到W个频谱数据组,N为正整数。
其中,每个频谱数据组包括N个频谱数据;一个频谱数据为一个频点对应的幅值。
在一种实现中,假设r(n)为接收天线单个Chirp信号的中频信号,n为单个Chirp信号周期内采样数,n为正整数,则可以对r(n)做FFT计算,即1维(1D)-FFT计算,得到该中频信号的Range-FFT,Range-FFT上的1个频点对应一个距离值和一个反射强度值(即幅值),Range-FFT有n个频点;该中频信号中的所有幅值的序列即为该中频信号的频谱数据组,频谱数据组中的一个频谱数据即为一个频点对应的幅值。其中,Range-FFT为对Chirp信号进行N点FFT计算后得到的频域信号(复数值或模值)。
请参见图10,图10为本申请实施例提供的一种距离谱的示意图。如图10所示,t用于表示时间,A用于表示幅值,一个波形对应一个Chirp信号,示例性的以4个Chirp信号一帧为例。
S903、分别对W个频谱数据组中每个频谱数据组进行归一化处理,得到W个处理后的频谱数据组。
其中,归一化的方法可以采用可以(0,1)标准化或Z-score标准化等方法,此处对归一化处理的方法不作限定。
S904、分别从W个处理后的频谱数据组中每个处理后的频谱数据组中获取距离向取值小于预设值的频点对应的频谱数据,得到W个幅值。
其中,距离向取值小于预设值的频点对应的频谱数据即为距离向取值小于预设值的频点对应的幅值,也就是range-bin为0的频点对应的幅值。其中,Range-bin指Range-FFT中的每个频点,而每个频点对应雷达与目标物体的距离信息,所以可将每个频点定义为Range-bin。
S905、基于W个幅值,得到该目标时刻对应的特征值。
在一些实施例中,可以计算W个幅值的方差或标准差,得到统计值σt;将该统计值作为该目标时刻对应的特征值σt。
在一种实现中,也可以从W个幅值中间隔均匀抽取w个幅值,计算w个幅值,得到统计值σt;将该统计值作为该目标时刻对应的特征值σt。可以理解的,该方法可以降低计算量。
S603、基于每个目标时刻对应的特征值,得到特征值序列,特征值序列由按时间先后排序的多个目标时刻对应的特征值组成。
在一些实施例中,可以将第一时刻至第二时刻中部分或所有目标时刻对应的特征值作为特征值序列。以图8所示的滑动时间窗为例,在基于目标时间对应的子时间段确定该目标时刻对应的特征值后,假设滑动时间窗的步长为1,则滑动时间窗每滑动一个步长,可以确定一个目标时刻对应的子时间段;进而,基于该目标时刻对应的子时间段可以确定该目标时刻对应的特征值,直至获取到目标时刻为第二时刻时的特征值,得到所有目标时刻对应的特征值,即特征值序列。
在另一些实施例中,可以先将第一时刻至第二时刻中部分或所有目标时刻对应的特征值进行归一化处理后,将归一化处理后的特征值作为特征值序列。例如,可以采用最小最大规划(Min-Max scaling)线性函数归一化或对数函数等归一化方式对所有目标时刻对应的特征值进行归一化,其中,归一化中的参数如最大值、最小值可以设置为全局相同值,而非所有目标时刻对应的特征值的最大值和最小值。
S604、基于特征值序列感知目标。
其中,目标可以为探测到的物体,此处对目标不作限定。在如图5所示的场景中,目标即可以为用户的手。
在一些实施例中,可以基于最大门限、最小门限和特征值序列确定是否感知到目标。其中,最小门限和最大门限为预设值。
以下示例性的介绍一种确定最小门限和最大门限的方法:可以先确定特征值与距离值之间的对应关系,例如可以预先统计每一个特征值对应的距离,进而特征值和其对应的距离值进行线性或单调非线性(如对数曲线)拟合,从而将特征值进行距离值的映射,得到特征值和距离值的对应关系;进而,基于该对应关系,将最小感知距离对应的特征值确定为最大门限,将最大感知距离对应的特征值确定为最小门限,例如感知范围为最小感知距离至最大感知距离。例如,感知范围为5cm至30cm,则最小门限可以为30cm对应的特征值;最大门限可以为5cm对应的特征值。
在一种实现中,基于特征值序列,将第一时刻至第二时刻中特征值由最小门限上升至最大门限的时间段确定为第一时间段;进而,在第一时间段内目标的移动速度大于预设阈值时或第一时间段的时长大于预设时长时,确定感知到目标,其中,第一时间段内目标的移动速度为最大门限和最小门限的差与第一时间段的时长的比值。也就是说,终端设备可以基于特征值序列确定目标从最大感知距离移动至最小感知距离的时间(即第一时间段)以及目标的移动速或停留时长,从而将移动速度过快或停留时长过短的判定为误触,可以理解的,该方法可以减少用户误触而给终端设备带来不必要的操作。
例如第一时刻至第二时刻即为第一时间段,也即是说,终端设备确定第一时刻的特征值为最小门限,第二时刻的特征值为最大门限,第一时刻至第二时刻中特征值由最小门限上升至最大门限,且在第一时刻至第二时刻内目标的移动速度大于预设阈值时或第一时刻至第二时刻的时长大于预设时长时,终端设备可以确定在第二时刻感知到目标,从而执行下一个步骤如步骤S605。
可选地,可以将探测时间(即第一时刻至第二时刻)的时长设置为预设时长;终端设备的探测开始时刻到探测结束时刻包括多个探测时间,探测时间可以基于滑动时间窗的方法确定,假设步长为1个时刻,则终端设备在基于第一时间段确定某一探测时间的第二时刻感知到目标时,可以实现用户将目标移动至最小感知距离实现确定感知目标,从而触发下一操作。例如感知范围为5cm至30cm,则用户将手从30cm移动至5cm且移动速度满足预设条件时,终端设备可以在目标移动至5cm时确定感知到目标。
在另一种实现中,基于特征值序列,将第一时刻至第二时刻中特征值均不小于最大门限的时间段确定为第二时间段;进而,在第二时间段内的时长大于预设时长时,确定感知到目标。其中,特征值均不小于最大门限,也即是目标距离小于等于最小感应距离。也就是,该方法在目标处于最小感应距离内且保持预设时长时确定感知到目标。例如感知范围为5cm至30cm,则用户将手从30cm移动至小于等于5cm的距离且保持在该距离满足预设时长时,终端设备确定感知到目标。
请参见图11,图11是本申请实施例提供的一种目标靠近时特征值序列的示意图。图11示例性的示出了目标靠近时特征值的变化情况,如图11所示,横坐标为时间,纵坐标为距离,假设最小门限σ0为30cm对应的特征值,最大门限σ1为5cm对应的特征值,则可以确定t1为第一时间段,t2为第二时间段。也就是说,目标在位于30cm处时,特征值为最小门限σ0;目标从位于30cm处移动至5cm时,特征值由最小门限σ0增大至最大门限σ1,特征值由最小门限σ0增大至最大门限σ1的时间段为第一时间段;目标在距离位于小于5cm的位置时,特征值大于最大门限σ1,特征值大于最大门限σ1为第二时间段。
在另一些实施例中,可以基于训练后的神经网络,确定是否感知到目标。例如,可以将特征值序列输入训练后的神经网络,得到第二时刻的感知结果,其中,训练后的神经网络是基于样本时间段对应的特征值序列为输入,样本时间段的感知结果为标签训练得到的。其中,神经网络可以采用长短期记忆网络(LSTM,Long Short-Term Memory)进行二分类训练,softmax层作为输出,得出分类结果,分类结果可以为0或1,0用于表示该特征值序列的感知结果为未感知到目标,1用于表示该特征值序列的感知结果为感知到目标。
以下示例性的提供一种训练神经网络的实现:可以先获取样本数据,样本数据包括多个样本时间段对应的特征值序列,以及多个特征值序列对应的样本标签,其中,样本标签用于指示样本时间段的感知结果,例如样本标签可以为0和1,将特征值序列均大于最大门限且特征值序列对应的时长超过预设值的特征值序列的样本标签标记为1,其他标记为0;进而,将样本时间段对应的特征值序列输入神经网络;基于神经网络输出的标签与样本标签得到误差;基于误差优化该神经网络,在误差满足预设阈值时,得到训练后的神经网络。其中,标记样本标签的方法还可以参见以下图12所示的标记情况。
请参见图12,图12为本申请实施例提供的几种标签的示意图。图12中的横坐标为时间,纵坐标为特征值,虚线用于表示最大门限,曲线为基于特征值与时间的对应关系生成的曲线;图12中的(a)、(b)和(c)示例性的示出了三种标签为0的情况,即在探测时间内特征值不大于最大门限或特征值大于最大门限的时长小于预设时长时,判定该探测时间内未感知到目标,将该特征值序列标记为0;图12中的(d)和(e)示例性的示出了两种标签为1的情况,即在探测时间内特征值大于最大门限的时长大于预设时长时,判定该探测时间内未感知到目标,将该特征值序列标记为1。
S605、在感知到目标时,将当前界面显示为目标界面。
其中,目标界面可以基于终端设备的应用场景确定,此处不做限定。
例如在车载场景中,该终端设备可以为车载显示器,该感知功能用于车载显示器在感知到目标时显示菜单内容。请参见图13,图13示例性示出了车载显示器的显示屏上可能的用户界面。假设图13中的(A)为未感知到目标前的显示屏的界面;在车载显示器感知到目标时,可以通过显示屏显示如图13中的(B)所示的界面,如图13中的(B)所示,该界面左侧包括菜单,该菜单包括呼叫、设置、音乐以及天气等选项。可以理解的,用户可以在车载中控屏上通过感知手部靠近来弹出二级子菜单,减少用户的操作时间即能减少驾驶员的分心,提高驾驶安全。
又例如在家居场景中,该终端设备可以为智能家居设备,该感知功能用于智能家居设备在感知到目标时在显示屏显示二级菜单的内容。请参见图14,图14示例性示出了智能家居设备的显示屏上可能的用户界面。假设图14中的(A)为未感知到目标前的显示屏的界面,该界面显示有客厅、主卧、次卧和厨房等选项栏,其中,斜线区域用于指示当前选项栏被选中,即主卧处于选中状态;在智能家居设备感知到目标时,可以通过显示屏显示如图14中的(B)所示的界面,如图14中的(B)所示,该界面显示主卧的二级菜单,该二级菜单包括顶灯、空调和窗帘等选项。
又例如该终端设备可以为家电设备,在家电设备在感知到目标时,唤醒显示面板,可以理解的,该方法可降低设备功耗。
可以理解的是,图13所示的车载场景和图14所示的家居场景只是本申请实施例的示例性的实施方式,本申请实施例的应用场景包括但不仅限于以上场景;图13和图14所示的界面仅为本申请实施例示例性提供的界面,不应对本申请实施例造成限定。
在一些实施例中,上述实施例可以不包括步骤S605;或者,上述实施例可以不包括步骤S605,而包括其它步骤,例如感知到目标后,驱动终端设备移动等,此处不作限定。
在一些实施例中,图1所示的感知目标的装置可以应用于车辆,例如应用于车辆的显示屏;图6所示感知目标的方法也可以由车辆或车辆的部分设备执行。
请参见图15,图15是本申请实施例提供的一种车辆10的一种可能的功能框架示意图。如图15所示,车辆10的功能框架中可包括各种子系统,例如图示中的传感器系统12、控制系统14、一个或多个外围设备16(图示以一个为例示出)、电源18、计算机系统20和感知目标的装置22。可选地,车辆10还可包括其他功能系统,例如为车辆10提供动力的引擎系统等等,本申请这里不做限定。其中,
传感器系统12可包括若干检测装置,这些检测装置能感受到被测量的信息,并将感受到的信息按照一定规律将其转换为电信号或者其他所需形式的信息输出。如图示出,这些检测装置可包括全球定位系统1201(global positioning system,GPS)、车速传感器1202、惯性测量单元1203(inertial measurement unit,IMU)、雷达单元1204、激光测距仪1205、摄像单元1206、轮速传感器1207、转向传感器1208、档位传感器1209、或者其他用于自动检测的元件等等,本申请并不做限定。
全球定位系统GPS 1201是利用GPS定位卫星,在全球范围内实时进行定位、导航的系统。本申请中,全球定位系统GPS可用于实现车辆的实时定位,提供车辆的地理位置信息。车速传感器1202用于检测车辆的行车车速。惯性测量单元1203可以包括加速计和陀螺仪的组合,是测量车辆10的角速率和加速度的装置。例如,在车辆行驶过程中,惯性测量单元基于车辆的惯性加速可测量车身的位置和角度变化等。
雷达单元1204也可称雷达系统。雷达单元在车辆行驶所处的当前环境中,利用无线信号感测物体。可选地,雷达单元还可感测物体的运行速度和行进方向等信息。在实际应用中,雷达单元可被配置为用于接收或发送无线信号的一个或多个天线。激光测距仪1205可利用调制激光实现对目标物体的距离测量的仪器,也即是激光测距仪可用于实现对目标物体的距离测量。在实际应用中,该激光测距仪可包括但不限于以下中的任一种或多种元件的组合:激光源、激光扫描仪和激光检测器。
摄像单元1206用于拍摄影像,例如图像和视频等。本申请中,在车辆行驶过程中或者摄像单元启用后,该摄像单元可实时采集车辆所处环境中的图像。例如,在车辆进出隧道的过程中,摄像单元可实时、连续地采集相应地图像。在实际应用中,该摄像单元包括但不限于行车记录仪、摄像头、相机或其他用于拍照/摄影的元件等,该摄像单元的数量本申请也不做限定。
轮速传感器1207是用于检测车辆车轮转速的传感器。常用的轮速传感器1207可包括但不限于磁电式轮速传感器和霍尔式轮速传感器。转向传感器1208,也可称为转角传感器,可代表用于检测车辆的转向角的系统。在实际应用中,该转向传感器1208可用于测量车辆方向盘的转向角度,或者用于测量表示车辆方向盘的转向角的电信号。可选地,该转向传感器1208也可用于测量车辆轮胎的转向角度,或者用于测量表示车辆轮胎的转向角的电信号等等,本申请并不做限定。
也即是,转向传感器1208可用于测量以下中的任一种或多种的组合:方向盘的转向角、表示方向盘的转向角的电信号、车轮(车辆轮胎)的转向角和表示车轮的转向角的电信号等。
档位传感器1209,用于检测车辆行驶的当前档位。由于车辆的出厂商不同,则车辆中的档位也可能存在不同。以自动驾驶车辆为例,自动驾驶车辆支持6个档位,分别为:P档、R档、N档、D档、2档及L档。其中,P(parking)档用于停车,它利用车辆的机械装置锁住车辆的制动部分,使车辆不能移动。R(reverse)档,也称为倒档,用于车辆倒车。D(drive)档,也称前进档,用于车辆在道路上行驶。2(secondgear)档也为前进档,用于调整车辆的行驶速度。2档通常可用作车辆上、下斜坡处使用。L(low)档,也称为低速档,用于限定车辆的行驶速度。例如在下坡道路上,车辆进入L档,使得车辆在下坡时使用发动机动力进行制动,驾驶员不必长时间踩刹车导致刹车片过热而发生危险。
控制系统14可包括若干元件,例如图示出的转向单元1401、制动单元1402、照明系统1403、自动驾驶系统1404、地图导航系统1405、网络对时系统1406和障碍规避系统1407。可选地,控制系统14还可包括诸如用于控制车辆行驶速度的油门控制器及发动机控制器等元件,本申请不做限定。
转向单元1401可代表用于调节车辆10的行进方向的系统,其可包括但不限于方向盘、或其他用于调整或控制车辆行进方向的任意结构器件。制动单元1402可代表用于减慢车辆10的行驶速度的系统,也可称为车辆刹车系统。其可包括但不限于刹车控制器、减速器或其他用于车辆减速的任意结构器件等。在实际应用中,制动单元1402可利用摩擦来使车辆轮胎减慢,进而减慢车辆的行驶速度。照明系统1403用于为车辆提供照明功能或警示功能。例如,在车辆夜间行驶过程中,照明系统1403可启用车辆的前车灯和后车灯,以提供车辆行驶的光照亮度,保证车辆的安全行驶。在实际应用中,照明系统中包括但不限于前车灯、后车灯、示宽灯以及警示灯等。
自动驾驶系统1404可包括硬件系统和软件系统,用于处理和分析输入该自动驾驶系统1404的数据以获得控制系统14中各部件的实际控制参数,例如制动单元中刹车控制器的期望制动压力及发动机的期望扭矩等等。便于控制系统14实现相应控制,保证车辆的安全行驶。可选地,自动驾驶系统1404通过分析数据还可确定车辆面临的障碍物、车辆所处环境的特征(例如车辆当前行驶所在的车道、道路边界以及即将经过的交通红绿灯)等信息。其中,输入自动驾驶系统1404的数据可以是摄像单元采集的图像数据,也可以是传感器系统12中各元件采集的数据,例如转向角传感器提供的方向盘转角、轮速传感器提供的车轮轮速等等,本申请并不做限定。
地图导航系统1405用于为车辆10提供地图信息和导航服务。在实际应用中,地图导航系统1405可根据GPS提供的车辆的定位信息(具体可为车辆的当前位置)和用户输入的目的地址,规划一条最优驾驶路线,例如路程最短或车流量较少的路线等。便于车辆按照该最优驾驶路线进行导航行驶,以到达目的地址。可选地,地图导航系统除了提供导航功能外,还可根据用户实际需求向用户提供或展示相应地地图信息,例如在地图上实时展示车辆当前行驶的路段等,本申请不做限定。
网络对时系统1406(network time system,NTS)用于提供对时服务,以保证车辆的系统当前时间和网络标准时间同步,有利于为车辆提供更为精确地时间信息。具体实现中,网络对时系统1406可从GPS卫星上获得标准的时间信号,利用该时间信号来同步更新车辆的系统当前时间,保证车辆的系统当前时间和获得的标准时间信号的时间一致。
障碍规避系统1407用于预测车辆行驶过程中可能遇到的障碍物,进而控制车辆10绕过或越过障碍物以实现车辆10的正常行驶。例如,障碍规避系统1407可利用传感器系统12中各元件采集的传感器数据分析确定车辆行驶道路上可能存在的障碍物。如果该障碍物的尺寸较大,例如为路边的固定建筑物(楼房)等,障碍规避系统1407可控制车10绕开该障碍物以进行安全行驶。反之,如果该障碍物的尺寸较小,例如为路上的小石头等,障碍规避系统1407可控制车辆10越过该障碍物继续向前行驶等。
外围设备16可包括若干元件,例如图示中的通信系统1601、触摸屏1602、用户接口1603、麦克风1604以及扬声器1605等等。其中,通信系统1601用于实现车辆10和除车辆10之外的其他设备之间的网络通信。在实际应用中,通信系统1601可采用无线通信技术或有线通信技术实现车辆10和其他设备之间的网络通信。该有线通信技术可以是指车辆和其他设备之间通过网线或光纤等方式通信。该无线通信技术包括但不限于全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packetradio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-divisioncode division multiple access,TD-SCDMA),长期演进(long term evolution,LTE)、无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络)、蓝牙(bluetooth,BT)、全球导航卫星系统(global navigation satellitesystem,GNSS)、调频(frequency modulation,FM),近距离无线通信技术(near fieldcommunication,NFC)以及红外技术(infrared,IR)等等。
触摸屏1602可用于检测触摸屏1602上的操作指令。例如,用户根据实际需求对触摸屏1602上展示的内容数据进行触控操作,以实现该触控操作对应的功能,例如播放音乐、视频等多媒体文件等。用户接口1603具体可为触控面板,用于检测触控面板上的操作指令。用户接口1603也可以是物理按键或者鼠标。用户接口1603还可以是显示屏,用于输出数据,显示图像或数据。可选地,用户接口1603还可以是属于外围设备范畴中的至少一个设备,例如触摸屏、麦克风和扬声器等。
麦克风1604,也称为话筒、传声器,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户靠近麦克风发声,可将声音信号输入到麦克风中。扬声器1605也称为喇叭,用于将音频电信号转换为声音信号。车辆通过扬声器1605可以收听音乐,或者收听免提通话等。
电源18代表为车辆提供电力或能源的系统,其可包括但不限于再充电的锂电池或铅酸电池等。在实际应用中,电源中的一个或多个电池组件用于提供车辆启动的电能或能量,电源的种类和材料本申请并不限定。可选地,电源18也可为能量源,用于为车辆提供能量源,例如汽油、柴油、乙醇、太阳能电池或电池板等等,本申请不做限定。
车辆10的若干功能均由计算机系统20控制实现。计算机系统20可包括一个或多个处理器2001(图示以一个处理器为例示出)和存储器2002(也可称为存储装置)。在实际应用中,该存储器2002也在计算机系统20内部,也可在计算机系统20外部,例如作为车辆10中的缓存等,本申请不做限定。其中,
处理器2001可包括一个或多个通用处理器,例如图形处理器(graphicprocessing unit,GPU)。处理器2001可用于运行存储器2002中存储的相关程序或程序对应的指令,以实现车辆的相应功能。
存储器2002可以包括易失性存储器(volatile memory),例如RAM;存储器也可以包括非易失性存储器(non-vlatile memory),例如ROM、快闪存储器(flash memory)、HDD或固态硬盘SSD;存储器2002还可以包括上述种类的存储器的组合。存储器2002可用于存储一组程序代码或程序代码对应的指令,以便于处理器2001调用存储器2002中存储的程序代码或指令以实现车辆的相应功能。该功能包括但不限于图15所示的车辆功能框架示意图中的部分功能或全部功能。本申请中,存储器2002中可存储一组用于车辆控制的程序代码,处理器2001调用该程序代码可控制车辆安全行驶,关于如何实现车辆安全行驶具体在本申请下文详述。
可选地,存储器2002除了存储程序代码或指令之外,还可存储诸如道路地图、驾驶线路、传感器数据等信息。计算机系统20可以结合车辆功能框架示意图中的其他元件,例如传感器系统中的传感器、GPS等,实现车辆的相关功能。例如,计算机系统20可基于传感器系统12的数据输入控制车辆10的行驶方向或行驶速度等,本申请不做限定。
感知目标的装置22可包括若干元件,例如图15示出的天线单元2201,雷达单元2202和检测单元2203。感知目标的装置22还可以包括控制单元,该控制单元可以用于根据用户指令控制雷达单元2202通过天线单元2201收发信号等需要说明的是,感知目标的装置中的部分元件的功能也可以由车辆的其它子系统来实现,例如,控制单元也可以为控制系统中的元件;又例如,感知目标的装置22可以不包括雷达单元2202,而由雷达单元1204来实现。
其中,本申请图15示出包括四个子系统,传感器系统12、控制系统14、计算机系统20和感知目标的装置22仅为示例,并不构成限定。在实际应用中,车辆10可根据不同功能对车辆中的若干元件进行组合,从而得到相应不同功能的子系统。例如,车辆10中也可包括电子稳定性系统(electronic stability program,ESP)和电动助力转向系统(electricpower steering,EPS)等,图未示出。其中,ESP系统可由传感器系统12中的部分传感器及控制系统14中的部分元件组成,具体地该ESP系统可包括轮速传感器1207、转向传感器1208、横向加速度传感器及控制系统14中涉及的控制单元等等。EPS系统可由传感器系统12中的部分传感器、控制系统14中的部分元件及电源18等元件组成,具体地该EPS系统中可包括转向传感器1208、控制系统14中涉及的发电机及减速器、蓄电池电源等等。又例如,感知目标的装置也可以包括外围设备中的用户接口1603和触摸屏1602等,以实现接收用户指令的功能。
需要说明的是,上述图15仅为车辆10的一种可能的功能框架示意图。在实际应用中,车辆10可包括更多或更少的系统或元件,本申请不做限定。
上述车辆10可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本申请实施例不做特别的限定。
在上述实施例中,全部或部分功能可以通过软件、硬件、或者软件加硬件的组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solidstate disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (13)
1.一种感知目标的方法,其特征在于,所述方法包括:
在第一时刻至第二时刻内接收回波信号;
基于接收到的回波信号,计算每个目标时刻对应的特征值,得到特征值序列;所述特征值序列由按时间先后排序的多个目标时刻对应的特征值组成,所述目标时刻为所述第一时刻至所述第二时刻之间的时刻;
计算所述目标时刻对应的特征值的过程包括:基于所述目标时刻之前的子时间段接收的多个目标回波信号,得到所述多个目标回波信号分别对应的目标频谱数据,所述子时间段包括所述目标时刻,所述目标频谱数据为距离向取值小于预设值的频点对应的频谱数据;基于所述多个目标回波信号分别对应的目标频谱数据,得到所述目标时刻对应的特征值;
基于所述特征值序列感知目标。
2.根据权利要求1所述的方法,其特征在于,所述距离向取值小于预设值的频点为距离向取值为零的频点。
3.根据权利要求1或2所述的方法,其特征在于,所述目标时刻对应的特征值为所述多个目标回波信号分别对应的目标频谱数据的方差或标准差。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所述特征值序列感知目标,包括:
基于所述特征值序列,从所述第一时刻至所述第二时刻中确定第一时间段,所述第一时间段内的所述目标时刻对应的特征值由最小门限上升至最大门限;
在所述第一时间段内所述目标的移动速度大于预设阈值时,确定感知到所述目标,所述第一时间段内所述目标的移动速度为所述最大门限和所述最小门限的差与所述第一时间段的时长的比值。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所述特征值序列感知目标,包括;
基于所述特征值序列,从所述第一时刻至所述第二时刻中确定第二时间段,所述第二时间段内的所述目标时刻对应的特征值均不小于所述最大门限;
在所述第二时间段内的时长大于预设时长时,确定感知到所述目标。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所述特征值序列感知目标,包括;
将所述特征值序列输入训练后的神经网络,得到所述第二时刻的感知结果;所述训练后的神经网络是基于样本时间段对应的特征值序列为输入,所述样本时间段的感知结果为标签训练得到的。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述基于所述目标时刻之前的子时间段接收的多个目标回波信号,得到所述多个目标回波信号分别对应的目标频谱数据,包括:
基于所述多个目标回波信号,得到每个所述目标回波信号对应的频谱数据组,所述频谱数据组包括多个频谱数据,所述多个频谱数据对应多个频点;
分别对每个所述频谱数据组进行归一化处理,得到多个处理后的频谱数据组;
分别从每个所述处理后的频谱数据组中获取距离向取值小于所述预设值的频点对应的频谱数据,得到每个所述目标回波信号对应的目标频谱数据。
8.根据权利要求7所述的方法,其特征在于,所述基于所述多个目标回波信号,得到每个所述目标回波信号对应的频谱数据组,包括:
计算所述目标回波信号对应的中频信号;
对所述中频信号进行N点傅里叶变换,得到所述目标回波信号对应的频谱数据组,所述频谱数据组包括N个数据,所述N为正整数。
9.一种感知目标的装置,其特征在于,所述装置包括天线单元和感知单元:
所述天线单元,用于在第一时刻至第二时刻内接收回波信号;
所述感知单元,用于基于接收到的回波信号,计算每个目标时刻对应的特征值,得到特征值序列;所述特征值序列由按时间先后排序的多个目标时刻对应的特征值组成,所述目标时刻为所述第一时刻至所述第二时刻之间的时刻;基于所述特征值序列感知目标;
其中,计算所述目标时刻对应的特征值的过程包括:基于所述目标时刻之前的子时间段接收的多个目标回波信号,得到所述多个目标回波信号分别对应的目标频谱数据,所述子时间段包括所述目标时刻,所述目标频谱数据为距离向取值小于预设值的频点对应的频谱数据;基于所述多个目标回波信号分别对应的目标频谱数据,得到所述目标时刻对应的特征值。
10.一种车辆,其特征在于,包括如权利要求9所述的感知目标的装置。
11.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-8中任一项所述的方法。
12.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-8中任一项所述的方法。
13.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-8中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210242015.3A CN116774203A (zh) | 2022-03-11 | 2022-03-11 | 一种感知目标的方法和装置 |
PCT/CN2023/080191 WO2023169448A1 (zh) | 2022-03-11 | 2023-03-08 | 一种感知目标的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210242015.3A CN116774203A (zh) | 2022-03-11 | 2022-03-11 | 一种感知目标的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116774203A true CN116774203A (zh) | 2023-09-19 |
Family
ID=87936033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210242015.3A Pending CN116774203A (zh) | 2022-03-11 | 2022-03-11 | 一种感知目标的方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116774203A (zh) |
WO (1) | WO2023169448A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117110991A (zh) * | 2023-10-25 | 2023-11-24 | 山西阳光三极科技股份有限公司 | 一种露天矿边坡安全监测方法、装置、电子设备以及介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597058B (zh) * | 2018-12-21 | 2021-06-22 | 上海科勒电子科技有限公司 | 感应水龙头的微波测量方法、电子设备及存储介质 |
CN111580086B (zh) * | 2019-02-19 | 2023-08-25 | 富士通株式会社 | 生命体检测方法、检测装置和电子设备 |
TWI765185B (zh) * | 2019-10-23 | 2022-05-21 | 國立中山大學 | 非接觸式生命特徵檢測方法 |
CN112986973A (zh) * | 2019-12-18 | 2021-06-18 | 华为技术有限公司 | 距离测量方法和距离测量装置 |
CN113820704A (zh) * | 2020-06-19 | 2021-12-21 | 富士通株式会社 | 检测运动目标的方法、装置和电子设备 |
CN112462357B (zh) * | 2020-12-17 | 2024-04-30 | 广东蓝水花智能电子有限公司 | 一种基于fmcw原理的自动门控制方法及自动门控制系统 |
-
2022
- 2022-03-11 CN CN202210242015.3A patent/CN116774203A/zh active Pending
-
2023
- 2023-03-08 WO PCT/CN2023/080191 patent/WO2023169448A1/zh unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117110991A (zh) * | 2023-10-25 | 2023-11-24 | 山西阳光三极科技股份有限公司 | 一种露天矿边坡安全监测方法、装置、电子设备以及介质 |
CN117110991B (zh) * | 2023-10-25 | 2024-01-05 | 山西阳光三极科技股份有限公司 | 一种露天矿边坡安全监测方法、装置、电子设备以及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023169448A1 (zh) | 2023-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112861638A (zh) | 一种投屏方法及装置 | |
CN111983559A (zh) | 室内定位导航方法及装置 | |
CN113792589B (zh) | 一种高架识别方法及装置 | |
CN113436461A (zh) | 发送停车位信息的方法、车机设备及计算机可读存储介质 | |
WO2022179604A1 (zh) | 一种分割图置信度确定方法及装置 | |
CN114513847B (zh) | 定位方法、装置、系统、电子设备及存储介质 | |
US20230005277A1 (en) | Pose determining method and related device | |
WO2023169448A1 (zh) | 一种感知目标的方法和装置 | |
WO2022022335A1 (zh) | 天气信息的展示方法、装置和电子设备 | |
CN113804211B (zh) | 一种高架识别方法及装置 | |
CN112269939B (zh) | 自动驾驶的场景搜索方法、装置、终端、服务器及介质 | |
CN113790732B (zh) | 位置信息的生成方法及装置 | |
CN114422936B (zh) | 隧道交通管理方法、装置及存储介质 | |
CN116561085A (zh) | 图片分享方法和电子设备 | |
CN113822643A (zh) | 设置出行提醒的方法和装置 | |
CN111323042A (zh) | 目标物体的预警方法、装置和电子设备 | |
WO2023241482A1 (zh) | 一种人机对话方法、设备及系统 | |
CN116844375B (zh) | 停车信息的显示方法和电子设备 | |
CN113239901B (zh) | 场景识别方法、装置、设备及存储介质 | |
CN114387693B (zh) | 车辆收费管理方法、装置、计算机设备及存储介质 | |
WO2023246563A1 (zh) | 一种声音处理方法及电子设备 | |
WO2023116669A1 (zh) | 视频生成系统、方法及相关装置 | |
WO2023185687A1 (zh) | 车辆位置的获取方法及电子设备 | |
WO2023109636A1 (zh) | 应用卡片显示方法、装置、终端设备及可读存储介质 | |
WO2024041180A1 (zh) | 路径规划方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |