CN113763717A - 一种车辆的识别方法、装置、计算机设备和存储介质 - Google Patents
一种车辆的识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113763717A CN113763717A CN202111010644.5A CN202111010644A CN113763717A CN 113763717 A CN113763717 A CN 113763717A CN 202111010644 A CN202111010644 A CN 202111010644A CN 113763717 A CN113763717 A CN 113763717A
- Authority
- CN
- China
- Prior art keywords
- image data
- audio signal
- vehicle
- special vehicle
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000005236 sound signal Effects 0.000 claims abstract description 136
- 230000033001 locomotion Effects 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 13
- 238000012216 screening Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种车辆的识别方法、装置、计算机设备和存储介质，该方法包括：向当前车辆外部环境采集原始音频信号，识别由特种车辆产生的原始音频信号，作为目标音频信号，根据目标音频信号向特种车辆采集原始图像数据与三维的第一点云数据，使用第一点云数据从原始图像数据中提取特种车辆所处的区域，作为目标图像数据，根据目标音频信号与目标图像数据识别特种车辆的类型，利用音频信号作为筛选的条件对特种车辆进行初筛，从而选择合适的原始图像数据与第一点云数据，显著减少了原始图像数据与第一点云数据的数量，减少了识别特种车辆处理的数据量，降低处理的复杂度，减少了识别的耗时，并且，提高了识别特种车辆的准确率。
Description
技术领域
本发明实施例涉及自动驾驶的技术领域，尤其涉及一种车辆的识别方法、装置、计算机设备和存储介质。
背景技术
自动驾驶面对的道路环境较为复杂，在自动驾驶的过程中识别交通的各种参与者，并根据需求做出对应的反应。
在道路上往往会出现一些特种车辆，这些特种车辆对周边的影响比较广泛，应做出合理的避让、规划。
目前，自动驾驶系统主要通过图像识别的方法识别特种车辆，采集的数据量较大，处理的复杂度较高，导致识别的耗时较长、识别准确率较低。
发明内容
本发明实施例提出了一种车辆的识别方法、装置、计算机设备和存储介质，以解决自动驾驶时通过图像识别的方法识别特种车辆采集的数据量较大的问题。
第一方面，本发明实施例提供了一种车辆的识别方法，包括：
向当前车辆外部环境采集原始音频信号；
识别由特种车辆产生的所述原始音频信号，作为目标音频信号；
根据所述目标音频信号向所述特种车辆采集原始图像数据与三维的第一点云数据；
使用所述第一点云数据从所述原始图像数据中提取所述特种车辆所处的区域，作为目标图像数据；
根据所述目标音频信号与所述目标图像数据识别所述特种车辆的类型。
第二方面，本发明实施例还提供了一种车辆的识别装置，包括：
原始音频信号采集模块，用于向当前车辆外部环境采集原始音频信号；
目标音频信号识别模块，用于识别由特种车辆产生的所述原始音频信号，作为目标音频信号；
感知数据采集模块，用于根据所述目标音频信号向所述特种车辆采集原始图像数据与三维的第一点云数据；
目标图像数据提取模块，用于使用所述第一点云数据从所述原始图像数据中提取所述特种车辆所处的区域，作为目标图像数据；
特种车辆识别模块，用于根据所述目标音频信号与所述目标图像数据识别所述特种车辆的类型。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的车辆的识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的车辆的识别方法。
在本实施例中，向当前车辆外部环境采集原始音频信号，识别由特种车辆产生的原始音频信号，作为目标音频信号，根据目标音频信号向特种车辆采集原始图像数据与三维的第一点云数据，使用第一点云数据从原始图像数据中提取特种车辆所处的区域，作为目标图像数据，根据目标音频信号与目标图像数据识别特种车辆的类型，利用音频信号作为筛选的条件对特种车辆进行初筛，从而选择合适的原始图像数据与第一点云数据，显著减少了原始图像数据与第一点云数据的数量，减少了识别特种车辆处理的数据量，降低处理的复杂度，减少了识别的耗时，并且，联合音频与图像共同识别特种车辆，在大幅度排除无关图像干扰的情况下，提高了特征的模态，从而提高了识别特种车辆的准确率。
附图说明
图1为应用本发明实施例中车辆的识别装置的实施例的车辆的结构示意图；
图2为本发明实施例一提供的一种车辆的识别方法的流程图；
图3为本发明实施例一提供的一种感知数据的选择示例图；
图4是本发明实施例二提供的一种车辆的识别方法的流程图；
图5为本发明实施例三提供的一种车辆的识别装置的结构示意图；
图6为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
参见图1，示出了可以应用本发明实施例中车辆的识别装置的实施例的车辆100。
如图1所示，车辆100可以包括驾驶控制设备101，车身总线102，ECU(ElectronicControl Unit，电子控制单元)103、ECU 104、ECU 105，传感器106、传感器107、传感器108和执行器件109、执行器件110、执行器件111。
驾驶控制设备(又称为车载大脑)101负责整个车辆100的总体智能控制。驾驶控制设备101可以是单独设置的控制器，例如，可编程逻辑控制器(ProgrammableLogicController，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。驾驶控制设备可以对从车身总线102上接收到的各个ECU发来的数据和/或各个传感器发来的数据进行分析处理，作出相应的决策，并将决策对应的指令发送到车身总线。
车身总线102可以是用于连接驾驶控制设备101，ECU 103、ECU 104、ECU 105，传感器106、传感器107、传感器108以及车辆100的其他未示出的设备的总线。由于CAN(Controller AreaNetwork，控制器局域网络)总线的高性能和可靠性已被广泛认同，因此目前机动车中常用的车身总线为CAN总线。当然，可以理解的是车身总线也可以是其他类型的总线。
车身总线102可以将驾驶控制设备101发出的指令发送给ECU 103、ECU 104、ECU105，ECU 103、ECU 104、ECU 105再将上述指令进行分析处理后发给相应的执行器件执行。
传感器106、传感器107、传感器108包括但不限于激光雷达、摄像头、麦克风，等等。
需要说明的是，本发明实施例所提供的车辆的识别方法可以由驾驶控制设备101执行，相应地，车辆的识别装置一般设置于驾驶控制设备101中。当然，本发明实施例所提供的车辆的识别方法可以由驾驶控制设备101连接的服务器执行，相应地，车辆的识别装置一般设置于驾驶控制设备101连接的服务器中，本发明实施例对此不加以限制。
应该理解，图1中的车辆、驾驶控制设备、车身总线、ECU、执行器件和传感器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的车辆、驾驶控制设备、车身总线、ECU和传感器。
实施例一
图2为本发明实施例一提供的一种车辆的识别方法的流程图，本实施例可适用于对特种车辆进行声源定位、进而筛选合适的图像数据与点云数据识别特种车辆的情况，该方法可以由车辆的识别装置来执行，该车辆的识别装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，车辆、服务器，等等，具体包括如下步骤：
步骤201、向当前车辆外部环境采集原始音频信号。
本实施例中的车辆可支持自动驾驶，所谓自动驾驶，可以指车辆本身拥有环境感知、路径规划并且自主实现车辆控制的能力，也就是用电子技术控制车辆进行的仿人驾驶。
根据对车辆操控任务的把握程度，自动驾驶车辆可以分为L0非自动化(NoAutomotion)、L1驾驶人辅助(Driver Assistance)、L2部分自动化(Partial Automation)、L3有条件自动化(Conditional Automation)、L4高自动化(High Automation)、L5全自动化(Full Automation)。
本实施例中自动驾驶的车辆，可以指满足L1-L5中任一要求的车辆，其中，系统在L1-L3起辅助功能，当到达L4，车辆驾驶将交给系统，因此，自动驾驶的车辆可选为满足L4、L5中任一要求的车辆。
在自动驾驶的过程中，可以实时或触发特定条件下向当前车辆的外部环境采集音频信号，记为原始音频信号。
在具体实现中，当前车辆部署有麦克风阵列，麦克风阵列中环绕分布有多个麦克风(又称拾音器等，是将声音信号转换为电信号的能量转换器件)，所谓环绕，可以指多个麦克风围绕某一个中心点分布，多个麦克风之间安装的角度存在差异，如每间隔30°设置一个麦克风，可以覆盖车辆周边一定的范围，多个麦克风采集音频数据的范围叠加之后可以覆盖车辆外部的环境。
在自动驾驶的过程中，可以驱动麦克风阵列运行，以同时调用多个麦克风沿多个方向向当前车辆外部环境采集原始音频信号。
步骤202、识别由特种车辆产生的原始音频信号，作为目标音频信号。
应用本实施例，可以预先设置一种或多种车辆作为特种车辆，这些特种车辆一般为具有特定用途的车辆，对于自动驾驶而言，具备特定的决策规划，例如，警车、救护车、消防车、洒水车、大型卡车，等等，根据规定社会车辆应对警车、救护车、消防车作出避让行为，洒水车向周围喷射水，大型卡车的启动、刹车、转向的幅度较大，自动驾驶时应作出特定的决策规划。
部分特种车辆(如警车、救护车、消防车、洒水车等)在行驶时会外扩播放特定的音频，部分特种车辆(如大型卡车等)在行驶时自身的器件(如发动机、挂车等)也会发出特定的音频，因此，可以通过当前车辆周边的音频识别当前车辆的周边是否存在对自动驾驶的决策规划造成影响的特定车辆。
进一步而言，当前车辆是持续向外部环境采集原始音频信号，可以每间隔预设的时间段(如100ms)识别原始音频信号识别由特种车辆产生，如果是，则将该原始音频信号记为目标音频信号。
对于麦克风阵列的情况，麦克风阵列中任一麦克风采集的原始音频信号识别为由特种车辆产生的目标音频信号，则在相同时间内、其他麦克风采集的原始音频信号也称之为目标音频信号。
在具体实现中，可以预先针对不同的特种车辆采集音频信号，提取该音频信号的特征，记为目标音频特征(即，目标音频特征为由特种车辆产生的音频信号的特征)，例如，时域特征、频域特征、倒谱域特征，等等。
在自动驾驶时，提取当前任一原始音频信号的特征，作为原始音频特征，例如，时域特征、频域特征、倒谱域特征，等等。
计算将原始音频特征与预设的目标音频特征，从而将原始音频特征与预设的目标音频特征进行匹配。
若相似度大于或等于预设的阈值，则可以确认将原始音频特征与预设的目标音频特征匹配成功。
若相似度小于预设的阈值，则可以确认将原始音频特征与预设的目标音频特征匹配失败。
若匹配成功，则可以确定当前原始音频信号、与当前原始音频信号同时采集的其他原始音频信号为目标音频信号。
若匹配失败，则可以忽略该原始音频信号。
在本实施例中，音频信号用于初步筛选特种车辆，筛选的条件可以适度放宽，例如，音频特征(原始音频特征与目标音频特征)设计得更为简单、相似度设计为更低的数值，等等，以便快速筛选出可能的特种车辆。
此外，对于目标音频信号，可以进行卡尔曼滤波等滤波处理，减少环境噪声，提高目标音频信号的质量。
步骤203、根据目标音频信号向特种车辆采集原始图像数据与三维的第一点云数据。
通过目标音频信号可以确定当前车辆的周边存在特种车辆，因此，可以明确地向该特种车辆采集图像数据，记为原始图像数据，以及，向该特种车辆采集三维的点云数据，记为第一点云数据。
在本发明的一个实施例中，当前车辆部署有多个摄像头、激光雷达，每个摄像头均用于向指定的摄像范围采集原始图像数据，激光雷达以旋转的方式扫描三维的第一点云数据。
进一步而言，在车辆上安装有多个摄像头，多个摄像头之间安装的角度存在差异，可以覆盖车辆周边一定的范围，记为摄像范围，而多个摄像头通常配合其他感知传感器(如激光雷达Lidar、毫米波雷达、超声波雷达等)对车辆周围环境(包括道路)的多帧图像数据。
在本实施例中，持续控制激光雷达旋转，在旋转的过程中采集车辆外部周围环境的第一点云数据，第一点云数据与图像数据可融合感知，当激光雷达扫描到摄像头的摄像范围时，由特定的同步器触发调用该摄像头采集图像数据。
在本实施例中，步骤203包括如下步骤：
步骤2031、以特种车辆作为声源，使用目标音频信号定位特种车辆相对于当前车辆的信息。
针对目标音频信号，可以将特种车辆视为声源(即发出目标音频信号的源头)，可以通过MUSIC(Multiple Signal Classification，多重信号分类)算法、ESPRIT(Estimating signal parameters viarotational invariance techniques，旋转因子不变法)算法、WSF(Weighted Subspace Fitting，加权子空间拟合)算法等声源定位算法，计算特种车辆相对于当前车辆的信息。
其中，该信息包括角度、位置。
为便于计算，可以将当前车辆设置为原点，当前车辆正前方为轴生成极角坐标系，将该角度带入该极角坐标系中进行表示。
此外，在部分情况下，可以将该位置设置为目标音频信号对应的原始音频特征，以便后续作为空间上的特征，与图像数据、点云数据联合进行特种车辆的识别。
步骤2032、选择摄像范围包含角度的摄像头所采集的原始图像数据，作为向特种车辆采集的原始图像数据。
将每个摄像头的摄像范围与该角度进行比较，如果某个摄像头的摄像范围包含该角度，则可以将该摄像头所采集的原始图像数据视为向特种车辆采集的原始图像数据，即，该原始图像数据的内容中通常包含了特种车辆。
此时，由于精确定位了特种车所在的原始图像数据，可以省略其他摄像头所采集的原始图像数据。
例如，如图3所示，在车辆中安装有多个摄像头，其中包括位于左侧的摄像头311，其角度为左前方60°，位于正面的摄像头312，位于右侧的摄像头313，其角度为右前方60°，若检测到特种车辆320的位置321，则可以选择摄像角度为α的摄像头313采集的原始图像数据，而忽略摄像头311、摄像头312采集的原始图像数据。
此外，考虑到摄像头采集图像数据的频率与麦克风采集音频信号的频率之间并非完全一致，两者的时间差在预设的误差范围内可认为有效。
具体而言，查询采集目标音频信号的第一时间点，生成包含第一时间点的时间范围，如向第一时间点向前和/或向右延伸预设的误差(如200ms)，作为时间范围。
选择满足第一选择条件的原始图像数据，作为向特种车辆采集的原始图像数据，其中，第一选择条件包括：
1、摄像范围包含角度的摄像头采集的原始图像数据。
2、采集原始图像数据的第二时间点在时间范围内。
3、采集原始图像数据的第二时间点离第一时间点最近。
步骤2033、选择激光雷达经过角度时采集的第一点云数据，作为向特种车辆采集的第一点云数据。
将激光雷达旋转的范围与该角度进行比较，如果某个时间段激光雷达经过该角度，此时采集的第一点云数据可视为向特种车辆采集的第一点云数据，即，该第一点云数据的内容中通常包含了特种车辆。
为了便于图像数据与第一点云数据之间的融合，图像数据的范围与第一点云数据的范围保持一致，即，选择激光雷达经过摄像范围时采集的第一点云数据为向特种车辆采集的第一点云数据。
此时，由于精确定位了特种车所在的第一点云数据，可以省略其他范围所采集的第一点云数据。
例如，如图3所示，激光雷达300绕顺时针旋转，若检测到特种车辆320的位置321，则可以选择激光雷达300经过摄像角度α时采集的第一点云数据，而在其他范围采集的第一点云数据。
此外，考虑到激光雷达扫描第一点云数据的频率与麦克风采集音频信号的频率之间并非完全一致，两者的时间差在预设的误差范围内可认为有效。
具体而言，查询采集目标音频信号的第一时间点，生成包含第一时间点的时间范围，如向第一时间点向前和/或向右延伸预设的误差(如200ms)，作为时间范围。
选择满足第二选择条件的第一点云数据，作为向特种车辆采集的第一点云数据，其中，第二选择条件包括：
1、经过摄像范围采集的第一点云数据。
2、采集第一点云数据的第三时间点在时间范围内。
步骤204、使用第一点云数据从原始图像数据中提取特种车辆所处的区域，作为目标图像数据。
将第一点云数据与原始图像数据融合进行检测，可以得到特种车辆所处的区域，从原始图像数据中裁剪该区域，记为目标图像数据。
在具体实现中，可以对第一点云数据进行语义识别，从而使用第一点云数据对特种车辆生成三维的第一检测框(一般为矩形框)。
对第一检测框中的第一点云数据进行采样，从而将第一检测框中的至少部分第一点云数据(即采样的点)通过坐标系的变换、投影至原始图像数据中，获得第二点云数据。
在原始图像数据中生成二维的第二检测框(一般为矩形框)，第二检测框包含第二点云数据、为特种车辆在图像数据上的成像。
从原始图像数据中提取第二检测框所处的区域，作为目标图像数据。
步骤205、根据目标音频信号与目标图像数据识别特种车辆的类型。
在本实施例中，联合目标音频信号和目标图像数据，共同识别特种车辆的类型，以便在自动驾驶的过程中进行相应的决策规划。
在具体实现中，可以加载预先训练的车辆识别模型，车辆识别模型属于分类模型，例如，随机森林、支持向量机SVM和各种结构的神经网络，等等，可以用于识别特种车辆的类型。
那么，可以确定目标音频信号对应的原始音频特征，该原始音频特征可以包含位置、也可以不包含位置。
将音频特征与目标图像数据输入至车辆识别模型中进行处理，以识别特种车辆的类型。
需要说明的是，本实施例中的车辆识别模型除了适用于识别特种车辆的类型，也可以用于识别除特种车辆之外的其他普通车辆的类型，或者，并不适用于识别除特种车辆之外的其他普通车辆的类型。
当车辆识别模型适用于识别除特种车辆之外的其他普通车辆的类型时，可以实时向当前车辆的外部环境采集原始音频信号，同时识别特种车辆与普通车辆的类型。
当车辆识别模型并不适用于识别除特种车辆之外的其他普通车辆的类型时，可以额外部署适用于识别除特种车辆之外的其他普通车辆的类型的模型，记为车辆感知模型，此时，并不向当前车辆的外部环境采集原始音频信号，而是实时向当前车辆的外部环境采集图像数据、点云数据，将图像数据、点云数据输入车辆感知模型进行处理，如果感知模型输出普通车辆的类型，则可以继续自动驾驶的决策，如果感知模型输出特种车辆(即无法感知类型的特种车辆，特种车辆属于一个概括的类别，任一特种车辆均属于该类别，并不细分特种车辆的类型)，则可以向当前车辆的外部环境采集原始音频信号，从而使用车辆识别模型识别特种车辆的类型。在本实施例中，向当前车辆外部环境采集原始音频信号，识别由特种车辆产生的原始音频信号，作为目标音频信号，根据目标音频信号向特种车辆采集原始图像数据与三维的第一点云数据，使用第一点云数据从原始图像数据中提取特种车辆所处的区域，作为目标图像数据，根据目标音频信号与目标图像数据识别特种车辆的类型，利用音频信号作为筛选的条件对特种车辆进行初筛，从而选择合适的原始图像数据与第一点云数据，显著减少了原始图像数据与第一点云数据的数量，减少了识别特种车辆处理的数据量，降低处理的复杂度，减少了识别的耗时，并且，联合音频与图像共同识别特种车辆，在大幅度排除无关图像干扰的情况下，提高了特征的模态，从而提高了识别特种车辆的准确率。
实施例二
图4为本发明实施例二提供的一种车辆的识别方法的流程图，本实施例以前述实施例为基础，进一步增加修正运动状态的操作，该方法具体包括如下步骤：
步骤401、向当前车辆外部环境采集原始音频信号。
步骤402、识别由特种车辆产生的原始音频信号，作为目标音频信号。
步骤403、根据目标音频信号向特种车辆采集原始图像数据与三维的第一点云数据。
步骤404、使用第一点云数据从原始图像数据中提取特种车辆所处的区域，作为目标图像数据。
步骤405、根据目标音频信号与目标图像数据识别特种车辆的类型。
步骤406、根据第一点云数据计算特种车辆的第一运动状态。
针对特种车辆，可以将在时间上相邻两帧第一点云数据中表示特种车辆的第一点云数据进行比较，以其差异计算该特种车辆的第一运动状态，例如，第一速度、第一运动方向，等等。
步骤407、根据目标音频信号计算特种车辆的第二运动状态。
特种车辆作为运动的声源，发出的目标音频信号传到多个不同位置麦克风时，目标音频信号的频率、强度和相位都有较大差异，基于多普勒效应的原理，以目标音频信号作为计算的参数、采用声波测试技术可以计算得到特种车辆的第二运动状态，例如，第二速度、第二运动方向，等等。
步骤408、将第一运动状态与第二运动状态融合为特种车辆的第三运动状态。
由于频率的限制，针对特种车辆使用第一点云数据计算的第一运动状态有较大误差，在本实施例中，针对特种车辆通过目标音频信号计算的第二运动状态可以对第一运动状态进行修正，得到精确度更高的第三运动状态，例如，第二速度、第二运动方向，等等。
针对速度，可以对第一速度与第二速度进行线性融合(如加权求和)，得到特种车辆的第三速度。
针对运动方向，对第一运动方向与第二运动方向进行线性融合(如加权求和)，得到特种车辆的第三运动方向。
当然，上述融合第一运动状态与第二运动状态的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其它融合第一运动状态与第二运动状态的方式，例如，对第一运动状态与第二运动状态进行非线性融合，等等，本发明实施例对此不加以限制。另外，除了上述融合第一运动状态与第二运动状态的方式外，本领域技术人员还可以根据实际需要采用其它融合第一运动状态与第二运动状态的方式，本发明实施例对此也不加以限制。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例三
图5为本发明实施例三提供的一种车辆的识别装置的结构框图，具体可以包括如下模块：
原始音频信号采集模块501，用于向当前车辆外部环境采集原始音频信号；
目标音频信号识别模块502，用于识别由特种车辆产生的所述原始音频信号，作为目标音频信号；
感知数据采集模块503，用于根据所述目标音频信号向所述特种车辆采集原始图像数据与三维的第一点云数据；
目标图像数据提取模块504，用于使用所述第一点云数据从所述原始图像数据中提取所述特种车辆所处的区域，作为目标图像数据；
特种车辆识别模块505，用于根据所述目标音频信号与所述目标图像数据识别所述特种车辆的类型。
在本发明的一个实施例中，当前车辆部署有麦克风阵列，所述麦克风阵列中环绕分布有多个麦克风；
所述原始音频信号采集模块501还用于：
驱动所述麦克风阵列运行，以同时调用多个所述麦克风沿多个方向向当前车辆外部环境采集原始音频信号。
在本发明的一个实施例中，所述目标音频信号识别模块502包括：
原始音频特征提取模块，用于提取当前所述原始音频信号的特征，作为原始音频特征；
音频特征匹配模块，用于将所述原始音频特征与预设的目标音频特征进行匹配，所述目标音频特征为由特种车辆产生的音频信号的特征；
目标音频信号确定模块，用于若匹配成功，则确定当前所述原始音频信号、与当前所述原始音频信号同时采集的其他所述原始音频信号为目标音频信号。
在本发明的一个实施例中，当前车辆部署有多个摄像头、激光雷达，每个所述摄像头均用于向指定的摄像范围采集原始图像数据，所述激光雷达以旋转的方式扫描三维的第一点云数据；
所述感知数据采集模块503包括：
定位计算模块，用于以所述特种车辆作为声源，使用所述目标音频信号定位所述特种车辆相对于当前所述车辆的信息，所述信息包括角度；
原始图像数据选择模块，用于选择所述摄像范围包含所述角度的所述摄像头所采集的所述原始图像数据，作为向所述特种车辆采集的原始图像数据；
点云数据选择模块，用于选择所述激光雷达经过所述角度时采集的所述第一点云数据，作为向所述特种车辆采集的第一点云数据。
在本发明的一个实施例中，所述信息还包括位置，所述装置还包括：
原始音频特征更新模块，用于将所述位置设置为所述目标音频信号对应的原始音频特征。
在本发明的一个实施例中，所述原始图像数据选择模块包括：
时间点查询模块，用于查询采集所述目标音频信号的第一时间点；
时间范围生成模块，用于生成包含所述第一时间点的时间范围；
第一条件选择模块，用于选择满足第一选择条件的所述原始图像数据，作为向所述特种车辆采集的原始图像数据，其中，所述第一选择条件包括：
所述摄像范围包含所述角度的所述摄像头采集的所述原始图像数据，采集所述原始图像数据的第二时间点在所述时间范围内，采集所述原始图像数据的第二时间点离所述第一时间点最近。
在本发明的一个实施例中，所述点云数据选择模块包括：
时间点查询模块，用于查询采集所述目标音频信号的第一时间点；
时间范围生成模块，用于生成包含所述第一时间点的时间范围；
第二条件选择模块，用于选择满足第二选择条件的所述第一点云数据，作为向所述特种车辆采集的第一点云数据，其中，所述第二选择条件包括：
经过所述摄像范围采集的所述第一点云数据，采集所述第一点云数据的第三时间点在所述时间范围内。
在本发明的一个实施例中，所述目标图像数据提取模块504包括：
第一检测框生成模块，用于使用所述第一点云数据对所述特种车辆生成三维的第一检测框；
点云数据投影模块，用于将所述第一检测框中的至少部分所述第一点云数据投影至所述原始图像数据中，获得第二点云数据；
第二检测框生成模块，用于在所述原始图像数据中生成二维的第二检测框，所述第二检测框包含所述第二点云数据；
检测框提取模块，用于从所述原始图像数据中提取所述第二检测框所处的区域，作为目标图像数据。
在本发明的一个实施例中，所述特种车辆识别模块505包括：
车辆识别模型加载模块，用于加载车辆识别模型，所述车辆识别模型用于识别特种车辆的类型；
原始音频特征确定模块，用于确定所述目标音频信号对应的原始音频特征；
车辆识别模型处理模块，用于将所述音频特征与所述目标图像数据输入至所述车辆识别模型中，以识别所述特种车辆的类型。
在本发明的一个实施例中，还包括：
第一运动状态计算模块，用于根据所述第一点云数据计算所述特种车辆的第一运动状态；
第二运动状态计算模块，用于根据所述目标音频信号计算所述特种车辆的第二运动状态；
第三运动状态生成模块，用于将所述第一运动状态与所述第二运动状态融合为所述特种车辆的第三运动状态。
在本发明实施例的一个示例中，所述第一运动状态包括第一速度、第一运动方向，所述第二运动状态包括第二速度、第二运动方向，所述第三运动状态包括第三速度、第三运动方向；
所述第三运动状态生成模块包括：
速度融合模块，用于对所述第一速度与所述第二速度进行线性融合，得到所述特种车辆的第三速度；
运动方向融合模块，用于对所述第一运动方向与所述第二运动方向进行线性融合，得到所述特种车辆的第三运动方向。
本发明实施例所提供的车辆的识别装置可执行本发明任意实施例所提供的车辆的识别方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的车辆的识别方法。
实施例五
本发明实施例五还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述车辆的识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种车辆的识别方法，其特征在于，包括：
向当前车辆外部环境采集原始音频信号；
识别由特种车辆产生的所述原始音频信号，作为目标音频信号；
根据所述目标音频信号向所述特种车辆采集原始图像数据与三维的第一点云数据；
使用所述第一点云数据从所述原始图像数据中提取所述特种车辆所处的区域，作为目标图像数据；
根据所述目标音频信号与所述目标图像数据识别所述特种车辆的类型。
2.根据权利要求1所述的方法，其特征在于，当前车辆部署有麦克风阵列，所述麦克风阵列中环绕分布有多个麦克风；
所述向当前车辆外部环境采集原始音频信号，包括：
驱动所述麦克风阵列运行，以同时调用多个所述麦克风沿多个方向向当前车辆外部环境采集原始音频信号。
3.根据权利要求1所述的方法，其特征在于，所述识别由特种车辆产生的所述原始音频信号，作为目标音频信号，包括：
提取当前所述原始音频信号的特征，作为原始音频特征；
将所述原始音频特征与预设的目标音频特征进行匹配，所述目标音频特征为由特种车辆产生的音频信号的特征；
若匹配成功，则确定当前所述原始音频信号、与当前所述原始音频信号同时采集的其他所述原始音频信号为目标音频信号。
4.根据权利要求1所述的方法，其特征在于，当前车辆部署有多个摄像头、激光雷达，每个所述摄像头均用于向指定的摄像范围采集原始图像数据，所述激光雷达以旋转的方式扫描三维的第一点云数据；
所述根据所述目标音频信号向所述特种车辆采集原始图像数据与三维的第一点云数据，包括：
以所述特种车辆作为声源，使用所述目标音频信号定位所述特种车辆相对于当前所述车辆的信息，所述信息包括角度；
选择所述摄像范围包含所述角度的所述摄像头所采集的所述原始图像数据，作为向所述特种车辆采集的原始图像数据；
选择所述激光雷达经过所述角度时采集的所述第一点云数据，作为向所述特种车辆采集的第一点云数据。
5.根据权利要求4所述的方法，其特征在于，所述信息还包括位置，所述方法还包括：
将所述位置设置为所述目标音频信号对应的原始音频特征。
6.根据权利要求4所述的方法，其特征在于，所述选择所述摄像范围包含所述角度的所述摄像头所采集的所述原始图像数据，作为向所述特种车辆采集的原始图像数据，包括：
查询采集所述目标音频信号的第一时间点；
生成包含所述第一时间点的时间范围；
选择满足第一选择条件的所述原始图像数据，作为向所述特种车辆采集的原始图像数据，其中，所述第一选择条件包括：
所述摄像范围包含所述角度的所述摄像头采集的所述原始图像数据，采集所述原始图像数据的第二时间点在所述时间范围内，采集所述原始图像数据的第二时间点离所述第一时间点最近。
7.根据权利要求4所述的方法，其特征在于，所述选择所述激光雷达经过所述角度时采集的所述第一点云数据，作为向所述特种车辆采集的第一点云数据，包括：
查询采集所述目标音频信号的第一时间点；
生成包含所述第一时间点的时间范围；
选择满足第二选择条件的所述第一点云数据，作为向所述特种车辆采集的第一点云数据，其中，所述第二选择条件包括：
经过所述摄像范围采集的所述第一点云数据，采集所述第一点云数据的第三时间点在所述时间范围内。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述使用所述第一点云数据从所述原始图像数据中提取所述特种车辆所处的区域，作为目标图像数据，包括：
使用所述第一点云数据对所述特种车辆生成三维的第一检测框；
将所述第一检测框中的至少部分所述第一点云数据投影至所述原始图像数据中，获得第二点云数据；
在所述原始图像数据中生成二维的第二检测框，所述第二检测框包含所述第二点云数据；
从所述原始图像数据中提取所述第二检测框所处的区域，作为目标图像数据。
9.根据权利要求1-7中任一项所述的方法，其特征在于，所述根据所述目标音频信号与所述目标图像数据识别所述特种车辆的类型，包括：
加载车辆识别模型，所述车辆识别模型用于识别特种车辆的类型；
确定所述目标音频信号对应的原始音频特征；
将所述音频特征与所述目标图像数据输入至所述车辆识别模型中，以识别所述特种车辆的类型。
10.根据权利要求1-7中任一项所述的方法，其特征在于，还包括：
根据所述第一点云数据计算所述特种车辆的第一运动状态；
根据所述目标音频信号计算所述特种车辆的第二运动状态；
将所述第一运动状态与所述第二运动状态融合为所述特种车辆的第三运动状态。
11.根据权利要求10所述的方法，其特征在于，所述第一运动状态包括第一速度、第一运动方向，所述第二运动状态包括第二速度、第二运动方向，所述第三运动状态包括第三速度、第三运动方向；
所述将所述第一运动状态与所述第二运动状态融合为所述特种车辆的第三运动状态，包括：
对所述第一速度与所述第二速度进行线性融合，得到所述特种车辆的第三速度；
对所述第一运动方向与所述第二运动方向进行线性融合，得到所述特种车辆的第三运动方向。
12.一种车辆的识别装置，其特征在于，包括：
原始音频信号采集模块，用于向当前车辆外部环境采集原始音频信号；
目标音频信号识别模块，用于识别由特种车辆产生的所述原始音频信号，作为目标音频信号；
感知数据采集模块，用于根据所述目标音频信号向所述特种车辆采集原始图像数据与三维的第一点云数据；
目标图像数据提取模块，用于使用所述第一点云数据从所述原始图像数据中提取所述特种车辆所处的区域，作为目标图像数据；
特种车辆识别模块，用于根据所述目标音频信号与所述目标图像数据识别所述特种车辆的类型。
13.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一项所述的车辆的识别方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的车辆的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111010644.5A CN113763717A (zh) | 2021-08-31 | 2021-08-31 | 一种车辆的识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111010644.5A CN113763717A (zh) | 2021-08-31 | 2021-08-31 | 一种车辆的识别方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763717A true CN113763717A (zh) | 2021-12-07 |
Family
ID=78792204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111010644.5A Pending CN113763717A (zh) | 2021-08-31 | 2021-08-31 | 一种车辆的识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763717A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114464003A (zh) * | 2022-01-13 | 2022-05-10 | 中国科学院福建物质结构研究所 | 一种交通疏导系统和交通疏导的方法 |
| CN118069031A (zh) * | 2022-12-27 | 2024-05-24 | 深圳市速腾聚创科技有限公司 | 存储数据的电路及方法、芯片和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109552328A (zh) * | 2018-12-26 | 2019-04-02 | 广州小鹏汽车科技有限公司 | 一种自动避让特种车辆的控制方法及车载系统 |
| CN110168625A (zh) * | 2017-05-03 | 2019-08-23 | 华为技术有限公司 | 一种应急车辆的识别方法及装置 |
| CN110691196A (zh) * | 2019-10-30 | 2020-01-14 | 歌尔股份有限公司 | 一种音频设备的声源定位的方法及音频设备 |
| WO2020216316A1 (zh) * | 2019-04-26 | 2020-10-29 | 纵目科技（上海）股份有限公司 | 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 |
| CN112060089A (zh) * | 2020-08-31 | 2020-12-11 | 深圳优地科技有限公司 | 一种特种车辆的避让方法、装置、机器人及存储介质 |
| CN112633182A (zh) * | 2020-12-25 | 2021-04-09 | 广州文远知行科技有限公司 | 一种车辆状态检测方法、装置、设备和存储介质 |
-
2021
- 2021-08-31 CN CN202111010644.5A patent/CN113763717A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110168625A (zh) * | 2017-05-03 | 2019-08-23 | 华为技术有限公司 | 一种应急车辆的识别方法及装置 |
| CN109552328A (zh) * | 2018-12-26 | 2019-04-02 | 广州小鹏汽车科技有限公司 | 一种自动避让特种车辆的控制方法及车载系统 |
| WO2020216316A1 (zh) * | 2019-04-26 | 2020-10-29 | 纵目科技（上海）股份有限公司 | 基于毫米波雷达的辅助驾驶系统、方法、终端和介质 |
| CN110691196A (zh) * | 2019-10-30 | 2020-01-14 | 歌尔股份有限公司 | 一种音频设备的声源定位的方法及音频设备 |
| CN112060089A (zh) * | 2020-08-31 | 2020-12-11 | 深圳优地科技有限公司 | 一种特种车辆的避让方法、装置、机器人及存储介质 |
| CN112633182A (zh) * | 2020-12-25 | 2021-04-09 | 广州文远知行科技有限公司 | 一种车辆状态检测方法、装置、设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114464003A (zh) * | 2022-01-13 | 2022-05-10 | 中国科学院福建物质结构研究所 | 一种交通疏导系统和交通疏导的方法 |
| CN118069031A (zh) * | 2022-12-27 | 2024-05-24 | 深圳市速腾聚创科技有限公司 | 存储数据的电路及方法、芯片和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3627180B1 (en) | Sensor calibration method and device, computer device, medium, and vehicle | |
| JP2020079781A (ja) | 相対的位置姿勢の決定方法、装置、機器及び媒体 | |
| US8055020B2 (en) | Method for object tracking | |
| GB2545544A (en) | Collision avoidance using auditory data | |
| CN113763717A (zh) | 一种车辆的识别方法、装置、计算机设备和存储介质 | |
| US11941888B2 (en) | Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating | |
| CN1940591A (zh) | 使用传感器融合进行目标跟踪的系统和方法 | |
| GB2544627A (en) | Self-recognition of autonomous vehicles in mirrored or reflective surfaces | |
| CN112200087B (zh) | 一种用于车辆碰撞预警的障碍物图像自动标定装置 | |
| KR20210066119A (ko) | 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치 | |
| Engelhardt et al. | Occupancy grids generation using deep radar network for autonomous driving | |
| Lindenmaier et al. | GM-PHD filter based sensor data fusion for automotive frontal perception system | |
| CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 | |
| CN110706496A (zh) | 基于声学的环境感知方法及系统 | |
| WO2022091595A1 (ja) | 物体追跡装置及び物体追跡方法 | |
| CN113313654A (zh) | 激光点云滤波去噪方法、系统、设备及存储介质 | |
| Modalavalasa et al. | An efficient implementation of tracking using kalman filter for underwater robot application | |
| Simon et al. | Extracting sensor models from a scene based simulation | |
| Ravishankaran | Impact on how AI in automobile industry has affected the type approval process at RDW | |
| Lindenmaier et al. | Semi-automatic bev ground truth generation for automotive perception systems | |
| US20220044029A1 (en) | Method for Recognizing an Object from Input Data Using Relational Attributes | |
| WO2022091620A1 (ja) | 物体追跡装置及び物体追跡方法 | |
| US12020156B2 (en) | Systems and methods for automatic alignment between audio recordings and labels extracted from a multitude of asynchronous sensors in urban settings | |
| US20240230842A9 (en) | Method and apparatus of filtering dynamic objects in radar-based ego-emotion estimation | |
| US20220012506A1 (en) | System and method of segmenting free space based on electromagnetic waves |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211207 |
|
| RJ01 | Rejection of invention patent application after publication |