CN117615945A - 传感器检测方法、传感器检测装置以及车辆 - Google Patents

传感器检测方法、传感器检测装置以及车辆 Download PDF

Info

Publication number
CN117615945A
CN117615945A CN202180100273.1A CN202180100273A CN117615945A CN 117615945 A CN117615945 A CN 117615945A CN 202180100273 A CN202180100273 A CN 202180100273A CN 117615945 A CN117615945 A CN 117615945A
Authority
CN
China
Prior art keywords
sensor
sensors
data
cleaning
sensor detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180100273.1A
Other languages
English (en)
Inventor
方晔阳
陈亦伦
李帅君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN117615945A publication Critical patent/CN117615945A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G01S7/4043—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating including means to prevent or remove the obstruction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48—Liquid supply therefor
    • B60S1/481—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48—Liquid supply therefor
    • B60S1/481—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means
    • B60S1/485—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G01S2007/4977—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G01S2007/52009—Means for monitoring or calibrating of sensor obstruction, e.g. dirt- or ice-coating
    • G01S2007/52011—Means for monitoring or calibrating of sensor obstruction, e.g. dirt- or ice-coating including means to prevent or remove the obstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种传感器检测方法、传感器检测装置以及车辆，该方法可以应用于传感器检测装置中，该方法包括：传感器检测装置获取多个传感器采集的数据；传感器检测装置对该多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据；传感器检测装置对该多个特征数据进行融合，得到融合后的数据；传感器检测装置对该融合后的数据进行推理，得到该多个传感器中每个传感器的清洁状态信息。本申请实施例有助于提升检测传感器的清洁状态时的准确度。

Description

传感器检测方法、传感器检测装置以及车辆 技术领域
本申请涉及人工智能领域，并且更具体地，涉及一种传感器检测方法、传感器检测装置以及车辆。
背景技术
智能驾驶车辆安装有多种环境感知传感器(包括但不限于摄像头、激光雷达、毫米波雷达等)。智能驾驶算法依赖某种或多种传感器实现对周围环境的实时感知。
这些传感器或直接暴露于外界环境之中，或在其表层覆盖有保护装置，保护装置暴露在外部环境中。在车辆行驶过程中，会遭遇灰尘、飞溅污水、雨雪覆盖等情况。当传感器或其保护装置表面被灰尘、污物、雨雪覆盖时，会极大地影响自动驾驶车辆的感知系统的性能，造成误检障碍物、漏检目标等影响自动驾驶系统安全的事件发生。
当前车辆可以使用其他简单的传感器来判断目标传感器是否需要清洁。比如通过雨量传感器判断当前正在下雨，那么认为目标传感器(例如，前挡风玻璃下的摄像头)会受到雨水的影响。当前判断目标传感器是否需要清洁时不是直接对目标传感器的状态进行判断，其判断的逻辑更多的是依靠经验(例如下雨了，那么摄像头应该会被雨水打湿)。这样无法直接判断出传感器的真实清洁状态，导致对传感器的清洁状态检测结果造成影响。
因此，如何提高检测传感器的清洁状态的准确度成为了一个亟待解决的问题。
发明内容
本申请提供一种传感器检测方法、传感器检测装置以及车辆，有助于提升检测传感器的清洁状态的准确度。
在本申请中，“车辆”可以包括一种或多种不同类型的交通工具，也可以包括一种或多种不同类型的在陆地(例如，公路，道路，铁路等)，水面(例如：水路，江河，海洋等)或者空间上操作或移动的运输工具或者可移动物体。例如，车辆可以包括汽车，自行车，摩托车，火车，地铁，飞机，船，飞行器，机器人或其它类型的运输工具或可移动物体等。
第一方面，提供了一种传感器检测方法，该方法包括：获取多个传感器采集的数据；对该多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据；对该多个特征数据进行融合，得到融合后的数据；对该融合后的数据进行推理，得到该多个传感器中每个传感器的清洁状态信息。
本申请实施例中，对多个传感器采集的数据提取特征并进行数据融合，对融合后的数据进行推理可以获得多个传感器的清洁状态，有助于提升检测传感器的清洁状态的准确度；此外，通过同时得到多个传感器的清洁状态，可以使得传感器所在的设备更好的了解此时传感器的可用性。对于某些智能设备(例如，车辆)而言，可以提升智能设备的安全 性能。
在一些可能的实现方式中，对该多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据，包括：将多个传感器中每个传感器采集到的数据输入对应的编码器中，得到该多个特征数据。
在一些可能的实现方式中，该编码器可以是基于规则的编码器；或者，该编码器可以是神经网络。
在一些可能的实现方式中，对该融合后的数据进行推理，得到该多个传感器中每个传感器的清洁状态信息，包括：对融合后的数据进行推理，得到推理后的数据；对推理后的数据进行解码，得到该多个传感器的清洁状态信息。
在一些可能的实现方式中，对推理后的数据进行解码，包括：将推理后的数据输入解码器中，得到该多个传感器的清洁状态信息。
在一些可能的实现方式中，该解码器可以是基于规则的编码器；或者，该解码器可以是神经网络。
在一些可能的实现方式中，可以是由传感器检测装置执行该传感器检测方法，该传感器检测装置可以是位于车辆中的传感器检测装置。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：根据该多个传感器中每个传感器的清洁状态信息，确定需要对该多个传感器中的至少一个传感器进行清洁；控制传感器清洁装置对该至少一个传感器进行清洁。
本申请实施例中，在至少一个传感器的清洁状态为不干净时，可以控制传感器清洁装置对传感器进行清洁，保证了被污物附着的传感器快速得到清洁，从而有助于保证传感器检测到的数据的准确性。
结合第一方面，在第一方面的某些实现方式中，该至少一个传感器的清洁状态信息包括该至少一个传感器中每个传感器表面被物体附着以及该物体的类型，控制传感器清洁装置对该至少一个传感器进行清洁，包括：根据该至少一个传感器中每个传感器表面附着的物体的类型，对该至少一个传感器中每个传感器进行清洁。
本申请实施例中，传感器检测装置可以识别出附着传感器的物体的类型，这样可以向传感器清洁装置发送正确的清洁指令。例如，当传感器检测装置输出的结果是传感器被冰雪附着时，可以控制传感器清洁装置开启加热融雪功能，而不是误检成脏东西开启喷水清洁功能。
结合第一方面，在第一方面的某些实现方式中，该多个传感器可以是位于车辆中的传感器，该方法还包括：该传感器检测装置根据该多个传感器中每个传感器的清洁状态信息，确定该多个传感器中每个传感器采集的数据的置信度；该传感器检测装置向自动驾驶系统发送指令，该指令包括该每个传感器采集的数据的置信度，以使得自动驾驶系统根据该多个传感器中每个传感器采集的数据的置信度，降低自动驾驶等级，或者，向提示装置发送第一提示信息，该第一提示信息用于指示所述第一提示装置提示用户接管车辆。
本申请实施例中，传感器检测装置可以向自动驾驶系统输出每个传感器采集的数据的置信度，从而使得自动驾驶系统可以根据多个传感器采集的数据的置信度，来确定是否降低自动驾驶等级或者确定是否让用户接管车辆，这样可以保证自动驾驶状态下的行车安全。
一个实施例中，该根据该多个传感器中每个传感器的清洁状态信息，确定该多个传感器中每个传感器采集的数据的置信度之前，该方法还包括：确定车辆处于自动驾驶状态。
应理解，本申请实施例中所提及的车辆处于自动驾驶状态可以指车辆处于汽车工程师协会SAE所规定的自动驾驶等级L1-L5。自动驾驶状态并不一定意味着车辆处于非人工驾驶状态。例如，车辆处于自动驾驶等级L2时也可以称之为车辆处于自动驾驶状态，而此时车辆可以是需要人工驾驶的。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：向第二提示装置发送第二指令，该第二指令用于指示所述第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息。
本申请实施例中，当传感器检测装置输出了多个传感器的清洁状态后，传感器检测装置还可以向用户提示多个传感器的清洁状态信息，这样可以使得用户第一时间获知多个传感器的清洁状态信息，从而也可以使得用户可以立即对多个传感器进行清洁。
在一些可能的实现方式中，该第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息，包括：该第二提示装置通过HMI向用户提示该多个传感器的清洁状态信息。
在一些可能的实现方式中，该第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息，包括：该第二提示装置通过语音向用户提示该多个传感器的清洁状态信息。
在一些可能的实现方式中，该传感器检测装置位于车辆中，该第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息，包括：通过氛围灯向用户提示该多个传感器中每个传感器的清洁状态信息。
结合第一方面，在第一方面的某些实现方式中，该多个传感器包括摄像装置、激光雷达、毫米波雷达或者超声波雷达中的至少两种。
结合第一方面，在第一方面的某些实现方式中，该多个特征数据均为第一坐标系下的特征数据。
本申请实施例中，传感器检测装置可以分别对多个数据提取特征，得到同一坐标系下的多个特征数据，这样有利于传感器检测装置对多个特征数据进行数据融合。
结合第一方面，在第一方面的某些实现方式中，该第一坐标系为图像坐标系或者鸟瞰图BEV坐标系。
第二方面，提供了一种传感器检测装置，该传感器检测装置包括：获取单元，用于获取多个传感器采集的数据；特征提取单元，用于对该多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据；数据融合单元，用于对该多个特征数据进行融合，得到融合后的数据；推理单元，用于对该融合后的数据进行推理，得到该多个传感器中每个传感器的清洁状态信息。
结合第二方面，在第二方面的某些实现方式中，该传感器检测装置还包括：第一确定单元，用于根据该多个传感器中每个传感器的清洁状态信息，确定需要对该多个传感器中的至少一个传感器进行清洁；第一控制单元，用于控制传感器清洁装置对该至少一个传感器进行清洁。
结合第二方面，在第二方面的某些实现方式中，该至少一个传感器的清洁状态信息包括该至少一个传感器中每个传感器表面被物体附着以及该物体的类型，该控制单元具体用 于：根据该至少一个传感器中每个传感器表面附着的物体的类型，对该至少一个传感器中每个传感器进行清洁。
结合第二方面，在第二方面的某些实现方式中，该传感器检测装置还包括：第二确定单元，用于根据该多个传感器中每个传感器的清洁状态信息，确定该多个传感器中每个传感器采集的数据的置信度；第二控制单元，用于根据该多个传感器中每个传感器采集的数据的置信度，降低自动驾驶等级；或者，向第一提示装置发送第一指令，该第一指令用于该第一提示装置提示用户接管车辆。
结合第二方面，在第二方面的某些实现方式中，该传感器检测装置还包括：发送单元，用于向第二提示装置发送第二指令，该第二指令用于指示该第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息。
结合第二方面，在第二方面的某些实现方式中，该多个传感器包括摄像装置、激光雷达、毫米波雷达或者超声波雷达中的至少两种。
结合第二方面，在第二方面的某些实现方式中，该多个特征数据均为第一坐标系下的特征数据。
结合第二方面，在第二方面的某些实现方式中，该第一坐标系为图像坐标系或者鸟瞰图BEV坐标系。
结合第二方面，在第二方面的某些实现方式中，该传感器检测装置位于云端服务器中。
第三方面，提供了一种装置，该装置包括用于执行上述第一方面中任意一种实现方式的传感器检测方法的单元。
第四方面，提供了一种装置，该装置包括处理单元和存储单元，其中存储单元用于存储指令，处理单元执行存储单元所存储的指令，以使该装置执行第一方面中任一种可能的方法。
可选地，上述处理单元可以是处理器，上述存储单元可以是存储器，其中存储器可以是芯片内的存储单元(例如，寄存器、缓存等)，也可以是智能设备内位于芯片外部的存储单元(例如，只读存储器、随机存取存储器等)。
第五方面，提供了供一种智能设备，包括上述第二方面所述的传感器检测装置，第三方面所述的装置或者第四方面所述的装置。
在一些可能的实现方式中，该智能设备可以包括车辆等。
第六方面，提供了一种系统，该系统包括多个传感器和传感器检测装置，其中，该传感器检测装置可以是上述第二方面中任一项所述的传感器检测装置。
结合第六方面，在第六方面的某些实现方式中，该传感器检测装置可以是位于云端服务器中。
结合第六方面，在第六方面的某些实现方式中，该系统还包括用于接收云端服务器发送指令的装置。
第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中的方法。
需要说明的是，上述计算机程序代码可以全部或者部分存储在第一存储介质上，其中第一存储介质可以与处理器封装在一起的，也可以与处理器单独封装，本申请实施例对此不作具体限定。
第八方面，提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中的方法。
附图说明
图1是本申请实施例提供的车辆的一个功能框图示意。
图2是各种传感器感测范围示意图。
图3是本申请实施例提供的系统架构的示意性框图。
图4是本申请实施例提供的另一种系统架构的示意性框图。
图5是本申请实施例提供的检测传感器清洁状态的系统流程图。
图6是本申请实施例提供的传感器检测装置对数据的处理过程的示意图。
图7是本申请实施例提供的通过中控屏向用户提示传感器清洁状态的示意图。
图8是本申请实施例提供的通过中控屏向用户提示传感器清洁状态的另一示意图。
图9是本申请实施例提供的一种传感器的清洁状态的识别过程的示意图。
图10是本申请实施例提供的另一种传感器的清洁状态的识别过程的示意图。
图11是本申请实施例提供的另一种传感器的清洁状态的识别过程的示意图。
图12是本申请实施例提供的另一种传感器的清洁状态的识别过程的示意图。
图13是本申请实施例提供的另一种传感器的清洁状态的识别过程的示意图。
图14是本申请实施例提供的另一种传感器的清洁状态的识别过程的示意图。
图15是本申请实施例提供的另一种传感器的清洁状态的识别过程的示意图。
图16是本申请实施例提供的传感器清洁方法的示意性流程图。
图17是本申请实施例提供的传感器检测装置的示意性框图。
图18是本申请实施例提供的系统的示意性结构图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
图1是本申请实施例提供的车辆100的一个功能框图示意。
车辆100可以包括感知系统120和计算平台150，其中，感知系统120可以包括感测关于车辆100周边的环境的信息的若干种传感器。例如，感知系统120可以包括全球定位系统121(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)122、激光雷达123、毫米波雷达124、超声雷达125以及摄像装置126中的一种或者多种。
车辆100的部分或所有功能受计算平台150控制。计算平台150可包括至少一个处理器151，处理器151可以执行存储在例如存储器152这样的非暂态计算机可读介质中的指令153。在一些实施例中，计算平台150还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。
处理器151可以是任何常规的处理器，例如中央处理单元(central process unit，CPU)。替选地，处理器151还可以包括诸如数字信号处理器(digital signal processor，DSP)、图像处理器(graphic process unit，GPU)，现场可编程门阵列(field programmable gate array，FPGA)、片上系统(system on chip，SOC)、专用集成芯片(application specific integrated circuit，ASIC)或它们的组合。
车辆100可以包括高级驾驶辅助系统(advanced driving assistant system，ADAS)，ADAS利用在车辆上的多种传感器(包括但不限于：激光雷达、毫米波雷达、摄像装置、超声波传感器、全球定位系统、惯性测量单元)从车辆周围获取信息，并对获取的信息进行分析和处理，实现例如障碍物感知、目标识别、车辆定位、路径规划、驾驶员监控/提醒等功能，从而提升车辆驾驶的安全性、自动化程度和舒适度。
图2示出各种传感器感测范围示意图，传感器可以包括例如图1所示意的激光雷达、毫米波雷达、摄像装置、超声波传感器，其中毫米波雷达可以分为长距雷达和中/短距雷达。示例性的，激光雷达的最远感测距离约为150米，长距毫米波雷达的最远感测距离约为250米，中/短距毫米波雷达的最远感测距离约为120米，摄像头的最远感测距离约为200米，超声波雷达的最远感测距离约为5米。
图3是本申请实施例提供的系统架构的示意性框图。如图3所示，该系统中包括传感器和传感器检测装置。例如，传感器可以包括图1所示的感知系统120中的一个或者多个传感器(例如，激光雷达123、毫米波雷达124、超声雷达125以及摄像装置126等)，传感器检测装置可以部署于图1所示的计算平台150上，也可以部署在云端服务器上，将检测结果通知到计算平台150上。
其中，传感器用于对车辆及其周围环境进行感知，获取数据。例如，传感器可以包括一个或多个摄像头以及一个或多个激光雷达，传感器输出的数据可以为摄像头获取的视频流数据以及激光雷达获取的点云数据等。
传感器检测装置可以用于获取多个传感器采集的数据，对多个传感器采集到的数据进行特征融合和推理，以确定所述多个传感器清洁状态。由于融合了多个传感器采集的数据，其推理得到的多个传感器清洁状态更准确。
一个实施例中，传感器检测装置可以以硬件模块和/或软件模块的形式部署于车辆内部，例如，部署在计算平台150上，或者，该传感器检测装置可以是位于云端服务器中的计算平台。示例性的，图4示出了本申请实施例提供的另一种系统架构的示意性框图。该系统架构中包括车辆上的传感器以及云端服务器，车辆可以将传感器采集的数据通过网络发送给云端服务器。云端服务器中的传感器检测装置可以对传感器采集的数据进行处理，从而得到传感器的清洁状态。云端服务器可以将传感器的清洁状态通过网络发送给车辆，例如，发送给车辆的计算平台150中相应的处理模块。
可选地，系统中还可以包括传感器清洁装置，传感器检测装置可以根据传感器清洁状态，控制传感器清洁装置采取不同的清洁操作。传感器检测装置也可以将传感器清洁状态提供给相应的处理模块，由处理模块根据传感器清洁状态控制传感器清洁装置采取不同的清洁操作。传感器检测装置持续进行检测并确定传感器是否已经被清洁干净。由于传感器检测装置可以使用特征层多传感器融合的方案，优化了传感器清洁状态(例如，是否被污物附着以及污物的类型)的准确性和场景适用性。传感器清洁装置可以根据传感器清洁状态，针对性地开启加热、喷水等功能，减少误清洁的事件发生，有助于提高传感器的清洁效果。
可选地，系统中还可以包括提示装置，传感器检测装置可以根据传感器清洁状态，控制提示装置向用户提示传感器的清洁状态。示例性的，以该系统位于车辆中为例，该提示 装置可以是座舱域控制器(cockpit domain controller，CDC)。当传感器检测装置确定有传感器被污物附着时，传感器检测装置可以向CDC发送指令，该指令中可以包括传感器清洁状态；响应于接收到该指令，CDC可以控制车载语音助手通过声音提示用户传感器被污物附着；或者，CDC可以通过HMI显示提示信息，该提示信息用于提示传感器被污物附着。
应理解，传感器检测装置可以直接向提示装置发送指令，或者，传感器检测装置也可以将传感器清洁状态提供给相应的处理模块，由处理模块根据传感器清洁状态控制提示装置对用户进行提示。
可选地，系统中还可以包括ADAS系统。当传感器检测装置输出的传感器清洁状态信息指示一个或者多个传感器被污物附着后，传感器检测装置可以向ADAS系统发送指令，该指令用于指示该一个或者多个传感器被污物附着。ADAS系统在接收到该指令后，可以确定该一个或者多个传感器中每个传感器采集到的数据的置信度。ADAS系统还可以根据每个传感器采集到的数据的置信度，来确定对车辆进行功能降级，或者，ADAS系统可以向提示装置发送指令，该指令用于指示提示装置提示用户接管车辆。
一个实施例中，传感器检测装置还可以根据该一个或者多个传感器被污物附着的情况，确定一个或者多个传感器采集的数据的置信度，并将该一个或者多个传感器采集的数据的置信度的信息发送给ADAS系统。
应理解，传感器检测装置可以直接向ADAS系统发送指令，或者，传感器检测装置也可以将传感器清洁状态提供给相应的处理模块，由处理模块根据传感器清洁状态确定传感器采集的数据的置信度，从而将该置信度的信息发送给ADAS系统。
应理解，该系统中可以包括传感器清洁装置、提示装置以及ADAS系统中的一个或者多个。
图5示出了本申请实施例提供的检测传感器清洁状态的系统流程图。传感器1至传感器N分别获取数据，N为正整数。传感器1至传感器N可以将获取的数据发送给传感器检测装置。传感器检测装置可以对传感器1至传感器N获取的数据进行特征融合和神经网络推理，从而输出多个传感器的清洁状态。
应理解，本申请实施例中所涉及的传感器包括但不限于车辆上所搭载的各种传感器，例如摄像头、激光雷达、毫米波雷达、超声波雷达等。图5中所示的传感器1至传感器N可以是多个类型相同且规格或者安装位置不同的传感器，也可以是不同类型的传感器。例如摄像头输出的数据包括图像数据，激光雷达输出的数据包括点云数据等。传感器输出的数据可以是一帧或者多帧数据。
还应理解，上述传感器1至传感器N可以是车辆中的传感器，也可以是其他设备上的传感器。例如，传感器1至传感器N也可以是飞行器或者机器人上的传感器。本申请实施例中的传感器清洁方法可以应用于包括多个传感器的智能设备中。
示例性的，如果检测到一个或者多个传感器被污物附着，使得传感器被附着或遮挡，则传感器检测装置可以向传感器清洁装置发送指令，该指令用于指示传感器清洁装置对被污物附着的传感器进行清洁；响应于接收到该指令，传感器清洁装置可以对被污物附着的传感器进行清洁。同时，传感器检测装置还可以向提示装置发送指令，该指令用于该提示装置向用户提示一个或者多个传感器被污物附着。例如，响应于接收到该指令，提示装置 可以通过人机交互界面(human machine interface，HMI)提示用户该一个或者多个传感器被污物附着、污物的类型以及提示用户传感器清洁装置正在对被污物附着的传感器进行清洁。如图5所示，若传感器检测装置输出的结果是传感器1和传感器2被污物附着，则传感器检测装置可以向传感器清洁装置指示传感器1和传感器2被污物附着，从而传感器清洁装置可以对传感器1和传感器2进行清洁。应理解，本申请实施例中的污物包括但不限于水、冰、脏东西、金属异物、非金属异物等。
示例性的，传感器检测装置还可以根据一个或者多个传感器的清洁状态指示自动驾驶安全模块(例如，ADAS系统)进行功能降级等操作，例如，从自动驾驶的等级从L3降至L1。示例性的，传感器检测装置可以将一个或者多个传感器的清洁状态发送给ADAS系统。在一个或者多个传感器的清洁状态为不干净时，ADAS系统可以确定影响车辆的自动驾驶功能，那么ADAS系统可以将车辆从“较高级的”自动驾驶功能(例如L3级下导航式巡航辅助(navigation cruise assistant，NCA))降级为“较低级的”自动驾驶功能(例如L1级下定速巡航(cruise control，CC))，或者提示用户接管车辆(例如自动驾驶功能关闭)，从而避免安全风险，保障自动驾驶模式下的行车安全。
或者，以传感器检测装置位于车辆中为例，传感器检测装置可以向CDC输出指令，从而使得CDC输出提示信息。例如，通过氛围灯、声音或者HMI提示用户接管车辆。这样有助于保障自动驾驶模式下的行车安全。
下面结合图6对传感器检测装置对数据的处理过程进行详细阐述。
传感器检测装置的输入可以是传感器1至传感器N分别输出的单帧或者多帧数据。传感器检测装置可以通过编码器1至编码器N分别对传感器1至传感器N输入的数据提取对应的特征，从而获取特征数据。编码器可以采用基于规则的编码方式，也可以是使用用于编码的神经网络提取对应的传感器的特征。如果此时编码器为神经网络，则可以通过标注好的数据对编码器进行训练优化以获得最优识别结果。
一个实施例中，相同类型的多个传感器输出的数据可以输入同一编码器中。此时编码器的数量可以少于传感器的数量，例如可以为M个编码器，M为小于N的整数。示例性的，车辆中包括前视摄像头、左前视摄像头、右前视摄像头、左前激光雷达、右前激光雷达、左前向毫米波雷达以及右前向毫米波雷达。那么可以将前视摄像头、左前视摄像头以及右前视摄像头输出的数据输入编码器1中，将左前激光雷达和右前激光雷达输出的数据输入编码器2中，将左前向毫米波雷达以及右前向毫米波雷达输出的数据输入编码器3中。
一个实施例中，针对不同的传感器，可以根据传感器的数据特征设计不同的编码器。这样可以充分提取不同传感器的特性，并且获得形态一致的特征数据。
示例性的，对于摄像头采集的图像，可以使用视觉几何组(visual geometry group，VGG)、深层特征融合(deep layer aggregation，DLA)、ResNet等神经网络架构来提取图像特征。示例性的，传感器检测装置对摄像头输出的数据提取的特征数据为三维矩阵W×H×D 1，其中，W表示矩阵的行数，H表示矩阵的列数，D 1表示矩阵的层数。
示例性的，对于激光雷达来说，可以对点云进行栅格化，获取每个栅格中点云的特征作为每一个栅格的表示，得到点云特征，也可以将点云转换到图像坐标系中，获得图像中每一个像素的深度信息作为激光雷达的特征。示例性的，传感器检测装置对激光雷达输出的数据提取的特征数据为三维矩阵W×H×D 2，其中，W表示矩阵的行数，H表示矩阵的 列数，D 2表示矩阵的层数。
示例性的，对于毫米波雷达来说，可以将毫米波雷达的目标的位置转换到图像坐标系中，使用距离、雷达散射截面积(radar cross section，RCS)特征作为毫米波雷达的特征。示例性的，传感器检测装置对毫米波雷达输出的数据提取的特征数据为三维矩阵W×H×D 3，其中，W表示矩阵的行数，H表示矩阵的列数，D 3表示矩阵的层数。
应理解，本申请实施例中，编码器1至编码器N获取形态一致的特征数据还可以理解为编码1至编码器N获取的特征数据位于同一坐标系(例如，图像坐标系或者鸟瞰图(bird eye view，BEV))内。进一步地，编码器1至编码器N提取的特征数据在同一维度上的尺寸相同。例如，以提取的特征数据为三维矩阵为例，编码器1至编码器N提取的特征矩阵的行数和列数可以相同。
在对所有数据进行编码之后，传感器检测装置可以在特征层进行数据的融合。融合数据的方式可以是在另一个维度上的特征叠加，也可以是使用数据增强等方式。
示例性的，传感器检测装置可以通过concat叠加进行数据融合。对于不同的传感器数据，通过特征提取后获得对应的传感器特征数据并进行特征融合。融合的方式可以为concat叠加，从而获得融合后的特征数据。例如，在每个特征第三维度上进行叠加，如对摄像头采集到的数据提取的特征数据为三维矩阵W×H×D 1，对激光雷达采集的数据提取到的特征数据为三维矩阵W×H×D 2，对毫米波雷达采集的数据提取的特征数据为三维矩阵W×H×D 3，那么融合后的数据可以为三维矩阵W×H×(D 1+D 2+D 3)。
本申请实施例中，采用特征层融合的方式可以使得传感器检测装置对传感器信息变化不敏感。针对不同的传感器，只需要少量的训练即可以完成适配，且可以保持同样的检测性能。
传感器检测装置可以将特征层融合后的数据通过用于推理的神经网络进行推理。神经网络可以是使用标注好的数据进行训练后的神经网络，这样可以很好地处理融合后的传感器特性。这里的神经网络可以使用如Temporal Convolutional Networks等时序卷积网络。例如，在同一时刻获取多个传感器中每个传感器采集的数据以及每个传感器的清洁状态，标注好的数据可以理解为对采集到的数据进行归类后的数据集合。例如，当摄像头上有水以及激光雷达上有水时，可以将此时多传感器(包括摄像头和激光雷达)采集的数据组成数据集合，该数据集合中可以包括摄像头采集的图像数据以及激光雷达采集到的点云数据。对该数据集合打上摄像头上有水以及激光雷达上有水的标签，那么打上标签后的数据集合就可以作为摄像头上有水以及激光雷达上有水时标注好的数据。
将融合后的数据通过用于推理的神经网络进行推理的过程也可以理解为传感器检测装置对融合后的三维矩阵W×H×(D 1+D 2+D 3)进行特征提取的过程。神经网络的推理结果也可以为三维矩阵。应理解，经过神经网络进行推理得到的三维矩阵与输入神经网络的三维矩阵W×H×(D 1+D 2+D 3)在行、列以及层数三个维度方向上的数量可以是不一致的。
推理后的数据可以通过解码器进行解码，从而输出感器1至传感器N的清洁状态。这里的解码器可以采用基于规则的解码方式，也可以采用用于解码的神经网络进行分类任务。如果解码器为神经网络，则可以使用标注好的数据对解码器进行训练以获得最优识别结果。
本申请实施例中，传感器检测装置输出的传感器的清洁状态信息可以包括：传感器标 识和清洁状态，还可以包括以下一项或多项：传感器类型，附着物类型，场景等。其中，清洁状态可以包括：干净，遮挡等或者清洁程度，传感器类型可以包括：摄像装置、激光雷达、毫米波雷达以及超声波雷达等，附着物类型可以包括灰尘、污水，冰雪、固态污物等，场景可以包括下雨，下雪，沙尘等。例如，可以输出以下清洁状态信息，传感器干净、传感器表面存在灰尘、传感器表面存在固体污物、传感器表面存在污水附着、传感器表面存在冰雪附着、下雨场景下传感器表面持续有雨水附着、下雪场景下传感器表面持续有雪花附着等情况。
又例如，传感器检测装置可以通过输出的标示位来表示传感器标识和清洁状态，如传感器标识可以是000、001、010或011，其中，000指示该传感器为前视摄像头，001指示该传感器为左前激光雷达，010指示该传感器为左前向毫米波雷达，011指示该传感器为左前超声波雷达。清洁状态可以为0或1，其中，0指示传感器干净，1指示传感器被污物附着。
进一步的，若清洁状态为1，那么输出的结果该可以包括该传感器的附着物类型。如附着物类型可以为0001、0010、0011、0100或者0101，其中，0000指示附着的物体为水，0010指示附着的物体为冰，0011指示附着的物体为灰尘，0100指示附着的物体为金属，0101指示附着的物体为非金属。
需要说明的是上述均为举例，本申请实施例并不以此为限制。
传感器清洁装置可以根据传感器检测装置的输出，执行不同的清洁操作。例如，如果传感器表面存在灰尘或者固体污物，可以先调用喷水模块对传感器表面进行清洁，然后调用加热模块烘干传感器表面的水分。又例如，如果识别出的是水或者冰雪附着遮挡，那么可以直接使用加热模块烘干水分或融化冰雪。
应理解，本申请实施例中对传感器清洁装置执行清洁操作的过程并不作具体限定。传感器清洁装置的处理方法可以是多变的。例如，同样针对灰尘这种情况，可以使用吹风、喷水后加热烘干、喷水后吹风烘干、喷水后使用机械装置刮去残余的水等。
一个实施例中，若传感器检测装置输出的结果指示有传感器表面被污物附着，则传感器检测装置可以向提示装置发送指令，该指令用于指示有传感器表面被污物附着；响应于接收到该指令，提示装置可以通过车内氛围灯提示用户传感器表面被污物附着，例如，通过控制仪表盘氛围灯显示红色来提示用户传感器表面被污物附着。或者，还可以控制车载语音助手通过声音提示用户传感器表面被污物附着且传感器清洁装置正在对传感器进行清洁；或者，还可以控制HMI提示用户传感器表面被污物附着且传感器清洁装置正在对传感器进行清洁。
示例性的，如图7所示，若传感器检测装置输出的结果指示前视摄像头表面有水且激光雷达表面有灰尘，则传感器检测装置在控制传感器清洁装置对摄像头表面的水进行清理的过程中可以通过中控大屏提示用户“前视摄像头表面有水，正在进行烘干”以及“激光雷达表面有灰尘，正在进行喷水后加热烘干”。
一个实施例中，当传感器清洁装置对传感器进行清洁后，传感器检测装置可以继续获取传感器采集的数据。若传感器检测装置输出的结果指示传感器处于干净状态，则传感器检测装置还可以控制提示装置通过声音提示用户传感器已经被清洁干净，或者，也可以通过HMI提示用户传感器已经被清洁干净。
示例性的，如图8所示，若当前车辆正处于自动驾驶的状态下，那么当传感器检测装置输出的结果指示前视摄像头表面有水且激光雷达表面有灰尘，传感器检测装置可以将传感器的清洁状态输出给自动驾驶安全模块。自动驾驶安全模块可以根据传感器的清洁状态将自动驾驶等级从L3将至L1的同时通过HMI提示用户“检测到前视摄像头表面有水且激光雷达表面有灰尘，自动驾驶等级已经从L3降至L1”。
本申请实施例中，由于传感器检测装置是对多个传感器进行同时检测，传感器检测装置可以将传感器的清洁状态发送给自动驾驶安全模块。自动驾驶安全模块可以实时地获取全车传感器的清洁状态并判断传感器获得的外界环境信息的置信度，进而确定是继续保持当前的自动驾驶等级或者是对自动驾驶等级进行功能降级，这样有助于保障自动驾驶车辆行车安全，提高传感器清洁状态识别系统在车辆中的作用。
本申请实施例中，通过对多传感器之间的相互融合，可以摆脱单一传感器带来的污物识别不准确的问题，提高传感器的清洁状态识别的准确性。通过多传感器之间的数据，可以更好地对雨天、雪天等场景的识别，可以有效减少如雪花或者污渍等误检情况，可以给传感器清洁装置给出正确的清洁指令。如网络会学习到在雪天场景，表面附着物是冰雪的可能性就很大。针对雪花场景，就应该开启加热融雪功能，而不是误检成脏东西开启喷水清洁功能。
下面结合图9至图15介绍几种具体的传感器的清洁状态的识别过程。
如图9所示，车辆的传感器可以包括前视摄像头、长距离摄像头、左前视摄像头、右前视摄像头以及鱼眼摄像头。当这些摄像头获取的数据输入传感器检测装置后，传感器检测装置可以输出传感器的清洁状态：所有摄像头表面干净；某个或者多个摄像头表面有脏东西；某个或者多个摄像头表面有水；某个或者多个摄像头表面有灰尘；某个或者多个摄像头表面有冰。可选地，若至少部分摄像头表面有污物，传感器检测装置可以调用传感器清洁装置，针对性地清洁被污物附着的摄像头。可选地，若至少部分摄像头表面有污物，传感器检测装置还可以控制提示装置通过HMI或者声音提示用户摄像头的清洁状态。
如图10所示，车辆的传感器可以包括左后激光雷达、左前激光雷达、前向激光雷达以及右前激光雷达。当这些激光雷达获取的数据输入传感器检测装置后，传感器检测装置可以输出传感器的清洁状态：所有激光雷达表面干净；某个或者多个激光雷达表面有灰尘；某个或者多个激光雷达表面有大块脏东西；某个或者多个激光雷达表面有水。可选地，若至少部分激光雷达表面有污物，传感器检测装置可以调用传感器清洁装置，针对性地清洁传感器。可选地，若至少部分激光雷达表面有污物，传感器检测装置还可以控制提示装置通过HMI或者声音提示用户激光雷达的清洁状态。
如图11所示，车辆的传感器可以包括左前向毫米波雷达、右前向毫米波雷达以及前向毫米波雷达。当这些毫米波雷达获取的数据输入传感器检测装置后，传感器检测装置可以输出传感器的清洁状态：所有毫米波雷达表面干净；某个或者多个毫米波雷达表面有水；某个或者多个毫米波雷达表面有冰；某个或者多个毫米波雷达表面有非金属异物；某个或者多个毫米波雷达表面有金属异物。可选地，若至少部分毫米波雷达表面有污物，传感器检测装置可以调用传感器清洁装置，针对性地清洁传感器。可选地，若至少部分毫米波雷达表面有污物，传感器检测装置还可以控制提示装置通过HMI或者声音提示用户毫米波雷达的清洁状态。
以上图9至图11是以多个类型相同的传感器为例进行说明，下面结合图12至图15结合多个类型不同的传感器进行说明。
如图12所示，车辆的传感器可以包括前视摄像头、左前视摄像头、右前视摄像头、左前激光雷达以及右前激光雷达。当这些传感器获取的数据输入传感器检测装置后，传感器检测装置可以输出传感器的清洁状态：所有传感器表面干净；某个或者多个摄像头、激光雷达表面有脏东西；某个或者多个摄像头、激光雷达表面有水；某个或者多个摄像头、激光雷达表面有灰尘；某个或者多个摄像头表面有冰。可选地，若至少部分传感器表面有污物，传感器检测装置可以调用传感器清洁装置，针对性地清洁传感器。可选地，若至少部分传感器表面有污物，传感器检测装置还可以控制提示装置通过HMI或者声音提示用户传感器的清洁状态。
如图13所示，车辆的传感器可以包括前视摄像头、左前视摄像头、右前视摄像头以及前向毫米波雷达。当这些传感器获取的数据输入传感器检测装置后，传感器检测装置可以输出传感器的清洁状态：所有传感器表面干净；某个或者多个摄像头表面有脏东西；某个或者多个毫米波雷达表面有非金属异物；某个或者多个毫米波雷达表面有金属异物；某个或者多个摄像头、毫米波雷达表面有水；某个或者多个摄像头、毫米波雷达表面有冰。可选地，若至少部分传感器表面有污物，传感器检测装置可以调用传感器清洁装置，针对性地清洁传感器。可选地，若至少部分传感器表面有污物，传感器检测装置还可以控制提示装置通过HMI或者声音提示用户传感器的清洁状态。
如图14所示，车辆的传感器可以包括左前激光雷达、右前激光雷达、前向激光雷达以及前向毫米波雷达。当这些传感器获取的数据输入传感器检测装置后，传感器检测装置可以输出传感器的清洁状态：所有传感器表面干净；某个或者多个激光雷达表面有脏东西；某个或者多个毫米波雷达表面有非金属异物；某个或者多个毫米波雷达表面有金属异物；某个或者多个毫米波雷达表面有冰；某个或者多个激光雷达、毫米波雷达表面有水。可选地，若至少部分传感器表面有污物，传感器检测装置可以调用传感器清洁装置，针对性地清洁传感器。可选地，若至少部分传感器表面有污物，传感器检测装置还可以通过HMI或者声音提示用户传感器的清洁状态。
如图15所示，车辆的传感器可以包括前视摄像头、长距离摄像头、前向激光雷达以及前向毫米波雷达。当这些传感器获取的数据输入传感器检测装置后，传感器检测装置可以输出传感器的清洁状态：所有传感器表面干净；某个或者多个摄像头、激光雷达表面有脏东西；某个或者多个毫米波雷达表面有非金属异物；某个或者多个毫米波雷达表面有金属异物；某个或者多个摄像头、毫米波雷达表面有冰；某个或者多个摄像头、激光雷达、毫米波雷达表面有水。可选地，若至少部分传感器表面有污物，传感器检测装置可以调用传感器清洁装置，针对性地清洁传感器。可选地，若至少部分传感器表面有污物，传感器检测装置还可以控制提示装置通过HMI或者声音提示用户传感器的清洁状态。
图16示出了本申请实施例提供的传感器清洁方法1600的示意性流程图。该方法1600包括：
S1601，获取多个传感器采集的数据。
可选地，该多个传感器包括摄像装置、激光雷达、毫米波雷达或者超声波雷达种的至少两种。
S1602，对该多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据。
可选地，对该多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据，包括：将多个传感器中每个传感器采集到的数据分别输入到多个编码器中，得到多个特征数据。
可选地，该编码器可以是基于规则的编码器；或者，该编码器可以是神经网络。
可选地，该多个特征数据为第一坐标系下的特征数据。
可选地，该第一坐标系为图像坐标系或者鸟瞰图BEV坐标系。
S1603，对该多个特征数据进行融合，得到融合后的数据。
应理解，对多个特征数据进行融合的过程可以参考上述实施例中的描述，此处不再赘述。
S1604，对该融合后的数据进行推理，得到该多个传感器中每个传感器的清洁状态信息。
可选地，对该融合后的数据进行推理，得到该多个传感器中每个传感器的清洁状态信息，包括：对融合后的数据进行推理，得到推理后的数据；对推理后的数据进行解码，得到该多个传感器的清洁状态信息。
可选地，对推理后的数据进行解码，包括：将推理后的数据输入解码器中，得到该第一份传感器的清洁状态信息。
可选地，该解码器可以是基于规则的编码器；或者，该解码器可以是神经网络。
可选地，该方法还包括：根据该多个传感器中每个传感器的清洁状态信息，确定需要对该多个传感器中的至少一个传感器进行清洁；控制传感器清洁装置对该至少一个传感器进行清洁。
可选地，该至少一个传感器的清洁状态信息包括该至少一个传感器中每个传感器表面被物体附着以及该物体的类型，控制传感器清洁装置对该至少一个传感器进行清洁，包括：根据该至少一个传感器中每个传感器表面附着的物体的类型，对该至少一个传感器中每个传感器进行清洁。
可选地，该方法应用于车辆，该方法还包括：根据该多个传感器中每个传感器的清洁状态信息，确定该多个传感器中每个传感器采集的数据的置信度；根据该多个传感器中每个传感器采集的数据的置信度，降低自动驾驶等级，或者，向第一提示装置发送第一指令，该第一指令用于指示该第一提示装置提示用户接管车辆。
示例性的，当摄像头被污物附着且该污物为水时，可以确定摄像头采集的数据的置信度为90％；当摄像头被污物附着且该污物为灰尘时，可以确定摄像头采集的数据的置信度为80％。
示例性的，当激光雷达被污物附着且该污物为水时，可以确定激光雷达采集的数据的置信度为80％；当激光雷达被污物附着且该污物为脏东西时，可以确定激光雷达采集的数据的置信度为60％。
示例性的，车辆处于自动驾驶状态(例如，SAE规定的自动驾驶等级L3)。当摄像头采集的数据的置信度低于85％时，车辆可以将自动驾驶等级从L3降低至L1；当激光雷达采集的数据的置信度低于75％时，车辆可以将自动驾驶等级从L3降低至L1。
一个实施例中，该多个传感器可以位于车辆中，该方法还包括：获取到用于指示用户 启动车辆的指示时，根据该多个传感器中每个传感器的清洁状态信息，确定该多个传感器中每个传感器采集的数据的置信度；根据该多个传感器中每个传感器采集的数据的置信度，确定不启动车辆，或者，提示对传感器清洁后启动车辆。
应理解，以上举例中置信度的数值与预设阈值仅仅是示意性，本申请实施例对此并不作具体限定。
可选地，该方法还包括：向第二提示装置发送第二指令，该第二指令用于指示第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息。
可选地，第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息，包括：该第二提示装置通过HMI、声音向用户提示该多个传感器的清洁状态信息。
可选地，该第二提示装置位于车辆中，第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息，包括：该第二提示装置通过氛围灯向用户提示该多个传感器的清洁状态信息。
在一些可能的实现方式中，上述传感器检测方法可以由传感器检测装置或者计算平台执行，该传感器检测装置或者该计算平台可以位于飞行器、机器人或者车辆等设备中。
本申请实施例中，传感器检测装置可以对多个传感器采集的数据提取特征并进行数据融合，对融合后的数据进行推理就可以获得多个传感器的清洁状态，有助于提升检测传感器的清洁状态的准确度；此外，通过传感器检测装置同时得到多个传感器的清洁状态，可以使得智能设备更好的了解此时传感器的可用性。对于某些智能设备(例如，车辆)而言，可以提升智能设备的安全性能。
图17示出了本申请实施例还提供的一种传感器检测装置1700的示意性框图。如图17所示，该传感器检测装置1700包括：
获取单元1701，用于获取多个传感器采集的数据；
特征提取单元1702，用于对该多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据；
数据融合单元1703，用于对该多个特征数据进行融合，得到融合后的数据；
推理单元1704，用于对该融合后的数据进行推理，得到该多个传感器中每个传感器的清洁状态信息。
可选地，该传感器检测装置1700还包括：
第一确定单元，用于根据该多个传感器中每个传感器的清洁状态信息，确定需要对该多个传感器中的至少一个传感器进行清洁；
第一控制单元，用于控制传感器清洁装置对该至少一个传感器进行清洁。
可选地，该至少一个传感器的清洁状态信息包括该至少一个传感器中每个传感器表面被物体附着以及该物体的类型，该控制单元具体用于：根据该至少一个传感器中每个传感器表面附着的物体的类型，对该至少一个传感器中每个传感器进行清洁。
可选地，该传感器检测装置1700还包括：
第二确定单元，用于根据该多个传感器中每个传感器的清洁状态信息，确定该多个传感器中每个传感器采集的数据的置信度；
第二控制单元，用于根据该多个传感器中每个传感器采集的数据的置信度，控制自动驾驶系统降低自动驾驶等级；或者，向第一提示装置发送第一指令，该第一指令用于该第 一提示装置提示用户接管车辆。
可选地，传感器检测装置可以向自动驾驶系统发送指令，该指令用于指示每个传感器的清洁状态信息。自动驾驶系统可以根据每个传感器的清洁状态信息，确定该多个传感器中每个传感器采集的数据的置信度；从而自动驾驶系统根据该多个传感器中每个传感器采集的数据的置信度，降低自动驾驶等级。
可选地，该传感器检测装置1700还包括：
发送单元，用于向第二提示装置发送第二指令，该第二指令用于指示该第二提示装置向用户提示该多个传感器中每个传感器的清洁状态信息。
可选地，该多个传感器包括摄像装置、激光雷达、毫米波雷达或者超声波雷达中的至少两种。
可选地，该多个特征数据均为第一坐标系下的特征数据。
可选地，该第一坐标系为图像坐标系或者鸟瞰图BEV坐标系。
可选地，该传感器检测装置位于云端服务器中。
图18示出了本申请实施例提供的一种系统1800的示意性框图。如图18所示，该系统包括多个传感器1801和传感器检测装置1802，其中，该传感器检测装置1802可以是上述传感器检测装置1700。
可选地，该传感器检测装置可以是位于云端服务器中。
可选地，若该传感器检测装置是位于云端服务器中的传感器检测装置，该系统1800还包括用于接收传感器检测装置1802的指令的装置。
本申请实施例还提供了一种装置，该装置包括处理单元和存储单元，其中存储单元用于存储指令，处理单元执行存储单元所存储的指令，以使该装置执行上述传感器清洁方法。
可选地，上述处理单元可以是图1所示的处理器151，上述存储单元可以是图1所示的存储器152，其中存储器152可以是芯片内的存储单元(例如，寄存器、缓存等)，也可以是车辆内位于上述芯片外部的存储单元(例如，只读存储器、随机存取存储器等)。
本申请实施例还提供了供一种智能设备，包括上述传感器检测装置1700或者上述系统1800。
可选地，该智能设备可以包括飞行器、机器人或者车辆。
本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述方法。
本申请实施例还提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述方法。
在实现过程中，上述方法的各步骤可以通过处理器151中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法可以直接体现为硬件处理器执行完成，或者用处理器151中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器151读取存储器152中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
还应理解，本申请实施例中，该存储器152可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。
在本申请实施例中，“第一”、“第二”以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围。例如，区分不同的管路、通孔等。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖。在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种传感器检测方法，其特征在于，包括：
    获取多个传感器采集的数据；
    对所述多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据；
    对所述多个特征数据进行融合，得到融合后的数据；
    对所述融合后的数据进行推理，得到所述多个传感器中每个传感器的清洁状态信息。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    根据所述多个传感器中每个传感器的清洁状态信息，确定需要对所述多个传感器中的至少一个传感器进行清洁；
    控制传感器清洁装置对所述至少一个传感器进行清洁。
  3. 根据权利要求2所述的方法，其特征在于，所述至少一个传感器的清洁状态信息包括所述至少一个传感器中每个传感器表面被物体附着以及所述物体的类型，所述控制传感器清洁装置对所述至少一个传感器进行清洁，包括：
    根据所述至少一个传感器中每个传感器表面附着的物体的类型，对所述至少一个传感器中每个传感器进行清洁。
  4. 根据权利要求1所述的方法，其特征在于，所述方法应用于车辆，所述方法还包括：
    根据所述多个传感器中每个传感器的清洁状态信息，确定所述多个传感器中每个传感器采集的数据的置信度；
    根据所述多个传感器中每个传感器采集的数据的置信度，降低自动驾驶等级，或者，向第一提示装置发送第一指令，所述第一指令用于指示所述第一提示装置提示用户接管车辆。
  5. 根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
    向第二提示装置发送第二指令，所述第二指令用于指示所述第二提示装置向用户提示所述多个传感器中每个传感器的清洁状态信息。
  6. 根据权利要求1至5中任一项所述的方法，其特征在于，所述多个传感器包括摄像装置、激光雷达、毫米波雷达或者超声波雷达中的至少两种。
  7. 根据权利要求1至6中任一项所述的方法，其特征在于，所述多个特征数据均为第一坐标系下的特征数据。
  8. 根据权利要求7所述的方法，其特征在于，所述第一坐标系为图像坐标系或者鸟瞰图BEV坐标系。
  9. 一种传感器检测装置，其特征在于，包括：
    获取单元，用于获取多个传感器采集的数据；
    特征提取单元，用于对所述多个传感器中每个传感器采集到的数据提取特征，得到多个特征数据；
    数据融合单元，用于对所述多个特征数据进行融合，得到融合后的数据；
    推理单元，用于对所述融合后的数据进行推理，得到所述多个传感器中每个传感器的 清洁状态信息。
  10. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    第一确定单元，用于根据所述多个传感器中每个传感器的清洁状态信息，确定需要对所述多个传感器中的至少一个传感器进行清洁；
    第一控制单元，用于控制传感器清洁装置对所述至少一个传感器进行清洁。
  11. 根据权利要求10所述的装置，其特征在于，所述至少一个传感器的清洁状态信息包括所述至少一个传感器中每个传感器表面被物体附着以及所述物体的类型，所述控制单元具体用于：根据所述至少一个传感器中每个传感器表面附着的物体的类型，对所述至少一个传感器中每个传感器进行清洁。
  12. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    第二确定单元，用于根据所述多个传感器中每个传感器的清洁状态信息，确定所述多个传感器中每个传感器采集的数据的置信度；
    第二控制单元，用于根据所述多个传感器中每个传感器采集的数据的置信度，降低自动驾驶等级；或者，向第一提示装置发送第一指令，所述第一指令用于所述第一提示装置提示用户接管车辆。
  13. 根据权利要求9至12中任一项所述的装置，其特征在于，所述装置还包括：
    发送单元，用于向第二提示装置发送第二指令，所述第二指令用于指示所述第二提示装置向用户提示所述多个传感器中每个传感器的清洁状态信息。
  14. 根据权利要求9至13中任一项所述的装置，其特征在于，所述多个传感器包括摄像装置、激光雷达、毫米波雷达或者超声波雷达中的至少两种。
  15. 根据权利要求9至14中任一项所述的装置，其特征在于，所述多个特征数据均为第一坐标系下的特征数据。
  16. 根据权利要求15所述的装置，其特征在于，所述第一坐标系为图像坐标系或者鸟瞰图BEV坐标系。
  17. 根据权利要求9至16中任一项所述的装置，其特征在于，所述装置位于云端服务器中。
  18. 一种系统，其特征在于，包括多个传感器和传感器检测装置，其中，所述传感器检测装置为权利要求9至17中任一项所述的传感器检测装置。
  19. 一种车辆，其特征在于，包括如权利要求9至17中任一项所述的传感器检测装置。
  20. 一种计算机可读存储介质，其特征在于，所述计算机可读介质存储有程序代码，当所述程序代码在计算机上运行时，使得计算机执行如权利要求1至8中任意一项所述的方法。
CN202180100273.1A 2021-07-07 2021-07-07 传感器检测方法、传感器检测装置以及车辆 Pending CN117615945A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/104872 WO2023279268A1 (zh) 2021-07-07 2021-07-07 传感器检测方法、传感器检测装置以及车辆

Publications (1)

Publication Number Publication Date
CN117615945A true CN117615945A (zh) 2024-02-27

Family

ID=84801112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180100273.1A Pending CN117615945A (zh) 2021-07-07 2021-07-07 传感器检测方法、传感器检测装置以及车辆

Country Status (4)

Country Link
US (1) US20240149923A1 (zh)
EP (1) EP4353547A4 (zh)
CN (1) CN117615945A (zh)
WO (1) WO2023279268A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9539988B2 (en) * 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US10604120B2 (en) * 2016-07-07 2020-03-31 Nio Usa, Inc. Sensor cleaning devices and systems
US10061312B1 (en) * 2017-03-30 2018-08-28 Intel Corporation Sensor management system for computer assisted vehicles
CN107792019A (zh) * 2017-09-27 2018-03-13 北京图森未来科技有限公司 一种摄像头清洁方法及系统
DE112018004504T5 (de) * 2017-10-10 2020-06-04 Denso Corporation Fahrzeugreinigungssystem
CN109955829B (zh) * 2017-12-25 2023-12-05 宝马股份公司 清洁激光雷达传感器的方法及装置
CN210502618U (zh) * 2019-09-02 2020-05-12 北京新能源汽车技术创新中心有限公司 汽车外置感知传感器清洗装置及汽车

Also Published As

Publication number Publication date
WO2023279268A1 (zh) 2023-01-12
US20240149923A1 (en) 2024-05-09
EP4353547A4 (en) 2024-06-26
EP4353547A1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
JP7140922B2 (ja) マルチセンサデータ融合方法、及び装置
KR102658233B1 (ko) 항만 모니터링 장치 및 항만 모니터링 방법
CN109117709B (zh) 用于自动驾驶车辆的碰撞避免系统
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
CN111507162B (zh) 基于车辆间通信的协作的盲点警告方法及装置
CN110998470A (zh) 自动驾驶车辆可靠性评估的系统、方法和处理器可读介质
EP3407251A1 (en) Method of classifying objects for a perception scene graph and system for using a scene detection schema for classifying objects in a perception scene graph (psg) in a motor vehicle
WO2019177562A1 (en) Vehicle system and method for detecting objects and object distance
CN111448478A (zh) 用于基于障碍物检测校正高清地图的系统和方法
US20220169263A1 (en) Systems and methods for predicting a vehicle trajectory
US20190202407A1 (en) Control apparatus and vehicle
CN114902070A (zh) 传感器退化检测和修复
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
US20170151945A1 (en) Information processing device, information processing method, control device for vehicle, and control method for vehicle
EP3407249A2 (en) A method and system for generating and using a perception scene graph in motor vehicle applications
EP3419001A1 (en) Method of using a perception information and system for generating a perception scene graph having a focus region for a motor vehicle
JP2017224107A (ja) センタ及び運転支援システム
CN113665570A (zh) 自动地感知行驶信号的方法、装置及运载工具
CN110647801A (zh) 设置感兴趣区域的方法、装置、存储介质及电子设备
CN111753629A (zh) 车辆环境的环境数据处理
JP7226368B2 (ja) 物体状態識別装置
EP3407250A1 (en) Method of prioritizing sensors for a perception system and perception system for a motor vehicle
JP2021163432A (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
CN117615945A (zh) 传感器检测方法、传感器检测装置以及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination