CN112527002B - 监控装置和监控方法 - Google Patents

监控装置和监控方法 Download PDF

Info

Publication number
CN112527002B
CN112527002B CN202110186618.1A CN202110186618A CN112527002B CN 112527002 B CN112527002 B CN 112527002B CN 202110186618 A CN202110186618 A CN 202110186618A CN 112527002 B CN112527002 B CN 112527002B
Authority
CN
China
Prior art keywords
sensor
data
information
computing system
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110186618.1A
Other languages
English (en)
Other versions
CN112527002A (zh
Inventor
张瑜
郝佳男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202110186618.1A priority Critical patent/CN112527002B/zh
Publication of CN112527002A publication Critical patent/CN112527002A/zh
Application granted granted Critical
Publication of CN112527002B publication Critical patent/CN112527002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network

Abstract

本公开提供一种监控装置和监控方法,所述装置包括:传感器接口,被配置为通过从不同类型的传感器接收传感器数据和传感器状态信息,计算系统接口,被配置将所述传感器数据发送给包括自驾驶控制单元的计算系统,分析模块,所述分析模块被配置为接收并分析所述传感器状态信息,其中,所述分析模块包括多个分析单元,每个分析单元与一种类型传感器对应并且被配置为分析该类型传感器的传感器状态信息。根据本公开的方案,可以根据要连接的传感器类型的改变,灵活增减分析单元,具有较好的扩展性,并且这些分析单元可以并行工作,能够及时发现传感器存在的异常。

Description

监控装置和监控方法
技术领域
本申请涉及自动驾驶领域,特别涉及一种监控装置和监控方法。
背景技术
随着自动驾驶技术的发展,自动驾驶车辆在物流货运、载客等领域已经有所应用。自动驾驶车辆在行驶时,一般是通过自身的传感器,如雷达、相机等感知外部道路信息。之后,由自动驾驶服务器等进行运算,以完成自动驾驶车辆的行驶的决策和规划。最终,控制自动驾驶车辆按照相应的决策和规划进行行驶。
发明内容
本公开提供一种监控装置和监控方法,具有较好的扩展,并且可以及时发现传感器存在的异常。
本公开在一方面提供一种监控装置,包括:
传感器接口,被配置为通过从不同类型的传感器接收传感器数据和传感器状态信息,
计算系统接口,被配置将所述传感器数据发送给包括自驾驶控制单元的计算系统,
分析模块,所述分析模块被配置为接收并分析所述传感器状态信息,
其中,所述分析模块包括多个分析单元,每个分析单元与一种类型传感器对应并且被配置为分析该类型传感器的传感器状态信息。
本公开在另一方面提供一种监控方法,包括:
通过传感器接口从不同类型的传感器接收传感器数据和传感器状态信息,
通过计算系统接口将所述传感器数据发送给包括自驾驶控制单元的计算系统,
通过多个分析单元分析所述传感器状态信息,其中每个分析单元与一种类型传感器对应并且被配置为分析该类型传感器的传感器状态信息。
根据本申请,通过提供不同的分析单元实现对不同类型传感器的定制化的状态获取与管理,可以根据要连接的传感器类型的改变,灵活增减分析单元,具有较好的扩展性,并且这些分析单元可以并行工作,能够及时发现传感器存在的异常。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。在所有附图中,相同的附图标记指代相似的要素。
图1是可以在其中实现本文公开的各种技术的车辆的示意图;
图2是根据本公开的示例实施例的传感器系统的示意图;
图3是根据本公开的示例实施例的分析模块的结构示意图;
图4是根据本公开的另一示例实施例的分析模块的结构示意图;
图5为本公开的示例实施例的监控方法的流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本公开中,术语“多个”是指两个或两个以上,除非另有说明。在本公开中,术语“和/或”,描述关联对象的关联关系,涵盖所列出的对象中的任何一个以及全部可能的组合方式。字符“/”一般表示前后关联对象是一种“或”的关系。
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等是用于区别类似的对象,而不意图限定其位置关系、时序关系或重要性关系。应该理解这样使用的术语在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的方式实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、系统、产品或设备固有的其它步骤或单元。
图1是可以在其中实现本文公开的各种技术的车辆100的示意图。车辆100可以是轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场装置、建筑装置、有轨电车、高尔夫车、火车、无轨电车,或其它车辆。车辆100可以完全地或部分地以自动驾驶模式进行运行。车辆100在自动驾驶模式下可以控制其自身,例如车辆100可以确定车辆的当前状态以及车辆所处环境的当前状态,确定在该环境中的至少一个其它车辆的预测行为,确定该至少一个其它车辆执行所预测行为的可能性所对应信任等级,并且基于所确定的信息来控制车辆100自身。在处于自动驾驶模式时,车辆100可以在无人交互的情况下运行。
车辆100可以包括各种车辆系统,例如驱动系统142、传感器系统144、控制系统146、用户接口系统148、计算系统150以及通信系统152。车辆100可以包括更多或更少的系统,每个系统可以包括多个单元。进一步地,车辆100的每个系统和单元之间可以是互联的。例如,计算系统150能够与驱动系统142、传感器系统144、控制系统146、用户接口系统148和通信系统152中的一个或多个进行数据通信。从而,车辆100的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件,或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中,附加的功能性部件或者实体部件可以增加到如图1所示的示例中。
驱动系统142可以包括为车辆100提供动能的多个可操作部件(或单元)。在一个实施例中,驱动系统142可以包括发动机或电动机、车轮、变速器、电子系统、以及动力(或动力源)。发动机或者电动机可以是如下装置的任意组合:内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些实施例中,发动机可以将一种动力源转换为机械能。在一些实施例中,驱动系统142可以包括多种发动机或电动机。例如,油电混合车辆可以包括汽油发动机和电动机,也可以包括其它的情况。
车辆100的车轮可以是标准车轮。车辆100的车轮可以是多种形式的车轮,包括独轮、双轮、三轮、或者四轮形式,例如轿车或卡车上的四轮。其它数量的车轮也是可以的,例如六轮或者更多的车轮。车辆100的一个或多个车轮可被操作为与其他车轮的旋转方向不同。车轮可以是至少一个与变速器固定连接的车轮。车轮可以包括金属与橡胶的结合,或者是其他物质的结合。变速器可以包括可操作来将发动机的机械动力传送到车轮的单元。出于这个目的,变速器可以包括齿轮箱、离合器、差动齿轮和传动轴。变速器也可以包括其它单元。传动轴可以包括与车轮相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆100的电子信号的单元。这些电子信号可用于启动车辆100中的多个灯、多个伺服机构、多个电动机,以及其它电子驱动或者控制装置。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即,发动机或电动机能够将动力源转换为机械能。示例性地,动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆100的其它系统提供能量。
传感器系统144可以包括多个传感器,这些传感器用于感测车辆100的环境和条件的信息。例如,传感器系统144可以包括惯性测量单元(IMU)、全球导航卫星系统(GNSS) 收发器(例如全球定位系统(GPS)收发器)、无线电探测和测距装置(RADAR,简称为雷达)、激光探测及测距系统(LIDAR,简称为激光雷达)、声学传感器、超声波传感器以及图像捕捉装置(例如相机)。传感器系统144可以包括用于监控车辆100的多个感应器(例如,氧气(O2)监控器、油量表传感器、发动机油压传感器,以及温度、湿度、压力传感器等等)。还可以配置其它传感器。包括在传感器系统144中的一个或多个传感器可以被单独驱动或者被集体驱动,以更新一个或多个传感器的位置、方向,或者这二者。
IMU可以包括传感器的结合(例如加速器和陀螺仪),用于基于惯性加速来感应车辆100的位置变化和方向变化。GPS收发器可以是任何用于估计车辆100的地理位置的传感器。出于该目的,GPS收发器可以包括接收器/发送器以提供车辆100相对于地球的位置信息。需要说明的是,GPS是全球导航卫星系统的一个示例,因此,在一些实施例中,GPS收发器可以替换为北斗卫星导航系统收发器或者伽利略卫星导航系统收发器。雷达单元可以使用无线电信号来感应车辆100所在环境中的对象。在一些实施例中,除感应对象之外,雷达单元还可以用于感应接近车辆100的物体的速度和前进方向。LIDAR单元可以是任何使用激光来感应车辆100所在环境中的物体的传感器。在一个实施例中,LIDAR单元可以包括激光源、激光扫描仪、以及探测器。LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。图像捕捉装置可以包括用于捕捉车辆100所在环境的多个图像的装置。图像捕捉装置的一个例子是相机,相机可以是静态图像相机或者动态视频相机。
控制系统146用于控制对车辆100及其部件(或单元)的操作。相应地,控制系统146可以包括各种单元,例如转向单元、动力控制单元、制动单元和导航单元。
转向单元可以是调整车辆100前进方向的机械的组合。动力控制单元(例如可以为油门),例如可以被用于控制发动机的运转速度,进而控制车辆100的速度。制动单元可以包括用于对车辆100进行减速的机械的组合。制动单元可以以标准方式利用摩擦力来使车辆减速。在其他实施例中,制动单元可以将车轮的动能转化为电流。制动单元也可以采用其它形式。导航单元可以是任何为车辆100确定驾驶路径或路线的系统。导航单元还可以在车辆100行进的过程中动态的更新驾驶路径。控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件(或单元)。
用户接口系统148可以用于允许车辆100与外部传感器、其它车辆、其它计算机系统和/或车辆100的用户之间的互动。例如,用户接口系统148可以包括标准视觉显示装置(例如,等离子显示器、液晶显示器(LCD)、触屏显示器、头戴显示器,或其它类似的显示器),扬声器或其它音频输出装置,麦克风或者其它音频输入装置。例如,用户接口系统148还可以包括导航接口以及控制车辆100的内部环境(例如温度、风扇,等等)的接口。
通信系统152可以为车辆100提供与一个或多个设备或者周围其它车辆进行通信的方式。在一个示例性的实施例中,通信系统152可以直接或者通过通信网络与一个或多个设备进行通信。通信系统152例如可以是无线通信系统。例如,通信系统可以使用3G蜂窝通信(例如CDMA、EVDO、GSM/GPRS)或者4G蜂窝通信(例如WiMAX或LTE),还可以使用5G蜂窝通信。可选地,通信系统可以与无线本地局域网(WLAN)进行通信(例如,使用WIFI®)。在一些实施例中,通信系统152可以直接与一个或多个设备或者周围其它车辆进行通信,例如,使用红外线,蓝牙®,或者ZIGBEE。其它无线协议,例如各种车载通信系统,也在本申请公开的范围之内。例如,通信系统可以包括一个或多个专用短程通信(DSRC)装置、V2V装置或者V2X装置,这些装置会与车辆和/或路边站进行公开或私密的数据通信。
计算系统150能控制车辆100的部分或者全部功能。计算系统150中的自动驾驶控制单元可以用于识别、评估、以及避免或越过车辆100所在环境中的潜在障碍。通常,自动驾驶控制单元可以用于在没有驾驶员的情况下控制车辆100,或者为驾驶员控制车辆提供辅助。在一些实施例中,自动驾驶控制单元用于将来自传感器的数据,例如GPS收发器的数据、雷达数据、LIDAR数据、相机数据、以及来自其它车辆系统的数据结合起来,来确定车辆100的行驶路径或轨迹。自动驾驶控制单元可以被激活以使车辆100能够以自动驾驶模式被驾驶。
计算系统150可以包括至少一个处理器(其可以包括至少一个微处理器),处理器执行存储在非易失性计算机可读介质(例如数据存储装置或存储器)中的处理指令(即机器可执行指令)。计算系统150也可以是多个计算装置,这些计算装置分布式地控制车辆100的部件或者系统。在一些实施例中,存储器中可以包含被处理器执行来实现车辆100的各种功能的处理指令(例如,程序逻辑)。在一个实施例中,计算系统150能够与驱动系统142、传感器系统144、控制系统146、用户接口系统148、和/或通信系统152进行数据通信。计算系统中的接口用于促进计算系统150和驱动系统142、传感器系统144、控制系统146、用户接口系统148、以及通信系统152之间的数据通信。
存储器还可以包括其它指令,包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制驱动系统142、传感器系统144、或控制系统146或用户接口系统148的指令。
除存储处理指令之外,存储器可以存储多种信息或数据,例如图像处理参数、道路地图、和路径信息。在车辆100以自动方式、半自动方式和/或手动模式运行的期间,这些信息可以被车辆100和计算系统150所使用。
尽管自动驾驶控制单元被示为与处理器和存储器分离,但是应当理解,在一些实施方式中,自动驾驶控制单元的某些或全部功能可以利用驻留在一个或多个存储器(或数据存储装置)中的程序代码指令来实现并由一个或多个处理器执行,并且自动驾驶控制单元在某些情况下可以使用相同的处理器和/或存储器(或数据存储装置)来实现。在一些实施方式中,自动驾驶控制单元可以至少部分地使用各种专用电路逻辑,各种处理器,各种现场可编程门阵列(“FPGA”),各种专用集成电路(“ASIC”),各种实时控制器和硬件来实现。
计算系统150可以根据从各种车辆系统(例如,驱动系统142,传感器系统144,以及控制系统146)接收到的输入,或者从用户接口系统148接收到的输入,来控制车辆100的功能。例如,计算系统150可以使用来自控制系统146的输入来控制转向单元,来避开由传感器系统144检测到的障碍物。在一个实施例中,计算系统150可以用来控制车辆100及其系统的多个方面。
虽然图1中显示了集成到车辆100中的各种部件(或单元),这些部件(或单元)中的一个或多个可以搭载到车辆100上或单独关联到车辆100上。例如,计算系统可以部分或者全部地独立于车辆100存在。从而,车辆100能够以分离的或者集成的设备单元的形式而存在。构成车辆100的设备单元之间可以以有线通信或者无线通信的方式实现相互通信。在一些实施例中,可以将附加部件或单元添加到各个系统或从系统中移除一个或多个以上的部件或单元(例如,图1所示的LiDAR或雷达)。
图2是根据本公开的示例实施例的传感器系统的示意图。如图2所示,传感器系统144包括多个传感器(例如,传感器214、216、218)以及数据传输装置410(也称作传感器单元)。数据传输装置410连接在传感器214、216、218和计算系统150之间。虽然图2中示出了三个传感器,但是,本领域的技术人员可以理解,传感器系统144可以包括更多或更少的传感器。
传感器214、216、218可包括在自动驾驶车辆中使用的各种传感器,例如,惯性测量单元(IMU)、全球导航卫星系统(GNSS) 收发器(例如全球定位系统(GPS)收发器)、无线电探测和测距装置(RADAR,简称为雷达)、激光探测及测距系统(LIDAR,简称为激光雷达)、声学传感器、超声波传感器以及图像捕捉装置(例如相机)。传感器214、216、218还可以包括用于监控车辆的多个传感器(例如,氧气(O2)监控器、油量表传感器、发动机油压传感器以及温度、湿度、压力传感器等等)。
数据传输装置410可以包括监控装置432。监控装置432可以以现场可编程门阵列(FPGA)、专用集成电路 (ASIC)、ARM处理器或系统级芯片(SOC)的形式实现。
监控装置432还可以包括多个传感器接口,例如传感器接口224、226、228,每个传感器接口可以与一个或多个传感器连接。例如,传感器接口224可以与传感器214连接,传感器接口226可以与传感器216连接,感器接口228可以与传感器218连接。监控装置432还可以包括计算系统接口229,以与计算系统150连接。计算系统150可以包括自动驾驶控制单元。
传感器接口224、226、228以及计算系统接口229中的每个可以是控制器局域网络(CAN)接口、通用异步收发传输器(UART)接口、以太网接口(例如,串行千兆位媒质独立接口(SGMII)、吉比特介质独立接口(RGMII))、串行外设接口(SPI)、Base-TX接口(例如Base-T1接口)、相机接口、移动工业处理器接口(MIPI)、集成电路总线(IIC)接口、MIPI相机串行接口(CSI)、高速数字视频接口(例如,FPD-LINK III)、高速外围设备互联标准(PCIe)接口、通用串行总线 (USB) 接口、或各种通用输入/输出(GPIO)接口。
在一个实施方式中,至少一个传感器(例如传感器214)是相机。相机中包括有图像传感器和串行器。数据传输装置410包括解串器434。串行器通过同轴线或双绞线与所述解串器连接。图像传感器用于采集图像数据,并将采集的图像数据传输给串行器。串行器用于将从图像传感器接收到的图像数据转换成串行差分信号,并将串行差分信号发送给解串器。解串器用于将从串行器接收到的串行差分信号解析成图像数据,并将解析得到的图像数据通过传感器接口224(例如MIPI接口)发送给监控装置432。
监控装置432还包括处理模块321。处理模块321配置成经由传感器接口224、226、228从传感器接收传感器数据并处理该传感器数据,然后经由计算系统接口229将处理的传感器数据传送至计算系统150。
处理模块321可以对所有的传感器数据均进行处理或者只处理来自部分传感器接口(或部分传感器)的传感器数据。
在一个实施方式中,处理模块321包括多个处理子模块,每个处理子模块与一个传感器接口或者与一种传感器类型对应,从而处理从对应传感器接口或对应类型的传感器获得的传感器数据。例如,如果传感器214为相机,则对应的处理子模块可执行各种图像处理操作,以处理由相机捕获的图像数据。类似地,如果传感器216为LIDAR,则对应的处理子模块可以配置成处理LIDAR数据(例如点云数据)。即,根据特定传感器的类型,相应处理子模块可配置成使用与传感器的类型相对应的特定过程或方法来处理相应传感器数据。
在一个实施方式中,处理模块321对相机数据(即相机捕获的图像数据)可以进行的处理包括图像信号处理(ISP)、压缩、调整尺寸、旋转等,对Lidar获取的点云数据的处理包括点云去噪、点云配准、点云分割、点云合并、点云精简、点云排序和点云派生等。处理模块321还可以对GPS捕获的位置数据进行去噪等处理,或者解析GPS的协调世界时(UTC),从而向其它传感器或计算系统提供精确的时间戳。
处理模块321对相机数据进行的图像信号处理(ISP)例如可以包括:自动曝光控制(AEC)、自动增益控制(AGC)、自动白平衡(AWB),黑电平校正、颜色校正、噪声去除、颜色插值、gamma 矫正和/或色彩与对比度加强。
在一个实施方式中,监控装置432还包括分析模块421以及计算系统接口436。计算系统接口436可以是控制器局域网络(CAN)接口、通用异步收发传输器(UART)接口、以太网接口(例如,串行千兆位媒质独立接口(SGMII)、吉比特介质独立接口(RGMII))、串行外设接口(SPI)、Base-TX接口(例如Base-T1接口)、相机接口、移动工业处理器接口(MIPI)、集成电路总线(IIC)接口、MIPI相机串行接口(CSI)、高速数字视频接口(例如,FPD-LINK III)、高速外围设备互联标准(PCIe)接口、通用串行总线 (USB) 接口、或各种通用输入/输出(GPIO)接口。
传感器接口224、226、228除从传感器接收传感器数据(即传感器感测或采集的周围环境数据,例如,相机捕获的图像数据,Lidar捕获的点云数据,或者GPS捕获的位置数据)外,还可以接收传感器状态信息。传感器状态信息例如可以包括传感器的工作状态、传感器的连接状态、传感器的同步状态、活动状态、传感器的电压或温度等信息。传感器的连接状态例如可以包括物理连接状态和Ping命令连接状态,传感器的工作状态例如可以包括传感器运行、空闲或异常等。
在一个实施方式中,处理模块321负责处理传感器数据(例如,传感器采集的位置、图像、点云等数据),分析模块421负责分析传感器状态信息。分析模块421可以从传感器接口224、226、228接收传感器状态信息。并对传感器状态信息进行分析,例如,将传感器状态信息(例如传感器的电压或温度等数据)与阈值进行比较,以判断传感器是否处于故障或异常状态。随后,分析模块421可以通过计算系统接口436向计算系统150报告分析结果,计算系统150可以根据分析模块的分析结果判断要采取的动作。
在一个实施方式中,数据传输装置410还包括控制装置(图中未出),分析模块可以将分析结果报告给控制装置,控制装置可以根据分析模块的分析结果判断要采取的动作。
在一个实施方式中,代替从传感器接口224、226、228接收传感器状态信息(或除了从传感器接口224、226、228接收传感器状态信息外),分析模块421可以从处理模块321接收传感器状态信息。
在一个实施方式中,分析模块421还对串行器或解串器的状态信息进行分析。串行器和解串器的状态信息例如可以包括工作状态、连接状态、活动状态、电压或温度等信息。串行器和解串器的工作状态例如可以包括运行、空闲或异常等。
在一个实施方式中,传感器被设置为与预定的信号同步,分析模块421通过对比传感器实际的被触发频率与该预定信号的频率,可以发现传感器同步状态的异常。
在一个实施方式中,分析模块421通过监控传感器接口224、226、228接收的传感器数据判断相应传感器是否处于活动状态。
在一个实施方式中,监控装置432可以以系统级芯片(SOC)的形式实现,系统级芯片(SOC)可以包括处理系统部分(SOC PS)和可编程逻辑部分(SOC PL)。分析模块421以及计算系统接口436可以位于系统级芯片(SOC)的处理系统(PS)部分,处理模块321以及计算系统接口229可以位于系统级芯片(SOC)的可编程逻辑(PL)部分。传感器接口224、226、228和检测模块423可以位于系统级芯片(SOC)的可编程逻辑(PL)部分或者系统级芯片(SOC)的处理系统(PS)部分。
根据本申请实施例,为及时了解各个传感器的工作状态,以便在传感器发生异常时能够及时获知并进行处理,分析模块421接收相应传感器的状态信息的过程中实时/周期性的分析传感器的工作状态,根据该分析结果确定出异常传感器,并进行报警或生成提醒信息。此外分析模块421还实时或周期性的将各传感器的工作状态的分析结果同步到计算系统150或控制装置。
根据本申请实施例,由分析模块421及时获取并分析传感器的工作状态,从而在传感器故障时能够及早发现,以保证车辆,尤其是自动驾驶车辆的安全。而如果不是由分析模块421分析传感器的工作状态,而是交给计算系统150进行分析。那么一方面这会极大的增加计算系统的负荷(自动驾驶车辆的计算系统由于需要处理大量传感器数据,来确定车辆的行驶路径或轨迹,其负荷非常巨大),另一方面获得传感器故障分析结果的时间会延迟。此外,根据本申请实施例,可以由处理模块321对传感器数据进行处理(否则这些传感器数据会由计算系统或相应传感器进行处理),这样可以进一步减轻计算系统150的负荷,同时会减轻传感器负荷,且利于传感器的灵活布置。
为了监控传感器数据在传输以及处理过程中(特别是在监控装置432中的传输以及处理过程中)的异常波动等,在一个实施方式中,监控装置432还包括检测模块423,以检测传感器数据的传输状态,并将检测结果(即传输状态信息)发送给分析模块421。传感器数据的传输状态信息例如可以包括传感器数据的帧率信息或数据包频率信息。例如检测模块423可以检测传感器接口224、226、228、处理模块321、以及计算系统接口229间的传感器数据的传输,并将检测结果发送给分析模块421。
在一个实施方式中,检测模块423被配置为检测数据包频率信息(例如通过检测数据包传输间隔的变化),并将检测结果发送给分析模块421。传感器发出的数据,可以根据不同协议分成不同的数据包,每个数据包在正常情况下是按照固定频率发送的。
在一个实施方式中,检测模块423被配置为检测传感器数据的帧率信息,并将检测结果发送给分析模块421。传感器数据可以以帧的形式传输,每一帧的头尾标记带有时间,检测模块423通过计算每一帧头尾标记时间差可以获得传感器数据传输的帧率信息。
在一个实施方式中,检测模块423可以检测传感器接口224、226、228和处理模块321之间传输的传感器数据的帧率信息或数据包频率信息、或者检测处理模块321和计算系统接口229之间传输的传感器数据的帧率信息或数据包频率信息,并将检测结果发送给分析模块421。
在一个实施方式中,传感器数据在处理模块321中会经过一系列的处理操作,检测模块423可以检测在这些操作之间的传感器数据的帧率信息或数据包频率信息,并将检测结果发送给分析模块421。
在一个实施方式中,分析模块421可以根据检测模块423报告的帧率信息或数据包频率信息判断传感器数据在传输或处理过程中是否发生异常,并在确认发生异常时,向计算系统报告异常。例如,分析模块421可以将检测模块423报告的帧率与预设范围的帧率进行比较,以判断是否是帧率异常,或者将检测模块423报告的数据包频率与预设范围的频率进行比较,判断是否发生异常。
在一个实施方式中,检测模块423的部分或全部功能可以合并到分析模块421中。
图3是根据本申请示例实施例的分析模块421的结构示意图。如图3所示,分析模块421包括多个分析单元,例如第一分析单元、第二分析单元……第n分析单元,n是正整数。每个分析单元可以与一种传感器类型对应并且被配置为分析该类型的传感器的状态信息和/或该类型传感器的数据的传输状态信息。每个分析单元例如可以对应于惯性测量单元(IMU)、全球导航卫星系统 (GNSS)、雷达、LIDAR、声学传感器、超声波传感器和相机等各种类型的传感器中的一种。例如,一个分析单元负责分析惯性测量单元(IMU)的状态信息和/或其数据的传输状态信息、一个分析单元责分析全球导航卫星系统 (GNSS) 收发器的状态信息和/或其数据的传输状态信息、一个分析单元负责分析雷达(RADAR)的状态信息和/或其数据的传输状态信息、一个分析单元负责分析LIDAR的状态信息和/或其数据的传输状态信息、一个分析单元负责分析声学传感器的状态信息和/或其数据的传输状态信息、一个分析单元负责分析超声波传感器的状态信息和/或其数据的传输状态信息、一个分析单元负责分析相机的状态信息和/或其数据的传输状态信息。
在一个实施方式中,每个分析单元例如可以以应用程序(APP)的形式实现。
每个分析单元接收相应传感器的状态信息的过程中实时/周期性的分析传感器的状态,根据该分析结果确定出异常传感器,并进行报警或生成提醒信息。此外每个分析单元还实时或周期性的将各传感器的状态的分析结果同步到计算系统150或控制装置。
每个分析单元还可以分析传感器数据的传输状态信息,判断传感器数据在传输或处理过程中是否发生异常,并在确认发生异常时,进行报警或生成提醒信息,同时将分析结果同步到计算系统150或控制装置。
在本申请的一些实施例中,如图3所示,分析模块421还包括:人机交互单元,人机交互单元被配置为接收输入的配置文件,以生成或修改所述分析模块中的各项参数。本申请的一些实施例使得用户通过编辑配置文件,可以配置对传感器的哪些状态进行监控,实现了对各传感器的差异化和更加有针对性的状态检测。
为了及时发现传感器存在的异常,在本申请的一些实施例中,人机交互单元还被配置为显示所述风险异常提示信息。
图4是根据本申请另一示例实施例的分析模块421的结构示意图。与图3所示的实施例不同之处在于,图4的实施例的分析模块421还包括发布单元。分析模块421接收的传感器状态信息以及传感器数据传输状态信息,由发布单元发布,分析模块421的各分析单元向发布单元订阅传感器状态信息以及传感器数据传输状态信息。
图5为本公开的示例实施例的与上述监控装置对应的监控方法的流程图。如图5所示该监控方法,包括:
在步骤S501,通过传感器接口从不同类型的传感器接收传感器数据和传感器状态信息,
在步骤S502,通过计算系统接口将所述传感器数据发送给包括自驾驶控制单元的计算系统,
在步骤S503,通过多个分析单元分析所述传感器状态信息,其中每个分析单元与一种类型传感器对应并且被配置为分析该类型传感器的状态信息。
在一个实施方式中,可以通过多个分析单元分析传感器数据的传输状态信息。
在一个实施方式中,传输状态信息包括传感器数据的帧率信息或丢包率信息。
在一个实施方式中,监控方法还包括通过处理模块对传感器数据进行处理。
在一个实施方式中,分析传感器数据的传输状态包括分析传感器数据在传感器接口与处理模块之间以及处理模块内进行传输的传输状态信息。
在一个实施方式中,处理模块由SOC的PL部分实现,分析模块由SOC的PS部分实现。
在一个实施方式中,监控方法还包括由发布单元发布传感器状态信息,并由分析单元为向发布单元订阅传感器状态信息。
根据本申请实施例,通过提供不同的分析单元(例如与各类型传感器对应的应用程序APP)实现对不同类型传感器的定制化的状态获取与管理,可以根据要连接的传感器类型的改变,灵活增减分析单元,具有较好的扩展性,并且这些分析单元可以并行工作,能够及时发现传感器存在的异常。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
虽然已经参照附图描述了本公开的示例性实施例或示例,但应理解,上文的示例性论述并非旨在是穷尽的或将本发明限制为所公开的具体形式。根据以上教导内容,很多修改和变型都是可能的。因此,所公开的主题不应当限于本文所述的任何单个实施例或示例,而应当根据所附权利要求书的广度和范围来解释。

Claims (7)

1.一种监控装置,其特征在于,包括:
多个传感器接口,被配置为从不同类型的传感器接收传感器数据和传感器状态信息,
计算系统接口,包括第一计算系统接口和第二计算系统接口;
处理模块,所述处理模块被配置为对所述传感器数据进行处理,并经由所述第二计算系统接口将处理的传感器数据传送至包括自驾驶控制单元的计算系统,
检测模块,被配置为检测传感器数据的传输状态,并将传感器数据的传输状态信息发送给分析模块,其中,所述传输状态信息包括传感器数据的帧率信息或者数据包频率信息;
分析模块,被配置为接收并分析所述传感器状态信息和相应类型传感器的数据的传输状态信息,判断传感器数据在传输或处理过程中是否发生异常,并在确认发生异常时,进行报警或生成提醒信息,其中,所述传感器状态信息包括:传感器的连接状态、传感器的同步状态、传感器的活动状态、传感器的电压或者传感器的温度;
其中,所述分析模块包括多个分析单元,每个分析单元与一种类型传感器对应并且被配置为分析该类型传感器的传感器状态信息和该类型传感器的数据的传输状态信息;
所述分析模块被配置为将所述检测模块报告的帧率信息与预设范围的帧率进行比较,以判断是否是帧率异常,或者将所述检测模块报告的数据包频率信息与预设范围的频率进行比较,判断是否发生异常;
所述分析模块经过所述第一计算系统接口与所述计算系统连接,以经由所述第一计算系统接口向所述计算系统发送检测到的异常信息;
所述处理模块包括多个处理子模块,每个处理子模块与一个传感器接口对应,从而处理从对应传感器接口获得的所述传感器数据;
所述监控装置以系统级芯片SOC的形式实现,所述系统级芯片SOC包括处理系统部分和可编程逻辑部分,所述分析模块以及所述第一计算系统接口位于所述系统级芯片的处理系统部分,所述处理模块以及所述第二计算系统接口位于所述系统级芯片的可编程逻辑部分。
2.如权利要求1所述的装置,其特征在于,所述分析模块还被配置为根据所述传感器状态信息的分析结果生成提示。
3.如权利要求1所述的装置,其特征在于,所述分析模块还被配置为分析传感器数据在传感器接口与处理模块之间以及处理模块内进行传输的传输状态信息。
4.如权利要求1所述的装置,其特征在于,所述分析模块还包括发布单元,发布单元被配置为发布分析模块所接收的传感器状态信息,所述分析单元还被配置为向发布单元订阅所述传感器状态信息。
5.一种监控方法,应用于监控装置上,其特征在于,包括:
通过传感器接口从不同类型的传感器接收传感器数据和传感器状态信息;
通过处理模块对所述传感器数据进行处理;
通过检测模块检测传感器数据的传输状态,并由检测模块将传感器数据的传输状态信息发送给分析模块,其中,所述传输状态信息包括传感器数据的帧率信息或者数据包频率信息;
通过所述分析模块的多个分析单元分析所述传感器状态信息和相应类型传感器的数据的传输状态信息,判断传感器数据在传输或处理过程中是否发生异常,并在确认发生异常时,进行报警或生成提醒信息,其中,所述传感器状态信息包括:传感器的连接状态、传感器的同步状态、传感器的活动状态、传感器的电压或传感器的温度;
通过所述分析模块经过第一计算系统接口将检测得到的异常信息向包括自驾驶控制单元的计算系统发送;
通过所述处理模块经由第二计算系统接口将处理的传感器数据传送至所述计算系统;
其中,每个分析单元与一种类型传感器对应并且被配置为分析该类型传感器的传感器状态信息和该类型传感器的数据的传输状态信息,所述分析传感器的数据的传输状态信息包括:将所述帧率信息与预设范围的帧率进行比较,以判断是否是帧率异常,或者将所述数据包频率信息与预设范围的频率进行比较,判断是否发生异常;
所述处理模块包括多个处理子模块,每个处理子模块与一个传感器接口对应,从而处理从对应传感器接口获得的所述传感器数据;
所述监控装置以系统级芯片SOC的形式实现,所述系统级芯片SOC包括处理系统部分和可编程逻辑部分,所述分析模块以及所述第一计算系统接口位于所述系统级芯片的处理系统部分,所述处理模块以及所述第二计算系统接口位于所述系统级芯片的可编程逻辑部分。
6.如权利要求5所述的方法,其特征在于,分析传感器数据的传输状态信息包括分析传感器数据在传感器接口与处理模块之间以及处理模块内进行传输的传输状态信息。
7.如权利要求5所述的方法,其特征在于,还包括由发布单元发布所述传感器状态信息,并由所述分析单元为向所述发布单元订阅所述传感器状态信息。
CN202110186618.1A 2021-02-18 2021-02-18 监控装置和监控方法 Active CN112527002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110186618.1A CN112527002B (zh) 2021-02-18 2021-02-18 监控装置和监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110186618.1A CN112527002B (zh) 2021-02-18 2021-02-18 监控装置和监控方法

Publications (2)

Publication Number Publication Date
CN112527002A CN112527002A (zh) 2021-03-19
CN112527002B true CN112527002B (zh) 2021-06-18

Family

ID=74975735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110186618.1A Active CN112527002B (zh) 2021-02-18 2021-02-18 监控装置和监控方法

Country Status (1)

Country Link
CN (1) CN112527002B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10077109B2 (en) * 2014-01-24 2018-09-18 Maxlinear, Inc. First-person viewer for unmanned vehicles
US9935685B2 (en) * 2015-05-28 2018-04-03 Qualcomm Incorporated DC power line synchronization for automotive sensors
US11584372B2 (en) * 2016-12-28 2023-02-21 Baidu Usa Llc Method to dynamically adjusting speed control rates of autonomous vehicles
CN109873734B (zh) * 2018-01-11 2021-07-13 贵州白山云科技股份有限公司 一种底层数据监控方法、介质、设备及装置
KR102211298B1 (ko) * 2018-08-24 2021-02-04 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 센서 간의 데이터 전송을 위한 데이터 전송 로직과 자율 주행 차량의 계획 및 제어
CN109204190A (zh) * 2018-09-26 2019-01-15 北京子歌人工智能科技有限公司 一种多传感器的车辆采集数据处理装置及方法
CN111629344B (zh) * 2020-04-15 2022-04-05 广州文远知行科技有限公司 数据传输方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN112527002A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN107776574B (zh) 一种自动驾驶车辆的驾驶模式切换方法和装置
US11915492B2 (en) Traffic light recognition method and apparatus
CN112050792B (zh) 一种图像定位方法和装置
US20230406297A1 (en) System and method for vehicle occlusion detection
CN107816976B (zh) 一种接近物体的位置确定方法和装置
US10528851B2 (en) System and method for drivable road surface representation generation using multimodal sensor data
CN112527003B (zh) 数据传输装置和系统
US10387736B2 (en) System and method for detecting taillight signals of a vehicle
US11610406B2 (en) System and method for lateral vehicle detection
US20190065864A1 (en) System and method for vehicle occlusion detection
US20180365835A1 (en) System and method for actively selecting and labeling images for semantic segmentation
CN112544061B (zh) 一种数据传输方法以及装置
EP4180295A1 (en) Method and device for recognizing vehicle motion state
EP4083943A1 (en) Method and apparatus for detecting lane lines, electronic device and storage medium
US20220270377A1 (en) Method and apparatus for detecting corner points of lane lines, electronic device and storage medium
WO2021217575A1 (zh) 用户感兴趣对象的识别方法以及识别装置
CN112527002B (zh) 监控装置和监控方法
CN115221151B (zh) 车辆数据的传输方法、装置、车辆、存储介质及芯片
CN115056784B (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN115123304A (zh) 故障追踪方法、装置、介质及芯片
CN117755324A (zh) 一种车辆控制装置及车辆
CN117194741A (zh) 数据采集方法、装置、控制器、车辆、存储介质与芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant