CN110830555A - 无人驾驶设备的数据处理方法、控制装置及存储介质 - Google Patents

无人驾驶设备的数据处理方法、控制装置及存储介质 Download PDF

Info

Publication number
CN110830555A
CN110830555A CN201910979278.0A CN201910979278A CN110830555A CN 110830555 A CN110830555 A CN 110830555A CN 201910979278 A CN201910979278 A CN 201910979278A CN 110830555 A CN110830555 A CN 110830555A
Authority
CN
China
Prior art keywords
data
type
driving
processing
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910979278.0A
Other languages
English (en)
Other versions
CN110830555B (zh
Inventor
李强
龙利民
胡勇超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Turing Artificial Intelligence Research Institute (nanjing) Co Ltd
Original Assignee
Turing Artificial Intelligence Research Institute (nanjing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Turing Artificial Intelligence Research Institute (nanjing) Co Ltd filed Critical Turing Artificial Intelligence Research Institute (nanjing) Co Ltd
Priority to CN201910979278.0A priority Critical patent/CN110830555B/zh
Publication of CN110830555A publication Critical patent/CN110830555A/zh
Application granted granted Critical
Publication of CN110830555B publication Critical patent/CN110830555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4633Interconnection of networks using encapsulation techniques, e.g. tunneling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/565Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种无人驾驶设备的数据处理方法、控制装置及存储介质,所述无人驾驶设备具有多个传感器,所述数据处理方法包括以下步骤:在预设的时间间隔内获取所述无人驾驶设备的行驶数据,其中,所述行驶数据是基于所述多个传感器所提供的至少一个传感器数据而产生的;将所述行驶数据和/或其处理后数据根据其所属的至少一种数据类型封装至一具有时序标签的封装结构中予以发送;其中,所述封装结构包含至少一种数据类型。本申请公开的无人驾驶设备的数据处理方法、控制装置及存储介质降低了封装后的数据包中不同数据之间的延时,保证了不同数据时序的一致性。

Description

无人驾驶设备的数据处理方法、控制装置及存储介质
技术领域
本申请涉及无人驾驶技术领域,特别是涉及一种无人驾驶设备的数据处理方法、控制装置及存储介质。
背景技术
无人驾驶设备通常包含了多个传感器,包括长距雷达、短距雷达、摄像头、超声波、GPS、陀螺仪等,并且每个传感器在无人驾驶设备运行时都不断产生数据。目前,多个传感器的数据通常采取多通道进行网络传输至服务端或者客户端。
但是,由于每个传感器数据的数据处理所需时间不同并且每个传感器数据的传输速度不同,各个传感器数据经过网络会不同步地传输至客户端,导致用户在远程查看无人驾驶设备的行驶情况时会存在由于各传感器数据之间的时序不一致而产生的一系列错误监控。例如,错误的确定无人驾驶设备所在位置。又如,错误的确定无人驾驶设备的异常等。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种无人驾驶设备的数据处理方法、控制装置及存储介质,用于解决现有技术中用户在远程客户端查看无人驾驶设备的多个传感器数据时各传感器数据之间的时序不一致的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种无人驾驶设备的数据处理方法,所述无人驾驶设备具有多个传感器,所述数据处理方法包括以下步骤:在预设的时间间隔内获取所述无人驾驶设备的行驶数据,其中,所述行驶数据是基于所述多个传感器所提供的至少一个传感器数据而产生的;将所述行驶数据和/或其处理后数据根据其所属的至少一种数据类型封装至一具有时序标签的封装结构中予以发送;其中,所述封装结构包含至少一种数据类型。
在本申请的第一方面的某些实施方式中,所述行驶数据包括以下至少一种:直接从所述多个传感器中的至少一个所读取的传感器数据;利用所述无人驾驶设备中的数据处理系统从所述多个传感器中的至少一个所读取的传感器数据;以及从所述无人驾驶设备中的数据处理系统读取的对至少一个所述传感器所提供的传感器数据处理后得到的数据。
在本申请的第一方面的某些实施方式中,所述时间间隔是依据所述行驶数据的数据量、所述传感器的最低输出频率、通信网络吞吐量中的至少一种而设置的时长。
在本申请的第一方面的某些实施方式中,所述数据类型是基于用户侧显示而设置的类型、和/或基于无人驾驶设备侧采集而设置的类型。
在本申请的第一方面的某些实施方式中,所述处理后数据是按照所述数据类型对所述行驶数据进行数据处理而得到的。
在本申请的第一方面的某些实施方式中,所述处理后数据包括:按照所述数据类型对所述时间间隔内所获取的行驶数据进行数据处理而得到的数据;和/或按照所述数据类型对一预设冗余时长内所获取的行驶数据进行数据处理而得到的数据;其中所述冗余时长是在所述时间间隔的起始时刻之前的一预设时长。
在本申请的第一方面的某些实施方式中,所述处理后数据包括:按照所述数据类型对所述行驶数据进行压缩处理而得到的数据;和/或按照所述数据类型对所述行驶数据进行数据整合处理而得到的数据。
在本申请的第一方面的某些实施方式中,所述按照数据类型对所述行驶数据进行压缩处理而得到的数据包括以下至少一种:按照所述数据类型将所获取的相应类型行驶数据进行算术处理得到的处理后数据;按照所述数据类型将所获取的相应类型行驶数据进行编码压缩处理得到的处理后数据;按照所述数据类型将所获取的相应类型行驶数据进行降采样处理得到的处理后数据;以及按照所述数据类型将所获取的相应类型行驶数据进行聚合处理得到的处理后数据。
在本申请的第一方面的某些实施方式中,所述时序标签包括时间戳。
在本申请的第一方面的某些实施方式中,所述封装结构包括为用于搜索所述数据类型而设置的目录结构。
在本申请的第一方面的某些实施方式中,所述将行驶数据和/或其处理后数据根据其所属的至少一种数据类型封装至一封装结构中予以发送的步骤包括:基于长连接传输协议将封装后的数据包予以发送。
在本申请的第一方面的某些实施方式中,还包括以下至少一种超时操作:基于在所述时间间隔内未获取到所述行驶数据的获取结果,对所述时间间隔进行超时处理;基于在所述时间间隔内未获取到所述行驶数据的获取结果,将与所述行驶数据相对应的至少一个数据类型进行超时处理,以便执行数据封装操作;以及将在当前所述时间间隔内收到的此前任一所述时间间隔内所产生的行驶数据予以丢弃。
本申请的第二方面还提供一种客户端,包括:接口模块,用于与一无人驾驶设备或服务端进行数据通信以获取具有时序标签的封装结构的数据包;其中,所述数据包中包含按照至少一种数据类型封装的行驶数据和/或其处理后数据;显示处理模块,与所述接口模块相连,用于基于所述封装结构解析所述接口模块获取的数据包,以得到一预设的时间间隔内所述行驶数据和/或其处理后数据;以及基于一显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示。
在本申请的第二方面的某些实施方式中,所述获取具有时序标签的封装结构的数据包的步骤包括:基于长连接传输协议获取所述数据包。
在本申请的第二方面的某些实施方式中,所述基于一显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示的步骤包括:依据所述封装结构中的时序标签,显示相应类型的行驶数据和/或其处理后数据。
在本申请的第二方面的某些实施方式中,所显示的行驶数据和/或其处理后数据是依据所述显示界面中所设置的数据类型在所述封装结构中的目录结构中搜索获得的。
本申请的第三方面还提供一种计算机设备,包括:显示装置,用于显示一显示界面;存储装置,用于存储至少一个程序;接口装置,用于与一无人驾驶设备或服务端进行数据通信;处理装置,与所述显示装置、存储装置和接口装置相连,用于执行所述至少一个程序,以协调所述显示装置、存储装置和接口装置执行如下的数据处理方法:获取具有时序标签的封装结构的数据包;其中,所述数据包中包含至少一种数据类型的行驶数据和/或其处理后数据;基于所述封装结构解析所述接口装置获取的数据包,以得到一预设的时间间隔内按照数据类型划分的行驶数据和/或其处理后数据;以及基于所述显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示。
在本申请的第四方面还提供一种车辆,包括:多个传感器,其中,每个传感器提供传感器数据;存储装置,用于存储至少一个程序;接口装置,用于与计算机设备或服务端进行数据通信,以及用于获取基于所述多个传感器所提供的至少一个传感器数据而产生的行驶数据;处理装置,与所述多个传感器、存储装置和接口装置相连,用于执行所述至少一个程序,以协调所述多个传感器、存储装置和接口装置执行本申请第一方面任一实施方式所述的无人驾驶设备的数据处理方法。
在本申请的第五方面还提供一种无人驾驶设备的控制装置,所述无人驾驶设备具有多个传感器,所述控制装置包括:存储装置,用于存储至少一个程序;接口装置,用于与计算机设备或服务端进行数据通信,以及用于获取基于所述多个传感器所提供的至少一个传感器数据而产生的行驶数据;处理装置,与所述存储装置和接口装置相连,用于执行所述至少一个程序,以协调所述存储装置和接口装置执行本申请第一方面任一实施方式所述的无人驾驶设备的数据处理方法。
在本申请的第六方面还提供一种数据处理系统,包括:本申请第五方面所述的无人驾驶设备的控制装置;服务端,用于获取、存储和转发来自所述控制装置的数据包;其中,所述数据包包含根据至少一种数据类型封装至一具有时序标签的封装结构中的行驶数据和/或其处理后数据;本申请第三方面所述的计算机设备,基于一显示界面中所设置的数据类型,显示与其类型相符的行驶数据和/或其处理后数据。
在本申请的第六方面的某些实施方式中,所述服务端基于所获取的数据包中的数据类型对所述行驶数据和/或其处理后数据进行存储。
在本申请的第七方面还提供一种计算机可读存储介质,存储至少一种程序,所述至少一种程序在被调用时执行本申请第一方面任一实施方式所述的无人驾驶设备的数据处理方法。
如上所述,本申请的无人驾驶设备的数据处理方法、控制装置及存储介质,具有以下有益效果:既可以提升用户在远程客户端实时查看无人驾驶设备的多个传感器数据时多个传感器数据的时序同步性,又可以提升用户在远程客户端回放查看服务端存储的多个传感器数据时多个传感器数据的时序同步性。
附图说明
图1显示为本申请的无人驾驶设备在一实施例中的硬件结构示意图。
图2显示为本申请的无人驾驶设备的数据处理方法在一实施例中的流程示意框图。
图3显示为本申请的无人驾驶设备的数据处理方法在另一实施例中的流程示意框图。
图4显示为本申请的时间间隔和冗余时长的时序关系示意图。
图5显示为本申请的无人驾驶设备的控制装置在一实施例中的硬件结构示意图。
图6显示为本申请的车辆在一实施例中的硬件结构示意图。
图7显示为本申请的客户端在一实施例中的结构示意图。
图8显示为本申请的计算机设备在一实施例中的硬件结构示意图。
图9显示为本申请的计算机设备执行的数据处理方法在一实施例中的流程示意框图。
图10显示为本申请的数据处理系统在一实施例中的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一预设阈值可以被称作第二预设阈值,并且类似地,第二预设阈值可以被称作第一预设阈值,而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值,但是除非上下文以其他方式明确指出,否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
无人驾驶设备在周身和内部的关键部件上配置有不同种类的传感器,以获取设备外部的传感器数据和设备内部运行的传感器数据,无人驾驶设备中的数据处理系统配置有机器人操作系统(ROS,Robot Operating System),其用于为无人驾驶的应用程序提供运行平台。其中,所述无人驾驶的应用程序利用所获取的各类传感器数据进行定位、避障、实时导航、无人驾驶设备的移动控制等。
对于运营无人驾驶设备的公司、无人驾驶设备制造商等企业来说,为便于测试、监控无人驾驶设备的行驶情况,将传感器数据收集到服务端,有利于技术人员进行数据分析以确定无人驾驶设备在行驶期间的行驶情况。有鉴于无人驾驶设备在实时监控、车联网业务中对数据实时性的需求,实时地获取无人驾驶设备中各类传感器数据,以便基于对实时数据的分析解决相应设计需求;或者将实时数据展示给用户以实现对无人驾驶设备远程监控。
由于无人驾驶设备的每个传感器独立输出各自的传感器数据,各传感器的工作频率、输出的数据量都不相同,在进行远程数据通信时,远程端将以不一致的时序获取各传感器数据。其中,所述远程端可为与所述无人驾驶设备网络连接的计算机设备或服务端。例如,无人驾驶设备中的速度传感器和摄像装置各自所提供的传感器数据之间无关联,使得两种传感器数据之间不具有一致性的时序关系,远程端利用时序不一致的多种传感器数据进行数据处理不利于反映无人驾驶设备的行驶过程。例如不利于准确定位无人驾驶设备发生碰撞的位置,不利于确定障碍物与无人驾驶设备的间距等。
为此,本申请提供一种无人驾驶设备的数据处理方法、控制装置及存储介质,使远程端所获取的不同种类传感器数据的时序在可接受时间间隔内保持一致。
在此,所述无人驾驶设备是具备智能的环境感知能力并且能够自动分析所述无人驾驶设备行驶的安全状态和危险状态的驾驶设备。所述无人驾驶设备可替代用户来操作并且能按照用户的意愿到达目的地。例如,用户在无人驾驶设备的导航装置中输入目的地,所述无人驾驶设备可自动启动,通过多个传感器感知行驶环境的情况并基于感知结果调整所述无人驾驶设备的行驶状态使所述无人驾驶设备行驶至目的地。所述无人驾驶设备包括但不限于:无人驾驶车辆、无人机等,或者具有自动辅助驾驶功能的车辆、飞行器等。
请参阅图1,图1显示为本申请的无人驾驶设备在一实施例中的硬件结构示意图,如图所示,所述无人驾驶设备包括多个传感器11、存储装置14、接口装置12、处理装置13。
其中,每个传感器11提供传感器数据。所述传感器11包括但不限于:感应所述无人驾驶设备关键部件数据的传感器、感应所述无人驾驶设备行驶情况的传感器、感应所述无人驾驶设备周边障碍物的传感器。其中,感应所述无人驾驶设备关键部件数据的传感器包括但不限于:用于进行胎压监控的传感器、用于提供防锁死刹车系统(ABS,Anti-lockedBraking System)工作状态的传感器、用于空气悬挂系统的传感器、集成有传感电路的检测系统等。其中,所述检测系统举例包括:胎压监控系统、ABS系统、空气悬挂系统。感应所述无人驾驶设备行驶情况的传感器包括但不限于:全球定位系统(GPS,Global PositioningSystem)、惯性测量传感器、编码器等。感应所述无人驾驶设备周边障碍物的传感器包括但不限于:摄像装置、雷达等。所述摄像装置包括但不限于:单目RGB相机、双目RGB相机、被动式红外相机、主动式红外相机、事件相机(Event Camera)等。所述雷达包括但不限于:激光雷达、长距雷达、短距雷达、超声波雷达、毫米波雷达等。
所述存储装置14用于存储至少一个程序。其中,所述至少一种程序可供所述处理装置13执行本申请所述的无人驾驶设备的数据处理方法。
在此,存储装置14包括但不限于:只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、非易失性存储器(Nonvolatile RAM,简称NVRAM)。例如,存储装置14包括闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置14还可以包括远离一个或多个处理装置的存储器,例如,经由RF电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WAN)、存储局域网(SAN)等,或其适当组合。存储装置14还包括存储器控制器,其可控制所述无人驾驶设备的诸如中央处理器(CPU)和接口装置之类或其他组件对存储器的访问控制。
接口装置12用于与计算机设备或服务端进行数据通信,以及用于获取所述无人驾驶设备的行驶数据。其中,所述接口装置12包括网络接口、数据线接口等。其中所述网络接口包括但不限于以下至少一种:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙、ZigBee等)的网络接口装置等。例如,所述接口装置12中的至少一个网络接口与服务端或者计算机设备通信连接。所述数据线接口包括但不限于以下至少一种:USB接口、RS232接口、CANBUS接口等。例如,所述接口装置12中的至少一个数据线接口与所述多个传感器或者所述无人驾驶设备的数据处理系统连接。
处理装置13与所述多个传感器11、存储装置14和接口装置12相连,用于执行所述至少一个程序,以协调所述多个传感器11、存储装置14和接口装置12执行本申请所述的无人驾驶设备的数据处理方法。所述处理装置13包括一个或多个处理器。处理装置13可操作地与存储装置14执行数据读写操作。处理装置13执行诸如数据压缩处理、数据编码、数据解码等。所述处理装置13包括一个或多个通用微处理器、中央处理器(CPU)一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(Digital Signal Processor,简称DSP)、一个或多个现场可编程逻辑阵列(Field Programmable Gate Array,简称FPGA)、或它们的任何组合。
请参阅图2,图2显示为本申请的无人驾驶设备的数据处理方法在一实施例中的流程示意框图,如图所示,所述数据处理方法可以由所述无人驾驶设备的处理装置13协调所述多个传感器11、存储装置14和接口装置12来执行,或者由可执行所述数据处理方法相关步骤的其他计算机设备来执行。
在步骤S110中,在预设的时间间隔内获取所述无人驾驶设备的行驶数据,其中,所述行驶数据是基于所述多个传感器所提供的至少一个传感器数据而产生的。在此,所述处理装置13以所述时间间隔为单位时长,在每一时间间隔内通过所述接口装置而获得的行驶数据,并利用该时间间隔内所获取的行驶数据执行后续步骤(如步骤S120)。需要说明的是,与各传感器实际输出数据的频率、系统负载等因素相关,每一时间间隔内所能获取的行驶数据并非总是来自于全部传感器。例如,所述处理装置13在t1时间间隔内通过接口装置12获取到速度传感器的传感器数据、转向传感器的传感器数据和GPS的传感器数据,并将所获取的三种传感器数据作为行驶数据;所述处理装置13在t2时间间隔内通过接口装置获取到速度传感器的传感器数据、胎压传感器的传感器数据、转向传感器的传感器数据和GPS的传感器数据,并将所获取的四种传感器数据作为行驶数据等。
其中,所述行驶数据包括以下至少一种:直接从所述多个传感器中的至少一个所读取的传感器数据,利用所述无人驾驶设备中的数据处理系统从所述多个传感器中的至少一个所读取的传感器数据,以及从所述无人驾驶设备中的数据处理系统读取的对至少一个所述传感器所提供的传感器数据处理后得到的数据。
例如,所述处理装置13通过CANBUS接口与速度传感器、胎压传感器、转向传感器等相连,通过单独的USB接口(或USB集线器)与GPS、摄像装置、雷达传感器等分别连接,从而在时间间隔内获得无人驾驶设备中各传感器所提供的传感器数据,所获取的各传感器数据作为行驶数据。
所述处理装置13所获取的传感器数据不限于以上示例,其包括但不限于以下至少一种:从胎压监控中读取的车轮轮胎的气压数据、从ABS中读取的每个车轮的速度数据、从空气悬挂中读取的所述无人驾驶设备底盘的离地距离数据、从GPS中读取的所述无人驾驶设备的定位数据、从IMU中读取的所述无人驾驶设备的姿态数据、从CANBUS中读取的所述无人驾驶设备的总线数据、从摄像装置中读取的用于描述所述无人驾驶设备周边障碍物的图像数据、从雷达中读取的用于描述所述无人驾驶设备周边障碍物的点云数据。
又如,所述处理装置13通过接口装置12连接数据处理系统,由所述数据处理系统转发在时间间隔内所述多个传感器所提供的至少一种传感器数据。所转发的传感器数据包括但不限于:通过所述数据处理系统读取感应所述无人驾驶设备关键部件数据的传感器中的传感器数据、通过所述数据处理系统读取感应所述无人驾驶设备行驶情况的传感器中的传感器数据、通过所述数据处理系统读取感应所述无人驾驶设备周边障碍物的传感器中的传感器数据。其中,读取的各所述传感器中的传感器数据与直接从所述多个传感器中所读取的传感器数据相同或相似,在此不再详述。
再如,所述处理装置13通过接口装置12与所述无人驾驶设备中的数据处理系统相连,获取所述数据处理系统在时间间隔内处理各传感器数据后输出的行驶数据。其中,所述数据处理系统举例为无人驾驶设备的电子终端设备,如无人驾驶车辆的中控系统等。其中,由所述数据处理系统所输出的行驶数据包括但不限于以下至少一种:所述数据处理系统对在时间间隔内所获取的至少一个传感器数据进行预处理后所输出的第一数据,所述数据处理系统对迭代了当前时间间隔和此前至少一个时间间隔内所获取的传感器数据进行预处理后所输出的第二数据,所述数据处理系统在所述时间间隔内依据各传感器数据而规划的路径规划数据。
其中,对至少一个传感器数据进行预处理而得到所述第一数据的方式举例包括但不限于:在所述时间间隔内的平均处理、在所述时间间隔内的采样处理等。以为传感器数据包括速度传感器数据为例,所述数据处理系统在时间间隔内所输出的第一数据包含在所述时间间隔内的速度平均值。
其中,对至少一个传感器数据进行预处理而得到所述第二数据的方式举例包括但不限于:根据当前时间间隔和此前至少一个时间间隔内所获取的传感器数据进行对象识别跟踪等。其中,所述对象识别跟踪方法举例包括:利用地图差分法、实体类聚法、目标跟踪法等算法对所述雷达中的传感器数据进行障碍物识别跟踪;或者利用光流方法、基于几何的聚类方法等算法将所述摄像装置中的传感器数据进行障碍物识别跟踪等。再如,所述数据处理系统利用所述雷达和/或所述摄像装置中的传感器数据对障碍物进行跟踪并产生障碍物对象跟踪数据。以为传感器数据包括雷达测距传感器数据为例,所述数据处理系统基于(t-1)时间间隔和t时间间隔内所获取的雷达测距传感器数据进行障碍物追踪,所输出的第二数据为在t时间间隔内所述障碍物相对于无人驾驶设备的位置信息。
其中,所述路径规划数据举例为所述数据处理系统根据所述无人驾驶设备根据已获取的各种传感器数据而确定在至少一个时间间隔内待行驶的路径规划数据。例如,数据处理系统根据在所述时间间隔内获取的相对于障碍物的位置信息修改绕行路线,并将所修改的对应绕行路线的路径规划数据作为行驶数据予以输出。
在此,所述时间间隔可以是固定的,或者是依据行驶数据的数据量、传感器的最低输出频率、数据处理系统输出行驶数据的最低频率、指定一个传感器频率、通信网络吞吐量中的至少一种等而设置的时长。其中,所述频率表示所述传感器或数据处理系统在单位时间内发出某一种类的行驶数据的数量,所述单位时间举例为1s。
以所述时间间隔是基于所述多个传感器中最低的数据输出频率而预设的为例,在每秒内摄像装置产生图像数据的数量低于所述无人驾驶设备中其他传感器产生的数据数量,预先基于摄像装置的数据产生频率来确定所述时间间隔。例如,所述摄像装置的数据产生频率为30fps,则将所述预设的时间间隔为1/30秒预存在存储装置中。
需要说明的是,该示例也适用于所述时间间隔是基于数据处理系统输出行驶数据的最低频率而预设的。
以所述时间间隔是基于行驶数据的数据量而预设的为例,基于行驶数据中数据量最大的数据的传输时长而确定所述预设的时间间隔。例如,处理装置依据当前通信网络的吞吐能力和所获取的行驶数据中图像数据的数据量确定下一时间间隔。
结合上述各示例,所述时间间隔可预存储一固定值,处理装置13根据实际数据获取频率、网络通信吞吐量等对所述时间间隔进行调整。
所述处理装置13利用在所述时间间隔内所获取的行驶数据执行步骤S120。在另一些实施方式中,所述处理装置13执行步骤S130。
在此,先叙述处理装置13执行步骤S120的过程:
在步骤S120中,将所述行驶数据根据其所属的至少一种数据类型封装至一具有时序标签的封装结构中予以发送。其中,所述封装结构包含至少一种数据类型。
其中,所述数据类型可以基于无人驾驶设备侧采集而设置的类型,以供远程端依据所述数据类型显示行驶数据,或对行驶数据进行后续处理。所述数据类型根据所能获取的行驶数据的数据来源、物理含义等进行预先划分。在一具体示例中,依据数据来源而预先划分的数据类型包括但不限于:基于相应传感器提供的传感器数据而设置的第一数据类型、和/或基于数据处理系统所提供的行驶数据而设置的第二数据类型。其中,第一数据类型举例但不限于:轮胎气压信息类型、车轮速度信息类型、底盘离地距离信息类型、定位数据信息类型、姿态信息类型、总线信息类型、图像信息类型、点云信息类型。第二数据类型举例但不限于:路径规划信息类型、障碍物对象识别信息类型、障碍物对象跟踪信息类型等。在又一具体示例中,依据物理含义而预先划分的数据类型包括但不限于以下至少一种:基于计量单位而设置的第三数据类型、基于地理位置而设置的第四数据类型、基于分辨率而设置的第五数据类型、自定义的第六数据类型。其中,第三数据类型举例但不限于:轮胎气压信息类型、车轮速度信息类型、姿态信息类型、底盘离地距离信息类型。第四数据类型举例包括:定位数据信息类型、路径规划信息类型。第五数据类型举例包括:图像信息类型、点云信息类型。第六数据类型举例但不限于:障碍物对象跟踪信息类型、驱动方式类型等。
所述数据类型还可以基于用户侧显示而设置的类型。所述基于用户侧显示而设置的类型是基于用户侧如何显示所述行驶数据和/或其处理后数据而设置的类型,其包括但不限于:位姿信息类型、总线信息类型、路径规划信息类型、图像信息类型、激光点云信息类型、障碍物对象信息类型等。其中,所述位姿信息类型中包括但不限于:经度信息类型、纬度信息类型、高度信息类型、方向信息类型等,所述总线信息类型中包括但不限于:速度信息类型、方向信息类型、加速度信息类型、驱动方式信息类型等,所述路径规划信息类型包括但不限于:路径规划信息类型等,所述图像信息类型包括但不限于:图像高度信息类型、图像宽度信息类型、真实图像信息类型等,所述激光点云信息类型包括但不限于:激光点云信息类型等,所述障碍物对象信息类型包括但不限于:障碍物位置信息类型、障碍物类型信息类型、障碍物图像信息类型等。
所述封装结构是基于所述至少一种数据类型和序列化数据结构协议预先定义的。所述序列化数据结构协议包括但不限于:JSON、XML、ProtoBuf、自定义协议等。
所述封装结构还包括时序标签。所述时序标签用于表示依据步骤S110中获取行驶数据的时间顺序而封装各所述行驶数据的封装顺序,以供远程端依时序处理所接收的数据包。所述时序标签举例为时间戳。所述时间戳可以以获取行驶数据的时间间隔的起始时刻或结束时刻而设置,或者所述时间戳以封装时间而设置。
以ProtoBuf为例,所述时间戳以timestamp表示。处理装置13将t1时间间隔和t2时间间隔各自获取的行驶数据分别封装成数据包D1和D2,其中数据包D1中的时间戳依据t1时间间隔的起始时刻而设置,如timestamp为基于2019年10月08日15时31分1/25秒而编码的信息;数据包D2中的时间戳依据t2时间间隔的起始时刻而设置,如timestamp为基于2019年10月08日15时31分2/25秒而编码的信息。其中,两时间间隔均为1/25s。
处理装置13将t1时间间隔和t2时间间隔各自获取的行驶数据分别封装成数据包D1和D2,其中数据包D1中的时间戳依据相应封装时间而设置,如timestamp为基于2019年10月08日15时31分4/25秒而编码的信息;数据包D2中的时间戳依据相应封装时间的起始时刻而设置,如timestamp为基于2019年10月08日15时31分5/25秒而编码的信息。
在另一实施例中,所述封装结构包括为用于搜索所述数据类型而设置的目录结构。以ProtoBuf为例,所述目录结构的数据类型名称为treenode。为便于用户侧的计算机设备依据显示条目而搜索所述数据类型,在封装结构中设置目录结构,其中,所述目录结构设置在数据包的包头、包尾、或数据中。在一具体实施例中,用户侧的计算机设备只显示定位数据信息类型的数据,则计算机设备基于所述目录结构来搜索与所述定位数据信息类型相对应的数据。以ProtoBuf为例,所述目录结构包括每个数据类型的标识号(Field Tag),各标识号分别存放在目录结构的各树结点中。由于所述封装结构中每一所述数据类型均对应唯一的标识号,所以用户侧的计算机设备在进行反序列化时,可以基于所述目录结构中的每个数据类型的标识号搜索到与所述定位数据信息类型相对应的数据。
利用上述任一示例所提供的数据类型和封装结构,处理装置13依据预先设置的多个数据类型,确定在时间间隔内所获取的行驶数据中所包含的至少一种数据类型的数据。例如,处理装置依据无人驾驶设备的十个传感器确定十种数据类型;在t2时间间隔内,处理装置获取到的行驶数据中包含三种传感器数据,则以三个数据类型输出该三种传感器数据。处理装置13将在时间间隔内所获取的包含各数据类型数据的行驶数据封装在一封装结构中并设置时序标签,封装后形成的数据包可发送至服务端或计算机设备。在此,对于服务端或用户侧的计算机设备来说,可依据封装结构中的数据类型将相应的数据予以显示,或经后续处理后予以显示。例如,处理装置13依据预设的地址将封装后的数据包发送至云端,由云端转发至用户侧的计算机设备(或称为终端设备),以供计算机设备依据数据类型将无人驾驶设备在相应时间间隔内的行驶数据予以显示。又如,处理装置13依据预先存储的终端设备信息将封装后的数据包发送至用户侧的相应计算机设备,以供计算机设备依据数据类型将无人驾驶设备在相应时间间隔内的行驶数据予以显示。
在前述提及的另一实施方式中,如图3所示,在所述步骤S130中,处理装置13将对所述行驶数据进行处理后得到的处理后数据根据其所属的至少一种数据类型封装至一具有时序标签的封装结构中,予以发送。其中,所述封装结构包含至少一种数据类型。
其中,所述处理后数据是按照所述行驶数据的数据类型对所述行驶数据进行数据处理而得到的。所述行驶数据的数据类型与前文所述的相同或相似,在此不再详述。其中,所述封装结构与前文所述的相同或相似在此不再详述。
所述处理装置13根据在时间间隔内所获取的行驶数据的数据类型对所述行驶数据进行数据处理。如果在一时间隔内获取的与所述数据类型相对应的行驶数据能完整反应所述无人驾驶设备在该时间间隔内的行驶情况,则处理装置可以对所述时间间隔内所获取的行驶数据进行数据处理。例如,在一时间隔内t3内,所述处理装置13获取的经度信息类型的至少一个经度数据可以完全反应所述无人驾驶设备在该时间间隔内所在位置的经度,则所述处理装置13可以直接对所述时间间隔内获取的至少一个经度数据进行相应数据处理。又如,在一时间隔内t4内,所述处理装置13获取的轮胎气压信息类型的至少一个气压数据可以完全反应所述无人驾驶设备在该时间间隔内轮胎的压力情况,则所述处理装置13可以直接对所述时间间隔内获取的至少一个气压数据进行相应数据处理。
如果在一时间隔内处理装置13获取的与所述数据类型相对应的行驶数据不能完整反应所述无人驾驶设备在该时间间隔内的行驶情况,则处理装置13对所述时间间隔内和一预设冗余时长内所获取的行驶数据进行数据处理。其中,所述冗余时长是在所述时间间隔的起始时刻之前的一预设时长。例如,请参阅图4,图4显示为本申请的时间间隔和冗余时长的时序关系示意图,如图所示,所述时间间隔3的冗余时长5是在所述时间间隔3的起始时刻之前的一预设时长。所述冗余时长可基于所述时间间隔、所述行驶数据的数据量等影响因素而设置。例如,所述数据类型为激光点云信息类型,处理装置13对与所述激光点云信息类型相对应的激光点云数据进行数据处理时,如图4所示,需要对所述时间间隔3内所获取的激光点云数据和时间间隔3的冗余时长5内所获取的激光点云数据进行数据处理,进而得到所述处理后数据。其中,得到的所述处理后数据可以完整地反应时间间隔3内所述无人驾驶设备周边障碍物的情况。
所述处理装置13根据所述数据类型确定相对应的行驶数据的处理时间后,对相应处理时间内获取的所述行驶数据进行数据处理。所述数据处理包括处理装置13按照所述数据类型对所述行驶数据进行压缩处理、按照所述数据类型对所述行驶数据进行数据整合处理。
其中,所述整合处理既可以通过整合其他行驶数据来确认已有的与所述数据类型相对应的行驶数据的准确性,也可以在没有与所述数据类型相对应的行驶数据时整合其他数据类型的行驶数据而得到所述数据类型中的数据。例如,所述无人驾驶设备的处理装置13在一时间间隔t2内能获取GPS定位数据时,所述位姿信息类型中的经度信息类型的数据、纬度信息类型的数据可以直接从GPS定位数据中获取。为了确定所述经度、纬度等数据的准确性,也可以在一时间间隔t2内对GPS定位数据和移动网络提供的基站定位数据进行整合处理来获取。所述整合处理的方式包括但不限于:对预设时间间隔内获取的两种定位数据作均值处理、对预设时间间隔内获取的两种定位数据作中位数处理等。所述整合处理方式并不限于此,所述处理方式与所述数据类型相关。又如,所述无人驾驶设备无GPS或者在预设时间间隔内处理装置13没获取到所述GPS定位数据时,处理装置13可以基于前一时间间隔t1内获取的车轮速度数据和车轮转向数据以及所述位姿信息类型中的经度、纬度数据来获取当前时间间隔t2内的所述位姿信息类型中的经度、纬度等数据。
其中,所述压缩处理是为了在将所述封装后的数据包发送至服务端或用户侧的计算机设备(或称为终端设备)的过程中减少通信的数据量、提升数据传输的实时性。对所述行驶数据进行压缩处理的方式与所述数据类型相关。
在一实施方式中,对所述行驶数据进行压缩处理得到的处理后数据包括按照所述数据类型将所获取的相应类型行驶数据进行算术处理而得到的处理后数据。所述算术处理是对一时间间隔内处理装置13所获取的行驶数据作均值处理、中位数处理等算术处理,以得到所述处理后数据。所述均值处理是对时间间隔内获取的m个数据加和后除以m而得到处理后数据。其中,m为整数。所述中位数处理是对所述时间间隔内获取的m个数据按数据取值的大小排序后,提取中间的数据,当m为偶数时提取中间的两个数据作均值处理后得到处理后数据。例如,所述数据类型为总线信息类型,总线信息类型中定义的速度信息类型、方向信息类型、加速度信息类型、驱动方式信息类型相对应的行驶数据为数值型,则所述处理装置13可以在所述预设时间间隔t2内对获取的速度数据、方向数据、加速度数据、驱动方式数据分别进行均值处理或中位数处理,以得到压缩的处理后数据。
在另一实施方式中,对所述行驶数据进行压缩处理得到的处理后数据包括按照所述数据类型将所获取的相应类型行驶数据进行编码压缩处理得到的处理后数据。所述编码压缩处理是指处理装置13对一时间间隔内所获取的行驶数据依据编码压缩技术进行处理,以得到所述处理后数据。所述编码压缩技术包括但不限于:离散余弦变换编码(DCT)、可变长度编码(VLC)等数据编码压缩技术。例如,所述数据类型为图像信息类型,所述图像信息类型中定义的真实图像信息类型相对应的行驶数据为图像型,则所述处理装置13可以在所述预设时间间隔t2内对获取的真实图像数据依据编码压缩技术进行编码压缩处理,以得到压缩的处理后数据。
在又一实施例中,对所述行驶数据进行压缩处理得到的处理后数据包括按照所述数据类型将所获取的相应类型行驶数据进行降采样处理得到的处理后数据。所述降采样处理是指处理装置13对一时间间隔内所获取的行驶数据作抽样处理。所述抽样处理可以取所述时间间隔内任一时刻所对应的一个行驶数据作为处理后数据;也可以取所述时间间隔内多个时刻所对应的多个行驶数据,对所述多个行驶数据作均值处理后得到所述处理后数据。例如,所述数据类型为路径规划信息类型,所述路径规划信息类型的数据不便于作均值、提取中位数等处理,则所述处理装置13可以在一时间间隔t2内对获取的路径规划数据作抽样处理,处理装置13可以取所述时间间隔t2的起始时刻所对应的路径规划数据作为处理后数据。
在再一实施例中,对所述行驶数据进行压缩处理得到的处理后数据包括按照所述数据类型将所获取的相应类型行驶数据进行聚合处理得到的处理后数据。所述聚合处理是所述处理装置13基于配准拼接技术对一时间间隔内和该时间间隔的冗余时长内所获取的行驶数据进行数据处理。所述配准拼接技术是利用有重叠的两部分行驶数据完成两部分数据的配准,从而获取所述无人驾驶设备在该时间间隔内全面数据的技术。其中,在所述配准拼接技术中应用的算法包括但不限于:局部配准算法、全局配准算法、最近迭代配准算法、遗传算法等。例如,所述数据类型为激光点云信息类型,所述激光点云信息类型的数据为三维点云数据,由于所述三维点云数据具有冗余性,所述处理装置13可以在一时间间隔t2内和t2的冗余时长内对所述激光点云数据进行配准拼接,通过所述配准拼接的聚合处理方式可以获取所述无人驾驶设备行驶环境的全方位的空间点云信息。
利用上述任一示例所提供的数据类型、封装结构、压缩处理方式、整合处理方式,处理装置13依据预先设置的多个数据类型,对获取的相应数据类型的行驶数据进行数据处理得到处理后数据,并确定对应一处理时间的处理后的行驶数据中所包含的至少一种数据类型的数据。所述处理时间包括:所述时间间隔、所述时间间隔及其冗余时长。例如,处理装置13依据无人驾驶设备的十个传感器确定十种数据类型;在t2时间间隔内,处理装置13获取到的行驶数据中包含三种传感器数据,则以依据该三种传感器数据所属的数据类型进行数据处理,以得到三种数据类型的处理后数据。处理装置13将在时间间隔内所得到的包含各数据类型数据的处理后数据封装在一封装结构中并设置时序标签,封装后形成的数据包可发送至服务端或计算机设备。在此,对于服务端或用户侧的计算机设备来说,可依据封装结构中的数据类型将相应的处理后数据予以显示,或经后续处理后予以显示。例如,处理装置13依据预设的地址将封装后的数据包发送至云端,由云端转发至用户侧的计算机设备(或称为终端设备),以供计算机设备依据数据类型将无人驾驶设备在相应时间间隔内的处理后的行驶数据予以显示。又如,处理装置13依据预先存储的终端设备信息将封装后的数据包发送至用户侧的相应计算机设备,以供计算机设备依据数据类型将无人驾驶设备在相应时间间隔内的处理后的行驶数据予以显示。
需要说明的是,所述处理装置13也可以同时将步骤S120中的所述行驶数据和步骤S130中的处理后的行驶数据按照其所属的至少一种数据类型封装至一封装结构中予以发送。
在一实施例中,将所述行驶数据根据其所属的至少一种基于无人驾驶设备侧采集而设置的数据类型封装至一封装结构中予以发送后,接收封装后的数据包的用户侧的计算机设备(或称为终端设备)还可将所述数据包中的数据按照至少一种基于用户侧显示而设置的数据类型进行转码予以显示。
所述步骤S120和步骤S130还包括步骤S140(未图示),在步骤S140中,当所述处理装置13不能在预设的时间间隔内获取与所述至少一种数据类型相对应的所述无人驾驶设备的行驶数据时,所述处理装置13可执行预设的超时操作。
在一实施例中,处理装置13基于在所述时间间隔内未获取到所述行驶数据的获取结果,对所述发送操作进行超时处理。所述超时处理是当在一时间间隔内所获取的行驶数据中缺少预设数据类型、甚至全部数据类型时,处理装置13暂缓发送所述时间间隔内所获取的行驶数据,按照预设的超时时长继续等待所缺少的数据类型的数据,直至在该超时时长内获取或该超时时长计时结束。若所述处理装置13在超时时长内获取到所缺少的数据类型的数据,则将所述时间间隔内以及超时时长内所获取的行驶数据按照数据类型进行封装,并予以发送。若所述处理装置13在超时时长内仍未能获取到所缺少的数据类型的数据,则将所述时间间隔内所获取的行驶数据按照数据类型进行封装,并予以发送。
在另一实施例中,处理装置13基于在所述时间间隔内未获取到所述行驶数据的获取结果,将与所述行驶数据相对应的至少一个数据类型进行超时处理。
在一些具体示例中,将与所述行驶数据相对应的至少一个数据类型设置为空,以便执行数据封装操作。设置为空是指对相应数据类型下的数据设置为代表空的默认值。例如,在一起始时刻之后的1/30秒内处理装置未接收到与路径规划信息类型相对应的行驶数据,则将路径规划信息类型中的数据设置为NULL,并对在起始时刻之后的1/30秒内获取的其他行驶数据和/或其处理后数据执行封装操作,其中,所述时间间隔为1/30秒。
在又一具体示例中,处理装置13将在当前所述时间间隔内收到的此前任一所述时间间隔内所产生的行驶数据予以丢弃。例如,所述时间间隔为1/30秒,在当前时间间隔起始时刻之后1/30秒内获取到当前时间间隔起始时刻之前的与障碍物对象信息类型相对应的障碍物图像数据,则对所述障碍物图像数据予以丢弃,并对在当前时间间隔起始时刻之后的1/30秒内获取的行驶数据和/或其处理后数据执行封装操作。
在再一具体示例中,处理装置13将在当前所述时间间隔内所获取的行驶数据缺少至少一种数据类型,则将上一时间间隔内所获取的相应数据类型的数据与当前时间间隔内所获取的其他数据类型的数据作为当前时间间隔内所获取的行驶数据予以封装。例如,所述时间间隔为1/30秒,在当前时间间隔起始时刻之后1/30秒内依据获取到的位置信息P2-1,确定定位数据类型的数据,但未获取到障碍物图像数据P2-2,则将以该起始时刻为终止时刻的前一时间间隔内所得到的障碍物对象信息类型的障碍物图像数据P1-2和定位数据类型的位置信息P2-1封装在一起。
上述关于超时操作的各示例可结合使用。例如,在一时间间隔内,处理装置未能依据所获取的行驶数据得到数据类型T1的数据,启动超时时长计时以便继续等待数据类型T1的数据,直至超时时长计时结束,当计时结束,并根据所接收的行驶数据得到数据类型T1的数据时,将所得到的数据类型T1的数据和在所述时间间隔内所得到的其他数据类型的数据一并封装并发送;当计时结束,并根据所接收的行驶数据仍未能得到数据类型T1的数据时,将所述数据类型T1的数据设为空,并和在所述时间间隔内所得到的其他数据类型的数据一并封装并发送。
需要说明的是,对超时操作的处理不限于上述各示例及其组合,对于行驶数据中包含超时获取的数据类型的数据,处理装置在封装时还可增加超时标签,以供远程端解析或显示时使用。
所述步骤S120和步骤S130还包括步骤S150(未图示),在步骤S150中,所述处理装置13基于长连接传输协议将执行封装操作后得到的数据包予以发送。其中,所述长连接传输协议是指在基于TCP的通讯中不论当前是否发送或接收数据,发送数据端和接收数据端一直保持TCP通讯连接。所述长连接传输协议可以使发送数据端和接收数据端在建立一次TCP连接后进行多次请求和响应的交互,降低了发送数据或接收数据时因再次连接而产生的耗时。例如,所述处理装置13通过接口装置12与一用户侧的计算机设备建立基于长连接传输协议的长连接通信链路,并将各封装后的数据包发送至计算机设备。从而提升了在远程计算机设备查看无人驾驶设备发送的所述数据包内各所述行驶数据或其处理后数据的实时性。又如,所述处理装置13通过接口装置12与服务端建立基于长连接传输协议的长连接通信链路,并将各封装后的数据包发送至服务端,以供服务端进行数据存储和转发。
请参阅图5,图5显示为本申请的无人驾驶设备的控制装置在一实施例中的硬件结构示意图。如图所示,所述无人驾驶设备的控制装置包括:存储装置51、接口装置52、处理装置53。其中,所述无人驾驶设备具有多个传感器。
其中,每个传感器提供传感器数据。所述传感器包括但不限于:感应所述无人驾驶设备关键部件数据的传感器、感应所述无人驾驶设备行驶情况的传感器、感应所述无人驾驶设备周边障碍物的传感器。其中,感应所述无人驾驶设备关键部件数据的传感器包括但不限于:用于进行胎压监控的传感器、用于提供防锁死刹车系统(ABS,Anti-lockedBraking System)工作状态的传感器、用于空气悬挂系统的传感器、集成有传感电路的检测系统等。其中,所述检测系统举例包括:胎压监控系统、ABS系统、空气悬挂系统。感应所述无人驾驶设备行驶情况的传感器包括但不限于:全球定位系统(GPS,Global PositioningSystem)、惯性测量传感器、编码器等。感应所述无人驾驶设备周边障碍物的传感器包括但不限于:摄像装置、雷达等。所述摄像装置包括但不限于:单目RGB相机、双目RGB相机、被动式红外相机、主动式红外相机、事件相机(Event Camera)等。所述雷达包括但不限于:激光雷达、长距雷达、短距雷达、超声波雷达、毫米波雷达等。
所述存储装置51用于存储至少一个程序。其中,所述至少一种程序可供所述处理装置53执行本申请所述的无人驾驶设备的数据处理方法。
在此,存储装置51包括但不限于:只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、非易失性存储器(Nonvolatile RAM,简称NVRAM)。例如,存储装置51包括闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置51还可以包括远离一个或多个处理装置的存储器,例如,经由RF电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WAN)、存储局域网(SAN)等,或其适当组合。存储装置51还包括存储器控制器,其可控制所述无人驾驶设备的诸如中央处理器(CPU)和接口装置之类或其他组件对存储器的访问控制。
接口装置52用于与所述计算机设备或服务端进行数据通信,以及用于获取所述无人驾驶设备的行驶数据。例如,所述接口装置52可以将所述无人驾驶设备的行驶数据上传至服务端或者计算机设备。又如,所述接口装置52可以从所述多个传感器或者所述无人驾驶设备的数据处理系统获取所述行驶数据。所述接口装置52包括网络接口、数据线接口等。其中所述网络接口包括但不限于:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙、ZigBee等)的网络接口装置等。所述数据线接口包括但不限于:USB接口、RS232、CANBUS接口等。所述接口装置52与所述多个传感器、存储装置51、处理装置53、互联网、服务端、客户端等数据连接。
处理装置53与所述多个传感器、存储装置51和接口装置52相连,用于执行所述至少一个程序,以协调所述多个传感器、存储装置51和接口装置52执行本申请所述的无人驾驶设备的数据处理方法。所述处理装置53包括一个或多个处理器。处理装置53可操作地与存储装置执行数据读写操作。处理装置53执行诸如数据压缩处理、数据编码、数据解码等。所述处理装置53包括一个或多个通用微处理器、中央处理器(CPU)、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(Digital Signal Processor,简称DSP)、一个或多个现场可编程逻辑阵列(Field Programmable Gate Array,简称FPGA)、或它们的任何组合。
请参阅图6,图6显示为本申请的车辆在一实施例中的硬件结构示意图,如图所示,所述车辆包括:车体42、配置在车体的多个传感器41和控制装置40。
所述车辆可以是具有自动辅助驾驶功能的车辆、无人驾驶车辆等。所述车辆的车体42包括:发动机、底盘、车身、电气系统等。所述车身用于将所述底盘、电气系统、发动机、多个传感器和控制装置集成在所述车身上,其包括但不限于:车顶总成、地板总成、驾驶操纵控制盘、车门、车窗、座椅等。所述发动机用于为所述车辆提供动力。所述底盘用于接收所述发动机的动力使汽车产生运动,其包括但不限于:传动装置、行驶装置、转向装置、制动装置。电气系统由电源和用电设备两大部分组成。其中,电源包括蓄电池和发电机。用电设备包括发动机的起动装置、汽油机的点火装置和其它用电装置。
其中,每个传感器41提供传感器数据。所述传感器41包括但不限于:感应所述车辆关键部件数据的传感器、感应所述车辆行驶情况的传感器、感应所述车辆周边障碍物的传感器。其中,感应所述车辆关键部件数据的传感器包括但不限于:用于进行胎压监控的传感器、用于提供防锁死刹车系统(ABS,Anti-locked Braking System)工作状态的传感器、用于空气悬挂系统的传感器、集成有传感电路的检测系统等。其中,所述检测系统举例包括:胎压监控系统、ABS系统、空气悬挂系统。感应所述车辆行驶情况的传感器包括但不限于:全球定位系统(GPS,Global Positioning System)、惯性测量传感器、编码器等。感应所述车辆周边障碍物的传感器包括但不限于:摄像装置、雷达等。所述摄像装置包括但不限于:单目RGB相机、双目RGB相机、被动式红外相机、主动式红外相机、事件相机(Event Camera)等。所述雷达包括但不限于:激光雷达、长距雷达、短距雷达、超声波雷达、毫米波雷达等。
所述车辆的控制装置40包括:存储装置403、接口装置401、处理装置402。
所述存储装置403用于存储至少一个程序。其中,所述至少一种程序可供所述处理装置402执行本申请所述的无人驾驶设备的数据处理方法。
在此,存储装置403包括但不限于:只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、非易失性存储器(Nonvolatile RAM,简称NVRAM)。例如,存储装置403包括闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置403还可以包括远离一个或多个处理装置的存储器,例如,经由RF电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WAN)、存储局域网(SAN)等,或其适当组合。存储装置403还包括存储器控制器,其可控制所述车辆的诸如中央处理器(CPU)和接口装置之类或其他组件对存储器的访问控制。
接口装置401用于与所述计算机设备或服务端进行数据通信,以及用于获取所述车辆的行驶数据。例如,所述接口装置401可以将所述车辆的行驶数据上传至服务端或者计算机设备。又如,所述接口装置401可以从所述多个传感器或者所述车辆的数据处理系统获取所述行驶数据。所述接口装置401包括网络接口、数据线接口等。其中所述网络接口包括但不限于:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙、ZigBee等)的网络接口装置等。所述数据线接口包括但不限于:USB接口、RS232、CANBUS接口等。所述接口装置401与所述多个传感器41、存储装置403、处理装置402、车体42、互联网、服务端、客户端等数据连接。
处理装置402与所述多个传感器41、存储装置403和接口装置401相连,用于执行所述至少一个程序,以协调所述多个传感器41、存储装置403和接口装置401执行本申请所述的无人驾驶设备的数据处理方法。所述处理装置402包括一个或多个处理器。处理装置402可操作地与存储装置403执行数据读写操作。处理装置402执行诸如数据压缩处理、数据编码、数据解码等。所述处理装置402包括一个或多个通用微处理器、中央处理器(CPU)、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(Digital Signal Processor,简称DSP)、一个或多个现场可编程逻辑阵列(Field Programmable Gate Array,简称FPGA)、或它们的任何组合。
以所述车辆为无人驾驶车辆为例,所述无人驾驶车辆在道路上行驶的过程中,所述控制装置40基于获取的各所述传感器数据来控制所述车辆的行驶。例如,所述车辆的控制装置40在图像数据中可识别到道路的标志、交通信号灯、街道标记等。在实际行驶中,所述控制装置40可以通过图像数据识别到红色交通信号灯和信号灯位置处的斑马线,则所述控制装置40可以控制所述车辆在距离斑马线的预设距离处停止行驶。又如,所述车辆的控制装置40在三维点云数据中获取到所述车辆与障碍物之间的距离。在实际行驶中,所述控制装置40通过三维点云数据得到距离前方车辆的距离超过所述预设的安全距离时,所述控制装置40可以控制所述车辆减速行驶。
所述无人驾驶设备将按照数据类型封装的行驶数据发送至一客户端,相应客户端可根据数据类型提取行驶数据,以及展示给用户。为此请参阅图7,图7显示为本申请的客户端在一实施例中的示意图。其中,所述客户端包括配置在计算机设备中的软件程序模块。如图7所示,所述客户端包括:接口模块21和显示处理模块22。在此,所述计算机设备由至少以下硬件装置构成:显示装置、存储装置、接口装置、处理装置。
其中,显示装置用于显示一显示界面。接口装置用于与一无人驾驶设备或服务端进行数据通信。所述软件包括存储在存储装置中的至少一程序。处理装置用于执行所述至少一个程序,以协调所述显示装置、存储装置和接口装置运行所述客户端。例如,处理装置执行客户端的接口模块21以协调接口装置进行数据通信并协调存储装置存储所获取的无人驾驶设备的数据包,以及处理装置执行客户端中的显示处理模块22以协调存储装置读取数据包并进行数据解析,以及协调显示装置将数据包中的行驶数据按照图表、动态图等形式予以显示。所述接口模块21用于与一无人驾驶设备或服务端进行数据通信以获取具有时序标签的封装结构的数据包。其中,所述数据包中还包含按照数据类型划分的行驶数据和/或其处理后数据。所述接口模块21可利用与一无人驾驶设备预先配置的点对点通信方式进行数据通信。所述接口模块21还可利用服务端转发来与一无人驾驶设备进行数据通信。在一些示例中,所述接口模块21所接收的数据包是服务端直接转发无人驾驶设备所发出的数据包。在又一些示例中,所述接口模块21所接收的数据包是服务端基于用于预先设置的显示配置将无人驾驶设备中的数据类型进行筛选后所转发的数据包。
为建立长时间的数据传输,所述接口模块21基于长连接传输协议获取具有预设封装结构的数据包。通过此种方式获取所述数据包可以提升用户在客户端查看服务端转发的或者所述无人驾驶设备直接发送的所述数据包内各所述行驶数据和/或其处理后数据的实时性。其中,所述长连接传输协议与步骤S150中所述的相同或相似,在此不再详述。例如,接口模块21基于长连接传输协议与无人驾驶设备或服务端进行数据通信以持续获得数据包。
所述显示处理模块22与所述接口模块21相连,用于基于所述封装结构解析所述接口模块获取的数据包,以得到一预设的时间间隔内所述行驶数据和/或其处理后数据。
在此,所述封装结构可与前述数据处理方法中所使用的封装结构相同或相似,所封装的数据包中的各数据类型的数据属于在一时间间隔内所获取的反映相应无人驾驶设备的行驶情况的行驶数据和/或其处理后数据。所述封装结构还可以是按照其他数据处理方法得到的包含时序标签、和利用至少一数据类型划分的所述行驶数据和/或其处理后数据的数据结构。
例如,根据封装结构所接收的各数据包中均包含有时序标签、目录结构、和按照数据类型划分的行驶数据和/或其处理后数据等,所述显示处理模块22通过逐个检查所接收的各数据包中的时序标签,确定各数据包中行驶数据和/或其处理后数据的显示顺序。显示处理模块22根据封装结构所提供的目录结构,逐一提取数据包中各数据类型中的数据,以得到无人驾驶设备所发出的行驶数据和/或其处理后数据。
在一些示例中,所述显示处理模块22基于一显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示。其中,所显示的行驶数据和/或其处理后数据可依据所述显示界面中所设置的数据类型在所述封装结构中的目录结构中搜索获得的。例如,所述显示界面中需要显示所述封装结构中的部分数据类型,所述部分数据类型包括路径规划信息类型、图像信息类型、障碍物对象信息类型,则所述显示处理模块基于以上三种数据类型在目录结构中的设置和所述数据类型的标识号得到与以上三种数据类型相符的行驶数据和/或其处理后数据并予以显示。
例如,按照显示间隔将各数据包中逐一提取出的障碍物对象信息类型的数据显示在显示界面中的电子地图中,由此提供无人驾驶设备与障碍物对象之间的位置关系。又如,所显示的电子地图还可以利用各数据包中逐一提取出的图像信息类型的数据予以描述,以使用户看到具有实景效果的远程监控界面。
请参阅图8,图8显示为本申请的计算机设备在一实施例中的硬件结构示意图,如图所示,所述计算机设备包括显示装置31、存储装置34、接口装置32、处理装置33等。
所述显示装置31用于显示一显示界面。所述显示装置31是一种人机接口装置,用于显示一显示界面以供用户浏览。所述显示装置31能将与显示界面中所设置的数据类型相符的行驶数据和/或其处理后数据经变换后的各种直观的文字、数字、符号或图像显示出来。所述显示装置31可利用输入装置基于用户的需求随时增添、删改显示界面中的内容。显示装置31根据显示器件的不同可分为等离子、液晶、发光二极管和阴极射线管等不同类型的显示装置。所述显示装置31还可以集成有触摸传感器等可供人机交互的装置。
所述存储装置34用于存储至少一个程序。其中,存储装置34包括但不限于:只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、非易失性存储器(Nonvolatile RAM,简称NVRAM)。例如,存储装置34包括闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置34还可以包括远离一个或多个处理装置的存储器,例如,经由RF电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WAN)、存储局域网(SAN)等,或其适当组合。存储装置34还包括存储器控制器,其可控制所述计算机设备的诸如中央处理器(CPU)和接口装置之类或其他组件对存储器的访问控制。
接口装置32用于与所述无人驾驶设备或服务端进行数据通信。例如,所述接口装置32可以获取所述无人驾驶设备直接发送的封装后的数据包也可以获取经服务端转发的数据包。所述接口装置32包括网络接口、数据线接口等。其中所述网络接口包括但不限于:以太网的网络接口装置、基于移动网络(3G、4G、5G等)的网络接口装置、基于近距离通信(WiFi、蓝牙、ZigBee等)的网络接口装置等。所述数据线接口包括但不限于:USB接口、RS232等。所述接口装置32与所述显示装置31、存储装置34、处理装置33、互联网、服务端、无人驾驶设备等数据连接。
处理装置33与所述显示装置31、存储装置34和接口装置32相连,用于执行所述至少一个程序,以协调所述存储装置34和接口装置32执行数据处理方法。所述处理装置33包括一个或多个处理器。处理装置33可操作地与存储装置执行数据读写操作。处理装置33执行诸如数据压缩处理、数据编码、数据解码等。所述处理装置33包括一个或多个通用微处理器、中央处理器(CPU)、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(Digital Signal Processor,简称DSP)、一个或多个现场可编程逻辑阵列(FieldProgrammable Gate Array,简称FPGA)、或它们的任何组合。
请参阅图9,图9显示为本申请的计算机设备执行的数据处理方法在一实施例中的流程示意框图。所述数据处理方法可以由所述计算机设备的处理装置33协调所述显示装置31、存储装置34和接口装置32来执行。
在步骤S210中,所述处理装置33通过接口装置32获取具有时序标签的封装结构的数据包;其中,所述数据包中包含至少一种数据类型的行驶数据和/或其处理后数据。
为建立长时间的数据传输,所述计算机设备的接口装置32基于长连接传输协议获取具有预设封装结构的数据包。通过此种方式获取所述数据包可以提升用户在计算机设备查看服务端转发的或者所述无人驾驶设备直接发送的所述数据包内各所述行驶数据和/或其处理后数据的实时性。其中,所述长连接传输协议与步骤S150中所述的相同或相似,在此不再详述。例如,接口装置基于长连接传输协议与无人驾驶设备或服务端进行数据通信以持续获得数据包。
在步骤S220中,所述处理装置33基于所述封装结构解析所述接口装置获取的数据包,以得到一预设的时间间隔内按照数据类型划分的行驶数据和/或其处理后数据;以及基于所述显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示。
所述处理装置33与所述接口装置32相连,用于基于所述封装结构解析所述接口装置32获取的数据包,以得到一预设的时间间隔内所述行驶数据和/或其处理后数据。
在此,所述封装结构可与前述无人驾驶设备的数据处理方法中所使用的封装结构相同或相似,所封装的数据包中的各数据类型的数据属于在一时间间隔内所获取的反映相应无人驾驶设备的行驶情况的行驶数据和/或其处理后数据。所述封装结构还可以是按照其他数据处理方法得到的包含时序标签、和利用至少一数据类型划分的所述行驶数据和/或其处理后数据的数据结构。
例如,根据封装结构所接收的各数据包中均包含有时序标签、目录结构、和按照数据类型划分的行驶数据和/或其处理后数据等,所述处理装置通过逐个检查所接收的各数据包中的时序标签,确定各数据包中行驶数据和/或其处理后数据的显示顺序。处理装置根据封装结构所提供的目录结构,逐一提取数据包中各数据类型中的数据,以得到无人驾驶设备所发出的行驶数据和/或其处理后数据。
在一些示例中,所述处理装置33基于一显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示。其中,所显示的行驶数据和/或其处理后数据可依据所述显示界面中所设置的数据类型在所述封装结构中的目录结构中搜索获得的。例如,所述显示界面中需要显示所述封装结构中的部分数据类型,所述部分数据类型包括路径规划信息类型、图像信息类型、障碍物对象信息类型,则所述处理装置基于以上三种数据类型在目录结构中的设置和所述数据类型的标识号得到与以上三种数据类型相符的行驶数据和/或其处理后数据并予以显示。
例如,按照显示间隔将各数据包中逐一提取出的障碍物对象信息类型的数据显示在显示界面中的电子地图中,由此提供无人驾驶设备与障碍物对象之间的位置关系。又如,所显示的电子地图还可以利用各数据包中逐一提取出的图像信息类型的数据予以描述,以使用户看到具有实景效果的远程监控界面。
请参阅图10,图10显示为本申请的数据处理系统在一实施例中的结构示意图,如图所示,所述数据处理系统包括无人驾驶设备的控制装置50、服务端60、计算机设备30。
所述控制装置50和计算机设备30可与前述图5和图8所对应的控制装置和计算机设备的描述相同或相似,在此不再详述。
所述服务端60包括但不限于:公共云(Public Cloud)服务端与私有云(PrivateCloud)服务端,其中,所述公共或私有云服务端包括Software-as-a-Service(软件即服务,简称SaaS)、Platform-as-a-Service(平台即服务,简称PaaS)及Infrastructure-as-a-Service(基础设施即服务,简称IaaS)等。所述私有云服务端例如阿里云计算服务平台、亚马逊(Amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等等。
所述服务端60用于获取、存储和转发来自所述控制装置50的数据包。其中,所述数据包中包含根据至少一种数据类型封装至一封装结构中的行驶数据和/或其处理后数据。所述服务端60可基于长连接传输协议获取来自所述无人驾驶设备的控制装置的所述数据包并在所述服务端进行存储,所述服务端60也可以基于长连接传输协议将所获取或存储的数据包发送至所述计算机设备。
其中,所述服务端60配置有用于存储行驶数据和/或其处理后数据的数据库,根据所接收的各数据包中的时序标签,所述服务端60确定各数据包中行驶数据和/或其处理后数据的存储顺序,并根据所获取的数据包中的数据类型对所述行驶数据和/或其处理后数据进行分类存储,并记录存储时间。其中,所述存储时间可基于获取到数据包的系统时间而设置,或者解析数据包中的时序标签而确定存储时间。
当用户侧的计算机设备30基于用户操作发出包含存储时间的查询条件时,服务端60将相应存储时段内的符合查询条件的数据类型的各数据反馈给计算机设备30。其中,所反馈的各数据可基于所述封装结构进行封装。例如,以所述查询条件中起始的存储时间开始选取在一时间间隔内的行驶数据和/或其处理后数据,并按照封装结构封装成数据包,直至查询条件中结束的存储时间位置。由此将所封装的多个数据包逐一反馈给计算机设备。
在一示例中,如图6所示的车辆将所述封装后的具有时序标签的数据包基于长连接传输协议传输至服务端,服务端基于前述实施例中提到的分类存储方式对所述数据包进行存储。当用户需要在计算机设备回看属于至少一种数据类型的数据时,所述服务端接收到基于用户发出的包含存储时间和数据类型的查询条件时,将对应时段的至少一种数据类型的行驶数据和/或其处理后数据发送给所述计算机设备。例如,当前时间为2019年8月6日,用户发出查看2019年8月7日全天时间的障碍物对象信息类型数据的查询条件。所述服务端从2019年8月7日0时开始选取在一时间间隔内的障碍物对象信息类型的行驶数据和/或其处理后数据,并按照封装结构封装成具有时序标签的数据包,直至2019年8月7日24时。服务端将所封装的多个数据包逐一反馈给计算机设备,计算机设备依据各数据包的时序标签显示障碍物对象信息类型的行驶数据和/或其处理后数据。
本申请还公开一种计算机可读存储介质,所述计算机可读的存储介质存储有至少一种计算机程序,所述至少一种计算机程序在被调用时参与执行所述无人驾驶设备的数据处理方法。所述无人驾驶设备的数据处理方法与前述提及的所述的无人驾驶设备的数据处理方法相同或类似,在此不再赘述。另外需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。
于本申请提供的实施例中,所述计算机可读存储介质可以包括只读存储器、随机存取存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术,从网站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而,应当理解的是,计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质,而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘则用激光来光学地复制数据。
本申请所述无人驾驶设备的数据处理方法可以用硬件、软件、固件或者其任意组合的方式来实现。当用软件实现时,可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本申请所公开的方法的步骤可以用处理器可执行软件模块来体现,其中处理器可执行软件模块可以位于有形、非临时性计算机可读写存储介质上。有形、非临时性计算机可读写存储介质可以是计算机能够存取的任何可用介质。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (22)

1.一种无人驾驶设备的数据处理方法,所述无人驾驶设备具有多个传感器,其特征在于,所述数据处理方法包括以下步骤:
在预设的时间间隔内获取所述无人驾驶设备的行驶数据,其中,所述行驶数据是基于所述多个传感器所提供的至少一个传感器数据而产生的;
将所述行驶数据和/或其处理后数据根据其所属的至少一种数据类型封装至一具有时序标签的封装结构中予以发送;其中,所述封装结构包含至少一种数据类型。
2.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,所述行驶数据包括以下至少一种:直接从所述多个传感器中的至少一个所读取的传感器数据;利用所述无人驾驶设备中的数据处理系统从所述多个传感器中的至少一个所读取的传感器数据;以及从所述无人驾驶设备中的数据处理系统读取的对至少一个所述传感器所提供的传感器数据处理后得到的数据。
3.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,所述时间间隔是依据行驶数据的数据量、传感器的最低输出频率、通信网络吞吐量中的至少一种而设置的时长。
4.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,所述数据类型是基于用户侧显示而设置的类型、和/或基于无人驾驶设备侧采集而设置的类型。
5.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,所述处理后数据是按照所述数据类型对所述行驶数据进行数据处理而得到的。
6.根据权利要求5所述的无人驾驶设备的数据处理方法,其特征在于,所述处理后数据包括:
根据所述数据类型对所述时间间隔内所获取的行驶数据进行数据处理而得到的数据;和/或
根据所述数据类型对一预设冗余时长内所获取的行驶数据进行数据处理而得到的数据;其中所述冗余时长是在所述时间间隔的起始时刻之前的一预设时长。
7.根据权利要求5所述的无人驾驶设备的数据处理方法,其特征在于,所述处理后数据包括:
按照所述数据类型对所述行驶数据进行压缩处理而得到的数据;和/或
按照所述数据类型对所述行驶数据进行数据整合处理而得到的数据。
8.根据权利要求7所述的无人驾驶设备的数据处理方法,其特征在于,所述按照数据类型对所述行驶数据进行压缩处理而得到的数据包括以下至少一种:
按照所述数据类型将所获取的相应类型行驶数据进行算术处理得到的处理后数据;
按照所述数据类型将所获取的相应类型行驶数据进行编码压缩处理得到的处理后数据;
按照所述数据类型将所获取的相应类型行驶数据进行降采样处理得到的处理后数据;以及
按照所述数据类型将所获取的相应类型行驶数据进行聚合处理得到的处理后数据。
9.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,所述时序标签包括时间戳。
10.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,所述封装结构包括为用于搜索所述数据类型而设置的目录结构。
11.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,所述将行驶数据和/或其处理后数据根据其所属的至少一种数据类型封装至一具有时序标签的封装结构中予以发送的步骤包括:基于长连接传输协议将封装后的数据包予以发送。
12.根据权利要求1所述的无人驾驶设备的数据处理方法,其特征在于,还包括以下至少一种超时操作:
基于在所述时间间隔内未获取到所述行驶数据的获取结果,对所述发送操作进行超时处理;
基于在所述时间间隔内未获取到所述行驶数据的获取结果,将与所述行驶数据相对应的至少一个数据类型进行超时处理以便执行数据封装操作;以及
将在当前所述时间间隔内收到的此前任一所述时间间隔内所产生的行驶数据予以丢弃。
13.一种客户端,其特征在于,包括:
接口模块,用于与一无人驾驶设备或服务端进行数据通信以获取具有时序标签的封装结构的数据包;其中,所述数据包中包含按照至少一种数据类型封装的行驶数据和/或其处理后数据;
显示处理模块,与所述接口模块相连,用于基于所述封装结构解析所述接口模块获取的数据包,以得到一预设的时间间隔内所述行驶数据和/或其处理后数据;以及基于一显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示。
14.根据权利要求13所述的客户端,其特征在于,所述获取具有时序标签的封装结构的数据包的步骤包括:基于长连接传输协议获取所述数据包。
15.根据权利要求13所述的客户端,其特征在于,所述基于一显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示的步骤包括:依据所述封装结构中的时序标签,显示相应类型的行驶数据和/或其处理后数据。
16.根据权利要求13所述的客户端,其特征在于,所显示的行驶数据和/或其处理后数据是依据所述显示界面中所设置的数据类型在所述封装结构中的目录结构中搜索获得的。
17.一种计算机设备,其特征在于,包括:
显示装置,用于显示一显示界面;
存储装置,用于存储至少一个程序;
接口装置,用于与一无人驾驶设备或服务端进行数据通信;
处理装置,与所述显示装置、存储装置和接口装置相连,用于执行所述至少一个程序,以协调所述显示装置、存储装置和接口装置执行如下的数据处理方法:
获取具有时序标签的封装结构的数据包;其中,所述数据包中包含至少一种数据类型的行驶数据和/或其处理后数据;
基于所述封装结构解析所述接口装置获取的数据包,以得到一预设的时间间隔内按照数据类型划分的行驶数据和/或其处理后数据;以及基于所述显示界面中所设置的数据类型,将与其类型相符的行驶数据和/或其处理后数据予以显示。
18.一种车辆,其特征在于,包括:
多个传感器,其中,每个传感器提供传感器数据;
存储装置,用于存储至少一个程序;
接口装置,用于与计算机设备或服务端进行数据通信,以及用于获取基于所述多个传感器所提供的至少一个传感器数据而产生的行驶数据;
处理装置,与所述多个传感器、存储装置和接口装置相连,用于执行所述至少一个程序,以协调所述多个传感器、存储装置和接口装置执行如权利要求1-12中任一所述的无人驾驶设备的数据处理方法。
19.一种无人驾驶设备的控制装置,所述无人驾驶设备具有多个传感器,其特征在于,所述控制装置包括:
存储装置,用于存储至少一个程序;
接口装置,用于与计算机设备或服务端进行数据通信,以及用于获取基于所述多个传感器所提供的至少一个传感器数据而产生的行驶数据;
处理装置,与所述存储装置和接口装置相连,用于执行所述至少一个程序,以协调所述存储装置和接口装置执行如权利要求1-12中任一所述的无人驾驶设备的数据处理方法。
20.一种数据处理系统,其特征在于,包括:
如权利要求19所述的无人驾驶设备的控制装置;
服务端,用于获取、存储和转发来自所述控制装置的数据包;其中,所述数据包包含根据至少一种数据类型封装至一具有时序标签的封装结构中的行驶数据和/或其处理后数据;
如权利要求17所述的计算机设备,基于一显示界面中所设置的数据类型,显示与其类型相符的行驶数据和/或其处理后数据。
21.根据权利要求20所述的数据处理系统,其特征在于,所述服务端基于所获取的数据包中的数据类型对所述行驶数据和/或其处理后数据进行存储。
22.一种计算机可读存储介质,其特征在于,存储至少一种程序,所述至少一种程序在被调用时执行并实现如权利要求1-12中任一所述的无人驾驶设备的数据处理方法。
CN201910979278.0A 2019-10-15 2019-10-15 无人驾驶设备的数据处理方法、控制装置及存储介质 Active CN110830555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910979278.0A CN110830555B (zh) 2019-10-15 2019-10-15 无人驾驶设备的数据处理方法、控制装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910979278.0A CN110830555B (zh) 2019-10-15 2019-10-15 无人驾驶设备的数据处理方法、控制装置及存储介质

Publications (2)

Publication Number Publication Date
CN110830555A true CN110830555A (zh) 2020-02-21
CN110830555B CN110830555B (zh) 2022-07-19

Family

ID=69549316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979278.0A Active CN110830555B (zh) 2019-10-15 2019-10-15 无人驾驶设备的数据处理方法、控制装置及存储介质

Country Status (1)

Country Link
CN (1) CN110830555B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111585642A (zh) * 2020-05-11 2020-08-25 中电科航空电子有限公司 机载短报文通信方法、装置、设备、系统及可读存储介质
CN112069368A (zh) * 2020-09-07 2020-12-11 北京航迹科技有限公司 数据存储、调用方法及系统
CN113903104A (zh) * 2020-06-22 2022-01-07 丰田自动车株式会社 数据收集装置以及数据收集方法
CN113950825A (zh) * 2020-08-24 2022-01-18 深圳市大疆创新科技有限公司 数据传输、处理方法、可移动平台、终端设备及芯片
CN114244514A (zh) * 2022-02-21 2022-03-25 图灵人工智能研究院(南京)有限公司 一种基于车联网的数据安全处理方法
CN114509064A (zh) * 2022-02-11 2022-05-17 上海思岚科技有限公司 一种自主扩展传感器数据处理的方法、接口及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107819799A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
US20180109767A1 (en) * 2015-02-13 2018-04-19 Unmanned Innovation, Inc. Unmanned aerial vehicle sensor activation and correlation system
CN108418892A (zh) * 2018-03-20 2018-08-17 苏州天瞳威视电子科技有限公司 一种车辆及环境感知数据处理和存储的方法及装置
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术(北京)有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN109788030A (zh) * 2018-12-17 2019-05-21 北京百度网讯科技有限公司 无人车数据处理方法、装置、系统及存储介质
CN109885582A (zh) * 2019-03-05 2019-06-14 北京主线科技有限公司 管理无人驾驶数据的方法、装置及系统
CN110217178A (zh) * 2019-06-18 2019-09-10 浙江大学 一种基于硬件同步的无人驾驶感知系统及其工作方法
CN110300285A (zh) * 2019-07-17 2019-10-01 北京智行者科技有限公司 基于无人驾驶平台的全景视频采集方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180109767A1 (en) * 2015-02-13 2018-04-19 Unmanned Innovation, Inc. Unmanned aerial vehicle sensor activation and correlation system
CN107819799A (zh) * 2016-09-13 2018-03-20 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN108418892A (zh) * 2018-03-20 2018-08-17 苏州天瞳威视电子科技有限公司 一种车辆及环境感知数据处理和存储的方法及装置
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术(北京)有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN109788030A (zh) * 2018-12-17 2019-05-21 北京百度网讯科技有限公司 无人车数据处理方法、装置、系统及存储介质
CN109885582A (zh) * 2019-03-05 2019-06-14 北京主线科技有限公司 管理无人驾驶数据的方法、装置及系统
CN110217178A (zh) * 2019-06-18 2019-09-10 浙江大学 一种基于硬件同步的无人驾驶感知系统及其工作方法
CN110300285A (zh) * 2019-07-17 2019-10-01 北京智行者科技有限公司 基于无人驾驶平台的全景视频采集方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111585642A (zh) * 2020-05-11 2020-08-25 中电科航空电子有限公司 机载短报文通信方法、装置、设备、系统及可读存储介质
US11923959B2 (en) 2020-05-11 2024-03-05 China Electronics Technology Avionics Co., Ltd. Airborne short message communication method, apparatus, device and system, and readable storage medium
CN113903104A (zh) * 2020-06-22 2022-01-07 丰田自动车株式会社 数据收集装置以及数据收集方法
CN113903104B (zh) * 2020-06-22 2024-04-09 丰田自动车株式会社 数据收集装置以及数据收集方法
CN113950825A (zh) * 2020-08-24 2022-01-18 深圳市大疆创新科技有限公司 数据传输、处理方法、可移动平台、终端设备及芯片
WO2022040875A1 (zh) * 2020-08-24 2022-03-03 深圳市大疆创新科技有限公司 数据传输、处理方法、可移动平台、终端设备及芯片
CN112069368A (zh) * 2020-09-07 2020-12-11 北京航迹科技有限公司 数据存储、调用方法及系统
WO2022048387A1 (zh) * 2020-09-07 2022-03-10 北京航迹科技有限公司 数据存储、调用方法及系统
CN114509064A (zh) * 2022-02-11 2022-05-17 上海思岚科技有限公司 一种自主扩展传感器数据处理的方法、接口及设备
CN114244514A (zh) * 2022-02-21 2022-03-25 图灵人工智能研究院(南京)有限公司 一种基于车联网的数据安全处理方法
CN114244514B (zh) * 2022-02-21 2022-05-24 图灵人工智能研究院(南京)有限公司 一种基于车联网的数据安全处理方法

Also Published As

Publication number Publication date
CN110830555B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN110830555B (zh) 无人驾驶设备的数据处理方法、控制装置及存储介质
US10783381B2 (en) System and method for vehicle occlusion detection
CN110914778B (zh) 用于基于语义分割的图像定位的系统和方法
US11501513B2 (en) System and method for vehicle wheel detection
US20190065864A1 (en) System and method for vehicle occlusion detection
US10839234B2 (en) System and method for three-dimensional (3D) object detection
US10943355B2 (en) Systems and methods for detecting an object velocity
CN112639883B (zh) 一种相对位姿标定方法及相关装置
WO2019052533A1 (zh) 地图数据的构建方法和设备
CN112544061B (zh) 一种数据传输方法以及装置
US11113969B2 (en) Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication
CN113741485A (zh) 车路协同自动驾驶的控制方法、装置、电子设备及车辆
WO2020186444A1 (zh) 物体检测方法、电子设备与计算机存储介质
CN114047760A (zh) 路径规划方法、装置、电子设备及自动驾驶车辆
AU2019241892B2 (en) System and method for vehicle wheel detection
CN217435657U (zh) 自动驾驶车辆的电气系统和自动驾驶车辆
US20210229696A1 (en) Device and method for virtualizing driving environment, and vehicle
CN112740067B (zh) 用于雷达测距的方法、设备、雷达和车载系统
CN117492443A (zh) 车辆控制方法、装置、设备、存储介质和计算机程序产品
CN115576234A (zh) 车辆域控制器、车辆、车辆控制方法和存储介质
CN117542042A (zh) 三维对象检测方法及装置、电子设备和存储介质
CN114283604A (zh) 用于辅助车辆停车的方法
CN117601898A (zh) 能够实现多模态交互的自动驾驶模型、方法、装置和车辆
CN114511840A (zh) 自动驾驶的感知数据处理方法、装置及电子设备
CN113495555A (zh) 驾驶规则提取装置和方法、制定装置和方法以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant