CN113094564A - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN113094564A
CN113094564A CN202010023195.7A CN202010023195A CN113094564A CN 113094564 A CN113094564 A CN 113094564A CN 202010023195 A CN202010023195 A CN 202010023195A CN 113094564 A CN113094564 A CN 113094564A
Authority
CN
China
Prior art keywords
data
frame
frame data
stream
normalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010023195.7A
Other languages
English (en)
Inventor
栾金鹿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Zhejiang Geely Automobile Research Institute Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010023195.7A priority Critical patent/CN113094564A/zh
Publication of CN113094564A publication Critical patent/CN113094564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Abstract

本申请公开了一种数据处理方法和装置，所述方法包括车载终端利用多种传感器采集驾驶环境和地理位置的源数据；对多种传感器所采集的源数据进行归一化处理；基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据；对所述帧数据进行流编码处理得到帧数据流，并发送给后台服务器，以使所述后台服务器对接收到的帧数据流进行流拆分、解码得到图源数据；所述后台服务器对所述图源数据进行渲染得到二维或三维的图形显示信息。

Description

一种数据处理方法和装置
技术领域
本发明涉及一种数据处理方法和装置，尤其涉及自动驾驶车辆人机界面中的数据处理方法和装置。
背景技术
自动驾驶人机界面，是人和机器之间进行信息交互和互动的平台，是监听、控制和调试的有效手段。自动驾驶过程中，可以借助多种传感器，不受人工干预的完成自动驾驶行为，汽车自主性强。但与此同时，因没有人工干预，自动驾驶车辆的状态和运行环境的监控就显得极为重要。如果不对自动驾驶进行监控，放任车辆自行决策，不能及时发现车辆的最终行为动作，可能导致无法预测的后果。同时，得不到传感器采集的数据显示，用户也无法及时的确定自动驾驶功能是否存在问题。因此将传感器采集到的数据显示给用户，一方面可以帮助自动驾驶时用户对驾驶情况进行监控，另一方面可以使用户对自动驾驶功能模块是否存在问题进行监控。
随着自动驾驶车辆的量产化，自动驾驶领域里还没有比较完备的人机界面方案，已经实现或正在测试的方案，需要依赖于某个平台服务，通过该平台将接收到的不同类型的数据进行处理，再将数据进行显示处理。类似的方案存在兼容性差的问题，需要处理对各种标准的数据进行后台的处理，影响实时性。并且在界面显示方面，将各种标准的数据处理后，进行图形显示和页面布局的操作太过复杂，增加处理时的工作量。
发明内容
本申请提供了一种数据处理方法和装置，可以在车载终端侧对利用多种传感器采集到的不同数据类型的源数据进行数据处理得到统一标准格式的帧数据流，再由后台服务器对车载终端发来的帧数据流进行数据处理得到图形显示信息，解决了不同车载终端的多种传感器在后台服务器数据处理复杂度高的问题。
一方面，本申请提供了一种数据处理方法，以车载终端为执行主体，所述方法包括：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据；
对所述帧数据进行流编码处理得到帧数据流，并发送给后台服务器，以使所述后台服务器对接收到的帧数据流进行流拆分、解码得到图源数据；
所述后台服务器对所述图源数据进行渲染得到二维或三维的图形显示信息。
以后台服务器为执行主体，所述方法包括：
接收车载终端发送的对帧数据进行流编码处理得到的帧数据流；
对所述帧数据流进行流拆分和解码，得到图源数据；
对所述图源数据进行渲染，得到二维或三维的图形显示信息；
其中，所述帧数据为所述车载终端采用下述方式得到：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
另一方面本申请还提供了一种数据处理装置，其特征在于，所述装置包括：
源数据获取单元，用于利用多种传感器采集驾驶环境和地理位置的源数据；
归一化处理单元，用于对多种传感器所采集的源数据进行归一化处理；
第二数据处理单元，用于基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
封装单元，用于对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据；
编码单元，用于所述车辆对所述帧数据进行流编码处理得到帧数据流，并发送给信息显示模块；
数据发送单元，用于将所述帧数据流发送给后台服务器。
另一方面本申请还提供了一种数据处理装置，其特征在于，所述装置包括：
数据接收单元，用于接收车载终端发送的对帧数据进行流编码处理得到的帧数据流；
流处理单元，用于对所述帧数据流进行流拆分和解码，得到图源数据；
图形显示信息处理单元，用于对所述图源数据进行渲染，得到二维或三维的图形显示信息；
其中，所述帧数据为所述车载终端采用下述方式得到：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
另一方面本申请还提供了一种介质，其特征在于，所述介质包括：
处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述所述的数据处理的方法。
实施本申请提供的数据处理方法、系统和设备，具有如下技术效果：
本申请通过车载终端利用多种传感器采集驾驶环境和地理位置的源数据，对采集到的源数据进行归一化处理，基于源数据的采集时间将对应的归一化处理后数据进行封装得到帧数据，接着对帧数据进行流编码得到帧数据流并发送给后台服务器，以使所述后台服务器对接收到的帧数据流进行流拆分、解码得到图源数据，所述后台服务器对所述图源数据进行渲染得到二维或三维的图形显示信息，解决了不同车载终端的多种传感器在后台服务器数据处理复杂度高的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本申请实施例提供的一种应用环境示意图。
图2为本申请实施例提供的一种数据处理方法的流程图。
图3为本申请实施例提供的一种对帧数据进行流编码处理得到帧数据流的流程图。
图4为本申请另一实施例提供的一种数据处理方法的流程图。
图5为本申请实施例提供的一种车载终端侧数据处理方法的流程图。
图6为本申请实施例提供的一种数据处理装置的结构示意图。
图7为本申请实施例提供的一种后台服务器侧数据处理方法的流程图。
图8为本申请实施例提供的一种数据处理设备的结构示意图。
图9为本申请实施例提供的一种后台服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请可以应用于自动驾驶车辆领域。请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境至少包括车载终端01和后台服务器02。本说明书实施例中，车载终端01至少用于将多种传感器采集的源数据进行处理得到帧数据流。后台服务器02用于与车载终端01进行交互，将帧数据流处理为图形显示信息，在后台显示器上进行显示。此场景下，后台人员可以通过显示器上驾驶环境和地理位置的显示，监控自动驾驶车辆是否正常驾驶。另外，车载终端01还可以用于对帧数据流进行处理得到图形显示信息，车载终端将图形显示信息处理后在车载显示器上进行显示。车内乘员可以通过观察车载显示器上驾驶环境和地理位置的显示，监控自动驾驶车辆是否正常驾驶。
以下介绍本申请一种数据处理方法的实施例，图2是本申请实施例提供的一种数据处理方法的流程图。如图2所示，该方法包括：
S101：车载终端利用多种传感器采集驾驶环境和地理位置的源数据。
自动驾驶车辆通过多种传感器进行驾驶环境和地理位置的数据采集。多种传感器包括但不限于定位系统、激光雷达、毫米波雷达、超声传感器、图像传感器、V2X(Vehicle toX，车与外界的信息交换)。具体的，定位系统可以对自动驾驶车辆进行地理位置的定位，定位系统可以包括导航系统，例如全球定位系统或者以周围环境为参照确定自动驾驶车辆位置的磁传感和声传感，可以采集车身位置姿态的源数据。激光雷达可以探测静态和动态物体，并采集到被探测物体的高分辨率的几何图形、距离图像和速度图像有关的三维点云距离源数据。毫米波雷达可以利用无线电波对物体进行探测和定位，可以采集二维反射相关的源数据。超声传感器可以对短距离的物体进行三维映射，得到有关三维映射的源数据，也可以是带反射值灰度的源数据。图像传感器可以通过对采集的图像进行计算分析，进而得到行人、自行车、机动车、到了轨迹线、路牌、信号灯等环形参数相关的源数据，得到的源数据类型可以为RGB(Red Green Blue，红绿蓝)色彩模式图像的像素阵列。V2X技术可以获得多方面的信息，包括但不限于附近车辆的地理位置参数、实时状态信息和经过计算得到的预测信息等源数据。在一些自动驾驶车辆的驾驶场景中，自动驾驶车辆可以根据使用需要及功能侧重点利用多种传感器的任意组合来采集驾驶环境和地理位置的源数据。例如，可以为降低成本，使用图像传感器、毫米波雷达及超声波雷达的组合，可以为提高目标的精确度使用激光雷达、毫米波雷达、超声波传感器及图像传感器的组合等。
利用不同组合的传感器采集驾驶环境和地理位置的源数据，满足不同项目的需求，更有针对性。
在另外一些实施例中，利用多种传感器采集驾驶环境和地理位置的源数据之后，该方法还可以对源数据进行数据过滤得到过滤后的源数据。再对过滤后的源数据进行后续归一化处理。由于多种传感器采集的源数据的数据量冗杂，例如有的激光雷达可对360度范围进行扫描，激光雷达一次频率采集可以采集几十万数据量的点云数据，单是激光雷达采集的数据就很庞大，因此需要先对采集的数据进行过滤。预先设置过滤规则，过滤掉没有参考价值的信息，例如激光雷达采集的点云数据中，可以对物体的体积、数据采集的空间高度进行过滤设置，留下有参考价值的点云数据。采用数据过滤的方式，可以减轻车载终端的处理负担，更加高效。
S103：车载终端对多种传感器所采集的源数据进行归一化处理。
不同组合的多种传感器采集到的源数据拥有的数据格式数据标准不统一，若直接对每种数据进行源数据向帧数据的转换处理会出现兼容性差的问题，并且处理起来工作量大。因此在多种传感器采集得到源数据后，先对采集到的多种源数据进行归一化处理。具体的，对采集到的多种源数据进行归一化处理，可以预先设置数据整合的协议，出厂前对自动驾驶车辆不同型号不同规格的多种传感器适配数据整合的协议，不同组合的多种传感器对应不同的协议，利用每种协议对多种源数据进行归一化处理，从而得到统一的数据模型。一辆自动驾驶车辆的传感器型号规格固定后，就只对应一套归一化协议。若后期进行传感器的调整，仅需更新协议，简化了更新流程，大大减少了工作量。
S105：车载终端基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据。
由于接收不同的传感器采集的源数据的频率不同，例如有的传感器是以10 赫兹每秒发送源数据，有的传感器是以100赫兹每秒发送消息，导致接收到的不同的源数据处在不同的时间点上。因此需要对源数据进行时间戳标记。具体的，可以预先设置时间误差阈值，将时间误差阈值内的多种传感器的源数据进行时间戳标记。例如设置的时间误差阈值为1毫秒，按照1毫秒的时间误差阈值对源数据进行时间戳标记，源数据被标记为14时20分30.000秒，14时20 分30.001秒，时间戳为14时20分30.000秒的源数据是14时20分29.999秒至 14时20分30.000秒多种传感器采集的数据，时间戳为14时20分30.001秒的源数据是14时20分30.000秒至14时20分30.001秒多种传感器采集的数据。为便于后续步骤中不同显示单元及时显示对应的显示信息，对归一化处理后的数据按采集时间进行分类处理。例如，可以按照传感器类型根据采集时间对源数据进行分类。当前时刻当前自动驾驶车辆利用定位系统采集所处的位置信息，利用激光雷达扫描到周围环境的信息，毫米波雷达检测近处有没有障碍物的信息。相应的，根据定位系统采集的源数据，高精地图显示单元显示所处的位置，根据激光雷达采集的源数据，点云地图显示单元显示周围环境，根据毫米波雷达采集的源数据，障碍物实时监控单元显示周围是否有障碍物。
S107：车载终端对多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
用户将归一化处理后多个时间戳中每个时间戳的数据进行封装，可以得到多帧数据，可以采用JSON格式对数据进行封装。封装后，每帧数据对应一个时间戳下的归一化处理后数据，用于后续步骤中为一个时间点的图形显示信息提供数据支撑。
在另外的实施例中，可以有多个显示单元用于处理并显示不同功能的二维或三维图形，这些不同功能的二维或三维图形对应不同传感器采集的源数据。多个显示单元可以位于后台服务器，也可以位于车载终端。具体的，多个显示单元包括高精地图显示单元、点云地图显示单元、RTK(Real-time kinematic，实时动态)车身定位单元、速度显示单元、加速度显示单元、方向盘转向显示单元、实时图像显示单元、障碍物实时显示单元、红绿灯显示单元、安全栅栏显示单元。例如，高精地图显示单元，可以利用图像传感器和定位系统显示高精地图信息。在对多种传感器采集的源数据进行归一化、时间戳对齐处理后，可以根据高精地图显示单元所需要的数据类型，将图像传感器和定位系统对应的数据进行封装得到帧数据，其中每帧帧数据可以是标记了一个时间戳的高精地图的显示信息。
在另外的实施例中，在对多个时间戳对应的归一化处理后数据进行封装得到帧数据之后，将帧数据存储到车载终端的缓存池中。帧数据包括利用多种传感器采集的源数据处理后的数据。当用户的需求不同时，显示单元需要的帧数据类型不同。例如，用户要监控高精地图时，需要图像传感器和定位系统对应的帧数据，或者用户要监控周围障碍物时，需要激光雷达和图像传感器对应的帧数据。将帧数据存储到车载终端的缓存池中，当一类帧数据需要重复使用时，可以直接查询缓存池中对应的数据存储位置以多次获取那类帧数据。同时，采用访问缓存池中对应的数据存储位置获取帧数据的方式，可以避免为实现新功能，车载终端重新进行数据处理，进而导致流程复杂化的问题。另外还可以提高数据处理的速度，保证及时性，对自动驾驶领域的安全性是一大保障。
S109：车载终端对帧数据进行流编码处理得到帧数据流。
具体的，图3为本申请实施例提供的一种对帧数据进行流编码处理得到帧数据流的流程图，如图3所示，对帧数据进行流编码处理得到帧数据流可以包括：
S201：车载终端对帧数据进行时间戳标记和数据类型标记，得到被标记的帧数据。
在后续步骤中，不同显示单元需要使数据按照不同的时间戳在一帧中进行显示。数据需要经过不同通道流向不同显示单元，数据流向哪条通道对应数据类型，车载终端对帧数据进行数据类型标记，是确定数据流向的通道。而每帧数据是有顺序性的，车载终端对帧数据进行时间戳标记，可以保证后续步骤中数据按顺序进行处理。
S203：车载终端对被标记的帧数据进行加密编码处理，得到帧数据流。
加密编码处理是为了保证由车载终端至后台服务器数据传输的安全性和准确性。
在另一实施例中，当帧数据进行流编码处理得到帧数据流之后，将帧数据流存储到车载终端的缓存池中。利用多种传感器采集驾驶环境和地理位置的源数据，先对源数据进行归一化和时间戳对齐处理，再将处理后的数据进行分类，对多个时间戳对应的归一化处理后的数据进行封装并编码得到帧数据流，将帧数据流存储到车载终端的缓存池中。具体的，例如，用户自动驾驶车辆的显示器上显示的是车辆在高精地图的行驶状态，此时除了车载终端中对应高精地图显示单元的帧数据流以外，其余帧数据流实时存放在缓存池中，可以降低数据库的压力，提高数据库性能。而当用户需要其他功能的显示时，车载终端会用到除了车载终端中对应高精地图显示单元的帧数据流以外的帧数据流时，直接访问缓存池中对应的数据存储位置，进行后续数据处理及显示步骤，可以实现对应的人机界面功能。另外，将帧数据流存储在车辆终端的缓存池中，当需要实现某项人机界面功能时，后台服务器利用网络获取缓存池中对应数据存储位置的帧数据流，占用网络资源较少，减轻网络传输负担。采用访问缓存池中对应的数据存储位置获取帧数据流的方式，避免为实现新功能，车载终端需要重新进行数据处理的问题。同时，采用将帧数据流存储到车载终端的缓存池中的方式，可以提高数据处理的速度，保证及时性，对自动驾驶领域的安全性是一大保障。
具体的，如图4所示，将帧数据流存储到车载终端的缓存池后，该方法还包括：
S1091：车载终端对缓存池中的帧数据流进行流拆分、解码得到图源数据。
S1093：车载终端对图源数据进行渲染得到二维或三维的图形显示。
具体的，例如，自动驾驶车辆的车载终端利用多种传感器采集驾驶环境和地理位置的源数据，对源数据进行归一化和时间戳对齐处理，之后再进行分类封装得到帧数据，对帧数据进行流编码得到帧数据流，将帧数据流存储在车载终端的缓存池中，当自动驾驶车辆上的驾驶员需要显示某一功能图时，车载终端查询到缓存池对应的存储位置获取对应的帧数据流。车载终端对获取到的帧数据流进行流拆分、解码得到图源数据。图源数据是可以重复利用的数据模型，在自动驾驶过程中，利用Web GL可以基于图源数据渲染绘制出二维或三维的图形显示信息，从而在显示器上进行显示。驾驶员可以通过车载终端显示器上显示的二维或三维的图形监控自动驾驶情况。
S111：车载终端将帧数据流发送给后台服务器。
S113：后台服务器接收车载终端发送的对帧数据进行流编码处理得到的帧数据流。
S115：后台服务器对所述帧数据流进行流拆分和解码，得到图源数据。
具体的，后台服务器接收到的帧数据流是经过封装和流编码处理后的数据，因此在接收到数据后需要先进行流拆分和解码，获得图源数据。
S117：后台服务器对所述图源数据进行渲染，得到二维或三维的图形显示信息。
具体的，对图源数据进行渲染得到二维或三维的图形显示信息，可以利用 Web GL(Web Graphics Library)图形库来绘制二维或三维的图形显示信息。后台服务器得到二维或三维的图形显示信息后，可以在后台服务器的显示器上进行显示，后台人员可以根据显示器上显示的内容对自动驾驶车辆进行监控。
在上述的实施例中，用户可以在后台对自动驾驶车辆进行监控，其中，自动驾驶车辆可以包括多台自动驾驶车辆。例如，自动驾驶车辆的租赁行业，投入项目使用的可以有三种车型，每种车型对应的传感器不同。三种车型的车载终端对各自传感器采集的源数据进行处理后得到标准的帧数据流，用户在后台对所有自动驾驶车辆进行监控时，可以选择其中一辆，选择要监控的功能，后台服务器对该车相应的帧数据流进行绘制渲染处理得到二维或三维的图形显示信息，在显示器上进行显示。从而用户可以选择性地对车辆的功能进行监控。
以下以车载终端为执行主体介绍本申请一种数据处理方法，具体的，如图5 所示，可以包括：
S401：利用多种传感器采集驾驶环境和地理位置的源数据。
具体的，所述利用多种传感器采集驾驶环境和地理位置的源数据之后，所述方法还包括：
对多种传感器采集的环境和地理位置源数据进行数据过滤得到过滤后的源数据；
对所述过滤后的源数据进行归一化处理。
S403：对多种传感器所采集的源数据进行归一化处理。
S405：基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据。
S407：对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
具体的，所述对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据包括：
基于多个显示单元所显示的数据类型对所述多个时间戳对应的归一化处理后数据进行分类；
对分类后的多个时间戳对应的归一化处理后数据分别进行封装，得到不同数据类型的帧数据。
具体的，对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据之后，所述方法还包括：
将所述帧数据存储到本地的缓存池中。
S409：对所述帧数据进行流编码处理得到帧数据流。
具体的，对所述帧数据进行流编码处理得到帧数据流包括：
对所述帧数据进行时间戳标记和数据类型标记，得到被标记的帧数据；
对所述被标记的帧数据进行加密编码处理，得到帧数据流。
具体的，对所述帧数据进行流编码处理得到帧数据流之后，所述方法还包括：
将所述帧数据流存储到本地的的缓存池中。
具体的，对所述帧数据进行流编码处理得到帧数据流之后，所述方法还包括：
对所述缓存池中的帧数据流进行流拆分、解码得到图源数据；
对所述图源数据进行渲染得到二维或三维的图形显示信息。
将所述帧数据流存储到本地的的缓存池中。
S411：将所述帧数据流发送给后台服务器，以使所述后台服务器对所述帧数据流进行流拆分、解码得到图源数据，并对所述图源数据进行渲染得到二维或三维的图形显示信息。
本申请实施例还提供了一种数据处理装置，如图6所示，所述装置包括：
源数据获取单元601，用于利用多种传感器采集驾驶环境和地理位置的源数据；
归一化处理单元603，用于对多种传感器所采集的源数据进行归一化处理；
第二数据处理单元605，用于基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
封装单元607，用于对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据；
编码单元609，用于所述车辆对所述帧数据进行流编码处理得到帧数据流，并发送给信息显示模块；
数据发送单元611，用于将所述帧数据流发送给后台服务器。
以下以后台服务器为执行主体介绍本申请一种数据处理方法，具体的，如图7所示，可以包括：
S701：接收车载终端发送的对帧数据进行流编码处理得到的帧数据流；
S703：对所述帧数据流进行流拆分和解码，得到图源数据；
S705：对所述图源数据进行渲染，得到二维或三维的图形显示信息；
其中，所述帧数据为所述车载终端采用下述方式得到：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
本申请实施例还提供了一种数据处理装置，如图8所示，所述装置包括：
数据接收单元801，用于接收车载终端发送的对帧数据进行流编码处理得到的帧数据流；
流处理单元803，用于对所述帧数据流进行流拆分和解码，得到图源数据；
图形显示信息处理单元805，用于对所述图源数据进行渲染，得到二维或三维的图形显示信息；
其中，所述帧数据为所述车载终端采用下述方式得到：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
另一方面，本申请还提供一种数据处理系统的实施例，该系统包括车载终端和后台服务器；
所述车载终端用于利用多种传感器采集驾驶环境和地理位置的源数据；以及，对多种传感器所采集的源数据进行归一化处理；以及，基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；以及，对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据；以及，对所述帧数据进行流编码处理得到帧数据流，并发送给所述后台服务器，以使所述后台服务器对所述帧数据流进行流拆分、解码得到图源数据，并对所述图源数据进行渲染得到二维或三维的图形显示信息；
所述后台服务器用于对所述车载终端发送的帧数据流进行流拆分、解码得到图源数据；以及，对所述图源数据进行渲染得到二维或三维的图形显示信息。
在上述实施例中，用户可以在后台对车辆的自动驾驶情况进行监控。
在另外的实施例中，该系统包括车载终端和后台服务器；
所述车载终端用于利用多种传感器采集驾驶环境和地理位置的源数据；以及，对多种传感器所采集的源数据进行归一化处理；以及，基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；以及，对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据；以及，对所述帧数据进行流编码处理得到帧数据流，并发送给所述后台服务器；以及，对帧数据流进行流拆分、解码得到图源数据；以及，对图源数据进行渲染得到二维或三维的图形显示信息。
所述后台服务器用于对所述车载终端发送的帧数据流进行流拆分、解码得到图源数据；以及，对所述图源数据进行渲染得到二维或三维的图形显示信息。
上述的实施例，可以实现用户在后台对车辆自动驾驶的监控，同时自动驾驶车辆中的人员也可以对车辆的自动驾驶情况进行监控。
另一方面，本申请还提供一种用于数据处理的介质实施例，该介质包括：
处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方法实施例所提供的数据处理方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种后台服务器的结构示意图，请参阅图9，该后台服务器900用于实施上述实施例中提供的数据处理方法。该后台服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器 (Central Processing Units，CPU)910(例如，一个或一个以上处理器)和存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器910 可以设置为与存储介质920通信，在后台服务器900上执行存储介质920中的一系列指令操作。后台服务器900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如WindowsServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。
输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
由上述本申请提供的一种数据处理方法、装置、系统和介质的实施例可见，本申请通过利用多种传感器采集驾驶环境和地理位置的源数据；对多种传感器所采集的源数据进行归一化处理；基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据；对所述帧数据进行流编码处理得到帧数据流，并发送给后台服务器，以使所述后台服务器对接收到的帧数据流进行流拆分、解码得到图源数据，并对所述图源数据进行渲染得到二维或三维的图形显示信息，能够实现车辆在自动驾驶中对采集到的数据进行处理得到标准类型的帧数据流，发送给后台服务器，再根据用户需求由后台服务器将帧数据流处理成可以显示到显示器上的图形显示信息，提高了数据的处理效率和及时性。同时，在新的自动驾驶车辆开发过程中，帧数据流至图形显示信息的数据处理和部分传感器对应的数据类型处理可以复用，大大缩短了开发周期。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、服务器、客户端和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据；
对所述帧数据进行流编码处理得到帧数据流；
将所述帧数据流发送给后台服务器，以使所述后台服务器对所述帧数据流进行流拆分、解码得到图源数据，并对所述图源数据进行渲染得到二维或三维的图形显示信息。
2.根据权利要求1所述的数据处理方法，其特征在于，对所述帧数据进行流编码处理得到帧数据流之后，所述方法还包括：
将所述帧数据流存储到本地的的缓存池中。
3.根据权利要求2所述的数据处理方法，其特征在于，对所述帧数据进行流编码处理得到帧数据流之后，所述方法还包括：
对所述缓存池中的帧数据流进行流拆分、解码得到图源数据；
对所述图源数据进行渲染得到二维或三维的图形显示信息。
4.根据权利要求1所述的数据处理方法，其特征在于，所述利用多种传感器采集驾驶环境和地理位置的源数据之后，所述方法还包括：
对多种传感器采集的环境和地理位置源数据进行数据过滤得到过滤后的源数据；
对所述过滤后的源数据进行归一化处理。
5.根据权利要求1所述的数据处理方法，其特征在于，所述对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据包括：
基于多个显示单元所显示的数据类型对所述多个时间戳对应的归一化处理后数据进行分类；
对分类后的多个时间戳对应的归一化处理后数据分别进行封装，得到不同数据类型的帧数据。
6.根据权利要求1所述的数据处理方法，其特征在于，所述对所述帧数据进行流编码处理得到帧数据流包括：
对所述帧数据进行时间戳标记和数据类型标记，得到被标记的帧数据；
对所述被标记的帧数据进行加密编码处理，得到帧数据流。
7.根据权利要求1所述的数据处理方法，其特征在于，所述对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据之后，所述方法还包括：
将所述帧数据存储到本地的缓存池中。
8.一种数据处理方法，其特征在于，所述方法包括：
接收车载终端发送的对帧数据进行流编码处理得到的帧数据流；
对所述帧数据流进行流拆分和解码，得到图源数据；
对所述图源数据进行渲染，得到二维或三维的图形显示信息；
其中，所述帧数据为所述车载终端采用下述方式得到：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
9.一种数据处理装置，其特征在于，所述装置包括：
源数据获取单元，用于利用多种传感器采集驾驶环境和地理位置的源数据；
归一化处理单元，用于对多种传感器所采集的源数据进行归一化处理；
第二数据处理单元，用于基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
封装单元，用于对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据；
编码单元，用于所述车辆对所述帧数据进行流编码处理得到帧数据流，并发送给信息显示模块；
数据发送单元，用于将所述帧数据流发送给后台服务器。
10.一种数据处理装置，其特征在于，所述装置包括：
数据接收单元，用于接收车载终端发送的对帧数据进行流编码处理得到的帧数据流；
流处理单元，用于对所述帧数据流进行流拆分和解码，得到图源数据；
图形显示信息处理单元，用于对所述图源数据进行渲染，得到二维或三维的图形显示信息；
其中，所述帧数据为所述车载终端采用下述方式得到：
利用多种传感器采集驾驶环境和地理位置的源数据；
对多种传感器所采集的源数据进行归一化处理；
基于源数据的采集时间将对应的归一化处理后数据进行分类处理，得到多个时间戳对应的归一化处理后数据；
对所述多个时间戳对应的归一化处理后数据进行封装得到帧数据，所述帧数据中每帧数据对应一个时间戳下的归一化处理后数据。
CN202010023195.7A 2020-01-09 2020-01-09 一种数据处理方法和装置 Pending CN113094564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010023195.7A CN113094564A (zh) 2020-01-09 2020-01-09 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010023195.7A CN113094564A (zh) 2020-01-09 2020-01-09 一种数据处理方法和装置

Publications (1)

Publication Number Publication Date
CN113094564A true CN113094564A (zh) 2021-07-09

Family

ID=76663549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010023195.7A Pending CN113094564A (zh) 2020-01-09 2020-01-09 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN113094564A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330922A (zh) * 2022-08-10 2022-11-11 小米汽车科技有限公司 数据处理方法、装置、车辆、可读存储介质与芯片

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080306970A1 (en) * 2005-09-08 2008-12-11 International Business Machines Corporation Canonical model to normalize disparate persistent data sources
CN101803335A (zh) * 2007-07-27 2010-08-11 真实网络公司 用于组合媒体数据的系统和方法
CN103458236A (zh) * 2013-09-18 2013-12-18 张家港美核电子科技有限公司 危化品物流智能监控系统
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080306970A1 (en) * 2005-09-08 2008-12-11 International Business Machines Corporation Canonical model to normalize disparate persistent data sources
CN101803335A (zh) * 2007-07-27 2010-08-11 真实网络公司 用于组合媒体数据的系统和方法
CN103458236A (zh) * 2013-09-18 2013-12-18 张家港美核电子科技有限公司 危化品物流智能监控系统
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330922A (zh) * 2022-08-10 2022-11-11 小米汽车科技有限公司 数据处理方法、装置、车辆、可读存储介质与芯片
CN115330922B (zh) * 2022-08-10 2023-08-15 小米汽车科技有限公司 数据处理方法、装置、车辆、可读存储介质与芯片

Similar Documents

Publication Publication Date Title
CN106650705B (zh) 区域标注方法、装置和电子设备
US10855753B2 (en) Distributed computing of vehicle data by selecting a computation resource of a remote server that satisfies a selection policy for meeting resource requirements according to capability information
CN111768440A (zh) 用于管理受监视区域的世界模型的技术
CN114153220B (zh) 基于人工智能物联网平台用于自动驾驶的远程控制方法
CN112544061B (zh) 一种数据传输方法以及装置
CN111081017B (zh) 车辆信息管理系统、方法、计算机设备及存储介质
CN103546577A (zh) 一种实现安全驾驶的方法和系统
US11529974B2 (en) Systems and methods for data management
CN113094564A (zh) 一种数据处理方法和装置
CN110990478A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113433548A (zh) 一种数据监控方法、装置、设备及存储介质
US20230091574A1 (en) Driving assistance processing method and apparatus, computer-readable medium, and electronic device
EP3992930B1 (en) Method and apparatus for controlling data collection, storage medium, and computer program product
CN217435657U (zh) 自动驾驶车辆的电气系统和自动驾驶车辆
CN115082690B (zh) 目标识别方法、目标识别模型训练方法及装置
CN115631626A (zh) 一种车辆数据监控分析方法、装置、设备及介质
CN114120642B (zh) 一种道路车流三维重建方法、计算机设备及存储介质
CN212637372U (zh) 一种故障处理系统
CN115118744A (zh) 一种面向车路协同的元宇宙构建系统及方法
KR20220053454A (ko) 위성 기반 자동차 모니터링 방법, 장치, 기기, 컴퓨터 및 매체
CN109415065B (zh) 用于虚拟化驾驶环境的装置和方法以及车辆
CN216209924U (zh) 一种车载定位装置
CN114820608B (zh) 成像效果检测方法、装置、车辆及存储介质
CN113922862B (zh) 一种无人机综合任务管控系统
CN116828156B (zh) 地理空间事件的采集方法、系统、设备、介质及采集盒

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709

RJ01 Rejection of invention patent application after publication