CN117041916B - 一种海量数据处理方法、装置、系统及存储介质 - Google Patents
一种海量数据处理方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN117041916B CN117041916B CN202311262282.8A CN202311262282A CN117041916B CN 117041916 B CN117041916 B CN 117041916B CN 202311262282 A CN202311262282 A CN 202311262282A CN 117041916 B CN117041916 B CN 117041916B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- state
- image
- sub
- surrounding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000015654 memory Effects 0.000 claims description 24
- 238000012217 deletion Methods 0.000 claims description 10
- 230000037430 deletion Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000005457 optimization Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/09—Management thereof
- H04W28/0908—Management thereof based on time, e.g. for a critical period only
Abstract
本申请涉及一种海量数据处理方法、装置、系统及存储介质，方法包括响应于车辆收到的操作指令或者触发指令，获取车辆的周围环境状态，周围环境状态包括道路环境情况以及周围车辆情况；使用道路环境情况和周围车辆情况判断车辆的行驶状态，行驶状态包括安全行驶状态与非安全行驶状态；将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包以及将数据包发送至云端。本申请的海量数据处理方法、装置、系统及存储介质，借助于边缘计算与中心计算的协同处理来实现实际场景中行驶车辆产生数据的优化，通过边缘计算的方式对数据进行优化，再将经过优化的数据发送至进行中心计算，用以平衡有效数据量和数据传输成本。
Description
技术领域
本申请涉及海量数据处理技术领域，尤其是涉及一种海量数据处理方法、装置、系统及存储介质。
背景技术
自动驾驶的规模车队搭载着摄像头、毫米波雷达和激光雷达等传感器在各地、各种路况、各种气候条件下进行路测，路测过程中会产生海量数据，一辆测试车每天产生的数据量约为10 TB。除此之外，还有已经投放到市场的车辆在实际的使用环境中产生数据，这些数据共同为自动驾驶提供基础的数据支撑。
在实际场景中行驶的车辆产生的数据具有更好的指导价值，主要原因有终端数量多、面临更加复杂的使用场景和数据产生量大等因素，并且其产生环境要优于车队路测的产生环境。
但是在实际场景中行驶的车辆产生的数据也面临数据繁杂、数据传输难度大等现实影响因素，这使得这种数据的累积速度要滞后于车队路测的数据累积。如何解决该问题还需要进一步研究。
发明内容
本申请提供一种海量数据处理方法、装置、系统及存储介质，借助于边缘计算与中心计算的协同处理来实现实际场景中行驶车辆产生数据的优化，通过边缘计算的方式对数据进行优化，然后再将经过优化的数据发送至进行中心计算，用以平衡有效数据量和数据传输成本。
本申请的上述目的是通过以下技术方案得以实现的：
第一方面，本申请提供了一种海量数据处理方法，包括：
响应于车辆收到的操作指令或者触发指令，获取车辆的周围环境状态，周围环境状态包括道路环境情况以及周围车辆情况；
使用道路环境情况和周围车辆情况判断车辆的行驶状态，行驶状态包括安全行驶状态与非安全行驶状态；
将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；以及
将数据包发送至云端；
其中，时间序列上，数据包位于两个安全行驶状态对应的时间段之间；
触发指令来自车辆的周围环境状态。
在第一方面的一种可能的实现方式中，使用道路环境情况和周围车辆情况判断车辆的行驶状态包括：
根据周围环境状态构建车辆的行驶范围区域；
根据行驶范围区域构建潜在行驶路线； 以及
确定实际行驶路线与潜在行驶路线的吻合度并使用吻合度判断车辆的行驶状态；
其中，车辆的行驶范围区域随车辆位置变化动态更新；
时间序列上，实际行驶路线与潜在行驶路线的吻合度的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离。
在第一方面的一种可能的实现方式中，潜在行驶路线包括多段子潜在行驶路线段；
时间序列上，子潜在行驶路线段的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离。
在第一方面的一种可能的实现方式中，将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包包括：
记录车辆的行驶路线并将行驶路线分段，得到多段子行驶路线段；
获取子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态；以及
将子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包。
在第一方面的一种可能的实现方式中，还包括对子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态进行压缩，压缩包括：
获取周围环境状态中的图像；
将图像进行切割，得到多个子图像并使用比对方式确定子图像的类别，确定结果包括已知子图像和未知子图像；
根据已知子图像在多个子图像中的占比或者特定的已知子图像确定图像中对象的类别；以及
拾取对象的轮廓特征并使用对象的轮廓特征替换获取到的周围环境状态中的图像。
在第一方面的一种可能的实现方式中，图像中的对象包括已知对象和未知对象；
对于图像中的未知对象，将未知对象从图像中分离后进行压缩；
其中，未知对象所在图像中的其他内容进行删除处理，未知对象所在图像独立存储。
在第一方面的一种可能的实现方式中，将未知对象从图像中分离后进行压缩包括：
确定图像中未知对象的轮廓；
以未知对象的轮廓为基础进行扩散，得到删除边界并根据删除边界得到删除区域；
将删除边界中的内容进行删除处理；以及
对图像中的剩余内容进行压缩。
第二方面，本申请提供了一种海量数据处理装置，包括：
第一信息获取单元，用于响应于车辆收到的操作指令或者触发指令，获取车辆的周围环境状态，周围环境状态包括道路环境情况以及周围车辆情况；
第一状态判定单元，用于使用道路环境情况和周围车辆情况判断车辆的行驶状态，行驶状态包括安全行驶状态与非安全行驶状态；
信息处理单元，用于将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；以及
数据通讯单元，用于将数据包发送至云端；
其中，时间序列上，数据包位于两个安全行驶状态对应的时间段之间；
触发指令来自车辆的周围环境状态。
第三方面，本申请提供了一种海量数据处理系统，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如第一方面及第一方面任意可能的实现方式中所述的方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质包括：
程序，当所述程序被处理器运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
第五方面，本申请提供了一种计算机程序产品，包括程序指令，当所述程序指令被计算设备运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
第六方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于实现上述各方面中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，或者处理器和该存储器也可以耦合在同一个设备上。
本申请的有益效果为：整体而言，本申请提供的一种海量数据处理方法及系统，对车辆行驶过程中产生的数据进行定向选择后发送给云端用于训练神经网络，这种边缘计算与中心计算协同的数据处理方式可以在效数据量和数据传输成本之间进行平衡，通过在海量终端运行过程中产生的数据中找到有效数据，用以实现神经网络的针对性数据输入与训练。
附图说明
图1是本申请提供的一种海量数据处理方法的步骤流程示意框图。
图2是本申请提供的一种构建行驶范围区域的原理性示意图。
图3是本申请提供的一种构建潜在行驶路线的原理性示意图。
图4是本申请提供的一种收集子行驶路线段起始时间点和截止时间点的周围环境状态的原理性示意图。
图5是本申请提供的一种使用对象的轮廓特征来代替图像中对象的原理性示意图。
图6是本申请提供的一种对图像的未知对象进行处理的原理性示意图。
具体实施方式
首先对本申请公开的海量数据处理方法的使用场景进行说明。本申请公开的海量数据处理方法，应用于车辆上的控制中心，此处可以将车辆看作是一个能够产生行驶数据的终端，该终端产生的数据需要发送至中心计算服务器（云端）进行处理。
中心计算服务器（云端）使用数据来训练神经网络，该神经网络用于实现自动驾驶技术。此处可以将神经网络视为一个不断进行学习的虚拟驾驶人员，该虚拟驾驶人员通过对各种驾驶环境的学习，能够在面对不同情况时在更短的时间内采取合适的驾驶策略。
基于上述陈述可以看到，对于神经网络的训练，需要持续输入有效数据来对神经网络进行训练。对于终端，其产生的数据包括行驶过程中的一切数据，这些数据包括有效数据（可以用于训练神经网络）和无效数据（无法用于训练神经网络），这些数据主要分为行驶数据、点云数据、图片数据和影像数据等。
数据需要借助车机流量，这其中面临车机流量归属、数据量大小和数据传输速度等多种问题。为了解决这些问题，本申请提出了针对于数据在终端处进行主动筛选的方式，主动筛选可以直接得到有效数据，然后再将这些数据进过压缩后发送至中心计算服务器（云端）进行处理。
以下结合附图，对本申请中的技术方案作进一步详细说明。
本申请公开了一种海量数据处理方法，请参阅图1，处理方法包括以下步骤：
S101，响应于车辆收到的操作指令或者触发指令，获取车辆的周围环境状态，周围环境状态包括道路环境情况以及周围车辆情况；
S102，使用道路环境情况和周围车辆情况判断车辆的行驶状态，行驶状态包括安全行驶状态与非安全行驶状态；
S103，将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；以及
S104，将数据包发送至云端；
其中，时间序列上，数据包位于两个安全行驶状态对应的时间段之间；
触发指令来自车辆的周围环境状态。
车辆上的控制中心（以下统称为边缘处理器）基于车辆收到的操作指令或者触发指令执行本申请公开的海量数据处理方法，车辆收到的操作指令基于驾驶员产生，触发指令基于车辆的周围环境状态产生。
在步骤S101中，边缘处理器在收到车辆收到的操作指令或者触发指令后，会获取车辆的周围环境状态，周围环境状态包括道路环境情况以及周围车辆情况，此处的道路环境情况主要指路面情况，周围车辆情况，主要指边缘处理器所在车辆周围的车辆，周围环境状态的获取可以是基于图像传感器、激光雷达、接近传感器等安装在车辆上的传感器。
在步骤S102中，会使用道路环境情况和周围车辆情况判断车辆的行驶状态，此处的驾驶状态分为两种，分别是安全行驶状态和非安全行驶状态，对于安全行驶状态和非安全行驶状态，使用设定的规则判定，具体的规则有与前车间距、与前车相对行驶速度、与相邻车道内车辆的间距、与相邻车道内车辆的相对速度、边缘处理器所在车辆的具体操作等。
该步骤是一个触发步骤，满足触发条件后，开始对数据进行处理，具体的处理方式在步骤S103中，该步骤中，会将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包，然后在步骤S104中将数据包发送至云端。
时间序列上，数据包位于两个安全行驶状态对应的时间段之间，也就是一个数据包对应一个时间段，该时间段为终端在非安全行驶状态下的时间段。
通过上述方式的处理，可以对终端在行驶过程中产生的数据进行直接筛选，筛选能够得到终端对于在非安全行驶状态时产生的数据，该数据可以直接用于训练中心计算服务器（云端）中的神经网络。
应理解，对于神经网络在自动驾驶中的使用，主要是用于处理各种行驶过程中遇到的突发情况，不同的驾驶人员在面临这些突发情况时，会采取不同的处理方式，这些处理方式有安全的，也有不安全的。自动驾驶的加入就是在面临突发情况时，能够采取安全的处理方式。
因此对于应用于自动驾驶的神经网络的训练，应当尽可能的输入在非安全行驶状态下产生的数据，这些数据可以使应用于自动驾驶的神经网络学习到正确的处理方式。
在一些例子中，使用道路环境情况和周围车辆情况判断车辆的行驶状态包括以下步骤：
S201，根据周围环境状态构建车辆的行驶范围区域；
S202，根据行驶范围区域构建潜在行驶路线； 以及
S203，确定实际行驶路线与潜在行驶路线的吻合度并使用吻合度判断车辆的行驶状态；
具体而言，在步骤S201中，会根据周围环境状态构建车辆的行驶范围区域，图2所示，然后在步骤S202中根据行驶范围区域构建潜在行驶路线，图3所示，最后在步骤S203中确定实际行驶路线与潜在行驶路线的吻合度并使用吻合度判断车辆的行驶状态。
行驶路线是边缘服务器基于自身运算结果产生，该运算结果会直接影响边缘服务器采取何种处理方式，通过确定实际行驶路线与潜在行驶路线的吻合度，可以对边缘服务器产生的运算结果和对车辆的行驶状态判定进行校正。
这其中，车辆的行驶范围区域随车辆位置变化动态更新，在一些可能的实现方式中，车辆的行驶范围区域以一个固定的频率更新。
另外，对于吻合度的判定，使用如下方式进行：
时间序列上，实际行驶路线与潜在行驶路线的吻合度的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离。
具体是以跨越车道和在横向移动距离两个维度上进行判定，因为这两种方式更容易导致车祸的发生。因为如果车辆不采取变道策略，仅保持在原车道上行驶，则可以直接使用车距判定的方式来实现安全与否的判定。对于在该部分内容中产生的数据，也需要一并放置到数据包中并发送至云端。
进一步地，潜在行驶路线包括多段子潜在行驶路线段，对于子潜在行驶路线段的划分，使用如下方式：
时间序列上，子潜在行驶路线段的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离。
划分多段子潜在行驶路线段的方式能够在确定吻合度时得到更加准确的户数据，例如在某一段或者某几段子潜在行驶路线段与实际行驶路线存在高吻合度，在另外的某一段或者某几段子潜在行驶路线段与实际行驶路线存在低吻合度。这种方式可以得到更加准确的数据。对于在该部分内容中产生的数据，也需要一并放置到数据包中并发送至云端。
在一些例子中，将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包包括以下步骤：
S301，记录车辆的行驶路线并将行驶路线分段，得到多段子行驶路线段；
S302，获取子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态；以及
S303，将子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包。
在步骤S301至步骤S303中，会将子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态进行收集，如图4所示。
然后将子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包。这种方式的优势在于能够尽可能的缩小数据包的体积，在有效数据和数据包发送上进行均衡。
进一步地，还包括对子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态进行压缩，压缩包括以下步骤：
S401，获取周围环境状态中的图像；
S402，将图像进行切割，得到多个子图像并使用比对方式确定子图像的类别，确定结果包括已知子图像和未知子图像；
S403，根据已知子图像在多个子图像中的占比或者特定的已知子图像确定图像中对象的类别；以及
S404，拾取对象的轮廓特征并使用对象的轮廓特征替换获取到的周围环境状态中的图像。
在步骤S401至步骤S404中，会识别图像中的对象，然后使用对象的轮廓特征来代替图像中的对象，如图5所示。这种方式可以极大的压缩图像体积，同时对于图像上位于轮廓特征以外的部分，也可以使用删除的方式进行处理。
对于图像中的对象，分为已知对象和未知对象两种，对于未知对象的处理，方式如下：
对于图像中的未知对象，将未知对象从图像中分离后进行压缩，未知对象所在图像中的其他内容进行删除处理，未知对象所在图像独立存储。
将未知对象分离出来的目的主要是考虑到在后期的处理过程中，需要借助人工识别或者人工标定的方式来进行处理，因此需要将其进行完整保留和独立存储。
在一些例子中，请参阅图6，将未知对象从图像中分离后进行压缩包括以下步骤：
S501，确定图像中未知对象的轮廓；
S502，以未知对象的轮廓为基础进行扩散，得到删除边界并根据删除边界得到删除区域；
S503，将删除边界中的内容进行删除处理；以及
S504，对图像中的剩余内容进行压缩。
步骤S501至步骤S504的目的是保留未知对象所在环境中的一些信息，用以提高在后续识别过程中的准确率。应理解，在确定图像中未知对象轮廓的步骤中，可能出现未知对象轮廓与实际轮廓不吻合的情况，这可能导致未知对象的轮廓小于未知对象，进而导致得到的未知对象出现缺失。因此在本申请中，使用了以未知对象的轮廓为基础进行扩散的方式来提高知对象轮廓与实际轮廓的吻合度。
同时对于删除区域中的内容，还需要进行删除处理，用以尽可能的压缩未知对象所在图像的体积。
本申请还提供了一种海量数据处理装置，包括：
第一信息获取单元，用于响应于车辆收到的操作指令或者触发指令，获取车辆的周围环境状态，周围环境状态包括道路环境情况以及周围车辆情况；
第一状态判定单元，用于使用道路环境情况和周围车辆情况判断车辆的行驶状态，行驶状态包括安全行驶状态与非安全行驶状态；
信息处理单元，用于将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；以及
数据通讯单元，用于将数据包发送至云端；
其中，时间序列上，数据包位于两个安全行驶状态对应的时间段之间；
触发指令来自车辆的周围环境状态。
进一步地，还包括：
第一处理单元，用于根据周围环境状态构建车辆的行驶范围区域；
第二处理单元，用于根据行驶范围区域构建潜在行驶路线； 以及
第二状态判定单元，用于确定实际行驶路线与潜在行驶路线的吻合度并使用吻合度判断车辆的行驶状态；
其中，车辆的行驶范围区域随车辆位置变化动态更新；
时间序列上，实际行驶路线与潜在行驶路线的吻合度的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离。
进一步地，潜在行驶路线包括多段子潜在行驶路线段；
时间序列上，子潜在行驶路线段的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离。
进一步地，还包括：
行驶路线划分单元，用于记录车辆的行驶路线并将行驶路线分段，得到多段子行驶路线段；
第二信息获取单元，用于获取子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态；以及
第三处理单元，用于将子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包。
进一步地，还包括：
第三信息获取单元，用于获取周围环境状态中的图像；
第四处理单元，用于将图像进行切割，得到多个子图像并使用比对方式确定子图像的类别，确定结果包括已知子图像和未知子图像；
类别确定单元，用于根据已知子图像在多个子图像中的占比或者特定的已知子图像确定图像中对象的类别；以及
第五处理单元，用于拾取对象的轮廓特征并使用对象的轮廓特征替换获取到的周围环境状态中的图像。
进一步地，图像中的对象包括已知对象和未知对象；
对于图像中的未知对象，将未知对象从图像中分离后进行压缩；
其中，未知对象所在图像中的其他内容进行删除处理，未知对象所在图像独立存储。
进一步地，还包括：
轮廓确定单元，用于确定图像中未知对象的轮廓；
删除区域获取单元，用于以未知对象的轮廓为基础进行扩散，得到删除边界并根据删除边界得到删除区域；
删除单元，用于将删除边界中的内容进行删除处理；以及
压缩单元，用于对图像中的剩余内容进行压缩。
在一个例子中，以上任一装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specificintegratedcircuit，ASIC)，或，一个或多个数字信号处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(fieldprogrammable gate array，FPGA)，或这些集成电路形式中至少两种的组合。
再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
在本申请中可能出现的对各种消息/信息/设备/网元/系统/装置/动作/操作/流程/概念等各类客体进行了赋名，可以理解的是，这些具体的名称并不构成对相关客体的限定，所赋名称可随着场景，语境或者使用习惯等因素而变更，对本申请中技术术语的技术含义的理解，应主要从其在技术方案中所体现/执行的功能和技术效果来确定。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
还应理解，在本申请的各个实施例中，第一、第二等只是为了表示多个对象是不同的。例如第一时间窗和第二时间窗只是为了表示出不同的时间窗。而不应该对时间窗的本身产生任何影响，上述的第一、第二等不应该对本申请的实施例造成任何限制。
还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种海量数据处理系统，所述系统包括：
一个或多个存储器，用于存储指令；以及
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如上述内容中所述的方法。
本申请还提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被执行时，以使得该终端设备和该网络设备执行对应于上述方法的终端设备和网络设备的操作。
本申请还提供了一种芯片系统，该芯片系统包括处理器，用于实现上述内容中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。
在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，以支持该芯片系统实现上述实施例中的各种功能。或者，该处理器和该存储器也可以耦合在同一个设备上。
可选地，该计算机指令被存储在存储器中。
可选地，该存储器为该芯片内的存储单元，如寄存器、缓存等，该存储器还可以是该终端内的位于该芯片外部的存储单元，如ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM等。
可以理解，本申请中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
非易失性存储器可以是ROM、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。
易失性存储器可以是RAM，其用作外部高速缓存。RAM有多种不同的类型，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器。
本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (5)
1.一种海量数据处理方法，其特征在于，包括：
响应于车辆收到的操作指令或者触发指令，获取车辆的周围环境状态，周围环境状态包括道路环境情况周围车辆情况；
使用道路环境情况和周围车辆情况判断车辆的行驶状态，行驶状态包括安全行驶状态与非安全行驶状态；
将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；
将数据包发送至云端；
其中，时间序列上，数据包位于两个安全行驶状态对应的时间段之间；
触发指令来自车辆的周围环境状态；
使用道路环境情况和周围车辆情况判断车辆的行驶状态包括：
根据周围环境状态构建车辆的行驶范围区域；
根据行驶范围区域构建潜在行驶路线；
确定实际行驶路线与潜在行驶路线的吻合度并使用吻合度判断车辆的行驶状态；
其中，车辆的行驶范围区域随车辆位置变化动态更新；
时间序列上，实际行驶路线与潜在行驶路线的吻合度的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离；
将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包包括：
记录车辆的行驶路线并将行驶路线分段，得到多段子行驶路线段；
获取子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态；
将子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；
还包括对子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态进行压缩，压缩包括：
获取周围环境状态中的图像；
将图像进行切割，得到多个子图像并使用比对方式确定子图像的类别，确定结果包括已知子图像和未知子图像；
根据已知子图像在多个子图像中的占比确定图像中对象的类别；图像中的对象包括已知对象和未知对象，对于图像中的未知对象，将未知对象从图像中分离后进行压缩，未知对象所在图像中的其他内容进行删除处理，未知对象所在图像独立存储；
拾取对象的轮廓特征并使用对象的轮廓特征替换获取到的周围环境状态中的图像；
将未知对象从图像中分离后进行压缩包括：
确定图像中未知对象的轮廓；
以未知对象的轮廓为基础进行扩散，得到删除边界并根据删除边界得到删除区域；
将删除边界中的内容进行删除处理；
对图像中的剩余内容进行压缩。
2.根据权利要求1所述的海量数据处理方法，其特征在于，潜在行驶路线包括多段子潜在行驶路线段；
时间序列上，子潜在行驶路线段的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离。
3.一种海量数据处理装置，其特征在于，包括：
第一信息获取单元，用于响应于车辆收到的操作指令或者触发指令，获取车辆的周围环境状态，周围环境状态包括道路环境情况周围车辆情况；
第一状态判定单元，用于使用道路环境情况和周围车辆情况判断车辆的行驶状态，行驶状态包括安全行驶状态与非安全行驶状态；
信息处理单元，用于将非安全行驶状态对应的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；
数据通讯单元，用于将数据包发送至云端；时间序列上，数据包位于两个安全行驶状态对应的时间段之间；触发指令来自车辆的周围环境状态；
还包括：
第一处理单元，用于根据周围环境状态构建车辆的行驶范围区域，车辆的行驶范围区域随车辆位置变化动态更新；
第二处理单元，用于根据行驶范围区域构建潜在行驶路线；
第二状态判定单元，用于确定实际行驶路线与潜在行驶路线的吻合度并使用吻合度判断车辆的行驶状态，时间序列上，实际行驶路线与潜在行驶路线的吻合度的起始时间点与截止时间点对应两个车道或者大于等于设定横向移动距离的横向移动距离；
行驶路线划分单元，用于记录车辆的行驶路线并将行驶路线分段，得到多段子行驶路线段；
第二信息获取单元，用于获取子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态；
第三处理单元，用于将子行驶路线段起始时间点的周围环境状态和截止时间点的周围环境状态与车辆收到的操作指令或者触发指令关联并组成数据包；
第三信息获取单元，用于获取周围环境状态中的图像；
第四处理单元，用于将图像进行切割，得到多个子图像并使用比对方式确定子图像的类别，确定结果包括已知子图像和未知子图像；
类别确定单元，用于根据已知子图像在多个子图像中的占比确定图像中对象的类别；图像中的对象包括已知对象和未知对象，对于图像中的未知对象，将未知对象从图像中分离后进行压缩，未知对象所在图像中的其他内容进行删除处理，未知对象所在图像独立存储；
第五处理单元，用于拾取对象的轮廓特征并使用对象的轮廓特征替换获取到的周围环境状态中的图像；
轮廓确定单元，用于确定图像中未知对象的轮廓；
删除区域获取单元，用于以未知对象的轮廓为基础进行扩散，得到删除边界并根据删除边界得到删除区域；
删除单元，用于将删除边界中的内容进行删除处理；
压缩单元，用于对图像中的剩余内容进行压缩。
4.一种海量数据处理系统，其特征在于，所述系统包括：
一个或多个存储器，用于存储指令；
一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1或2所述的方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：
程序，当所述程序被处理器运行时，如权利要求1或2所述的方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311262282.8A CN117041916B (zh) | 2023-09-27 | 2023-09-27 | 一种海量数据处理方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311262282.8A CN117041916B (zh) | 2023-09-27 | 2023-09-27 | 一种海量数据处理方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117041916A CN117041916A (zh) | 2023-11-10 |
| CN117041916B true CN117041916B (zh) | 2024-01-09 |
Family
ID=88632054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311262282.8A Active CN117041916B (zh) | 2023-09-27 | 2023-09-27 | 一种海量数据处理方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117041916B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548679A (zh) * | 2016-02-03 | 2017-03-29 | 北京易驾佳信息科技有限公司 | 一种智能驾驶训练系统 |
| CN110716562A (zh) * | 2019-09-25 | 2020-01-21 | 南京航空航天大学 | 基于强化学习的无人驾驶汽车多车道行驶的决策方法 |
| CN112099496A (zh) * | 2020-09-08 | 2020-12-18 | 苏州浪潮智能科技有限公司 | 一种自动驾驶训练方法、装置、设备及介质 |
| WO2021133789A1 (en) * | 2019-12-27 | 2021-07-01 | Lyft, Inc. | Systems and methods for incident detection using inference models |
| CN114715143A (zh) * | 2022-05-11 | 2022-07-08 | 奇瑞汽车股份有限公司 | 车辆控制方法、装置、车辆及存储介质 |
| CN114913620A (zh) * | 2022-05-18 | 2022-08-16 | 一汽解放汽车有限公司 | 数据提取方法、装置、计算机设备和存储介质 |
| CN115667848A (zh) * | 2020-08-05 | 2023-01-31 | 宝马股份公司 | 用于将车辆的gnss位置进行地图匹配的系统和方法 |
| CN115923820A (zh) * | 2023-01-19 | 2023-04-07 | 蔚来汽车科技(安徽)有限公司 | 用于车辆的自动驾驶系统的场景数据收集方法和装置 |
| CN115946713A (zh) * | 2023-01-19 | 2023-04-11 | 奇瑞新能源汽车股份有限公司 | 车辆的辅助驾驶方法、装置、电子设备及存储介质 |
| CN116001800A (zh) * | 2022-12-30 | 2023-04-25 | 联通智网科技股份有限公司 | 车辆驾驶风险信息获取方法、装置、电子设备及介质 |
| CN116353625A (zh) * | 2021-12-27 | 2023-06-30 | 丰田自动车株式会社 | 行驶控制装置以及行驶控制方法 |
| CN116753938A (zh) * | 2023-06-13 | 2023-09-15 | 网络通信与安全紫金山实验室 | 车辆测试场景生成方法、装置、存储介质及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018117631A1 (en) * | 2016-12-21 | 2018-06-28 | Samsung Electronics Co., Ltd. | Electronic apparatus and method of operating the same |
| TWI701174B (zh) * | 2018-06-06 | 2020-08-11 | 緯創資通股份有限公司 | 駕駛預測方法及其處理裝置與系統 |
| US20230052039A1 (en) * | 2021-08-10 | 2023-02-16 | Gm Cruise Holdings Llc | Dangerous road user detection and response |
-
2023
- 2023-09-27 CN CN202311262282.8A patent/CN117041916B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548679A (zh) * | 2016-02-03 | 2017-03-29 | 北京易驾佳信息科技有限公司 | 一种智能驾驶训练系统 |
| CN110716562A (zh) * | 2019-09-25 | 2020-01-21 | 南京航空航天大学 | 基于强化学习的无人驾驶汽车多车道行驶的决策方法 |
| WO2021133789A1 (en) * | 2019-12-27 | 2021-07-01 | Lyft, Inc. | Systems and methods for incident detection using inference models |
| CN115667848A (zh) * | 2020-08-05 | 2023-01-31 | 宝马股份公司 | 用于将车辆的gnss位置进行地图匹配的系统和方法 |
| CN112099496A (zh) * | 2020-09-08 | 2020-12-18 | 苏州浪潮智能科技有限公司 | 一种自动驾驶训练方法、装置、设备及介质 |
| CN116353625A (zh) * | 2021-12-27 | 2023-06-30 | 丰田自动车株式会社 | 行驶控制装置以及行驶控制方法 |
| CN114715143A (zh) * | 2022-05-11 | 2022-07-08 | 奇瑞汽车股份有限公司 | 车辆控制方法、装置、车辆及存储介质 |
| CN114913620A (zh) * | 2022-05-18 | 2022-08-16 | 一汽解放汽车有限公司 | 数据提取方法、装置、计算机设备和存储介质 |
| CN116001800A (zh) * | 2022-12-30 | 2023-04-25 | 联通智网科技股份有限公司 | 车辆驾驶风险信息获取方法、装置、电子设备及介质 |
| CN115923820A (zh) * | 2023-01-19 | 2023-04-07 | 蔚来汽车科技(安徽)有限公司 | 用于车辆的自动驾驶系统的场景数据收集方法和装置 |
| CN115946713A (zh) * | 2023-01-19 | 2023-04-11 | 奇瑞新能源汽车股份有限公司 | 车辆的辅助驾驶方法、装置、电子设备及存储介质 |
| CN116753938A (zh) * | 2023-06-13 | 2023-09-15 | 网络通信与安全紫金山实验室 | 车辆测试场景生成方法、装置、存储介质及设备 |
Non-Patent Citations (5)
| Title |
|---|
| 基于机器学习的机动道路车辆冲突智能控制方法;林晓农;;兰州工业学院学报(第01期);全文 * |
| 基于环境态势评估的智能车自主变道决策机制;何艳侠;尹慧琳;夏鹏飞;;汽车工程(第09期);全文 * |
| 赵玮 ; 徐良杰 ; 冉斌 ; 汪济洲 ; .基于深度学习DBN算法的高速公路危险变道判别模型.东南大学学报(自然科学版).2017,(04),全文. * |
| 车辆典型危险行驶状态识别与检测研究进展;刘通;付锐;张士伟;邓明阳;;中国安全科学学报(第10期);全文 * |
| 邹鹏 ; 谌雨章 ; 蔡必汉 ; .基于深度学习的智能车辆辅助驾驶系统设计.信息与电脑(理论版).2019,(11),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117041916A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11520331B2 (en) | Methods and apparatus to update autonomous vehicle perspectives | |
| CN112417967B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| EP4075227A1 (en) | Method and device for vehicle path planning, intelligent driving domain controller, and intelligent vehicle | |
| EP4080468A2 (en) | Collision detection method and apparatus, electronic device, medium, and autonomous vehicle | |
| US11756345B2 (en) | Partial sensor data sharing for connected vehicles | |
| CN112033425B (zh) | 车辆辅助驾驶方法、装置、计算机设备和存储介质 | |
| EP4060641A1 (en) | Traffic information processing method and device | |
| CN112738171B (zh) | 车辆的控制方法、装置、系统、设备及存储介质 | |
| EP3971526A1 (en) | Path planning in autonomous driving environments | |
| EP3895950B1 (en) | Methods and systems for automated driving system monitoring and management | |
| CN111741447A (zh) | 车辆对车辆通信控制 | |
| US11403949B2 (en) | System for predicting vehicle behavior | |
| GB2490773A (en) | Means for classifying vehicular mobility data | |
| CN112185168A (zh) | 一种车辆变道方法及装置 | |
| US20180329421A1 (en) | Road link information updating device and vehicle control system | |
| US20160137207A1 (en) | Method and Apparatus For Efficiently Providing Occupancy Information on the Surroundings of a Vehicle | |
| CN115470884A (zh) | 用于自动驾驶系统的感知系统开发的平台 | |
| EP4345773A1 (en) | Lane line extraction method and apparatus, vehicle and storage medium | |
| US20210323577A1 (en) | Methods and systems for managing an automated driving system of a vehicle | |
| CN117041916B (zh) | 一种海量数据处理方法、装置、系统及存储介质 | |
| CN113734191A (zh) | 人工地虚造传感器数据以发起用于自动驾驶车辆的安全动作 | |
| CN114360289A (zh) | 用于车辆的辅助系统、相应的方法、车辆和存储介质 | |
| CN111824138A (zh) | 车辆防碰撞方法、装置和计算机可读存储介质 | |
| EP4047514A1 (en) | Platform for perception system development for automated driving system | |
| CN113422797A (zh) | 一种用于车联网的更新地图的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |