CN114205346A - 数据自动存储与上传装置、系统及方法 - Google Patents
数据自动存储与上传装置、系统及方法 Download PDFInfo
- Publication number
- CN114205346A CN114205346A CN202111510145.2A CN202111510145A CN114205346A CN 114205346 A CN114205346 A CN 114205346A CN 202111510145 A CN202111510145 A CN 202111510145A CN 114205346 A CN114205346 A CN 114205346A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- automatic
- controller
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013508 migration Methods 0.000 description 8
- 230000005012 migration Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种数据自动存储与上传装置、系统及方法，涉及数据处理技术领域，其中，数据自动存储与上传装置包括：第一控制器和第一存储介质，第一控制器通过网络与外界连接，第一存储介质与第一控制器连接。数据自动存储系统包括：数据自动存储与上传装置、车载主控制器和车载传感器；车载主控制器通过车载网络与第一控制器连接；车载传感器与车载主控制器连接。数据自动上传系统包括：数据自动存储与上传装置和云端服务器；云端服务器与第一控制器连接。且发明中的数据自动上传方法在数据自动存储方法之后实施。本发明能够大幅减少车辆数据上传到云端服务器所耗费的时间和人力，并减少存储介质损耗。
Description
技术领域
本发明涉及数据处理技术领域，具体地，涉及一种数据自动存储与上传装置、系统及方法。
背景技术
自动驾驶的应用能够显著减少交通事故、缓解交通拥堵、提升通行效率、节约能源消耗，因此受到了高度重视。自动驾驶系统的开发与测试需要海量的数据，如车辆行驶数据、道路场景数据、交通行为数据等。就像人类司机练车一样，只有通过大量数据的训练，自动驾驶车辆才能学会如何在复杂交通场景下避免事故、穿梭自如。可以说，数据是自动驾驶系统的“食物”。
为了更好地收集目标场景的数据，通常使用专用的数据采集车，其数据来源于车上安装的各类内、外传感器。在车辆行驶过程中，这些传感器产生的数据会先记录在车载控制器的存储介质中，当车辆完成数据采集任务后，再将存储介质中的数据导出并上传到数据服务器上。存储介质中的数据的导出和上传，通常需要操作人员使用个人电脑连接至车载控制器，然后通过sftp协议访问存储介质中的数据并将数据导出至笔记本电脑，最后将笔记本电脑连接至公网并将其中的数据通过ftp、sftp等协议上传至云端数据服务器。上述过程需要进行两次数据迁移，增加了存储介质的使用损耗，且每次数据迁移都依赖人工操作和值守，费时费力。
公开号为CN111049888A的发明专利，公开了一种数据上传方法、装置、车载终端、电子设备以及存储介质，先将采集到的数据存储到本地存储介质中，当所存储的数据量超过预设值时，再将数据复制到外接存储介质中，并通过一个电子设备上传到数据中心服务器。显然，这种方法仍然存在需要两次数据迁移、依赖人工操作的缺点。
公开号为CN111796287A的发明专利，公开了一种自动驾驶汽车道路数据采集分析装置，通过环境感知传感器实时将感知数据信息传输给本地数据采集处理器，本地数据采集处理器对数据进行预处理和存储并通过5G网络实时上传到云端服务器。这种方法通过5G网络直接把数据从车辆上传至服务器，省去了一次数据迁移步骤，但无线网络和服务器入口带宽有限，导致数据的上传耗时较长，而此过程中车辆无法继续工作。
发明内容
针对现有技术中的缺陷，本发明提供一种数据自动存储与上传装置、系统及方法。
根据本发明提供的一种数据自动存储与上传装置、系统及方法，所述方案如下：
第一方面，提供了一种数据自动存储与上传装置，包括：第一控制器和第一存储介质；
所述第一控制器通过网络与外界连接；
所述第一存储介质与所述第一控制器连接，所述第一存储介质通过所述第一控制器与外界进行数据传输。
第二方面，提供了一种数据自动存储系统，包括：所述数据自动存储与上传装置、车载主控制器和车载传感器；
所述车载主控制器通过车载网络与所述数据自动存储与上传装置的第一控制器连接；
所述车载传感器与所述车载主控制器连接。
优选地，所述车载传感器包括GPS、IMU、激光雷达及相机。
第三方面，提供了一种数据自动上传系统，包括：所述数据自动存储与上传装置和云端服务器；
所述云端服务器与所述车辆数据自动存储与上传装置的第一控制器连接。
第四方面，提供了一种数据自动存储方法，包括：将所述数据自动存储与上传装置安装在数据采集车上，所述数据自动存储与上传装置与所述数据采集车的车载主控制器和车载传感器构成车辆数据自动存储系统；
当所述数据采集车开始工作后，所述数据自动存储与上传装置的第一控制器开启NFS服务，所述数据自动存储与上传装置的第一存储介质通过所述NFS服务挂载到所述车载主控制器上；
所述车载传感器通过所述车载主控制器将采集到的车辆数据录制到所述NFS服务的挂载路径上，即将采集到的车辆数据直接存储到所述第一存储介质中。
优选地，所述车辆数据包括车辆行驶数据、道路场景数据以及交通行为数据。
第五方面，提供了一种数据自动上传方法，包括：将所述数据自动存储与上传装置从数据采集车上取下并连入网络；
所述数据自动存储与上传装置的第一控制器自动检测其所接入的网络环境，当检测到所接入的网络环境是公网时，所述第一控制器自动对所述数据自动存储与上传装置的第一存储介质中的数据进行整理并将整理后的数据上传到所述云端服务器上；
在数据上传结束后，所述第一控制器对传输结果进行校验，若无错误则自动清除所述第一存储介质中的数据。
优选地，所述第一控制器利用rsync协议实现与所述云端服务器之间的鉴权和数据上传，以及对传输结果的校验。
与现有技术相比，本发明具有如下的有益效果：
1、本发明中车辆传感器数据直接存储到数据自动存储与上传装置中，再从数据自动存储与上传装置上传到云端服务器，省去了一次数据迁移过程，减少了时间消耗和存储介质损耗，且车辆在数据迁移过程中可以继续使用，避免了占用损失；
2、本发明的数据从数据自动存储与上传装置上传到云端服务器的过程，实现了自动检测网络环境、自动上传数据、自动清理原始数据等，大幅减少了人工操作和值守所需的人力投入；
3、本发明中数据自动存储与上传装置与云端服务器采用rsync协议进行数据上传，实现了本地与云端数据的校验、断点续传、状态检测等，有效保证了数据上传的准确性和稳定性，并根据传输结果对所述装置中存储的数据进行清空操作，方便下一次使用。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供得数据自动存储与上传装置的示意图；
图2为本发明提供的数据自动存储系统的示意图；
图3为本发明提供的数据自动上传系统的示意图；
图4为本发明提供的数据自动存储方法的流程图；
图5为本发明提供的数据自动上传方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种数据自动存储与上传装置，参照图1所示，包括：第一控制器和第一存储介质；
具体地，第一控制器通过网络与外界连接，第一存储介质与第一控制器连接；第一控制器可以开启NFS(Network File System，网络文件系统)服务，第一存储介质通过第一控制器与外界进行数据传输。
本发明还提供了一种数据自动存储系统，参照图2所示，包括：数据自动存储与上传装置、车载主控制器和车载传感器；车载主控制器通过车载网络与数据自动存储与上传装置的第一控制器连接，车载传感器与车载主控制器连接，其中，本实施例中的车载传感器包括但不限于GPS、IMU、激光雷达及相机等。
本发明还提供了一种数据自动上传系统，参照图3所示，包括：数据自动存储与上传装置和云端服务器，云端服务器通过公网与车辆数据自动存储与上传装置的第一控制器连接。
本发明还提供了一种数据自动存储方法，参照图4所示，包括：将数据自动存储与上传装置安装在数据采集车上，数据自动存储与上传装置与数据采集车的车载主控制器和车载传感器构成车辆数据自动存储系统；
当数据采集车开始工作后，数据自动存储与上传装置的第一控制器开启NFS服务，数据自动存储与上传装置的第一存储介质通过NFS服务挂载到所述车载主控制器上，通过这种方式车载主控制器可以像访问本地存储介质一样访问第一存储介质。
车载传感器通过车载主控制器将采集到的车辆数据录制到NFS服务的挂载路径上，即将采集到的车辆数据直接存储到第一存储介质中。
其中，车辆数据包括但不限于车辆行驶数据、道路场景数据以及交通行为数据。
本发明还提供了一种数据自动上传方法，且该数据自动上传方法在所述数据自动存储方法之后实施。参照图5所示，具体包括：将数据自动存储与上传装置从数据采集车上取下并连入网络；
数据自动存储与上传装置的第一控制器自动检测其所接入的网络环境，当检测到所接入的网络环境是公网时，第一控制器自动对所述数据自动存储与上传装置的第一存储介质中的数据进行整理并将整理后的数据上传到所述云端服务器上。
在数据上传结束后，第一控制器会对传输结果进行校验，若无错误则自动清除第一存储介质中的数据。
其中，第一控制器利用rsync协议实现与云端服务器之间的鉴权和数据上传，以及对传输结果的校验。
本发明实施例提供了一种数据自动存储与上传装置、系统及方法，能够省去一次数据迁移过程，减少时间消耗和存储介质损耗，且车辆在数据迁移过程中可以继续使用，避免了占用损失；实现自动检测网络环境、自动上传数据、自动清理原始数据等，大幅减少人工操作和值守所需的人力投入；实现本地与云端数据的校验、断点续传、状态检测等，有效保证数据上传的准确性和稳定性，并根据传输结果对所述装置中存储的数据进行清空操作，方便下一次使用。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种数据自动存储与上传装置，其特征在于，包括：第一控制器以及第一存储介质；
所述第一控制器通过网络与外界连接；
所述第一存储介质与所述第一控制器连接，所述第一存储介质通过所述第一控制器与外界进行数据传输。
2.一种数据自动存储系统，其特征在于，基于权利要求1所述的数据自动存储与上传装置，包括：所述数据自动存储与上传装置、车载主控制器和车载传感器；
所述车载主控制器通过车载网络与所述数据自动存储与上传装置的第一控制器连接；
所述车载传感器与所述车载主控制器连接。
3.根据权利要求2所述的数据自动存储系统，其特征在于，所述车载传感器包括GPS、IMU、激光雷达及相机。
4.一种数据自动上传系统，其特征在于，基于权利要求1所述的数据自动存储与上传装置，包括：所述数据自动存储与上传装置和云端服务器；
所述云端服务器与所述车辆数据自动存储与上传装置的第一控制器连接。
5.一种数据自动存储方法，其特征在于，基于权利要求2所述的数据自动存储系统，包括：将所述数据自动存储与上传装置安装在数据采集车上，所述数据自动存储与上传装置与所述数据采集车的车载主控制器和车载传感器构成车辆数据自动存储系统；
当所述数据采集车开始工作后，所述数据自动存储与上传装置的第一控制器开启NFS服务，所述数据自动存储与上传装置的第一存储介质通过所述NFS服务挂载到所述车载主控制器上；
所述车载传感器通过所述车载主控制器将采集到的车辆数据录制到所述NFS服务的挂载路径上，即将采集到的车辆数据直接存储到所述第一存储介质中。
6.根据权利要求5所述的数据自动存储方法，其特征在于，所述车辆数据包括车辆行驶数据、道路场景数据以及交通行为数据。
7.一种数据自动上传方法，其特征在于，基于权利要求4所述的数据自动上传系统，包括：将所述数据自动存储与上传装置从数据采集车上取下并连入网络；
所述数据自动存储与上传装置的第一控制器自动检测其所接入的网络环境，当检测到所接入的网络环境是公网时，所述第一控制器自动对所述数据自动存储与上传装置的第一存储介质中的数据进行整理并将整理后的数据上传到所述云端服务器上；
在数据上传结束后，所述第一控制器对传输结果进行校验，若无错误则自动清除所述第一存储介质中的数据。
8.根据权利要求7所述的数据自动上传方法，其特征在于，所述第一控制器利用rsync协议实现与所述云端服务器之间的鉴权和数据上传，以及对传输结果的校验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111510145.2A CN114205346A (zh) | 2021-12-10 | 2021-12-10 | 数据自动存储与上传装置、系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111510145.2A CN114205346A (zh) | 2021-12-10 | 2021-12-10 | 数据自动存储与上传装置、系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114205346A true CN114205346A (zh) | 2022-03-18 |
Family
ID=80652425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111510145.2A Pending CN114205346A (zh) | 2021-12-10 | 2021-12-10 | 数据自动存储与上传装置、系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114205346A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135765A (zh) * | 2019-05-29 | 2019-08-16 | 高海明 | 一种基于车联网的共享汽车控制系统、方法及存储介质 |
| CN111049888A (zh) * | 2019-12-04 | 2020-04-21 | 苏州智加科技有限公司 | 数据上传方法、装置、车载终端、电子设备以及存储介质 |
| CN111565226A (zh) * | 2020-04-28 | 2020-08-21 | 一汽奔腾轿车有限公司 | 一种车载全息影像自定义系统 |
| CN111756818A (zh) * | 2020-06-05 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种文件传送方法、装置、设备及存储介质 |
| CN112102519A (zh) * | 2020-09-14 | 2020-12-18 | 广州小鹏自动驾驶科技有限公司 | 一种车辆数据的上传方法和装置 |
-
2021
- 2021-12-10 CN CN202111510145.2A patent/CN114205346A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135765A (zh) * | 2019-05-29 | 2019-08-16 | 高海明 | 一种基于车联网的共享汽车控制系统、方法及存储介质 |
| CN111049888A (zh) * | 2019-12-04 | 2020-04-21 | 苏州智加科技有限公司 | 数据上传方法、装置、车载终端、电子设备以及存储介质 |
| CN111565226A (zh) * | 2020-04-28 | 2020-08-21 | 一汽奔腾轿车有限公司 | 一种车载全息影像自定义系统 |
| CN111756818A (zh) * | 2020-06-05 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 一种文件传送方法、装置、设备及存储介质 |
| CN112102519A (zh) * | 2020-09-14 | 2020-12-18 | 广州小鹏自动驾驶科技有限公司 | 一种车辆数据的上传方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107885795B (zh) | 一种卡口数据的数据校验方法、系统和装置 | |
| DE102016100428A1 (de) | In virtuellen Umgebungen verfeinertes autonomes Fahren | |
| US20140195071A1 (en) | Emergency event based vehicle data logging | |
| CN102809962A (zh) | 车载数据采集终端及车辆信息采集系统 | |
| CN110888434A (zh) | 自动驾驶方法、装置、计算机设备和计算机可读存储介质 | |
| CN109389622B (zh) | 车辆追踪方法、装置、识别设备及存储介质 | |
| DE102018215351A1 (de) | Verfahren zum Erzeugen einer Informationssammlung zu Fahrszenarien wenigstens eines Fahrzeugs, sowie Fahrzeug, Anordnung und daraus bestehendes System | |
| CN111142402B (zh) | 仿真场景构建方法、装置和终端 | |
| CN110516691A (zh) | 一种车辆尾气检测方法和装置 | |
| CN108932852A (zh) | 一种记录机动车违法占用应急车道行为的方法及装置 | |
| CN105608919A (zh) | 车站位置的确定方法及装置 | |
| CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| CN103106400B (zh) | 一种人脸检测方法与装置 | |
| CN108257406B (zh) | 终端、服务器和驾驶数据分享方法 | |
| CN113486885A (zh) | 一种车牌识别方法、装置、电子设备及存储介质 | |
| CN108346294B (zh) | 车辆识别系统、方法和装置 | |
| US20220101509A1 (en) | Deterioration diagnostic device, deterioration diagnostic system, deterioration diagnostic method, and recording medium | |
| CN114205346A (zh) | 数据自动存储与上传装置、系统及方法 | |
| CN112712608A (zh) | 用于通过车辆收集性能数据的系统和方法 | |
| CN111681423A (zh) | 实现车牌信息处理的方法、装置、计算机存储介质及终端 | |
| CN110853364A (zh) | 数据监控方法和装置 | |
| CN115311522A (zh) | 用于自动驾驶的目标检测方法及装置、电子设备及介质 | |
| CN111735461B (zh) | 行驶轨迹的处理方法、装置及电子设备 | |
| CN115019511A (zh) | 基于自动驾驶车辆的识别机动车违规变道的方法和装置 | |
| CN111126336B (zh) | 样本采集方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |