CN114356243A - 数据处理方法、装置及服务器 - Google Patents
数据处理方法、装置及服务器 Download PDFInfo
- Publication number
- CN114356243A CN114356243A CN202210010945.6A CN202210010945A CN114356243A CN 114356243 A CN114356243 A CN 114356243A CN 202210010945 A CN202210010945 A CN 202210010945A CN 114356243 A CN114356243 A CN 114356243A
- Authority
- CN
- China
- Prior art keywords
- storage
- transmission
- target
- data
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明提供了一种数据处理方法,涉及计算机的技术领域,包括:获取目标车辆配置的传感器组的传感器参数;根据传感器参数计算目标车辆的传输存储需求;其中,传输存储需求包括传输速率需求和存储内存需求;根据传输存储需求分别从候选传输设备标识中确定目标传输设备标识,以及从候选存储设备标识中确定目标存储设备标识,以通过目标传输设备标识对应的数据传输设备,将传感器组采集的环境数据传输至目标存储设备标识对应的数据存储设备进行存储。本发明可以显著提升数据传输存储速率,还可以避免存储环境数据时出现区域限制问题,从而较好地满足数据量较大时的数据传输存储需求。
Description
技术领域
本发明涉及计算机技术领域,尤其是涉及一种数据处理方法、装置及服务器。
背景技术
为解决自动驾驶工程中数据分布“长尾问题”,通常将自动驾驶和数据闭环结合在一起,其中,自动驾驶场景数据规模和采集能力影响自动驾驶能力的发展速度。在实际应用中,由于现实世界中具有无限丰富、极其复杂、不可预测、不可穷尽等特点,因此可以通过传感器采集现实世界中的数据用于自动驾驶工程。相关技术提出,可以利用云服务器对采集的数据进行传输和存储:对于数据传输过程,为了更加精确的还原真实场景,需要布置尽可能多的传感器以减小甚至消除盲区,导致待传输的数据量较大,致使云服务器的传输速率无法较好地满足数据传输需求;对于数据存储过程,云服务器存储数据时存在区域限制问题,导致云服务器无法叫好地满足数据存储需求。
发明内容
有鉴于此,本发明的目的在于提供一种数据处理方法、装置及服务器,可以显著提升数据传输存储速率,还可以避免存储环境数据时出现区域限制问题,从而较好地满足数据量较大时的数据传输存储需求。
第一方面,本发明实施例提供了一种数据处理方法,方法应用于服务器,服务器配置有多个候选传输设备标识和候选存储设备标识,方法包括:
获取目标车辆配置的传感器组的传感器参数;
根据传感器参数计算目标车辆的传输存储需求;其中,传输存储需求包括传输速率需求和存储内存需求;
根据传输存储需求分别从候选传输设备标识中确定目标传输设备标识,以及从候选存储设备标识中确定目标存储设备标识,以通过目标传输设备标识对应的数据传输设备,将传感器组采集的环境数据传输至目标存储设备标识对应的数据存储设备进行存储。
在一种实施方式中,传感器组包括多个图像采集设备;根据传感器参数计算目标车辆的传输存储需求的步骤,包括:
根据传感器参数计算传感器组中每个图像采集设备对应的单帧图像占用内存;其中,传感器参数包括图像尺寸、图像编码规则和采样帧率;
根据图像采集设备的设备数量和单帧图像占用内存计算目标车辆的传输速率需求。
在一种实施方式中,根据传感器参数计算传感器组中每个图像采集设备对应的单帧图像占用内存的步骤,包括:
根据图像编码规则确定单像素点占用内存;
计算单像素点内存与图像尺寸的乘积,得到传感器组中每个图像采集设备对应的单帧图像占用内存。
在一种实施方式中,根据图像采集设备的设备数量和单帧图像占用内存计算目标车辆的传输速率需求的步骤,包括:
计算图像采样设备的设备数量、单帧图像占用内存和采样帧率的乘积,得到目标车辆的传输速率需求。
在一种实施方式中,根据传感器参数计算目标车辆的传输存储需求的步骤,还包括:
根据传输速率需求和预设采集周期计算目标车辆的存储内存需求。
在一种实施方式中,数据存储设备包括磁盘阵列;
从候选存储设备标识中确定目标存储设备标识的步骤,包括:
获取预先设置的多个候选磁盘阵列级别;其中,候选磁盘阵列级别用于表征磁盘阵列中所包含的磁盘数量和磁盘性能描述;
根据存储内存需求从候选磁盘阵列级别中确定目标磁盘阵列级别;
基于目标磁盘阵列级别从候选存储设备标识中确定目标存储设备标识。
在一种实施方式中,目标存储设备标识对应的磁盘阵列包括至少一个主磁盘,或,目标存储设备标识对应的磁盘阵列包括至少一个主磁盘和至少一个备磁盘。
第二方面,本发明实施例还提供一种数据处理装置,装置应用于服务器,服务器配置有多个候选传输设备标识和候选存储设备标识,方法包括:
参数获取模块,获取目标车辆配置的传感器组的传感器参数;
需求确定模块,根据传感器参数计算目标车辆的传输存储需求;其中,传输存储需求包括传输速率需求和存储内存需求;
数据存储模块,根据传输存储需求分别从候选传输设备标识中确定目标传输设备标识,以及从候选存储设备标识中确定目标存储设备标识,以通过目标传输设备标识对应的数据传输设备,将传感器组采集的环境数据传输至目标存储设备标识对应的数据存储设备进行存储。
第三方面,本发明实施例还提供一种服务器,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现第一方面提供的任一项的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现第一方面提供的任一项的方法。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种数据处理方法、装置及服务器,其中,服务器配置有多个候选传输设备标识以及候选存储设备标识,首先通过对目标车辆配置的传感器组的传感器参数进行分析计算,确定目标车辆的传输存储需求,并基于传输存储需求从多个候选传输设备标识以及候选存储设备标识中选择对应的目标传输设备标识以及目标存储设备标识,从而对传感器组采集的环境数据进行数据传输和数据存储。上述方法可以根据传感器参数自动选择满足传输存储速率需求的目标传输设备标识以及目标存储设备标识,相较于相关技术中,通过传输速率较低并且存在区域限制的云服务器实现数据传输存储,本发明实施例可以在多个候选传输设备标识以及候选存储设备标识中,根据实际需求进行选择,从而较好地兼顾数据传输存储需求和数据传输存储成本。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种服务器的结构示意图;
图2为本发明实施例提供的一种数据处理方法的流程示意图;
图3为本发明实施例提供的一种数据处理方法的架构图;
图4为本发明实施例提供的一种目标车辆的结构示意图;
图5为本发明实施例提供的另一种数据处理方法的流程示意图;
图6为本发明实施例提供的一种数据处理装置的结构示意图;
图7为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,基于自动驾驶工程已经被认可是一个解决数据分布长尾问题(Long TailEffect)的任务,通常将自动驾驶与数据闭环结合在一起,从而通过时而出现的极端情况(Corner Case)对数据驱动算法模型进行升级;在人工智能时代数据起到基石的作用,自动驾驶场景数据规模与采集能力决定了自动驾驶能力的发展速度,而现实世界中的场景具有无限丰富、极其复杂、不可预测以及不可穷尽等特点,难以采用统一的标准对其分类,现有技术主要通过自然驾驶场景、标准法规测试场景、功能设计测试场景、危险工况测试场景以及仿真测试场景对场景数据来源进行分类。
现有技术利用云服务器进行数据存储,理论上2G网络最大传输速率为150Kbps,3G网络最大传输速率1-6Mbps,4G网络最大传输速率10-100Mbps,5G网络最大传输速率10-20Gbps,在场景数据量大的情况下(大于200M/S),只有5G网络才可以满足要求,而目前我国5G网络并未做到全区域覆盖,因此,对于云端存储的方式并不适合大数据量数据传输和存储。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种数据处理方法进行详细介绍,该方法应用于服务器,用于对目标车辆配置的传感器组的传感器参数进行数据处理,为了便于对服务器进行理解,本发明实施例提供了一种服务器的结构示意图,如图1所示,服务器配置有多个候选传输设备标识和候选存储设备标识,其中,候选传输设备标识包括表征多种传输速率的网口对应的标识,候选存储设备标识包括多种RAID(RedundantArrays of Independent Disks,独立磁盘冗余列阵)级别对应的标识。
基于图1所示的服务器的结构示意图,本发明实施例对数据处理方法进行详细介绍,参见图2所示的一种数据处理方法的流程示意图,该方法主要包括以下步骤S202至步骤S206:
步骤S202,获取目标车辆配置的传感器组的传感器参数。其中,传感器组可以包括至少一个图像采集设备,图像采集设备可以包括诸如相机等具备图像采集功能的设备,传感器组中的每个图像采集设备均可以用于采集目标车辆所处环境的环境数据,该环境数据可以为图像或视频形式。传感器参数包括图像尺寸、图像编码规则和采样帧率。具体的,图像尺寸也即图像的宽和高;图像编码规则用于确定单素点内存,单像素点在不同的编码规则下所占用的内存不同,诸如,图像编码规则为YUV420时,1像素点占用12bit(BinaryDigit,比特)内存;采样帧率也即传感器单位时间内采集环境数据的数量。
在一种实施方式中,服务器可以通过扫码、手动上传等诸多方式获取传感器参数。示例性的,每个图像采集设备上均可以黏贴有条形码或二维码等标识,用户通过手持终端扫描上述标识即可读取到该图像采集设备相关的传感器参数,手持终端将扫描得到的传感器参数上传至服务器;或者,服务器可以为用户提供参数上传通道,便于用户通过该上传通道将传感器参数上传至服务器。进一步的,上述传感器参数还可以包括设备数量以及数据采集周期等信息。
步骤S204,根据传感器参数计算目标车辆的传输存储需求。其中,传输存储需求包括传输速率需求和存储内存需求,传输速率需求可以为数据传输的最低速率,存储内存需求可以包括读写速度、存储安全、数据存储总容量以及便携性等需求。
在一种实施方式中,可以根据图像编码规则和图像尺寸确定单像素占用内存(也即,1帧图像占用内存,单位bit/Frame),然后根据采样帧率和单像素占用内存计算单位时间内图像占用内存,该单位时间内图像占用内存可以作为最低速率,可选的,传输速率需求可以大于或等于最低速率。在另一种实施方式中,还可以进一步根据设备数量、数据采样周期和单位时间内图像占用内存确定所需磁盘容量和读写速度等,并结合存储安全确定存储内存需求。
步骤S206,根据传输存储需求分别从候选传输设备标识中确定目标传输设备标识,以及从候选存储设备标识中确定目标存储设备标识,以通过目标传输设备标识对应的数据传输设备,将传感器组采集的环境数据传输至目标存储设备标识对应的数据存储设备进行存储。其中,数据传输设备包括用于进行本地传输存储的、不同传输速率的网口,数据存储设备包括磁盘阵列,目标存储设备标识对应的磁盘阵列包括至少一个主磁盘,或,目标存储设备标识对应的磁盘阵列包括至少一个主磁盘和至少一个备磁盘,用于对采集到的环境数据进行本地存储,并对存储的环境数据提供保护。
在一种实施方式中,服务器中配置有多个候选传输设备标识和候选存储设备标识,还可以配置有各个设备对应的设备参数,诸如每个网口的传输速率、每个磁盘阵列的磁盘容量、读写速度等,从而根据每个网口的传输速率选择满足上述传输速率需求的目标传输设备标识,例如在候选传输设别标识中选择传输速率高于最低速率、且与最低速率最为接近的网口对应的目标传输设备标识,后续数据采集过程中即可利用该标识对应的网口对环境数据进行传输,另外,根据每个磁盘阵列的磁盘内存、读写速度以及存储安全需求选择满足上述存储内存需求的目标存储设备标识,从而利用该标识对应的磁盘阵列对网口传输的环境数据进行存储。
本发明实时例提供的上述数据处理方法,根据传感器参数自动选择满足传输存储速率需求的目标传输设备标识以及目标存储设备标识,可以在多个候选传输设备标识以及候选存储设备标识中,根据实际需求进行选择,从而较好地兼顾数据传输存储需求和数据传输存储成本。
在实际应用中,上述传输存储需求包括传输速率需求和存储内存需求,为便于理解,本发明实施例分别提供了确定传输速率需求和存储内存需求的实施方式,参见如下(一)至(二):
(一)对于传输速率需求,可以参见如下步骤1至步骤2:
步骤1,根据传感器参数计算传感器组中每个图像采集设备对应的单帧图像占用内存。其中,传感器参数包括图像尺寸、图像编码规则和采样帧率。在一种实施方式中,可以按照如下步骤1.1至步骤1.2确定单帧图像占用内存:
步骤1.1,根据图像编码规则确定单像素点占用内存。在一种实施方式中,可以预先确定图像编码规则与单像素点占用内存之间的映射关系,从而基于该映射关系查找到各个图像采集设备的单像素点占用内存。
步骤1.2,计算单像素点内存与图像尺寸的乘积,得到传感器组中每个图像采集设备对应的单帧图像占用内存。在一种实施方式中,将摄像头、红外图像传感器、固态图像传感器以及超声传感器等作为图像采集设备装配于传感器组中。在具体实现时,可以采用以下公式获得:
FRAMEsize=FRAMEw*FRAMEh*PIXELbit;
其中,FRAMEsize表征单帧图像占用内存(也即,1帧图像占用内存的大小),单位bit/Frame;FRAMEw表征图像帧尺寸宽;FRAMEh表征图像帧尺寸高;PIXELbit表征位图图像(也即,单像素点占用内存)。
步骤2,根据图像采集设备的设备数量和单帧图像占用内存计算目标车辆的传输速率需求。在一种实施方式中,可以计算图像采样设备的设备数量、单帧图像占用内存和采样帧率的乘积,得到目标车辆的传输速率需求。具体的,假设图像采集设备按照同一采样帧率采集生成图像,可以采用以下公式计算单位时间内生成的图像大小:
DATArate=FRAMEsize*FRAMErate*CAMERAnum;
其中,DATArate表征单位时间内生成的图像大小,单位为bit/s或M/s;FRAMErate表征摄像头采样帧率,单位为Frame/s;AMERAnum表征图像采集设备的设备数量。可选的,传输速率需求可以大于或等于单位时间内生成的图像大小。
在一种实施方式中,针对图像采集设备的设备数量的确定方法,基于目标车辆的尺寸以及外型确定采样设备的设备数量,在采样设备的设备数量符合需求时,将多个采样设备的采集区域相结合,可以获取目标车辆的盲区视野,从而利用获取到的环境数据还原真实场景。
(二)对于存储内存需求,可以根据传输速率需求和预设采集周期计算目标车辆的存储内存需求。在一种实施方式中,基于目标车辆实际的数据采集情况以及工作环境等因素,通过用户调整数据量的统计周期,根据统计周期内目标车辆的总工作时长以及数据传输速率,计算目标车辆在统计周期内采集的数据量作为目标车辆的存储内存需求。其中,存储内存需求至少包括存储容量和读写速度。示例性的,对于存储容量,按照每周5天,每天8h的采集时间,每周生成的数据量约为28.5T。目前主流的存储磁盘容量有1T、2T和4T等,综合数据存储总容量和便携性等方面,选取8块4T的磁盘作存储的介质;对于读写速度,考虑到传统机械硬盘(HHD,Hard Disk Drive)的传输速率上限一般为200M/s,无法满足传输速率需求,而目前主流的固态硬盘读写速度可以达到300M/s以上,因此可以选用固态硬盘(SSD,Solid State Disk)。
在此基础上,本发明实施例提供了一种从所述候选存储设备标识中确定目标存储设备标识的实施方式:(1)获取预先设置的多个候选磁盘阵列级别;(2)根据存储内存需求从候选磁盘阵列级别中确定目标磁盘阵列级别;(3)基于所述目标磁盘阵列级别从所述候选存储设备标识中确定目标存储设备标识。其中,候选磁盘阵列级别用于表征磁盘阵列中所包含的磁盘数量和磁盘性能描述,磁盘阵列包括至少一个主磁盘,或,所述目标存储设备标识对应的磁盘阵列包括至少一个主磁盘和至少一个备磁盘,主磁盘用于正常运行,接收环境数据并进行存储,主磁盘的数量决定了磁盘列阵的读写速度,副磁盘用于备份数据,保障数据的安全,副磁盘的数量决定磁盘列阵的安全性;在一种实施方式中,如下表1所示,不同级别的磁盘列阵具有不同的性能。
表1
为便于对上述实施例提供的数据处理方法进行理解,本发明实施例提供了一种数据处理方法的应用示例,参见图3所示的一种数据处理方法的架构图,包括数据采集系统和数据存储系统,数据存储系统采用网络存储服务器(诸如RAID6),以目标车辆设置有7个图像采集设备(诸如,视频传感器)为例,参见图4所示的一种目标车辆的结构示意图,图4示意出7个图像采集设备分别设置在目标车辆上,基于此,以减小甚至消除视野盲区的存在,更加准确的还原真实场景,参见图5所示的另一种数据处理方法的流程示意图,该方法主要包括以下步骤S502至步骤S514:
步骤S502,服务器获取目标传感器参数以及目标车辆的数据采集周期。其中,目标传感器参数包括图像尺寸、图像编码规则和采样帧率,数据采集周期包括每周的采集天数以及每天的采集时长。
在一种实施方式中,传感器可以采用七路摄像头,数据采集周期为每周五天,每天八小时,采样帧率为10Frame/s。
步骤S504,服务器根据图像尺寸和单像素点内存的乘积确定单帧图像占用的内存。其中,通过图像编码规则确定单素点内存,单像素点在不同的编码规则下所占用的内存不同。
在一种实施方式中,采用YUV420方式编码,1像素点占用12bit(Binary Digit,比特)内存,图像尺寸宽取1920pixel,图像尺寸高取1080pixel。
步骤S506,服务器根据采样设备的设备数量、单帧图像占用内存和采样帧率的乘积,确定目标车辆数据传输速率的最低需求。其中,基于目标车辆的尺寸以及外型确定采样设备的设备数量,在采样设备的设备数量符合需求时,将多个采样设备的采集区域相结合,可以获取目标车辆的盲区视野,从而利用获取到的环境数据还原真实场景。
在一种实施方式中,DATArate表征单位时间内生成的图像大小,将DATArate作为目标车辆数据传输速率的最低要求,通过计算得到:
DATArate=1080pixel*1920pixel*12bit*10Frame/s*7;
=1741824000bit/s;
≈207.6M/s。
步骤S508,服务器根据目标车辆数据传输速率的最低需求,从候选传输设备标识中确定目标传输标识,并确定目标传输标识对应的数据传输设备。其中,目标传输标识对应多个不同传输速率的网口,选取传输速率大于目标车辆数据传输速率的最低需求的网口进行本地数据存储。
在一种实施方式中,通过DATArate的计算结果得出数据采集系统和数据存储系统之间的传输速率不得低于207M/s,从而将传输端口选用10Gbit的网口进行本地传输存储。
步骤S510,服务器根据传输速率需求以及预设采集周期计算目标车辆的存储需求。其中,存储需求为目标车辆每周采集的数据量。
在一种实施方式中,按照每周五天、每天八小时的周期以及207M/s的采集速率进行数据采集,车辆每周采集的数据量约为28.5T。
步骤S512,服务器根据目标车辆的存储需求,从候选存储设备标识中确定目标存储标识,并确定目标存储标识对应的数据存储设备。其中,从符合目标车辆的存储需求的候选存储设备标识中确定目标存储标识时,还需要综合考虑读写速度、存储安全、数据存储总容量以及便携性等方面。
在一种实施方式中,基于车辆每周采集的数据量,选用8块4T容量的读写速度在300M/s以上的固态硬盘组成磁盘列阵,磁盘列阵的级别选取RAID6级。
步骤S514,目标车辆将采集的环境数据通过数据传输设备传输至数据存储设备中进行存储。其中,环境数据存储至数据存储设备的磁盘列阵中,存储设备中的磁盘列阵包括至少一个主磁盘,或,一个主磁盘和至少一个备磁盘。
综上所述,本发明实施例可以确保在数据量较大时,正常传输以及存储数据,并针对不同的接收到的环境数据,选择对应的传输、存储配置,在满足数据传输和存储需求的同时避免了资源浪费。
对于前述实施例提供的数据处理方法,本发明实施例提供了一种数据处理装置,该装置应用于服务器,服务器配置有多个候选传输设备标识和候选存储设备标识,参见图6所示的一种数据处理装置的结构示意图,该装置包括以下部分:
参数获取模块602,获取目标车辆配置的传感器组的传感器参数;
需求确定模块604,根据传感器参数计算目标车辆的传输存储需求;其中,传输存储需求包括传输速率需求和存储内存需求;
数据存储模块606,根据传输存储需求分别从候选传输设备标识中确定目标传输设备标识,以及从候选存储设备标识中确定目标存储设备标识,以通过目标传输设备标识对应的数据传输设备,将传感器组采集的环境数据传输至目标存储设备标识对应的数据存储设备进行存储。
本申请实施例提供的上述数据处理装置可以在车辆上布置有足够多的传感器,进而减小并消除视野盲区,使传感器传输数据更加还原真实场景的时,利用网口进行数据传输以及利用磁盘阵列进行数据存储,从而满足大量的数据传输和存储需求,并根据实际需求选择对应的候选传输设备标识和候选存储设备标识,从而更好的兼顾存储容量、读写速度以及存储安全问题,并避免了资源浪费,此外,解决了传统的利用云服务器进行数据传输、存储时存在的区域限制的问题。
云服务器的传输速率不能够满足数据的传输需求,并且存在区域限制,因此,将对环境数据的传输与存储造成不利影响。
一种实施方式中,在进行根据传感器参数计算目标车辆的传输存储需求的步骤时,上述需求确定模块604还用于:根据传感器参数计算传感器组中每个图像采集设备对应的单帧图像占用内存;其中,传感器参数包括图像尺寸、图像编码规则和采样帧率;根据图像采集设备的设备数量和单帧图像占用内存计算目标车辆的传输速率需求。
一种实施方式中,在进行根据传感器参数计算传感器组中每个图像采集设备对应的单帧图像占用内存的步骤时,上述需求确定模块604还用于:根据图像编码规则确定单像素点占用内存;计算单像素点内存与图像尺寸的乘积,得到传感器组中每个图像采集设备对应的单帧图像占用内存。
一种实施方式中,在进行根据图像采集设备的设备数量和单帧图像占用内存计算目标车辆的传输速率需求的步骤时,上述需求确定模块604还用于:计算图像采样设备的设备数量单帧图像占用内存和采样帧率的乘积,得到目标车辆的传输速率需求。
一种实施方式中,在进行根据传感器参数计算目标车辆的传输存储需求的步骤时,上述需求确定模块604还用于:根据传输速率需求和预设采集周期计算目标车辆的存储内存需求。
一种实施方式中,在进行从候选存储设备标识中确定目标存储设备标识的步骤时,上述数据存储模块606还用于:获取预先设置的多个候选磁盘阵列级别;其中,候选磁盘阵列级别用于表征磁盘阵列中所包含的磁盘数量和磁盘性能描述;根据存储内存需求从候选磁盘阵列级别中确定目标磁盘阵列级别;基于目标磁盘阵列级别从候选存储设备标识中确定目标存储设备标识。
一种实施方式中,上述数据存储模块606还用于:限定目标存储设备标识对应的磁盘阵列包括至少一个主磁盘,或,目标存储设备标识对应的磁盘阵列包括至少一个主磁盘和至少一个备磁盘。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种服务器,具体的,该服务器包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。
图7为本发明实施例提供的一种服务器的结构示意图,该服务器100包括:处理器70,存储器71,总线72和通信接口73,所述处理器70、通信接口73和存储器71通过总线72连接;处理器70用于执行存储器71中存储的可执行模块,例如计算机程序。
其中,存储器71可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器71用于存储程序,所述处理器70在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中,或者由处理器70实现。
处理器70可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71,处理器70读取存储器71中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见前述方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法应用于服务器,所述服务器配置有多个候选传输设备标识和候选存储设备标识,所述方法包括:
获取目标车辆配置的传感器组的传感器参数;
根据所述传感器参数计算所述目标车辆的传输存储需求;其中,所述传输存储需求包括传输速率需求和存储内存需求;
根据所述传输存储需求分别从所述候选传输设备标识中确定目标传输设备标识,以及从所述候选存储设备标识中确定目标存储设备标识,以通过所述目标传输设备标识对应的数据传输设备,将所述传感器组采集的环境数据传输至所述目标存储设备标识对应的数据存储设备进行存储。
2.根据权利要求1所述的方法,其特征在于,所述传感器组包括多个图像采集设备;所述根据所述传感器参数计算所述目标车辆的传输存储需求的步骤,包括:
根据所述传感器参数计算所述传感器组中每个所述图像采集设备对应的单帧图像占用内存;其中,所述传感器参数包括图像尺寸、图像编码规则和采样帧率;
根据所述图像采集设备的设备数量和所述单帧图像占用内存计算所述目标车辆的传输速率需求。
3.根据权利要求2所述的方法,其特征在于,所述根据所述传感器参数计算所述传感器组中每个所述图像采集设备对应的单帧图像占用内存的步骤,包括:
根据所述图像编码规则确定单像素点占用内存;
计算所述单像素点内存与所述图像尺寸的乘积,得到所述传感器组中每个所述图像采集设备对应的单帧图像占用内存。
4.根据权利要求2所述的方法,其特征在于,所述根据所述图像采集设备的设备数量和所述单帧图像占用内存计算所述目标车辆的传输速率需求的步骤,包括:
计算所述图像采样设备的设备数量、所述单帧图像占用内存和所述采样帧率的乘积,得到目标车辆的传输速率需求。
5.根据权利要求1所述的方法,其特征在于,所述根据所述传感器参数计算所述目标车辆的传输存储需求的步骤,还包括:
根据所述传输速率需求和预设采集周期计算目标车辆的存储内存需求。
6.根据权利要求1所述的方法,其特征在于,所述数据存储设备包括磁盘阵列;所述从所述候选存储设备标识中确定目标存储设备标识的步骤,包括:
获取预先设置的多个候选磁盘阵列级别;其中,所述候选磁盘阵列级别用于表征磁盘阵列中所包含的磁盘数量和磁盘性能描述;
根据所述存储内存需求从所述候选磁盘阵列级别中确定目标磁盘阵列级别;
基于所述目标磁盘阵列级别从所述候选存储设备标识中确定目标存储设备标识。
7.根据权利要求6所述的方法,其特征在于,所述目标存储设备标识对应的磁盘阵列包括至少一个主磁盘,或,所述目标存储设备标识对应的磁盘阵列包括至少一个主磁盘和至少一个备磁盘。
8.一种数据处理装置,其特征在于,所述装置应用于服务器,所述服务器配置有多个候选传输设备标识和候选存储设备标识,所述方法包括:
参数获取模块,获取目标车辆配置的传感器组的传感器参数;
需求确定模块,根据所述传感器参数计算所述目标车辆的传输存储需求;其中,所述传输存储需求包括传输速率需求和存储内存需求;
数据存储模块,根据所述传输存储需求分别从所述候选传输设备标识中确定目标传输设备标识,以及从所述候选存储设备标识中确定目标存储设备标识,以通过所述目标传输设备标识对应的数据传输设备,将所述传感器组采集的环境数据传输至所述目标存储设备标识对应的数据存储设备进行存储。
9.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210010945.6A CN114356243A (zh) | 2022-01-06 | 2022-01-06 | 数据处理方法、装置及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210010945.6A CN114356243A (zh) | 2022-01-06 | 2022-01-06 | 数据处理方法、装置及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114356243A true CN114356243A (zh) | 2022-04-15 |
Family
ID=81107963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210010945.6A Pending CN114356243A (zh) | 2022-01-06 | 2022-01-06 | 数据处理方法、装置及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114356243A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115914140A (zh) * | 2023-01-10 | 2023-04-04 | 苏州浪潮智能科技有限公司 | 一种存储数据处理方法、装置、电子设备和存储介质 |
CN115938013A (zh) * | 2023-03-14 | 2023-04-07 | 禾多科技(北京)有限公司 | 用于监控数据的方法、装置、设备和计算机可读介质 |
-
2022
- 2022-01-06 CN CN202210010945.6A patent/CN114356243A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115914140A (zh) * | 2023-01-10 | 2023-04-04 | 苏州浪潮智能科技有限公司 | 一种存储数据处理方法、装置、电子设备和存储介质 |
CN115938013A (zh) * | 2023-03-14 | 2023-04-07 | 禾多科技(北京)有限公司 | 用于监控数据的方法、装置、设备和计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110572579B (zh) | 图像处理方法、装置及电子设备 | |
US20200380263A1 (en) | Detecting key frames in video compression in an artificial intelligence semiconductor solution | |
CN114356243A (zh) | 数据处理方法、装置及服务器 | |
CN110580428A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
EP4035070B1 (en) | Method and server for facilitating improved training of a supervised machine learning process | |
CN110991310B (zh) | 人像检测方法、装置、电子设备及计算机可读介质 | |
CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
US20110069146A1 (en) | System and method for processing images | |
CN115205150A (zh) | 图像的去模糊方法、装置、设备、介质及计算机程序产品 | |
CN112163544A (zh) | 一种非机动车辆乱摆放的判断方法及系统 | |
CN111726621B (zh) | 一种视频转换方法及装置 | |
CN116760937B (zh) | 一种基于多机位的视频拼接方法、装置、设备及存储介质 | |
CN113688839A (zh) | 视频处理方法及装置、电子设备、计算机可读存储介质 | |
CN111144156A (zh) | 一种图像数据处理方法和相关装置 | |
JP6290949B2 (ja) | フォト・クラスターの検出および圧縮 | |
EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
CN116129316A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN114095725B (zh) | 一种判断摄像头是否异常的方法和系统 | |
CN110475044B (zh) | 图像传输方法和装置、电子设备、计算机可读存储介质 | |
CN114900717A (zh) | 视频数据传输方法、装置、介质和计算设备 | |
CN112633198A (zh) | 一种图片处理方法、装置、存储介质及电子装置 | |
CN114640785A (zh) | 站点模型更新方法及系统 | |
AU2008264231B2 (en) | Video object foreground mask encoding | |
CN113542866B (zh) | 视频处理方法、装置、设备及计算机可读存储介质 | |
RU2773420C1 (ru) | Способ обработки изображений, способ и устройство обучения |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |