CN117762317A - 一种数据存储方法、装置、终端设备、无人车和存储介质 - Google Patents
一种数据存储方法、装置、终端设备、无人车和存储介质 Download PDFInfo
- Publication number
- CN117762317A CN117762317A CN202211126751.9A CN202211126751A CN117762317A CN 117762317 A CN117762317 A CN 117762317A CN 202211126751 A CN202211126751 A CN 202211126751A CN 117762317 A CN117762317 A CN 117762317A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- block folder
- writing
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013500 data storage Methods 0.000 title claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 30
- 230000000903 blocking effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000002699 waste material Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据存储方法、装置、终端设备、无人车和计算机可读存储介质,方法包括:利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中;块文件夹为按照预设格式设置的存储块;获取各操作线程分别对应的写入状态;当与块文件夹对应的各操作线程的写入状态均表示写入结束时,将块文件夹中的待存储数据存储至预设存储位置。本方法根据对块文件夹的写入情况确定是否执行将块文件夹中的待存储数据存储至预设存储位置的操作,因此能够及时响应存储操作,提高将数据存储至预设位置的效率;同时避免了高频率执行数据检测和写入操作,因此能够避免造成系统资源浪费的情况。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据存储方法、装置、终端设备、无人车和计算机可读存储介质。
背景技术
随着信息技术的快速发展,对数据存储的要求也越来越高。例如,在自动驾驶领域,需要实时获取无人车自动驾驶过程中的无人车运行状态数据、通信数据以及无人车所在环境数据等数据信息,针对这种数据体量大且数据产生频率高的存储需求,目前一般采用两级存储系统进行数据存储,以避免由于数据存储效率不匹配导致数据丢失的情况。
在传统的技术方案中,在基于两级存储系统进行数据存储时,一般是在获取到数据信息后,先将数据信息存储至一级存储空间,再将一级存储空间中的数据信息转存至二级存储空间,具体是按照二级存储空间中的存储地址进行数据写入,最后按照预设时间周期将二级存储空间中的数据信息存储至预设存储位置。可见,传统的技术方案中,在将二级存储空间中的数据信息存储至预设存储位置的过程中,若预设时间周期过长,将导致数据存储不及时,影响数据存储效率;若预设时间周期过短,则频繁的检测和/或写入的操作将造成系统资源浪费。
因此,如何在提高数据存储效率的同时,兼顾避免造成系统资源浪费的情况是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的在于提供一种数据存储方法、装置、终端设备、无人机和计算机可读存储介质,旨在解决在提高数据存储效率的同时,兼顾避免造成系统资源浪费的情况的问题。
第一方面,本申请提供了一种数据存储方法。所述方法包括:
利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的所述待存储数据写入至二级存储空间的块文件夹中;所述块文件夹为按照预设格式设置的存储块;
获取各所述操作线程分别对应的写入状态;
当与所述块文件夹对应的各所述操作线程的写入状态均表示写入结束时,将所述块文件夹中的待存储数据存储至预设存储位置。
在其中一个实施例中,所述获取各所述操作线程分别对应的写入状态,包括:
针对每个操作线程,获取所述操作线程当前写入的所述待存储数据对应的累计时间计数;
根据所述累计时间计数和所述块文件夹的分块时间间隔确定所述操作线程的写入状态。
在其中一个实施例中,所述方法还包括:
获取与所述块文件夹中的各所述待存储数据分别对应的时间戳;
根据各所述时间戳确定写入同一所述块文件夹中的各所述待存储数据对应的时间范围。
在其中一个实施例中,所述将所述块文件夹中的待存储数据存储至预设存储位置,包括:
从所述块文件夹的所述待存储数据中确定当前待移动数据,并判断所述当前待移动数据是否已设置移动标识;所述当前待移动数据为当前准备移动的所述待存储数据;所述移动标识表示所述当前待移动数据已经被移动;
若否,则对所述当前待移动数据设置对应的移动标识,并将所述当前待移动数据存储至预设存储位置。
在其中一个实施例中,在所述对所述当前待移动数据设置对应的移动标识,并将所述当前待移动数据存储至预设存储位置之后,所述方法还包括:
判断所述块文件夹中是否存在未设置所述移动标识的所述待存储数据;
若不存在,则删除所述块文件夹。
在其中一个实施例中,所述利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的所述待存储数据写入至二级存储空间的块文件夹中,包括:
利用多个操作线程分别从一级存储空间获取待存储数据;
针对每一个所述操作线程,控制所述操作线程在获取所述待存储数据至少两次后,将获取到的所述待存储数据写入至二级存储空间的块文件夹中。
第二方面,本申请还提供了一种数据存储装置。所述装置包括:
写入模块,用于利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的所述待存储数据写入至二级存储空间的块文件夹中;所述块文件夹为按照预设格式设置的存储块;
获取模块,用于获取各所述操作线程分别对应的写入状态;
存储模块,用于当与所述块文件夹对应的各所述操作线程的写入状态均表示写入结束时,将所述块文件夹中的待存储数据存储至预设存储位置。
第三方面,本申请还提供了一种终端设备。所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
第四方面,本申请还提供了一种无人车,包括无人车本体,还包括如上述的终端设备。
第五方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。
第六方面,本申请还提供了一种计算机程序产品。所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例提供的一种数据存储方法,利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中;块文件夹为按照预设格式设置的存储块;获取各操作线程分别对应的写入状态;当与块文件夹对应的各操作线程的写入状态均表示写入结束时,将块文件夹中的待存储数据存储至预设存储位置。本方案根据对块文件夹的写入情况确定是否执行将块文件夹中的待存储数据存储至预设存储位置的操作,因此本方案能够及时响应存储操作,提高将数据存储至预设位置的效率;同时本方案避免了高频率执行数据检测和写入操作,因此能够避免造成系统资源浪费的情况。
可以理解的是,本申请实施例提供的一种数据存储装置、终端设备、无人车、计算机可读存储介质和计算机程序产品具有如上述数据存储方法相同的有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据存储方法的流程图;
图2为本申请实施例提供的一种两级存储系统的结构示意图;
图3为本申请实施例提供的另一种数据存储方法的流程图;
图4为本申请实施例提供的一种数据存储装置的结构示意图;
图5是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、设备、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。“多个”表示“两个或两个以上”。
本申请实施例提供的一种数据存储方法,可以由终端设备的处理器在运行相应的计算机程序时执行。图1为本申请实施例提供的一种数据存储方法的流程图。为了便于说明,仅示出了与本实施例相关的部分,本实施例提供的方法包括如下步骤:
S100:利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中;块文件夹为按照预设格式设置的存储块。
图2为本申请实施例提供的一种两级存储系统的结构示意图。其中,两级存储系统包括一级存储空间和二级存储空间;利用两级存储系统进行数据存储,能在短时间内有大量数据写入的情况下实现高效率的数据写入,避免出现数据丢失的情况。
其中,一级存储空间始终以采集时间的先后顺序存储数据,且根据需存储的数据时长以及数据生成速率确定一级存储空间的额定存储数据量。例如,假设需要存储从当前时刻起前溯15秒的数据,且该数据的数据生成速率为每秒生成10个,因此一级存储空间的额定存储数据量为150个数据。若一级存储空间已存储的数据量达到额定存储数据量,则可以按照先进先出的顺序,将一级存储空间中最先存储的数据删除,以腾出空间存储最新的数据。
其中,二级存储空间可以是基于内存文件系统或者固态硬盘(Solid State Disk/Solid State Drive,SSD)等高速硬盘设置的存储空间,也可以是二级缓存空间,二级缓存空间的特性是高速写入与读取,并且仅在使用时会消耗系统空间,当二级缓存空间内的数据被清空时,所用的系统空间被归还。
其中,块文件夹指的是按照预设格式设置的存储块;如可以是根据分块时间间隔设置各块文件夹,即每个块文件夹中存储的数据的时长相同;本实施例对设置块文件夹的具体方式不做限定。
其中,操作线程指的是处理器在进行运算调度的最小单位;在实际操作中,为了提高操作效率,一般设置多个操作线程并行执行相应的操作。更具体的,在本实施例中,在将待存储数据存储至一级存储空间中后,利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中。
S200:获取各操作线程分别对应的写入状态。
其中,写入状态指的是表征对应的操作线程是否完成对块文件夹的写入操作的信息,即写入状态包括写入结束和写入未结束两种状态。在实际操作中,操作线程在完成对块文件夹的写入操作后,为块文件夹设置对应的标识信息,利用标识信息标识操作线程对该块文件夹的写入状态。
应理解,标识信息中至少包括对该块文件夹写入结束的操作线程的线程标识,以根据标识信息确定具体是哪个操作线程完成对块文件夹的写入操作。更具体的,各操作线程可以在完成对块文件夹的写入操作后,基于自身的线程标识为块文件夹设置对应的信息;也可以是预先为块文件夹设置标识变量,在操作线程完成对块文件夹的写入操作后,基于自身的线程标识修改标识变量中的值。例如,假设共有三个操作线程1、2和3,块文件夹的标识变量为S(0,0,0);当操作线程1完成对块文件夹的写入操作后,修改标识变量为S(1,0,0)。
S300:当与块文件夹对应的各操作线程的写入状态均表示写入结束时,将块文件夹中的待存储数据存储至预设存储位置。
在本步骤中,确定与块文件夹对应的各操作线程的写入状态,并根据确定出的各写入状态判断与块文件夹对应的各操作线程的写入状态是否均表示写入结束;若是,则表示当前可以对该块文件夹进行后续操作,将该块文件夹中的待存储数据存储至预设存储位置;否则,表示当前还不能对该块文件夹执行后续操作,继续等待各操作线程执行从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中的操作。
其中,预设存储位置一般是本地存储空间,根据实际的应用场景设置预设存储位置,本实施例对此不做限定。例如,预设存储位置可以是无人车的工控机或者专门用于存储数据的设备。
本实施例提供的一种数据存储方法,利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中;块文件夹为按照预设格式设置的存储块;获取各操作线程分别对应的写入状态;当与块文件夹对应的各操作线程的写入状态均表示写入结束时,将块文件夹中的待存储数据存储至预设存储位置。本方案根据对块文件夹的写入情况确定是否执行将块文件夹中的待存储数据存储至预设存储位置的操作,因此本方案能够及时响应存储操作,提高将数据存储至预设位置的效率;同时本方案避免了高频率执行数据检测和写入操作,因此能够避免造成系统资源浪费的情况。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,获取各操作线程分别对应的写入状态,包括:
针对每个操作线程,获取操作线程当前写入的待存储数据对应的累计时间计数;
根据累计时间计数和块文件夹的分块时间间隔确定操作线程的写入状态。
其中,累计时间计数指的是以预设时间间隔为触发条件的计数,如从0开始的毫秒级时间累计数;首次采集到的待存储数据的累计时间计数为0,在下一毫秒采集到的待存储数据的累计时间计数为1,以此类推。
另外,在创建块文件夹时,根据累计时间计数和块文件夹的分块时间间隔确定块文件夹的文件夹标识,也就是确定块文件夹的文件夹名称。具体可以以累计时间计数除以分块时间间隔并取整,将计算结果作为文件夹标识。例如,若当前写入的待存储数据对应的累计时间计数为1001毫秒,块文件夹的分块时间间隔为1000毫秒,则该块文件夹的文件夹标识为1。
然后,根据当前写入的待存储数据对应的累计时间计数计算规划块文件夹标识;获取当前写入的待存储数据实际写入的块文件夹对应的实际块文件夹标识;比较规划块文件夹标识和实际块文件夹标识是否一致;若一致,则表示操作线程的写入状态为写入未结束;若不一致,则表示操作线程的写入状态为写入结束,也即当前已经切换块文件夹。
可见,按照本实施例的方法,能够快速准确地确定操作线程的写入状态。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,方法还包括:
获取与块文件夹中的各待存储数据分别对应的时间戳;
根据各时间戳确定写入同一块文件夹中的各待存储数据对应的时间范围。
具体的,时间戳可以是系统时间、网络同步时间或者累计时间计数。在采集待存储数据时,同时获取时间戳,并为各待存储数据设置对应的时间戳,即设置待存储数据与时间戳的对应关系。
在将获取到的待存储数据写入至二级存储空间的块文件夹中之后,或者在根据累计时间计数和块文件夹的分块时间间隔确定操作线程的写入状态之后,可以进一步获取块文件夹中的各待存储数据分别对应的时间戳,并根据各时间戳的最大值和最小值确定写入同一块文件夹中的各待存储数据对应的时间范围;该时间范围即表示对应的块文件夹中存储的待存储数据的起始时间、结束时间以及时间长度。
可见,本实施例通过进一步确定同一块文件夹中的各待存储数据对应的时间范围,能够便于后续根据时间戳查找对应的待存储数据。
图3为本申请实施例提供的另一种数据存储方法的流程图。在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,如图3所示,本实施例中,将块文件夹中的待存储数据存储至预设存储位置,包括:
S301:从块文件夹的待存储数据中确定当前待移动数据,并判断当前待移动数据是否已设置移动标识;当前待移动数据为当前准备移动的待存储数据;移动标识表示当前待移动数据已经被移动。
应理解,块文件夹中包括多个待存储数据,当前待移动数据指的是当前准备移动的待存储数据。若利用多个操作线程并行执行将块文件夹中的待存储数据存储至预设存储位置的操作,则可能存在多个操作线程重复对某个待存储数据执行移动操作,即重复执行将待存储数据存储至预设存储位置的操作。因此,本实施例中,操作线程在移动块文件夹中的当前待移动数据之前,需先判断当前待移动数据是否已设置移动标识,即检测该当前待移动数据是否已经被其他操作线程移动至预设存储位置。
S302:若否,则对当前待移动数据设置对应的移动标识,并将当前待移动数据存储至预设存储位置;
S303:若是,则跳过当前待移动数据。
应理解,本实施例中,为块文件夹中已经移动至预设存储位置的待存储数据设置了移动标识,因此可以根据块文件夹中的待存储数据(当前待移动数据)是否设置移动标识,确定是否需要对待存储数据(当前待移动数据)进行移动操作。
具体的,若当前待移动数据未设置移动标识,即表示该当前待移动数据没有被其他操作线程移动,因此将当前待移动数据存储至预设存储位置,并对当前待移动数据设置对应的移动标识,即表示该当前待移动数据已经被移动,便于其他操作线程根据移动标识确定该待移动数据已经被移动。若当前待移动数据设置有移动标识,即表示该当前待移动数据已经被其他操作线程移动,不需要再对该当前待移动数据执行移动操作,因此跳过该当前待移动数据。
可见,按照本实施例的方法,能够避免重复移动块文件夹中的待存储数据的情况,不仅能避免资源浪费,而且能够提高数据存储效率。
在一个具体的实施方式中,在对当前待移动数据设置对应的移动标识,并将当前待移动数据存储至预设存储位置之后,方法还包括:
判断块文件夹中是否存在未设置移动标识的待存储数据;
若不存在,则删除块文件夹。
具体的,由于块文件夹中包括多个待存储数据,在对当前待移动数据设置对应的移动标识,并将当前待移动数据存储至预设存储位置之后,需要进一步判断块文件夹中是否存在未设置移动标识的待存储数据,即判断块文件夹中是否还存在需要移动至预设存储位置的待存储数据。
若存在,则表示还需继续从块文件夹中确定未设置移动标识的待存储数据,并将该待存储数据移动至预设存储位置;若不存在,则表示该块文件中的待存储数据已全部移动至预设存储位置,因此控制操作线程退出该块文件夹,并删除该块文件夹。
需要说明的是,在删除块文件夹之前,还可以再次检测该块文件夹中是否存在未设置移动标识的待存储数据;若再次确定不存在,则删除该块文件夹。
本实施例是在将块文件中的待存储数据全部移动至预设存储位置后,删除该块文件夹,以释放存储空间,避免资源浪费。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中,包括:
利用多个操作线程分别从一级存储空间获取待存储数据;
针对每一个操作线程,控制操作线程在获取待存储数据至少两次后,将获取到的待存储数据写入至二级存储空间的块文件夹中。
具体的,本实施例中,在利用多个操作线程分别从一级存储空间获取待存储数据的基础上,针对每一个操作线程,控制操作线程在获取待存储数据至少两次后,将获取到的待存储数据写入至二级存储空间的块文件夹中。
也就是说,在将一级存储空间的待存储数据写入至二级存储空间的过程中,可以不仅仅是一读一写的操作过程,即读一次数据写一次数据;还可以是在多次读取待存储数据后再进行一次写入操作。如在从一级存储空间中读取了10次待存储数据后,仅通过一次写入操作将10次读取到的待存储数据全部写入至二级存储空间。并且,在将读取到的待存储数据写入至二级存储空间时,可以通过并行写入的方式进行数据写入,以提高数据写入效率。
可见,本实施例通过多次读取一次写入的操作将一级存储空间的待存储数据写入至二级存储空间,能够提高数据写入效率,从而提高数据存储效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图4为本申请实施例提供的一种数据存储装置的结构示意图。如图4所示,该实施例的数据存储装置包括写入模块401、获取模块402和存储模块403;其中,
写入模块401,用于利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中;块文件夹为按照预设格式设置的存储块;
获取模块402,用于获取各操作线程分别对应的写入状态;
存储模块403,用于当与块文件夹对应的各操作线程的写入状态均表示写入结束时,将块文件夹中的待存储数据存储至预设存储位置。
本申请实施例提供的一种数据存储装置,具有与上述一种数据存储方法相同的有益效果。
在其中一个实施例中,获取模块402包括:
计数获取子模块,用于针对每个操作线程,获取操作线程当前写入的待存储数据对应的累计时间计数;
确定子模块,用于根据累计时间计数和块文件夹的分块时间间隔确定操作线程的写入状态。
在其中一个实施例中,一种数据存储装置还包括:
时间戳获取模块,用于获取与块文件夹中的各待存储数据分别对应的时间戳;
时间范围确定模块,用于根据各时间戳确定写入同一块文件夹中的各待存储数据对应的时间范围。
在其中一个实施例中,存储模块403包括:
第一判断子模块,用于从块文件夹的待存储数据中确定当前待移动数据,并判断当前待移动数据是否已设置移动标识;当前待移动数据为当前准备移动的待存储数据;移动标识表示当前待移动数据已经被移动;若否,则调用移动子模块;
移动子模块,用于对当前待移动数据设置对应的移动标识,并将当前待移动数据存储至预设存储位置。
在其中一个实施例中,一种数据存储装置还包括:
第二判断子模块,永不判断块文件夹中是否存在未设置移动标识的待存储数据;若不存在,则调用删除子模块;
删除子模块,用于删除块文件夹。
在其中一个实施例中,写入模块401包括:
数据获取子模块,用于利用多个操作线程分别从一级存储空间获取待存储数据;
写入子模块,用于针对每一个操作线程,控制操作线程在获取待存储数据至少两次后,将获取到的待存储数据写入至二级存储空间的块文件夹中。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图5是本申请实施例提供的一种终端设备的示意图。如图5所示,该实施例的终端设备500包括存储器501、处理器502以及存储在存储器501中并可在处理器502上运行的计算机程序503;处理器502执行计算机程序503时实现上述各个数据存储方法实施例中的步骤,例如图1所示的S100至S300;或者处理器502执行计算机程序503时实现上述各装置实施例中各模块/单元的功能,例如图4所示写入模块401、获取模块402和存储模块403的功能。
示例性的,计算机程序503可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器501中,并由处理器502执行,以实现本申请实施例的方法。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序503在终端设备500中的执行过程。例如,计算机程序503可以被分割成写入模块、获取模块和存储模块,各模块具体功能如下:
写入模块,用于利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的待存储数据写入至二级存储空间的块文件夹中;块文件夹为按照预设格式设置的存储块;
获取模块,用于获取各操作线程分别对应的写入状态;
存储模块,用于当与块文件夹对应的各操作线程的写入状态均表示写入结束时,将块文件夹中的待存储数据存储至预设存储位置。
在应用中,终端设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备500可包括但不仅限于存储器501和处理器502。本领域技术人员可以理解,图5仅仅是终端设备500的示例,并不构成对终端设备500的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备500还可以包括输入输出设备、网络接入设备、总线等;其中,输入输出设备可以包括摄像头、音频采集/播放器件、显示屏等;网络接入设备可以包括通信模块,用于与外部设备进行无线通信。
在应用中,处理器可以是中央处理单元(Central Processing Unit,CPU),也可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在应用中,存储器可以是终端设备500的内部存储单元,例如终端设备500的硬盘或内存;也可以是终端设备500的外部存储设备,例如,终端设备500上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等;还可以既包括终端设备500的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等,例如计算机程序的程序代码等。存储器还可以用于暂时存储已经输出或者将要输出的数据。
本申请实施例还提供了一种无人车,包括无人车本体,还包括如上述的终端设备。
由于无人车中包括上述终端设备,终端设备能够根据对块文件夹的写入情况确定是否执行将块文件夹中的待存储数据存储至预设存储位置的操作,因此能够及时响应存储操作,提高将数据存储至预设位置的效率;同时避免了高频率执行数据检测和写入操作,因此能够避免造成系统资源浪费的情况;因此本申请实施例提供的包括上述终端设备的无人机具有上述相同的有益效果。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例提供的一种计算机可读存储介质,具有与上述一种数据存储方法相同的有益效果。
本申请实施例还提供了一种计算机程序产品。计算机程序产品包括计算机程序,计算机程序被处理器执行时实现如上述各个方法实施例中的步骤。
本申请实施例提供的一种计算机程序产品,具有与上述一种数据存储方法相同的有益效果。
本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到终端设备的任何实体或设备、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的设备及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,设备间接耦合或通讯连接,可以是电性,机械或其它的形式。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据存储方法,其特征在于,所述方法包括:
利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的所述待存储数据写入至二级存储空间的块文件夹中;所述块文件夹为按照预设格式设置的存储块;
获取各所述操作线程分别对应的写入状态;
当与所述块文件夹对应的各所述操作线程的写入状态均表示写入结束时,将所述块文件夹中的待存储数据存储至预设存储位置。
2.根据权利要求1所述的方法,其特征在于,所述获取各所述操作线程分别对应的写入状态,包括:
针对每个操作线程,获取所述操作线程当前写入的所述待存储数据对应的累计时间计数;
根据所述累计时间计数和所述块文件夹的分块时间间隔确定所述操作线程的写入状态。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述块文件夹中的各所述待存储数据分别对应的时间戳;
根据各所述时间戳确定写入同一所述块文件夹中的各所述待存储数据对应的时间范围。
4.根据权利要求1所述的方法,其特征在于,所述将所述块文件夹中的待存储数据存储至预设存储位置,包括:
从所述块文件夹的所述待存储数据中确定当前待移动数据,并判断所述当前待移动数据是否已设置移动标识;所述当前待移动数据为当前准备移动的所述待存储数据;所述移动标识表示所述当前待移动数据已经被移动;
若否,则对所述当前待移动数据设置对应的移动标识,并将所述当前待移动数据存储至预设存储位置。
5.根据权利要求4所述的方法,其特征在于,在所述对所述当前待移动数据设置对应的移动标识,并将所述当前待移动数据存储至预设存储位置之后,所述方法还包括:
判断所述块文件夹中是否存在未设置所述移动标识的所述待存储数据;
若不存在,则删除所述块文件夹。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的所述待存储数据写入至二级存储空间的块文件夹中,包括:
利用多个操作线程分别从一级存储空间获取待存储数据;
针对每一个所述操作线程,控制所述操作线程在获取所述待存储数据至少两次后,将获取到的所述待存储数据写入至二级存储空间的块文件夹中。
7.一种数据存储装置,其特征在于,所述装置包括:
写入模块,用于利用多个操作线程分别从一级存储空间获取待存储数据,并将获取到的所述待存储数据写入至二级存储空间的块文件夹中;所述块文件夹为按照预设格式设置的存储块;
获取模块,用于获取各所述操作线程分别对应的写入状态;
存储模块,用于当与所述块文件夹对应的各所述操作线程的写入状态均表示写入结束时,将所述块文件夹中的待存储数据存储至预设存储位置。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种无人车,包括无人车本体,其特征在于,还包括如权利要求8所述的终端设备。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211126751.9A CN117762317A (zh) | 2022-09-16 | 2022-09-16 | 一种数据存储方法、装置、终端设备、无人车和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211126751.9A CN117762317A (zh) | 2022-09-16 | 2022-09-16 | 一种数据存储方法、装置、终端设备、无人车和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117762317A true CN117762317A (zh) | 2024-03-26 |
Family
ID=90309080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211126751.9A Pending CN117762317A (zh) | 2022-09-16 | 2022-09-16 | 一种数据存储方法、装置、终端设备、无人车和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117762317A (zh) |
-
2022
- 2022-09-16 CN CN202211126751.9A patent/CN117762317A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147722A (zh) | 一种视频处理方法、视频处理装置及终端设备 | |
US9128615B2 (en) | Storage systems that create snapshot queues | |
US11010094B2 (en) | Task management method and host for electronic storage device | |
CN109240607B (zh) | 一种文件读取方法和装置 | |
CN109656487B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN113010116B (zh) | 一种数据处理方法、装置、终端设备及可读存储介质 | |
CN108762684B (zh) | 热点数据迁移流控方法、装置、电子设备及存储介质 | |
CN111666150B (zh) | 存储空间的分配方法、装置、终端及计算机可读存储介质 | |
CN111143092B (zh) | 故障录波数据处理方法、系统及终端设备 | |
CN115794446B (zh) | 一种消息处理方法、装置、电子设备和存储介质 | |
CN117762317A (zh) | 一种数据存储方法、装置、终端设备、无人车和存储介质 | |
CN112329500A (zh) | 基于离散帧的场景段实现方法、装置及存储介质 | |
CN115712486A (zh) | 虚拟机的热迁移控制方法和装置、介质和计算机设备 | |
CN114661624A (zh) | 一种数据高效采集存储方法、系统、设备和存储介质 | |
CN112527276B (zh) | 一种可视化编程工具中的数据更新方法、装置及终端设备 | |
CN108984124A (zh) | 减少写放大的方法、装置、计算机设备及存储介质 | |
CN114896298A (zh) | 一种同类型标签数据预测方法、终端设备及存储介质 | |
CN112416444B (zh) | 一种板卡切换控制方法、装置、设备及介质 | |
CN112148486B (zh) | 内存页面管理方法、装置、设备及可读存储介质 | |
CN113885969A (zh) | 嵌入式设备、嵌入式软件加载方法与存储介质 | |
CN117762318A (zh) | 一种数据存储方法、装置、电子设备、无人车和存储介质 | |
CN113360448A (zh) | 数据包处理方法及装置 | |
CN115729765A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
CN112445431A (zh) | 数据存储方法、装置、设备及介质 | |
CN115048364A (zh) | 一种数据写入数据库的方法、装置、数据库服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |