CN110806840A - 一种基于多数据流的闪存卡数据存储方法、闪存卡及设备 - Google Patents

一种基于多数据流的闪存卡数据存储方法、闪存卡及设备 Download PDF

Info

Publication number
CN110806840A
CN110806840A CN201911019312.6A CN201911019312A CN110806840A CN 110806840 A CN110806840 A CN 110806840A CN 201911019312 A CN201911019312 A CN 201911019312A CN 110806840 A CN110806840 A CN 110806840A
Authority
CN
China
Prior art keywords
data
flash memory
storage area
written
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911019312.6A
Other languages
English (en)
Inventor
许铭霖
吴大畏
李晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen City A Microelectronics LLC
Original Assignee
Shenzhen City A Microelectronics LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City A Microelectronics LLC filed Critical Shenzhen City A Microelectronics LLC
Priority to CN201911019312.6A priority Critical patent/CN110806840A/zh
Publication of CN110806840A publication Critical patent/CN110806840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Abstract

本发明公开了一种基于多数据流的闪存卡数据存储方法、闪存卡及设备，涉及数据存储技术领域。其方法技术要点包括建立数据流表项，数据流表项包括起始逻辑地址和数据流长度；将闪存内存储区域划分为连续存储区和不连续存储区；依次获取待写入的数据流，将待写入数据流内数据的起始逻辑地址和数据长度写入数据流表项；基于数据流表项内起始逻辑地址和数据流长度，判断待写入数据是否为连续数据；若为连续数据，则将待写入数据的物理地址分配至连续存储区；若不为连续数据，则将待写入数据的物理地址分配至不连续存储区，本发明具有减少闪存卡垃圾回收的量，提升闪存卡的寿命的优点。

Description

一种基于多数据流的闪存卡数据存储方法、闪存卡及设备
技术领域
本发明涉及数据存储技术领域，更具体地说，它涉及一种基于多数据流的闪存卡数据存储方法、闪存卡及设备。
背景技术
行车记录仪和IPC（网络摄像头）一般采用TF卡这类的基于SD协议的闪存卡进行数据的存储。而在行车记录仪或IPC进行数据记录时，会产生多股数据流（例如视频数据流、日志数据流和命令数据流），而多股数据流是串行写入的，因此当数据写入到闪存内时，同一个闪存块上除了有视频数据外还有日志数据和命令数据；而日志数据和命令数据一般属于热数据，而是视频数据一般冷数据，由于TF卡设备基本没有采用Trim，将导致一个存储块内的数据不连续，从而在增大了垃圾回收的量。
发明内容
针对现有的技术问题，本发明的第一目的在于提供一种基于多数据流的闪存卡数据存储方法，其具有减少闪存卡垃圾回收的量，提升闪存卡的寿命的优点。
为实现上述目的，本发明提供了如下技术方案：一种基于多数据流的闪存卡数据存储方法，包括：
建立数据流表项，数据流表项包括起始逻辑地址和数据流长度；
将闪存内存储区域划分为连续存储区和不连续存储区；
依次获取待写入的数据流，将待写入数据流内数据的起始逻辑地址和数据长度写入数据流表项；
基于数据流表项内起始逻辑地址和数据流长度，判断待写入数据是否为连续数据；
若为连续数据，则将待写入数据的物理地址分配至连续存储区；
若不为连续数据，则将待写入数据的物理地址分配至不连续存储区。
通过采用上述技术方案，在行车记录仪或IPC中数据流主要分为视频数据流、日志数据流和命令数据流；其中视频数据流的数据为较长数据且为冷数据，长时间内不会更新删除；而日志数据流和命令数据流均为较短数据且为热数据，数据更新删除比较频繁；因此基于这一个特点，通过判断逻辑地址数据是否连续来判断数据是较长的数据还是较短的数据；较长的数据大概率是冷数据，而较短的数据大概率是热数据；从而实现相比于现有技术，较大程度的把视频数据流从日志数据流和命令数据流筛选出来存储至连续存储区；从而当闪存内日志数据流和命令数据流被删除更新时，对视频数据流的数据影响较小，甚至不用搬运闪存内的视频数据流；达到减少闪存卡垃圾回收的量，提升闪存卡的寿命优点。
本发明进一步设置为：判断待写入数据是否存在连续数据包括：
计算数据流表项内起始逻辑地址和数据流长度的和值，获得结束逻辑地址；
判断获得的结束逻辑地址和待写入数据流内数据的起始逻辑地址是否存在连续；
若存在连续则待写入数据为连续数据，若不存在连续则待写入数据不为连续数据。
通过采用上述技术方案，在行车记录仪或IPC中，视频数据是持续写入的，因此在储存的数据流上体现的逻辑地址是连续的，因此当两个数据流的起始地址和结束地址之间是连续的时候，则大概率是视频数据流。
本发明进一步设置为：所述数据流表项还包括新鲜度，所述新鲜度基于数据流写入次序生成；
删除数据时，基于新鲜度删除已写入的数据。
通过采用上述技术方案，当数据写满闪存卡需要删除数据时，新鲜度能够作为参照，来分辨写入数据先后的逻辑地址；在获得逻辑地址的情况下只要再根据闪存内的逻辑映射表，就能找到对应数据的物理地址，来实现对最早写入的视频数据删除。
本发明进一步设置为：所述新鲜度为基于数据流写入次序生成等差数列。
通过采用上述技术方案，等差数列生成简单，便于比较。
本发明进一步设置为：闪存内存储区域划分连续存储区和不连续存储区基于闪存块的可擦除次数；
在预设时间后更新再次划分存储区域内的连续存储区和不连续存储区。
通过采用上述技术方案，一般热数据将存储在不连续存储区内，冷数据会存储在连续存储区内，因此长时间使用后，不要连续存储区的可擦除次数会变少，此时根据可擦除次数再次划分区域，能够提升闪存的寿命。
本发明进一步设置为：所述预设时间为7至15天。
通过采用上述技术方案，7至15天一般为数据写满要进行数据删除的周期，此时可重新划分连续存储区和不连续存储区的数量更多，划分效果更好。
本发明的第二目的在于提供一种基于SD协议的闪存卡，其具有提升寿命的优点。
为实现上述目的，本发明提供了如下技术方案：一种基于SD协议的闪存卡，包括指令，所述指令在计算机上运行时，使得计算机执行权利要求1-6任一项所述的方法。
本发明的第三目的在于提供一种音视频录像设备，其具有较长的存储寿命的优点。
为实现上述目的，本发明提供了如下技术方案：一种音视频录像设备，所述音视频录像设备包括处理器和存储器；
所述存储器用于存储支持所述装置执行第一目的所述的方法的程序，
以及存储用于实现第一目的所述的方法所涉及的数据；
所述处理器被配置为用于执行所述存储器中存储的程序。
本发明进一步设置为：所述音视频录像设备为行车记录仪、网络摄像头中的一种。
与现有技术相比，本发明的有益效果是：
（1）通过划分连续数据和不连续数据，实现对闪存卡内冷热数据的划分，减少垃圾回收量，提升闪存卡的寿命；
（2）新鲜度划分写入数据的次序，保证最先写入的视频先被删除，保证近期写入的数据保留。
附图说明
图1为本实施例的流程示意图。
具体实施方式
下面结合附图和实施例，对本发明进行详细描述。
为了理解本方案，先对闪存的一些基本结构进行说明。目前通用的闪存介质一般划分为多个存储块（Block），每个存储块有多条字线（WL），一条字线（WL）包含一个或者多个存储页（Page），而存储页是闪存写入数据的基本单位。
主控为闪存内主控芯片的简称，主控本质是一台微处理器，具备CPU级别的运算能力，其具有执行固件代码的功能。
实施例，一种基于多数据流的闪存卡数据存储方法，如图1所示，
S1、建立数据流表项；
数据流表项包括起始逻辑地址、数据流长度和新鲜度；起始逻辑地址用于记录待写入数据流的起始的逻辑地址；新鲜度基于数据流写入次序生成，新鲜度为基于数据流写入次序生成等差递增数列。
下一新鲜度值由上一新鲜度值增加定值后生成。优选的，本方案内时间戳值采用4字节进行存储，且新鲜度值的初始值为0，每记录一个储存块的物理地址，下一时间戳值的参数加1。因此初始的时间戳值为0X00000000，初始时间戳的下一时间戳值为0X00000001。
S2、划分闪存内存储区域；
将闪存内存储区域划分为连续存储区和不连续存储区,闪存内存储区域划分连续存储区和不连续存储区基于闪存块的可擦除次数建立区域划分表，在区域划分表通过写入存储块地址至连续存储区和不连续存储区中，实现对存储块的划分。
具体的，每个闪存块都有擦除次数限制（有寿命），擦除次数过多会成为坏块，而不能再使用。在本实施方式中，连续存储区主要用于存储视频数据流，主要存储冷数据；而不连续存储区主要存储日志数据流和命令数据流，主要存储热数据。因此在存储块擦除方面，不连续存储区内存储块在指定时间内的擦除次数会多于连续存储区的存储块的擦除次数。因此选取可擦除次数多的存储块作为不连续存储区的存储块，将起到对存储块磨损均衡的效果，提升闪存整体的寿命。
进一步的，在预设时间后更新再次划分存储区域内的连续存储区和不连续存储区。具体的，预设时间为7至15天。在长时间使用后，不连续存储区的可擦除次数会变少，此时根据可擦除次数再次划分区域，能够进一步提升闪存的寿命。
S3、依次获取待写入的数据流，将待写入数据流内数据的起始逻辑地址和数据长度写入数据流表项；
当数据流写入TF卡中时，TF卡的主控能够直接获取到数据流的逻辑地址和数据流长度写入到数据流表项中。
S4、判断待写入数据是否为连续数据，若为连续数据跳转至步骤S51，否则跳转至步骤S52；
判断待写入数据是否为连续数据主要基于已写入数据流表项内起始逻辑地址和数据流长度数据。其包括：
S41、计算数据流表项内起始逻辑地址和数据流长度的和值，获得结束逻辑地址；
S42、判断获得的结束逻辑地址和待写入数据流内数据的起始逻辑地址是否存在连续；
若存在连续则待写入数据为连续数据，若不存在连续则待写入数据不为连续数据。
S51、将待写入数据的物理地址分配至连续存储区；
S52、将待写入数据的物理地址分配至不连续存储区。
在行车记录仪或IPC中数据流主要分为视频数据流、日志数据流和命令数据流；其中视频数据流的数据为较长数据且为冷数据，长时间内不会更新删除；而日志数据流和命令数据流均为较短数据且为热数据，数据更新删除比较频繁；通过上述方法，通过判断逻辑地址数据是否连续来判断数据是较长的数据还是较短的数据；较长的数据大概率是冷数据，而较短的数据大概率是热数据；从而实现相比于现有技术，较大程度的把视频数据流从日志数据流和命令数据流筛选出来存储至连续存储区；从而当闪存内日志数据流和命令数据流被删除更新时，对视频数据流的数据影响较小，甚至不用搬运闪存内的视频数据流；达到减少TF卡垃圾回收的量，提升TF卡的寿命优点。
进一步的，当数据写满TF卡需要删除数据时，基于新鲜度删除已写入的数据。新鲜度能够作为参照，根据新鲜度的大小来分辨写入数据对应的逻辑地址；在获得逻辑地址的情况下再根据闪存内的逻辑映射表，就能找到对应数据的物理地址，来实现对最早写入的存储数据删除。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于TF卡或SD卡等基于SD协议的闪存卡中中，特别是应用于行车记录仪或IPC的等监控装置中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读移动式存储设备中。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于多数据流的闪存卡数据存储方法，其特征在于：包括：
建立数据流表项，数据流表项包括起始逻辑地址和数据流长度；
将闪存内存储区域划分为连续存储区和不连续存储区；
依次获取待写入的数据流，将待写入数据流内数据的起始逻辑地址和数据长度写入数据流表项；
基于数据流表项内起始逻辑地址和数据流长度，判断待写入数据是否为连续数据；
若为连续数据，则将待写入数据的物理地址分配至连续存储区；
若不为连续数据，则将待写入数据的物理地址分配至不连续存储区。
2.根据权利要求1所述的一种基于多数据流的闪存卡数据存储方法，其特征在于：判断待写入数据是否存在连续数据包括：
计算数据流表项内起始逻辑地址和数据流长度的和值，获得结束逻辑地址；
判断获得的结束逻辑地址和待写入数据流内数据的起始逻辑地址是否存在连续；
若存在连续则待写入数据为连续数据，若不存在连续则待写入数据不为连续数据。
3.根据权利要求1所述的一种基于多数据流的闪存卡数据存储方法，其特征在于：所述数据流表项还包括新鲜度，所述新鲜度基于数据流写入次序生成；
删除数据时，基于新鲜度删除已写入的数据。
4.根据权利要求3所述的一种基于多数据流的闪存卡数据存储方法，其特征在于：所述新鲜度为基于数据流写入次序生成等差数列。
5.根据权利要求4所述的一种基于多数据流的闪存卡数据存储方法，其特征在于：闪存内存储区域划分连续存储区和不连续存储区基于闪存块的可擦除次数；
在预设时间后更新再次划分存储区域内的连续存储区和不连续存储区。
6.根据权利要求5所述的一种基于多数据流的闪存卡数据存储方法，其特征在于：所述预设时间为7至15天。
7.一种基于SD协议的闪存卡，其特征在于：包括指令，所述指令在计算机上运行时，使得计算机执行权利要求1-6任一项所述的方法。
8.一种音视频录像设备，其特征在于：所述音视频录像设备包括处理器和存储器；
所述存储器用于存储支持所述装置执行权利要求1-6任一项所述的方法的程序，
以及存储用于实现权利要求1-6任一项所述的方法所涉及的数据；
所述处理器被配置为用于执行所述存储器中存储的程序。
9.一种音视频录像设备，其特征在于：所述音视频录像设备为行车记录仪、网络摄像头中的一种。
CN201911019312.6A 2019-10-24 2019-10-24 一种基于多数据流的闪存卡数据存储方法、闪存卡及设备 Pending CN110806840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911019312.6A CN110806840A (zh) 2019-10-24 2019-10-24 一种基于多数据流的闪存卡数据存储方法、闪存卡及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911019312.6A CN110806840A (zh) 2019-10-24 2019-10-24 一种基于多数据流的闪存卡数据存储方法、闪存卡及设备

Publications (1)

Publication Number Publication Date
CN110806840A true CN110806840A (zh) 2020-02-18

Family

ID=69489119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911019312.6A Pending CN110806840A (zh) 2019-10-24 2019-10-24 一种基于多数据流的闪存卡数据存储方法、闪存卡及设备

Country Status (1)

Country Link
CN (1) CN110806840A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416811A (zh) * 2020-11-18 2021-02-26 深圳市硅格半导体有限公司 基于数据关联度的垃圾回收方法、闪存及装置
CN113032290A (zh) * 2021-03-19 2021-06-25 维沃移动通信有限公司 闪存配置方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1728282A (zh) * 2004-07-30 2006-02-01 深圳市朗科科技有限公司 提高闪存盘数据写入速度的方法
CN106201906A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种用于闪存的冷热数据分离方法及系统
CN106406753A (zh) * 2016-08-30 2017-02-15 深圳芯邦科技股份有限公司 一种数据存储方法及数据存储装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1728282A (zh) * 2004-07-30 2006-02-01 深圳市朗科科技有限公司 提高闪存盘数据写入速度的方法
CN106201906A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种用于闪存的冷热数据分离方法及系统
CN106406753A (zh) * 2016-08-30 2017-02-15 深圳芯邦科技股份有限公司 一种数据存储方法及数据存储装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416811A (zh) * 2020-11-18 2021-02-26 深圳市硅格半导体有限公司 基于数据关联度的垃圾回收方法、闪存及装置
CN112416811B (zh) * 2020-11-18 2024-02-27 深圳市硅格半导体有限公司 基于数据关联度的垃圾回收方法、闪存及装置
CN113032290A (zh) * 2021-03-19 2021-06-25 维沃移动通信有限公司 闪存配置方法、装置、电子设备和存储介质
CN113032290B (zh) * 2021-03-19 2024-01-19 维沃移动通信有限公司 闪存配置方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US10007468B2 (en) Method and apparatus for erasing data in data section in flash memory
US8489850B2 (en) Memory apparatus and memory control method
US7610434B2 (en) File recording apparatus
US8166231B2 (en) Memory controller, nonvolatile memory device, access device, and nonvolatile memory system
CN109558335B (zh) 一种基于Nor Flash存储器的嵌入式系统的文件存储格式
CN109582227B (zh) 固态硬盘写入方法、装置、计算机设备和存储介质
JP2013509658A (ja) 将来の使用推量に基づく記憶メモリの割り当て
CN108073507B (zh) 一种内核崩溃现场数据的处理方法及装置
CN113495889B (zh) 一种分布式对象存储方法、装置、电子设备及存储介质
CN110806840A (zh) 一种基于多数据流的闪存卡数据存储方法、闪存卡及设备
CN110389712B (zh) 数据写入方法及其装置、固态硬盘和计算机可读存储介质
CN115639971B (zh) 数据写入方法、装置、电子设备、存储介质及程序产品
US20130138910A1 (en) Information Processing Apparatus and Write Control Method
US8301862B2 (en) Formatting device
CN110286848B (zh) 数据处理方法及装置
US7565483B2 (en) Method and apparatus for exchanging data with a hard disk
JP4372168B2 (ja) 半導体メモリ情報蓄積装置とその蓄積データ処理方法
CN113076062B (zh) 一种提升qlcssd寿命的方法和设备
CN112416811B (zh) 基于数据关联度的垃圾回收方法、闪存及装置
CN111813708B (zh) 用于存储装置的块映射系统和方法
JP7435470B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN113900994B (zh) 一种文件写入方法及装置
CN113132661B (zh) 视频数据的存储方法及装置、存储介质及摄像设备
US11507306B2 (en) Recording apparatus that records data using file system, control method therefor, and storage medium storing control program therefor
CN110427161B (zh) 一种用于串行闪存的数据存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 09-2, 10-11 unit, 6 building, Changhong science and technology building, 18 South Road, science and Technology Park, Nanshan District, Shenzhen, Guangdong, China 18

Applicant after: Deyi Microelectronics Co.,Ltd.

Address before: 518000 09-2, 10-11 unit, 6 building, Changhong science and technology building, 18 South Road, science and Technology Park, Nanshan District, Shenzhen, Guangdong, China 18

Applicant before: YEESTOR MICROELECTRONICS Co.,Ltd.