CN102419765A - 一种流畅保存数据到通用文件系统的嵌入式装置及方法 - Google Patents

Abstract

本发明提出了一种流畅保存数据到通用文件系统的方法，包括以下步骤：1)开始录制流媒数据；2)流媒源进行数据采集；3)采集的数据文件通过API传递写入物理设备数据；4)数据拷贝至文件系统缓冲区；5)上传文件系统并缓存管理信息；6)判断流媒服务是否结束；本发明的一种流畅保存数据到通用文件系统的嵌入式装置及方法，可让存储速度慢的设备可以正常无噪音的用于流媒数据的存储。

Description

一种流畅保存数据到通用文件系统的嵌入式装置及方法

技术领域

本发明涉及一种存储方法，尤其涉及一种支持在写入速度慢的速存储设备上流畅保存数据流到通用文件系统的嵌入式装置及方法。

背景技术

嵌入式设备的运算能力越来越强，很多嵌入式装置具有多媒体摄像(拍摄视频，照片连拍或者录音功能)，通过摄像头获取的实时数据则以普通文件的方式保存于文件系统之中。嵌入式装置通常支持通用的文件系统格式(如FAT12、FAT16、FAT32、NTFS、ExFAT、Ext2、Ext3、HFS、HFS+等)。通用文件系统的支持，意味着介质中存储的文件不需要进行任何格式装换，就可以与其它支持这些文件系统格式的系统进行数据的共享使用。所以存储文件写入数据的时候，都必须按照相关文件系统之格式，数据组织规则(如文件的属性信息存储位置，文件存储位置的分布规则等)，对的存储设备进行访问。

嵌入式设备中多媒体部分支持录音或者拍摄视频，而录音或者摄像等会产生数据流，数据流按照普通流媒文件保存于文件系统中。如录音保存的文件为PCM、ADPCM、MP3、amr等音频文件。摄像视频保存avi、mov等视频格式文件，而这些文件格式也遵循数据一些文件格式格式规范，如frame头信息+数据节点等的数据信息写入文件必须符合这些格式规范。

一些嵌入式设备会使用具有价格优势(更便宜)但存储写入速度也比较慢的存储介质来存储数据(如使用一些厂商的IO Controller+raw Nand架构的存储器替换eMMC卡等)；对于支持扩充卡(带有扩充卡槽)的嵌入式设备，用户会使用价格便宜但写入速度慢的卡片存储设备存储数据(如一些厂商速度慢的的TFlash卡)。

媒体数据流数据需要写入到文件系统的文件中，如果数据写入存储设备速度缓慢，因为写入磁盘的过程占用了系统资源，而影响流媒数据的采集和收集(如某些时间片的因为CPU被存储器写入动作被占用，而采样过程中可能会有采样点的遗漏)，进而使得数据采集引入噪点(如录音中的杂音)。有些则因为存储设备工作中大量数据写入，还有些嵌入式设备电路板电子干扰等原因，存储设备并发性数据(一次写入大量的数据)，在多总线系统中总线数据传输burst冲突而降低数据传输效率降低(这个与CPU架构中涉及的仲裁器(arbitor)的仲裁原则的具体实现相关)，或者因为bandwidth的上限限制，会有机会使得数据包的传输无法实时跟上采样输出的数据流的流速率而出现数据采样不连贯(丢失部分数据)；有些电路还会因为元器件电流变化的程度和持续时间而产生不同到校的干扰，而对其采样数据引入干扰杂点等(如录音模式中的干扰噪音，拍摄模式中的噪点数据等)。

所以对于嵌入式设备而言，如果使用写入速率慢的存储设备，而又带有流媒数据的文件记录的功能(如录音功能，拍摄视频，连拍照片等需要往通用文件系统中记录流媒数据的应用，则长时间的录制写入，比起搭配快速存储设备的时候，会发现搭配使用写入速率慢的物理存储设备的系统录音，拍摄视频，连拍照片等媒流数据保存到通用文件系统中的文件中会夹杂有部分噪点数据。录音应用则可能出现背景偶发噪音，而拍照摄像则可能是部分图像数据的乱码或者缺失等。

嵌入式设备的CPU等运算能力有限，录音或者摄像的过程，并不能实时对数据流中的噪点(如录音中的杂音等)录制过程实时降噪(Noise Reduction)(如音频使用FFT变换(Fast Fourier Transform，快速傅立叶变换)把时域信号转变为频域信号进行降噪处理，如图一为Adobe Audition软件对音频文件的降噪处理参数调整界面)。此外如专门增加降噪的硬件IC芯片，又会额外增加产品成本。

如果针对写入速度慢的存储设备，如果嵌入式设备进行存储数据的时候不采用通用文件系统，而改用专用文件系统，如针对慢的设备的写入特征专门处理。如有些设备按Block写入，一次性16K大小，则保存数据写入的时候，系统优化并重新组织数据结构，而无需考虑通用文件系统的各类数据结构的存储规则(如索引表，数据节点信息的文件系统格式规则)，虽然可以对噪点的产生进行减缓。但却要针对不同的慢的存储设备每种设备都需根据该设备硬件特性做特别的优化处理(如针对Nand Flash的存储特性专门设计的专用Yaffs2文件系统)。即嵌入式设备如需要广泛支持各种慢速度的设备，则需要针对每项设备的IO操作特性分别做优化处理。而不同的架构慢写入速度的设备需要分别设计专门的文件系统，工作量庞大，而且随着新架构的写入速率慢的设备的出现，而需要被动的再为该设备写入特征专门再设计专用文件系统，修改不少代码；此外特殊文件系统保存只文件，还有一个不利之处在于不遵循通用文件系统的存储规则，保存的文件(如慢的架构的卡片)，存储下来的文件还不能直接和别的支持通用文件系统的设备进行通用。而加入文件转换的动作，不但让用户要浪费很多时间等待数据从特殊文件系统文件到标准文件系统文件格式的转换，让用户使用起来不方便。

发明内容

为了解决背景技术中所存在的技术问题，本发明提出了一种流畅保存数据到通用文件系统的嵌入式装置及方法，可让存储速度慢的设备可以正常无噪音的用于流媒数据的存储。

本发明的技术解决方案是：一种流畅保存数据到通用文件系统的方法，其特殊之处在于：所述方法包括以下步骤：

1)开始录制流媒数据；

2)流媒源进行数据采集；

3)采集的数据文件通过API传递写入物理设备数据；

4)数据拷贝至文件系统缓冲区；

5)上传文件系统并缓存管理信息；

6)判断流媒服务是否结束；

上述步骤3)数据文件写入物理设备数据时，通知缓冲区换出管理线程，进行线程调度，具体步骤是：

3.1)除IDLE线程外，是否其他所有线程都闲置挂起，若是，则进行步骤3.2)；

3.2)缓冲区换出线程挂起一段时间再启动缓冲区换写入物理存储设备；

3.3)扫描缓冲区LRU链表；

3.4)判断缓冲区是否有写入属性的数据块，若是，则进行步骤3.5)；

3.5)判断要写入的数据块大小是否大于系统限定的噪音阀值的大小；若是，则进行步骤3.6)；

3.6)将大颗粒分解成小于等于阀值颗粒大小；

3.7)将缓冲区小颗粒数据写入物理存储设备。

上述步骤3.1)若其他所有线程中有线程没有闲置挂起，则直接进行步骤3.8)缓冲区换出线程挂起，等待文件系统写入缓冲区的信号量；

上述步骤3.4)缓冲区没有写入属性的数据块，直接进行步骤3.8)；

上述步骤3.5)要写入的数据块大小小于系统限定的噪音阀值的大小，进行步骤3.7)；

上述步骤6)流媒服务没有结束，则返回步骤2)重新进行。

一种流畅保存数据到通用文件系统的嵌入式装置，其特殊之处在于：所述装置包括采集流媒数据的采集模块、将流媒数据写入的写入模块、将流媒数据进行拷贝的复制模块、缓存管理信息的缓存模块，所述采集模块、写入模块、复制模块以及缓存模块依次连接。

上述嵌入式装置还包括线程调度模块，所述线程调度模块与复制模块连接。

本发明的方法在嵌入式设备的上层应用程序并不做任何修改，而仅仅用方法修改文件系统缓冲区的换出写入物理存储设备的模块，即可让存储速度慢的设备可以正常无噪音的用于流媒数据的存储。创建一个优先级仅仅比Idle线程或进程高比其它所有线程优先级低的缓冲区换出管理线程或进程。该线程或进程用来在系统有空闲的时候，后台用来将文件系统缓冲区中有写入属性的缓冲块输出写入到物理存储设备。当然对于多进程的系统，也可以是创建单独的进程进行处理。

附图说明

图1是本发明的方法流程图；

图2是本发明的结构示意图；

具体实施方式

参见图1，本发明是一种流畅保存数据到通用文件系统的方法，包括以下步骤：

1)开始录制流媒数据；

2)流媒源进行数据采集；

3)采集的数据文件通过API传递写入物理设备数据；数据文件写入物理设备数据时，通知缓冲区换出管理线程，进行线程调度，具体步骤是：

3.1)除IDLE线程外，是否其他所有线程都闲置挂起，若是，则进行步骤3.2)；若其他所有线程中有线程没有闲置挂起，则直接进行步骤3.8)缓冲区换出线程挂起，等待文件系统写入缓冲区的信号量；

3.2)缓冲区换出线程挂起一段时间再启动缓冲区换写入物理存储设备；

3.3)扫描缓冲区LRU链表；

3.4)判断缓冲区是否有写入属性的数据块，若是，则进行步骤3.5)；若否，直接进行步骤3.8)；

3.5)判断要写入的数据块大小是否大于系统限定的噪音阀值的大小；若是，则进行步骤3.6)；要写入的数据块大小小于系统限定的噪音阀值的大小，进行步骤3.7)；

3.6)将大颗粒分解成小于等于阀值颗粒大小；

3.7)将缓冲区小颗粒数据写入物理存储设备。

4)数据拷贝至文件系统缓冲区；

5)上传文件系统并缓存管理信息；

6)判断流媒服务是否结束；若没有结束，则返回步骤2)重新进行。

本发明针对写入速度慢的存储设备(如IO Controller+raw Nand)的架构的存储器容易出现连续写入文件而导致录音或者拍摄视频图片等出现噪点，特别设计一种机制，尽量减少物理设备写入数据的覆写，并在不需要修改上层应用程序(如录音程序，拍摄视频，照相机等模块)，而在文件系统层改变缓冲区换出规则。建立一个单独的低优先级线程或进程(仅仅比Idle线程优先级高)，趁别的线程挂起(表示系统空闲)的时候，做均衡输出缓冲区数据到物理设备。并特别小块均衡输出，以避免大块数据并发写入引入噪点(噪音或者图像杂点)。

存储速度缓慢的存储设备进行操作一般都能容忍2048字节(bytes)以内的数据写入而不会对系统产生呆滞反应，当然如果以后出现的慢存储速度的设备存储速度更慢了，则可以根据情况每次写更少数据量进行存储。

虽然改大颗粒块大小以小颗粒写入，并避免连续多个小颗粒的数据连续写入这种存储速度慢的物理存储设备，而采取均匀分散的写入。并且写入过程要尽量不影响流媒采样的过程。

延迟写入：因为慢的存储设备实际物理写入数据速度慢，所以需要在缓冲区中有意做延缓写入的设计。假设某个物理存储设备数据流写入过程如下：参见表一：

表一

如果不做延迟写入，这操作写入物理设备总共需要写入

第一次：sector(2，3)(sector start＝2，sector count＝2)

第二次：sector(2，3，4)(sector start＝2，sector count＝3)

第三次：sector(4)(sector start＝4，sector count＝1)

统计三次的写入过程，我们可以统计出，参见表二：

表二

而如果延迟写入，并最后物理设备输出的时候，进行优化处理(及按照缓冲区块最后更新时间以晚更新的块覆盖早些时间更新的块，这样就可以在缓冲区中就舍弃掉早前要求写入该地址的数据，而达到避免的复写数据到物理设备的目的，当然这个延迟时间如果越长，则缓冲区的大小需求也越大，所以根据嵌入式系统可分配内存做一个均衡。一般而言延迟0.5秒-2秒，内存开销基本都是可以接受的。

假设上述例子上层AP恰好在0.5秒内有三笔数据要求写入到文件中，则采取缓冲区延迟输出到物理设备，下表中删除线标识的写入动作就可以取消不进行，而仅仅输出物理地址最后一次Cache的内容块到物理设备，参见表三：

表三

上表中有删除线标注的缓冲区块到物理设备的写入，减少了对物理设备的实际操作次数，所以特别设计缓冲区换出写入物理设备的线程在收到缓冲区有数据要求写入物理设备(磁盘)并不马上做实际数据写入动作，而延缓一段时间，以可以结构后续几次写入的动作一并进行写入物理设备的物理地址覆盖分析，同一物理设备存储地址，以最晚更新时间的缓冲区块的内容为准，而忽略前面早些时候该地址要求写入的内容，提高写入效率。

细化Cache颗粒：限定存储设备一次写入操作最大数据量，如2个Sector(1K)等，具体该值设置多大，可以取决于需要使用的存储设备的特性做相关调整。这个可以通过建立物理设备的manufacturer编号以及设备编号加以区分。小颗粒的分批输出写入到物理设备，可以有效避免并发性的噪点(噪音或者图像杂点)的引入。

均衡写入：避免突发性大块数据的写入设备，而采取系统其它线程闲置后后台按照一定的周期均衡写入到物理设备，进而达到均衡写入数据的目的，避免噪点的产生。而缓冲区数据因为有后台线程不断的换出写入到存储设备，而保持缓冲区大小只平衡或者动态相对稳定的范围内波动。

本发明的方法在文件系统缓冲区中特别添加以物理存储设备存储地址(sector start，sector count)为检索关键字的一种可以快速查找个缓冲区数据块的索引结构(如选取可以使用支持动态调整的查找树结构，如红黑树等检索树)，其中每个数据块都有要求写入物理设备的sector起始位置，以及大小，并特别记录该缓冲区数据建立的时间戳(TimeStamp).当后续如果有新的数据要求写入，则利用该检索树(以存储设备地址(sector start，sector count)为关键字进行检索。如果之前已经有数据要求写入某个sector，而在缓冲区并未被缓冲区换出管理线程换出该数据写入物理设备的期间，后续再次有数据要求写入该缓冲区，则直接利用该管理树检索到之前缓冲区该片数据，并用新的数据替换原来的改sector的数据，并将该数据快的TimeStamp进行更新。

所有的缓冲区的块，以TimeStamp为关键之，利用链表建立起LRU链表，以方便缓冲区换出管理线程能快速检索到最近更新最不活跃的数据块出来去换出写入到物理设备。而保持不断被命中(hit)的活跃数据可以保持在缓冲区并不断被更新数据内容，而让文件系统写入有尽可能快的响应速度(如文件系统数据结构中的索引表数据，如FAT中的FAT entry)，而不是FAT entry中的内容稍微变化而不断重复的让缓冲区换出管理线程多次的换出该片数据往物理设备进行复写，而减少物理设备的写入次数，减少噪点的影响。

参见图1的流程所示，本发明的具体实施方式是：当嵌入式设备开启流媒体数据的录制(如录音，拍摄视频，连续拍照等功能的使用)，录制流媒数据的应用程序会通过通用文件系统的API(如fopen，fcreate，fwrite，fputs，fputc等)接口函数将需要保存到文件中的数据传递给文件系统。文件系统创建Cache对这些数据进行保存(此时并不直接输出写入物理存储设备，而是在文件系统的缓冲区中(如内存中)，当有文件数据写入缓冲区的时候，通过线程或进程间的通讯机制，消息告之缓冲区换出管理线程有写入属性的数据进入缓冲区了。

缓冲区换出管理线程优先级设置的很低，仅高于系统Idle线程的优先级，当该线程被激活运行的时候，则意味着除Idle线程外其它线程均已经挂机，进而达到利用系统空闲时间片后来来讲文件系统缓冲区的数据进行换出写入到写入速度慢的物理设备。缓冲区换出管理线程被激活运行首先并不急于去文件系统缓冲区找需要写入的数据到物理设备，而是先做Sleep一段时间(如0.5秒)以达到“延迟写入”之目的，而让输出的过程可以利用数据块更新的时间戳(TimeStamp)做输出内容的合并调整，以避免上层应用程序因为连续小块写入数据可以有连贯性的传送给文件系统缓冲区，而让上层应用程序有快速的响应并可以在缓冲区数据块输出写入数据的时候，可以有机会重新优化组织(如连续块小颗粒组合，同地址避免多次覆写等)。

缓冲区换出管理线程在等待时间(如0.5秒)结束后，而别的线程又都挂起的时候，缓冲区换出管理线程则根据缓冲区LRU链表快速定位到最不活跃需要写入物理设备的数据块，并将给数据块按照一定的大小进行才接成多个小颗粒缓冲块，而匀速分批写入物理设备，而避免大量数据并发式的大量往物理设备些而产生干扰噪音(杂点)。

本发明的在使用写入速度慢的物理存储设备(如IO Controller+raw Nand的架构存储器替换eMMC TFlash)能确保录音，拍摄视频，连拍图片不会出现噪音和噪点。而不使用本创作只方法，而因为存储器设备写入速度慢，录音会出现周期性的小噪音，拍摄视屏和图片也会出现杂点。并创作并不需要上层应用程序做任何修改(即上层应用程序不需要关心存储设备的变化)，而减少上层应用程序修改投入的人力和时间，也无需重新实现或分配系统总线各数据传送优先级规则和设定，也无需添加任何额外的硬件芯片，即在原有的硬件上支持了对写入速度慢的设备对媒流数据的文件流畅存储，并保证了高品质的无噪点的媒流数据，并能遵循通用文件系统只存储格式，正确保存成通用文件系统下的文件，而无需做任何格式转换，就可以和别的设备或者系统进行文件分享。也不需要添加额外的硬件就避免了录音或者拍摄视频图像等出现噪音噪点。

参见图2，流畅保存数据到通用文件系统的嵌入式装置，包括采集流媒数据的采集模块1、将流媒数据写入的写入模块2、将流媒数据进行拷贝的复制模块3、缓存管理信息的缓存模块4，采集模块1、写入模块2、复制模块3以及缓存模块4依次连接。另外还包括线程调度模块5，线程调度模块5与复制模块3连接。

Claims (8)

1.一种流畅保存数据到通用文件系统的方法，其特征在于：所述方法包括以下步骤：

1)开始录制流媒数据；

2)流媒源进行数据采集；

3)采集的数据文件通过API传递写入物理设备数据；

4)数据拷贝至文件系统缓冲区；

5)上传文件系统并缓存管理信息；

6)判断流媒服务是否结束。

2.根据权利要求1所述的流畅保存数据到通用文件系统的方法，其特征在于：所述步骤3)数据文件写入物理设备数据时，通知缓冲区换出管理线程，进行线程调度，具体步骤是：

3.1)除IDLE线程外，是否其他所有线程都闲置挂起，若是，则进行步骤3.2)；

3.2)缓冲区换出线程挂起一段时间再启动缓冲区换写入物理存储设备；

3.3)扫描缓冲区LRU链表；

3.4)判断缓冲区是否有写入属性的数据块，若是，则进行步骤3.5)；

3.5)判断要写入的数据块大小是否大于系统限定的噪音阀值的大小；若是，则进行步骤3.6)；

3.6)将大颗粒分解成小于等于阀值颗粒大小；

3.7)将缓冲区小颗粒数据写入物理存储设备。

3.根据权利要求2所述的流畅保存数据到通用文件系统的方法，其特征在于：所述步骤3.1)若其他所有线程中有线程没有闲置挂起，则直接进行步骤3.8)缓冲区换出线程挂起，等待文件系统写入缓冲区的信号量。

4.根据权利要求3所述的流畅保存数据到通用文件系统的方法，其特征在于：所述步骤3.4)缓冲区没有写入属性的数据块，直接进行步骤3.8)。

5.根据权利要求4所述的流畅保存数据到通用文件系统的方法，其特征在于：所述步骤3.5)要写入的数据块大小小于系统限定的噪音阀值的大小，进行步骤3.7)。

6.根据权利要求1-5任一所述的流畅保存数据到通用文件系统的方法，其特征在于：所述步骤6)流媒服务没有结束，则返回步骤2)重新进行。

7.一种流畅保存数据到通用文件系统的嵌入式装置，其特征在于：所述装置包括采集流媒数据的采集模块、将流媒数据写入的写入模块、将流媒数据进行拷贝的复制模块、缓存管理信息的缓存模块，所述采集模块、写入模块、复制模块以及缓存模块依次连接。

8.根据权利要求7所述的流畅保存数据到通用文件系统的嵌入式装置，其特征在于：所述装置还包括线程调度模块，所述线程调度模块与复制模块连接。

Images