CN110333887B - 车载机录像模块优化系统 - Google Patents

车载机录像模块优化系统 Download PDF

Info

Publication number
CN110333887B
CN110333887B CN201910600172.5A CN201910600172A CN110333887B CN 110333887 B CN110333887 B CN 110333887B CN 201910600172 A CN201910600172 A CN 201910600172A CN 110333887 B CN110333887 B CN 110333887B
Authority
CN
China
Prior art keywords
video
module
partition
hard disk
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910600172.5A
Other languages
English (en)
Other versions
CN110333887A (zh
Inventor
郭建国
张鑫
任海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Tiamaes Technology Co ltd
Original Assignee
Zhengzhou Tiamaes Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Tiamaes Technology Co ltd filed Critical Zhengzhou Tiamaes Technology Co ltd
Priority to CN201910600172.5A priority Critical patent/CN110333887B/zh
Publication of CN110333887A publication Critical patent/CN110333887A/zh
Application granted granted Critical
Publication of CN110333887B publication Critical patent/CN110333887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明公开了一种车载机录像模块优化系统，包括录像存储模块、录像搜索模块、录像备份管理模块、录像状态机管理模块和录像运行状态模块，还包括视音频索引重建模块、SSD或HDD分区管理模块、告警上报平台模块和录像文件预分配模块；在录像存储和备份处理过程中，当索引出现问题时，通过所述视音频索引重建模块尝试重建索引来实现正常调取录像，手动触发模式选择单分区索引重建、分区文件索引重建和文件块I帧索引重建；本发明划分录像系统的层次结构和子功能模块，明确各层次间的服务接口和子模块间的接口，为编码实现、系统测试提供依据。其中录像文件预分配模块分自动触发与手动触发，设备启动，音视频模块如果检测到硬盘是新硬盘或者分区异常，则会对硬盘先执行分区操作，然后执行预分配操作。

Description

车载机录像模块优化系统
技术领域
本发明属于车辆录像模块改进技术领域，具体涉及一种车载机录像模块升级优化系统。
背景技术
目前现有公交车辆上车载录像模块功能单一或存在较多基本问题，其根本原因是录像系统的层次结构简单，缺少子模块功能或子功能模块简单，录像系统中各层间的服务接口和子模块间的接口数量没有合理优化，以及存在于各模块内业务层、存储功能层和支撑层设计不合理问题。例如表现有可移植性差导致访问接口与其它子模块耦合不成功问题，索引数据操作的频度导致运输速度慢的问题，索引数据的存储介质使用寿命短问题，存储速度慢和兼容性差的问题，单线程或多线程不能实现线程间同步问题等。另外现有视音频数据内存管理模块通常习惯直接使用new、malloc等API申请分配内存，由于申请内存块的大小不定，当频繁使用时会产生大量的内存碎片，进而降低性能。
发明内容
针对现有车载录像模块存在的功能单一、实用性差和问题多的问题，本发明提供一种车载机录像模块升级优化系统。
本发明解决其技术问题所采用的方案是：一种车载机录像模块升级优化系统，包括录像存储模块、录像搜索模块、录像备份管理模块、录像状态机管理模块和录像运行状态模块，还包括视音频索引重建模块、SSD或HDD分区管理模块、告警上报平台模块和录像文件预分配模块；在录像存储和备份处理过程中，当索引出现问题时，通过所述视音频索引重建模块尝试重建索引来实现正常调取录像，手动触发模式选择单分区索引重建、分区文件索引重建和文件块I帧索引重建，索引重建时，停止录像，硬盘挂载，重建过程有进度条显示，当文件索引和I帧索引都需要重建时，先重建I帧索引，然后重建文件索引；对SSD或HDD进行分区管理包括对整个SSD或HDD的主分区、扩展分区及在扩展分区的基础上的对逻辑分区的配置、增加或删除分区，以及删除所有分区的管理操作。SSD或HDD分区管理模块用到全局变量常驻内存，最终以静态库或动态库形式提供给其他模块调用，具有可重用性，程序执行按磁盘分区正常流程进行顺序处理；对指定分区进行FAT表的初始化和目录树的建立时，利用录像文件预分配模块在存储空间中预分配文件空间，文件在物理空间上是连续的，在FAT32文件系统的基础上，计算可用于分配数据文件的总的存储空间大小，每一个文件的大小保持一致，然后在目录空间中，把物理顺序和连续的存储空间组织成链簇，且下一个文件和上一个文件在空间上也是顺序和连续的。所述录像状态机管理模块用于管理硬盘录像的当前状态以及处理，并作出相应的状态切换。
还包括录像文件修复模块，基于预分配好的硬盘分区，若发生FAT表信息，目录树信息异常，通过该模块对该硬盘分区进行修复，重新初始化FAT表信息与目录树信息。
还包括录像配置模块：实现录像通道存储配置参数的模块化管理，驻在内存中，为整个录像功能模块的子程序，该程序是可重用的，录像功能模块的各子程序都可调用该程序，参数配置可动态实现存储启用功能，不需要再重新启动设备。
还包括视音频数据内存管理模块，直接使用new和malloc的API申请分配内存，由于申请内存块的大小不定，当频繁使用时会产生大量的内存碎片，进而降低性能，内存管理模块采用内存池机制，可解决这个问题。在程序初始化时，确定内存池总大小以及每种大小内存块的最大数目，当使用内存时，根据申请大小确定需要申请内存块的大小。
所述录像文件预分配模块分自动触发与手动触发，设备启动，音视频模块如果检测到硬盘是新硬盘或者分区异常，则会对硬盘先执行分区操作，然后执行预分配操作；为防止硬盘在格式化过程中有失败操作而引起的异常，设备启动后只执行一次自动触发，失败后上报硬盘异常；如果需要格式化硬盘，则从UI界面手动触发，手动触发后，停止录像，然后卸载硬盘，再执行分区和预分配操作。
还包括告警上报平台模块，上报存储相关告警事件给平台，然后通过平台CU的告警页面查看实时或历史告警信息，提供用户对车载机设备录像异常的排查。
告警上报平台模块包含三大部分：(1)告警事件触发：a.基本信息：线路号、车号、存储介质类型、存储介质大小和存储介质序列号，每条告警事件上报信息都包含这些基本信息；b.设备信息：acc信号、超级电容、主电源、硬盘开关锁、rtc时钟和摄像头，这些设备事件信息有变化时才上报平台；c.存储介质录像相关信息：存储介质温度、存储介质各个分区挂载状态、存储介质各个通道录像状态和存储介质分区坏块状态；(2)然后告警事件缓存循环链表管理，(3)在将告警事件处理并上报平台。
所述的录像备份管理模块具有(1)录像备份约束条件：a.可识别外围备份存储介质；b.待备份数据需要的存储空间大小，必须小于存储介质可用空间大小；c.外围存储介质的写入速度应符合高速规格存储设备，否则备份时间过长；d.按搜索结果备份数据；(2)按搜索结果备份数据：a.如果数据是连续的，则计算数据的结束位置，复制数据到外围存储介质中；b.如果数据是部分连续的，根据搜索结果的起始位置复制数据到外围存储介质中，采取每一个连续时间段生成一个文件。
所述的录像存储模块是把视音频、GPS、车辆信息数据存储于非易失性存储介质中，存储采用顺序和循环存储模式，录像数据存放于RB中，索引数据存储于IB中。录像存储模块的功能层次包括存储业务层(启动录像)、存储功能层(分区切换、录像块切换、录像存储、索引存储、录像转储)和支撑层(FAT文件系统、驱动、C库、线程库、信号量、网络库)。
所述的录像搜索模块是根据搜索条件，输出搜索结果，供本地录像查询、本地回放、录像导出、远程回放及远程资源查询使用。该程序只在需要搜索时启用，不常驻内存，为整个录像功能模块的子程序；该程序可供本地录像查询、本地录像回放、远程录像回放、远程资源查询和录像导出等模块调用，可重用；程序在执行搜索功能时是顺序执行的。
录像搜索模块的功能层次包括搜索业务层(搜索时间段和通道号)、搜索功能层(搜索时间段分割、录像块文件信息获取、分区文件信息获取、HDD各分区文件信息获取、SSD分区文件信息获取、搜索文件列表排序)和搜索支撑层(存储文件模块读写API)。
所述的录像备份管理模块用于备份客户需要的录像数据，包括备份设备类型的自动识别、硬盘数据转储到备份设备、备份设备的挂载和卸载，此模块只涉及从硬盘中导出数据到外设U-DISK类别的存储设备。
HDD的工作状态机主要包括：未准备状态、硬盘已准备状态、硬盘准备挂载状态、硬盘挂载中状态、硬盘已挂载状态、硬盘挂载失败状态、硬盘准备卸载状态、硬盘卸载中状态、硬盘卸载失败状态、录像状态、硬盘格式化中状态、索引重建预状态、索引重建中状态。
SSD的工作状态机主要包括：未准备状态、硬盘准备挂载状态、硬盘挂载中状态、硬盘已挂载状态、硬盘挂载失败状态、硬盘准备卸载状态、硬盘卸载中状态、录像状态、硬盘格式化中状态、索引重建预状态、索引重建中状态。
状态机可以高效清晰的管理硬盘录像。程序为一个独立的线程，循环检测当前硬盘状态，根据当前状态做出相应的处理，然后切换到相应的状态。
录像运行状态模块：录像运行状态中记录设备的基本信息，包括日期时间、设备运行时长、模块运行时长、车载机编号、车辆编号、车辆线路编号、温度、ACC、硬盘S.M.A.R.T、远程视频链接状态、3G/4G模块硬件识别情况、3G/4G模块驱动加载状态、3G/4G网络信号强度、3G/4G注册网络类型、PPP链路状态的接口服务。
运行状态信息包含固定信息、实时更新信息和定时记录信息，固定信息在每条记录中都会包含，实时记录信息在首条信息和变化时记录，定时记录信息在每间隔一段时间记录一次。根据信息记录等级确定不同的记录方式。
本发明上述方案总体设计车载机录像，并划分录像系统的层次结构和子功能模块，明确各层次间的服务接口和子模块间的接口，为编码实现、系统测试提供依据。其中录像文件预分配模块分自动触发与手动触发，设备启动，音视频模块如果检测到硬盘是新硬盘或者分区异常，则会对硬盘先执行分区操作，然后执行预分配操作。为防止硬盘在格式化过程中有失败操作而引起的异常，设备启动后只执行一次自动触发，失败后上报硬盘异常。如果需要格式化硬盘，可以从UI界面手动触发。手动触发后，停止录像，然后卸载硬盘，然后执行分区、预分配操作。采用预分配方案后，格式化时根据磁盘空间大小预先分配固定文件长度的所有录像文件，避免了FAT32文件系统的读写效率不高、长时间连续覆盖使用后会存在大量文件碎片等FAT文件系统的固有缺陷。
具有可移植性，可方便移植到其它平台中，通过提供访问接口与其它子模块耦合；索引数据操作的频度高，常驻内存中，仅在程序初始化和退出时，把内存中的数据同步到非易失性存储介质中，延长索引数据所在存储介质的使用寿命；HDD采用多分区顺序和循环存储，保障存储介质平均读写次数相近，以延长使用寿命；SSD采用单分区循序和循环存储，同时SSD的录像块与HDD的录像块大小保持一致，便于SSD向HDD转储；HDD和SSD录像程序具有“兼容性”，即同一存储程序可支持单分区和多分区程序，程序自动识别单或多分区存储；录像程序采用多线程并发处理，即：每一个VENC通道一个录像线程，线程间通过互斥锁实现对公共数据的互斥操作，以达到线程间的同步。
告警上报平台模块：该模块主要实现上报存储相关告警事件给平台，然后通过平台CU的告警页面查看实时或历史告警信息，方便用户对车载机设备录像异常的排查。
录像文件修复模块使录像功能模块的各子程序都可调用该程序，参数配置可动态实现存储启用功能，不需要再重新启动设备。
内存管理模块采用内存池机制，解决频繁使用时会产生大量的内存碎片进而降低性能这个问题。
通过UI界面接口，可查询选定时间段的运行状态信息。通过运行状态信息，可以了解设备的运行情况，当设备发生故障时，可以快速定位问题的原因。
附图说明
图1是程序系统的结构。
图2是存储子功能层次图。
图3是是录像监控程序流程图。
图4SSD向HDD转储录像流程图。
图5是搜索子功能层次图。
图6是搜索流程图。
图7是录像备份子功能层次图。
图8是索引重建流程。
图9是I帧索引重建流程。
图10是分区管理子功能层次图。
图11是分区格式化流程图。
图12是警告上报子功能层次图。
图13是报警模块图。
图14是预分配子功能层次图。
图15是回复子功能层次图。
图16是录像文件修复模块的流程逻辑图。
图17是配置管理子功能层次图。
图18是参数设置流程图。
图19是内存结构层次图。
图20是内存管理参差图。
图21是数据包生层流程图。
图22是状态机层次结构。
图23是HDD状态机图。
图24是SSD是状态机图。
图25是录像运行状态层次结构。
图26是图26录像运行状态流程。
具体实施方式
车载机录像模块升级优化系统的结构如图1所示包括业务层、功能层和支撑层。其中功能层包括录像存储模块、录像搜索模块、录像备份管理模块、视音频索引重建模块、SSD或HDD分区管理模块、告警上报平台模块、录像文件预分配模块、录像文件修复模块、录像配置模块、视音频数据内存管理模块、录像状态机管理模块和录像运行状态模块。
1.1录像存储模块
把视音频、GPS、车辆信息等数据，存储于非易失性存储介质中。存储采用顺序和循环存储模式，录像(原始)数据存放于RB中，索引数据存储于IB中。该模块的存储子功能层次详见图2所示。录像监控程序流程如图3所示。
1)录像存储特点
(1)具有可移植性，可方便移植到其它平台中，通过提供访问接口与其它子模块耦合；
(2)索引数据操作的频度高，常驻内存中，仅在程序初始化和退出时，把内存中的数据同步到(HDD、SSD)非易失性存储介质中，延长索引数据所在存储介质的使用寿命；
(3)HDD采用多分区顺序和循环存储，保障存储介质平均读写次数相近，以延长使用寿命；
(4)SSD采用单分区循序和循环存储，同时SSD的录像块与HDD的录像块大小保持一致，便于SSD向HDD转储；
(5)HDD和SSD录像程序具有“兼容性”，即同一存储程序可支持单分区和多分区程序，程序自动识别单或多分区存储；
(6)录像程序采用多线程并发处理，即：每一个VENC通道一个录像线程，线程间通过互斥锁实现对公共数据的互斥操作，以达到线程间的同步。
切换分区流程：同步分区数据流程；切换当前分区到下一分区流程。分配录像块流程：获取可用录像块流程；写视音频等数据到存储介质流程。
SSD向HDD转储录像线程流程：在SSD+HDD混合录像的模式下，SSD是缓存设备，HDD是最终存储设备，程序正常运行时，在SSD中缓存录像，满足SSD向HDD转储录像的条件时，转储数据至HDD中长期保存(长期：依据HDD存储空间的大小确定)，图4描述SSD向HDD转储的流程。
录像文件系统接口中RB和IB的接口，用于存取数据时，与录像文件系统(此文件系统是建立在FAT的基础上的)的管理和数据存储相关，录像文件系统的存储位置对外不开放。
FS_RB_Open
Figure GDA0004010211220000061
FS_RB_Close
Figure GDA0004010211220000062
FS_IB_Open
Figure GDA0004010211220000063
FS_IB_Close
Figure GDA0004010211220000064
Figure GDA0004010211220000071
1.2录像搜索模块
根据搜索条件，输出搜索结果，供本地录像查询、本地回放、录像导出、远程回放及远程资源查询使用。该程序只在需要搜索时启用，不常驻内存，为整个录像功能模块的子程序；该程序可供本地录像查询、本地录像回放、远程录像回放、远程资源查询和录像导出等模块调用，可重用；程序在执行搜索功能时是顺序执行的。搜索子功能层次描述详见图5所示：
搜索流程如图6所示。录像搜索时，HDD全部分区搜索或当前分区固定搜索,其他分区判断录像时间。
根据输入的搜索时间段，输出SSD和HDD中需要搜索的时间段和SSD录像匹配情况：
Figure GDA0004010211220000072
读取SSD中录像开始和结束时间；
Figure GDA0004010211220000073
搜索开始时间大于录像结束时间或搜索结束时间小于录像开始时间，“SSD未覆盖搜索时间段”；HHD中录像搜索时间同搜索条件中时间；
Figure GDA0004010211220000074
搜索开始时间大于录像开始时间且搜索结束时间小于录像结束时间，“SSD全覆盖搜索时间段”；SSD中录像搜索时间同搜索条件中时间；
Figure GDA0004010211220000075
搜索开始时间大于录像开始时间且搜索结束时间大于录像结束时间，“SSD全覆盖搜索时间段头部”；按覆盖时间划分SSD和HDD中的搜索开始和结束时间；
Figure GDA0004010211220000076
搜索开始时间小于录像开始时间且搜索结束时间小于录像结束时间，“SSD全覆盖搜索时间段尾部”；按覆盖时间划分SSD和HDD中的搜索开始和结束时间；
Figure GDA0004010211220000077
搜索开始时间小于录像开始时间且搜索结束时间大于录像结束时间，“SSD全覆盖搜索时间段中间部分”；按覆盖时间划分SSD和HDD中的搜索开始和结束时间。
根据录像存储模式判断当前为HDD存储或HDD+SSD存储，作为是否搜索SSD的条件：
Figure GDA0004010211220000078
若为HDD+SSD存储，则判断搜索时间段在SSD上的覆盖情况。覆盖情况有：SSD未覆盖搜索时间段，SSD全覆盖搜索时间段，SSD覆盖搜索时间段头部，SSD覆盖搜索时间段尾部，SSD覆盖搜索时间段中间部分；
Figure GDA0004010211220000079
SSD未覆盖搜索时间段，搜索HDD中的文件；
Figure GDA00040102112200000710
SSD全覆盖搜索时间段，搜索SSD中的文件；
Figure GDA00040102112200000711
SSD覆盖搜索时间段头部或SSD覆盖搜索时间段尾部，搜索HDD和SSD中的文件；
Figure GDA00040102112200000712
SSD覆盖搜索时间段中间部分，搜索HDD和SSD中的文件
若为HDD存储，默认按照“SSD未覆盖搜索时间段”处理；根据判断结果搜索文件。
根据分区ID分区SSD和HDD：读取匹配搜索时间段的单个通道的录像文件信息：
Figure GDA0004010211220000081
输入分区编号为APP_DISK_PART_NUM，表示搜索分区为SSD；
Figure GDA0004010211220000082
打开分区索引文件，读取分区中对应通道的所有索引文件；
Figure GDA0004010211220000083
循环读取到的索引文件，判断每一条索引文件；
Figure GDA0004010211220000084
搜索时间段内的文件，根据搜索开始和结束时间确定对应文件有效索引开始和结束位置，开始和结束时间等信息(搜索文件列表数据结构中的信息)；
Figure GDA0004010211220000085
搜索开始时间大于索引文件开时间且搜索结束时间小于索引文件结束时间，则搜索时间段在数据块内，打开数据块I帧索引，确定文件列表信息；
Figure GDA0004010211220000086
搜索开时间大于索引文件开是时间，则搜索时间头部在数据块上，打开数据块I帧索引和数据块头部信息，确定文件列表信息；
Figure GDA0004010211220000087
搜索结束时间小于索引文件结束时间，则搜索时间尾部在数据块上，打开数据块I帧索引和数据块头部信息，确定文件列表信息。
其他情况下，搜索文件跨数据块，通过数据块头部信息确定文件列表信息。
1.3录像备份管理模块
该模块功能主要是备份客户需要的录像数据，包括备份设备类型的自动识别、硬盘数据转储到备份设备、备份设备的挂载和卸载。此模块只涉及从硬盘中导出数据到外设U-DISK类别的存储设备。该模块功能层次如图7所示。
该模块功能特点：
1、录像备份约束条件：
1.1可识别外围备份存储介质；
1.2待备份数据需要的存储空间大小，必须小于存储介质可用空间大小；
1.3外围存储介质的写入速度应符合高速规格存储设备，否则备份时间过长；
1.4按搜索结果备份数据。
2、按搜索结果备份数据：
2.1如果数据是连续的，则计算数据的结束位置，复制数据到外围存储介质中；
2.2如果数据是部分连续的，根据搜索结果的起始位置复制数据到外围存储介质中，采取每一个连续时间段生成一个文件。
3、备份的数据在外围存储设备的存储类型描述如下：
3.2H.264原始数据文件存储；
3.2TMM文件存储；(支持天迈播放器)。
1.4视音频索引重建模块
当索引出现问题时，为了正常调取录像，可以尝试重建索引。该功能为手动触发模式，可选择单分区索引重建、分区文件索引重建、文件块I帧索引重建。索引重建时，停止录像，硬盘挂载，重建过程有进度条显示(0％-100％)。索引重建过程中，不可再次触发该功能。文件索引和I帧索引都需要重建时，先重建I帧索引，然后重建文件索引。索引重建流程如图8所示。I帧索引重建如图9所示。
1.5SSD或HDD分区管理模块
功能简述：本程序主要实现对SSD或HDD进行分区管理，包括对整个SSD或HDD的主分区、扩展分区及在扩展分区的基础上的对逻辑分区的配置、增加或删除分区，以及删除所有分区的管理操作。功能特点：该程序用到全局变量(eg:磁盘信息、分区个数等)是常驻内存，该程序最终以静态库或动态库形式提供给其他模块调用，具有可重用性，程序执行按磁盘分区正常流程进行顺序处理。功能层次如图10所示。流程逻辑如图11所示。
1.6告警上报平台模块
该模块主要实现上报存储相关告警事件给平台，然后通过平台CU的告警页面查看实时或历史告警信息，方便用户对车载机设备录像异常的排查。功能层次如图12所示。流程逻辑如图13所示。
该模块功能主要包含三大部分：
1、告警事件触发。
1)基本信息：线路号、车号、存储介质类型、存储介质大小、存储介质序列号，每条告警事件上报信息都包含这些基本信息。
2)设备信息：acc信号、超级电容、主电源、硬盘开关锁、rtc时钟、摄像头，这些设备事件信息有变化时才上报平台。
3)存储介质录像相关信息：存储介质温度、存储介质各个分区挂载状态、存储介质各个通道录像状态、存储介质分区坏块状态。
2、告警事件缓存循环链表管理。
3、告警事件处理并上报平台。
1.7录像文件预分配模块
对指定分区进行FAT表的初始化和目录树的建立。在存储空间中预分配文件空间，文件在物理空间上是连续的。在FAT32文件系统的基础上，计算可用于分配数据文件的总的存储空间大小，每一个文件的大小保持一致，然后在目录空间中，把物理顺序和连续的存储空间组织成链簇，且下一个文件和上一个文件在空间上也是顺序和连续的。可配置预置文件的大小和配置每个文件是否初始化。
该功能分自动触发与手动触发。设备启动，音视频模块如果检测到硬盘是新硬盘或者分区异常，则会对硬盘先执行分区操作，然后执行预分配操作。为防止硬盘在格式化过程中有失败操作而引起的异常，设备启动后只执行一次自动触发，失败后上报硬盘异常。如果需要格式化硬盘，可以从UI界面手动触发。手动触发后，停止录像，然后卸载硬盘，然后执行分区、预分配操作。
预分配的FAT32文件系统，可以被Windows等多数系统所直接识别，采用预分配方案后，格式化时根据磁盘空间大小预先分配固定文件长度的所有录像文件，避免了FAT32文件系统的读写效率不高、长时间连续覆盖使用后会存在大量文件碎片等FAT文件系统的固有缺陷。该模块的功能层次如图14所示。
1.8录像文件修复模块
基于预分配好的硬盘分区，若发生FAT表信息，目录树信息异常，可对该硬盘分区进行修复，重新初始化FAT表信息与目录树信息。其功能层次如图15所示，流程逻辑如图16所示。
1.9录像配置模块
设置该程序的意义在于实现录像通道存储配置参数的模块化管理。
该程序常驻在内存中；为整个录像功能模块的子程序，该程序是可重用的，录像功能模块的各子程序都可调用该程序，参数配置可动态实现存储启用功能，不需要再重新启动设备。
配置管理子功能层次，层次描述，详见图17所示。参数设置流程如图18所示。
1.10视音频数据内存管理模块
通常习惯直接使用new、malloc等API申请分配内存，由于申请内存块的大小不定，当频繁使用时会产生大量的内存碎片，进而降低性能。内存管理模块采用内存池机制，可解决这个问题。
在程序初始化时，确定内存池总大小以及每种大小内存块的最大数目。当使用内存时，根据申请大小确定需要申请内存块的大小。该模块的功能层次如图19所示，内存池如图20所示。数据包生成流程如图21所示。
1.11录像状态机管理模块
用于管理硬盘录像的当前状态以及处理，并作出相应的状态切换。HDD的工作状态机主要包括：未准备状态、硬盘已准备状态、硬盘准备挂载状态、硬盘挂载中状态、硬盘已挂载状态、硬盘挂载失败状态、硬盘准备卸载状态、硬盘卸载中状态、硬盘卸载失败状态、录像状态、硬盘格式化中状态、索引重建预状态、索引重建中状态。
SSD的工作状态机主要包括：未准备状态、硬盘准备挂载状态、硬盘挂载中状态、硬盘已挂载状态、硬盘挂载失败状态、硬盘准备卸载状态、硬盘卸载中状态、录像状态、硬盘格式化中状态、索引重建预状态、索引重建中状态。
状态机可以高效清晰的管理硬盘录像。程序为一个独立的线程，循环检测当前硬盘状态，根据当前状态做出相应的处理，然后切换到相应的状态。
该模块功能层次如图22所示，HDD状态图如图23所示，SSD状态如图24所示。进入预挂载处理状态，如果硬盘锁关闭，则给硬盘上电，如果检测不到硬盘节点，而且设备不在格式化状态，则保持目前状态；如果检测不到硬盘节点，而且硬盘正在格式化中，则跳转到准备挂载状态；如果检测到硬盘节点，则跳转到准备挂载状态。进入挂载中处理状态，挂载硬盘，如果挂载成功，则跳转到挂载成功状态，且挂载失败次数清0；如果挂载失败，则跳转到挂载失败状态，且挂载失败次加1。进挂载成功处理该状态，如果录像条件正常，则跳转到录像状态；如果录像条件异常，则跳转到卸载中状态。进挂载失败处理该状态，如果失败次数超过3次或者录像条件异常，跳转到卸载中状态；否则，跳转到准备挂载状态。进入准备卸载处理状态，判断全部录像相关事件是否结束，如果结束，跳转到卸载中状态；否则，状态不变。进卸载中处理该状态，同步数据，然后卸载硬盘，如果卸载失败3次，则跳转到卸载失败状态。然后判断当前状态是否在格式化，如果在格式化，则跳转到格式化状态；否则给硬盘下电，检测硬盘设备节点，当节点不存在，则卸载成功，跳转到未准备状态。进卸载失败处理该状态，卸载失败超过3次，强制卸载。跳转到未准备状态。进录像中处理该状态，检测录像条件是否异常，检测硬盘设备节点是否异常，如果有异常，跳转到准备卸载状态。进格式化预处理该状态，判断录像条件是否正常。进格式化中处理该状态，循环检测是否格式化完成，检测到格式化完成后跳转到准备挂载状态。进索引重建预处理该状态，如果录像相关事件都已结束，录像已停止，跳转索引重建中状态。设备初始化之后，首先进入未准备状态。当录像前提条件(主电上电)满足时，执行Ssd卸载操作，跳转到准备挂载状态。进预挂载处理该状态，循环检测设备节点，检测之后，如果录像开启条件出现异常，则跳转到未准备状态，然后跳出循环；如果录像开启条件正常，且检测到硬盘设备节点，则跳转到挂载中状态，否则每200ms继续循环检测硬盘节点。进挂载中处理该状态，挂载硬盘，如果挂载成功，则跳转到挂载成功状态，且挂载失败次数清0；如果挂载失败，则跳转到挂载失败状态，且挂载失败次加1。进挂载成功处理该状态，如果录像条件正常，则跳转到录像状态；如果录像条件异常，则跳转到卸载中状态。进挂载失败处理该状态，如果失败次数超过3次或者录像条件异常，跳转到卸载中状态；否则，跳转到准备挂载状态。进准备卸载处理该状态，判断全部录像相关事件是否结束，如果结束，跳转到卸载中状态；否则，状态不变。进卸载中处理该状态，同步数据，然后卸载硬盘，如果卸载失败3次，则强制卸载。然后判断当前状态是否在格式化，如果在格式化，则跳转到格式化状态；否则跳转到未准备状态。进索引重建预处理该状态，如果录像相关事件都已结束，录像已停止，跳转索引重建中状态。
1.12录像运行状态模块
录像运行状态中记录设备的基本信息，包括日期时间、设备运行时长、模块运行时长、车载机编号、车辆编号、车辆线路编号、温度、ACC、硬盘S.M.A.R.T、远程视频链接状态、3G/4G模块硬件识别情况、3G/4G模块驱动加载状态、3G/4G网络信号强度、3G/4G注册网络类型、PPP链路状态的接口服务等。
运行状态信息包含固定信息、实时更新信息和定时记录信息，固定信息在每条记录中都会包含，实时记录信息在首条信息和变化时记录，定时记录信息在每间隔一段时间记录一次。根据信息记录等级确定不同的记录方式。
运行状态信息本地存储最大记录10240条，条目循环覆盖。基本可记录一个月的设备运行状况。通过UI界面接口，可查询选定时间段的运行状态信息。通过运行状态信息，可以了解设备的运行情况，当设备发生故障时，可以快速定位问题的原因。该模块的录像运行状态层次结构如图25所示，录像运行状态流程如图26所示。

Claims (10)

1.一种车载机录像模块优化系统，包括录像存储模块、录像搜索模块、录像备份管理模块、录像状态机管理模块和录像运行状态模块，其特征在于：还包括视音频索引重建模块、SSD或HDD分区管理模块、告警上报平台模块和录像文件预分配模块；在录像存储和备份处理过程中，当索引出现问题时，通过所述视音频索引重建模块尝试重建索引来实现正常调取录像，手动触发模式选择单分区索引重建、分区文件索引重建和文件块I帧索引重建，索引重建时，停止录像，硬盘挂载，重建过程有进度条显示，当文件索引和I帧索引都需要重建时，先重建I帧索引，然后重建文件索引；对SSD或HDD进行分区管理包括对整个SSD或HDD的主分区、扩展分区及在扩展分区的基础上的对逻辑分区的配置、增加或删除分区，以及删除所有分区的管理操作；SSD或HDD分区管理模块用到全局变量常驻内存，最终以静态库或动态库形式提供给其他模块调用，具有可重用性，程序执行按磁盘分区正常流程进行顺序处理；对指定分区进行FAT表的初始化和目录树的建立时，利用录像文件预分配模块在存储空间中预分配文件空间，文件在物理空间上是连续的，在FAT32文件系统的基础上，计算可用于分配数据文件的总的存储空间大小，每一个文件的大小保持一致，然后在目录空间中，把物理顺序和连续的存储空间组织成链簇，且下一个文件和上一个文件在空间上也是顺序和连续的；所述录像状态机管理模块用于管理硬盘录像的当前状态以及处理，并作出相应的状态切换；视音频数据内存管理模块采用内存池机制，在程序初始化时，确定内存池总大小以及每种大小内存块的最大数目，当使用内存时，根据申请大小确定需要申请内存块的大小。
2.根据权利要求1所述的车载机录像模块优化系统，其特征在于：还包括录像文件修复模块，基于预分配好的硬盘分区，若发生FAT表信息，目录树信息异常，通过该模块对该硬盘分区进行修复，重新初始化FAT表信息与目录树信息。
3.根据权利要求1所述的车载机录像模块优化系统，其特征在于：还包括录像配置模块：实现录像通道存储配置参数的模块化管理，驻在内存中，为整个录像功能模块的子程序，该程序是可重用的，录像功能模块的各子程序都可调用该程序，参数配置可动态实现存储启用功能，不需要再重新启动设备。
4.根据权利要求1所述的车载机录像模块优化系统，其特征在于：所述录像文件预分配模块分自动触发与手动触发，设备启动，音视频模块如果检测到硬盘是新硬盘或者分区异常，则会对硬盘先执行分区操作，然后执行预分配操作；为防止硬盘在格式化过程中有失败操作而引起的异常，设备启动后只执行一次自动触发，失败后上报硬盘异常；如果需要格式化硬盘，则从UI界面手动触发，手动触发后，停止录像，然后卸载硬盘，再执行分区和预分配操作。
5.根据权利要求1所述的车载机录像模块优化系统，其特征在于：还包括告警上报平台模块，上报存储相关告警事件给平台，然后通过平台CU的告警页面查看实时或历史告警信息，提供用户对车载机设备录像异常的排查。
6.根据权利要求5所述的车载机录像模块优化系统，其特征在于：告警上报平台模块包含三大部分：（1）告警事件触发：a.基本信息：线路号、车号、存储介质类型、存储介质大小和存储介质序列号，每条告警事件上报信息都包含这些基本信息；b.设备信息：acc信号、超级电容、主电源、硬盘开关锁、rtc时钟和摄像头，这些设备事件信息有变化时才上报平台；c.存储介质录像相关信息：存储介质温度、存储介质各个分区挂载状态、存储介质各个通道录像状态和存储介质分区坏块状态；（2）然后告警事件缓存循环链表管理，（3）在将告警事件处理并上报平台。
7.根据权利要求1所述的车载机录像模块优化系统，其特征在于：所述的录像备份管理模块具有（1）录像备份约束条件：a.可识别外围备份存储介质；b.待备份数据需要的存储空间大小，必须小于存储介质可用空间大小；c.外围存储介质的写入速度应符合高速规格存储设备，否则备份时间过长；d.按搜索结果备份数据；（2）按搜索结果备份数据：a.如果数据是连续的，则计算数据的结束位置，复制数据到外围存储介质中；b.如果数据是部分连续的，根据搜索结果的起始位置复制数据到外围存储介质中，采取每一个连续时间段生成一个文件。
8.根据权利要求1所述的车载机录像模块优化系统，其特征在于：所述的录像存储模块是把视音频、GPS、车辆信息数据存储于非易失性存储介质中，存储采用顺序和循环存储模式，录像数据存放于RB中，索引数据存储于IB中。
9.根据权利要求1所述的车载机录像模块优化系统，其特征在于：所述的录像搜索模块是根据搜索条件，输出搜索结果，供本地录像查询、本地回放、录像导出、远程回放及远程资源查询使用。
10.根据权利要求1所述的车载机录像模块优化系统，其特征在于：所述的录像备份管理模块用于备份客户需要的录像数据，包括备份设备类型的自动识别、硬盘数据转储到备份设备、备份设备的挂载和卸载，此模块只涉及从硬盘中导出数据到外设U-DISK类别的存储设备。
CN201910600172.5A 2019-07-04 2019-07-04 车载机录像模块优化系统 Active CN110333887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910600172.5A CN110333887B (zh) 2019-07-04 2019-07-04 车载机录像模块优化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910600172.5A CN110333887B (zh) 2019-07-04 2019-07-04 车载机录像模块优化系统

Publications (2)

Publication Number Publication Date
CN110333887A CN110333887A (zh) 2019-10-15
CN110333887B true CN110333887B (zh) 2023-04-14

Family

ID=68143077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910600172.5A Active CN110333887B (zh) 2019-07-04 2019-07-04 车载机录像模块优化系统

Country Status (1)

Country Link
CN (1) CN110333887B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346663B (zh) * 2020-11-26 2022-10-11 上海天旦网络科技发展有限公司 多分区轮转的数据写入与清除方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729529A (zh) * 2009-11-10 2010-06-09 中兴通讯股份有限公司 一种实时流文件存储装置及方法
CN104268088A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 车载dvr硬盘数据存储方法
CN104504349A (zh) * 2014-12-19 2015-04-08 武汉长江通信智联技术有限公司 一种录像数据安全存储装置及方法
CN105653385A (zh) * 2015-12-31 2016-06-08 深圳市蓝泰源信息技术股份有限公司 一种车载录像方法
CN106161658A (zh) * 2016-09-27 2016-11-23 湖南纽思曼存储科技有限公司 一种云存储智能相册移动终端、云服务器、移动移动终端
US10031811B1 (en) * 2011-11-01 2018-07-24 Veritas Technologies Llc Systems and methods for enhancing electronic discovery searches

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729529A (zh) * 2009-11-10 2010-06-09 中兴通讯股份有限公司 一种实时流文件存储装置及方法
US10031811B1 (en) * 2011-11-01 2018-07-24 Veritas Technologies Llc Systems and methods for enhancing electronic discovery searches
CN104268088A (zh) * 2014-09-15 2015-01-07 郑州天迈科技股份有限公司 车载dvr硬盘数据存储方法
CN104504349A (zh) * 2014-12-19 2015-04-08 武汉长江通信智联技术有限公司 一种录像数据安全存储装置及方法
CN105653385A (zh) * 2015-12-31 2016-06-08 深圳市蓝泰源信息技术股份有限公司 一种车载录像方法
CN106161658A (zh) * 2016-09-27 2016-11-23 湖南纽思曼存储科技有限公司 一种云存储智能相册移动终端、云服务器、移动移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Differentiated space allocation for wear leveling on phase-change memory-based storage device;Soojun Im 等;《IEEE Transactions on Consumer Electronics》;20141231;第43-51页 *
基于嵌入式系统的一体化车载终端;沈渊;《城市公用事业》;20121231;第21-24、52页 *

Also Published As

Publication number Publication date
CN110333887A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
US7185028B2 (en) Data files systems with hierarchical ranking for different activity groups
JP4324616B2 (ja) ストレージシステムにおけるデータ処理方法
US5247660A (en) Method of virtual memory storage allocation with dynamic adjustment
DE69312781T2 (de) Verfahren und System zum Seitendatei Statusabrufen in einem Nullzeittyp Sicherungskopieprozess
US5535381A (en) Apparatus and method for copying and restoring disk files
CN1331063C (zh) 基于数据卷快照的在线数据备份方法
KR950006173B1 (ko) 온라인 데이터베이스시스템의 동적화일확장방법 및 시스템
CN101470645B (zh) 一种高速缓存数据恢复的方法和装置
CN108932295A (zh) 主数据库切换控制方法、装置、计算机设备和存储介质
CN107608826A (zh) 一种存储集群的节点的故障恢复方法、装置及介质
CN112307263B (zh) 一种文件存储方法、装置、设备及介质
CN111797058B (zh) 一种通用文件系统及文件管理的方法
CN103729262A (zh) 操作系统热备份方法、装置及文件系统重构方法
CN107066349A (zh) 一种集群文件系统数据保护的方法及系统
US6629203B1 (en) Alternating shadow directories in pairs of storage spaces for data storage
CN110333887B (zh) 车载机录像模块优化系统
CN102736864B (zh) 一种硬盘格式化的方法及装置
CN111857581A (zh) 一种数据存储的处理方法及系统
CN109407971B (zh) 升级磁盘锁的方法及装置
US7970736B2 (en) System, method and computer program product for storing transient state information
CN104636218B (zh) 数据恢复方法及装置
US6286113B1 (en) Method of making protected changes to data stored in a database, as well as database system and network element equipped therewith
CN105744200B (zh) 视频监控录像的存储方法及装置
CN105005517A (zh) 呼叫中心录音文件的存储备份系统及方法
US20230237020A1 (en) Container-based erasure coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant