CN113065998A - 一种超高速实时图像存储方法、系统及计算机设备 - Google Patents

Abstract

本发明公开了一种超高速实时图像存储方法、系统及计算机设备，该系统包括：图像获取模块，用于采集超高速实时图像数据；数据处理模块，与图像获取模块连接，用于基于超高速缓冲队列将超高速实时图像数据进行拆分，发送至数据缓冲模块，并根据预设多路并发机制将缓冲队列数据发送出去；数据缓冲模块，与数据处理模块连接，用于缓存超高速缓冲队列数据；磁盘阵列，与数据处理模块连接，用于存储超高速缓冲队列数据。该系统对于接收的超高速实时图像数据，可以通过多路同时进行存储，图像无需压缩，可实现超高速实时图像数据的高速、无损存储，可以存储高速相机的原始数据。

Description

一种超高速实时图像存储方法、系统及计算机设备

技术领域

本发明涉及数据存储技术领域，具体涉及一种超高速实时图像存储方法、系统及计算机设备。

背景技术

目前高端工业及科研领域极度欠缺合适的高速存储软硬件架构。现有市面上的消费级存储产品难以满足高端工业、科研等领域的存储速度要求，已有的工业级存储产品，由于现在的高速相机的原始图像数据太大，而工业级存储产品的存储速度有限，因此存储的数据非常少，无法存储原始图像数据。

发明内容

有鉴于此，为了克服现有技术中工业级存储产品无法存储高速相机的原始图像数据的问题的缺陷，本发明实施例提供了一种超高速实时图像存储方法、系统及计算机设备。

根据第一方面，本发明实施例提供了一种超高速实时图像存储系统，包括：图像获取模块，用于采集超高速实时图像数据；数据处理模块，与图像获取模块连接，用于基于超高速缓冲队列将超高速实时图像数据进行拆分，发送至数据缓冲模块，并根据预设多路并发机制将缓冲队列数据发送出去；数据缓冲模块，与数据处理模块连接，用于缓存超高速缓冲队列数据；磁盘阵列，与数据处理模块连接，用于存储超高速缓冲队列数据。

可选地，超高速实时图像存储系统还包括：多个图像处理模块，各图像处理模块包括多个图形处理器，各图形处理器分别与图像获取模块连接，多个图像处理模块用于并行地对超高速实时图像数据进行处理；显示模块，与多个图形处理器分别连接，用于实时显示处理后的超高速实时图像数据。

可选地，超高速实时图像存储系统还包括：数据回放模块，分别与磁盘阵列及多个图像处理模块连接，用于接收超高速实时图像数据的回放指令，根据指令读取磁盘阵列中的超高速实时图像数据，并发送给多个图像处理模块。

可选地，超高速实时图像存储系统还包括：数据导出模块，与磁盘阵列连接，用于接收超高速实时图像数据的导出指令，根据指令导出磁盘阵列中的超高速实时图像数据。

可选地，磁盘阵列包括：机械硬件或固态硬盘。

根据第二方面，本发明实施例提供了一种超高速实时图像存储方法，包括：获取超高速实时图像数据；将超高速实时图像数据进行拆分，形成超高速缓冲队列数据；根据预设多路并发机制将缓冲队列数据发送至预设存储地址。

可选地，超高速实时图像存储方法还包括：获取数据回放指令；根据数据回放指令获取预设存储地址中的超高速实时图像数据，并将超高速实时图像数据发送至多个图像处理模块。

可选地，超高速实时图像存储方法还包括：获取数据导出指令；根据数据导出指令将预设存储地址中的超高速实时图像数据导出。

根据第三方面，本发明实施例提供了一种计算机设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行如第二方面或第二方面任意实施方式中的超高速实时图像存储方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如第二方面或第二方面任意实施方式中的超高速实时图像存储方法。

本发明实施例提供的超高速实时图像存储方法、系统及计算机设备，由于数据处理模块可基于超高速缓冲队列将超高速实时图像数据进行拆分，发送至数据缓冲模块，并根据预设多路并发机制将缓冲队列数据发送出去，磁盘阵列，与数据处理模块连接，用于存储超高速缓冲队列数据，从而对于接收的超高速实时图像数据，可以通过多路同时进行存储，图像无需压缩，实现超高速实时图像数据的高速、无损存储，可以存储高速相机的原始数据；并且该超高速实时图像存储系统，可接入超高速带宽，可轻松扩展磁盘阵列的存储带宽及容量，可动态配置软件、硬件的系统架构，而无需更换软件，磁盘阵列可整体迁移至其他计算机进行数据查询及导出，支持多种通用导出格式，是一种松耦合的软硬件架构系统，方便更替升级的软硬件组件。经测试，该超高速实时图像存储系统，已实测的存储速度可达到10GB/s(单PCIE通道)，通过扩展可接入市面上所有规格的高速相机。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例的超高速实时图像存储系统的结构框图；

图2示出了本发明实施例的另一超高速实时图像存储系统的结构框图；

图3示出了本发明实施例的超高速实时图像数据的数据流图；

图4示出了本发明实施例的另一超高速实时图像存储系统的结构图；

图5示出了本发明实施例的超高速实时图像存储方法的流程示意图；

图6示出了本发明实施例的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种超高速实时图像存储系统，如图1所示，包括：图像获取模块11，用于采集超高速实时图像数据；数据处理模块12，与图像获取模块连接，用于基于超高速缓冲队列将超高速实时图像数据进行拆分，发送至数据缓冲模块13，并根据预设多路并发机制将缓冲队列数据发送出去；数据缓冲模块13，与数据处理模块12连接，用于缓存超高速缓冲队列数据；磁盘阵列14，与数据处理模块12连接，用于存储超高速缓冲队列数据。

具体地，该超高速实时图像存储系统采用软件硬件结合的架构方式搭建存储系统，在超高速实时图像存储系统架构允许的条件下，理论上可无限扩展存储带宽及容量。软件的核心组件，采用了基于内存的超高速缓冲队列对超高速实时图像数据做缓冲，以应对突发的磁盘阵列掉速问题，及维持稳态的持续写入速度。缓冲队列的大小及并发机制均可通过用户修改配置文件，以适配当前超高速实时图像存储系统的内存(数据缓冲模块13)大小及数据处理模块12的性能。硬件的核心组件是配置了并发的磁盘阵列14。

数据处理模块12可以是中央处理器(CPU)，在数据处理模块12支持及扩展槽位允许的情况下，可复制扩展组建多套磁盘阵列14，或将原存储装置扩容、升级为更高性能替换品，而无需更改软件源码，只需针对配置文件做对应配套修改或用户区参数切换。

系统对磁盘阵列14的硬件材质不做限定，可兼容市面上所有各规格的存储装置。可通过测速软件评估磁盘阵列14所能达到的存储性能。磁盘阵列均为可替换的单磁盘组件组合构成，物理组成上方便替换，磁盘阵列的接口可以为PCI－E标准接口，从而可整体拆卸至另外的计算机进行数据查询、回放等。

在超高速相机采集带宽的情况下，单个磁盘阵列14无法满足存储带宽要求时，可通过扩展多个同类型的磁盘阵列来实现多路并发拆分存储，进而实现存储带宽及容量的二次扩容。

本发明实施例提供的超高速实时图像存储系统，由于数据处理模块可基于超高速缓冲队列将超高速实时图像数据进行拆分，发送至数据缓冲模块，并根据预设多路并发机制将缓冲队列数据发送出去，磁盘阵列，与数据处理模块连接，用于存储超高速缓冲队列数据，从而对于接收的超高速实时图像数据，可以通过多路同时进行存储，图像无需压缩，实现超高速实时图像数据的高速、无损存储，可以存储高速相机的原始数据；并且该超高速实时图像存储系统，可接入超高速带宽，可轻松扩展磁盘阵列的存储带宽及容量，可动态配置软件、硬件的系统架构，而无需更换软件，磁盘阵列可整体迁移至其他计算机进行数据查询及导出，支持多种通用导出格式，是一种松耦合的软硬件架构系统，方便更替升级的软硬件组件。经测试，该超高速实时图像存储系统，已实测的存储速度可达到10GB/s(单高速串行计算机扩展总线标准(PCIE)通道)，通过扩展可接入市面上所有规格的高速相机。

在可选的实施例中，如图2所示，超高速实时图像存储系统还包括：多个图像处理模块15，各图像处理模块15包括多个图形处理器151，各图形处理器151分别与图像获取模块11连接，多个图像处理模块15用于并行地对超高速实时图像数据进行处理；显示模块16，与多个图形处理器151分别连接，用于实时显示处理后的超高速实时图像数据。

具体地，一般在计算机上，多数成熟图像处理算法需要消耗大量的中央处理器(CPU)资源以达到较高的图像处理质量，在CPU上使用并行加速方法，虽然能减少算法运行的时间，但同时是以牺牲其它线程/进程的优先级，抢占CPU资源实现的。在CPU端进行高速高质量的图像处理，必然会对高速的图像存储线程产生冲击及干扰，进而导致存储丢帧、显示卡顿等衍生问题。

在本发明实施例中，图形处理器可以为GPU，采用GPU架构进行图像并行处理，可以避免上述矛盾点。

高速相机图像数据格式为二维像素阵列，天然适合采用并行方式进行图像加速处理。如图3所示，在GPU端，可以使用多并发+核函数的方式来并发对每个像素点进行同一流程操作，例如，对于图像处理模块0可以配置用于对超高速实时图像数据进行平场校正，图像处理模块1可以配置用于对超高速实时图像数据进行坏点去除等，而在每个图像处理模块中，可以通过多块GPU并行处理。因此GPU端图像处理的执行时间≈CPU端图像处理的执行时间/并发的线程数；且GPU代码运行独立于CPU外，不会占用CPU资源影响到高速图像的存储，整个系统可保证极高的稳定性及超低延时的实时图像播放。并且，当单块GPU进行图像处理性能不足时，可扩展多块GPU卡进行性能扩充。无需更改软件源码，只需针对配置文件进行对应修改。

本发明实施例中使用GPU对超高速实时图像数据进行色彩校正等处理，减少了对CPU的资源占用及影响，可以最大程度避免对实时高速数据存储的影响并保证超低延时的实时图像显示，图像处理部分为模块化结构设计，配置功能简单易操作，各项模块化功能可通过配置文件来进行开关，无需重新编译源码及替换运行程序或动态库。

在可选的实施例中，如图4所示，超高速实时图像存储系统还包括：数据回放模块17，分别与磁盘阵列14及多个图像处理模块15连接，用于接收超高速实时图像数据的回放指令，根据指令读取磁盘阵列14中的超高速实时图像数据，并发送给多个图像处理模块15。

具体地，超高速实时图像数据以无损的方式存放于磁盘阵列14中，可通过读取磁盘阵列14中的超高速实时图像数据，并发送给多个图像处理模块15进行处理，在显示器上进行显示回放的超高速实时图像数据。超高速实时图像及回放图像的显示处理部分，可通过配置文件来使能关闭特定的图像处理功能模块。整套磁盘阵列14可从当前系统整体拆卸，由于接口为标准PCI－E接口，可方便安装至其他计算机进行回放，数据无需再次配置或转换。

在可选的实施例中，如图4所示，超高速实时图像存储系统还包括：数据导出模块18，与磁盘阵列14连接，用于接收超高速实时图像数据的导出指令，根据指令导出磁盘阵列14中的超高速实时图像数据。

具体地，系统存储的为完全无损的原始数据，可通过数据导出模块18进行全数据的导出，可导出的格式支持MP4/JPG/BMP等多种常用视频、图像格式。

在可选的实施例中，磁盘阵列14优选为机械硬件或固态硬盘。

本发明实施例还提供了一种超高速实时图像存储方法，如图5所示，包括：

S101.获取超高速实时图像数据。

S102.将超高速实时图像数据进行拆分，形成超高速缓冲队列数据；具体地，采用超高速缓冲队列对超高速实时图像数据做缓冲，可以应对突发的磁盘阵列掉速问题，及维持稳态的持续写入速度。缓冲队列的大小可通过用户修改配置文件，以适配当前超高速实时图像存储系统的内存大小及数据处理模块的性能。

S103.根据预设多路并发机制将缓冲队列数据发送至预设存储地址。具体地，多路并发机制可通过用户修改配置文件，以适配当前超高速实时图像存储系统的内存大小及数据处理模块的性能。

本发明实施例提供的超高速实时图像存储方法，由于基于超高速缓冲队列将超高速实时图像数据进行拆分，并根据预设多路并发机制将缓冲队列数据发送出去至预设存储地址，从而对于接收的超高速实时图像数据，可以通过多路同时进行存储，图像无需压缩，实现超高速实时图像数据的高速、无损存储，可以存储高速相机的原始数据。

在可选的实施例中，超高速实时图像存储方法还包括：获取数据回放指令；根据数据回放指令获取预设存储地址中的超高速实时图像数据，并将超高速实时图像数据发送至多个图像处理模块。

具体地，超高速实时图像数据以无损的方式存放于磁盘阵列中，可通过读取磁盘阵列中的超高速实时图像数据，并发送给多个图像处理模块进行处理，进而显示回放的超高速实时图像数据。超高速实时图像及回放图像的显示处理部分，可通过配置文件来使能关闭特定的图像处理功能模块。

在可选的实施例中，超高速实时图像存储方法还包括：获取数据导出指令；根据数据导出指令将预设存储地址中的超高速实时图像数据导出。

具体地，磁盘阵列存储的为完全无损的原始数据，可进行全数据的导出，可导出的格式支持MP4/JPG/BMP等多种常用视频、图像格式。

本发明实施例还提供了一种计算机设备，如图6所示，包括：处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器31可以为中央处理器(Central Processing Unit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的超高速实时图像存储方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的超高速实时图像存储方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的一个或者多个模块存储在存储器32中，当被处理器31执行时，执行如图5所示实施例中的超高速实时图像存储方法。

上述计算机设备具体细节可以对应参阅图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种超高速实时图像存储系统，其特征在于，包括：

图像获取模块，用于采集超高速实时图像数据；

数据处理模块，与所述图像获取模块连接，用于基于超高速缓冲队列将所述超高速实时图像数据进行拆分，发送至数据缓冲模块，并根据预设多路并发机制将缓冲队列数据发送出去；

数据缓冲模块，与所述数据处理模块连接，用于缓存超高速缓冲队列数据；

磁盘阵列，与所述数据处理模块连接，用于存储所述超高速缓冲队列数据。

2.根据权利要求1所述的超高速实时图像存储系统，其特征在于，还包括：

多个图像处理模块，各所述图像处理模块包括多个图形处理器，各所述图形处理器分别与所述图像获取模块连接，所述多个图像处理模块用于并行地对所述超高速实时图像数据进行处理；

显示模块，与所述多个图形处理器分别连接，用于实时显示处理后的所述超高速实时图像数据。

3.根据权利要求2所述的超高速实时图像存储系统，其特征在于，还包括：

数据回放模块，分别与所述磁盘阵列及所述多个图像处理模块连接，用于接收超高速实时图像数据的回放指令，根据所述指令读取所述磁盘阵列中的超高速实时图像数据，并发送给所述多个图像处理模块。

4.根据权利要求1所述的超高速实时图像存储系统，其特征在于，还包括：

数据导出模块，与所述磁盘阵列连接，用于接收超高速实时图像数据的导出指令，根据所述指令导出所述磁盘阵列中的超高速实时图像数据。

5.根据权利要求1所述的超高速实时图像存储系统，其特征在于，所述磁盘阵列包括：机械硬件或固态硬盘。

6.一种超高速实时图像存储方法，其特征在于，包括：

获取超高速实时图像数据；

将所述超高速实时图像数据进行拆分，形成超高速缓冲队列数据；

根据预设多路并发机制将所述缓冲队列数据发送至预设存储地址。

7.根据权利要求6所述的超高速实时图像存储方法，其特征在于，还包括：

获取数据回放指令；

根据所述数据回放指令获取所述预设存储地址中的所述超高速实时图像数据，并将所述超高速实时图像数据发送至多个图像处理模块。

8.根据权利要求6所述的超高速实时图像存储方法，其特征在于，还包括：

获取数据导出指令；

根据所述数据导出指令将所述预设存储地址中的所述超高速实时图像数据导出。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求6－8任意一项所述的超高速实时图像存储方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求6－8任意一项所述的超高速实时图像存储方法。

Images