CN111724295B - 一种外部存储器的协同访问方法及系统、协同访问架构 - Google Patents

Abstract

本发明提供一种外部存储器的协同访问方法及系统、协同访问架构，包括预先存储图像处理设备的读写操作的访问地址对应的图像压缩配置信息和图像解压配置信息；根据图像处理设备的写操作的访问地址和所述图像压缩配置信息，将图像数据进行压缩并将得到的压缩数据存储至外部存储器；根据所述图像处理设备的读操作的访问地址和所述图像解压配置信息，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备。本发明的外部存储器的协同访问方法及系统、协同访问架构基于协同访问架构对图像数据进行压缩处理后再存储至外部存储器，对压缩数据进行解压后再返回至图像处理设备，从而降低对外部存储器的空间需求，提升了整体系统性能。

Description

一种外部存储器的协同访问方法及系统、协同访问架构

技术领域

本发明涉及外部存储器访问的技术领域，特别是涉及一种外部存储器的协同访问方法及系统、协同访问架构。

背景技术

随着芯片的集成度日益提高，芯片对外部存储器的需求也不断提高。外部存储器的容量与带宽已经成为影响系统性能的重要一环。因此，需要不断优化设计平衡各个部件对外部存储器的访问以提升整个系统的性能。同时，在高性能系统中，每个部件往往需要极大的数据吞吐量以满足自身的处理速度。故外部存储器的容量与带宽已经成为了限制系统性能的瓶颈之一。

随着人工智能算法与机器视觉的发展，现有技术中的移动设备有大量的传感器协同工作，并且需要强大的图像计算性能。这对芯片的外部存储器需求带来了很大的考验。由于在图像处理的过程中需要大量的数据吞吐，故如何利用有限的外部存储器完成复杂运算以及得到更高的图像处理速度已经成为图像计算芯片领域的一个难点与重要课题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种外部存储器的协同访问方法及系统、协同访问架构，基于协同访问架构对图像数据进行压缩处理后再存储至外部存储器，对压缩数据进行解压后再返回至图像处理设备，从而降低对外部存储器的空间需求，提升了整体系统性能。

为实现上述目的及其他相关目的，本发明提供一种外部存储器的协同访问架构，包括至少一个配置寄存器、图像压缩模块和图像解压模块；所述配置寄存器与所述图像处理设备的读写操作的访问地址一一对应，用于存储所述访问地址对应的图像压缩配置信息和图像解压配置信息；所述图像压缩模块与图像处理设备、所述配置寄存器和外部存储器相连，用于基于所述图像处理设备的写操作的访问地址和所述图像压缩配置信息，将图像数据进行压缩并将得到的压缩数据存储至所述外部存储器；所述图像解压模块与所述图像处理设备、所述配置寄存器和所述外部存储器相连，用于基于所述图像处理设备的读操作的访问地址和所述图像解压配置信息，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备。

于本发明一实施例中，所述图像压缩模块包括第一地址解析控制器、图像压缩处理器和第一地址转换器；

所述第一地址解析控制器用于根据所述写操作的访问地址从所述配置寄存器中获取对应的图像压缩配置信息；

所述图像压缩处理器用于根据所述图像压缩配置信息对所述图像数据进行压缩，得到所述压缩数据；

所述第一地址转换器用于将所述访问地址转换为映射地址，并将所述压缩数据写入所述外部存储器的所述映射地址处。

于本发明一实施例中，所述图像压缩处理器首先采用无损压缩算法进行压缩；当压缩率小于目标压缩率时，再进行有损压缩。

于本发明一实施例中，所述图像解压模块包括第二地址解析控制器、图像解压处理器和第二地址转换器；

所述第二地址解析控制器用于根据所述读操作的访问地址从所述配置寄存器中获取对应的图像解压配置信息；

所述第二地址转换器用于将所述访问地址转换为映射地址，并从所述外部存储器中读取所述映射地址对应的压缩数据；

所述图像解压处理器用于根据所述图像解压配置信息对所述压缩数据进行解压，并将得到的解压数据发送至所述图像处理设备。

于本发明一实施例中，所述图像解压处理器首先判断所述压缩数据是否经过有损压缩，再基于判断结果确定解压算法。

于本发明一实施例中，所述图像压缩配置信息包括帧图像数据格式、压缩单元大小、帧图像存储空间大小和目标压缩率；所述图像解压配置信息包括帧图像数据格式、压缩单元大小、帧图像存储空间大小和目标压缩率。

本发明提供一种外部存储器的协同访问系统，包括上述的外部存储器的协同访问架构、图像处理设备和外部存储器；

所述图像处理设备和所述外部存储器均与所述外部存储器的协同访问架构相连。

本发明提供一种外部存储器的协同访问方法，包括以下步骤：

预先存储图像处理设备的读写操作的访问地址对应的图像压缩配置信息和图像解压配置信息；

根据图像处理设备的写操作的访问地址和所述图像压缩配置信息，将图像数据进行压缩并将得到的压缩数据存储至外部存储器；

根据所述图像处理设备的读操作的访问地址和所述图像解压配置信息，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备。

于本发明一实施例中，将图像数据进行压缩并将得到的压缩数据存储至外部存储器包括以下步骤：

根据所述写操作的访问地址获取对应的图像压缩配置信息；

根据所述图像压缩配置信息对所述图像数据进行压缩，得到所述压缩数据；

将所述访问地址转换为映射地址，并将所述压缩数据写入所述外部存储器的所述映射地址处。

于本发明一实施例中，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备包括以下步骤：

根据所述读操作的访问地址获取对应的图像解压配置信息；

将所述访问地址转换为映射地址，并从所述外部存储器中读取所述映射地址对应的压缩数据；

根据所述图像解压配置信息对所述压缩数据进行解压，并将得到的解压数据发送至所述图像处理设备。

如上所述，本发明的外部存储器的协同访问方法及系统、协同访问架构，具有以下有益效果：

(1)基于协同访问架构对图像数据进行压缩处理后再存储至外部存储器，对压缩数据进行解压后再返回至图像处理设备，从而降低对外部存储器的空间需求；

(2)采用较低容量的外部存储器即可满足高性能系统要求，降低了整个系统成本，避免了扩展外部存储器的容量而带来的额外芯片面积；

(3)无需改变原有的系统结构，连接结构简单，具有很强的适用性；

(4)在节省了系统对外部存储器容量需求的同时，降低了系统对外部存储器带宽的需求，进一步提升系统性能。

附图说明

图1显示为本发明的外部存储器的协同访问系统于一实施例中的结构示意图；

图2显示为本发明的外部存储器的协同访问方法于一实施例中的流程图。

元件标号说明

1 图像处理设备

2 外部存储器的协同访问架构

21 配置寄存器

22 第一地址解析控制器

23 图像压缩处理器

24 第一地址转换器

25 第二地址解析控制器

26 第二地址转换器

27 图像解压处理器

3 外部存储器

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的外部存储器的协同访问方法及系统、协同访问架构基于协同访问架构对图像数据进行压缩处理后再存储至外部存储器，对压缩数据进行解压后再返回至图像处理设备，从而通过协同访问架构降低对外部存储器的空间需求和带宽需求，提升了整体系统的性能，极具实用性。

如图1所示，于一实施例中，本发明的外部存储器的协同访问系统包括外部存储器的协同访问架构2、图像处理设备1和外部存储器3。所述图像处理设备1和所述外部存储器3均与所述协同访问架构2相连，由所述协同访问架构2实现所述图像处理设备1和所述外部存储器3之间的数据读写。

具体地，所述外部存储器的协同访问架构2包括至少一个配置寄存器21、图像压缩模块和图像解压模块。

所述配置寄存器21与所述图像处理设备1的读写操作的访问地址一一对应，用于存储所述访问地址对应的图像压缩配置信息和图像解压配置信息。具体地，一个访问地址对应一个配置寄存器。所述配置寄存器21中存储有所述访问地址相对应的图像的图像压缩配置信息和图像解压配置信息。当所述图像处理设备1同时对多帧图像进行读写操作时，对应多个访问地址，则需配置相应数量的配置寄存器。其中，所述配置寄存器21是由系统的外部处理器进行预先配置的。

所述图像压缩模块与图像处理设备1、所述配置寄存器21和外部存储器3相连，用于基于所述图像处理设备1的写操作的访问地址和所述图像压缩配置信息，将图像数据进行压缩并将得到的压缩数据存储至所述外部存储器3。具体地，所述图像压缩模块将所述图形处理设备1需写入所述外部存储器3的图像数据压缩后写入所述外部存储器3，从而降低对所述外部存储器3的空间和带宽的需求。

于本发明一实施例中，所述图像压缩模块包括第一地址解析控制器22、图像压缩处理器23和第一地址转换器24。

所述第一地址解析控制器22与所述图像处理设备1和所述配置寄存器21相连，用于根据所述写操作的访问地址从所述配置寄存器中获取对应的图像压缩配置信息。具体地，当所述图像处理单元1需要对所述外部存储器3进行写操作时，所述第一地址解析控制器22对所述图像处理单元1的写操作的访问地址进行解析，根据地址解析结果在所述配置寄存器21中获取对应的图像压缩配置信息。优选地，所述图像压缩配置信息包括帧图像数据格式(如ARGB、YUV等)、压缩单元大小、帧图像存储空间大小和目标压缩率。

所述图像压缩处理器23与所述第一地址解析控制器22相连，用于根据所述图像压缩配置信息对所述图像数据进行压缩，得到所述压缩数据。具体地，所述图像处理设备1需要写入的图像数据和所述图像压缩配置信息一并传输至所述图像压缩处理器23，所述图像压缩处理器23根据所述图像压缩配置信息对所述图像数据进行压缩，从而得到所述压缩数据。优选地，所述图像压缩处理器23以多级流水线对所述图像数据进行压缩，并根据配置的压缩单元大小，积攒相应的数据量。当获取到足够的数据后，进行流水线压缩。于本发明一实施例中，所述图像压缩处理器23首先采用无损压缩算法进行压缩；当压缩率小于目标压缩率时，再进行有损压缩。具体地，所述图像压缩处理器23根据所述图像数据的数据格式，优先采用无损压缩算法进行压缩。无损压缩结束后，计算压缩率并与目标压缩率进行比较，若压缩率达到目标压缩率，则停止压缩操作；若压缩率达不到所述目标压缩率，则将压缩后的数据继续进行有损压缩，在尽可能保留更多原始数据信息的前提下，将压缩率提高至目标压缩率。

所述第一地址转换器24与所述图像压缩处理器23和所述外部存储器3相连，用于将所述访问地址转换为映射地址，并将所述压缩数据写入所述外部存储器3的所述映射地址处。具体地，所述第一地址转换器24在获取所述压缩数据后，将所述访问地址进行映射转换以得到映射地址，并将所述压缩数据写入所述外部存储器3的映射地址处。其中，所述映射地址等于偏移地址乘以目标压缩率加上图像帧起始地址。

图像解压模块与所述图像处理设备3、所述配置寄存器21和所述外部存储器3相连，用于基于所述图像处理设备1的读操作的访问地址和所述图像解压配置信息，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备1。具体地，所述图像解压模块根据所述图像处理设备1的读操作请求，将所述外部存储器3中的压缩数据解压后再进行读取，从而降低对所述外部存储器3的空间和带宽的需求。

于本发明一实施例中，所述图像解压模块包括第二地址解析控制器25、图像解压处理器27和第二地址转换器26。

所述第二地址解析控制器25与所述图像处理设备1和所述配置寄存器21相连，用于根据所述读操作的访问地址从所述配置寄存器21中获取对应的图像解压配置信息。具体地，当所述图像处理单元1需要对所述外部存储器3进行读操作时，所述第二地址解析控制器25对所述图像处理单元1的读操作的访问地址进行解析，根据地址解析结果在所述配置寄存器21中获取对应的图像解压配置信息。优选地，所述图像解压配置信息包括帧图像数据格式(如ARGB、YUV等)、压缩单元大小、帧图像存储空间大小和目标压缩率。

所述第二地址转换器26与所述外部存储器3和所述地址解析控制器25相连，用于将所述访问地址转换为映射地址，并从所述外部存储器3中读取所述映射地址对应的压缩数据。具体地，所述第二地址转换器26将所述第二地址解析控制器25传送来的图像解压配置信息存储在自身的寄存器中。同时，所述第二地址转换器26根据访问地址和映射地址之间的转换映射关系，将所述访问地址转换为映射地址，并向所述外部存储器3请求所述映射地址存储的压缩数据。最后，所述第二地址转换器26将获取的压缩数据和图像解压配置信息一并传送至所述图像解压处理器27。

所述图像解压处理器27与所述第二地址转换器26和所述图像处理设备1相连，用于根据所述图像解压配置信息对所述压缩数据进行解压，并将得到的解压数据发送至所述图像处理设备1。于本发明一实施例中，所述图像解压处理器27首先判断所述压缩数据是否经过有损压缩，再基于判断结果确定对应的解压算法，然后基于所述解压算法对所述压缩数据进行流水线解压，并将获得的解压数据发送至所述图像处理设备1。

如图2所示，于一实施例中，本发明的外部存储器的协同访问方法应用于上述外部存储器的协同访问系统中，具体包括以下步骤：

步骤S1、预先存储图像处理设备的读写操作的访问地址对应的图像压缩配置信息和图像解压配置信息。

具体地，外部处理器首先基于图像处理设备的读写操作的访问地址预先配置图像压缩信息和图像解压信息，并将得到的图像压缩配置信息和图像解压配置信息预先存储至配置寄存器中。需要说明的是，一个配置寄存器对应一个图像的访问地址。

步骤S2、根据图像处理设备的写操作的访问地址和所述图像压缩配置信息，将图像数据进行压缩并将得到的压缩数据存储至外部存储器。

具体地，图像压缩模块基于图像处理设备的写操作的访问地址获取对应的图像压缩配置信息，并基于所述图像压缩配置信息对需要写入所述外部存储器的图像数据进行压缩，并将得到的压缩数据存储至外部存储器。

于本发明一实施例中，将图像数据进行压缩并将得到的压缩数据存储至外部存储器包括以下步骤：

21)根据所述写操作的访问地址获取对应的图像压缩配置信息。

具体地，基于第一地址解析控制器对访问地址进行解析，根据解析结果在配置寄存器中获取对应的图像压缩配置信息。

22)根据所述图像压缩配置信息对所述图像数据进行压缩，得到所述压缩数据。

具体地，基于图像压缩处理器根据所述图像压缩配置后信息进行流水线图像压缩，获取压缩数据。

23)将所述访问地址转换为映射地址，并将所述压缩数据写入所述外部存储器的所述映射地址处。

具体地，基于第一地址转换器将图像处理设备的访问地址转换为外部存储器的映射地址，然后将压缩数据写入外部存储器的映射地址，从而完成图像数据的压缩存储。

步骤S3、根据所述图像处理设备的读操作的访问地址和所述图像解压配置信息，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备。

具体地，图像解压模块基于图像处理设备的读操作的访问地址获取对应的图像解压配置信息，并基于所述图像解压配置信息对写入所述外部存储器的压缩数据进行解压，并将得到的解压数据发送至图像处理设备。

于本发明一实施例中，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备包括以下步骤：

31)根据所述读操作的访问地址获取对应的图像解压配置信息。

具体地，基于第二地址解析控制器对访问地址进行解析，根据解析结果在配置寄存器中获取对应的图像解压配置信息。

32)将所述访问地址转换为映射地址，并从所述外部存储器中读取所述映射地址对应的压缩数据。

具体地，基于第二地址转换器将图像处理设备的访问地址转换为外部存储器的映射地址，从外部存储器中读取映射地址上的压缩数据，并将压缩数据和图像解压配置信息发送至图像解压处理器。

33)根据所述图像解压配置信息对所述压缩数据进行解压，并将得到的解压数据发送至所述图像处理设备。

综上所述，本发明的外部存储器的协同访问方法及系统、协同访问架构基于协同访问架构对图像数据进行压缩处理后再存储至外部存储器，对压缩数据进行解压后再返回至图像处理设备，从而降低对外部存储器的空间需求；采用较低容量的外部存储器即可满足高性能系统要求，降低了整个系统成本，避免了扩展外部存储器的容量而带来的额外芯片面积；无需改变原有的系统结构，连接结构简单，具有很强的适用性；在节省了系统对外部存储器容量需求的同时，降低了系统对外部存储器带宽的需求，进一步提升系统性能。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种外部存储器的协同访问架构，其特征在于：包括至少一个配置寄存器、图像压缩模块和图像解压模块；

所述配置寄存器与图像处理设备的读写操作的访问地址一一对应，用于存储所述访问地址对应的图像压缩配置信息和图像解压配置信息；

所述图像压缩模块与图像处理设备、所述配置寄存器和外部存储器相连，用于基于所述图像处理设备的写操作的访问地址和所述图像压缩配置信息，将图像数据进行压缩并将得到的压缩数据存储至所述外部存储器；

所述图像解压模块与所述图像处理设备、所述配置寄存器和所述外部存储器相连，用于基于所述图像处理设备的读操作的访问地址和所述图像解压配置信息，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备；

所述图像压缩模块包括第一地址解析控制器、图像压缩处理器和第一地址转换器；

所述第一地址解析控制器用于根据所述写操作的访问地址从所述配置寄存器中获取对应的图像压缩配置信息；

所述图像压缩处理器用于根据所述图像压缩配置信息对所述图像数据进行压缩，得到所述压缩数据；

所述第一地址转换器用于将所述访问地址转换为映射地址，并将所述压缩数据写入所述外部存储器的所述映射地址处；

所述图像解压模块包括第二地址解析控制器、图像解压处理器和第二地址转换器；

所述第二地址解析控制器用于根据所述读操作的访问地址从所述配置寄存器中获取对应的图像解压配置信息；

所述第二地址转换器用于将所述访问地址转换为映射地址，并从所述外部存储器中读取所述映射地址对应的压缩数据；

所述图像解压处理器用于根据所述图像解压配置信息对所述压缩数据进行解压，并将得到的解压数据发送至所述图像处理设备。

2.根据权利要求1所述的外部存储器的协同访问架构，其特征在于：所述图像压缩处理器首先采用无损压缩算法进行压缩；当压缩率小于目标压缩率时，再进行有损压缩。

3.根据权利要求1所述的外部存储器的协同访问架构，其特征在于：所述图像解压处理器首先判断所述压缩数据是否经过有损压缩，再基于判断结果确定解压算法。

4.根据权利要求1所述的外部存储器的协同访问架构，其特征在于：所述图像压缩配置信息包括帧图像数据格式、压缩单元大小、帧图像存储空间大小和目标压缩率；所述图像解压配置信息包括帧图像数据格式、压缩单元大小、帧图像存储空间大小和目标压缩率。

5.一种外部存储器的协同访问系统，其特征在于：包括权利要求1-4之一所述的外部存储器的协同访问架构、图像处理设备和外部存储器；

所述图像处理设备和所述外部存储器均与所述外部存储器的协同访问架构相连。

6.一种外部存储器的协同访问方法，其特征在于：包括以下步骤：

预先存储图像处理设备的读写操作的访问地址对应的图像压缩配置信息和图像解压配置信息；

根据图像处理设备的写操作的访问地址和所述图像压缩配置信息，将图像数据进行压缩并将得到的压缩数据存储至外部存储器；

根据所述图像处理设备的读操作的访问地址和所述图像解压配置信息，将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备；

将图像数据进行压缩并将得到的压缩数据存储至外部存储器包括以下步骤：

根据所述写操作的访问地址获取对应的图像压缩配置信息；

根据所述图像压缩配置信息对所述图像数据进行压缩，得到所述压缩数据；

将所述访问地址转换为映射地址，并将所述压缩数据写入所述外部存储器的所述映射地址处；

将所述压缩数据进行解压并将得到的解压数据发送至所述图像处理设备包括以下步骤：

根据所述读操作的访问地址获取对应的图像解压配置信息；

将所述访问地址转换为映射地址，并从所述外部存储器中读取所述映射地址对应的压缩数据；

根据所述图像解压配置信息对所述压缩数据进行解压，并将得到的解压数据发送至所述图像处理设备。