CN104184963B - 光电导航系统中高效资源利用的方法 - Google Patents

Abstract

本发明涉及一种处理方法，尤其是一种光电导航系统中高效资源利用的方法，属于光电导航处理的技术领域。按照本发明提供的技术方案，所述光电导航系统中高效资源利用的方法，包括图像处理器以及用于采集图像的图像传感器，所述图像传感器通过模数转换模块与图像处理器连接；模数转换模块以及图像处理器均与存储器连接；在模数转换模块对图像传感器撷取的图像数据进行模数转换，并将所述模数转换后的图像数据存入存储器内时，图像处理器能对存储器内已存储转换的图像数据同步进行所需的处理。本发明能确保光电导航系统的处理能力，提高光电导航系统的资源利用效率，降低成本，适应范围广，安全可靠。

Description

光电导航系统中高效资源利用的方法

技术领域

本发明涉及一种处理方法，尤其是一种光电导航系统中高效资源利用的方法，属于光电导航处理的技术领域。

背景技术

光学图像定点设备和光学视频设备等装置的图像撷取，如无线光电鼠标、光电导航器等。该类设备都需要通过光照反馈撷取系列图像，然后对图像进行处理并给出运动矢量。

LED照射到背景面上，背景反馈的光线经过透镜成像至像素阵列中，（像素阵列实为二维的感光元件阵列），经过模数转换（ADC）撷取到完整的数字图像。系统对采集到的数字图像进行图像处理，并计算出运动矢量，以实现光电导航。

目前，光电导航中多采用流水线（Pipeline）结构，所述的流水线结构，可以参考图1。出于成本的考虑，大部分光电导航系统采用单存储器架构，为避免总线冲突，多采用pipeline（流水线）结构。假设从图像传感器中采样（即模数转换）用时Ta，图像处理用时Tb，运动计算用时Tc，那么一个运算周期至少为Ta+Tb+Tc。

假设Pixel Array（像素阵列）大小为N*M，一般数据处理的流程是先采样N*M个像素并存入存储单元内，此为原始图像数据；原始图像数据通常噪声较大，需要进行图像处理，而图像处理的过程是按照行或者列依次逐个像素进行的，所以原始图像和处理后的图像会同时存在于存储器中，存储单元扩展为2*N*M；进行图像匹配至少需要2帧图像以求取运动向量，需增加一个区间N*M用于存储另一帧处理后的图像。综上所述，总存储单元数为3*N*M。

由上述可知，现有的光电导航系统中需要占用大量的硬件资源，同时在光电导航中需要较长的时间，难以适应特殊场合下的光电导航需求以及高精度、实时性高的导航要求。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种光电导航系统中高效资源利用的方法，其能确保光电导航系统的处理能力，提高光电导航系统的资源利用效率，降低成本，适应范围广，安全可靠。

按照本发明提供的技术方案，所述光电导航系统中高效资源利用的方法，包括图像处理器以及用于采集图像的图像传感器，所述图像传感器通过模数转换模块与图像处理器连接；模数转换模块以及图像处理器均与存储器连接；在模数转换模块对图像传感器撷取的图像数据进行模数转换，并将所述模数转换后的图像数据存入存储器内时，图像处理器能对存储器内已存储转换的图像数据同步进行所需的处理。

在对已存储转换的图像数据进行处理，且对于相邻两次的图像数据处理，图像处理器保留相邻两次处理过程所需共用的图像数据，并读入所需的图像数据，以用读入的图像数据与保留的图像数据进行所需的处理过程。

图像处理器对存储器内呈阵列的图像数据进行处理时，图像处理器采用蛇形或Z字形顺序对阵列的图像数据进行处理。

在采用蛇形顺序对阵列的图像数据处理时，图像处理器以水平阵列或垂直阵列方向作为主移动方向，以邻近水平阵列中的末尾元素或邻近垂直阵列中的末尾元素为新的图像数据处理起点，形成蛇形的图像数据处理顺序。

对存储器内的图像数据由图像处理器已进行所需处理且后续的处理中不再使用所述图像数据时，图像处理器能允许模数转换模块将模数转换后的图像数据覆盖存储器内上述不再使用的图像数据。

所述图像处理器包括DSP。所述存储器包括SRAM、寄存器或逻辑存储单元。

与现有技术相比，本发明具有的优点：

1、节约时间，提高帧率：采用流水线结构时，用于图像处理的时间（以5*5算子为例）需要约2000个时钟周期，本发明由于采用了模数转换与图像处理的并行操作、图像处理器在进行相邻两次的图像数据处理时保留共用的数据、蛇形计算顺序，图像处理的时间可以忽略，基本被数据转换所包含。

2、节约了存储空间：现有技术中需要在存储空间中为原始数据保留16*16个存储单元，本发明由于运用了模数转换与图像处理的并行操作和存储器复用，大大减低了存储单元数。

综上所述，相比于现有技术，本发明无论是在性能还是成本方面都有明显的优势，所以本发明具有较强的实用价值。

附图说明

图1为现有光电导航系统中的流水线架构示意图。

图2为本发明光电导航系统中资源复用的架构示意图。

图3为16*16的图像示意图。

图4为5*5的二维算子示意图。

图5为以P100为中心的5*5的邻域。

图6为本发明存储器中数据分布的示意图。

图7为本发明计算P44增强像素时读入至图像处理器的阵列示意图。

图8为本发明计算P45增强像素时读入至图像处理器的阵列示意图。

图9为本发明蛇形计算顺序的示意图。

图10为存储器复用后单元数的示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

如图2所示：为了能提高光电导航系统的资源利用效率，降低成本，本发明包括图像处理器以及用于采集图像的图像传感器，所述图像传感器通过模数转换模块与图像处理器连接；模数转换模块以及图像处理器均与存储器连接；在模数转换模块对图像传感器撷取的图像数据进行模数转换，并将所述模数转换后的图像数据存入存储器内时，图像处理器能对存储器内已存储转换的图像数据同步进行所需的处理。

具体地，所述图像处理器包括DSP（digital signal processor）。所述存储器包括SRAM（Static RAM）、寄存器或逻辑存储单元。基于芯片的面积资源和时序资源，为了能够确保光电导航系统的性能，降低成本，在图像传感器采集图像，模数转换模块对撷取的图像数据进行模数转换的同时，图像处理器对已存储转换的图像数据进行同步处理，使得图像采样和图像处理达到并行操作。一般地，光电导航系统中，模数转换的频率为系统频率的1/10，即采样到一个图像数据后，可以用10个系统时钟节拍来处理一个图像处理步骤，无需等到采集完所有图像数据后再进行图像处理的步骤，同时能保证图像处理器对图像数据的处理时间要求，能够节省光电导航系统中所有图像处理的时间。图2中示出了在时序上模数转换和图像处理实现了共用，可大大节省光电导航系统运行时间，对存储器实现复用，存储器的数量也可以较大程度的缩减，降低了成本。

以图像处理器对图像数据进行像素增强为例，对本发明做进一步的说明。如图3所示，以16*16大小的图像为基础，说明本发明的原理和细节。图像增强对应一图像增强的算子，对于不同目的的图像增强应用其算子也不尽相同，本发明实施例中，不涉及到具体算子，仅仅假设算子是一大小为5*5的抽象阵列，如图4所示。此外，对于图像增强中其他操作均可以采用现有技术，如在像素增强时，边缘像素的填充等方式均可以采用现有的方式或可以根据需要进行选择，关于像素增强的过程为本技术人员所熟知，此处不再赘述。

图像增强的原理可以通过实例简要说明：如待处理的像素为P100，那么先找到以像素P100为中心的5*5的邻域，如图5所示。然后用图4中的算子与该邻域作卷积运算，得到一数值，该值可作为像素P100增强后的像素被写入存储器的增强图像区，如图6所示。其中，以像素P100为中心的邻域数据来自于原始图像区，如图6所示。一般地，图像数据可以指图像中的一个像素，也可以包括多个像素。

在具体实施时，图像传感器对图像数据采集遵循像素P00、像素P01、像素P02….顺序进行，采集到的图像存储到存储器的原始图像区内；当采集到设定的数量时，即可从存储器的原始图像区读入所需的像素到图像处理器中，并与图像增强算子做卷积运算，计算出增强像素，并将增强像素写入存储器的增强图像区。即本发明在进行图像数据采集的同时，图像处理器能够进行图像增强的处理，通过一种并行操作的方式，能够节省图像处理的时间。其中，图像传感器采集图像数据的设定数量可以根据需要进行选择，并由图像处理器采用本技术领域常规的检测或计时等操作完成即可，在具体实施时，图像处理器还可以对图像数据进行其他方面所需的处理，并不限于图像像素增强，具体的图像处理为本技术领域人员所熟知，且并不是本发明所要关注的重点，此处不再赘述。

进一步地，在对已存储转换的图像数据进行处理，且对于相邻两次的图像数据处理，图像处理器保留相邻两次处理过程所需共用的图像数据，并读入所需的图像数据，以用读入的图像数据与保留的图像数据进行所需的处理过程。

具体地，随着模数转换以及图像处理器的进行处理的不断进行，图像处理器需要读入新的数据，同时淘汰旧的数据，但图像处理器内需要保持尽量多的数据共用，避免频繁地数据读写操作，节约时序。如计算像素P44时，需从存储器的原始图像区读取图7所示阵列到图像处理器内，而当计算到像素P45时，则需读入图像处理器内的数据如图8所示，从图7与图8的对比可知，大部分数据相同，从而可得：对后一像素的处理相对于前一像素的处理，仅需读取少量存储器的值，如对于像素P45仅需读入像素P15、像素P31、像素P47、像素P63、像素P79覆盖原来的像素P10、像素P26、像素P42、像素P58、像素P74即可。

图像处理器对图像数据进行像素增强外的其他处理操作时，通过保留相邻两次处理过程所需共用的图像数据以及读入的新的图像数据，能够进行需要的图像处理，能够避免频繁地数据读写操作，读入所需的图像数据会替换当前操作中除保留共用的图像数据外的其他数据，所述替换包括位置以及内容的替换，具体过程为本技术领域人员所熟知，此处不再赘述。

图像处理器对存储器内呈阵列的图像数据进行处理时，图像处理器采用蛇形或Z字形顺序对阵列的图像数据进行处理。

在采用蛇形顺序对阵列的图像数据处理时，图像处理器以水平阵列或垂直阵列方向作为主移动方向，以邻近水平阵列中的末尾元素或邻近垂直阵列中的末尾元素为新的图像数据处理起点，形成蛇形的图像数据处理顺序。

一般地，图像处理器读入存储器内的图像数据以阵列形式存在，即包含行图像数据及列图像数据。一般地，以行顺序，图像处理器对阵列中一行的图像数据的进行处理后，再从下一行起始的图像数据进行处理；或者以列顺序，图像处理器对阵列中一列的图像数据进行处理后，再从下一列起始的图像数据进行处理。

如图9所示，当处理完像素P47之后，常规思路，是回到行首，计算像素P48，但这样会舍弃现有内存中所有数据，而重新从存储器中读入数据至图像处理器内存中。在本发明实施例中，抛除常规思路，计算完像素P47，接着往下计算像素P63，读入像素P95、像素P94、像素P93覆盖像素P15、像素P14、像素P13（注：当处理到边界位置时，可适当扩充部分数据组成5*5的领域），然后与算子做卷积。计算完像素P63，往左前行，计算像素P62，这种计算顺序看起来像蛇形运动。通过上述蛇形或Z型的顺序，就是为了节约时序资源，避免图像处理器重复读取存储器的数据。本发明实施例中，图像处理器对阵列中像素的处理顺序，不限于把水平方向作为主移动方向，亦可把垂直作为主移动方向。

本发明实施例中，对于Z字形的顺序，类似上述蛇形的顺序，即尽量避免图像处理器重复读取存储器的数据，具体实施过程，为本技术领域人员所熟知，此处不再赘述。

对存储器内的图像数据由图像处理器已进行所需处理且后续的处理中不再使用所述图像数据时，图像处理器能允许模数转换模块将模数转换后的图像数据覆盖存储器内上述不再使用的图像数据。

如图10所示，当处理完像素P47时，第一行数据已经不再参与卷积计算，所以可以被覆盖，此时从图像传感器采集到新的图像数据可以存入像素P00至像素P15位置，而不必存入像素P96至像素P111的位置。依次类推，当像素P16至像素P31的数据无用时，该数据行被新读入的数据覆盖……。在此实例中，只要6*16大小的存储器便能实现原始数据的读写，所以能节约10*16大小的存储器单元。通过对不使用图像数据的覆盖，实现了存储器的复用。

与现有技术相比，本发明具有的优点：

1、节约时间，提高帧率：采用流水线结构时，用于图像处理的时间（以5*5算子为例）需要约2000个时钟周期，本发明由于采用了模数转换与图像处理的并行操作、图像处理器在进行相邻两次的图像数据处理时保留共用的数据、蛇形计算顺序，图像处理的时间可以忽略，基本被数据转换所包含。

2、节约了存储空间：现有技术中需要在存储空间中为原始数据保留16*16个存储单元，本发明由于运用了模数转换与图像处理的并行操作和存储器复用，大大减低了存储单元数。

综上所述，相比于现有技术，本发明无论是在性能还是成本方面都有明显的优势，所以本发明具有较强的实用价值。

Claims (4)

1.一种光电导航系统中高效资源利用的方法，包括图像处理器以及用于采集图像的图像传感器，所述图像传感器通过模数转换模块与图像处理器连接；模数转换模块以及图像处理器均与存储器连接；其特征是：在模数转换模块对图像传感器撷取的图像数据进行模数转换，并将所述模数转换后的图像数据存入存储器内时，图像处理器能对存储器内已存储转换的图像数据同步进行所需的处理，在对已存储转换的图像数据进行处理，且对于相邻两次的图像数据处理，图像处理器保留相邻两次处理过程所需共用的图像数据，并读入所需的图像数据，以用读入的图像数据与保留的图像数据进行所需的处理过程；图像处理器对存储器内呈阵列的图像数据进行处理时，图像处理器采用蛇形或Z字形顺序对阵列的图像数据进行处理；对存储器内的图像数据由图像处理器已进行所需处理且后续的处理中不再使用所述图像数据时，图像处理器能允许模数转换模块将模数转换后的图像数据覆盖存储器内上述不再使用的图像数据。

2.根据权利要求1所述的光电导航系统中高效资源利用的方法，其特征是：在采用蛇形顺序对阵列的图像数据处理时，图像处理器以水平阵列或垂直阵列方向作为主移动方向，以邻近水平阵列中的末尾元素或邻近垂直阵列中的末尾元素为新的图像数据处理起点，形成蛇形的图像数据处理顺序。

3.根据权利要求1所述的光电导航系统中高效资源利用的方法，其特征是：所述图像处理器包括DSP。

4.根据权利要求1所述的光电导航系统中高效资源利用的方法，其特征是：所述存储器包括SRAM、寄存器或逻辑存储单元。