CN111684484A - Dwt运算装置、方法、图像处理装置和可移动平台 - Google Patents

Abstract

一种DWT运算装置、方法、图像处理装置和可移动平台。该DWT运算装置包括：列电路、交织器电路和行电路，所述列电路用于：接收预设的待处理数据块，对所述待处理数据块按列进行DWT运算生成中间数据块，并将所述中间数据块按列输出至所述交织器电路中；所述交织器电路用于：对按列输入的所述中间数据块按行输出至所述行电路中；所述行电路用于：将按行输入的所述中间数据块进行DWT运算，以获得运算结果。本申请提供的DWT运算装置、方法、图像处理装置和可移动平台，能够高效实现DWT运算，实时性高，功耗低。

Description

DWT运算装置、方法、图像处理装置和可移动平台

版权申明

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

技术领域

本申请涉及图像处理领域，尤其涉及一种离散小波变换运算装置、方法、图像处理装置和可移动平台。

背景技术

离散小波变换(Discrete Wavelet Transform，DWT)具有良好的时频域局部化分析性能，它具有“数学显微镜”聚焦的功能，现已应用于多个信号处理的领域，尤其在图像压缩领域，出现了很多基于小波变换的静止图像压缩方案。

现有技术中，常用的实现DWT的方式是：在通用处理器中，用多条指令实现DWT的各步运算。这种实现方式运算速度慢，实时性低。

例如，在图像处理领域，通常用DWT97来实现有损压缩，用DWT53来实现无损压缩。DWT97包含大量的乘法和加法运算，DWT53包含大量的加法运算，如果调用通用处理器中的加法和乘法指令，需要调用很多次，指令的调度是在软件层面进行的，由于软件的处理实时性很低，这大大增加了DWT运算执行的时间，所以这种实现方式的实时性很低；另外这种实现方式需要读写多次片上缓存，而读写片上缓存的功耗很大，所以这种实现方式的功耗也很大。

发明内容

本申请提供了一种DWT运算装置、方法、图像处理装置和可移动平台，能够高效实现DWT运算，实时性高，功耗低。

第一方面，提供了一种DWT运算装置，包括：列电路、交织器电路和行电路，所述列电路用于：接收预设的待处理数据块，对所述待处理数据块按列进行DWT运算生成中间数据块，并将所述中间数据块按列输出至所述交织器电路中；所述交织器电路用于：对按列输入的所述中间数据块按行输出至所述行电路中；所述行电路用于：将按行输入的所述中间数据块进行DWT运算，以获得运算结果。

第二方面，提供了一种用于DWT运算装置中处理数据的方法，其特征在于，所述DWT运算装置包括：列电路、交织器电路和行电路，所述方法包括：获取预设的待处理数据块；通过所述列电路对所述待处理数据块按列进行DWT运算生成中间数据块，并将所述中间数据块按列输出至所述交织器电路中；通过所述交织器电路对按列输入的所述中间数据块按行输出至所述行电路中；通过所述行电路将按行输入的所述中间数据块进行DWT运算，以获得运算结果。

第三方面，提供了一种图像处理装置，包括：处理装置以及第一方面或第一方面的任意可能的实现方式中的DWT运算装置。所述DWT运算装置用于对所述待处理数据块进行DWT运算后生成小波系数，并将所述小波系数传输至所述处理装置；所述处理装置用于对所述小波系数进行以下一种或多种处理：降噪处理，DWT逆运算，量化处理和熵编码处理。

第四方面，提供了一种可移动平台，包括：机体；动力系统，设于所述机体内，用于为所述可移动平台提供动力；图像采集装置，用于采集图像；以及第二方面中的图像处理装置，用于对所述图像进行处理。

第五方面，提供了一种相机，包括：外壳；镜头组件，设于所述外壳内部；传感器模块，设于所述外壳内部并设于所述镜头组件的后端，用于感知通过所述镜头组件的光并生成电信号；以及第二方面中的图像处理装置，用于对所述电信号进行处理。

附图说明

图1是本申请实施例的DWT运算装置的示意性框图。

图2是本申请实施例的DWT运算装置的应用场景的示意图。

图3是本申请实施例的图像数据的读取顺序的示意图。

图4是本申请实施例的图像数据的读取顺序的另一个示意图。

图5是本申请实施例的DWT运算装置中Column电路的结构的示意图。

图6是本申请实施例的DWT53的运算过程的示意图。

图7是本申请实施例的DWT97的运算过程的示意图。

图8是本申请实施例的DWT运算装置中Permuter电路读取图像数据的示意图。

图9是本申请实施例的DWT运算装置的Row电路的示意图。

图10是本申请实施例的图像处理装置的示意性框图。

图11是本申请实施例的可移动平台的示意性框图。

图12是本申请实施例的相机的示意性框图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

本申请实施例提出了一种DWT运算装置100，如图1所示，该DWT运算装置100为一个硬件结构，其主要包括三个电路，分别为列(Column)电路110、交织器(Permuter)电路120以及行(Row)电路130。具体地，对于预设的待处理数据块，例如，该DWT运算装置100可以接收该待处理数据块；该Column电路110用于对该待处理数据块按列进行DWT运算生成中间数据块，并将该中间数据块按列输出至该Permuter电路120中，也就是将输入的待处理数据块进行DWT列变换后输出至Permuter电路120中；该Permuter电路120用于将按列输入的中间数据块按行读取并输出至Row电路130中；该Row电路130用于将按行输入的该中间数据块进行DWT运算，以获得运算结果，也就是将按行输入的中间数据块进行DWT行变换后按行输出，以完成DWT的计算过程。

下面将结合具体实施例以及图2至图9对该DWT运算装置100进行详细描述。

应理解，该DWT运算装置100可以用于处理数据，例如本申请实施例以用于图像数据的处理为例进行说明。图2示出了本申请实施例的DWT运算装置的应用场景的示意图。如图2所示，向DWT运算装置100输入图像数据，该图像数据即为待处理数据块。例如，可以通过数据读取电路向该DWT运算装置100输入图像数据，其中，该数据读取电路可以表示为raw_fetch电路。

可选地，该DWT运算装置100可以包括或者不包括该raw_fetch电路。例如，如图2所示，本申请实施例以该raw_fetch电路不属于该DWT运算装置100为例进行说明，但本申请实施例并不限于此。

具体地，由该外部的raw_fetch电路负责从双数据速率(Double Data Rate，DDR)电路中读取图像数据，例如，该raw_fetch电路可以通过高级可扩展接口(AdvancedeXtensible Interface，AXI)从DDR电路中读取图像数据，并输出至DWT运算装置100中的Column电路110进行处理，也就是说raw_fetch电路的输出与Column电路110的输入是相同的。具体地，该DWT运算装置100可以进行多级处理，也就是进行多次反复处理。例如，如图2所示，以3级处理为例，也就是对输入数据进行三次反复处理，其中，1级处理是对原始数据进行处理，输出的处理结果作为2级处理的输入数据，而2级输入结果再作为3级处理的输入数据。对于任意一级处理，例如，图2中1/2/3级中任意一级处理，raw_fetch电路输出数据顺序可以如图3所示。

应理解，这里以处理一个256*256的图像数据为例进行说明。首先将该256*256的图像分为16个64*64的块，例如，图3示出了其中的前4个64*64的块，即图3中的4个大块。如图3所示，对于这4个64*64的块，raw_fetch电路会按照从左到右的顺序依次输出，之后再输出位于该4个64*64下方的再4个64*64的块，依次类推。

而对于图3中4个64*64的块中每个64*64的块而言，可以再将每个64*64的块分为64个8*8的块，即如图3中4个大块中每个大块中的小块所示，每个小块都表示一个8*8的块。对于每个64*64的块，raw_fetch电路的读取顺序为图3中箭头所示，即raw_fetch电路在读取每个64*64的大块时，按照从左至右，再从上之下的顺序，依次读取每个8*8的小块。

进一步的，对于每个8*8的小块而言，raw_fetch电路的读取顺序则可以如图4所示，采用先列后行的方式读取。具体地，图4示出了任意一个64*64的大块中任意一个8*8的块和位于其正下方且与其相邻的8*8的块的示意图。如图4所示，raw_fetch电路在读取每个8*8的小块时，先读取该8*8的第一列，然后依次向右读取下一列，直至读取完该8*8的小块后，再读取与该8*8的小块相邻的右侧的下一个8*8的小块，依次类推。

raw_fetch电路按照上述顺序向DWT运算装置100中输入图像数据，具体地，该raw_fetch电路可以向该DWT运算装置100中的Column电路110输入图像数据作为待处理数据块，以便于该Column电路110进行进一步处理。本申请实施例的DWT运算装置100主要包括3个电路：Column电路110、Permuter电路120以及Row电路130，下面对这三部分进行详细介绍。

首先是Column电路110。该Column电路110可以用于将按列输入的该待处理数据块进行DWT运算后生成中间数据块，并将该中间数据块按列输出至Permuter电路120中，或者也可以说，该Column电路110用于完成dwt列变换。

具体地，该Column电路110的结构可以如图5所示。具体地，该Column电路110可以用于进行DWT53运算和/或DWT97运算。例如，该Column电路110可以包括DWT53单元(即图2中的“dwt_53”)和DWT97单元(即图2中的“dwt_97”)，其中，dwt_53单元可以用于无损模式，dwt_97单元可以用于有损模式。

可选的，Column电路110还可以包括地址计算单元(即图2中的“col_pst”)，通过该col_pst单元选择将输入的待处理数据块输出至DWT53单元，以采用DWT53运算过程进行处理；和/或，选择将输入的待处理数据块输出至DWT97单元，以采用DWT97运算过程进行处理。

应理解，对于输入Column电路110的待处理数据块，该输入的待处理数据块可以指上述raw_fetch电路按列读取并输入的数据。具体地，如图4所示，为了便于描述，建立一个以行号和列号为轴的坐标系。因此，对于如图4所示的上下相邻的两个8*8的小块，每个像素点都可以用坐标的形式表示。

例如，对于图4中第一个8*8的小块中的左上角第一个像素，其坐标可以表示为(1,1)，表示第一行第一列的像素点，其下方的像素点的坐标为(2,1)，表示第二行第一列的像素点，依次类推。而对于第二个8*8的小块，其左上角的第一个像素点的的坐标为(9,1)，表示其为第九行第一列的像素点，也就是该8*8的小块的坐标是在上一个8*8的小块的基础上进一步计算，依次类推。

按照上述表示方式，对于图3所示的像素点，同样可以建立该坐标系。如图3所示，该4个64*64的块可以以第一个64*64的块左上角的第一个像素点为基准，依次推算其他像素点的坐标；对应图4即表示该图3中第一64*64的块的左上角第一个8*8的小块和其正下方相邻的一个8*8的小块。

应理解，如图4所示，raw_fetch电路会在每个周期(cycle)内读取一列像素的数据。具体地，本申请实施例的DWT53单元用于对输入的数据进行DWT53运算，其中，该DWT53运算过程可以如图6所示，其中，该图6中的最左侧的p0～p8共9个像素是输入的图像列数据。也就是说，每个cycle输入的是9个像素的数据，其中，该9个像素的数据可以指任意一列8个像素和一个补偿的像素。例如，如图4所示，输入第一列8个像素和其正下方的一个像素，共9个像素，即图4中斜线方块所示，作为该DWT53的运算过程中的输入数据，即对应p0～p8共9个像素。

如图6所示，对于任意一个cycle输入的9个像素的图像数据，经过4级(stg1至stg4)流水线计算后，得到4个低频数据L0～L3，以及4个高频数据H0～H3。其中，如图6所示，在DWT53运算过程中，加号表示加法器进行加法运算；减号表示减法器进行减法运算；rd表示舍弃低位数据；rd前面的加法器的“2”是指这个加法器对应的加法运算是将输入结果+2，这是J2K标准规定的。

另外，对于任意一个cycle输入的9个像素的图像数据的DWT53的运算过程，存在中间结果h3，例如如图6所示的星号标注的即为中间结果h3。该中间结果h3需要供后续的运算过程使用，例如，对于当前输入数据对应获得的中间结果h3，可以用于位于该当前输入数据正下方且相邻的一列数据的DWT53运算过程，例如该中间结果h3可以作为如图6所示的虚线减号处的代入数据。其中，若当前输入的数据在进行如图6所示的运算过程时，其不存在与之对应的根据之前的数据获得中间结果h3时，该虚线减号处代入的数据可以为预设值。

例如，如图4所示，假设当前输入该DWT53运算过程中的数据为第一列8个像素与一个补偿像素，那么经过如图6所示的计算过程，由于在其之前没有其他输入数据，因此，该第一列数据的虚线减号处代入的数据可以为预先设置的预设值。另外，在如图6所示的计算过程中，可以获得星号标注的中间结果h3，为了便于区别，这里表示为h31。之后，在输入该DWT53运算过程中的数据为如图4所示的第二个8*8的小块的第一列时，也就是坐标为(9,1)的像素点所在的一列的像素(即坐标为(9,1)至(16,1))以及其下方的一个补偿像素，该组输入数据在进行如图6所示的计算过程时，图6中虚线减号处的代入的数值为上述中间结果h31，并且进一步获得新的星号标注的中间结果，例如可以表示为h32。依次类推，按照上述过程，在该DWT53的运算过程中可以获得多个中间结果h3。

按照上述raw_fetch电路输出数据的顺序，采用该DWT53的运算过程依次处理每个cycle的输入数据，在此不再赘述。

类似的，DWT97单元用于对输入的数据进行DWT97运算，其中，该DWT53运算过程可以如图7所示，图中p0～p10是输入的图像列数据，其中，该11个像素点可以指任意一列8个像素和3个补偿的像素。例如，如图4所示，对于输入第4列的8个像素，与其正下方的三个像素，共11个像素，即图4中交叉线方块所示，作为该DWT97的运算过程中的输入数据，即对应p0～p10共11个像素。

如图7所示，对于任意一个cycle输入的11个像素的图像数据，经过12级(stg1至stg12)流水线计算后，得到4个低频数据L0～L3，以及4个高频数据H0～H3。其中，在DWT97运算过程中，加号对应表示加法器进行加法运算；减号表示减法器进行减法运算；乘号表示乘法器进行乘法运算；乘号前面的α、β、γ以及δ表示每个乘法器乘的系数，例如，该系数的具体取值可以为J2K标准规定的。

另外，对于任意一个cycle输入的11个像素的图像数据的DWT97的运算过程，存在中间结果h3和a3，例如如图6所示的星号标注的中间结果可以分别称为a3(对应图7中的右边星号)和h3(对应图7中左边星号)。该中间结果a3和h3也需要供后续运算过程使用，例如，对于当前输入数据对应获得的中间结果a3和h3，可以用于位于该当前输入数据正下方且相邻的一列数据的DWT53运算过程，例如该中间结果a3和h3可以分半作为如图7所示的虚线加号和虚线减号处的代入数据。其中，若当前输入的数据在进行如图7所示的运算过程时，不存在与之对应的根据之前的数据获得中间结果a3和h3时，该虚线加号和虚线减号处代入的数据可以为预设值。

例如，如图4所示，假设当前输入该DWT97运算过程中的数据为第四列8个像素与下方的三个补偿像素，那么在进行如图7所示的计算过程中，由于在其之上没有其他输入数据，因此，该第四列数据的虚线加号和虚线减号处代入的数据可以为预先设置的预设值。另外，在如图7所示的计算过程中，可以获得星号标注的中间结果a3和h3，为了便于区别，这里分别表示为a31和h31。之后，在输入该DWT97运算过程中的数据为如图4所示的第二个8*8的小块的第四列时，也就是坐标为(9,4)的像素点所在的一列的像素(即坐标为(9,4)至(16,4))以及其下方的3个补偿像素，该组输入数据在进行如图7所示的计算过程时，图7中虚线减号处的代入的数值为上述计算结果h31，图7中虚线加号处的代入的数值为上述计算结果a31，并且进一步获得新的星号标注的计算结果，例如可以分别表示为a32和h32。

应理解，对于上述DWT53和DWT97计算过程，由于每个cycle的图像数据的计算过程中，需要使用与其对应的上方数据的部分中间数据，因此，在该Column电路110中还可以包括存储单元，每个存储单元可以为存储器，例如，包括随机存取存储器(Random AccessMemory，RAM)，以用于保存DWT53的运算过程中需要保存的中间结果h3以及DWT97的运算过程中需要保存的中间结果a3和h3。例如，该Column电路110中可以包括两组存储单元，这里分别称为第一存储单元组col8_ram和第二存储单元组col64_ram，以用于存储上述过程中星号标注的计算结果。其中，第一存储单元组和第二存储单元组分别可以包括一个或者多个存储单元。

具体地，如图5所示，该Column电路110中可以设置为包括4个存储器，其中，2个存储器用于存储DWT53的运算过程和DWT97的运算过程中的h3，例如，如图5中的col8_ram_h和col64_ram_h；另外2个存储器用于存储DWT97的运算过程中的a3，例如，如图5中的col8_ram_a和col64_ram_a。对应的，即第一存储单元组col8_ram包括两个存储单元，分别为col8_ram_h和col8_ram_a；第二存储单元组col64_ram包括两个存储单元，分别为col64_ram_h和col64_ram_a。

应理解，按照上述内容，如图6和图7所示的星号标注的计算结果，对应用于当前输入的列数据的正下方的一列输入数据的计算过程。那么，假设对于具有256*256个像素点的图像数据，如图3所示，对于每个64*64的块，每计算完该64*64的块的一行的8个8*8*小块，会折回继续计算下一行的各个8*8的小块，那么此时需要使用上一行的各个8*8的小块的星号标注的计算结果，直至输入完该64*64块。该Column电路110可以通过设置的第一存储单元组col8_ram分别存储97/53的一行64*8块计算中产生的a3/h3数据，其中，a3和h3可以分开存储，该第一存储单元组包括第一存储单元和第二存储单元，分别用于存储a3和h3。例如，第一存储单元用于：存储第一列数据在经过该DWT53运算或者该DWT97运算后输出的第一中间结果h3，该第一中间结果h3用于该第二列数据的该DWT5 3运算过程或者该DWT97运算过程，这里的第一列数据指的是任意一列数据，并非一定是位置上的第一列；该第二存储单元用于：存储该第一列数据在经过该DWT97运算后输出的第二中间结果a3，该第二中间结果a3用于该第二列数据的该DWT53运算过程，该第一列数据为位于该第二列数据的正上方且与该第二列数据相邻的一列数据。

即Column电路110中设置col8_ram_h存储每行64个h3，以及设置col8_ram_a存储每行64个a3。如图3所示，假设计算完第一个64*64的块，那么会继续计算其右边的第二个64*64的块，但是第一个64*64的块的最后一行的64个a3和h3的结果是在计算该第一个64*64的块的正下方的64*64的块(图3中未示出)时使用。以此类推，那么如图3所示的4个64*64的块均计算完成后，会得到64*4个a3和h3值，这些值可以通过Column电路110中设置的第二存储单元组col64_ram进行保存。同样的，a3和h3分开存储，即Column电路110中设置col64_ram_h存储每一整行64*4个h3，以及设置col64_ram_a存储每一整行64*4个a3。

可选的，将DWT53运算过程的h3和DWT97运算过程的h3存储在相同的ram中，这样，可以节省存储器和功耗，利于电路小型化。

另外，当选择DWT53模式时，可以不使能col8_ram_a和col64_ram_a，以此节省功耗。

下面描述Permute电路(也可称为行列转换电路)120。该Permuter电路120用于将按列输入的中间数据块进行缓存后按行输出至Row电路130中，或者也可以说，该Permuter电路120用于将输入的中间数据块进行转置处理后输出至Row电路130中。

具体地，Permuter电路120的输入数据即为Column电路110的输出数据，Permuter电路120将Column电路110输出的列运算的结果存在寄存器堆中，再按照图8的顺序将数据按行输出到用于行运算的Row电路130。

例如，以DWT97的运算过程为例，Permuter电路120将按列输入的数据进行存储，如图8所示，当输入了11列数据之后，也就是完成第一个8*8的小块的输入，以及下一个8*8的小块的部分输入时，Permuter电路120则可以开始按行读取并输出该数据至Row电路130；与此同时，该Permuter电路120的依然在存储下一个8*8的小块，Permuter电路120的输入和输出可以同时进行，并且，除了第一个时钟周期需要等该Permuter电路120存储11列(即如图8所示的pmt0表示的11列)以外，之后每完成8列输入，即可以开始按行读取。

如图8所示，对于第一个8*8的小块，按照从上之下的顺序，Permuter电路120依次输出每一行11个像素，其中包括3个补偿像素，例如，输出如图8所示的左边的椭圆形包括的11个像素，其中，tmp0表示补偿的部分。当完成8行数据的输出之后，也就是完成第一个8*8的小块的输出，继续执行其右边的第二个8*8的小块的输出，同样每次输出一行11个像素，其中包括3个补偿像素，例如，输出如图8所示的右边的椭圆形的11像素，其中，tmp1表示补偿的部分。依次类推，依次输出每个8*8的小块的图像数据。

再例如，对于DWT53的运算过程，与上述DWT97的输出不同的地方在于，每次输出的数据为9个像素，其中包括1个补偿像素，也就是DWT53的运算过程与上述DWT97运算过程的补偿像素个数不同，导致每次输出的数据不同，但是输出的方式和方向相同，为了简洁，在此不再赘述。

应理解，该Permuter电路120在每个8*8的小块内部按照上述从上到下的方式输出每一行；而对于如图3所示的4个64*64的块，若以每个8*8的块为一个单元，则Permuter电路120读取每个单元的顺序与图3相同，即从左至右，再从上至下，在此不再赘述。

下面描述Row电路130。该Row电路130用于将按行输入的数据进行DWT行运算后按行输出，以完成该DWT运算装置100的DWT的计算过程，或者也可以说，该Row电路130用于完成dwt行变换。

具体地，Row电路130与Column电路110的计算过程基本一致，差别在于Row电路130中输入的数据为行数据，为了简洁，在此不再赘述。

另外，在ram资源使用方面，与Column电路110类似，该Row电路130中也包括存储单元，每个存储单元可以用于保存DWT53的运算过程中需要保存的中间结果h3以及DWT97的运算过程中需要保存的中间结果a3和h3。例如，该Row电路130中可以包括两组存储单元，这里分别称为第三存储单元组col8_ram和第四存储单元组col64_ram，以用于存储运算过程中星号标注的中间计算结果。其中，第三存储单元组和第四存储单元组分别可以包括一个或者多个存储单元。

具体地，与Column电路110类似，该Row电路130中也可以设置如图5所示的四个存储单元，2个存储器用于存储DWT53的运算过程和DWT97的运算过程中的h3，例如，设置如图5中的col8_ram_h和col64_ram_h；另外2个存储器用于存储DWT97的运算过程中的a3，例如，设置如图5中的col8_ram_a和col64_ram_a。即第三存储单元组col8_ram包括两个存储单元，分别为第三存储单元col8_ram_h和第四存储单元col8_ram_a；第四存储单元组col64_ram包括两个存储单元，分别为col64_ram_h和col64_ram_a。

其中，第三存储单元col8_ram_h用于：存储第一行数据在经过该DWT53运算或者该DWT97运算后输出的第一中间结果h3，该第一中间结果h3用于该第二行数据的该DWT5 3运算过程或者该DWT97运算过程，这里的第一行数据指的是任意一行数据，并非一定是位置上的第一行；该第四存储单元col8_ram_a用于：存储该第一行数据在经过该DWT97运算后输出的第二中间结果a3，该第二中间结果a3用于该第二行数据的该DWT53运算过程，该第一行数据为位于该第二行数据的左边且与该第二行数据相邻的一行数据。

由于Row电路130的运算过程中，在处理下一个8*8的小块时，就会使用当前处理的8*8的小块对应获得并存储的星号标注的a3/h3，而不是如Column电路110运算过程一样，需要等待最少完成一行8*64个像素之后才使用。因此，在Row电路130中，可以将col8_ram(包括col8_ram_h和col8_ram_a)的大小设置为8*32bit(这里假设每个h3或者a3占用32bit)，而不是Column电路110中的64*32bit；同样的，对于Row电路130中的row64_ram的大小，可以设置为64*32bit，而不是Column电路110中的256*32bit。

另外，针对DWT97运算过程，Row电路130还可以包括定标器scaler，用于对DWT97结果进行放大或者缩小处理。DWT97过程中Row电路130的行变换完成后，需对输出结果{LL,HL,LH,HH}做一次scale操作；而DWT53过程不需要。因此，可以将scaler加到Row电路130中。

具体地，如图9所示，DWT97的输出结果需要进行3级流水处理。其中，第一级流水(如图9所示的stg1)中，对于DWT97按行输出的结果，通过scaler确定乘以不同的系数(coeff)，例如，根据DWT97按行输出的结果的大小，可以对应乘以系数{k²,1}，或者也可以乘以系数{1,1/k²}。例如，可以通过如图9所示的左边的选择器，根据输入数据的不同，选择出不同的系数输出。具体地，待处理数据块中任意一个数据经过Column电路110中DWT97的运算后，可能输出为高频数据H，或者，也可能输出为低频数据L；后续该数据在经过Row电路130中DWT97的运算后，则该数据可能输出为以下四种类型中任意一种：HH,HL,LH,LL。因此，对于输入scaler的{HH,HL,LH,LL}这四种可能的数据类型，HL和LH乘以系数1，HH乘以系数k²，LL乘以系数1/k²。不同的系数(coefficient)与DWT97按行输出的结果相乘。

之后在第二级流水(如图9所示的stg2)中，上一级流水的结果再进行四舍五入(round)操作和/或溢出(clip)处理，其中，clip处理是指如果数据范围超出输出数据的最大或最小值，用对应的最大值或者最小值代替。

之后在第三级流水(如图9所示的stg3)中，选择器根据编码模式，例如硬件中可以通过1bit的信号来区分编码是有损还是无损，从而选择输出的数据，即为最终的计算结果。

与DWT97过程不同的是，在DWT53过程中，仅经过1级流水处理，即经过如图9所示的sgt3，经过选择器根据编码模式的选择，输出数据，即为最终的计算结果。

因此，本申请实施例提供的DWT运算装置为能够高效实现DWT运算的硬件结构，实时性高，功耗低，例如，在本申请上述实施例中，其处理速度可以达到8pixel/cycle，这样大大降低了DWT运算的执行时间和功耗；并且该DWT运算装置支持DWT97和DWT53的切换，灵活性高，两种模式的RAM资源完全复用，资源消耗少。

本发明实施例可通过SoC FPGA实现。

可选的，本申请实施例还提出了一种图像处理装置。具体地，图10示出了本申请实施例的图像处理装置200的示意性框图。如图10所示，该图像处理装置200包括DWT运算装置210和处理装置220。

具体地，该DWT运算装置可以为本申请实施例的DWT运算装置，例如，可以包括本申请实施例的DWT运算装置100。该DWT运算装置210用于对该待处理数据块进行DWT运算后生成小波系数，并将该小波系数传输至该处理装置220；该处理装置220用于对该小波系数进行以下至少一种处理：降噪处理，DWT逆运算，量化处理和熵编码处理。

例如，该图像处理装置200可以用于基于DWT变换对信号进行去噪。具体地，首先对含噪声的信号进行小波变换，即通过DWT运算装置210进行小波变换，以生成小波系数；其次，对变换得到的小波系数进行某种处理，以去除其中包含的噪声，即通过处理装置220进行降噪处理，该降噪处理可以为对该小波系数进行降噪处理，以去除其中包含的噪声；最后，对处理后的小波系数进行小波逆变换，得到去噪后的信号，即通过处理装置220进行DWT逆运算，该DWT逆运算为对降噪处理后的小波系数进行DWT逆变换，输出去燥后的信号。

再例如，该图像处理装置200还可以用于编码器的处理过程。其中，处理装置220的量化处理可以包括：对按照预设的量化步长对小波系数进行量化处理，并将量化处理后的小波系数发送至该熵编码装置；该处理装置220的熵编码处理可以包括：根据预设的编码规则，对量化处理后的该小波系数进行编码。

可选的，本申请实施例还提出了一种可移动平台。具体地，图11示出了本申请实施例的可移动平台300的示意性框图。如图11所示，该可移动平台300包括：机体310；动力系统320，设于该机体310内，用于为该可移动平台300提供动力；图像采集装置330，用于采集图像；以及图像处理装置340，用于对该图像进行处理。其中，该图像处理装置340可以为本申请实施例中的图像处理装置，例如，该图像处理装置340可以为本申请实施例的图像处理装置200。该图像处理装置340可以包括本申请实施例中的DWT运算装置，例如，可以包括本申请实施例的DWT运算装置100。

本发明实施例中的可移动平台300可以指任意可移动设备，该可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。该可移动设备可以是飞机，例如无人机(Unmanned Aerial Vehicle，简称为“UAV”)。

机体310也可以称为机身，该机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在UAV着陆时起支撑作用。

动力系统320可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机，其中电机连接在电子调速器与螺旋桨之间，电机和螺旋桨设置在对应的机臂上；电子调速器用于接收飞行控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速。电机用于驱动螺旋桨旋转，从而为UAV的飞行提供动力，该动力使得UAV能够实现一个或多个自由度的运动。应理解，电机可以是直流电机，也可以交流电机。另外，电机可以是无刷电机，也可以有刷电机。

所述图像采集装置330包括拍摄设备(例如，相机、摄像机等)或视觉传感器(例如，单目摄像头或双/多目摄像头等)。

可选的，本申请实施例还提出了一种相机。具体地，图12示出了本申请实施例的相机400的示意性框图。如图12所示，该相机400包括：外壳410；镜头组件420，设于该外壳410内部；传感器模块430，设于该外壳410内部并设于该镜头组件420的后端，用于感知通过该镜头组件420的光并生成电信号；以及图像处理装置440，用于对该电信号进行处理。

其中，该图像处理装置440可以为本申请实施例中的图像处理装置，例如，该图像处理装置440可以为本申请实施例的图像处理装置200。该图像处理装置440可以包括本申请实施例中的DWT运算装置，例如，可以包括本申请实施例的DWT运算装置100。

应理解，本申请各实施例的装置中的各个电路中还可以包括基于存储器和处理器实现的部分，其中，各存储器用于存储用于执行本申请个实施例的方法的指令，处理器执行上述指令，使得对应部分可以执行本申请各实施例的部分方法。

应理解，本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。

应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例还提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行上述各方法实施例的方法。

本申请实施例还提供一种计算设备，该计算设备包括上述计算机可读存储介质。

本申请实施例可以应用在飞行器，尤其是无人机领域。

应理解，本申请各实施例的电路、子电路、子单元的划分只是示意性的。本领域普通技术人员可以意识到，本文中所公开的实施例描述的各示例的电路、子电路和子单元，能够再行拆分或组合。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(Digital Video Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。

应理解，本申请各实施例均是以总位宽为16位(bit)为例进行说明的，本申请各实施例可以适用于其他的位宽。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种DWT运算装置，其特征在于，包括：列电路(110)、交织器电路(120)和行电路(130)，

所述列电路(110)用于：接收预设的待处理数据块，对所述待处理数据块按列进行DWT运算生成中间数据块，并将所述中间数据块按列输出至所述交织器电路(120)中；

所述交织器电路(120)用于：对按列输入的所述中间数据块按行输出至所述行电路(130)中；

所述行电路(130)用于：将按行输入的所述中间数据块进行DWT运算，以获得运算结果。

2.根据权利要求1所述的DWT运算装置，其特征在于，所述DWT运算包括DWT53运算和/或DWT97运算。

3.根据权利要求2所述的DWT运算装置，其特征在于，所述列电路(110)包括第一DWT53单元和第一DWT97单元，所述行电路(120)包括第二DWT53单元和第二DWT97单元，

所述第一DWT53单元用于：对按列输入的所述待处理数据块进行所述DWT53运算；

所述第一DWT97单元用于：对按列输入的所述待处理数据块进行所述DWT97运算；

所述第二DWT53单元用于：对按行输入的所述中间数据块进行所述DWT53运算；

所述第二DWT97单元用于：对按行输入的所述中间数据块进行所述DWT97运算。

4.根据权利要求3所述的DWT运算装置，其特征在于，所述列电路(110)包括：

第一地址计算单元，用于将按列输入的所述待处理数据块输出至所述第一DWT53单元和/或所述第一DWT97单元；

所述行电路(120)包括：

第二地址计算单元，用于将按行输入的所述中间数据块输出至所述第二DWT53单元和/或所述第二DWT97单元。

5.根据权利要求2至4中任一项所述的DWT运算装置，其特征在于，所述列电路(110)包括至少一个存储单元，所述至少一个存储单元用于：存储输入的第一列数据在经过所述DWT53运算和/或所述DWT97运算后输出的至少一个中间结果，所述至少一个中间结果用于与所述第一列数据对应的第二列数据的所述DWT53运算和/或所述DWT97运算过程，所述第一列数据为输入的所述待处理数据块中的任意一列数据。

6.根据权利要求5所述的DWT运算装置，其特征在于，所述至少一个存储单元包括第一存储单元和第二存储单元，

所述第一存储单元用于：存储所述第一列数据在经过所述DWT53运算或者所述DWT97运算后输出的第一中间结果，所述第一中间结果用于所述第二列数据的所述DWT53运算过程或者所述DWT97运算过程；

所述第二存储单元用于：存储所述第一列数据在经过所述DWT97运算后输出的第二中间结果，所述第二中间结果用于所述第二列数据的所述DWT53运算过程，所述第一列数据为位于所述第二列数据的正上方且与所述第二列数据相邻的一列数据。

7.根据权利要求2至4中任一项所述的DWT运算装置，其特征在于，所述行电路(130)包括至少一个存储单元，所述至少一个存储单元用于：存储输入的第一行数据在经过所述DWT53运算和/或所述DWT97运算后输出的至少一个中间结果，所述至少一个中间结果用于与所述第一行数据对应的第二行数据的所述DWT53运算和/或所述DWT97运算过程，所述第一行数据为输入的所述中间数据块中的任意一行数据。

8.根据权利要求7所述的DWT运算装置，其特征在于，所述至少一个存储单元包括第三存储单元和第四存储单元，

所述第三存储单元用于：存储所述第一行数据在经过所述DWT53运算或者所述DWT97运算后输出的第三中间结果，所述第三中间结果用于所述第二行数据的所述DWT5 3运算过程或者所述DWT97运算过程；

所述第四存储单元用于：存储所述第一行数据在经过所述DWT97运算后输出的第四中间结果，所述第四中间结果用于所述第二行数据的所述DWT53运算过程，所述第一行数据为位于所述第二行数据的左边且与所述第二行数据相邻的一行数据。

9.根据权利要求2至8中任一项所述的DWT运算装置，其特征在于，所述行电路(130)还包括：

定标器，用于对在行电路(130)中经过所述DWT97运算的输出结果进行放大或缩小处理。

10.一种用于DWT运算装置中处理数据的方法，其特征在于，所述DWT运算装置包括：列电路、交织器电路和行电路，所述方法包括：

获取预设的待处理数据块；

通过所述列电路对所述待处理数据块按列进行DWT运算生成中间数据块，并将所述中间数据块按列输出至所述交织器电路中；

通过所述交织器电路对按列输入的所述中间数据块按行输出至所述行电路中；

通过所述行电路将按行输入的所述中间数据块进行DWT运算，以获得运算结果。

11.根据权利要求10所述的方法，其特征在于，所述DWT运算包括DWT53运算和/或DWT97运算。

12.根据权利要求11所述的方法，其特征在于，所述列电路包括第一DWT53单元和第一DWT97单元，所述行电路包括第二DWT53单元和第二DWT97单元，

所述通过所述列电路对所述待处理数据块按列进行DWT运算生成中间数据块，包括：

通过所述第一DWT53单元，对按列输入的所述待处理数据块进行所述DWT53运算生成所述中间数据块，或者，

通过所述第一DWT97单元，对按列输入的所述待处理数据块进行所述DWT97运算生成所述中间数据块；

所述通过所述行电路将按行输入的所述中间数据块进行DWT运算，包括：

通过所述第二DWT53单元，对按行输入的所述中间数据块进行所述DWT53运算，或者，

通过所述第二DWT97单元，对按行输入的所述中间数据块进行所述DWT97运算。

13.根据权利要求12所述的方法，其特征在于，所述列电路还包括第一地址计算单元，所述行电路还包括第二地址计算单元，

所述方法还包括：

通过所述第一地址计算单元，将按列输入的所述待处理数据块输出至所述第一DWT53单元和/或所述第一DWT97单元；

通过所述第二地址计算单元，将按行输入的所述中间数据块输出至所述第二DWT53单元和/或所述第二DWT97单元。

14.根据权利要求11至13中任一项所述的方法，其特征在于，所述列电路包括至少一个存储单元，

所述列电路中的DWT运算包括：

通过所述至少一个存储单元，存储输入的第一列数据在经过所述DWT53运算和/或所述DWT97运算后输出的至少一个中间结果，所述至少一个中间结果用于与所述第一列数据对应的第二列数据的所述DWT53运算和/或所述DWT97运算过程，所述第一列数据为输入的所述待处理数据块中的任意一列数据。

15.根据权利要求14所述的方法，其特征在于，所述至少一个存储单元包括第一存储单元和第二存储单元，

所述通过所述至少一个存储单元，存储输入的第一列数据在经过所述DWT53运算和/或所述DWT97运算后输出的至少一个中间结果，包括：

通过所述第一存储单元，存储所述第一列数据在经过所述DWT53运算或者所述DWT97运算后输出的第一中间结果，所述第一中间结果用于所述第二列数据的所述DWT5 3运算过程或者所述DWT97运算过程；

通过所述第二存储单元，存储所述第一列数据在经过所述DWT97运算后输出的第二中间结果，所述第二中间结果用于所述第二列数据的所述DWT53运算过程，所述第一列数据为位于所述第二列数据的正上方且与所述第二列数据相邻的一列数据。

16.根据权利要求11至13中任一项所述的方法，其特征在于，所述行电路包括至少一个存储单元，

所述行电路中的DWT运算包括：

通过所述至少一个存储单元，存储输入的第一行数据在经过所述DWT53运算和/或所述DWT97运算后输出的至少一个中间结果，所述至少一个中间结果用于与所述第一行数据对应的第二行数据的所述DWT53运算和/或所述DWT97运算过程，所述第一行数据为输入的所述中间数据块中的任意一行数据。

17.根据权利要求16所述的方法，其特征在于，所述至少一个存储单元包括第三存储单元和第四存储单元，

所述通过所述至少一个存储单元，存储输入的第一行数据在经过所述DWT53运算和/或所述DWT97运算后输出的至少一个中间结果，包括：

通过所述第三存储单元，存储所述第一行数据在经过所述DWT53运算或者所述DWT97运算后输出的第三中间结果，所述第三中间结果用于所述第二行数据的所述DWT53运算过程或者所述DWT97运算过程；

通过所述第四存储单元，存储所述第一行数据在经过所述DWT97运算后输出的第四中间结果，所述第四中间结果用于所述第二行数据的所述DWT53运算过程，所述第一行数据为位于所述第二行数据的左边且与所述第二行数据相邻的一行数据。

18.根据权利要求11至17中任一项所述的方法，其特征在于，所述行电路还包括：定标器；

所述方法还包括：

通过所述定标器，对在行电路中经过所述DWT97运算的输出结果进行放大或缩小处理后按行输出。

19.一种图像处理装置，其特征在于，包括：处理装置和如权利要求1至9中任一项所述的DWT运算装置；

所述DWT运算装置用于对所述待处理数据块进行DWT运算后生成小波系数，并将所述小波系数传输至所述处理装置；

所述处理装置用于对所述小波系数进行以下一种或多种处理：

降噪处理，DWT逆运算，量化处理和熵编码处理。

20.一种可移动平台，其特征在于，包括：

机体；

动力系统，设于所述机体内，用于为所述可移动平台提供动力；

图像采集装置，用于采集图像；以及

如权利要求19所述的图像处理装置，用于对所述图像进行处理。

21.一种相机，其特征在于，包括：

外壳；

镜头组件，设于所述外壳内部；

传感器模块，设于所述外壳内部并设于所述镜头组件的后端，用于感知通过所述镜头组件的光并生成电信号；以及

如权利要求19所述的图像处理装置，用于对所述电信号进行处理。

Images