CN105046681A - 一种基于SoC的图像显著性区域检测方法 - Google Patents

Abstract

本发明提供一种基于嵌入式SoC的图像显著性区域检测方法，其特征是：在嵌入式平台Xilinx？Zynq-7000？SoC上对彩色图像先进行R、G、B三通道的中值滤波，利用RGB、CIE？LAB颜色特征与显著区域边缘特征的结合，对高斯差分处理后的图像分别进行颜色空间转换和离散余弦变换、反变换(sign？DCT/IDCT)处理，得到LAB颜色特征显著图和RGB颜色特征与边缘特征的合成显著图，再利用相关归一化方法融合而得到最终的显著图；针对算法中各部分可实现方式，利用软硬件协同设计技术进行软硬件划分和并行优化，并将FPGA可实现部分固化为IP，PL和PS部分通过内部总线AXI4进行数据的高速交互和传递，使得整个检测算法以串并行的方式实现，该系统可以保证RGB图像中的显著性区域准确快速地检测出来，并可应用于具体的工业检测中。

Description

一种基于SoC的图像显著性区域检测方法

技术领域

本发明涉及一种基于嵌入式机器视觉的图像显著性区域实时检测方法，具体是指基于Zynq-7000SoC实现实时图像处理，通过处理算法的IP设计实现整个图像显著性区域检测算法的模块化，利用丰富的硬件资源和并行优化提高图像处理的速度和实时性。

背景技术

近年来机器视觉技术发展迅猛，图像显著性区域检测在不同应用背景下研究越来越广泛。如基于感兴趣区域的自适应图像压缩、图像分割、目标跟踪、工业视觉检测等。目前，显著性检测主要有IT、RC、AC、FT、MZ等十多种经典方法，主要可分为三大类：第一类，视觉注意机制方法，该方法由Itti提出，且许多方法是基于此进行改进；第二类，基于全局和局部对比度的方法；第三类，基于对比度计算的单元规模的方法。在诸多方法中，都存在一些不足，如低分辨率、边界信息丢失、计算量大等。

在显著性检测中，关键在于图像特征点的提取与计算合成，主要特征信息有颜色、亮度、方向、纹理、对比度、边缘等。IT模型主要是基于中央-周围环绕原理，只能提取若干显著点，而不是全部的显著目标；FT方法主要通过可调谐频率来抑制低频信息而增强高频信息实现检测，但是只考虑一阶平均颜色，难以适应于背景复杂的图像；RC模型基于全局区域对比度分析方法，难以准确地得到颜色对比度，并在复杂纹理背景图像中存在局限性。不少检测方法利用不同特征分别得到的显著图进行融合实现检测，如RGB与CIELAB颜色特征的结合、CIELAB颜色特征与Gabor滤波器的结合、融合对比度和分布性、颜色特征与小波变换结合等，该类方法取得效果往往较好，但仍有计算量大、速度慢，在一些对处理速度和实时性要求较高的场合难以满足要求。鉴于此，嵌入式平台越来越多地应用到图像处理中，基于FPGA的预处理和特征提取在速度方面有较大优势，且实现方式灵活。

针对传统基于PC的显著性检测方法存在的不足，提出一种基于RGB、CIELAB颜色特征和显著区域边缘特征的SoC快速提取图像显著性区域方法。利用FPGA的灵活设计和并行处理结构可以大幅度地缩短高斯差分、颜色空间转换、DCT/IDCT等计算时间，提高实时性，根据不同算法进行IP核设计，可大大缩短开发周期并易于扩展和升级。

发明内容

本发明目的是针对传统基于PC的显著性检测方法存在的不足，提出一种基于RGB、CIELAB颜色特征和显著区域边缘特征的SoC快速提取图像显著性区域方法。通过软硬件协同设计技术在嵌入式Zynq-7000SoC平台上实现显著性检测算法，利用丰富的硬件资源对算法进行优化提速，以增强检测的实时性和准确性。为达到此目的，本发明通过如下技术方案实现：

基于FPGA的图像处理：

(1)对测试的RGB图像进行R、G、B三通道3×3快速中值滤波预处理；

(2)对预处理后的图像进行高斯差分(DoG)处理，凸显待测图像的显著性区域，计算RGB特征像素向量I_rgb和像素平均特征向量I_μ；

(3)对(2)中处理的图像进行颜色空间的转换，由初始的RGB格式转到CIELAB格式，得到图像像素向量I_lab；

(4)对(2)中图像分别进行R、G、B三通道离散余弦变换(DCT)，并取每通道DCT系数的sign值，再对signDCT处理后的单通道图像分别进行反离散余弦变换(IDCT)，得到重构后三单通道图像向量；

基于ARM部分进一步处理：

(5)计算(2)中RGB颜色特征显著图S_rgb(x，y)＝||I_μ(x，y)-I_rgb(x，y)||，利用均值作差平方求和合成(4)中三通道图像得到显著区域边缘S_edge(x，y)，再合成S_rgb(x，y)，S_edge(x，y)得到显著图S₁(x，y)；

(6)计算(3)中颜色格式转换后待测图像中对称包围子图像的像素平均值，得平均像素向量I_m；计算基于LAB颜色特征的显著性区域：

S₂(x，y)＝||I_m(x，y)-I_lab(x，y)||；

(7)利用相关归一化方法融合(5)和(6)中两显著图S₁(x，y)，S₂(x，y)，得到最终的显著图S(x，y)。

本发明的有益效果是：本发明提供了一种基于RGB、CIELAB颜色特征和显著区域边缘特征的SoC快速显著性区域检测方法，对高斯差分处理后的图像分别进行颜色空间转换和离散余弦变换、反变换处理，从而得到不同特征的显著图，利用相关归一化方法融合显著图。在Zynq-7000SoC平台上，利用软硬件协同设计的方法将检测算法进行合理的软硬件划分，从而充分利用其硬件资源和并行优化设计对算法进行较大地提速。通过检测算法的IP设计，实现FPGA和ARM的无缝结合，能够快速地进行实时处理，可以大大提高检测速度和效率。

附图说明

图1本发明的系统结构框图

图2本发明算法整体流程图

图3流水线式快速中值滤波算法IP结构图

图4可分离高斯滤波并行实现DoG滤波器IP结构图

图5图像RGB格式转换CIELab格式IP结构图

图6离散余弦变换DCT运算模块IP结构图；(a)为采用并行乘法器的8个点DCT运算结构图，(b)为块二维DCT结构图

具体实施方式

为使本发明的目的、技术方案和优点等更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

本发明的基本目的是检测RGB图像的显著性区域，在Zynq-7000SoC平台上利用RGB、CIELAB颜色特征和显著区域边缘特征实现快速图像处理，并显示检测结果。

进一步的，具体实现步骤为：

系统硬件框图如图1，其中Zynq主要由基于AXI4总线连接的PL和PS组成，Zynq是以ARM为核心，运行时第一个启动，然后找到可执行代码进入FSBL(第一引导阶段)，再找到检测系统硬件设计IPLogicBlock的Bit文件，使得PL按照Bit中设计方式运行，ARM通过使用总线AXI_GP设计的AXI4-Lite接口控制图像输入，图像数据经过AXI4-Stream总线进入PL，并进行实时预处理和显著性检测处理，处理后的数据需要传输到ARM控制的DDR3SDRAM中进一步处理。最后处理的结果可以通过AXI4-Stream总线传输到HDMI显示端口，直接在显示器上显示检测结果。

在Zynq中，PS与PL之间的接口只支持AXI4-Lite和AXI4两种总线，AXI4-Stream只能在PL中实现，不能直接和PS相连，必须通过AXI4-Lite或AXI4转接。在图像数据传输中，数据传输部分使用AXI_HP总线设计AXI4_Stream接口，提供快速的数据传输功能，而在控制部分使用AXI_GP总线设计的AXI4_Lite接口。图像数据输入到PL部分并且实现图像处理IP之间的数据传输只能通过AXI4_Stream接口，当PL与PS要进行数据交互时则要通过AXIVDMA的转换来实现。为实现PL部分的图像处理，需要自定义AXI4_Stream类型IP，与处理前后其他IP的AXI4_Stream接口连接，实现数据的输入输出，自定义图像处理IP主要是针对基于FPGA实现的图像处理算法。

(1)FPGA(PL)部分图像处理

(1.1)对测试的RGB图像进行R、G、B三通道3×3快速中值滤波预处理，以抑制噪声去除干扰。

快速中值滤波是将n×n模板的每一列进行排序(降序)，再对每一行进行排序(降序)，最后取对角线像素的中值作为输出。当为3×3模板时，快速中值滤波是将列排序(降序)后的模板分别求取第一行的最小值min1和第三行的最大值max3，各需比较2次，再求中间行的中值med2需比较3次，最后求取Med{min1，med2，max3}，总的比较次数降为19次，如附图3所示。这样可以大大减小中值滤波的计算量，充分利用FPGA的流水线设计，提高预处理速度。

(1.2)对预处理后的图像进行高斯差分处理，以凸显图像中显著性区域，并得到RGB特征像素向量I_rgb和像素平均特征向量I_μ；

高斯差分处理(DoG)常用于图像特征点和显著性检测，通过将原始图像经过带有不同标准差的高斯核进行卷积处理得到高斯模糊图像，抑制图像高频信息。显著性区域检测用到更多的是图像的低频信息，所以计算显著性所需的最低频率ω_l应该更低，而为使得显著图具有更丰富的信息，最高频率ω_h应尽可能高。ω_l，ω_h可以通过带通滤波器DoG滤波器获取，其表达式为：

$\mathrm{DoG}(x,y)=\frac{1}{2\mathrm{\π}}[{\frac{1}{{{\mathrm{\σ}}_1}^2}e}^{-\frac{(x^2+y^2)}{{{2\mathrm{\σ}}_1}^2}}-\frac{1}{{{\mathrm{\σ}}_2}^2}{e}^{-\frac{(x^2+y^2)}{{{2\mathrm{\σ}}_2}^2}}]=G(x,y,{\mathrm{\σ}}_1)-G(x,y,{\mathrm{\σ}}_2)---\left(1\right)$

其中，σ₁，σ₂是高斯标准差，且σ₁＞σ₂。DoG滤波器是一个简单的带通滤波器，其通带带宽取决于σ₁/σ₂的值。可令ρ＝σ₁/σ₂，可见ρ限定了DoG的带宽，单个DoG难以得到较大的[ω_l，ω_h]，故采用N个DoG得到DoG滤波器组，则组合DoG滤波器用ρ可表示为：

$\begin{array}{c}{\mathrm{DoG}}_N(x,y)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}[G(x,y,{\mathrm{\ρ}}^{n+1}\mathrm{\σ})-G(x,y,{\mathrm{\ρ}}^n\mathrm{\σ})]\\ =G(x,y,{\mathrm{\ρ}}^N\mathrm{\σ})-G(x,y,{\mathrm{\ρ}}^{N-1}\mathrm{\σ})+G(x,y,{\mathrm{\ρ}}^{N-1}\mathrm{\σ})-G(x,y,{\mathrm{\ρ}}^{N-2}\mathrm{\σ})+......\\ +G(x,y,{\mathrm{\ρ}}^2\mathrm{\σ})-G(x,y,\mathrm{\σ})\\ =G(x,y,{\mathrm{\σ\ρ}}^N)-G(x,y,\mathrm{\σ})\end{array}---\left(2\right)$

由式(2)可知，通过选择K＝ρ^N的大小来确定DoG的带宽，为了获得更大带宽，使K尽可能大，当N＝∞时，G(x，y，ρ^Nσ)即为整幅图像的平均。DoG滤波器的高斯核尽量选择小型的，可以减小计算量，降低高频噪声和纹理。由于图像数据量大，一般流水线设计高斯滤波处理计算量大，为减少乘法器和加法器数量，充分利用高斯滤波器的可分离性，即w[i，j]＝w_x[i]w_y[j]，将二维滤波器分解为两个一维滤波器的级联，W×W的模板可以分解为一个1×W对列操作的滤波器和一个W×1对行操作的滤波器，可将乘法和加法数量从W²减少到2W。如图4(a)所示，高斯滤波器有效地实现了列窗口中像素的并行处理，随着图像数据的流入，滤波器函数串行地从一列移到另一列，行和列滤波器可以直接流水相连，c(-1)，c(0)，c(1)分别表示3×3卷积模板的第一、二、三列。高斯函数是一个偶函数，所以卷积模板中部分系数是相同的，且具有对称性，如c(-1)＝c(1)，利用该特性可以再次减少乘法器的数量，加快数据的处理速度，该优化结构如图4(b)所示。DoG模块可以通过简单的减法器实现，该模块的一个难点就是输入都来自不同标准差的高斯滤波IP的输出数据，两输入之间存在延迟，故采用一个移动寄存器同步两输入像素流，如图4(c)所示。

(1.3)将经过DoG处理的图像进行颜色空间转换，得到相应的图像像素特征向量I_lab；

相比于图像RGB格式，从CIELAB导出的色彩空间在视觉上更加均匀，CIELAB颜色特征也是显著性检测中最常用的特征。由RGB格式转成CIEL^*a^*b^*需要两步，首先将转成CIEXYZ格式，由RGB到XYZ的逆变换公式为：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.4124& 0.3576& 0.1805\\ 0.2126& 0.7152& 0.0722\\ 0.0193& 0.1192& 0.9505\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(3\right)$

L^*a^*b^*空间有三个分量L^*，a^*，b^*，可采用参考白点{X_N，Y_N，Z_N}来定义，并引入式(4)非线性使空间更加均匀，

则 $I_{L^{*}{a}^{*}{b}^{*}}=\{L^{*},a^{*},b^{*}\}$ 转换为：

L^*＝116f(Y/Y_N)-16

a^*＝500(f(X/X_N)-f(Y/Y_N))(5)

b^*＝200(f(Y/Y_N)-f(Z/Z_N))

其中，由参考白点(D65)和f(C)可知常量X_N＝0.950456，Y_N＝1，Z_N＝1.088754，亮度L^*的范围为0到100，通过适当的缩放可得到不同的范围，a^*轴从绿色指向红色或品红色，b^*轴从蓝色指向黄色。L^*a^*b^*色彩空间的两点之间颜色差值可以通过计算相应向量之间的欧氏距离ΔE得到：

$\mathrm{\ΔE}=\sqrt{{(L_1^{*}-L_2^{*})}^2+{(a_1^{*}-a_2^{*})}^2+{(b_1^{*}-b_2^{*})}^2}---\left(6\right)$

图像显著性计算则是通过不同图像特征向量之间ΔE求得。

为节省转换计算需要的硬件资源，鉴于{X_N，Y_N，Z_N}为常量，对式(5)做出式(7)优化改进：

xlut(c)＝100f(c/X_N)

ylut(c)＝100f(c/Y_N)

zlut(c)＝100f(c/Z_N)(7)

llut(c)＝116f(c/Y_N)-16

则求取L^*a^*b^*就转化为式(8)：

L(X，Y，Z)＝llut(Y)

a(X，Y，Z)＝5·[xlut(X)-ylut(Y)](8)

b(X，Y，Z)＝2·[ylut(Y)-zlut(Z)]

基于FPGA的RGB到CIEL^*a^*b^*的转换模块如图5所示，其中w_ij为RGB到XYZ的转换矩阵中的对应元素。函数f可以使用查找表LUT来实现，且每个时钟周期内转换一个像素需要四个查找表，若参考白点不变，除法运算可合并到查找表中。

(1.4)对DoG处理后的图像进行signDCT、IDCT处理，得到重构三单通道图像向量；

DCT变换常用于图像处理中的压缩、提取纹理特征、背景分离等应用中，一维8×8离散余弦变换与反变换表达式为：

$\begin{array}{c}F\left(u\right)=\frac{c\left(u\right)}{2}\underset{x=0}{\overset{7}{\mathrm{\Σ}}}f\left(x\right)\cos \left(\frac{(2x+1)\mathrm{u\π}}{16}\right)\\ f\left(x\right)=\frac{c\left(u\right)}{2}\underset{u=0}{\overset{7}{\mathrm{\Σ}}}F\left(u\right)\cos \left(\frac{(2x+1)\mathrm{u\π}}{16}\right)\end{array}---\left(9\right)$

其中，与高斯滤波一样，利用可分离性，二维DCT可以通过先对行进行一维变换再对列进行一维变换来实现。利用并行乘法器进行8个点的DCT运算结构图如图6(a)所示，直接将输入像素值与DCT矩阵系数相乘，再将结果相加。其中采用一层因式分解，将乘法的数量从8个降为4个。二维DCT可以用块处理方式实现，即依次处理块内每一行再将结果存入转置缓存中，然后采用第二个处理器对列进行DCT变换，如图6(b)所示。其中转置缓存用双口块RAM实现，一个口写入行变换结果，另一个口则将数值按照列的顺序读出。IDCT可使用类似结构来计算，逆变换采用转置的系数矩阵，同样可使用类似的因式分解方法。通过对R、G、B三通道分别DCT处理，取各通道处理后sign值，sign取值可以通过比较器实现，从而抑制背景凸显图像显著部分边缘，再经过IDCT分别重构得到三单通道图像。

(1.5)搭建基于FPGA部分图像处理IP模块化硬件结构，整个IPBlock系统中关键是自定义AXI4-Stream接口的中值滤波IP、高斯差分处理IP、颜色空间转换IP，signDCT/IDCTIP，由整个IPBlock可生成Bit文件，作为整个硬件结构导入Zynq中，并将处理后的图像数据通过AXIVDMA的S2MM通道存入DDR，可由PS调用以进一步处理。

(2)ARM(PS)部分

(2.1)计算DoG处理后的图像基于RGB颜色特征的显著图S_rgb(x，y)＝||I_μ(x，y)-I_rgb(x，y)||，||||为2范数，表示欧氏距离；利用均值作差平方求和合成IDCT重构后的三通道图像得到显著区域边缘S_edge(x，y)，再合成S_rgb(x，y)，S_eage(x，y)得到显著图S₁(x，y)；

(2.2)在DoG处理后的图像中通过选择每个像素在其以自身为中心的子图像，来确定以该像素为中心对称包围区域，I_m(x，y)是以某一中心像素在(x，y)位置处的子图像的CIELAB像素平均特征向量，I_m(x，y)由式(10)给出：

$I_m(x,y)=\frac{1}{A}\underset{i=x-x_c}{\overset{x+x_c}{\mathrm{\Σ}}}\underset{j=y-y_c}{\overset{y+y_c}{\mathrm{\Σ}}}I(i,j)---\left(10\right)$

其中，I(i，j)是DoG处理后图像，x_c，y_c及子图像面积A由式(11)给出：

x_c＝min(x，w-x)

y_c＝min(y，h-y)(11)

A＝(2x_c+1)·(2y_c+1)

利用子图像CIELAB颜色平均特征向量和DoG处理后LAB颜色特征向量提取基于LAB颜色特征的显著图：S₂(x，y)＝||I_m-I_lab(x，y)||；

(2.3)采用相关归一化方法融合基于纹理和颜色特征而提取的显著图，得到最后的显著图，融合表达式为：

S(x，y)＝∑α_θN(θ)+∏β_θN(θ)(12)

其中，θ∈(S₁(x，y)，S₂(x，y))，N(θ)为归一化处理后的图像，α，β为归一化图像所占的权重。最后融合得到显著图的灰度图像，并显示处理结果。

Claims (6)

1.本发明的目的在于提供一种基于嵌入式SoC的图像显著性区域检测方法，其特征是：在嵌入式平台XilinxZynq-7000SoC上通过RGB、CIELAB颜色特征与显著区域边缘特征的结合，对高斯差分处理后的图像分别进行颜色空间转换和离散余弦变换、反变换(signDCT/IDCT)处理，得到LAB颜色特征显著图和RGB颜色特征与边缘特征的合成显著图，利用相关归一化方法融合而得到最终的显著图；针对算法中各部分可实现方式，利用软硬件协同设计技术进行软硬件划分和并行优化，PL和PS部分通过内部总线AXI4进行数据的高速交互和传递，使得整个检测算法以串并行的方式实现，该系统可以保证RGB图像中的显著性区域准确快速地检测出来；具体包括以下几个步骤：

(1)利用FPGA部分对待测图像进行处理

第一步：进行快速中值滤波预处理，以抑制噪声去除干扰；

第二步：利用高斯差分(DoG)处理滤波后图像，以凸显显著性区域，并得到RGB特征像素向量I_rgb和像素平均特征向量I_μ；

第三步：对DoG处理后的图像进行颜色空间转换，RGB格式转成CIEL^*a^*b^*格式，得到相应的图像像素向量I_lab；

第四步：对DoG处理后的图像分别进行R、G、B三通道离散余弦变换，并取每通道DCT系数的sign值，再对signDCT处理后的单通道图像分别进行反离散余弦变换(IDCT)，得到三单通道图像向量；

(2)利用PS部分对(1)进一步处理提取显著性区域

第一步：计算DoG处理后的图像基于RGB颜色特征的显著图S_rgb(x，y)＝||I_μ(x，y)-I_rgb(x，y)||，||||为2范数，表示欧氏距离；利用均值作差平方求和合成IDCT重构后的三通道图像得到显著区域边缘S_edge(x，y)，再合成S_rgb(x，y)，S_edge(x，y)得到显著图S₁(x，y)；

第二步：计算LAB图像的对称包围子图像的像素平均值，得到算术平均像素向量I_m，提取基于LAB颜色特征的显著图S₂(x，y)＝||I_m-I_lab(x，y)||；

第三步：利用相关归一化方法融合S₁(x，y)，S₂(x，y)得到最终的显著图S(x，y)。

2.根据权利要求1所述一种基于嵌入式SoC软硬件协同设计的图像显著性区域检测方法，其特征是：所述步骤(1)中第二步，高斯差分处理凸显图像显著性区域：

DoG滤波器的高斯核尽量选择小型的，可以减小计算量，降低高频噪声和纹理，鉴于图像数据量大，一般流水线设计高斯滤波处理计算量大，为减少乘法器和加法器数量，充分利用高斯滤波器的可分离性进行优化设计，即w[i，j]＝w_x[i]w_y[j]，将二维滤波器分解为两个一维滤波器的级联，W×W的模板可以分解为一个1×W对列操作的滤波器和一个W×1对行操作的滤波器，可将乘法和加法数量从W²减少到2W，分离后的高斯滤波器有效地实现了列窗口中像素的并行处理，随着图像数据的流入，滤波器函数串行地从一列移到另一列，这样行和列滤波器可以直接流水相连，c(-1)，c(0)，c(1)分别表示3×3卷积模板的第一、二、三列，高斯函数是偶函数，所以卷积模板中部分系数是相同的，且具有对称性，如c(-1)＝c(1)，利用该特性可以再次减少乘法器的数量，加快数据的处理速度；DoG模块可以通过简单的减法器实现，该模块的输入都来自不同标准差的高斯滤波IP的输出数据，两输入之间存在延迟，故需采用一个移动寄存器同步两输入像素流。

3.根据权利要求1所述一种基于嵌入式SoC软硬件协同设计的图像显著性区域检测方法，其特征是：所述步骤(1)中第三步，图像RGB格式到CIELAB的颜色空间转换：

为节省转换计算需要的硬件资源，鉴于{X_N，Y_N，Z_N}为常量，对式(5)做出如下优化改进，

xlut(c)＝100f(c/X_N)

ylut(c)＝100f(c/Y_N)

zlut(c)＝100f(c/Z_N)

llut(c)＝116f(c/Y_N)-16

则求取L^*a^*b^*就转化为如下步骤，

L(X，Y，Z)＝llut(Y)

a(X，Y，Z)＝5·[xlut(X)-ylut(Y)]

b(X，Y，Z)＝2·[ylut(Y)-zlut(Z)]

函数f可以使用查找表LUT来实现，且每个时钟周期内转换一个像素需要四个查找表，若参考白点不变，除法运算可合并到查找表中。

4.根据权利要求1所述一种基于嵌入式SoC软硬件协同设计的图像显著性区域检测方法，其特征是：所述步骤(1)中第四步，利用signDCT和IDCT提取显著区域边缘：

利用可分离性，二维DCT可以通过先对行进行一维变换再对列进行一维变换来实现，利用并行乘法器进行8个点的DCT运算：直接将输入像素值与DCT矩阵系数相乘，再将结果相加，采用一层因式分解，将乘法的数量从8个降为4个；二维DCT可以用块处理方式实现，即依次处理块内每一行再将结果存入转置缓存中，然后采用第二个处理器对列进行DCT变换，其中转置缓存用双口块RAM实现，一个口写入行变换结果，另一个口则将数值按照列的顺序读出，IDCT可使用类似结构来计算，逆变换采用转置的系数矩阵，同样可使用类似的因式分解方法；通过对R、G、B三通道分别DCT处理，取各通道处理后sign值，sign取值可以通过比较器实现，再经过IDCT分别重构得到三单通道图像向量。

5.根据权利要求1所述一种基于嵌入式SoC软硬件协同设计的图像显著性区域检测方法，其特征是：所述步骤(2)中提取RGB特征结合边缘特征和基于LAB颜色特征的显著图如下：

第一步：计算DoG处理后的图像基于RGB颜色特征的显著图S_rgb(x，y)＝||I_μ(x，y)-I_rgb(x，y)||，||||为2范数，表示欧氏距离；利用均值作差平方求和合成IDCT重构后的三通道图像得到显著区域边缘S_edge(x，y)，再合成S_rgb(x，y)，S_edge(x，y)得到显著图S₁(x，y)；

第二步：在DoG处理后的LAB图像中选择每个像素在其以自身为中心的子图像，来确定以该像素为中心对称包围区域，I_m(x，y)是以某一中心像素在(x，y)位置处的子图像的CIELAB像素平均特征向量，I_m(x，y)表达式为：

$I_m(x,y)=\frac{1}{A}\underset{i=x-x_c}{\overset{x+x_c}{\mathrm{\Σ}}}\underset{j=y-y_c}{\overset{y+y_c}{\mathrm{\Σ}}}I(i,j)$

其中，I(i，j)为DoG处理后图像，x_c，y_c及子图像面积A表达式为：

x_c＝min(x，w-x)

y_c＝min(y，h-y)

A＝(2x_c+1)·(2y_c+1)

利用子图像CIELAB颜色平均特征向量和DoG处理后LAB颜色特征向量提取基于LAB颜色特征的显著性图：S₂(x，y)＝||I_m-I_lab(x，y)||。

6.根据权利要求1所述一种基于嵌入式SoC软硬件协同设计的图像显著性区域检测方法，其特征是：所述步骤(2)中第三步：

采用相关归一化方法融合基于RGB特征结合边缘特征和基于LAB颜色特征而提取的显著图，得到最后的显著图，融合表达式为：

S(x，y)＝∑α_θN(θ)+Πβ_θN(θ)

其中，θ∈(S₁(x，y)，S₂(x，y))，N(θ)为归一化处理后的图像，α，β为归一化图像所占的权重。