CN1474177A - 多传感器融合智能透明容器检测设备及检测方法 - Google Patents

Abstract

本发明涉及一种高速自动化流水生产线上的多传感器融合智能透明容器质量检测设备及检测方法，主要包括检测系统和电气控制系统，其中检测系统包括箱体、分隔机、输入口、光源、摄像机、容器传送带、清洁器、残留液检测模块、容器侧面检测模块、光电传感器、次品容器剔出器、输出口；电气控制系统包括主控PC机和检测子系统，各个检测子系统由光电传感器及与其相应的图像采集器、DSP处理模块、I/O接口组成，主控PC机通过I/O接口与各检测子系统电连接。本发明的检测方法采用了红外线、可见光图像融合算法和多聚焦图像融合算法。本发明的有益效果有：检测速度快、精度高，其检测速度可达20000瓶/小时以上，对某些产品可达到65000瓶/小时。

Description

多传感器融合智能透明容器检测设备及检测方法

技术领域

本发明涉及一种透明或半透明容器质量的自动检测技术领域，特别涉及在高速自动化流水生产线上对透明或半透明容器质量进行多传感器融合自动检测的设备。

背景技术

目前，饮料、酒类、调料生产厂家大量使用可以回收再次使用的容器，如汽水瓶、啤酒瓶、可口可乐瓶、各类酒瓶和调料瓶等。这些回收的容器由于在运输、使用过程中难免受到污染或损坏，在经过人工或机器清洗以后，仍有可能出现以下几种问题：1、瓶口破损，2、瓶身、瓶底破损，3、瓶内存在固体异物，如玻璃碎片、细发、昆虫等，4、瓶内存在残留液体。如果用这样的容器罐装液体产品，将会导致封装失败、或使封装存在隐患、(或饮料外溢、或加压后爆炸，)严重影响产品质量。因而这些回收容器(流入生产线上使用时)如果出现上述情况之一，必须在进入灌装工序之前将其从生产线上剔除。这一工作大都由人工来完成，效率低、速度慢、精度低、漏检率高、检测人员很容易疲劳。

发明内容

本发明所要解决的技术问题是：为了克服人工检测效率低、速度慢、精度低、漏检率高、检测人员容易疲劳的问题，本发明为高速自动化流水生产线提供一种快速、精确检测各种容器质量的多传感器融合智能透明容器质量检测设备及检测方法。

本发明的技术方案是：它主要包括检测系统和电气控制系统两部分，其中检测系统包括箱体、分隔机、容器输入口、光源、摄像机、容器传送带、容器清洁器、残留液检测模块、光电传感器、次品容器剔出器、容器输出口；容器输入口与流水生产线的传送带相连，分隔机安装在容器输入口处，多个光电传感器分别安装在分隔机旁和箱体内，容器传送带装在箱体内并与生产线传送带相连；由光源、摄像机、容器位置传感器组成容器口检测器，由光源、摄像机、红外摄像机、容器位置传感器组成容器底检测器，由光源、反光镜、摄像机、容器位置传感器组成的容器侧面检测模块；容器传送带上设置残留液检测模块、次品容器剔出器、容器输出口；电气控制系统包括主控PC机和容器口检测子系统、容器底部检测子系统、容器侧面检测子系统，主控PC机通过I/O接口与各检测子系统电连接，各个检测子系统对其检测数据进行处理并将处理信息送给主控PC机；主控PC机与次品剔出器10电连接并控制其动作。

本发明的多传感器融合检测方法包括检测容器底部的红外线与可见光图像多传感器融合算法检测法和检测容器侧面的多聚焦图像多传感器融合算法检测法，主控PC机将各检测子系统传送来的数据信息，运用智能决策算法进行综合处理，并对被检测的容器是否符合生产要求做出最终的判断，发现有问题的容器，由主控PC机发出指令剔除该容器。

本发明具有的有益效果有：检测速度快、精度高，其检测速度可达20000瓶/小时以上，对某些产品可达到65000瓶/小时，是提高生产率，解放人力的高科技手段。

附图说明

图1为本发明实施例的结构示意图

图2为图1的俯视图

图3为容器传送带结构的示意图

图4为图3的仰视图

图5为用高频电容传感器检测容器内残留液示意图

图6为高频电容检测高频阻抗曲线图

图7为高频电容传感器检测容器内残留液的电原理图

图8为红外线传感器检测容器内油性残留液示意图

图9为红外线传感器检测透射红外线强度曲线图

图10为红外线传感器检测容器内油性残留液的电原理图

图11为本发明电气控制系统结构框图

图12为红外线与可见光图像融合算法图

图13为多聚焦图像融合算法图

具体实施方式

本发明的实施例如图1、图2所示，主要包括检测系统和电气控制系统两部分，其中检测系统包括箱体23、分隔容器机2、容器输入口、容器口光源3、容器口摄像机4、容器底部检测模块5、容器传送带6、安装在箱体23内的容器底清洁器7、残留液检测模块8、容器侧面检测模块9、安装在容器出口处的次品容器剔出器10、容器输出口11、安装在箱体内的光电传感器13、14、15、16、17和安装在容器分隔机2处的光电传感器12；

容器输入口1与流水生产线的传送带相连，分隔容器机2安装在容器输入口1处将容器彼此隔开一定距离，容器传送带6装在箱体23内与生产线传送带相连，穹形LED光源3、工业专用CCD摄像机4、传感器14组成容器口检测器，平板型LED光源、工业专用CCD摄像机26、红外摄像机27、传感器14组成的容器底检测器5，平板型LED光源、反光镜、工业专用CCD摄像机24、工业专用CCD摄像机25和传感器16组成的容器侧面检测器9；

容器底清洁器7、容器底部检测器LED光源安装在容器5传送带6的下方，容器底清洁器7使用高压气体，容器底部检测器5的平板型LED光源为摄像机26提供光源；光源3、工业专用CCD摄像机4、24、25、26、红外摄像机27、安装在容器传送带6的上方，光源3为摄像机4提供光源；容器传送带6上设置残留液检测模块8，次品容器剔出器10、容器输出口11，次品容器剔出器10采用气锤，安装在箱体出口处11；

容器底部检测器5由光电传感器、平板LED光源、工业CCD摄像机26、红外摄像机27组成。当检测对象通过时，分别启动工业CCD摄像机和红外摄像机分别对其拍照，获取同一对象的红外和可见光图像，然后采用多传感器融合算法对其进行处理，得到融合后的图像，再根据融合后图像进行是否存在缺陷的判断。由于对透明或半透明的油性异物等不容易从可见光图像上反应出来，而在红外图像上很明显；另一方面对容器本身的缺陷在可见光图像上很容易分辨，但不能清晰反应在红外图像上。采用多传感器融合算法后，能更全面准确地反应各种缺陷和异物的存在。

本发明的电气控制系统如图11所示，包括主控PC机、可编程控制器PLC、容器口检测子系统、容器底部检测子系统、容器侧面检测子系统，其中容器口检测子系统包括采摄像机4、光电传感器14、数字信号处理芯片DSP、I/O接口；容器底检测子系统包括摄像机26、27、光电传感器15、数字信号处理芯片DSP、I/O接口；容器侧面检测子系统包括摄像机24、25、光电传感器17、数字信号处理芯片DSP、I/O接口。

容器底部检测模块采用的多传感器融合算法过程如图12。具体步骤如下：

(1)打开LED光源，被检测透明容器先后通过工业CCD摄像机(26)和红外线摄像机(27)，工业摄像机(26)和红外线摄像机(27)分别对被检测透明容器(19)拍照，获取被检测透明容器(19)的可见光和红外图像；

(2)采用与多小波分解与重构中选择使用的正交多小波对应的正交预滤波器对两幅源图像进行预滤波，将标量图像转换成矢量图像。例如SA(Symmetric-antisymmetric)正交多小波对应的正交预滤波器为： $\mathrm{PR}=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$

(3)将获得的两幅源图像信息传送给DSP处理模块进行预滤波，将标量图像转换成矢量图像；

(4)DSP处理模块对预滤波处理后的图像进行多小波分解；

(5)测量多小波分解系数的活跃度，采用基于3×3窗口的加权平均方法： $A_I\left(\stackrel{\→}{p}\right)=\underset{s\∈S,t\∈T}{\mathrm{\Σ}}\mathrm{\ω}(s,t)\left|D_I\left(\stackrel{\→}{p}\right)\right|$ $\left(\stackrel{\→}{p}\right)=(m,n,k,i+s,j+t)$ 其中

为分解系数的活跃度， 为分解系数的值，m、n为频段，i，j为特定子图像的空间位置，k为分解级数，ω(s，t)是权重系数，满足 $\underset{s\∈S,t\∈T}{\mathrm{\Σ}}\mathrm{\ω}(s,t)=1,$ S和T描述该窗口的大小。我们采用以下的权重系数矩阵： $\mathrm{\ω}(s,t)=\left[\begin{array}{ccc}\frac{1}{16}& \frac{1}{16}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{2}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right]$

(6)依据分解系数的活跃度采用加权平均方法进行融合 $D_F\left(\stackrel{\→}{p}\right)={\mathrm{\ω}}_X\left(\stackrel{\→}{p}\right)D_X\left(\stackrel{\→}{p}\right)+{\mathrm{\ω}}_Y\left(\stackrel{\→}{p}\right)D_Y\left(\stackrel{\→}{p}\right)$ 其中权重 和

依据下式确定： ${\mathrm{\ω}}_X\left(\stackrel{\→}{p}\right)=\frac{A_X\left(\stackrel{\→}{p}\right)}{A_X\left(\stackrel{\→}{p}\right)+A_Y\left(\stackrel{\→}{p}\right)}$ ${\mathrm{\ω}}_Y\left(\stackrel{\→}{p}\right)=1-{\mathrm{\ω}}_X\left(\stackrel{\→}{p}\right)$ 采用基于3×3窗口的投票法进行一致性验证。

如果

              D_F(i，j，k，l)＝D_x(i，j，k，l)且 $(\underset{s\∈S,t\∈T}{\mathrm{\Σ}}{D}_F(i,j,k,l)=D_Y(i,j,k,l))>>\left(\underset{s\∈S,t\∈T}{\mathrm{\Σ}}{D}_F(i,j,k,l){=D}_X(i,j,k,l)\right)$ 那么

              D_F(i，j，k，l)＝D_Y(i，j，k，l)反之，如果

                D_F(i，j，k，l)＝D_Y(i，j，k，l)且 $(\underset{s\∈S,t\∈T}{\mathrm{\Σ}}{D}_F(i,j,k,l)=D_X(i,j,k,l))>>(\underset{s\∈S,t\∈T}{\mathrm{\Σ}}{D}_F(i,j,k,l)=D_Y(i,j,k,l))$ 那么

                D_F(i，j，k，l)＝D_x(i，j，k，l)其中，S和T描述邻域窗口的大小，∑为计数运算， $(\underset{s\∈S,t\∈T}{\mathrm{\Σ}}{D}_F(i,j,k,l)=D_X(i,j,k,l))$ 表示在(I，j)的S、T邻域内D_F(i，j，k，l)与D_x(i，j，k，l)相等的数目，即融合结果F中位置处的参数来自于源图像X，＞＞表示远大于。

(7)将融合的多小波系数进行多小波重构。

(8)采用与多小波分解与重构中选择使用的正交多小波对应的正交后滤波器进行后滤波，生成融合后的图像。例如SA正交多小波对应的正交后滤波器为： $\mathrm{PO}=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$

残留液检测模块8包括高频电容检测器和红外线检测器，高频电容检测器包括高频电容传感器20及其检测电路，其检测电路如图5、6、7所示，由555振荡器、单片机和485接口、电源等组成，检测水性液体残留物；其原理是无残留液容器的介电常数与有残留液容器的介电常数相差很大，在电容传感器20的两探头之间加入一定频率的高频信号，由于玻璃、空气、纯净水和非纯净水(尤其是电解质溶液)之间的导电系数差别很大，所以可以根据所测得的高频阻抗值的大小来判断容器内是否存在电解质残留液，即高频阻抗高于阈值时，容器内无残留液，低于阈值时，容器内则存有残留液；因为油性残留物不能依据高频阻抗的高低测定，故需要用红外线强度检测方法测定，原理是一定波长的红外线能够穿透空的容器，但不能穿透有残留液的容器，因此可以采用检测红外线强度的方法来测定容器内是否有残留油质物质，即红外线强度高于阈值时，容器内无残留液，低于阈值时则有残留液；红外检测器包括红外线强度传感器及其检测电路；其检测线路如图8、9、10所示，由红外光源22、接收信号的红外线传感器21、红外滤光片、信号放大、A/D模块、单片机、电源、485接口等组成，检测油性液体残留物；

容器侧面检测器器用两台工业CCD摄像机。因为容器侧面检测模块中，摄像机所拍摄的范围增加，这时会出现聚焦点附近区域较清晰，而其余不同景深位置等的区域较为模糊的现象。而在较模糊区域中的小缺陷就比较难以分辨。为了解决这个问题，采用了多聚焦图像传感器融合方法。采用两台摄像机，分别聚焦于拍摄区域的左侧和右侧的不同位置，然后将获取的图像进行融合处理。这样得到的图像比一台摄像机拍摄的图像更清晰，容易检测出细小的缺陷。

容器侧面检测模块采用的多聚焦图像多传感器融合算法处理过程如图13，具体步骤如下：检测容器侧面的多聚焦图像多传感器融合算法检测法的具体步骤如下：

①打开LED光源和CCD工业摄像机(24、25)，摄像机(24、25)分别对被检测透明容器(19)进行拍摄获得两幅聚焦图像；

②将所获得的聚焦图像的信息传送给容器侧面检测模块(9)的DSP处理模块；

③容器侧面检测模块(9)的DSP处理模块将获取的两幅图像分解成大小为M×N的图像块，设A_i和B_i分别为图像A和B的第i个块；

④容器侧面检测模块(9)的DSP处理模块计算两幅图像中对应图像块的空间频率、可见性和边缘特征，构成归一化的特征向量。设 $\{{\mathrm{SF}}_{A_i},{\mathrm{VI}}_{A_i},{\mathrm{EG}}_{A_i}\}$ 和 $\{{\mathrm{SF}}_{B_i},{\mathrm{VI}}_{B_i},{\mathrm{EG}}_{B_i}\}$ 分别为图像块A_i和B_i的特征，则输入神经网络的特征为 $\{{\mathrm{SF}}_{A_i}-{\mathrm{SF}}_{B_i},{\mathrm{VI}}_{A_i}-{\mathrm{VI}}_{B_i},{\mathrm{EG}}_{A_i}-{\mathrm{EG}}_{B_i}\}$ 的归一化值；

⑤事先对神经网络进行训练，从训练用的成对图像中选取各自清晰的图像块的特征向量作为输入，期望输出为

训练到网络收敛；

⑥训练好的神经网络可以用来融合获取图像中的其他图像块，将归一化的特征向量输入，得到网络的输出结果，依据输出结果对两幅图像进行融合，设T_i是融合结果的第i个图像块，则有

⑦对融合结果进行校验，即如果融合结果中某一图像块来自图像A，而它相邻的图像块均来自图像B，那么将该图像块改为图像B中的对应图像块。一般情况下在一个3×3的邻域中进行上述处理。

如图3、图4所示，容器传送带6表面设有纵向齿纹，两条带有纵向齿纹的容器传送带6从两侧夹住被传送的透明容器19而使被测容器19的底部悬空，以便检测容器底部。

电气控制系统的原理框图如图11所示，主要包括主控PC机、各检测电路和与其相应的同类型或不同类型负责监测容器位置、姿态的反射式光电传感器12、13、14、15、16、17、图像采集模块、DSP处理模块、I/O接口组成的检测子系统，各检测子系统通过I/O接口与主控PC机电连接，各检测系统完成相应的检测项目，并将处理结果送至主控PC机进行综合处理，由主控PC机完成最终的判断并下达指令，次品容器由剔除器10剔出、合格容器由容器输出口11进入生产线传送带。

本发明的检测流程如下：被检测容器经过容器分隔机2以后，首先由容器底清洁器7除去容器底部的脏东西，然后先后经过容器封口检测、容器底部检测、容器内残留液检测、容器侧面检测，当被检测容器到达次品容器剔出处是检测为不合格的容器将被剔出，合格的容器从容器输出处流入流水线上的下一道工序。

Claims (10)

1、一种高速自动化流水生产线上的多传感器融合智能透明容器检测设备，其特征在于：它主要包括检测系统和电气控制系统两部分，其中检测系统包括箱体(23)、分隔机(2)、输入口(1)、光源(3、22)、摄像机(4、24、25、26、27)、容器传送带(6)、容器清洁器(7)、残留液检测模块(8)、光电传感器(12、13、14、15、16、17、)、次品容器剔出器(10)、容器输出口(11)；所述输入口(1)与流水生产线的传送带相连，分隔机(2)安装在容器输入口(1)处；容器传送带(6)装在箱体(23)内与生产线传送带相连；光源(3)、摄像机(4)、传感器(14)组成容器口检测器，光源(22)、摄像机(26)、(27)、传感器(14)组成容器底检测器(5)，光源、反光镜、摄像机(24)、(25)和传感器(16)组成的容器侧面检测器(9)；容器传送带(6)上设置残留液检测模块(8)、次品容器剔出器(10)、容器输出口(11)；电气控制系统包括主控PC机、可编程控制器PLC和容器口检测子系统、容器底部检测子系统、容器侧面检测子系统，主控PC机通过I/O接口与各检测子系统电连接，各个检测子系统对其检测数据进行处理，将处理信息送给主控PC机；主控PC机与次品剔出器(10)电连接并控制其动作。

2、根据权利要求1所述的多传感器融合智能透明容器检测设备，其特征在于：容器口检测器的摄像机(4)为工业专用CCD摄像机，光源(3)为穹形LED光源；容器底部检测器的摄像机(26)为CCD业摄像机、摄像机(27)为红外线摄像机，光源为平板型LED光源；容器侧面检测器的摄像机(24、25)为两台工业专用CCD摄像机，光源为平板型LED光源。

3、根据权利要求1或2所述的多传感器融合智能透明容器检测设备，其特征在于：所述容器口检测子系统包括采摄像机(4)、光电传感器(14)、数字信号处理芯片DSP、I/O接口；容器底检测子系统包括摄像机(26、27)、光电传感器(15)、数字信号处理芯片DSP、I/O接口；容器侧面检测子系统包括摄像机(24、25)、光电传感器(17)、数字信号处理芯片DSP、I/O接口。

4、根据权利要求1所述的多传感器融合智能设备透明容器检测设备，其特征在于：残留液检测模块(8)包括高频电容检测器和红外线检测器，高频电容检测器包括高频电容传感器(20)及其检测电路，其检测电路由555振荡器、单片机和485接口、电源等组成；红外检测器包括红外线强度传感器及其检测电路；其检测线路由红外光源(22)、接收信号的红外光敏传感器(21)、红外滤光片、信号放大、A/D模块、单片机、电源、485接口等组成。

5、根据权利要求1所述的多传感器融合智能透明容器检测设备，其特征在于：容器底清洁器(7)、容器底部检测器的LED光源安装在容器传送带(6)的下方，容器底清洁器(7)使用高压气体，容器底部检测器光源为摄像机(26)提供光源；光源(3)、摄像机(4)、摄像机(26)、红外摄像机(27)、容器侧面检测模块(10)安装在容器传送带(6)的上方，光源(3)为摄像机(4)提供光源；容器传送带(6)上设置残留液检测模块(8)，次品容器剔出器(10)、容器输出口(11)，次品容器剔出器(10)采用气锤，安装在箱体出口处(11)。

6、根据权利要求1所述的多传感器融合智能透明容器检测设备，其特征在于：容器传送带(6)表面设有纵向齿纹，两条带有纵向齿纹的容器传送带(6)从两侧夹住被传送容器(19)而使被测容器(19)的底部悬空。

7、根据权利要求1所述的多传感器融合智能透明容器检测设备，其特征在于：光电传感器(12、13、14、15、16、17、)为监测容器位置的反射式光电传感器，它们的型号相同或不同。

8、一种检测透明容器质量的多传感器融合检测方法，其特征在于：本多传感器融合检测方法包括检测容器底部的红外线与可见光图像多传感器融合算法检测法和检测容器侧面的多聚焦图像多传感器融合算法检测法，主控PC机将各检测子系统传送来的数据信息，运用智能决策算法进行综合处理，并对被检测的容器是否符合生产要求做出最终的判断，发现有问题的容器，由主控PC机发出指令剔除该容器。

9、根据权利要求7所述的多传感器融合检测方法，其特征在于：红外线与可见光图像融合算法检测容器底部残留物的具体检测方法如下：

①打开LED光源，被检测透明容器先后通过工业CCD摄像机(26)和红外线摄像机(27)，工业摄像机(26)和红外线摄像机(27)分别对被检测透明容器(19)拍照，获取被检测透明容器(19)的可见光和红外图像；

②将获得的两幅源图像信息传送给DSP处理模块采用与多小波分解与重构中选择使用的正交多小波对应的正交预滤波器进行预滤波，将标量图像转换成矢量图像；例如SA(Symmetric-antisymmetric)正交多小波对应的正交预滤波器为： $\mathrm{PR}=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right];$

③DSP处理模块对预滤波处理后的图像进行多小波分解；

④测量多小波分解系数的活跃度，采用基于3×3窗口的加权平均方法： $A_I\left(\stackrel{\→}{p}\right)=\underset{s\∈S,t\∈T}{\mathrm{\Σ}}\mathrm{\ω}(s,t)\left|D_I\left(\stackrel{\→}{p}\right)\right|$ $\left(\stackrel{\→}{p}\right)=(m,n,k,i+s,j+t)$

我们采用以下的权重系数矩阵： $\mathrm{\ω}(s,t)=\left[\begin{array}{ccc}\frac{1}{16}& \frac{1}{16}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{2}& \frac{1}{16}\\ \frac{1}{16}& \frac{1}{16}& \frac{1}{16}\end{array}\right];$

⑤依据分解系数的活跃度采用加权平均方法进行融合 $D_F\left(\stackrel{\→}{p}\right)={\mathrm{\ω}}_X\left(\stackrel{\→}{p}\right)D_X\left(\stackrel{\→}{p}\right)+{\mathrm{\ω}}_Y\left(\stackrel{\→}{p}\right)D_Y\left(\stackrel{\→}{p}\right)$ 其中权重

和

依据下式确定： ${\mathrm{\ω}}_X\left(\stackrel{\→}{p}\right)=\frac{A_X\left(\stackrel{\→}{p}\right)}{A_X\left(\stackrel{\→}{p}\right)+A_Y\left(\stackrel{\→}{p}\right)}$ ${\mathrm{\ω}}_Y\left(\stackrel{\→}{p}\right)=1-{\mathrm{\ω}}_X\left(\stackrel{\→}{p}\right);$

⑥将融合的多小波系数进行多小波重构；

⑦采用与多小波分解与重构中选择使用的正交多小波对应的正交后滤波器进行后滤波，生成融合后的图像；例如SA正交多小波对应的正交后滤波器为： $\mathrm{PO}=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right].$

10、根据权利要求7所述的多传感器融合检测方法，其特征在于：本发明的检测容器侧面的多聚焦图像多传感器融合算法检测法的具体步骤如下：

①打开LED光源和CCD工业摄像机(24、25)，摄像机(24、25)分别对被检测透明容器(19)进行拍摄获得两幅不同聚焦图像；

②将所获得的多聚焦图像的信息传送给容器侧面检测模块(9)的DSP处理模块；

③容器侧面检测模块(9)的DSP处理模块将获取的两幅图像分解成大小为M×N的图像块，设A_i和B_i分别为图像A和B的第i个块；

④容器侧面检测模块(9)计算两幅图像中对应图像块的空间频率、可见性和边缘特征，构成归一化的特征向量。设 $\{{\mathrm{SF}}_{A_i},{\mathrm{VI}}_{A_i},{\mathrm{EG}}_{A_i}\}$ 和 $\{{\mathrm{SF}}_{B_i},{\mathrm{VI}}_{B_i},{\mathrm{EG}}_{B_i}\}$ 分别为图像块A_i和B_i的特征，则输入神经网络的特征为 $\{{\mathrm{SF}}_{A_i}-{\mathrm{SF}}_{B_i},{\mathrm{VI}}_{A_i}-{\mathrm{VI}}_{B_i},{\mathrm{EG}}_{A_i}-{\mathrm{EG}}_{B_i}\}$ 的归一化值；

⑤事先对神经网络进行训练，从训练用的成对图像中选取各自清晰的图像块的特征向量作为输入，期望输出为

训练到网络收敛；

⑥训练好的神经网络可以用来融合获取的图像中的其他图像块，将归一化的特征向量输入，得到网络的输出结果，依据输出结果对两幅图像进行融合，设T_i是融合结果的第i个图像块，则有

⑦对融合结果进行校验，即如果融合结果中某一图像块来自图像A，而它相邻的图像块均来自图像B，那么将该图像块改为图像B中的对应图像块。

Images