CN110874581A - 细胞工厂生物反应器图像融合方法 - Google Patents

Abstract

本发明公开了细胞工厂生物反应器图像融合方法，涉及生物反应器技术领域，对待融合图像先分解，得到高频分量和低频分量，然后建立PCNN模型确定高频分量的融合系数，再根据低频分量确定融合后图像的低频分量，最后利用高频分量融合系数和低频分量进行重构，得到融合后的图像。本发明的方法可以更好的保留图像的细节信息，在提高图像的信息量、清晰度等方面有较好的优势。

Description

细胞工厂生物反应器图像融合方法

技术领域

本发明涉及生物反应器技术领域，特别是涉及细胞工厂生物反应器图像融合方法。

背景技术

生物反应器是通过模拟酶或生物体(如细胞、微生物等)在体生长环境，来实现离体培养的一种通过生物反应或者自身代谢得到预期产物的装置。生物反应器在疫苗生产、单克隆抗体制备、医药生产、肿瘤防治、酿酒、生物发酵、有机污染物降解等方面都发挥着重要的应用。

针对细胞工厂生物反应器中培养细胞生长状态的监测技术及监测装置比较局限，主要利用倒置显微镜对最底层细胞生长状态进行观察。倒置显微镜主要是用来观察单层培养皿、载玻片或者其他物体表面形貌等，显微镜头位于载物台下方，照明光源位于载物台上方，被观察的细胞培养皿置于载物台上。这种监测方法受限于传统的倒置显微镜光学性能，工作距离短，仅能观察最底层细胞生长状态，其余各层的贴壁细胞无法取出，只能凭借经验来预估，无法直观监测，在研究和生产中存在很大的不确定性，无法保证质量。

针对这样的问题，目前提出了一种倾斜监测的方法，将显微镜置于生物反应器的一侧，以对各层细胞的生长情况进行监测，但是采用倾斜监测方法时受光学系统的景深限制，全视场中只有中间区域的细胞处于聚焦位置，上下两区域偏离最佳聚焦位置，造成图像质量下降。

发明内容

本发明实施例提供了细胞工厂生物反应器图像融合方法，可以解决现有技术中存在的问题。

本发明提供了细胞工厂生物反应器图像融合方法，包括以下步骤：

对待融合图像分别进行分解，得到相应的高频分量和低频分量；

根据高频分量建立PCNN模型，确定PCNN模型中每个神经元的首次激发时间，根据该首次激发时间确定各个高频分量的融合系数；

根据各个低频分量确定融合后图像中的低频分量；

利用高频分量融合系数和低频分量进行重构，获得融合后的图像。

本发明中的细胞工厂生物反应器图像融合方法，对待融合图像先分解，得到高频分量和低频分量，然后建立PCNN模型确定高频分量的融合系数，再根据低频分量确定融合后图像的低频分量，最后利用高频分量融合系数和低频分量进行重构，得到融合后的图像。本发明的方法可以更好的保留图像的细节信息，在提高图像的信息量、清晰度等方面有较好的优势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为细胞工厂生物反应器显微光电监测系统的组成示意图；

图2为细胞工厂生物反应器显微光电监测系统的结构示意图；

图3为本发明的图像融合方法框图；

图4为提升小波算法的分解和重构过程示意图；

图5为单个PCNN神经元的简化模型；

图6为试验过程获得的序列源图像；

图7为采用加权平均融合方法对序列源图像进行融合后的结果；

图8为采用拉普拉斯金字塔融合方法对序列源图像进行融合后的结果；

图9为采用小波变换融合方法对序列源图像进行融合后的结果；

图10为采用Curvlet变换融合方法对序列源图像进行融合后的结果；

图11为采用本发明的融合方法对序列源图像进行融合后的结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1和图2，为细胞工厂生物反应器显微光电监测系统，该系统包括计算机100、伺服控制器110、细胞工厂生物反应器122、显微光学系统、冷光源照明系统、进给系统和图像采集系统，所述显微光学系统包括倾斜显微光学系统161和垂直显微光学系统151，所述冷光源照明系统用于控制反射照明系统152和透射照明系统162的工作状态，所述进给系统包括X轴移动平台120，所述细胞工厂生物反应器122安装在该X轴移动平台120上，所述倾斜显微光学系统161和透射照明系统162分别安装在C型机械臂160的两端且所述倾斜显微光学系统161和透射照明系统162相对设置，所述C型机械臂160安装在Z轴移动平台140上，所述垂直显微光学系统151和反射照明系统152均安装在W轴移动平台150上，该W轴移动平台150则安装在Y轴移动平台130上。

所述X轴移动平台120用于控制细胞工厂生物反应器122在水平方向上左右移动，所述Y轴移动平台130用于控制W轴移动平台150在水平方向上前后移动，所述W轴移动平台150用于控制垂直显微光学系统151和反射照明系统152同步在竖直方向上移动，所述Z轴移动平台140用于控制C型机械臂160在竖直方向上移动，所述C型机械臂160处于倾斜状态，且所述倾斜显微光学系统161和透射照明系统162分别位于细胞工厂生物反应器122的两侧，所述透射照明系统162发出的光向下倾斜透射所述细胞工厂生物反应器122后由所述倾斜显微光学系统161接收，以对细胞工厂生物反应器122侧面各层的边缘进行局部监测，同时，所述C型机械臂160上绕中心轴163旋转，使所述倾斜显微光学系统161从细胞工厂生物反应器122的一侧转动到另一侧，以对细胞工厂生物反应器122另一侧的培养叠板进行监测。所述垂直显微光学系统151和反射照明系统152均位于细胞工厂生物反应器122的下方且所述垂直显微光学系统151和反射照明系统152均朝向细胞工厂生物反应器122，反射照明系统152发出的光照射在细胞工厂生物反应器122的底部，经过反射后由所述垂直显微光学系统151接收，以对细胞工厂生物反应器122底部的1-3层进行全局监测。所述计算机100具有触摸显示屏，以输入各种控制命令。所述垂直显微光学系统151和倾斜显微光学系统161采集到的图像均通过图像采集系统传输至计算机100，同时所述计算机100也向图像采集系统发送控制命令以控制图像采集过程的进行。所述冷光源照明系统在计算机100的控制下对反射照明系统152和透射照明系统162进行工作状态控制。

所述X轴移动平台120、Y轴移动平台130、Z轴移动平台140和W轴移动平台150均包括伺服电机和滚珠丝杠，所述伺服电机在伺服控制器的控制下运转，所述滚珠丝杠则在伺服电机的驱动下带动所述W轴移动平台150、垂直显微光学系统151、反射照明系统152、细胞工厂生物反应器122和C型机械臂160移动，所述伺服控制器则在计算机100的控制下工作。

本发明中细胞工厂生物反应器显微光电监测系统的工作过程如下：X轴移动平台120运动到细胞工厂生物反应器122的装卸位，实验人员将细胞工厂生物反应器122放置在载物托盘121上，X轴移动平台120上的载物托盘121运动，承载细胞工厂生物反应器122进入监测位置。切换倾斜显微监测模式和垂直显微监测模式，其中倾斜显微监测模式下倾斜显微光学系统161上的CCD相机工作，并打开与之对应的透射照明系统162，由Z轴移动平台140带动C型机械臂160在竖直方向运动，选定监测层数后X轴移动平台120承载细胞工厂生物反应器122监测该层培养叠板不同位置处的细胞生长状态。垂直显微监测模式下垂直显微光学系统151上的CCD相机工作，并打开与之对应的反射照明系统152，由W轴移动平台150控制垂直显微光学系统151在竖直方向运动，选定监测层数后X轴移动平台120移动细胞工厂生物反应器122，Y轴移动平台130移动垂直显微光学系统151，实现对底部1-3层培养叠板中细胞生长状态的全局监测。

基于以上光电监测系统，本发明提出了对光电监测系统中倾斜显微光学系统采集的图像进行融合的方法，该方法的主要流程为：首先对待融合图像(即源图像)采用提升小波算法进行分解，得到不同尺度上的分量，包括高频分量和低频分量，高频分量的融合系数根据自适应PCNN神经网络模型选取，低频分量根据局部能量得到，最后采用提升小波算法重构获得融合图像，流程如图3所示。

图像提升小波的变换过程

Daubechies I等提出任何离散小波变换或带有限滤波器的双频带子带滤波可以分解成简单过滤步骤的有限序列，该过程称为提升。应用提升小波算法的优点，可在较短的时间内将图像分解为低频分量和高频分量两部分。

对信号x_j(2^j)，j∈Z⁺进行提升小波变换主要通过分裂、预测及更新三个步骤完成。

分裂：将初始信号x_j(2^j)分割成两个互不相干的子集x_j-1和d_j-1，若其中一个子集为偶数序列，相应地，另一个子集则为奇数序列，则有：

split(x_j)＝(even_j-1,odd_j-1)＝(x_j-1,d_j-1) (1)

预测：由于两个序列之间存在相关性，可以用其中一个序列来预测另一个序列，若已知偶数序列，则奇数序列可通过算子p表示为：

d_j-1＝p(x_j-1) (2)

对于p的逼近性能，可用奇数序列实际值与预测值间的差异d_j-1:来表示，即：

d_j-1:＝d_j-1-p(even_j-1)＝d_j-1-p(x_j-1) (3)

这一差异也就是小波变换中的小波集。

更新：完成以上两个步骤后，由于得到的采样序列x_j-1的性能并不能与原信号x_j的整体性能保持一致，则需对d_j-1用更新算子U来进行更新，以保持更多的原信号中的特征，即：

x_j-1:＝even_j-1+U(d_j-1)＝x_j-1+U(d_j-1) (4)

总结以上步骤，提升小波的分解算法可表示为：

对于提升小波算法的重构过程则是上述步骤的逆过程，并将符号位置互换即可。图4为提升小波分解过程和重构过程的示意图。

在实际应用中，通过选择不同的小波滤波器，并进行上述提升过程，便可完成一次提升小波分解，本发明选择常用的9-7小波进行提升，分解后的结果由四部分组成，对应着源图像的低频近似分量和垂直、水平、对角线方向上的高频分量。

自适应PCNN模型

Eckhorn R等通过对猫视觉皮层之间的刺激特异性相互作用研究，提出一种脉冲耦合神经网络(PCNN)模型。目前在图像处理的实际应用中，使用的是PCNN简化模型。在该简化模型中，单神经元由接收域、耦合调制域和脉冲发生域三个部分组成，由很多单神经元相互连接形成的单层循环网络，如图5所示。对于神经网络中位于(i,j)的神经元，在时刻n受到外界刺激信号S_ij和相邻k×l邻域内其他神经元n-1时刻脉冲信息{Y_kl}影响后，其反馈输入F_ij，线性连接输入L_ij、内部活动项U_ij、膜电位动态阈值θ_ij及脉冲发生器中输出Y_ij用数学的离散形式可以描述如下：

其中W_ijkl为是线性连通输入L_ij的加权系数，V_L为连通倍数系数，α_L为线性连通输入，V_θ为临界值倍数系数，α_θ为动态临界值的衰减定值，β_ij为连接强度，决定了线性连通输入L_ij对内部参数U_ij的贡献。当β_ij≠0时，PCNN各神经元之间存在耦合连接，相邻的一群神经元可通过发放同步脉冲传送激励。当神经元被激发，其输出的同步脉冲将被传送到相邻的神经元，使之迅速激发。

当PCNN简化模型用于变换域图像融合时，在变换后得到的高频分量上分别建立PCNN模型。将各个神经元输出脉冲序列的有关特征作为对应高频分量系数的显著性度量，用来确定融合准则。在图像融合过程中使用PCNN模型来模拟人眼视觉神经系统的生物特性，它具有全局耦合特性和脉冲同步特性，因此，当它用来参与选取高频系数时，能够更好地利用各分量图像的全局信息。

由于当前PCNN的连接强度β_ij参数经常被设为常数，极大地限制了PCNN的灵活性和使用的通用性，所以本发明根据图像区域方差来确定PCNN模型的连接强度值β_ij，该方法能根据各分量图像自身所具有的特征自适应确定连接强度β_ij值。其次，首次激发时间能够很好地反映各神经元接收到的特征显著程度，即神经元对应分量图像的特征越显著，该神经元的激发时间越早，首次激发时间越短。因此，采用各神经元第一次的激发时间作为显著性度量，通过计算其首次激发时间来确定分量的融合系数。

融合规则

(1)高频融合规则

源图像经提升小波分解得到三个高频分量和一个低频近似分量，结合PCNN模型的处理机制和信号形式具有生物学背景，更符合人的视觉神经特性，能够很好的反映融合系数的细节信息和局部特征，获得良好的融合效果。因此，为了能够很完整地表征图像的纹理信息，保留源图像更多的细节信息，对高频分量的融合，本发明采用能够反映图像局部特性的区域方差，通过计算各个分量的区域方差作为神经元的连接强度值β_ij。区域Ω(i,j)内的区域方差定义：

将各自的高频分量输入到PCNN模型的输入端口，迭代运行至神经网络中的每个神经元都至少被激发一次，与此同时记录下每个神经元的首次激发时间TX_i,j(X＝A,B)，这里TX_i,j表示高频分量在建立的PCNN模型中位于(i,j)处的神经元的首次激发时间。然后由各自的首次激发时间来选取各个高频分量的融合系数，即：

(2)低频融合规则

相邻序列细胞图像融合的目的是为了得到清晰度高和信息量丰富的融合图像，源图像经提升小波变换得到的近似分量是图像的低频分量，代表源图像的整体趋势描述，表达了源图像的近似特性和绝大部分能量，对低频分量采用局部能量的融合规则，可以将两幅待融合图像的整体趋势信息都在融合结果图像中表达出来。低频分量的局部能量定义为：

其中，E(i,j)为图像在像素点(i,j)的局部低频分量能量；ω(m,n)为权重，离像素点(i,j)越近权重越大；f(m,n)表示在区域w内(m,n)处像素点的灰度值。

选取局部低频分量能量较大图像的低频分量作为融合图像的低频分量，dF(i,j)表示融合后的低频分量，dA(i,j)和dB(i,j)分别表示相邻序列图像经变换后的低频分量，即：

融合实验结果

倾斜显微光学系统采集到的连续4帧序列源图像如图6所示，对源图像分别采用加权平均融合方法、拉普拉斯金字塔融合方法、小波变换融合方法、Curvlet变换融合方法以及本发明的方法进行图像融合，融合结果如图7、图8、图9、图10、图11所示，评价指标对比如表1所示。

表1细胞图像序列融合评价指标对比

融合结果如图所示，图像A表示的是第一帧图像和第二帧图像融合结果，图像B表示的是图像A和第三帧图像的融合结果，图像C表示的是图像B和第四帧图像的融合结果，分别与加权平均融合方法、拉普拉斯金字塔融合方法、小波变换融合方法以及Curvlet变换融合方法进行比较，通过表中数据可以看出，本发明的方法可以更好的保留图像的细节信息，在提高图像的清晰度方面有较好的优势。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.细胞工厂生物反应器图像融合方法，其特征在于，包括以下步骤：

对待融合图像分别进行分解，得到相应的高频分量和低频分量；

根据高频分量建立PCNN模型，确定PCNN模型中每个神经元的首次激发时间，根据该首次激发时间确定各个高频分量的融合系数；

根据各个低频分量确定融合后图像中的低频分量；

利用高频分量融合系数和低频分量进行重构，获得融合后的图像。

2.如权利要求1所述的细胞工厂生物反应器图像融合方法，其特征在于，在进行分解和重构时，均采用提升小波算法。

3.如权利要求1所述的细胞工厂生物反应器图像融合方法，其特征在于，在对待融合图像进行分解前，首先采用小波滤波器对待融合图像进行滤波。

4.如权利要求1所述的细胞工厂生物反应器图像融合方法，其特征在于，建立PCNN模型具体包括：

计算各个高频分量的区域方差，将区域方差作为神经元的连接强度值，根据该连接强度值建立PCNN模型。

5.如权利要求1所述的细胞工厂生物反应器图像融合方法，其特征在于，确定高频分量的融合系数具体包括：

将各个高频分量输入PCNN模型，迭代运行至PCNN模型中的每个神经元都至少被激发一次，记录每个神经元的首次激发时间；

比较两个神经元的首次激发时间，取首次激发时间较大的神经元的融合系数作为对应高频分量的融合系数。

6.如权利要求1所述的细胞工厂生物反应器图像融合方法，其特征在于，确定融合后图像中的低频分量具体包括：

计算低频分量的局部能量；

比较相邻低频分量的局部能量，取局部能量较大的低频分量作为融合后图像的低频分量。

Images