CN103473751A - 基于多目标的cmos传感器细胞图像超分辨率重构方法 - Google Patents

Abstract

本发明公开的基于多目标的CMOS传感器细胞图像超分辨率重构方法，通过CMOS图像传感器获得低分辨率的细胞图像序列；根据细胞的外形特征与背景的差异在当前帧或者相邻几帧图像中搜索到超分辨率重构所需要的n个细胞；根据n个细胞的信息对目标细胞进行超分辨率重构。本发明基于多目标的CMOS传感器细胞图像超分辨率重构方法，相对于基于多帧的超分辨率重构方法，本发明只需要在当前帧或者相邻的几帧图像中便可以采集到需要的n个细胞，能够大大减少存储空间，提高处理速度；相对于已经存在的一些基于单帧的超分辨率重构方法，本发明是利用多个同类细胞的信息来对目标细胞进行放大，采集的信息多，提高了超分辨率重构的效果。

Description

基于多目标的CMOS传感器细胞图像超分辨率重构方法

技术领域

本发明属于细胞图像处理技术领域，涉及一种基于多目标的细胞图像超分辨率重构方法，具体涉及一种基于多目标的CMOS传感器细胞图像超分辨率重构方法。

背景技术

在生物医学研究中，对于细胞的研究处于非常重要的地位。计算机辅助诊断已经成为临床诊断的重要组成部分，通过对细胞运动图像序列的研究，可以观测到细胞的表型变化和动态行为，对细胞进行分类并计数，给医学诊断提供很好的依据。虽然目前人们正在研究高分辨率的采样阵列，但在实用性上，低分辨率的阵列比较便宜，小巧，并且只要较少的电子处理硬件。因此对细胞图像进行超分辨率重构显得尤其重要。

超分辨率重构旨在利用低分辨率图像序列通过信号估计理论来生成高分辨率图像。目前，在细胞图像超分辨率重构算法中，主要分为基于多帧的超分辨率重构和基于单帧的超分辨率重构。基于多帧的超分辨率重构是将相邻的多帧低分辨率图像信息集合起来，把有用的信息进行整合得到一幅单独的超分辨率图像。基于单帧的超分辨率重构是利用原图像中像素点的不同方向的相关信息来实现超分辨率重构。基于多帧的超分辨率重构算法需要大的存储空间来对相邻帧的像素信息进行存储，且不能满足图像处理的实时性要求。基于单帧的超分辨率重构算法能够满足实时性要求，但是在对细胞图像进行放大时，由于只采用了细胞周围相邻一部分像素的信息，因此放大后细胞的表型特征并不能得到很好的体现。

因此，设计一种利用多个同类细胞的相关信息来对目标细胞进行超分辨率重构的算法很有价值，只需要在一帧图像或者相邻的几帧图像中找到多个同类细胞来进行超分辨率重构，而不需要读取许多帧图像，减少了存储空间，提高了处理速度，且可以采集更多的相关信息，使放大后的细胞能体现更多的细节。

发明内容

本发明的目的是提供一种基于多目标的CMOS传感器细胞图像超分辨率重构方法，解决了现有基于多帧的超分辨率重构算法需要大的存储空间，且不能满足图像处理的实时性要求；基于单帧的超分辨率重构算法放大后细胞的表型特征不能得到很好的体现的问题。

本发明所采用的技术方案是：基于多目标的CMOS传感器细胞图像超分辨率重构方法，具体按照以下步骤实施：

步骤1：通过CMOS图像传感器获得低分辨率的细胞图像序列；

步骤2：根据步骤1得到的细胞的外形特征与背景的差异在当前帧或者相邻几帧图像中搜索到超分辨率重构所需要的n个细胞；

步骤3：根据步骤2得到的n个细胞的信息对目标细胞进行超分辨率重构。

本发明的特点还在于，

其中的步骤3对目标细胞进行超分辨率重构，具体按照以下步骤实施：

1）将n个细胞分为n/2组，每组两个，用每组的两个细胞经过插值得到n/2个放大两倍的细胞，首先将两个低分辨率细胞的像素交叉映射到高分辨率细胞矩阵中；映射完成后，将像素值未知的这些位置分为3类，A，B和C，A在水平方向上都与同一个细胞的像素值相邻，通过水平平均插值得到，B在垂直方向上都与同一个细胞的像素值相邻，水平只有一个方向与另外一个细胞的像素值相邻，通过相邻3个像素值经过权重加权平均插值得到，C在水平方向与垂直方向上各与一个细胞的像素值相邻，可以通过水平，垂直和对角相邻的3个像素值经过权重加权平均插值得到，所有位置插值完成后，得到n/2个放大2倍的细胞；

2）对插值得到的n/2个细胞用soble算子进行滤波；

3）将滤波后的n/2个细胞分为n/4组，每组2个，再用每组中的两个放大2倍的细胞进行插值，得到n/4个放大4倍的细胞；

4）将得到的细胞都两两分组，然后用步骤1）所述的插值方法再进行放大，最终得到一个放大n倍的细胞；

5）对上步得到的细胞图像进行中值滤波，抑制噪声；

6）采用灰级窗方法对中值滤波后的细胞图像进行对比度增强，得到一个经过超分辨率重构后放大n倍的细胞。

本发明的有益效果是，本发明从CMOS图像传感器获得低分辨率的细胞图像序列，根据对目标细胞放大的倍数n在当前帧或者当前帧与相邻帧中找到n个同类细胞，通过本发明所述的插值的方法将目标细胞放大n倍。本发明所采用的是基于多目标的细胞图像超分辨率重构方法，相对于基于多帧的超分辨率重构方法，本发明只需要在当前帧或者相邻的几帧图像中便可以采集到需要的n个细胞，能够大大减少存储空间，提高处理速度；相对于已经存在的一些基于单帧的超分辨率重构方法，本发明是利用多个同类细胞的信息来对目标细胞进行放大，采集的信息多，提高了超分辨率重构的效果。

附图说明

图1为没有经过任何处理的细胞图像的一部分截图；

图2为细胞像素矩阵示意图；

图3为插值方法示意图，其中，a和b分别为两个低分辨率细胞像素示意图，c为插值后放大两倍的细胞像素示意图；

图4为本发明实施例中用来进行超分辨率重构的8个原始低分辨率细胞；

图5为本发明实施例中第二步用sobel算子进行滤波后的4个放大两倍的细胞；

图6为本发明实施例中第三步插值后的2个放大4倍的细胞；

图7为本发明实施例中第四步插值后的放大8倍的细胞；

图8为本发明实施例中第五步中值滤波后的放大8倍的细胞；

图9为本发明实施例中第六步中经过灰级窗增强后的放大8倍的细胞；

图10为本发明实施例中在显微镜下放大50倍的细胞图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明所提出的技术方案的实施基于一个假设：在CMOS图像传感器中所采集到的图像中的细胞都是同一类细胞。

本发明具体按照以下步骤实施：

步骤1：通过CMOS图像传感器获得低分辨率的细胞图像序列；

步骤2：在当前帧或者相邻几帧图像中搜索到超分辨率重构所需要的n个细胞。搜素方法可以有很多种，根据不同类型的细胞图像特征可以有不同的搜索方法。在本实施例中采用的是根据细胞的外形特征与背景的差异在当前帧图像中搜索细胞，首先提取出细胞的特征，该特征是背景所不具备的，然后在当前帧中以此特征进行搜索，如果当前块满足该特征，则为细胞，否则为背景。

步骤3：搜索到n个细胞后，就可以根据这n个细胞的信息来对目标细胞进行超分辨率重构。

本发明采用的是基于插值的超分辨率重构方法，即用n个同类的低分辨率细胞的信息经过插值的方法重构出一个放大n倍的高分辨率细胞，具体分为以下步骤：

（1）将这n个细胞分为n/2组，每组两个，用每组的两个细胞经过插值得到n/2个放大两倍的细胞，插值方法如图3所示，图3a与图3b为两个低分辨率细胞x与y，图3c为放大两倍的细胞，首先将两个低分辨率细胞的像素按照图3c所示方式交叉映射到高分辨率细胞矩阵中。

映射完成后，还有1/2的像素值为未知的，这些位置的像素值需要经过插值得到。将像素值未知的这些位置分为3类，A，B和C。A在水平方向上都与同一个细胞的像素值相邻，通过水平平均插值得到，如图3c中左上角第一个A可以用如下公式得到：

A＝(x11+x12)/2       (1)

B在垂直方向上都与同一个细胞的像素值相邻，水平只有一个方向（左或者右）与另外一个细胞的像素值相邻，通过相邻3个像素值经过权重加权平均插值得到，如图3c中左上角第一个B可以用如下公式得到：

$B=\frac{x11+x21+2\×y11}{4}---\left(2\right)$

C在水平方向与垂直方向上各与一个细胞的像素值相邻，可以通过水平，垂直和对角相邻的3个像素值经过权重加权平均插值得到，如左下角的C可以用如下公式得到：

$C=\frac{3\×y61+2\×x61+A}{6}---\left(3\right)$

所有位置插值完成后，就得到了n/2个放大2倍的细胞。

（2）对插值得到的n/2个细胞用soble算子进行滤波。

（3）将滤波后的n/2个细胞分为n/4组，每组2个，再用每组中的两个放大2倍的细胞进行插值，这样就得到n/4个放大4倍的细胞。插值方法与第一步相同，首先是交叉映射，然后将像素值不存在的位置分为3类，根据第一步所述公式得到这些位置的像素值。

（4）第三步完成后就得到了n/4个放大4倍的细胞，依此类推，将每一步得到的细胞都两两分组，然后用第一步所述的插值方法再进行放大，最终得到一个放大n倍的细胞。

（5）对第四步得到的细胞图像进行中值滤波，抑制噪声。

（6）采用灰级窗方法对中值滤波后的细胞图像进行对比度增强。

经过以上6步，就得到一个经过超分辨率重构后放大n倍的细胞。

实施例

以将细胞放大8倍为例进行说明。

步骤1：通过CMOS图像传感器获得低分辨率的细胞图像序列；

步骤2：根据细胞的外形特征与背景的差异在当前帧图像中搜索细胞。由图1可以看出，本实验中的细胞呈现出中间亮，边界暗的特点，而这个特征是背景所不具备的，因此可以用这个外形特征作为判断条件在一帧图像中搜索出细胞。假如图2为一个细胞的像素矩阵A，对矩阵A的3，4行与3，4列进行投影，即：

B＝[A(3，1)+A(4，1)，A(3，2)+A(4，2)，A(3，3)+A(4，3)，A(3，4)

+A(4，4)，A(3，5)+A(4，5)，A(3，6)+A(4，6)]

                                         （4）

C＝[A(1，3)+A(1，4)，A(2，3)+A(2，4)，A(3，3)+A(3，4)，A(4，3)

+A(4，4)，A(5，3)+A(5，4)，A(6，3)+A(6，4)]

                                         （5）

那么，这两个数组满足以下条件：

B(1)＜B(2)

B(6)＜B(5)

B(3)-B(2)＞20

B(4)-B(5)＞20

C(1)＜C(2)              (6)

C(6)＜C(5)

C(3)-C(2)＞20

C(4)-C(5)＞20

对当前帧图像以细胞的大小（本实验中细胞为6×6）为块尺寸进行全搜索，对当前块进行如上所述投影，如果满足条件则认为当前块为细胞，否则为背景。搜索到的8个细胞如图4所示。

步骤3：利用搜索到的8个细胞的信息来对目标细胞进行超分辨率重构。

本发明采用的是基于插值的超分辨率重构方法，即用这8个同类的低分辨率细胞的信息经过插值的方法重构出一个放大8倍的高分辨率细胞，具体分为以下步骤：

（1）将这8个细胞分为4组，每组两个，用每组的两个细胞经过插值得到4个放大两倍的细胞，插值方法如图3所示，图3a与图3b为两个低分辨率细胞x与y，图3c为放大两倍的细胞，首先将两个低分辨率细胞的像素按照图3c所示方式交叉映射到高分辨率细胞矩阵中。

映射完成后，还有1/2的像素值为未知的，这些位置的像素值需要经过插值得到。将像素值未知的这些位置分为3类，A，B和C。A在水平方向上都与同一个细胞的像素值相邻，通过水平平均插值得到，如图3c中左上角第一个A可以用如下公式得到：

A=(x11+x12)/2       (7)

B在垂直方向上都与同一个细胞的像素值相邻，水平只有一个方向（左或者右）与另外一个细胞的像素值相邻，通过相邻3个像素值经过权重加权平均插值得到，如图3c中左上角第一个B可以用如下公式得到：

$B=\frac{x11+x21+2\×y11}{4}---\left(8\right)$

C在水平方向与垂直方向上各与一个细胞的像素值相邻，可以通过水平，垂直和对角相邻的3个像素值经过权重加权平均插值得到，如左下角的C可以用如下公式得到：

$C=\frac{3\×y61+2\×x61+A}{6}---\left(9\right)$

所有位置插值完成后，就得到了4个放大2倍的细胞。

（2）对插值得到的4个细胞用soble算子进行滤波，如图5所示，为实验中放大两倍并用sobel算子滤波后的4个细胞。

（3）将滤波后的4个细胞分为两组，每组2个，再用每组中的两个放大2倍的细胞进行插值，这样就得到2个放大4倍的细胞。插值方法与第一步相同，首先是交叉映射，然后将像素值不存在的位置分为3类，根据第一步所述公式得到这些位置的像素值。图6为实验中放大4倍的2个细胞。

（4）用第三步得到的这两个细胞再进行插值，插值方法也是与第一步相同，最终得到一个放大8倍的细胞，如图7所示。

（5）对第四步得到的细胞图像进行中值滤波，抑制噪声。如图8为中值滤波后的细胞图像。

（6）采用灰级窗方法对中值滤波后的细胞图像进行对比度增强。如图9为灰级窗方法进行对比度增强后的图像。

经过以上6步，就得到一个经过超分辨率重构后放大8倍的细胞。由于本发明提出的细胞图像超分辨率重构方法利用的不仅是目标细胞的像素值，还利用了其他同类参考细胞的像素值，充分利用了采集到的信息，提高了目标细胞的清晰度，且本方法并不需要存储大量帧图像的数据，因此可以节省存储空间并满足图像处理的实时性要求。

图10为在显微镜下放大50倍的细胞图像。从所得实验结果可以看出，本发明所述超分辨率重构方法效果是非常好的，与显微镜下放大的细胞图像很接近。但是本发明所采用的是图像处理的方法，利用CMOS图像传感器所采集到的低分辨率的细胞图像经过超分辨率重构对细胞进行放大，不需要显微镜，也不需要高分辨率的采样阵列，而且插值的方法计算简单，速度快，只需要较少的电子处理硬件，不仅价格便宜，而且小巧便捷，有着很好的实用性。

Claims (2)

1.基于多目标的CMOS传感器细胞图像超分辨率重构方法，其特征在于，具体按照以下步骤实施：

步骤1：通过CMOS图像传感器获得低分辨率的细胞图像序列；

步骤2：根据步骤1得到的细胞的外形特征与背景的差异在当前帧或者相邻几帧图像中搜索到超分辨率重构所需要的n个细胞；

步骤3：根据步骤2得到的n个细胞的信息对目标细胞进行超分辨率重构。

2.根据权利要求1所述的基于多目标的CMOS传感器细胞图像超分辨率重构方法，其特征在于，所述的步骤3对目标细胞进行超分辨率重构，具体按照以下步骤实施：

1）将n个细胞分为n/2组，每组两个，用每组的两个细胞经过插值得到n/2个放大两倍的细胞，首先将两个低分辨率细胞的像素交叉映射到高分辨率细胞矩阵中；映射完成后，将像素值未知的这些位置分为3类，A，B和C，A在水平方向上都与同一个细胞的像素值相邻，通过水平平均插值得到，B在垂直方向上都与同一个细胞的像素值相邻，水平只有一个方向与另外一个细胞的像素值相邻，通过相邻3个像素值经过权重加权平均插值得到，C在水平方向与垂直方向上各与一个细胞的像素值相邻，可以通过水平，垂直和对角相邻的3个像素值经过权重加权平均插值得到，所有位置插值完成后，得到n/2个放大2倍的细胞；

2）对插值得到的n/2个细胞用soble算子进行滤波；

3）将滤波后的n/2个细胞分为n/4组，每组2个，再用每组中的两个放大2倍的细胞进行插值，得到n/4个放大4倍的细胞；

4）将得到的细胞都两两分组，然后用步骤1）所述的插值方法再进行放大，最终得到一个放大n倍的细胞；

5）对上步得到的细胞图像进行中值滤波，抑制噪声；

6）采用灰级窗方法对中值滤波后的细胞图像进行对比度增强，得到一个经过超分辨率重构后放大n倍的细胞。

Images