CN102053051A

CN102053051A - 一种体液分析系统和用于体液分析的图像处理设备、方法

Info

Publication number: CN102053051A
Application number: CN200910206700.5A
Authority: CN
Inventors: 董潇潇; 杜昭辉
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2009-10-30
Filing date: 2009-10-30
Publication date: 2011-05-11
Also published as: US20120120221A1; EP2427750A1; WO2011051134A1; JP2012531608A; JP5496330B2; CN102472703A

Abstract

本发明公开了一种体液分析系统，包括：中央控制和处理部件，用于向源图像捕获部件发出控制信号；所述源图像捕获部件，用于根据所述控制信号捕获体液源图像，并将所述源图像发送给所述中央控制和处理部件；所述中央控制和处理部件进一步用于将所述源图像变换为图像系数并生成相应的系数矩阵，再将该系数矩阵逆变换为焦点融合后的图像输出。本发明还公开了一种用于体液分析的图像处理设备、方法。应用本发明能够降低对象图像遗漏或模糊的机率，从而在很大程度上提高识别的成功率，使整个系统的精度提高。

Description

一种体液分析系统和用于体液分析的图像处理设备、方法

技术领域

本发明涉及体液分析领域，尤其涉及在基于图像的自动显微镜体液分析仪中使用到的图像处理设备和方法，以及体液分析系统。

背景技术

体液分析尤其是微观尿沉渣分析，是在临床实践中最常执行的测试之一，因为该测试能够为肾脏和泌尿生殖诊断、以及总体健康状况提供关键信息。在尿液样本中可以发现超过10种粒子，包括：血红细胞、白细胞、脱落物、细菌、上皮细胞和晶体等(以下将这些粒子称为对象)。需要对这些具有不同形状和大小的粒子进行识别和计数，以生成体现不同种类元素比例的谱，从而与阈值或健康参考值进行比较。

在尿沉渣分析方面，传统的人工显微镜操作存在着劳动强度高、时间消耗长、不同的沉积物准备程序会在计数上造成较大不同、不同的观察者执行实验室标准时存在差异等问题。

本世纪初开发出的、奥斯玛(AUSMA)公司制造的基于图像的自动尿沉渣显微镜分析仪就是为了替代人工检查方法，以改善精度和吞吐量。奥斯玛系统对计数池中的尿液样本进行扫描，并使用连接到光学显微镜上的数码相机拍摄尿液样本。分析处理器使用选定的软件识别和计数对象，每个对象图像自动按照大小、形状、对比度和纹理特征分类。最终的报告将按类别显示结果。

图1为现有技术中放置有尿液样本的计数池和显微镜物镜的侧视图。在现有的分析仪中，计数池通常是小长方形池的形状，长度(X轴)和宽度(Y轴)有几个毫米、高度(Z轴)在100微米及以上。直径从几微米到几十微米不等的各种粒子分布在这个三维空间中，假定其分布在特定时间(比如一分钟内)是静态的。有成熟的技术可以对XY方向进行完全扫描和成像。但是，对于Z轴，由于物镜的DOF远低于计数池的高度，而需要采集图像的对象位于垂直于Z轴的不同层，因此如何在垂直方向上获得足够的分辨率成为体液分析中图像采集的主要挑战。此外，作为保障系统精度的关键步骤，图像采集却是最不规范、耗时最久、吞吐量要求最高(不低于每小时50至100个样本)的步骤，且DOF不足更给避免图像劣化带来较大的困难。相应地，对象模糊或遗漏的图像将严重影响识别精度和计数结果。

下面以大道科技公司(Ave Science and Technology)开发的奥斯玛AVE736为例，具体解释奥斯玛系统中的图像采集模块如何工作。

在奥斯玛AVE736中，尿液样本被加载到计数池后，先使用低倍放大镜(×10)扫描样本、搜索对象。如果没有发现目标，将直接生成报告，表明该样本符合健康人的临床标准。如果发现目标，低倍放大镜将识别、分类和计数粒子中尺寸较大的对象，比如脱落物和上皮细胞，并为每个视野捕获和保存一幅图像。随后，使用高倍放大镜(X40)进一步追踪低倍放大镜发现的目标。通过机械调节物镜和样本平台来调节焦平面，经过自动对焦后，针对每个高倍放大镜视野(HPF)保存一幅图像，如图2所示。之后，以和低倍放大镜类似的方式执行对象识别、分类和计数，并将所有保存的图像拼接成最终结果。

虽然现有技术在图像采集时通过低倍放大镜和高倍放大镜之间的切换，使得整体效率得到改善，可以在一定程度上进行Z轴扫描，但是对于XY位置相同，但是Z轴位置不同的对象，就很有可能被遗漏或出现图像模糊，由此导致对象识别和计数出现不确定性，使得后续处理需要引入人工干预(比率达到20％以上)。

此外，当图像目标位于Z轴的多个DOF时，最终图像是一个折中的结果，即以牺牲局部精度来保障全局图像。因此，如何在整个三维空间内得到清晰图像成为一个亟待解决的问题。

再有，对物镜采用机械调节也限制了对象的扫描速度或扫描深度。迄今为止，奥斯玛系统的平均吞吐量约为每小时60个样本。为了扩大扫描显微镜的DOF，现有技术在硬件和软件方面都进行过多方尝试。在光学显微镜对焦中应用最广泛的机制包括：对整个物镜进行机械调节，或令物镜和样本之间发生相对运动。为了沿Z轴获得令人满意的分辨率，已开发出多种类型的机械调焦设备，例如PI开发的高速Piezo-Z物镜分档器。但是，机械调节的可靠性较低。

发明内容

有鉴于此，本发明的主要目的在于提供一种体液分析系统和用于体液分析的图像处理设备、方法。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种体液分析系统，包括：

中央控制和处理部件，用于向源图像捕获部件发出控制信号；

所述源图像捕获部件，用于根据所述控制信号捕获体液源图像，并将所述源图像发送给所述中央控制和处理部件；

所述中央控制和处理部件进一步用于将所述源图像变换为图像系数并生成相应的系数矩阵，再将该系数矩阵逆变换为焦点融合后的图像输出。

所述源图像捕获部件用于根据所述控制信号在一个视野FOV的多个堆叠层通过显微镜拍摄对应的体液源图像；

所述中央控制和处理部件用于将每幅源图像变换为一个图像系数，并将一个视野的所有源图像对应的图像系数生成一个系数矩阵。

所述中央控制和处理部件包括：

中央控制单元，用于发出在一个视野FOV的多个堆叠层拍摄对应的体液源图像的控制信号；

瞬时分辨率采集单元，用于接收体液源图像，采集该源图像的瞬时分辨率，存储到所述中央控制单元；

所述中央控制单元进一步用于将一个视野的所有源图像对应的瞬时分辨率生成一个系数矩阵，发送给逆变换单元；

逆变换单元，用于将所述系数矩阵逆变换为焦点融合后的图像，存储到所述中央控制单元。

所述中央控制单元包括：

系统控制器，用于发出控制信号，控制源图像捕获部件、瞬时分辨率采集单元和逆变换单元的操作；

内存，用于存储图像数据，所述图像数据包括：源图像、系数矩阵、焦点融合后的图像。

所述瞬时分辨率采集单元包括：

采样电路，用于接收所述源图像捕获部件提供的单幅源图像；

小波分解电路，用于对所述源图像进行小波分解；

离散小波变换电路，用于将分解后的所述源图像变换为小波系数。

所述逆变换单元包括：

小波系数比较电路，用于从所述中央控制单元获得系数矩阵，并从中选出每个波长尺度中最大的小波系数；

缓存单元，用于存储所选出的小波系数；

逆离散小波变换电路，用于执行逆离散小波变换，将选出的小波系数变换为焦点融合后的图像。

所述源图像捕获部件包括：嵌有液体镜头的显微镜、液体镜头驱动器、快门、驱动单元、传感器、A/D转换器；其中，

所述液体镜头驱动器，用于根据所述控制信号改变液体镜头的焦距；

所述驱动单元，用于根据所述控制信号驱动所述快门按下；

所述传感器，用于将所述快门按下后得到的感应信号传输给所述A/D转换器；

所述A/D转换器，用于对所述感应信号进行A/D转换后，将捕获到的体液源图像提供给所述中央控制和处理部件。

一种用于体液分析的图像处理设备，包括：

所述逆变换单元，用于将所述系数矩阵逆变换为焦点融合后的图像，存储到所述中央控制单元。

一种用于体液分析的图像处理方法，包括：

A、向源图像捕获部件发出在一个视野FOV的多个堆叠层上拍摄对应的体液源图像的控制信号；

B、接收源图像捕获部件提供的体液源图像，将每幅源图像变换为一个图像系数，并将该视野的所有源图像对应的图像系数生成一个系数矩阵；

C、将该系数矩阵逆变换为焦点融合后的图像输出。

该方法进一步包括：

D、在执行步骤C之后发出同步信号，如果所有视野都处理完毕，则执行步骤E，否则针对下一个视野执行步骤A；

E、将所有视野的焦点融合后的图像拼接为最终图像。

所述将每幅源图像变换为一个图像系数包括：通过离散小波变换将每幅源图像变换为小波系数；

所述将该系数矩阵逆变换为焦点融合后的图像包括：

从系数矩阵中为每个波长尺度选出最大的小波系数；

将选出的小波系数逆离散小波变换为焦点融合后的图像。

所述体液为尿液、血液、脑脊液、胸腔积液、腹水或者精液。

由上述技术方案可见，为了克服垂直方向图像分辨率不足造成的对象遗漏和模糊，进而妨碍对象识别的有效进行，使得体液分析系统的精度低，本发明提出一种将Z轴焦平面堆叠与图像融合结合的系统、设备和方法，使得整个Z轴能够被堆叠后的DOF完全覆盖，从而提高系统精度和图像采集速度。

具体地，本发明将超快速Z轴堆叠式多焦平面图像采集与面向对象的图像融合方案结合，用以在非常高的放大倍数(通常是400倍)下，解决由于使用具有极为狭窄景深(depth of field，DOF)的光学显微镜导致的焦点对象遗漏或模糊等问题，以便采用比DOF更大的厚度(30至50倍)对体液样本，比如尿液样本等，进行成像。可以看出，本发明降低了对象图像遗漏或模糊的机率，从而在很大程度上提高了识别的成功率，使整个系统的精度提高到一个新的水平。进一步地，本发明将图像采集和焦点融合并行处理，使得实际的处理时间被大大缩短。

此外，本发明采用能够快速对焦的液体镜头，液体镜头的重新对焦时间以纳秒计。并且，液体镜头没有采用可移动部件控制对焦。这样，和机械调节相比，液体镜头的惯性是可以忽略不计的。因此，本发明的图像采集速度更快。

附图说明

下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：

图1为现有技术中放置有尿液样本的计数池和显微镜物镜的侧视图；

图2为现有技术中针对每个视野(FOV)进行自动对焦后捕获一幅图像的示意图；

图3(a)为本发明一个实施例中基于图像的体液分析系统的组成示意图；

图3(b)为本发明一个实施例中物镜303的放大示意图；

图4为本发明一个实施例中体液分析系统的功能示意图；

图5为本发明一个实施例的体液分析系统中实现中央控制功能的部件401的组成示意图；

图6为本发明一个实施例中部件401沿时间轴的操作流程示意图；

图7为本发明一个实施例的体液分析系统中实现源图像捕获功能的部件402的组成示意图；

图8为本发明一个实施例的体液分析系统中实现源图像瞬时分辨率采集功能的部件403的组成示意图；

图9为本发明一个实施例的体液分析系统中实现逆变换功能的部件404的组成示意图；

图10为基于DWT的图像融合的流程示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

图3(a)为本发明一个实施例中基于图像的体液分析系统的组成示意图，以下仅以尿液为例说明该体液分析系统的工作原理。当然，该系统同样适用于血液、脑脊液、胸腔积液、腹水、精液等其他体液分析。

在图3(a)所示的系统中，显微镜尿液分析软件301用于分析和处理相机302拍摄到的图像。嵌有液体镜头3031的物镜303连接到相机302，该物镜303还包括有变焦镜头3032。压力源/液体镜头驱动器304用于将液体镜头3031调节到需要的焦距。尿液样本306被加载器307自动加载到样本平台305上，使得该尿液样本306处于嵌有液体镜头3031的物镜303的视野内，并由卸载器309卸载。此外，照明设备308用于照亮放置在样本平台305上的尿液样本306。

图3(b)为本发明一个实施例中物镜303的放大示意图。可以看出，负责对焦的液体镜头3031是嵌入在用于放大的多片玻璃镜头3032之间的。图3(b)示出的液体镜头3031是由伦斯勒理工学院(Rensselaer Polytechnic Institute)的卡洛斯A.Lopez和阿米尔H.Hirsa开发的，该液体镜头是利用一个圆柱形孔将两个液滴耦合得到的。液滴的反向曲率产生类似于弹力的作用力，使得整个液体镜头系统成为一个天然的振荡器。在焦距从1到N的参数范围内，该系统可以产生谐振，使得液滴的形状基本上是球形的，因此适合于Z轴堆叠式焦平面成像。

需要说明的是，液体镜头被视为焦距可“无限变化”的变焦镜头。液滴的表面轮廓用于确定液体镜头系统的焦距，并最终确定液体镜头如何将光线聚焦。换句话说，通过改变液滴的表面轮廓，可以不使用任何可移动部件就能调节焦距。它可以在给定范围内捕获任何一个图像平面，并在几毫秒内精准地从一个焦距调节到另一个焦距。近年来，嵌有液体镜头的光学摄影系统已被应用在自动对焦相机中，但是现有技术尚未将液体镜头应用到显微镜系统中。

本发明将液体镜头嵌入到显微镜中，使得在图像采集时，可以方便地在Z轴的一系列焦平面上捕获和保存N幅图像，而不是只在每个视野(Field of View，FOV)的每个自动对焦的图像平面捕获单幅图像，从而建立一个高效的显微镜焦点调节机制。其中，N是一个整数，其取值等于将计数池的高度除以DOF厚度后的值，该取值可以确保对象被清晰对焦。换句话说，针对M个FOV，将采集和保存M×N幅图像。

针对每个视野进行Z轴堆叠式图像采集后，再将在Z轴上使用不同焦距捕获的N幅源图像融合成一个，从而针对每个视野获得一幅焦点融合后的图像，该图像包含视野内所有对象的清晰图像，即该图像比任一幅源图像的DOF都大。需要指出的是，各种图像融合算法，如空间域的融合和变换域的融合，已得到很大的发展，这些算法旨在对最终图像进行完善，以得到更少的伪像和更高的对比度。此后的对象识别、分类和计数等操作都可以采用常用软件完成。最后，所有FOV的图像被拼接成一幅最终图像。需要说明的是，根据具体的要求或应用场景，不同的焦点融合算法可以采用不同的前处理和后处理，此处不再赘述。

需要说明的是，当使用高倍放大镜时，一个视野(FOV)又可以细分为多个高倍放大镜视野(HPF)执行图像捕获，如图2所示。当然，在使用高倍放大镜之前，也可以先用低倍放大镜进行预处理，比如进行对象的初步扫描和检查，以确定需要进一步细分的FOV。

图4为本发明一个实施例中体液分析系统的功能示意图，该系统包括以下功能部件：中央控制部件401、源图像捕获部件402、瞬时分辨率采集部件403、逆变换部件404、输出部件405。

其中，中央控制部件401用于执行系统进程控制、触发、同步、数据存储等操作。具体地，中央控制部件401发出控制信号1，触发源图像捕获部件402针对一个DOF执行一次光拍摄，所指定的焦距数组可以由用户输入或自适应地由每个DOF图像采集端产生。对于自适应的方式，下一个焦距可以根据最近一幅图像的对焦质量估计得到。

源图像捕获部件402用于捕获单幅DOF图像2，并传送给瞬时分辨率采集部件403，以获取该图像的瞬时分辨率。瞬时分辨率采集部件403用于将结果系数3发给中央控制部件401存储，以使得该结果系数3后续能被访问到。部件401-402-403-401之间交互重复地执行N次，直到中央控制部件401输出系数矩阵4为止，其中N是Z轴上堆叠的焦平面的数量。

逆变换部件404用于将系数矩阵4逆变换回一幅焦点融合后的图像5，并传送回中央控制部件401存储。

进一步地，中央控制部件401用于将最终图像6发给输出部件405，作为最终的输出图像。

图5为本发明一一个实施例的体液分析系统中实现中央控制功能的部件401的组成示意图。该部件401包括：系统控制器501和内存502。

其中，系统控制器501用于根据图6所示的时序对图像采集过程进行控制。

内存502用于存储图像数据，所述图像数据包括：源图像、小波系数矩阵、焦点融合后的图像和输出图像等。

图6为本发明一个实施例中部件401沿时间轴的操作流程示意图，其中假设M为FOV数目，N为堆叠层的数目。

步骤601：针对第m个FOV，发出控制信号，要求捕获图像X[m，1]～X[m，N]，对图像X[m，1]～X[m，N]进行数字化，保存数字化后的图像X[m，1]～X[m，N]。其中，m的取值范围为1…M。

需要说明的是，该步骤中，N幅图像可以采用类似于并行的方式处理。比如，在执行图像X[m，1]的数字化时，可以同时捕获图像X[m，2]，而不必等待X[m，1]被保存后才启动图像X[m，2]的捕获操作。

步骤602：发出控制信号，将X[m，1]～X[m，N]融合为Y[m]，其中X为源图像，Y为焦点融合后的图像。

步骤603：发出同步信号，返回步骤601执行下一个FOV的图像采集和融合的控制，并在所有FOV的图像采集和融合执行完毕后，进入步骤604。

步骤604：发出控制信号，将Y[1]～Y[M]拼接成一幅最终图像。

图7为本发明一个实施例的体液分析系统中实现源图像捕获功能的部件402的组成示意图。该部件402包括：变焦镜头701、液体镜头702、快门703、传感器704、A/D转换器705、液体镜头驱动器706、驱动单元707。其中，光(在图7中用虚线示出)顺次通过变焦镜头701、液体镜头702、快门703，到达传感器704；传感器704作为成像元件使用，负责将感应信号传递给A/D转换器705。具体实现时，可以采用CCD或CMOS传感器。

图8为本发明一个实施例的体液分析系统中实现瞬时分辨率采集功能的部件403的组成示意图。该部件403包括：采样电路801、小波分解电路802、离散小波变换(discrete wavelet transform，DWT)电路803。

采样电路801，用于接收部件402提供的单幅DOF图像，并对该图像进行数字化采样。具体地，DOF图像可以是部件402中的A/D转换器705提供的。

小波分解电路802用于对图像进行小波分解。

离散小波变换电路803用于将分解后的图像变换为小波系数。

图9为本发明一个实施例的体液分析系统中实现逆变换功能的部件404的组成示意图。该部件404包括：小波系数比较电路901、缓存单元902、逆离散小波变换(IDWT)电路903。

小波系数比较电路901用于接收系数矩阵，并选出每个波长尺度中最大的小波系数；缓存单元902用于存储所选出的小波系数；IDWT电路903用于执行逆离散小波变换，将选出的小波系数变换为焦点融合后的图像。

具体地，假设针对堆叠层1-N构造K个小波，小波编号为W11-WKN，则部件403和部件404执行的基于DWT的图像融合过程如图10所示：

步骤1001：针对第k个小波，为Wk1～WkN执行DWT。其中，k的取值范围为1…K。

步骤1002：选出在相同的波长尺度(即第k个小波)内具有最大量值的小波系数，将其保存为Ck，返回执行步骤1001。在所有K个小波都处理完毕后，执行步骤1003。

步骤1003：对具有最大量值的小波系数C1-CK执行IDWT。

步骤1004：输出焦点融合后的图像。

进一步地，本发明的实施例提供了一种用于体液分析的图像处理设备，该设备主要用于对图像采集进行控制，以及对采集到的图像进行处理。具体地，该图像处理设备包括：

中央控制单元，用于发出在一个视野FOV的多个堆叠层拍摄对应的体液源图像的控制信号，每个堆叠层拍摄一幅源图像。

瞬时分辨率采集单元，用于接收体液源图像，采集该源图像的瞬时分辨率，存储到所述中央控制单元。需要说明的是，瞬时分辨率可视为该图像的一种图像系数。

所述中央控制单元进一步用于将一个视野的所有源图像对应的瞬时分辨率生成一个系数矩阵，发送给逆变换单元。

进一步地，本发明的实施例提供了一种用于体液分析的图像处理方法，包括以下步骤：

C、将该系数矩阵逆变换为焦点融合后的图像输出。

该方法进一步包括：

E、将所有视野的焦点融合后的图像拼接为最终图像。

具体地，所述将每幅源图像变换为一个图像系数包括：通过离散小波变换将每幅源图像变换为小波系数。

所述将该系数矩阵逆变换为焦点融合后的图像包括：从系数矩阵中为每个波长尺度选出最大的小波系数；将选出的小波系数逆离散小波变换为焦点融合后的图像。

从上述实施例可以看出：

1、本发明提供了一种高精度、高速度、全自动的体液分析系统，使得成像模块中出现对象图像丢失或对象图像模糊的机率降低，从而提高分析识别的精度。并且，本发明能够提供高质量的图像，作为临床实践文档和参考。

2、本发明带液体镜头的物镜制造简单、操作方便，不需要使用高电压或其他特别的方式进行激活，使得该设计切实可行。镜头的焦距改变从机械调节方式到电子定时控制，因此实现方便且高速。

3、本发明适用而广，不仅适用于尿液的分析，还可以很容易地扩展到其他体液分析，如血液、脑脊液、胸腔积液、腹水、精液和其他溶液、悬浊液。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种体液分析系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述源图像捕获部件用于根据所述控制信号在一个视野FOV的多个堆叠层通过显微镜拍摄对应的体液源图像；

3.根据权利要求1所述的系统，其特征在于，所述中央控制和处理部件包括：

4.根据权利要求3所述的系统，其特征在于，所述中央控制单元包括：

5.根据权利要求3所述的系统，其特征在于，所述瞬时分辨率采集单元包括：

小波分解电路，用于对所述源图像进行小波分解；

6.根据权利要求3所述的系统，其特征在于，所述逆变换单元包括：

缓存单元，用于存储所选出的小波系数；

7.根据权利要求1-6任一项所述的系统，其特征在于，所述源图像捕获部件包括：嵌有液体镜头的显微镜、液体镜头驱动器、快门、驱动单元、传感器、A/D转换器；其中，

所述驱动单元，用于根据所述控制信号驱动所述快门按下；

8.一种用于体液分析的图像处理设备，其特征在于，包括：

9.一种用于体液分析的图像处理方法，其特征在于，包括：

C、将该系数矩阵逆变换为焦点融合后的图像输出。

10.根据权利要求9所述的方法，其特征在于，进一步包括：

E、将所有视野的焦点融合后的图像拼接为最终图像。

11.根据权利要求9所述的方法，其特征在于，所述将每幅源图像变换为一个图像系数包括：通过离散小波变换将每幅源图像变换为小波系数；

所述将该系数矩阵逆变换为焦点融合后的图像包括：

从系数矩阵中为每个波长尺度选出最大的小波系数；

将选出的小波系数逆离散小波变换为焦点融合后的图像。

12.根据权利要求9-11任一项所述的方法，其特征在于，所述体液为尿液、血液、脑脊液、胸腔积液、腹水或者精液。