CN102357033A

CN102357033A - 一种激光散斑血流成像处理系统及方法

Info

Publication number: CN102357033A
Application number: CN2011103007579A
Authority: CN
Inventors: 李鹏程; 骆清铭; 蒋超
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2011-09-27
Filing date: 2011-09-27
Publication date: 2012-02-22
Anticipated expiration: 2031-09-27
Also published as: CN102357033B

Abstract

本发明公开一种基于SOC/IP解决方案的激光散斑血流成像处理系统及方法。本发明方法在激光散斑血流图像的采集，处理和显示流程中，全部采用硬件电路实现，并在处理核心的设计中引入多级流水线技术和并行处理单元，使得系统在较低的时钟频率下（约50MHZ），能够实现视频速率的激光散斑血流成像实时处理。该方案极大地降低了激光散斑血流成像系统的功耗和体积，提供了一种便携式激光散斑血流成像仪器的设计方法。本方案是采用硬件描述语言设计的IP核来实现，可以用分立电路元件，FPGA和ASIC芯片来实现。

Description

一种激光散斑血流成像处理系统及方法

技术领域

本发明涉及一种激光散斑血流成像的处理系统及方法，应用于实时视频速率的二维血流分布监测。

背景技术

血流速度是生命活动过程中非常重要的功能代谢参数之一。动态监测血流速度的时空变化对于研究生物组织生理变化过程，功能活动及药效评价等具有重大意义。

在生物组织血流检测中，目前已有的方法均存在诸多不足。间接测量方法，如局部组织阻抗式容积脉波描记方法，光电反射式容积脉波描记方法，多点温度测量方法的空间分辨率较低。直接测量方法，如血细胞荧光示踪活体观测方法，氢离子稀释法，放射性微球技术都需要引入外源性物质，对生物组织生理参数会产生一定影响，显微电视法不能实时连续地测量流速变化，超声多普勒法空间分辨率较低。激光多普勒血流成像方法基于单点多普勒频移效应测量流速，要实现二维血流速度测量，需采取点扫描或多个探头并行扫描的方式，其时间分辨率通常为数分钟。

激光散斑血流成像方法以其快速、高分辨、非侵入和无需扫描即可实现大范围内二维流速成像的特点，在脑组织、皮肤、眼底视网膜、关节以及肠系膜等生物组织血流检测中取得了重要应用，为反映生物组织功能活动、揭示重大疾病产生机制以及药效评价提供了重要的研究工具。在很多情况下，对血流监测的实时性要求比较高，要达到视频速率的检测，也即每秒24帧高分辨率图像左右。这样巨大的处理能力远非普通PC机上的CPU能够完成的。因此，一般需要引入一些特殊的具有强大处理能力的器件来加速激光散斑血流成像的处理。已经报道的方法有两种：

1. 使用能够应用于通用计算的GPU（Graphics Processing unit，图像处理器）

随着GPU技术的发展，现在的GPU不仅可以应用于传统的图像渲染，而且可以用来加速一般的通用计算。现在的GPU能加速通用计算的原因是：首先，GPU本来是多核构架，一般一个GPU的芯片里头集成了几十个到上百个处理器，拥有并行处理的能力；其次，现在的GPU是可编程的，用户可以利用自己定义GPU中处理器要完成的任务，任务的组织是以大量同时运行的线程实现的。这样，用户就可以把一些计算密度高但具有并行性的算法加以改进，加载到GPU上运行，利用GPU强大的并行计算能力来达到加速的目的。激光散斑的图像处理就可以采用GPU来加速。先把一帧图像划分成很多相等的小子图像，把每个子图像分给相应的线程块（block），每个块里的一个线程负责计算相应的一个小滑动窗口，得到流速图像中的一个像素。待所有的子图像都被转换成对应的流速图的子图像后，在把这些流速图子图像合并起来，就得到一帧完整的血流分布图像了。GPU方案的缺点就是必须要与PC机配合，这样体积和功耗都很大，不利于发展便携式的激光散斑血流成像仪器。

2. 采用DSP（Digital Signal Processor，数字信号处理器）

数字信号处理器和传统的处理器一样，也是通过程序的运行来完成计算任务的。但是，和普通的处理器相比，它采用了一些更加优化的设计，来提高计算能力。比如：传统的处理器一般使用冯若依曼构架，程序代码和数据共享一个存储空间和一套地址-数据总线，而DSP一般则采用哈佛结构，程序代码和数据独立分布在不同的存储空间里，拥有各自的总线结构，因此DSP可以大大的提高数据处理的带宽；其次，DSP集成了专门的硬件乘法器件来完成乘法计算，可以在单个周期内完成复杂的乘法操作；另外，大部分DSP处理器具有零消耗循环控制的专门硬件，零消耗循环是指处理器不用花时间测试循环计数器的值就能执行一组指令的循环，硬件完成循环跳转和循环计数器的衰减；除此之外，还有许多其他专门用于优化程序中某些操作的硬件单元。

激光散斑血流图像处理的算法同样是以程序语言的方式在DSP上运行。正是因为DSP具有这些加快程序运行和数据计算的特殊硬件单元，所以可以在某些高性能数字信号处理器上达到实时处理的目的。DSP方案的缺点就是对DSP的处理能力要求很高，时钟频率要达到800MHZ左右的高性能DSP才能够胜任，因此成本和功耗都比较高。

发明内容

本发明所要解决的技术问题是提供了一种激光散斑血流成像的处理系统及其方法，以降低了激光散斑血流成像系统的功耗和体积。

为解决上述技术问题，本发明提出了一种激光散斑血流成像处理系统，包括CCD采集控制模块，原始图像缓存模块，原始图像读取模块，激光散斑图像处理内核模块和显示控制模块，其特征在于，所述CCD采集控制模块，原始图像缓存模块，原始图像读取模块，激光散斑图像处理内核模块和显示控制模块集成在SOC构架上；所述激光散斑图像处理内核模块上集成了控制单元和流水处理单元，所述流水处理单元包括第一累加模块、第一平方模块、第二累加模块、第二平方模块、减法器、除法器，设所述激光散斑血流成像原始数据的滑动窗口尺寸N=i×i，i的取值为3、5、7、9之一；

所述原始图像读取模块，用于读取所述滑动窗口的i×i像素值；

所述第一累加模块，用于对所述滑动窗口的像素值累加，得到第一累加值，

所述第一平方模块，用于对所述滑动窗口的像素值计算其平方值，得到第一平方值向量；

所述第二平方模块，用于将所述第一累加值进行平方运算，得到第二平方值；

所述第二累加模块，用于将所述第一平方值向量进行累加运算，得到第二累加值；

所述减法器，用于将所述第二累加值减去所述第二平方值，得到第三值；

所述除法器，用于将所述第二平方值除以所述第三值，得到所述激光散斑血流的流速值；

所述控制单元，用于控制所述原始图像读取模块连续读取滑动窗口的数据，送到所述流水处理单元的第一累加模块、第一平方模块。

优选的，所述除法器数量为(d+a)×2+2+m)/i，若该式结果不为整数，则取相邻整数中较大的一个；除法器的位宽为(d+a)×2+m；其中，d为输入像素值的二进制位宽；i的取值分别为3、5、7、9时，a的取值分别对应为4、5、6、7；m是要保留的小数位数（二进制）；i的值取3、5、7、9来分别对应3×3、5×5、7×7、9×9的滑动窗口尺寸。即，所述除法器的数量和位宽依赖于3个因素：输入像素值的二进制位宽，滑动窗口尺寸大小和对计算结果保留小数位数的精度要求。

本激光散斑血流成像处理系统还包括第一缓存器、第二缓存器，所述第一缓存器连接所述第一累加模块，用于临时存储所述第一累加模块计算出的所述滑动窗口的第2～i列像素值的累加和；所述第二缓存器连接所述第二累加模块，用于临时存储所述第二累加模块计算出的所述滑动窗口的第2～i列像素平方值的累加和。

所述控制单元，还用于按时间轮转的方式选择和调度所述除法器。

本发明还提出了一种根据所述激光散斑血流成像处理系统的处理方法，其特征在于，包括以下步骤：

步骤1、所述原始图像读取模块读取第一个所述滑动窗口的i×i像素值，

步骤2、所述第一累加模块对所述滑动窗口的像素值累加，得到第一累加值，所述第一累加值送入所述第二平方模块；并行地，

所述第一平方模块对所述滑动窗口的像素值计算其平方值，得到第一平方值向量，所述第一平方值向量送入所述第二累加模块；

步骤3、所述第二平方模块将所述第一累加值进行平方运算，得到第二平方值，所述第二平方值送入所述减法器；并行地，

所述第二累加模块将所述第一平方值向量进行累加运算，得到第二累加值，所述第二累加值送入所述减法器；

步骤4、所述减法器将所述第二累加值减去所述第二平方值，得到第三值；

步骤5、所述除法器接收所述缓存器中的所述第二平方值，并用所述第二平方值除以所述第三值，得到当前滑动窗口的流速值；

步骤6、所述控制单元选择下一个所述滑动窗口，如果存在下一个滑动窗口，则所述原始图像读取模块读取下一个滑动窗口的最后一列像素值，该滑动窗口的最后一列像素值与上一滑动窗口的2～i列像素值组成该滑动窗口的i×i像素值，返回步骤2；如果否，则结束，得到所述激光散斑血流的流速值。

更加优化的技术方案是：

在所述步骤2中，所述第一累加值送入所述第二平方模块的同时，所述第一缓存器缓存当前滑动窗口的第2～i列像素值的累加和；

在所述步骤3中，所述第二累加值送入所述减法器的同时，所述第二缓存器缓存该滑动窗口第2～i列像素平方值的累加和；

经过所述步骤6，进行

步骤7，所述第一累加模块对当前滑动窗口的最后一列像素值与上一滑动窗口的2～i列像素值累加，得到第一累加值，所述第一累加值送入所述第二平方模块；并行地，

所述第二平方模块将所述第一累加值进行平方运算，得到第二平方值，所述第二平方值送入所述减法器；并行地，

所述减法器将所述第二累加值减去所述第二平方值，得到所述第三值；

所述除法器接收所述缓存器中的所述第二平方值，并用所述第二平方值除以所述第三值，得到当前滑动窗口的流速值；返回步骤6。

相比于传统的基于GPU和DSP程序执行的方案，本发明提出的基于SOC / IP解决方案（System On chip / Intellectual Property，片上系统 / 具有特定功能的集成电路模块）的激光散斑血流成像的处理系统及方法，全程处理都是采用硬件电路实现的，使得系统可以在较低功耗和时钟频率（例如50MHZ）下达到视频速率的实时处理能力（在更高的时钟下，可以处理更多的原始图像，当时钟为130MHZ时，每秒约可以处理80帧）。该方法的原始图像采集，处理算法和显示都是用硬件描述语言设计的IP核（具有特定功能的集成电路模块）来实现的，可以由分立电路元件，FPGA（现场可编程逻辑门阵列）或者ASIC（专用集成电路）来实现具体的物理计算电路。其中，在FPGA和ASIC平台上，能够很方便地实现SOC（System On Chip，片上系统），把原始图像采集模块，存储模块，处理模块和显示模块集成到一个芯片上，可以设计出一种低功耗，微型便携的激光散斑血流成像仪器。

本发明采用硬件电路控制逻辑来操作存储器，使得原始数据的缓存和读取以高速数据流的方式进行，每个时钟都可以缓存或读入一个有效的原始图像像素值，这样极大地增加了数据读取的带宽，例如在50M的时钟频率下，系统可以每秒缓存或读取50M个始像素值。

为了应对算法中丰富的乘法操作，本发明在设计中使用了硬件乘法电路，这些硬件乘法器可以在单个时钟周期完成一次乘法操作。多个乘法器的并联使用可以在一个时钟周期内完成多个乘法。

为了进一步增强处理能力，本发明方案采用采用了流水线的方式来处理数据。当下一级处理单元在处理本级所要完成的任务时，上一级处理单元同时在处理上上级单元传过来的数据，这样极大地增加了系统的处理能力和数据吞吐量。

在本发明方案中，除法器是使用移位相减的方式实现的。实现一个除法操作，需要与被除数和除数二进制位宽相等的时钟脉冲数来完成。很显然，除法器前级电路的数据吞吐能力超过了除法器的处理能力。因此，方案中采用了多个除法器单元来匹配前一级电路的处理速度的。上一级的数据输出按时间轮转的方式分配到这些除法器上。这些除法器输出的值重新整合在一起，按像素顺序输出流速图。

附图说明

图1 为本发明所涉及的激光散斑血流成像系统结构图，包括激光照明部分，图像采集，处理和显示部分。

图2 为本发明所描述的基于SOC的激光散斑血流成像的采集，存储，处理和显示框图。

图3 为本发明处理算法中数据流动方向的过程框图。

图4 为本发明处理算法中流水线第一级输出前端的处理时序示意图。

具体实施方式

由图1所示，简单描述了本发明所涉及的激光散斑血流成像系统的结构框图，由激光照明部分，图像采集，处理和显示模块组成。激光照明系统由氦氖激光器，扩束镜头，样品台组成。激光器发出的激光经过扩束镜头扩束后照射到样平台上。图像由CCD采集后，缓存在存储器中，同时处理核心部分从存储器读取原始图像处理，处理后得到的流速图像送到显示部分进行显示。

图2描述了本发明基于FPGA或ASIC的激光散斑血流成像SOC系统。可以在一块FPGA或者ASIC芯片上集成CCD图像传感器的采集控制单元，原始图像缓存控制单元，激光散斑血流成像处理内核单元以及LCD显示控制器单元等。箭头的方向代表数据在各集成电路模块之间流动的方向。

业内人士应该知道激光散斑血流成像的基本原理。在此作简要的描述。首先，一束扩束后的激光照射到样品上（样品可以是皮肤，视网膜，脑皮层等），CCD相机对样品图像进行采集。由于是相干光照明，所以CCD获取的图像是一幅由随机干涉引起的散斑图样。对原始的散斑图采取如下处理方法：从图像左上角第一个像素开始，取一个正方形小窗口（尺寸一般选取5×5或者7×7），对窗口内的像素值作统计，计算出这些像素的标准差和平均值的比，我们把这个比值叫做衬比；让该小窗口以一个像素的步进从左至右，从上至下滑动，计算出每个滑动窗的衬比值，这些新的衬比值所组成的图像就可以反映散斑被模糊的程度。样品上没有血液流动或有极微量血流的地方，散斑模糊程度低，衬比值高，流速低，在有血液流动的地方，散斑模糊程度高，引起衬比值下降，流速高。这样我们就可以根据衬比值的变化来描述样品上血流的变化了。业界在工程处理上一般用衬比值平方的倒数来度量流速的变化（相对流速值）。

计算衬比值的基本处理公式（1）如下：

Figure 2011103007579100002DEST_PATH_IMAGE002

（1）

其中，C 表示衬比，σ _I表示一个滑动窗中所有像素值的标准差,

表示一个滑动窗口中的所有像素值的平均强度，i表示滑动窗口内像素的索引值，I _i 表示第i 个像素的强度，N 表示滑动窗口的尺寸（一般选取5×5或者7×7个像素的正方形）。

以N×N近似代替上式分子中的N×（N-1）（这种近似对结果的影响几乎可以忽略），并且进行简单的变换，可以得到下面计算流速值的式子（2）（流速值即衬比值平方的倒数）：

Figure 2011103007579100002DEST_PATH_IMAGE006

（2）

图3所示的算法框图是基于上述式子（2）的。首先，原始数据从高速缓存中被读出来，进入图示流水线第一级的模块，在累加模块中累加，得到一个子窗口的像素值累加和，在平方模块应用硬件乘法电路得到平方值。然后进入流水线第二级模块，累加值会被平方，而前一级的像素平方值会被累加起来，这样分别得到了上式（2）中的分子以及分母中的被减数与减数（注意，分子和分母中的减数部分是相同的）。在流水线第三级，第二级输出的两个数据会相减得到上式（2）中的分母，同时分子（即像素累加值的平方）也会缓存，然后和分母同时输出。由于除法器是采取移位相减的策略，所以完成分子分母的除法，会消耗多个时钟，需要多个除法器同时工作，才能与前一级的输出速度相匹配。总的电路设计中会包括一个图3中没有标出的控制单元。控制器还负责监测是否已经有一个有效的滑动窗口对应数据从流水线第三级输出，若有，则从除法器阵列中为该数据选择一个空闲的除法器，若没有，则忽略该输出数据。在第3级减法单元输出有效的分子和分母时，控制单元会选择一个空闲的除法器来完成除法操作。控制单元对除法器的调度采取时间轮转的方式进行，保证所有的除法器都在做有效的工作。这些除法器的输出的值在时间坐标上是错开的，所以只需要一个简单的电路单元合并在一起，然后延时间顺序输出供其他模块使用（比如存储或者显示）。综上所述，流水线上的各个模块全部同时并发独立执行，在当前流水周期里，后一级模块正在处理的数据是前一级模块在前一流水周期处理的数据结果，而前一级模块在当前流水周期中正在处理新进入其模块的数据。

以N等于5×5的滑动窗口为例，按照现有技术，读取一个5×5的滑动窗口，共25个像素值，需要25个时钟。而如本发明的图3所示的前三级流水线中，每一个单元完成一次处理要仅仅消耗5个时钟。如图4所示，以第一级流水单元的累加部分为例，每5个时钟会依次读入一个滑动窗中纵向排列的5个像素。从第1列开始的时候，读到第5列后，这时像素值累加单元会输出第一个滑动窗口的有效的累加和给下一级，同时该累加单元会缓存滑动窗口的第2,3,4,5列累加和，当读入第6列后，第6列的累加和会与缓存的第2,3,4,5四列累加和相加，输出第2个滑动窗口有效的累加和，同时缓存第3,4,5,6列的累加和。同理，读入第7列后，会与缓存的第3,4,5,6四列累加和输出第3个滑动窗口的累加和。依照此理，每计算一个新的滑动窗的累加和值，只需读入新的一列5个像素再加上已经缓存的4列20个像素。这样，除每行第一个窗口需要25个时钟才能得到一个有效的累加和，紧接着的每个滑动窗只需要5个时钟。该方法在一定程度上避免内存重复读操作，提高了数据吞吐量和处理效率。

第一级流水单元的平方部分每次只是简单地读入5个像素，并平方输出，不做任何缓存。这样，可以做到每5个时钟就可以输出5×5滑动窗口的一列像素值对应的平方值，给第二级流水的累加单元。第2级流水的累加单元的工作原理与第一级的累加单元相似，也是通过缓存前一滑动窗口的后4列累加和，从而做到每5个时钟输出一个滑动窗口的像素值平方累加和。其他部分同样也遵循每5个时钟为一个周期的流水操作。

总体而言，前三级流水线是并行工作的，当后一级流水线在处理当前数据时，前一级流水线会处理新的的数据。对于5x5的滑动窗口来说，可以保证在除法器阵列之前，每5个时钟便能够输出一个滑动窗口的关于上式的分子和分母。

为了保证电路有较高的工作频率，除法器是采用移位相减的方式设计的。如果滑动窗口的尺寸是5×5，则上式中的除法在只保留整数的情况下需要30个时钟。为了和前面流水线输出速度相适应（每5个时钟就会输出一个上式中分子和分母），应该使用6个除法器。除第一个除法结果输出有若干个时钟的延时外，紧接着每5个时钟就会有一个有效的除法值输出。

上述内容描述了原始图像第1行对应的滑动窗口的处理，接下来的其他行处理与此相同。当需要换行的时候，直接读下一行第一个滑动窗口中的像素列，送入到前三级流水线中，但是这时候需要禁止相应的除法器接收无效的分子和分母，直到等到这一行的第一个滑动窗口的有效计算值从图3中的流水线第3级输出，才使能除法器工作。

除法器输出的流速值归一化为像素值（0 - 255）之后，写入高速显存。LCD控制器从显存中取出图像，然后显示在LCD供用户监测。

上述设计在Altera的Cyclone II FPGA上做过测试，工作频率高达130MHZ（处理能力达到每秒80帧640×480图像，5×5滑动窗口）。在50MHZ频率下，滑动窗口尺寸选取5×5，可以每秒处理33帧640×480像素大小图像，完全达到了实时视频处理速率要求。此外，本设计同样支持包括3×3，7×7等不同尺寸的滑动窗口。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种激光散斑血流成像处理系统，包括CCD采集控制模块，原始图像缓存模块，原始图像读取模块，激光散斑图像处理内核模块和显示控制模块，其特征在于，所述CCD采集控制模块，原始图像缓存模块，原始图像读取模块，激光散斑图像处理内核模块和显示控制模块集成在SOC构架上；所述激光散斑图像处理内核模块上集成了控制单元和流水处理单元，所述流水处理单元包括第一累加模块、第一平方模块、第二累加模块、第二平方模块、减法器、除法器，设所述激光散斑血流成像原始数据的滑动窗口尺寸N=i×i，i的取值为3、5、7、9之一；

2.根据权利要求1所述的激光散斑血流成像处理系统，其特征在于，所述除法器数量为((d+a)×2+2+m)/i，若该式结果不为整数，则取相邻整数中较大的一个；除法器的位宽为(d+a)×2+m；其中，d为输入像素值的二进制位宽；i的取值分别为3、5、7、9时，a的取值分别对应为4、5、6、7；m是要保留的小数位数（二进制）；i的值取3、5、7、9来分别对应3×3、5×5、7×7、9×9的滑动窗口尺寸。

3.根据权利要求2所述的基于SOC/IP的激光散斑血流成像处理系统，其特征在于，还包括第一缓存器、第二缓存器，所述第一缓存器连接所述第一累加模块，用于临时存储所述第一累加模块计算出的所述滑动窗口的第2～i列像素值的累加和；所述第二缓存器连接所述第二累加模块，用于临时存储所述第二累加模块计算出的所述滑动窗口的第2～i列像素平方值的累加和。

4.根据权利要求3所述的激光散斑血流成像处理系统的处理方法，其特征在于，所述控制单元，还用于按时间轮转的方式选择和调度一个空闲的所述除法器。

5.根据权利要求4所述的激光散斑血流成像处理系统的处理方法，其特征在于，包括以下步骤：

6.根据权利要求5所述的激光散斑血流成像处理系统的处理方法，其特征在于，

经过所述步骤6，进行

所述除法器接收所述缓存器中的所述第二平方值，并用所述第二平方值除以所述第三值，得到当前滑动窗口的流速值；

返回步骤6。