CN103230252B - 多光谱成像内窥检测系统和检测方法 - Google Patents

Abstract

一种多光谱成像内窥检测系统和检测方法，检测系统由设备外壳、半透半反镜、光源部、光纤、微透镜、滤光单元、CCD摄像头、计算机和单片机构成，本发明结合多光谱成像技术和光谱分光技术，解决了检测人体内部复杂环境下快速得获得彩色图像和多通道光谱信息的问题，采用时间信息融合和自适应曝光的方法，最终获得内窥环境下的光谱成像图，反映人体内部组织形貌特征和物质光谱信息。

Description

多光谱成像内窥检测系统和检测方法

技术领域

本发明涉及光电生理检测类设备，特别是一种多光谱成像内窥检测系统和检测方法。

背景技术

由于一些疾病隐藏性强、潜伏周期长、不易观察以及不引起体外特征变化的特点，内窥镜检测装置的应用越发广泛。内窥镜可以通过自然腔道进入人体内部待检测部位，也可以通过手术中的切口和微创口进行体内。医用内窥镜对现代医疗诊断和治疗有极大的价值。

传统窄带成像内窥检测技术由奥林巴斯公司提出并研制，该技术能有效观察消化道黏膜毛细血管状态的改变，窄带成像内窥镜由滤光器对“白光”进行过滤，仅留下415nm、540nm和600nm波长的蓝、绿、红色窄带光波，不同色的光可以显示表面以下不同深度的部位的形貌特征，便于检测出人体内部微小的形变（中国专利200780030648.1）。但缺点是检测通道数少，且对物质的细节变化无法了解。

传统光谱分析技术得到的定性或定量分析信息，是对被分析试样内很多原子或分子的光发射或光吸收行为的总体检测，因而可以获得总和或平均分析数据，由于器官和组织的病变通常会导致物质成分的变化，因此可以在某些方面较好的得到医生所需的检测结果，但对于器官和组织的形貌变化以及病变程度信息却反映不足。传统的图像定性分析技术可以给出试样的一维、二维甚至三维图像，在检测的过程中可以及时的掌握被测器官和组织的形貌特征，但缺点是只能提供形态学信息而无法给出成份的定性和定量信息。

多光谱成像是获得和显示精确颜色信息的重要技术，原因之一是多光谱图像包含了更多的光谱信息，原因之二是多光谱成像技术很好地克服了同色异谱现象。但通常只能获得较少的光谱通道，同样，在复杂环境中的多光谱图像的修正也是目前的研究热点。

CCD成像系统中，当光照条件改变或者景物亮度反差较大时，不可避免的要进行时间调节，自动曝光（Auto-Exposure）已经成为成像系统非常重要的功能之一。目前调光算法多种多样，但每种算法都有不足之处，针对人体内部复杂环境必须有针对性的提出一种方法调整曝光时间。

发明内容

本发明的目的在于提供一种多光谱成像内窥检测装置和检测方法，解决在检测人体内部复杂环境下快速得获得彩色图像和多通道光谱信息的问题，采用时空信息融合的方法，结合分光技术，最终获得内窥环境下的光谱成像图，反映人体内部组织形貌特征和物质光谱信息。

本发明的技术解决方案如下：

所述的设备外壳上设有串口、电源接口、光纤插口和隔版，所述的隔板位于所述的设备外壳的上部并与设备外壳的底平行，所述的串口位于设备外壳的左上壁，在所述的隔板上设置所述的单片机，该单片机经所述的串口与所述的计算机相连，所述的电源接口位于设备外壳的左下壁，该电源接口通过导线与所述的光源部、CCD摄像头和旋转马达相连；所述的光纤插口位于所述的设备外壳右壁上，所述的光源部设置在所述的设备外壳左壁上，所述的光纤插口和所述的光源部处于同一水平线上，所述的半透半反镜置于所述的设备外壳的左壁和底之间并与左壁成45°夹角位于所述的光纤插口和光源部之间，所述的光纤插入所述的光纤插口，所述的CCD摄像头固定在所述的隔板的中心，镜头朝向下方；

光源部发出的光经所述的半透半反镜照射在所述的光纤插口中的光纤的一端上，该光纤的另一端连接一个微透镜，供插进入人体使用；所述的滤光单元在同一圆周上具有等间距的2个以上的通孔，每个通孔上各镶嵌一个具有不同中心波长的干涉滤光片，所述的滤光单元通过所述的固定支架和旋转马达固定在所述的隔板上，所述的滤光单元的中心固定在所述的旋转马达的旋转轴上，所述的滤光单元的干涉滤光片的中心恰好位于所述的CCD摄像头和所述的半透半反镜中点的连线上，所述微透镜接收的反射光由所述的光纤传输经所述的半透半反镜反射后，经所述的滤光单元的干涉滤光片由所述的CCD摄像头采集，所述的CCD摄像头的输出端与所述的计算机相连；所述的单片机的输出端与所述的CCD摄像头和旋转马达相连，所述的单片机另一端通过数据线与所述的计算机连接。

利用上述多光谱成像内窥检测装置进行检测的方法，该方法包括下列步骤：

①启动设备，打开光源部和单片机，调整所述的旋转马达至初始位置，此位置对应所述的滤光单元的中心波长最短的干涉滤光片恰好置于所述的半透半反镜反射光的光路中；

②光源部发出的光透过所述的半透半反镜，经所述的光纤插口、光纤和微透镜射入体内，人体待检测部位反射的散射光由所述微透镜收集，并通过光纤经由所述的半透半反镜反射，然后通过滤光单元，散射光被过滤为单色光，所述的CCD摄像头在预设的曝光时间t下获得第一幅单色图像；

③调整曝光时间：CCD摄像头采集到单色图像后，传输给计算机，通过曝光调节过程调节实际的曝光时间t→t+Δt：

首先计算机对第一幅单色图像进行处理：

计算目标单色图像的平均灰度值MBI：所有像素点的灰度值相加，最后除以总的像素点数；

图像灰度中值PBI：所有像素点灰度值中的中值；

再计算出两者的差值DMP=|MBI-PBI|；

光控制系统的误差信号E由三部分组成：平均灰度值误差信号e_m、灰度中值误差信号e_p、平均差值误差信号e_d：

e_m＝f_dstm-MBL

e_p＝f_dstp-PBL

e_d＝DMP

其中，f_dstm和f_dstp分别为预设平均灰度值、预设灰度中值，

E＝ae_m+be_p+ce_d，

其中，a、b、c分别是e_m、e_p和e_d的权值系数，是变化可调的，a+b+c＝1且a-c＝b+c，最终得到曝光时间调整量：Δt＝±E²，然后计算机将调整后的时间信息反馈给所述的CCD摄像头，所述的CCD摄像头调节实际的曝光时间t+Δt再一次曝光，送所述的计算机存储，完成了第一中心波长的单色图像IMG1采集；

④调整所述的旋转马达顺时针旋转360°/m，使所述的滤光单元的第二中心波长的干涉滤光片旋转至①所述的光路中；所述的CCD摄像头在预设的曝光时间t下获得第二幅单色图像；利用③中所述的方法，由所述的计算机计算得到第二中心波长的实际曝光时间t+Δt，然后计算机将调整后的时间信息反馈给所述的CCD摄像头，所述的CCD摄像头调节实际的曝光时间t+Δt再一次曝光，送所述的计算机存储，完成了第二中心波长的单色图像IMG2采集；

⑤继续调整所述的旋转马达顺时针旋转，与④中所述步骤对应，同样完成第三中心波长～第m中心波长的单色图像IMG3～IMGm得采集。

⑥用YUAN HE.Hyper-spectral image processing using high performancereconfigurable computers[D].The University of Tenessee,Knoxville.USA.2004.中的归一化离散小波变换（nDWT）方法（参见YUAN HE.Hyper-spectral imageprocessing using high performance reconfigurable computers[D].The University ofTenessee,Knoxville.USA.2004）处理所述的单色图像IMG1～IMGm，获得光谱成像图。

本发明与先前技术相比，具有下列优点：

1）将光谱成像技术和内窥检测技术相结合，提高了对人体内部组织形貌特征和物质成分的检测速度；

2）针对目前体内检测技术中的难点待检测目标的易变性，本发明用CCD自动曝光控制实现了采集过程对环境的自适应调节；

3）本发明系统降低了光谱检测和内窥检测的硬件成本。

附图说明

图1多光谱图像采集装置的结构示意图

图2本发明提供的多光谱图像采集装置内部及装置与外部控制计算机的连接示意图

图3本发明提供的多光谱图像采集方法的流程图

图4本发明CCD摄像头自动曝光控制流程图

图5滤光单元的结构示意图

图中：1为设备外壳、1-1为串口、1-2为电源接口、1-3为光纤插口、1-4为横隔版、2为半透半反镜、3为光源部、4为光纤、5为微透镜、7为滤光单元、7-1为旋转马达、7-2为固定支架、7-3为滤光片、8为CCD摄像头、9为计算机，10为单片机。

具体实施方式

以下结合附图和实施例对本发明做进一步说明，但不应以此限制本发明的保护范围。

本发明设计了一种能够检测和观察人体内部结构形貌和组成，并能够实时的被医生掌握监测信息的光学图像和光谱图像的控制、采集和传输为一体的设备，具有操作简单、采集速度快、功能强大等特点。

图1为本发明提供的多光谱图像采集装置结构示意图，该装置包括：设备外壳1、串口1-1、电源接口1-2、光纤插口1-3、装置隔版1-4、半透半反镜2、光源部3、光纤4、微透镜5、滤光单元7、旋转马达7-1、固定支架7-2、滤光片7-3、CCD摄像头8、计算机9和单片机10。

其中设备外壳1上设有串口1-1、电源接口1-2、光纤插口1-3和隔版1-4，所述的隔板1-4位于所述的设备外壳1的上部并与设备外壳1的底平行，所述的串口1-1位于设备外壳1的左上壁，在所述的隔板1-4上设置所述的单片机10，该单片机10经所述的串口1-1与所述的计算机9相连，所述的电源接口1-2位于设备外壳1的左下壁，该电源接口通过导线与所述的光源部3、CCD摄像头8和旋转马达7-1相连；所述的光纤插口1-3位于所述的设备外壳1右壁上，所述的光源部3设置在所述的设备外壳1左壁上，所述的光纤插口1-3和所述的光源部3处于同一水平线上，所述的半透半反镜2置于所述的设备外壳1的左壁和底之间并与左壁成45°夹角位于所述的光纤插口1-3和光源部3之间，所述的光纤4插入所述的光纤插口1-3，所述的CCD摄像头8固定在所述的隔板1-4的中心，镜头朝向下方；

光源部3发出的光经所述的半透半反镜2照射在所述的光纤插口1-3中的光纤4的一端上，该光纤4的另一端连接一个微透镜5，供插进入人体使用；所述的滤光单元7在同一圆周上具有16个的通孔，每个通孔上各镶嵌一个具有不同中心波长的干涉滤光片7-3，所述的滤光单元7通过所述的固定支架7-2和旋转马达7-1固定在所述的隔板1-4上，所述的滤光单元7的中心固定在所述的旋转马达7-1的旋转轴上，所述的滤光单元7的干涉滤光片7-3的中心恰好位于所述的CCD摄像头8和所述的半透半反镜2中点的连线上，所述微透镜5接收的反射光由所述的光纤4传输经所述的半透半反镜2反射后，经所述的滤光单元7的干涉滤光片7-3由所述的CCD摄像头8采集，所述的CCD摄像头8的输出端与所述的计算机9相连；所述的单片机10的输出端与所述的CCD摄像头8和旋转马达7-1相连，所述的单片机10另一端通过数据线与所述的计算机9连接。

图3为本发明提供的多光谱单色图像采集方法的流程图：

启动设备，打开光源部3提供系统环境的照明，入射光经过光纤进入体内，通过待检测部位的反射和散射，逆方向进入光纤，经过半透半反镜，由滤光片过滤白光成为单色光，最后到达CCD摄像头8，其中CCD摄像头8的驱动和时序由计算机实时的向单片机发送指令，并由单片机10控制，采集到单色图像后，传输给计算机9，通过曝光调节，使系统原定的曝光时间t调整为实际曝光时间t+Δt：CCD摄像头8曝光调节过程如图4所示，用于自动控制调节CCD的曝光时间。由于单色图像序列以bmp数据格式存储，因此每幅单色图像都以矩阵的形式读写，每个像素点以一个0～255之间的数表示其灰度值。首先计算目标单色图像的单色图像平均灰度值16BI：所有像素点灰度值相加，最后除以总的像素点数；单色图像灰度中值PBI：所有像素点灰度值中的中值；计算出两者的差值DMP=|MBI-PBI|。光控制系统的误差信号E由三部分组成：平均灰度值误差信号e_m、灰度中值误差信号e_p、平均差值误差信号e_d：e_m＝f_dstm-MBL、e_p＝f_dstp-PBL、e_d＝DMP，f_dstm和f_dstp分别为预设平均灰度值、预设灰度中值，取其值均为127，E＝ae_m+be_p+ce_d，a、b、c分别是e_m、e_p和e_d的权值系数，是变化可调的，a+b+c＝1且a-c＝b+c。最终得到曝光时间调整量：Δt＝±E²，（t+Δt即为真实曝光时间）从而对其下达命令，进行下一次曝光，获得一副最终的单色图像，并存储在计算机中；然后滤光单元，滤光单元由单片机控制的马达提供其旋转，并旋转至下一个滤光片；同样，控制CCD进行第二幅单色图像的采集。同理依次获得所有16个滤光片对应波长下的单色图像IMG1～IMG16。

将采集到的单色图像IMG1～I1M16以bmp格式单色图像存储在计算机9上，用图像处理程序读入单色图像序列并通过归一化离散小波变换（nDWT）以及软件中的光谱成像工具包处理获得光谱成像图。

图5是干涉滤光片单元的一种实施例。7是固定滤波片的轮盘，7-3为干涉滤光片。用于获得不同中心波长的单色图像。

本实施例的优点如下：

1）将光谱成像技术和内窥检测技术相结合，使对人体内部组织形貌特征和物质光谱信息的同时检测成为可能；

2）针对目前体内检测技术中的难点：待检测目标的易变性，本发明用CCD自动曝光控制实现了采集过程对环境的自适应调节；

3）同时该系统设计降低了光谱检测和内窥检测的硬件成本。医生可以更方便且准确的获得患者诊断信息，同时可以减轻甚至避免创伤型光谱检测导致的患者不适以及实验室化验的代价。

以上所述仅为本发明的较佳的实施例，本发明并不限于这些实施例，凡依据本发明的技术方案所做的修正或等效变化，皆应属于本发明的保护范围。

Claims (1)

1.一种利用多光谱成像内窥检测装置进行检测的方法，该多光谱成像内窥检测装置包括：设备外壳(1)、半透半反镜(2)、光源部(3)、光纤(4)、微透镜(5)、滤光单元(7)、CCD摄像头(8)、计算机(9)和单片机(10)，上述元部件的位置关系如下：

所述的设备外壳(1)上设有串口(1-1)、电源接口(1-2)、光纤插口(1-3)和隔板(1-4)，所述的隔板(1-4)位于所述的设备外壳(1)的上部并与设备外壳(1)的底平行，所述的串口(1-1)位于设备外壳(1)的左上壁，在所述的隔板(1-4)上设置所述的单片机(10)，该单片机(10)经所述的串口(1-1)与所述的计算机(9)相连，所述的电源接口(1-2)位于设备外壳(1)的左下壁，该电源接口通过导线与所述的光源部(3)、CCD摄像头(8)和旋转马达(7-1)相连；所述的光纤插口(1-3)位于所述的设备外壳(1)右壁上，所述的光源部(3)设置在所述的设备外壳(1)左壁上，所述的光纤插口(1-3)和所述的光源部(3)处于同一水平线上，所述的半透半反镜(2)置于所述的设备外壳(1)的左壁和底之间并与左壁成45°夹角位于所述的光纤插口(1-3)和光源部(3)之间，所述的光纤(4)插入所述的光纤插口(1-3)，所述的CCD摄像头(8)固定在所述的隔板(1-4)的中心，镜头朝向下方；

光源部(3)发出的光经所述的半透半反镜(2)照射在所述的光纤插口(1-3)中的光纤(4)的一端，该光纤(4)的另一端连接一个微透镜(5)；所述的滤光单元(7)在同一圆周上具有等间距的m个通孔，m为大于2的正整数，每个通孔上各镶嵌一个具有不同中心波长的干涉滤光片(7-3)，所述的滤光单元(7)通过固定支架(7-2)和旋转马达(7-1)固定在所述的隔板(1-4)上，所述的滤光单元(7)的中心固定在所述的旋转马达(7-1)的旋转轴上，所述的滤光单元(7)调整时，所述的干涉滤光片(7-3)的中心可位于所述的CCD摄像头(8)和所述的半透半反镜(2)中点的连线上，所述微透镜(5)接收人体内器官的反射光由所述的光纤(4)传输经所述的半透半反镜(2)反射后，经所述的滤光单元(7)的干涉滤光片(7-3)由所述的CCD摄像头(8)采集，所述的CCD摄像头(8)的输出端与所述的计算机(9)相连；所述的单片机(10)的输出端分别与所述的CCD摄像头(8)和旋转马达(7-1)的控制端相连，所述的单片机(10)另一端通过数据线与所述的计算机(9)连接，其特征在于，该方法包括下列步骤：

①启动设备，打开光源部(3)和单片机(10)，调整所述的旋转马达(7-1)至初始位置，此位置对应所述的滤光单元(7)的中心波长最短的干涉滤光片恰好置于所述的半透半反镜(2)反射光的光路中；

②光源部(3)发出的光透过所述的半透半反镜(2)，经所述的光纤插口(1-3)、光纤(4)和微透镜(5)射入体内，人体待检测部位反射的散射光由所述微透镜(5)收集，并通过光纤(4)经由所述的半透半反镜(2)反射，通过滤光单元(7)，散射光被过滤为单色光，所述的CCD摄像头(8)在预设的曝光时间t下获得第一幅单色图像；

③调整曝光时间：CCD摄像头(8)采集到单色图像后，传输给计算机(9)，通过曝光调节过程调节实际的曝光时间t→t+Δt：

首先计算机对第一幅单色图像进行处理：

计算目标单色图像的平均灰度值MBI：所有像素点的灰度值相加，最后除以总的像素点数；

图像灰度中值PBI：所有像素点灰度值中的中值；

再计算出两者的差值DMP＝|MBI-PBI|；

光控制系统的误差信号E由三部分组成：平均灰度值误差信号e_m、灰度中值误差信号e_p、平均差值误差信号e_d：

e_m＝f_dstm-MBL

e_p＝f_dstp-PBL

e_d＝DMP

其中，f_dstm和f_dstp分别为预设平均灰度值、预设灰度中值，

E＝ae_m+be_p+ce_d，

其中，a、b、c分别是e_m、e_p和e_d的权值系数，是变化可调的，a+b+c＝1且a-c＝b+c，最终得到曝光时间调整量：Δt＝±E²，然后计算机将调整后的时间信息反馈给所述的CCD摄像头(8)，所述的CCD摄像头(8)调节实际的曝光时间t+Δt再一次曝光，送所述的计算机(9)存储，完成了第一中心波长的单色图像IMG1采集；

④调整所述的旋转马达(7-1)顺时针旋转360°/m，使所述的滤光单元(7)的第二中心波长的干涉滤光片旋转至①所述的光路中；所述的CCD摄像头(8)在预设的曝光时间t下获得第二幅单色图像；利用③中所述的方法，由所述的计算机计算得到第二中心波长的实际曝光时间t+Δt，然后计算机将调整后的时间信息反馈给所述的CCD摄像头(8)，所述的CCD摄像头(8)调节实际的曝光时间t+Δt再一次曝光，送所述的计算机(9)存储，完成了第二中心波长的单色图像IMG2采集；

⑤继续调整所述的旋转马达(7-1)顺时针旋转360°/m，与④中所述步骤对应，共重复m－2次，完成第三中心波长～第m中心波长的单色图像IMG3～IMGm的采集；

⑥采用归一化离散小波变换方法处理所述的IMG1～IMGm获得光谱成像图。