一种智能微相机阵列内窥成像系统
技术领域
本发明涉及医疗技术领域,具体涉及一种智能微相机阵列内窥成像系统。
背景技术
人体的耳鼻咽喉、呼吸道、消化道等相关器官深入体内、隐蔽,解剖结构及其精细、复杂,不能直接窥视,所以医用成像仪器在相关领域发挥着重要作用。可用于人体内部器官检查的成像技术包括X射线造影、B超和医用内窥光学成像。其中B超和X射线均采用高频电磁波作为成像载体,由于波长极短,可无障碍穿透人体,从而进行成像。但与光学可见波段的成像不同,看到的影像是通过超声波或X射线的二维信号进行三维重建的结果,多为黑白影像,很难看到血管的直观、精细结构。因而,可对此类器官进行“内部窥视”的医用光学内窥成像仪器在这些领域具有不可替代的作用。内窥镜根据使用部位的不同,可分为喉镜、鼻腔镜、胃镜、肠镜、支气管镜、输尿管镜、子宫镜、腹腔镜等。
内窥镜的出现极大的推动了医学技术的发展,目前内窥微创技术可直接应用于人体手术,能够大大扩大手术视野,而且手术切口小、术后反应轻,大大减少恢复时间。经过一百多年的科学技术发展,内窥镜技术也从最初的间接镜到直接镜,从硬性镜到软性镜,从光纤镜到电子镜逐步进化,目前已经成为医生手中的最重要的一种检查工具。硬管镜和软管镜是两类内窥系统,在结构上,前者采用棱镜透镜为主,优点是成像清晰、可配合多个工作通道采取多个视角观察;软管内窥镜的头部是个微型镜头,其他部分是柔性的光纤或者电缆,因而可以灵活改变观察方向,但成像质量不如前者。
现有的内窥镜技术存在以下局限性:(1)采用单镜头检测限制了内窥镜技术的智能化发展,这一方面由于内窥镜检查一般要求光学系统为毫米级,传统光学技术设计的光学系统体积较大无法满足,因而单镜头主要受限于内窥镜系统极其狭窄的空间对镜头尺寸的限制,另一方面也将面临来自探测芯片最小像元尺寸的制约,这意味着单镜头成像技术可能面对的最大分辨率瓶颈。所以即使光学镜头可以采用微纳技术进一步做小,电子芯片的瓶颈也会对单镜头相机的最高像素提出限制。
(2)单通道的检测,仅能实现局部信息的获取。且仅能提供二维的平面图像,从而缺乏足够的信息帮助科研人员和医护人员对病变部位进行高效准确的定位。
发明内容
本发明的目的在于提供一种智能微相机阵列内窥成像系统,用以解决现有的光学系统体积较大,以及内窥成像系统仅能提供二维的平面图像,从而缺乏足够的信息帮助科研人员和医护人员对病变部位进行高效准确的定位的问题。
为实现上述目的,本发明的技术方案提供了一种智能微相机阵列内窥成像系统,该智能微相机阵列内窥成像系统包括:
微相机阵列、LED光源装置、可弯曲电缆、集成控制系统以及智能终端;
微相机阵列安装于可弯曲电缆的前部,微相机阵列中的每一台微相机均用于采集待观测样本的图像并保存;
LED光源装置用于根据集成控制系统发出的第一控制指令调整LED光源光照类型、照射待观测样本的角度、光谱范围以及光照强度,以便于微相机阵列在LED光源的照射下采集图像;
可弯曲电缆与集成控制系统电连接,用于接收集成控制系统传输的第二控制指令,以及将微相机阵列采集的图像传输至集成控制系统,第二控制指令用于指示微相机阵列中所有微相机同时采集待观测样本的图像;
集成控制系统还用于将微相机阵列中所有微相机分别采集的待观测样本的图像进行图像融合,获取三维图像;并将三维图像中的病变区域进行智能标定;
智能终端用于将三维图像进行展示。
本发明具有如下优点:集成控制系统控制LED光源装置照射待观测样本后,微相机阵列安装在可弯曲电缆的前部后,可以探入患者的待检测部位,例如咽喉内,对待观测样本进行图像采集,实际就是咽喉中的图像信息。微相机阵列本身存在至少两台相机,多台相机可以从不同角度采集不同的图像。那么微相机阵列采集的图像通过集成控制系统进行融合后,可以获取三维图像。而且,还可以将三维图像中病变区域进行智能标定,然后通过智能终端进行展示,进而提供足够的信息帮助科研人员和医护人员对病变部位进行高效准确的定位。同时,因为采用微相机阵列采集图像,微相机阵列自身体积较小,且安装在可弯曲电缆上,可以满足光学技术设计要求。另外,采用微型相机阵列用于电子喉镜大大提高了计算机、信号处理与光学成像等学科融合的可行性,可将现有的黑白彩色相机融合、窄带成像以及三维影像融入鼻咽喉、呼吸道或者消化道等对应的检测系统,在牺牲部分空间分辨率的情况下,极大地拓展了现有电子喉镜的功能。
附图说明
图1为本发明实施例提供的一种智能微相机阵列内窥成像系统原理结构示意图;
图2为本发明实施例提供的一种智能微相机阵列内窥成像系统组成及逻辑关系示意图;
图3为本发明提供的双目视觉图像立体成像流程图;
图4为本发明提供的双目特征提取及深度估计网络结构图;
图5为本发明提供的空间中三维点生成示意图;
图6为本发明提供的窄带图像及处理流程图。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例1
本发明实施例1提供了一种智能微相机阵列内窥成像系统。该系统可以包括:微相机阵列、LED光源装置、可弯曲电缆、集成控制系统以及智能终端。在本申请文件中,以智能微相机阵列内窥成像系统应用到咽喉中为例进行说明。实际上,其还可以应用到鼻、呼吸道或者消化道等其他器官中。便于对人体内比较隐蔽的部位进行检测。应用到其他器官中的工作原理与应用到咽喉中的工作原理类似。这里,以应用到咽喉中为例说明,具体如下:
微相机阵列安装于可弯曲电缆的前部,微相机阵列所占用的体积较小。因此,安装于可弯曲电缆的前部后,可以从鼻腔进入喉道,而且插入部分直径小于5mm,从而减少病人不适。微相机阵列中的每一台微相机均用于采集待观测样本的图像并保存。
在微相机阵列采集图像之前,需要LED光源装置照射到待观测样本上面,方便微相机在存在光源的情况下采集图像。而LED光源的光照类型、照射待观测样本的角度、光谱范围以及光照强度等,都可以通过集成控制系统控制。即,集成控制系统发出第一控制指令调整LED光源装置的上述参数。
而且,可弯曲电缆与集成控制系统电连接,用于接收集成控制系统传输的第二控制指令,以及将微相机阵列采集的图像传输至集成控制系统。而第二控制指令就是用于指示微相机阵列中所有微相机同时采集待观测样本的图像。而集成控制系统还用于,将微相机阵列中所有微相机分别采集的待观测样本的图像进行图像融合,获取三维图像;并将三维图像中的病变区域进行智能标定。
而智能终端用于将三维图像进行展示。
在一个可选的例子中,微相机阵列可以包括黑白相机和彩色相机。实际上,至少两台彩色相机所采集的图像经过图像融合后,就可以获取三维图像。但是,为了提高采集的图像不受Bayer滤光的影响,其信噪比不至于降低。可以采用黑白相机和彩色相机同时获取图像。然后再通过黑白影像增强彩色。黑白相机采集图像时少了Bayer滤光,信噪比和对比度都可以获得提升,由此可以弥补仅有彩色图像的不足。后续,将会做更多的介绍。假设黑白相机和彩色相机共同构成一组,那么可以设置3-6组。
可选的,LED光源装置具体可以包括:LED光源、LED驱动装置以及导光光纤。
其中,LED光源安装在LED驱动装置上,LED驱动装置与集成控制系统电连接,用于接收集成控制系统发出的第一控制指令。而导光光纤则用于将LED光源发出的光照射到待观测样本上。即,LED光源通过导光光纤照射到被观测表面,光照亮度和光谱范围等均可以通过集成控制系统发出的第一控制指令进行调节,从而获得最清晰的图像。另外,在微相机阵列采集图像时,是同步采集的。而这同样是通过集成控制系统发出的第二控制指令实现,第二控制指令通过可弯曲电缆传输至微相机阵列,控制微相机阵列中所有的微相机同时采集待观测样本。例如,微相机阵列中可以包括3台黑白相机和3台彩色相机。那么,集成控制系统则是实现六路微相机的同步采集,而且保证光源和相机的拍摄角度保持一致。可选的,微相机阵列中的每一台微相机还可以将待观测样本进行拍摄,并保存图像信息以及视频影像。然后,将采集的图像及视频数据等通过可弯曲电缆再实时传输会集成控制系统,等待集成控制系统做进一步的处理后,并通过智能终端显示。
微相机阵列,是符合鼻咽喉、呼吸道系统或者消化系统等这种特殊人体工学设计、体积极小,功耗极低,能够并排放置,并安装于可弯曲电缆的前端。微相机阵列中如果包含三台彩色相机和三台黑白相机。那么,彩色相机将从不同角度同时获取待观测样本的两幅彩色数字图像,集成控制系统可以基于视觉差原理恢复出物体的三维信息,形成三维立体视觉。而黑白相机采集的图像正是因为没有三色滤光片处理,图像中每个像素接收到的光能量比彩色图像更多,从而使采集的图像细节保留的将会更加完整。那么,如果将每一路黑白图像与对应的彩色图像进行融合,则可以提高图像的信噪比,增强分辨率。即,可以设置一个彩色相机和一个黑白相机为一组,同时采集某一个角度的待观测样本的图像。同理,将另一台彩色相机和另一台黑白相机设置为一组,采集另一个角度的待观测的样本的图像。类似的,将第三台彩色相机和第三台黑白相机设置为一组。将彩色图像和黑色图像做图像增强处理后,再获取增强后的彩色图像。具体集成控制系统执行的过程可以包括:
将彩色相机采集的图像进行去除彩色处理后,获取处理后的图像;
将处理后的图像和黑白相机采集的图像进行立体匹配,获取视差图;
将黑白相机采集的图像、彩色相机采集的图像以及视差图进行融合,获取色彩增强后的彩色图。从而提升彩色图像的成像质量,同时也有助于提高立体图像的重建精度。
在具体的执行过程中,由于黑白相机和彩色相机不再同一光轴上拍摄,因此黑白图像和彩色图像之间存在视差,另一方面,由于黑白相机和彩色相机具有不同的响应,这进一步增加了二者配准的难度。首先对彩色图像进行去彩色处理,再与黑白图像进行立体匹配,得到高精度的视差图,再利用原始黑白图像、视差图和原始彩色图像进行高质量的彩色图像复原。
首先,原始彩色图像需要经过去彩色化进行降维,得到黑白图像。为了在后续立体匹配中保持足够的信息进行高精度计算,去彩色化需要保持足够高的对比度,同时抑制噪声水平。去彩色化可表示为:
Ir=ωrIr+ωgIg+ωbIb (公式1)
其中,ωr+ωg+ωb=1,0≤ωr,ωg,ωb≤1。
Ir是去彩色化后的黑白图像,Ir,Ig,Ib分别是彩色图像的红、绿、蓝三个通道图像,ωr,ωg,ωb分别是对应的权重系数。去彩色化问题即优化一组最优的权重系数,使得去彩色化得到的黑白图像与原始彩色图像具有相同的对比度。
彩色图像I和去彩色图像Ir之间的对比度差异可表示为:
其中,G(I,I)是彩色图像的自导向滤波图像,是一个由去彩色图像Ir构建的彩色图像,具有与Ir相同的对比度,定义为:
其中,Gi(I,Ir)是图像I在像素点i处的Ω领域内导向滤波图像,ωi,j是一个权重系数,由邻域图像计算而得,即
其中,μk和σk分别是邻域图像的均值和方差,∈是正则化参数。
另一方面,为了考虑噪声等级,采用归一化的稀疏度量来估计噪声放大,即定义:
其中,和分别表示水平和竖直方向的梯度幅值算子,‖·‖1和‖·‖2分别是L1和L2的范数。去彩色化的过程即寻找一组最优的权重系数,使得Ec和En同时具有最小的值。得到去彩色化后的黑白图像后,需采用黑白图像Im和Ir进行视差图计算。其中,代价函数综合考虑亮度一致性和相似性,即采用联合代价函数:
M=αMSAD+(1-α)MSIE (公式6)
其中,α是平衡参数,MSAD是绝对差分和代价函数,MSIE是信息边缘和代价函数,分别定义为:
其中,Ωx是一个中心位于x处的邻域,d是视差,而J是表示的信息边缘的函数,定义为:
因此,通过优化联合代价函数,可得到高精度的视差图。最后,从黑白图像、彩色图像和得到的高精度视差图来获得高质量彩色图是一个直接的图像复原过程。由于黑白图像直接获得的是图像的强度,因此适宜在YUV颜色空间进行处理。黑白图像直接作为Y通道的图像,UV通道则从原始彩色图像和视差图获取,利用图像着色(colorization)算法获得高质量的彩色图像。从原始彩色图像的UV通道首先可以计算每个像素位置的信心值,即:
其中median(ci)是中值色度,σ是一个控制参数。利用计算得到的信心值,可以求解如下优化问题获得高质量彩色图像的UV通道。
其中,
其中,λs是一个权重系数,Ni是像素i处的领域,该领域内的方差,该问题可以根据着色算法有效求解,即:
其中,L=-πWs,Wd是对角矩阵,其元素为L是一个Laplacian矩阵,π是单位矩阵,Ws是平滑矩阵,和c分别是来自重建彩色图和原始彩色图中向量化的色度分量U和V通道。
可选的,柔性、长距、直径小、安全可靠的可弯曲电缆用于实时传输影像信号,适应于四通道微型相机阵列的图像同步传递需求。而且,该系统中还可以包括手柄,用于控制可弯曲电缆的弯曲度,间接控制前端微型相机的弯曲角度。
可选的,LED光源包括:窄带光源或白光光源。根据科研人员或者医护人员的需要,当单纯的需要获取彩色图像时,则LED光源设置为白光。当需要获取窄带图像时,则需要将光源设置为窄带光源。窄带成像需要使用特定谱段的LED光源照明。窄带光照明的情况下,黑白相机可以获取窄带光谱照明下的窄带光图像,经过与彩色相机获取的窄带光图像相融合,可以使血管与周边皮肤的对比度明显增强,病变区域可以很好的显示出来。
可选的,集成控制系统将微相机阵列中所有微相机分别采集的待观测样本的图像进行图像融合,获取三维图像之前,还用于对微相机阵列中所有微相机分别采集的待观测样本的图像进行几何畸变校正、辐射度校正和光谱校正。从而为三维重建算法提供可靠的输入数据。
下文中将详细介绍集成控制系统采用三维重建算法实现该图像融合的过程。集成控制系统对四组图像信号同步、图像传感器驱动、图像的采集和处理、结果的显示等进行一体化控制,实现高性能自动化检测。具备通用总线接口的集成控制系统对光源装置、运动装置和图像采集设备进行高精度的运行控制和数据传输,并可以对采集到图像和视频数据进行数据预清洗、疑似病变区域智能标定,支持用户快速、实时地完成相关医疗检测操作。集成控制系统作为本系统的中枢,处理各个分系统,其逻辑关系如图2所示。其中的逻辑关系已经做了详细介绍,这里不做过多说明。
集成电路控制系统主要用于同步光源和四路相机采集的信号,负责协调、同步各系统,时序采集和相应指令发送;测试工作准备就绪后,系统能够自动产生所需要的光源、采集和发送图像数据给后期的计算成像与显示系统。电子喉镜集成控制系统包括高精度数控装置、集成控制软件,用于支持用户对耳、鼻、咽喉、呼吸道系统以及消化道系统等人体器官的诊断,主要功能包括高精度地控制前端光源装置的光谱范围和强度,实时采集前端光源装置和广角物镜的图像信息、视频数据和工作状态参数,对图像信息和视频数据进行预处理,为用户提供辅助智能诊断工具,快速定位病变位置,最后将采集到的所有诊断数据分类保存,以便后续用户进一步分析判读。集成控制系统服务于电子喉镜的全工作周期,包括系统实时运行、数据回放和系统自检三种工作模式,在集成控制系统运行过程中,集成控制软件通过标准的硬件接口,控制光源装置的光谱范围和亮度、采集模式(多光谱、三维立体视觉、动态增强)、图像和视频采集参数(帧频、快门数、分辨率),并将采集到的数据按照一定的格式进行保存。
三维图像重建,也即使双目立体图像重建:
光学成像系统包括光学子系统和探测器子系统。光学子系统即反射式光学镜头,其在具体设计时首先根据研发成本和应用需求确定哪些像差着重使用光学元件校正,哪些像差留给数字处理进行校正,从而放宽了对光学元器件的苛刻限制;再根据光线追迹理论,以最小空气间隔、最小边缘厚度、最小中心厚度、镜片可用材料等条件为约束,并引入光学系统出瞳光程差函数平方的均值最小(或者波像差最小)作为性能指标函数对光学镜头进行优化设计。在数学建模时,光学子系统空间域可以通过点扩散函数建模,频域可以将光学系统看作为一个低通滤波器,利用光学传递函数、调制传递函数进行建模。光学设计参数包括入射光波段范围、光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔等,用ΩOptic来表示这些设计参数组成的集合。
双目立体视觉场景重建主要分为三个部分,第一部分我们利用双目摄像机获取到的双目图像,基于编码解码网络进行图像特征提取以及进行图像特征融合。第二部分我们对融合后的图像特征计算出场景的深度信息生成稠密的三维点云。最后,我们对稠密的三维点云进行德洛内三角化,得到场景的三维模型。整个流程如图3所示。
图像特征提取及匹配:
首先,我们利用编码解码网络结构进行双目视觉图像特征提取及匹配。编码-解码网络已经被应用于很多计算机视觉相关网络并被证明可以进行有效的图像重建和图像预测等应用中,例如图像修补,单张图像深度估计等任务中。因此,在本项目中,我们拟利用编码-解码网络来提取双目视觉图像的特征并进行特征匹配,同时估计场景深度信息。编码-解码网络结构如图3所示,在网络的输入层,我们将双目摄像机的不同拍摄图像作为网络的两个输入端。利用卷积层学习双目图像相关的特征并对其进行编码。然后,我们设计了一个解码框架,用来匹配在编码阶段提取的双目图像特征,即为图4中的右半部分。此外,为了加速网络收敛速度,我们也引入了跳跃连接的操作,将编码卷积层的输出与其相对应的解码反卷积层相连,可以有效增加网络模型的收敛速度。在深度模型中,分别利用4个卷积块构成编码网络,即图像特征提取模块。利用4个反卷积块组成解码网络结构,即双目图像特征匹配模块。在第一个卷积层中,我们利用腐蚀卷积来提取图像特征,以便增加网络的感知野。
深度估计及三维点云重建:
在利用解码网络对双目图像特征进行匹配及融合之后,需要通过融合特征进行场景深度估计。因此采用基于MSE的损失函数约束预测的深度信息:
上式中,d和d*分别代表预测深度结果和真实深度结果,我们通过最小化公式(1)达到学习编码-解码网络参数的目标。因此,在测试阶段,可以通过网络的前向传输直接计算出双目图像的场景深度信息。构造场景点云模型及场景三维重建:根据模型预测的深度信息,我们首先生成场景三维点云,然后进行三维场景重建。这里,我们需要先考虑双目相机的模型参数。双目相机的模型参数可以分为内参和外参。内参主要描述了相机的内在特性,而外参主要描述了相机在全局坐标系里面的位置和方向。内参的获取主要依靠校准,通常的方法是利用棋盘进行校准。相机的内参K可以表示为:
其中,fx和fy代表相机的焦距,s表示相机的拉伸系数,在这里被设置为0。符号cx和cy为图像中心。然后,我们根据每个相机的位置(R)和姿态(t)计算出每个相机的相机矩阵。对应任意一个图像中的像素点,我们可以计算出它在空间中的不同深度所对应的三维点的坐标。对于一个轨迹中的特征点对,如图4实际上并不相交。我们求解距离这些直线的距离和最小的空间点,作为这些特征点对应的空间点,最终可以获得场景点云模型。得到点云之后,我们利用德洛内三角化算法,将点云分解为不均匀的三角形状网格块。通过对这些三角形网格的可视化处理,即可将双目摄像机拍摄的双目视觉图像构造为三维重建效果图。
(3)窄带图像提取和增强
窄带图像是针对被探测目标对于光反射的不同光谱特性来成像,能够带来毛细血管、粘膜组织等重点部位图像对比度的显著增强。对于血管组织,起吸收峰位于蓝光和绿光,因此通常呈现红色,而粘膜组织部分则反射所有光波。因此,采用415nm光源照明时,位于浅层的血管吸收该波长的光,而粘膜组织则反射这部分光进入微型相机阵列;采用540nm光源照明时,位于叫深层的血管吸收绿光,其他组织则能讲绿光反射,进而被微型相机阵列捕获。因此,在彩色相机中,浅层血管呈现蓝色,较深层血管呈现绿色,其他部分呈现红色,具有更高的对比度,能够帮助医生提高诊断的正确率。本项目采用可变窄带LED进行轮次交替照明,当切换到窄带工作模式时,窄带LED分别切换至415nm和540nm,在彩色相机中能够得到传统的窄带图像;在黑白相机中,这些窄带图像则具有更高的对比度和信噪比,利用前述的图像处理方法,可以对窄带图像进行立体视觉处理(如图6所示),图像增强,以及深度图估计,从而获得增强的窄带立体图像。
本发明实施例提供的一种智能微相机阵列内窥成像系统,集成控制系统控制LED光源装置照射待观测样本后,微相机阵列安装在可弯曲电缆的前部后,可以探入患者的待检测部位,例如咽喉内,对待观测样本进行图像采集,实际就是咽喉中的图像信息。微相机阵列本身存在至少两台相机,多台相机可以从不同角度采集不同的图像。那么微相机阵列采集的图像通过集成控制系统进行融合后,可以获取三维图像。而且,还可以将三维图像中病变区域进行智能标定,然后通过智能终端进行展示,进而提供足够的信息帮助科研人员和医护人员对病变部位进行高效准确的定位。同时,因为采用微相机阵列采集图像,微相机阵列自身体积较小,且安装在可弯曲电缆上,可以满足光学技术设计要求。另外,采用微型相机阵列用于电子喉镜大大提高了计算机、信号处理与光学成像等学科融合的可行性,可将现有的黑白彩色相机融合、窄带成像以及三维影像融入鼻咽喉、呼吸道或者消化道等对应的检测系统,在牺牲部分空间分辨率的情况下,极大地拓展了现有电子喉镜的功能。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。