CN108742495A - 一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法 - Google Patents

Abstract

本发明公开了一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法,系统包括图像信号接收系统、信息采集系统和信息处理及显示系统；图像信号接收系统包括双目光学镜头和双CMOS电路板，实现双路并行接收光信号的目的；信息采集系统包括双FPGA开发板和双路图像采集卡，用于图像信息的采集和预处理；信息处理及显示系统包括主机和3D显示器。双目光学镜头通过物理连接双CMOS电路板，双CMOS电路板通过FMC接口连接双FPGA开发板，双FPGA开发板控制双CMOS电路板进行图像采集和优化，FPGA开发板通过HDMI/DVI连接线连接双路图像采集卡，最后通过PCIE接口连接电脑主板，主机接收双路图像采集卡采集到的图像，并进行畸变矫正、极线矫正、立体匹配，最后输出计算结果到3D显示器。

Description

一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法

技术领域

本发明涉及医疗领域内的三维立体腹腔镜系统，具体涉及一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法。

背景技术

医疗领域的三维腹腔镜系统结合了传统医疗内窥镜和双目视觉领域的知识，深度信息的提供为医生诊断和治疗带来了便利。为实现双路图像收集及处理的需求，需要重新设计符合医学要求的小尺寸的、具有快速双路图像获取及显示的系统，包括医疗立体内窥镜的镜体结构设计，以及满足实时性要求的立体匹配算法设计两方面。

立体匹配是计算机视觉领域近年来最活跃的方向之一，其核心思想是在左右对应图像或视频流中寻找对应点，求取视差图或视差流以获得空间深度信息，视差图或视差流指结合左右对应图像或视频流获取的场景深度信息图或流。空间深度信息可用于机器人、无人驾驶、虚拟视觉技术和虚拟医疗等领域。为了满足实时性显示和数据分析的要求，立体匹配方法需要具有满足实时性处理的要求，从而保证实时性数据采集和分析的需求。

目前快速的立体匹配方法主要为基于区域的局部立体匹配方法，即通过区域对比来获取左右视图间的对应匹配点。对应点的选取过程一般包含4个主要步骤，代价计算，代价聚合，视差选取和后处理。因为立体匹配计算复杂度较高，需要分析通过系统获取的双路图片中对应的一切可能的匹配，因此需要在立体匹配的4个主要步骤的设计中进行运算速度和资源的合理分配。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种用于医疗领域的三维立体腹腔镜系统及立体匹配方法，实现对高分辨率图片的高帧率的实时性图像获取及立体匹配。

本发明的目的是通过以下技术方案实现的：

一种用于医疗领域的三维立体腹腔镜系统，包括图像信号接收系统、信息采集系统和信息处理及显示系统；图像信号接收系统包括双目光学镜头和双CMOS(互补金属氧化物半导体)电路板，实现双路并行接收光信号的目的；信息采集系统包括双FPGA(现场可编程门阵列)开发板和双路图像采集卡，用于图像信息的采集和预处理；信息处理及显示系统包括主机和3D显示器，主机配有GPU和CPU。双目光学镜头通过物理连接双CMOS(互补金属氧化物半导体)电路板，双CMOS(互补金属氧化物半导体)电路板通过FMC接口连接双FPGA(现场可编程门阵列)开发板，双FPGA(现场可编程门阵列)开发板控制双CMOS(互补金属氧化物半导体)电路板进行图像采集和优化，所述FPGA(现场可编程门阵列)开发板通过HDMI/DVI连接线连接双路图像采集卡，最后通过PCIE(高速串行计算机扩展总线)接口连接电脑主板，主机接收双路图像采集卡采集到的图像，并进行畸变矫正、极线矫正、立体匹配，最后输出计算结果到3D显示器。畸变矫正修正因相机自身缺陷造成的图片失真；极线矫正指结合图像信号接收系统间的旋转、平移矩阵关系，对图像信息进行一定的处理使得双路图像符合平行的要求；立体匹配指结合双路图像信息重构出场景3D深度的过程。

进一步的，CPU用于接收双路图像采集卡的图像，并完成畸变矫正和极线矫正，将处理后的图片传到GPU上进行立体匹配的计算，然后使用OpenGL(开放图形处理库)通过GPU将计算结果输出到屏幕。

一种用于医疗领域的立体匹配方法，基于上述一种用于医疗领域的三维立体腹腔镜系统，包含4个步骤：代价计算、代价聚合、代价选取和后处理，具体如下：

(1)利用双目光学镜头的标定参数，对双目光学镜头进行三维标定和图片矫正，使得双路视频流在空间中的对应点对应行平行；

(2)对左右两张图片针对不同的视差d进行对应点匹配获取视差图，计算对应点间的颜色、梯度的相似度，相似度计算不局限于颜色和梯度；根据图片的像素点x,y维度和视差d创建三维代价空间；

(3)在三维代价空间中对每个视差图进行均值滤波；

(4)选取三维代价空间中匹配程度最高的点集构成视差图；

(5)分别以左视图或左视频流和右视图或右视频流为基准生成不同的视差图；

(6)对左右视差图进行左右一致性检测以找出误匹配点；

(7)用误匹配点周围的正确匹配点替换误匹配点；

(8)对视差图进行加权滤波，先采用低阈值去除白噪声，后采用高阈值填补图片空洞。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1、系统硬件较小，能够在进入人体时造成较小的伤害。

2、通过双路FPGA(现场可编程门阵列)控制双路CMOS(互补金属氧化物半导体)采集图像，通过FPGA(现场可编程门阵列)进行图像像质优化，能够达到高速采集和优化图像的目的。

3、立体匹配方法采用GPU进行并行化计算，能够达到高速处理高清画质视频流，达到实时性运算的目的。

4、采用CPU+GPU联合计算，并采用OpenGL(图形处理库)将GPU计算立体数据直接传输至立体显示屏，达到实时性显示的目的。

附图说明

图1是三维腹腔镜系统图；

图2是双目光学镜头标定流程图；

图3是具体实施例中用于医疗领域的高速立体匹配算法流程图；

图4是三维代价空间图。

具体实施方式

下面结合附图对本发明作进一步的描述。

如图1所示，本发明三维立体腹腔镜系统，包括图像信号接收系统，信息采集系统和信息处理及显示系统。所述图像采集系统包括双目光学镜头，双CMOS(互补金属氧化物半导体)+双FPGA(现场可编程门阵列)，用于接收和优化图像，实现并行采集的目的。信息采集系统包括装双路图像采集卡，图像采集卡的功能是将FPGA(现场可编程门阵列)开发板的HDMI信号输出的图像采集传输给主机，视频采集卡通过PCIE(高速串行计算机扩展总线)接口与主机进行连接，由于PCIE(高速串行计算机扩展总线)接口的速度可以达到每秒60帧，满足实时性的要求。信息处理及显示系统包括一台配备GPU和CPU的主机和3D显示器，在主机端使用CPU接收图像采集卡采集到的图像，并完成畸变矫正和极线矫正，极线矫正指结合图像信号接收系统间的旋转、平移矩阵关系，对图像信息进行一定的处理使得双路图像符合平行的要求。将处理后的图片传到GPU上进行立体匹配的计算，之后再使用OpenGL(开放图形处理库)在GPU上直接将计算结果输出到屏幕。

如图2、图3和图4所示，基于上述三维立体腹腔镜系统的立体匹配方法如下：

1.双目相机的三维标定及矫正。由于每个相机自身带有一定的畸变，首先通过求取畸变系数，对两个相机分别进行图片畸变矫正。并且由于双目相机不在同一个坐标系中，要建立两个相机之间的联系，采用张正友标定法计算双相机间的旋转和平移参数，从而进行极线矫正，使得双路图像符合平行的要求。具体标定方法如图2所示：

1.1世界坐标系中点的(x_w,y_w,z_w)变换到相机坐标系中点的(x_c,y_c,z_c)，变换公式如下：

式中R为旋转矩阵，t为平移矩阵，R和t的具体值由相机内外参数决定，可通过棋盘格标定法测得。

1.2相机坐标系中点的(x_c,y_c,z_c)变换到图像物理坐标系中点的(x,y,z)，变换公式如下：

式中f为相机焦距，单位是mm。

1.3将图像物理坐标(x,y,z)转换到图像像素坐标(u,v)，变换公式如下：

式中，d_x，d_y分别为图像物理坐标系下每个象素在横纵方向轴上的物理尺寸；u₀、v₀分别为图像像素坐标系中相机光轴和图像平面交点的横纵坐标，坐标单位为pixel。通过(1.1、1.2、1.3)建立了图像像素和世界坐标系之间的联系。

1.4根据双相机图像像素与世界坐标系间的旋转平移参数求出双相机间的旋转及平移参数，设左相机与世界坐标系间的旋转平移参数为[R_l T_l]，右相机为[R_r T_r]。双相机间的旋转平移参数如下：

T＝R_l(T_r-T_l)

通过(1.4)建立了双相机之间的旋转平移关系。

2.将矫正后的左图像上的每一点与右图像上同一行的在视差d范围内的点进行匹配，匹配方法对应点处的色度和梯度进行计算。

C(p,d)＝(1-α)*min(C_AD,T_AD)+α*min(C_GRAD,T_GRAD)

匹配代价为C(p,d)，C_AD和C_GRAD分别为色度绝对值差和梯度绝对值差，可由下式表示：

假设参考图中点p的位置为(x_p,y_p)，其在目标图中的对应像素是p′＝(x_p-d,y_p)。I_c(p)、分别表示了左右视图中像素p,p′的颜色强度，I′(p)与分别表示了左右视图所对应的灰度图中像素p,p′的强度。α是调节色度绝对值差和梯度绝对值差权重的比例系数。T_AD，T_GRAD分别是色度绝对值差和梯度绝对值差的截断值。

3.在三维代价空间中对每个视差图进行均值滤波。

对代价空间中的每张视差图中的点，进行(2k+1)*(2k+1)范围内的均值滤波，k是正整数。该过程是引入周边点的信息，提高匹配精度。

4.选取三维代价空间中匹配程度最高的点集构成视差图。

初始视差图中的任意点(x,y)处的视差值d₀，满足视差空间中的值(x,y,d₀)比(x,y,d_i)小，d_i为不等于d₀的其它值。通过这个方法能够求解出整幅初始视差图。

5.进行左右一致性检测并修正误差点。

修正误差点的方法采用近邻点匹配的方法，选取距离误匹配点最近的正确匹配点的视差代替误匹配点的视差。

6.对视差图进行加权滤波排除误匹配点。

以图片中每一个点为中心建立一个小型滤波区域，区域内每一点的权重值为该点与中心点的欧式距离和RGB颜色差的加权求和，然后计算在滤波区域内每一个视差值d的权重的和，将视差d的权重和除以总权重，得到每个视差d的权重所占百分比。

依视差d降序排列的顺序，设定一个阈值δ，累加视差d所对应的阈值，直到数值超过δ，所对应的视差d₀替换原中心点视差。对所有不符合左右一致性检测的点进行加权滤波处理，先设置阈值δ较小滤除白噪声，然后再设置阈值δ较大填补图片空洞。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种用于医疗领域的三维立体腹腔镜系统，其特征在于，包括图像信号接收系统、信息采集系统和信息处理及显示系统；所述图像信号接收系统包括双目光学镜头和双CMOS电路板，实现双路并行接收光信号的目的；所述信息采集系统包括双FPGA开发板和双路图像采集卡，用于图像信息的采集和预处理；所述信息处理及显示系统包括主机和3D显示器，所述主机配有GPU和CPU；所述双目光学镜头通过物理连接双CMOS电路板，双CMOS电路板通过FMC接口连接双FPGA开发板，双FPGA开发板控制双CMOS电路板进行图像采集和优化，所述FPGA开发板通过HDMI/DVI连接线连接双路图像采集卡，并通过PCIE接口连接电脑主板，主机接收双路图像采集卡采集到的图像，并进行畸变矫正、极线矫正、立体匹配，最后输出计算结果至3D显示器；畸变矫正修正因相机自身缺陷造成的图片失真；极线矫正指结合图像信号接收系统间的旋转、平移矩阵关系，对图像信息进行处理使得双路图像符合平行要求；立体匹配指结合双路图像信息重构出场景3D深度的过程。

2.一种用于医疗领域的三维立体腹腔镜系统，其特征在于，所述CPU用于接收双路图像采集卡的图像，并完成畸变矫正和极线矫正，将处理后的图片传到GPU上进行立体匹配的计算，然后使用开放图形处理库OpenGL通过GPU将计算结果输出到屏幕。

3.一种用于医疗领域的立体匹配方法，基于权利要求1所述一种用于医疗领域的三维立体腹腔镜系统，包括以下步骤：

(1)利用双目光学镜头的标定参数，对双目光学镜头进行三维标定和图片矫正，使得双路视频流在空间中的对应点对应行平行；

(2)对左右两张图片针对不同的视差d进行对应点匹配获取视差图，计算对应点间的颜色、梯度的相似度；根据图片的像素点x,y维度和视差d创建三维代价空间；

(3)在三维代价空间中对每个视差图进行均值滤波；

(4)选取三维代价空间中匹配程度最高的点集构成视差图；

(5)分别以左视图或左视频流和右视图或右视频流为基准生成不同的视差图；

(6)对左右视差图进行左右一致性检测以找出误匹配点；

(7)用误匹配点周围的正确匹配点替换误匹配点；

(8)对视差图进行加权滤波，先采用低阈值去除白噪声，后采用高阈值填补图片空洞。