CN109887071A - 一种3d电子内镜系统及三维重建方法 - Google Patents

Abstract

本发明公开一种3D电子内镜系统及三维重建方法，系统包括图像数据采集模块、数据预处理模块和计算显示模块。系统通过FPGA控制传感器采集图像数据，通过PCI‑E总线将数据传输给主机，在主机中根据相机的标定结果完成图像的矫正，最后通过GPU进行立体匹配，得到视差信息，进一步根据视差信息完成三维重建，并利用OpenGL显示点云模型。三维重建方法首先利用标定板对双目相机进行标定，得到相机的内外参数矩阵以及重投影矩阵，接着利用相机的内外参数对拍摄得到的图片进行畸变矫正以及极线对齐，然后利用POC算法以及合适的拟合算法精确地求出亚像素级别的视差信息，最后根据视差信息和重投影矩阵即可得到图像中每个点在三维空间中的坐标，进一步得到物体表面模型。

Description

一种3D电子内镜系统及三维重建方法

技术领域

本发明涉及医用电子内镜领域，具体涉及一种3D电子内镜系统及三维重建方法。

背景技术

医疗领域的3D电子内镜系统结合了传统的医疗电子内镜和双面立体视觉的有关知识，利用深度信息为医生的诊断和手术过程带来了极大的便利，同时，还可以根据双目相机拍摄的图片结合一定的算法对手术中的器官进行三维重建，方便后续的治疗等。

双目立体视觉是计算机视觉领域近年来最活跃的方向之一，其核心思想就是模仿人类的双眼视觉原理，在双目相机拍摄的图片对中进行匹配，获得深度信息，进而还原出拍摄物体的三维信息，物体的三维信息可以用于机器人、无人驾驶、虚拟视觉以及虚拟医疗等领域。

目前主流的基于双目视觉的三维重建方法主要是通过求出视差信息进行三维重投影从而获得物体的三维点云信息。三维重建主要包含以下几步：相机标定，视差求取以及三维重投影，由于以上步骤包含大量的独立运算，因此可以使用GPU进行并行计算从而加快算法的速度。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种能实时获取高清双目图像的3D电子内镜系统及三维重建方法。

本发明的目的是通过以下技术方案实现的：

一种3D电子内镜系统，包括双目相机、图像预处理模块和计算显示模块，所述双目相机由双目镜头和双CMOS组成，图像预处理模块由两个FPGA和双路图像采集卡组成，所述计算显示模块由计算机和显示器组成；双目镜头通过物理连接的方式与两个CMOS相连，调整焦距可使被拍摄的物体清晰地在CMOS上成像；两个FPGA分别单独控制两个CMOS进行图像的采集和预处理；两个CMOS集成在一块电路板中，通过屏蔽双绞线与FPGA相连，以消除外界对信号的干扰；两个FPGA均通过HDMI接口分别输出信号，由双路图像采集卡分别进行实时同步采集，双路图像采集卡安装于计算机主机的主板上，通过PCI-E接口传回计算机主机的内存中；计算机主机接收到图像信号之后利用CPU与GPU协同进行三维重建，最后输出三维点云模型。

进一步的，计算机主机配备有CPU和GPU，CPU接收双路图像采集卡的图像并处理使之适用于立体匹配，GPU通过并行计算缩小数据处理的时间，并通过OpenGL进行三维点云的绘制。

一种三维重建方法，包括以下步骤：

(1)利用相机对精度在0.01mm以内的标定板拍摄至少9对图像，借助张正友标定法对双目相机进行标定，得到该双目相机的内外参数矩阵以及重投影矩阵；

(2)利用相机的内外参数矩阵，对双目相机拍摄到的图片进行畸变矫正和极线对齐，以适用于立体匹配；

(3)对双目相机拍摄得到的左右两幅图的相同区域使用POC算法：在拍摄得到的一对图像中，选择其中一幅图像作为基准图像，另一幅图像作为参考图像，对于基准图像上的其中一点，以该点中心的一个区域以及参考图像上的相同区域加汉宁窗，对两个区域分别进行离散傅里叶变换，接着计算二者的互功率谱，并对其进行反傅里叶变换，得到POC函数，POC函数中峰值的位置坐标即为二者的相对平移量，该平移量即可作为所选择区域中心点的像素级别精度的视差；

(4)利用LM拟合算法对POC函数的数据进行拟合：在POC函数中，以上一步中选取的基准图像上的点为中心，选取5×5大小的窗口，对该窗口中的数据根据相应的表达式进行拟合，进而得到峰值的精确坐标，该坐标即为亚像素精度的视差；

(5)如果该点的POC函数峰值过小，则认为该点是误差点，需要进行后处理来消除误差点：以该点为中心，选取5×5大小的窗口进行中值滤波，将滤波后得到的结果作为该点的视差；

(6)利用双目相机标定得到的重投影矩阵以及上一步精确求得的视差信息，求出图像中的点在三维空间中的精确坐标，得到物体表面的点云数据。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1、镜头以及CMOS比较小，能够在进入人体的时候造成较小的伤害，有利于病人的康复；

2、使用双路FPGA同时控制CMOS采集图像信息，更好的控制双路信号的同步性；

3、主机采用异构计算的方式，大大缩短了算法实现的时间；

4、立体匹配算法使用了POC算法，使得该过程具有精度高，速度快的优点；

5、使用张正友标定法进行双目相机的标定，该标定算法相比以往的精度高，可以更精确的重建人体器官的三维模型。

附图说明

图1是3D电子内镜系统结构示意图。

图2是双目相机标定流程图。

图3是三维重建流程图。

图4是三角测量原理图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明3D电子内镜系统包括双目相机、图像预处理模块和计算显示模块。双目相机包括双目镜头、集成两个CMOS的电路板，用于采集图像数据。图像预处理模块包含两块FPGA和一个双路图像采集卡。两块FPGA分别用于控制两个CMOS芯片的采集以及图像的预处理，并将采集到的信号输出到双路图像采集卡。双路图像采集卡同时采集两路数据，并通过PCI-E将数据传送到计算机主机内存中，利用CPU完成双目图像的畸变矫正和极线对齐，再利用GPU完成立体匹配、三维重投影以及点云的渲染。

相机标定的流程如图2所示，首先使用双目相机拍摄多幅精度在0.01mm内的标定板图片，根据标定板上的点在真实空间与图像中的对应关系求出相机的内外参数矩阵，就能确定两个相机之间的关系。由于相机本身存在畸变，因此需要分别对两个相机完成畸变矫正，并且根据两个相机的外参数求出两个相机的相对位置关系，对二者拍摄的图片进行适当的旋转平移操作，保证极线对齐。具体标定流程如下：

世界坐标系中的点(x_w，y_w，z_w)变换到相机坐标系中的坐标(x_c，y_c，z_c)，变换公式如下：

式中，R为旋转矩阵，T为平移矩阵，R与T的具体值由相机的外参数决定，因此，被称为相机的外参数矩阵，可以通过拍摄标定板根据上面点在两个世界坐标系中的对应关系求得。

相机坐标系中的点(x_c，y_c，z_c)变换到图像像素坐标系中的坐标(u，v)变换公式如下：

其中，f是相机的焦距，dx与dy分别是相机中图像传感器像元的宽度和高度，u₀和v₀分别是主点在像素坐标系中的横坐标和纵坐标，s是一个非零的比例因子。由于矩阵的值只与相机的参数有关，因此被称为相机的内参数矩阵。

在求出两个相机的外参数矩阵之后，设左相机相对于世界坐标系的旋转平移参数为[R_l T_l]，右相机为[R_r T_r]，则两个相机之间相对的旋转平移参数可以通过以下方式求得：

T＝R_l(T_r-T_l)

两个相机之间的旋转平移关系也被称为该双目相机系统的内参数，根据两个相机之间的旋转平移关系即可对两个相机拍摄的图片进行适当的旋转平移使得其满足极线约束条件。

三维重建流程如图3所示，通过标定获得双目相机的内参数，进一步通过内参数可以求得该双目系统的重投影矩阵，结合每一点的视差信息即可完成三维重建，获得物体表面模型。

立体匹配在这一步中有着至关重要的作用，其精度直接影响图像中的点在空间中坐标的精度。本实施例中所使用的立体匹配是基于POC算法的，具体方法如下：

拍摄得到的两个图片中相同位置是十分相似的，因此二者可以看作是平移关系，尤其是该3D电子内镜系统中两个相机的距离较近的时候，通过POC算法可以精确求出二者的相对平移量。

POC算法是相位相关算法的简称，其原理就是利用傅里叶变换的平移不变性，将图像在空域中的平移量转化成对POC函数峰值位置的求取。

给定两个大小均为M×N的灰度图，设二者分别是f₁(m，n)和f₂(m，n)，其中f₂(m，n)是由f₁(m，n)平移得到的，二者有如下关系：

f₂(m，n)＝f₁(m-δ₁，n-δ₂)

对二者进行离散傅里叶变换：

根据傅里叶变换的性质，F₁(u，v)与F₂(u，v)有如下关系：

计算二者的互功率谱的相位：

接着对其进行反傅里叶变换，可以得到POC函数：

通过确定r(m，n)峰值的位置即可确定两个图像之间的平移量(δ₁，δ₂)。

在进行傅里叶变换的时候，由于图像信号是离散的，因此需要加一个窗函数，用来防止频率泄露，在这里选择汉宁窗。

通过上面的步骤可以确定该窗口中心点的视差，但是确定的视差是像素级别的，精度不够，因此需要进一步计算亚像素级别的视差。

在r(m，n)中找到函数的峰值位置之后，以该位置为中心，选取一个5×5大小的区域，由于已知r(m，n)的具体形式，因此可以对其进行拟合，通过LM算法精确求出峰值的位置，这样就得到了亚像素精度的视差信息。

在得到高精度的视差信息后，便可通过重投影矩阵来计算每一个点在三维空间中的坐标。三维重投影的原理是三角测量，如图4所示，根据相似三角形，有如下关系式：

进一步可以得到深度信息Z的大小：

将上述关系写成矩阵的形式如下：

其中，(x，y，d，l)是二维其次点及其视差，该点在三维空间中的坐标为

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种3D电子内镜系统，其特征在于，包括双目相机、图像预处理模块和计算显示模块，所述双目相机由双目镜头和双CMOS组成，图像预处理模块由两个FPGA和双路图像采集卡组成，所述计算显示模块由计算机和显示器组成；双目镜头通过物理连接的方式与两个CMOS相连，调整焦距可使被拍摄的物体清晰地在CMOS上成像；两个FPGA分别单独控制两个CMOS进行图像的采集和预处理；两个CMOS集成在一块电路板中，通过屏蔽双绞线与FPGA相连，以消除外界对信号的干扰；两个FPGA均通过HDMI接口分别输出信号，由双路图像采集卡分别进行实时同步采集，双路图像采集卡安装于计算机主机的主板上，通过PCI-E接口传回计算机主机的内存中；计算机主机接收到图像信号之后利用CPU与GPU协同进行三维重建，最后输出三维点云模型。

2.根据权利要求1所述一种3D电子内镜系统，其特征在于，计算机主机配备有CPU和GPU，CPU接收双路图像采集卡的图像并处理使之适用于立体匹配，GPU通过并行计算缩小数据处理的时间，并通过OpenGL进行三维点云的绘制。

3.一种三维重建方法，基于权利要求1所述3D电子内镜系统，其特征在于，包括以下步骤：

(1)利用相机对精度在0.01mm以内的标定板拍摄至少9对图像，借助张正友标定法对双目相机进行标定，得到该双目相机的内外参数矩阵以及重投影矩阵；

(2)利用相机的内外参数矩阵，对双目相机拍摄到的图片进行畸变矫正和极线对齐，以适用于立体匹配；

(3)对双目相机拍摄得到的左右两幅图的相同区域使用POC算法：在拍摄得到的一对图像中，选择其中一幅图像作为基准图像，另一幅图像作为参考图像，对于基准图像上的其中一点，以该点中心的一个区域以及参考图像上的相同区域加汉宁窗，对两个区域分别进行离散傅里叶变换，接着计算二者的互功率谱，并对其进行反傅里叶变换，得到POC函数，POC函数中峰值的位置坐标即为二者的相对平移量，该平移量即可作为所选择区域中心点的像素级别精度的视差；

(4)利用LM拟合算法对POC函数的数据进行拟合：在POC函数中，以上一步中选取的基准图像上的点为中心，选取5×5大小的窗口，对该窗口中的数据根据相应的表达式进行拟合，进而得到峰值的精确坐标，该坐标即为亚像素精度的视差；

(5)如果该点的POC函数峰值过小，则认为该点是误差点，需要进行后处理来消除误差点：以该点为中心，选取5×5大小的窗口进行中值滤波，将滤波后得到的结果作为该点的视差；

(6)利用双目相机标定得到的重投影矩阵以及上一步精确求得的视差信息，求出图像中的点在三维空间中的精确坐标，得到物体表面的点云数据。