CN102944928B - 一种三维内窥镜及其三维重建方法 - Google Patents

Abstract

本发明涉及一种具有三维重建功能的三维内窥镜，以及使用该内窥镜进行三维重建的方法。本发明的内窥镜无需特制的光学部件，仅在普通内窥镜摄像头前加装若干LED灯，并利用标定球体进行光源方向标定，配合终端重建软件，即可使内窥镜具备三维重建功能。本发明的三维内窥镜结构简单、成本低，使用该三维内窥镜的三维重建方法简便，且图像精度高。

Description

一种三维内窥镜及其三维重建方法

【技术领域】

本发明涉及内窥镜领域，具体涉及一种具有三维重建功能的内窥镜，及其方法。

【背景技术】

由于工业内窥镜能够无损的检测到物体的状态，同时还能观察到人无法到达的地方，已经广泛应用到许多工业领域中，例如在建筑业中墙壁，光缆的检测，在油气工业中管道内部情况的检测，以及在汽车工业中发动机维修，安防领域中的爆炸物检测等领域都广泛的使用了工业内窥镜。在工业内窥镜的发展中，由于简单的二维影像不能够提供足够的信息，因此三维内窥镜的发展较为迅速。

现有工业内窥镜主要通过前端的微型摄像头，伸到人眼难以观测到的狭小空间内，拍摄其视频图像，供操作人员对该区域进行观察。这种基于视频图像的观测方法在很大程度上提高了检测的效率，使人可以观测到狭小空间的状况。然而这种基于图像的观察方式，人只能看到二维的画面信息，而无法直接观测到目标的三维形貌。由此催生了三维内窥镜技术的发展。

现有的三维内窥镜技术主要分两种：第一种是基于双目视觉的内窥镜技术，内窥镜前端集成两个微型摄像头，通过立体匹配和三角测量原理，得到若干点的三维信息。然而，该方法的问题在于，其需要两个摄像头，因而产品体积无法做到很小，而且这种以来立体匹配的三维重构方法，无法获得高密度的三维形貌信息，只能测量若干点处的三维深度信息。

第二种方法是基于光学投影的三维内窥镜技术，在内窥镜前端集成一个微型摄像头和一个用于光学条纹投射的镜头，通过摄像头拍摄光纤投射出的条纹图像，实现目标的三维重建。但该方法的问题在于其需要投射出多张具有特定信息的条纹图像，因而前端的光学结构较为复杂，投射出的条纹图案容易受到环境光和物体表面发射特性的影响，也无法获得高密度的三维重建信息。

因此，需要一种结构简单、低成本的三维内窥镜。

【发明内容】

本发明的目的在于提供一种基于光度学原理的三维重建内窥镜方法结构简单，成本低，并可以获得高密度的三维形貌信息。

本发明提供一种三维内窥镜，包括：内窥镜前端；控制处理终端，用于控制所述摄像单元和所述灯，及处理所述摄像单元采集到的图像；连接所述内窥镜前端与所述控制处理终端的管线；以及标定球体，所述标定球体为半径已知的镜面反射球，用于在首次使用前标定所述灯的光源方向，所述内窥镜前端包括：前端壳体；在所述前端壳体内的摄像单元，用于采集图像；在所述前端壳体内、所述摄像单元前方的至少三个沿所述前端壳体周向均匀布置的灯。

所述控制处理终端可以为个人电脑或嵌入式单元，并且还可以包括存储单元和/或输出单元。

所述摄像单元可以为摄像头。

所述灯可以为LED灯、红外LED灯、紫外LED灯、光纤、白炽灯。

每个所述灯的颜色也可以改变，如为红色、绿色、蓝色等。

所述管线可以为USB数据线，并且所述管线与所述控制处理终端可以通过USB接口连接。

本发明另一方面提供一种使用所述的三维内窥镜，进行三维重建的方法，包括步骤：

S101标定摄像单元的内参数，以获得摄像单元的焦距、中心点坐标；

S102利用标定球体，标定每个灯的光源方向l；

S103通过亮度补偿来矫正近光源光照场，以确定近光源光照场中每个点的矫正系数；

S104控制处理终端控制灯顺序亮灭，并控制摄像单元依次采集每个灯亮起时目标的图像，并根据步骤S103的矫正系数，确定图像中每个像素点矫正后的亮度I；

S105利用步骤S104中采集的图像，采用反射模型设定反射率ρ，建立目标的三维模型，并估算图像中每个像素点的三维法向N，以得到三维法向场；

S106通过法向场积分法，获得目标的三维模型，

其中步骤S102中，光源方向l的标定步骤如下：

S1021以摄像单元为原点o，建立像素坐标系，并依据摄像单元的焦距f确定摄像单元在像素坐标系上的像平面；

S1022摄像单元捕获标定球体上镜面反射点s在像平面上的像点s，的坐标；

S1023计算单元通过椭圆拟合，获得镜面反射球心c在像平面上的像点c’坐标；

S1024根据公式计算镜面反射球心c的坐标；

S1025依据镜面反射球心c的坐标和镜面反射球半径r，计算球面方程；

S1026计算os’与球面方程的交点坐标，为镜面反射点s的坐标；

S1027依据镜面反射球心c和镜面反射点s的坐标确定法向量n；

S1028依据镜面反射球半径r和法向量n，通过式l＝2(n·r)n-r，计算得到光源方向l。

反射模型可以根据实际情况来确定，例如可以为朗伯反射模型。

这些控制和处理操作可以通过安装在控制处理终端的三维重建软件进行。

本发明的三维内窥镜利用了光度学原理，结构简单，成本低，且可以获得高密度的三维形貌信息，具有广阔的市场前景。

【附图说明】

图1为根据本发明的三维内窥镜的总体结构示意图。

图2为根据本发明的三维内窥镜前端结构示意图。

图3为根据本发明的三维重建方法的流程图。

图4为本发明的方法中光源方向标定步骤装置位置示意图。

图5为本发明的方法中光源方向标定步骤的原理示意图。

图6为本发明的方法中光源方向标定步骤的流程图。

【具体实施方式】

本发明的三维内窥镜基于光度学原理，该内窥镜包含一个摄像单元，该摄像单元可以是普通的摄像头，以及放置在摄像头周围的三个以上的灯，相比现有技术，该装置结构简单，成本低。

在不需要三维重建功能时，灯可以为内窥镜装置提供普通的照明功能；当用户需要了解目标的三维信息时，通过使若干灯依次亮起，由摄像头拍摄各个角度灯照射下的目标图像，通过系统预先的标定信息，用光度学的方法得到目标的三维重建结果。使用该内窥镜的三维重建方法可以获得高密度的三维形貌信息，具有广阔的市场前景。

下面结合附图和具体实施例对本发明作进一步详细说明。

图1所示为本发明的三维内窥镜的总体结构示意图。本发明的三维内窥镜结构简单，包括内窥镜前端10、控制处理终端20、连接两者的管线30，以及标定球体40。

内窥镜前端10用于探入腔体，采集腔体内目标的信息。管线30根据实际需要，可以是软管或硬管。在本发明的方案中，管线30可以是USB数据线，并且管线30与控制处理终端20通过USB接口连接，如此有利于内窥镜与终端设备之间的连接通信，并且方便扩展。控制处理终端20可以为个人电脑或嵌入式单元，并且还可以包括存储单元和/或输出单元。

标定球体40为为半径已知的镜面反射球，用于标定灯的光源方向，光源方向的标定仅需要在第一次使用前进行一次，无需每次使用都要进行。

图2示出本发明的三维内窥镜前端10的结构，内窥镜前端10由前端壳体11、位于前端壳体11内的摄像单元12和至少三个灯(131、132、133……)构成。摄像单元12可以是普通的摄像头，用于采集目标的图像。灯11放置在摄像单元12前方，沿前端壳体11内周均匀放置。

在内窥镜的操作中，灯可以提供普通的照明功能，当用户需要了解目标的三维信息时，可以对灯进行操作，配合摄像单元获得相应图像，并通过控制处理终端的处理，获得目标的三维信息。

灯可以为LED灯、红外LED灯、紫外LED灯、光纤、白炽灯。并且每个灯的颜色也可以改变，如为红色、绿色、蓝色等。

例如，在本发明的具体实例中，发明人采用以下硬件系统：

摄像单元为普通摄像头，分辨率640×480像素，速度30帧/秒；

本发明使用四个白色光LED灯，发光角度120度，电压3.5V，功率0.1W；

标定球体为镜面反射球体，具体为直径25毫米的不锈钢球体，其最大截面轮廓能清晰的被摄像单元捕获，4个LED灯在球体上的光斑可以被摄像头全部捕获。

根据摄像头和LED的大小，内窥镜前端的整体尺寸可控制在3-6mm，较小的体积有利于本发明的三维内窥镜具有更广的应用范围。

图3所示为本发明的三维重建方法的流程图。

首先是步骤S101标定摄像单元的内参数，以获得摄像单元的焦距、中心点坐标。摄像单元内参数的标定采用业内常用的基于棋盘格的标定法(参见，Z.Zhang，″A flexible new technique for camera calibration″，IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.22，No.11，pages 1330-1334，2000.)，用于获取摄像单元的焦距、中心点坐标等参数，该方法为业内常用方法，在此不做详述。

然后是步骤S102，利用标定球体40，标定每个灯的光源方向l，具体的标定方法将在下文中详述。

接着在S103，通过亮度补偿来矫正近光源光照场，以确定近光源光照场中每个点的矫正系数。

因为对于光源，特别是LED光源来说，其亮度并不是理想均匀的，而是随着灯珠到表面点距离增大而衰减。为了保证重建范围内的每个表面点都能接收到一样的光强，必须对光源进行光强补偿。

亮度补偿的依据是：当灯和目标物体位置都固定时，目标物体某表面点上接收到的光强与其表面点上最亮点的光强比例是恒定的，反比于该两点的距离。

具体方法是：在待采集人体部分摆放的位置放上一张白纸，用同一个灯照射，拍下照片，再计算照片上每个像素点的光强和最亮点的光强之比。通过这一比值，对拍摄的人体信息照片进行预处理。

在步骤S104，使用控制处理终端20控制灯顺序亮灭，并控制摄像单元12依次采集每个灯(131、132、133)亮起时目标的图像，并根据步骤S103的矫正系数，确定图像中每个像素点矫正后的亮度I。

在步骤S105，利用步骤S104中采集的图像，采用反射模型设定反射率ρ，建立目标的三维模型，并估算图像中每个像素点的三维法向N，以得到三维法向场。

具体采用何种反射模型可以根据实际情况确定，例如，当目标的主要反射分量以漫反射为主，则可以采用朗伯反射模型对目标进行建模。简言之，对于朗伯模型，其假设物体表面反射率为常数，即从所有观察方向看它都是同样亮的，并且完全反射所有入射光。假设图像中某点亮度为I，其表面的单位法向量为N，光源方向为L，反射率为ρ(对于朗伯模型，该参数可视为常数)，则存在以下关系：I＝ρN·l，其中I、ρ、l均为已知，N对于三个灯的情况，有三个未知变量，因而只需要三幅不同光源照射下的图像，既可以计算出图像中每个点的三维法向N。

当然，还可以根据目标物体表面的材料特性选择采用其他反射模型，如PHONG镜面反射模型、双反射模型BRDF等。

最后在步骤S106，通过法向场积分法，获得目标的三维模型。法向场积分的方法为获得三维模型的常用方法，在此不做详述(参见R.T.Frankot，R.Chellappa.A method for enforcing integrability in shape from shading algorithms.IEEE Transactions on Pattern Analysis and Machine Intelligence，Volume 10Issue 4，July 1988，Pages 439-451)。

每个步骤的控制，以及数据处理的操作，均可以通过安装在控制处理终端的三维重建软件来进行。

图5所示为本发明中光源方向l标定步骤的原理示意图。当已知摄像单元12内参和标定球体40半径r的前提下，利用球面上的最亮点(光斑)信息，可计算出灯(131、132、133)的光源方向l。

如图4所示，以摄像单元12原点O为统一坐标系，标定球体40位于摄像单元12正前方，灯13从侧边照射。以下信息为已知：球体半径r；镜头焦距f，通过相机标定获得；球体在像平面上的轮廓CC，通过Canny算子检测(参见Canny，J.，A Computational Approach to Edge Detection，IEEE Trans.PatternAnalysis and Machine Intelligence，8(6)：679-698，1986.)；灯的光斑s，由于球体为镜面反射，此光斑在图像中可轻易检测出。

光源方向标定步骤102的具体流程示于图6中。

首先是步骤S1021，以摄像单元为原点o，建立像素坐标系，并依据摄像单元的焦距f确定摄像单元在像素坐标系上的像平面。

然后在步骤S1022，摄像单元捕获标定球体上镜面反射点s在像平面上的像点s’的坐标。

在步骤S1023，计算单元通过椭圆拟合，获得镜面反射球心c在像平面上的像点c’坐标。

然后，在步骤S1024，根据公式计算镜面反射球心c的坐标；

在步骤S1025，依据镜面反射球心c的坐标和镜面反射球半径r，计算球面方程；

在步骤S1026，计算os’与球面方程的交点坐标，为镜面反射点s的坐标；

在步骤S1027，依据镜面反射球心c和镜面反射点s的坐标确定法向量n；

最后，在步骤S1028，依据镜面反射球半径r和法向量n，通过式l＝2(n·r)n-r，计算得到光源方向l。

对装置中每个灯重复上述步骤，即可获取所有灯的光源方向l₁、l₂……。由于在本发明的三维内窥镜中，灯的位置是固定的，因此该标定过程只需要在第一次使用之前执行一次。

综上可见，本发明的三维内窥镜，和三维重建方法具有以下优点：

低成本：无需使用复杂的三维扫描设备，只需要一个简单的摄像单元和若干个灯即可完成对目标的三维重建；

结构简单：体积小巧，便携，且不包括运动组件；

速度快：最少使用3张照片即可完成对目标的三维重建，按照相机的30FPS速度，即最快采集时间仅为0.1秒；

精度高：通过对近光源光照成的矫正和光源方向标定步骤，可以精确的计算出图像中每个点的三维法向信息，大大提高了三维重建的精度。

应理解，以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种通过三维内窥镜进行三维重建的方法，所述三维内窥镜，包括：

内窥镜前端，所述内窥镜前端包括：

前端壳体；

在所述前端壳体内的摄像单元，用于采集图像；

在所述前端壳体内、所述摄像单元前方的至少三个沿所述前端壳体周向均匀布置的灯；

控制处理终端，用于控制所述摄像单元和所述灯，及处理所述摄像单元采集到的图像；

连接所述内窥镜前端与所述控制处理终端的管线；以及

标定球体，所述标定球体为半径已知的镜面反射球，用于在首次使用前，标定所述灯的光源方向；

所述三维重建的方法包括步骤：

S101标定摄像单元的内参数，以获得摄像单元的焦距、中心点坐标；

S102利用标定球体，标定每个灯的光源方向l；

S103通过亮度补偿来矫正近光源光照场，以确定近光源光照场中每个点的矫正系数；

S104控制处理终端控制灯顺序亮灭，并控制摄像单元依次采集每个灯亮起时目标的图像，并根据步骤S103的矫正系数，确定图像中每个像素点矫正后的亮度I；

S105利用步骤S104中采集的图像，采用反射模型设定反射率ρ，建立目标的三维模型，并估算图像中每个像素点的三维法向N，以得到三维法向场；

S106通过法向场积分法，获得目标的三维模型，

其中步骤S102中，光源方向l的标定步骤如下：

S1021以摄像单元为原点o，建立像素坐标系，并依据摄像单元的焦距f确定摄像单元在像素坐标系上的像平面；

S1022摄像单元捕获标定球体上镜面反射点s在像平面上的像点s’的坐标；

S1023计算单元通过椭圆拟合，获得镜面反射球心c在像平面上的像点c’坐标；

S1024根据公式计算镜面反射球心c的坐标；

S1025依据镜面反射球心c的坐标和镜面反射球半径r，计算球面方程；

S1026计算os’与球面方程的交点坐标，为镜面反射点s的坐标；

S1027依据镜面反射球心c和镜面反射点s的坐标确定法向量n；

S1028依据镜面反射球半径r和法向量n，通过式l＝2(n·r)n-r，计算得到光源方向l。

2.权利要求1所述的方法，其中，所述反射模型为朗伯反射模型、PHONG镜面反射模型或双反射模型BRDF中的一种。

3.权利要求1所述的方法，其中，所述步骤S101-S106以及步骤S1021-S1028通过安装在控制处理终端的三维重建软件进行。

4.权利要求1所述的方法，其中，所述控制处理终端为个人电脑或嵌入式单元。

5.权利要求4所述的方法，其中，所述控制处理终端还包括存储单元和/或输出单元。

6.权利要求1所述的方法，其中，所述摄像单元为摄像头。

7.权利要求1所述的方法，其中，所述灯为LED灯、光纤或白炽灯中的一种。

8.权利要求1所述的方法，其中，所述灯可为红色、绿色或蓝色的不同颜色。

9.权利要求1所述的方法，其中，所述管线为USB数据线，并且所述管线与所述控制处理终端通过USB接口连接。