CN110335318A - 一种基于摄像系统的消化道内物体测量方法 - Google Patents

Abstract

一种基于摄像系统的消化道内物体测量方法，所述测量方法包括：模拟消化道内环境，进入摄像系统标定阶段；控制摄像系统在不同位置进行拍摄以获得标定图像；标定完成后进入测量阶段；将摄像系统放入消化道内；拍摄并获得至少一张检测图像；获得检测图像上每个像素点的像素亮度；计算获得检测图像上每个像素点和摄像系统之间的深度距离z_i，并记为深度图像z(x,y)；根据深度图像z(x,y)计算检测图像中每一像素点的比例尺r；获得检测图像中每一像素点的像素坐标S_i，通过比例尺r计算获得检测图像中每一像素点的实际二维坐标S_i`；整合获得每一像素点的实际三维坐标(S<sub>i</sub>`，z(x,y))；计算或测量图像中任意两像素点之间的距离或任意范围内的面积。

Description

一种基于摄像系统的消化道内物体测量方法

技术领域

本发明属于图像处理领域，特别是一种基于摄像系统的消化道内物体测量方法。

背景技术

目前，使用胶囊式内窥镜进行消化道检测越来越普及，通过获得消化道内的图像，医生可对被测者进行检查。但是对通常的胶囊式内窥镜而言，当拍摄到含有病灶的图像时，医生仅能通过病灶的形态、颜色、位置等特征进行判断，但是无法获得病灶的尺寸信息，从而也无法给出精确的定量分析结果。

现有的技术中，例如中国专利公开CN107072498A中，提供了一种消化道内测距的方法。在上述方法中，通过在普通的图像传感器中分布了若干测距像素以用于生成物体深度信息的测距数据即深度图像。然后使用已知像素位置的测距数据对图像中没有得到的测距数据的像素位置的深度进行插值。在上述方法中，其计算方式较为繁琐，且对器件的要求很高，测距像素需要均匀地分布于图像传感器中，且需要较多的测量点。而若测量点较多，则会对后续梯度计算具有很大误差，最终造成测量失真。

又例如中国专利公开CN101902961A中，提供了一种用于估算体腔内物体大小的装置、系统及方法。在上述方法中，通过在胶囊式内窥镜中安装一个激光器，利用激光点和图像亮度信息进行距离测量及物体测量。但是，该种方法中忽略了消化道内介质的影响。消化道内环境复杂，空气和消化液均会对激光的光路造成影响，而直接影响到激光测距的结果。并且，距离的测量将始终依赖激光测距的结果，每一次测量均需要进行激光测距，则每一次均需要大量的计算，消耗人力物力。

因此，必须设计一种新的消化道内物体测量方法。

发明内容

为解决上述问题之一，本发明提供了一种基于摄像系统的消化道内物体测量方法，所述测量方法包括：

模拟消化道内环境，进入摄像系统标定阶段；

控制摄像系统在不同位置进行拍摄以获得标定图像；

计算确定标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系，并记为：

计算确定标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系，比例尺为图像中的单位像素代表的实际长度，并记为：

r＝dz (2)；

标定完成后进入测量阶段；

将摄像系统放入消化道内；

拍摄并获得至少一张检测图像；

获得检测图像上每个像素点的像素亮度；

根据公式1计算获得检测图像上每个像素点和摄像系统之间的深度距离z_i，并记为深度图像z(x,y)；

根据公式2和深度图像z(x,y)计算检测图像中每一像素点的比例尺r；

获得检测图像中每一像素点的像素坐标S_i，通过比例尺r计算获得检测图像中每一像素点的实际二维坐标S_i`；

整合获得每一像素点的实际三维坐标(S_i`，z(x,y))；

计算或测量图像中任意两像素点之间的距离或任意范围内的面积。

作为本发明的进一步改进，步骤“拍摄并获得至少一张检测图像”还包括：

在至少一张检测图像上获取至少一个参考点P，该参考点P在消化道上的实际位置记为目标点P`；

步骤“根据公式1计算获得检测图像上每个像素点和摄像系统之间的深度距离z_i”还包括：

分别计算获得参考点P的像素坐标P_i；

分别计算获得目标点P`与摄像系统之间的深度距离z_i；

根据公式1和深度距离z_i获得检测图像上参考点P的预测亮度g^-1(z_i)；

将参考点P的预测亮度g^-1(z_i)和参考点P的实际像素亮度img(P_i)进行比较获得校正因子k_i，并记为：

获取所有参考点P的校正因子k_i的均值为

通过校正因子均值对检测图像中所有的像素点进行校准以获得每一像素点距离摄像系统的深度距离，并记为深度图像z(x,y)，其中：

作为本发明的进一步改进，消化道具有若干个消化道区间，所述摄像系统形成有若干个曝光档位；步骤“获取所有参考点P的校正因子k_i的均值为”后，将校正因子均值按照不同曝光档位和不同消化道区间进行存储。

作为本发明的进一步改进，在相同曝光档位和消化道区间获得两个或两个以上的校正因子均值后，对上述校正因子均值进行平均计算后再进行存储和更新。

作为本发明的进一步改进，所述步骤“在至少一张检测图像上获取至少一个参考点P”包括：

获取检测图像上形成的光斑；

计算光斑的中心，并将光斑的中心记为参考点P，所述参考点P到图像中心之间的像素距离记为参考距离△p。

作为本发明的进一步改进，所述标定阶段还包括：

获得模拟消化道上的光斑；

计算光斑的中心，并将光斑的中心记为标定点Q`；

获得标定图像上的光斑；

计算光斑的中心，并将光斑的中心记为成像点Q，所述成像点Q到标定图像中心之间的像素距离记为参考距离△q；

计算确定摄像系统与标定点Q`之间的深度距离z和参考距离△q的关系，并记为：

作为本发明的进一步改进，上述步骤“计算确定摄像系统与标定点Q`之间的深度距离z和参考距离△q的关系”具体包括：

将摄像头分别放置于空气中或模拟消化液中，并对上述深度距离z和参考距离△q进行测量，且带入公式5分别进行计算，以获得摄像头在空气时的参数(a_a,b_a)以及摄像头在模拟消化液中的参数(a_b,b_b)。

作为本发明的进一步改进，测量阶段中，步骤“分别计算获得目标点P`与摄像系统之间的深度距离z_i”具体包括：

获取所述参考点P到检测图像的图像中心之间的参考距离△p；

判断检测图像是在空气中还是在消化液中拍摄；

若检测图像在空气中拍摄，则选择参数(a_a,b_a)，且与上述参考距离△p一同带入公式5并计算获得目标点P`与摄像系统之间的深度距离z_i；

若检测图像在消化液中拍摄，则选择参数(a_b,b_b)，且与上述参考距离△p一同带入公式5并计算获得目标点P`与摄像系统之间的深度距离z_i。

作为本发明的进一步改进，所述摄像系统形成有若干个曝光档位，所述标定阶段还包括：

确定摄像系统与标定点Q`之间的深度距离z和曝光档位的关系；

步骤“判断检测图像是在空气中还是在消化液中拍摄”还包括：

若△p＜q₁，则判断检测图像是在空气中拍摄，q1为空气分界点值；

若q₁≤△p≤q₂时，在该范围中，空气中拍摄和消化液中拍摄的曝光档位具有明显差异，则根据检测图像的曝光档位和标定阶段中的曝光档位进行比较，判断检测图像是在空气中或者消化液中拍摄，q2为易辨识分界点值；

若q₂＜△p时，判断检测图像是否有消化道黏膜表面上的粘液反光，若有，则判断为在空气中拍摄，若无，则判断为在消化液中拍摄。

作为本发明的进一步改进，步骤“分别计算目标点P`与摄像系统之间的深度距离z_i”包括：

获得光发射和光接收的时间差t；

计算获得目标点P`与摄像系统之间的深度距离z_i，并记为：

其中，c代表光速。

作为本发明的进一步改进，步骤“拍摄并获得至少一张检测图像”包括：

控制摄像系统拍摄并获得至少一张拍摄图像；

对拍摄图像进行径向畸变矫正并形成检测图像，并记为：

img_out(x,y)＝img_in(x(1+l₁R²+l₂R⁴),y(1+l₁R²+l₂R⁴)) (7)；

其中，表示像素点到图像中心的像素距离，l₁、l₂为相机的畸变参数，x为像素点的横坐标，y为像素点的纵坐标，img_in是输入图像，img_out是矫正后图像。

作为本发明的进一步改进，步骤“控制摄像系统拍摄并获得至少一张拍摄图像”包括：

控制摄像系统拍摄一张带有参考点P的第一拍摄图像；

控制摄像系统拍摄一张不带有参考点P的第二拍摄图像；

对第一拍摄图像和第二拍摄图像进行一致性判断；

若判定第一拍摄图像和第二拍摄图像不一致，则重新拍摄；

若判定第一拍摄图像和第二拍摄图像一致，则将第一拍摄图像和第二拍摄图像均输出为拍摄图像。

作为本发明的进一步改进，步骤“对拍摄图像进行径向畸变矫正并形成检测图像”包括：

对第一拍摄图像进行径向畸变矫正并形成第一检测图像；

对第二拍摄图像进行径向畸变矫正并形成第二检测图像；

其中，参考点P从第一检测图像中获得；深度图像z(x,y)由第二检测图像校准后获得。

作为本发明的进一步改进，步骤“对第一拍摄图像和第二拍摄图像进行一致性判断”包括：

对第一拍摄图像添加掩膜，将光斑的所属区域完全遮盖；

对第二拍摄图像添加相同的掩膜；

比较添加掩膜后的第一拍摄图像和第二拍摄图像，并计算获得差异化指标MSE；

当MSE≤T时，认为第一拍摄图像和第二拍摄图像一致；

当MSE>T时，认为第一拍摄图像和第二拍摄图像不一致。

作为本发明的进一步改进，步骤“计算图像中任意两像素点之间的距离或任意范围内的面积”之后包括：

可根据用户在检测图像上任意选择的两个像素点的三维坐标计算两个像素点之间的直线距离；或者，

可根据用户在检测图像上任意选择的区域的像素点的三维坐标构建这个区域的三维图像，并可计算用户在该三维图像上选择的任意两个像素点之间的直线距离；或者，

可根据用户在检测图像上任意选择的一个区域的三维坐标计算该区域的面积；或者，

在检测图像上形成刻度尺，刻度尺上的刻度标注为实际长度的刻度；或者，

可自动识别检测图像上的病灶区域并计算该区域的尺寸或面积。

本发明还提供了一种基于摄像系统的消化道内物体测量系统，所述系统包括：

尺寸测量模块，用以测量标定图像上像素在模拟消化道内的实际位置到摄像系统之间的深度距离z，以及标定图像上任意像素的比例尺r；

亮度检测模块，用以识别标定图像或检测图像上任意像素的像素亮度；

标定计算模块，用以计算标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系并记为公式1，以及计算确定标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系并记为公式2；

测量计算模块，用以获取标定计算模块的公式1和亮度检测模块中的像素亮度来计算检测图像的深度图像z(x，y)；以及用以获取标定计算模块的公式2和深度图像z(x，y)来计算检测图像中每一像素点的实际二维坐标S_i`，并整合获得每一像素点的实际三维坐标(S<sub>i</sub>`，z(x,y))。

与现有技术相比，在上述方法中，先在标定阶段中获得标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系、以及标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系。然后，在实际的测量阶段中，通过获得检测图像上每个像素点的像素亮度即可通过公式1计算获得深度图像z(x,y)；进而在计算获得每一像素点的比例尺r；通过比例尺r计算获得检测图像中每一像素点的实际二维坐标S_i`；进而再整合获得每一像素点的实际三维坐标(S<sub>i</sub>`，z(x,y))。因此，通过上述方法，通过标定阶段可对每个摄像系统或胶囊式内窥镜进行标定，从而在标定的过程中也可获得摄像系统的不同参数，在后续过程中也需要使用上述参数进行测量和计算，以此可避免由于设备差异引起的误差。

附图说明

图1是本发明中测量方法标定阶段的流程示意图；

图2是本发明中测量方法测量阶段的流程示意图；

图3是本发明中摄像系统与目标点P`之间的深度距离z和参考点P到图像中心之间的参考距离△P之间的函数关系示意图；

图4是本发明深度距离z的标示示意图。

具体实施例

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1至图4所示，本发明提供了一种基于摄像系统的消化道内物体测量方法，所述摄像系统可伸入消化道内并对消化道内的物体进行拍摄，并且，摄像系统拍摄的图像上预设有双轴坐标系，以确定图像上任意像素点的坐标。在本实施方式中，所述摄像系统为胶囊式内窥镜。胶囊式内窥镜通常呈胶囊状，且具有一个透明的前壳，透明的前壳包裹住内板，内板上设置有所述摄像系统，从而摄像系统可透过前壳进行拍摄。

当然，若所述摄像系统为其他设备也可达到本发明的目的。

为了方便说明，以下先对下述参数进行说明：标定点Q`为标定阶段中被拍摄物体上的位置；成像点Q为标定阶段中，标定点Q`在标定图像上的对应位置；目标点P`为检测阶段中被拍摄物体上的位置；参考点P为检测阶段中，目标点P`在检测图像上的对应位置。

具体的，所述测量方法包括：

模拟消化道内环境，进入摄像系统标定阶段；

控制摄像系统在不同位置进行拍摄以获得标定图像；

计算确定标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系，并记为：

计算确定标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系，比例尺为图像中的单位像素代表的实际长度，并记为：

r＝dz (2)；

标定完成后进入测量阶段；

将摄像系统放入消化道内；

拍摄并获得至少一张检测图像；

获得检测图像上每个像素点的像素亮度；

根据公式1计算获得检测图像上每个像素点和摄像系统之间的深度距离z_i，并记为深度图像z(x,y)；

根据公式2和深度图像z(x,y)计算检测图像中每一像素点的比例尺r；

获得检测图像中每一像素点的像素坐标S_i，通过比例尺r计算获得检测图像中每一像素点的实际二维坐标S_i`；

整合获得每一像素点的实际三维坐标(S_i`，z(x,y))；

计算或测量图像中任意两像素点之间的距离或任意范围内的面积。

在上述方法中，先在标定阶段中获得标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系、以及标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系。然后，再实际的测量阶段中，通过获得检测图像上每个像素点的像素亮度即可通过公式1计算获得深度图像z(x,y)；进而在计算获得每一像素点的比例尺r；通过比例尺r计算获得检测图像中每一像素点的实际二维坐标S_i`；进而再整合获得每一像素点的实际三维坐标(S<sub>i</sub>`，z(x,y))。因此，通过上述方法，通过标定阶段可对每个摄像系统或胶囊式内窥镜进行标定，从而在标定的过程中也可获得摄像系统的不同参数，在后续过程中也需要使用上述参数进行测量和计算，以此可避免由于设备差异引起的误差。

步骤“拍摄并获得至少一张检测图像”还包括：在至少一张检测图像上获取至少一个参考点P，该参考点P在消化道上的实际位置记为目标点P`；

步骤“根据公式1计算获得检测图像上每个像素点和摄像系统之间的深度距离z_i”还包括：

计算获得检测图像中参考点P的像素坐标P_i；

计算获得目标点P`与摄像系统之间的深度距离z_i；

根据公式1和深度距离z_i获得检测图像上参考点P的预测亮度g^-1(z_i)，其中g^-1函数为g函数的反函数；

将参考点P的预测亮度g^-1(z_i)和参考点P的实际像素亮度img(P_i)进行比较获得校正因子k_i，并记为：

获取所有参考点P的校正因子k_i的均值为

通过校正因子均值对检测图像中所有的像素点进行校准以获得每一像素点距离摄像系统的深度距离，并记为深度图像z(x,y)，其中：

再实际的测量阶段中，通过获得目标点P与摄像系统之间的深度距离z_i，即可测量出参考点P的预测亮度g^-1(z_i)。进而，通过参考点P的预测亮度g^-1(z_i)和参考点P的实际像素亮度img(P_i)比对获得校正因子k_i。获得校正因子k_i后，就对检测图像中的所有像素点均进行校正获得每个像素点的亮度，从而可获得每一像素点距离摄像系统的深度距离z(x,y)。因此，通过上述方法，通过在检测图像上获得参考点P，再通过参考点P的预测亮度和实际亮度获得校正因子，从而可对所有的像素点均进行校正，使得测量更加精确。以下进行具体说明。

具体的，参考点P的实际像素亮度img(P_i)为检测图像中P点像素的亮度，由于上述g函数的形式会与物体表面的反射系数、曝光参数、介质环境、LED数量、分布、摄像头镜头性能及摄像头图像传感器等响应有关。因此，虽然在标定过程中获得了标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系，但是在后续过程中获得了实际距离z_i及其预测亮度g^-1(z_i)时，还是需要和参考点P的实际像素亮度进行比较以获得校正因子k_i，以对其他像素点的实际像素亮度进行校正以获得其他像素点的深度距离z(x,y)。

另外，最后的计算过程中，可由人工或系统选择两个像素点或任意区域后，再由系统进行测量；或者，也可由系统提供刻度尺，并由人工进行直接读数或测量。

在本实施方式中，所述参考点P通过激光器来获得，该激光器发射光线，且在摄像系统拍摄的图像上和被拍摄的物体上均形成有光斑。具体的，在本实施方式中，采用了VCSEL芯片，该芯片可发射波长如850nm或940nm的激光。激光的发散角度非常小，大多＜6°，发光功率也非常小，大多＜1mW。所述VCSEL芯片和摄像头一同安装于所述胶囊式内窥镜的内板上并形成摄像系统，VCSEL芯片和摄像头之间的几何关系也确定，并可在拍摄的图像上形成一个激光光斑。所述第一测距部设置为至少一个，通常包括1至4个，且围绕所述摄像头设置。因此，激光光斑和所述参考点P也形成有至少一个。

如图4所示，需要说明的是，在本实施方式中，摄像系统C进行拍照时，摄像系统的光轴当然位于图像的中心，光轴和图像中心之间的连线记为参照线。从而，目标点P`和摄像系统之间的深度距离z并不是指两者之间的直线距离，而是指两者在参照线方向的距离，上述该参照线的方向即为z轴方向。另外，摄像系统拍摄的图像上预设有双轴坐标系记为xoy平面的坐标系，上述每一像素点的像素坐标S<sub>i</sub>和实际二维坐标S<sub>i</sub>`均基于xoy平面。

首先，所述摄像系统在标定过程中，需要将摄像系统放入一标定箱中，该标定箱确保不透光，且标定箱内为暗室。所述标定箱包括用以固定摄像系统的固定架、用以让摄像系统进行拍摄的目标板，且标定箱中也充满着模拟介质，该模拟介质可为模拟消化液或空气，摄像系统可在固定架上进行移动。所述摄像系统还包括有LED灯和摄像头，所述LED灯和摄像头均设置于胶囊式内窥镜的内板上，且LED灯设置有2至5个，并围绕所述摄像头分布。LED的光场分布会影响到标定图像上任意像素的亮度的分布，因此必须对各个不同的摄像系统进行分别标定。

从而，可通过让摄像系统在不同位置、不同灯光、不同模拟介质、不同目标板的情况下进行拍摄，以获得上述参数信息。所述目标板也可更换，如模拟黏膜表面或仿黏膜颜色的硬板。当使用标定箱做其他标定时，只需更换目标版，如更换成白板、棋盘、线对卡等，从而可以进行白平衡校正、相机参数标定、分辨率测量等标定。

并且，在标定过程中，获得每一图像后，均需要对该图像进行径向畸变矫正。这是由于图像的拍摄会受到不同相机的畸变参数的影响，因此，经过畸变矫正后的图像可提高图像上物体的尺寸计算精度，特别是位于图像边缘的物体尺寸测量。径向畸变矫正后的图像才可以进行标定以获取参数信息。径向畸变矫正的具体信息在后文中再进行详述。

在测量阶段中，获取校正因子后即可对图像中所有像素点进行校准并获得每一像素点距离摄像系统的深度距离z(x,y)，而校正因子受到摄像系统拍摄及消化道内位置的不同会产生相应的影响。具体的，消化道具有若干个消化道区间，所述摄像系统根据不同的拍摄环境也形成有不同的曝光档位，上述步骤“获取所有参考点P的校正因子k_i的均值为”后，也要将校正因子均值按照不同的曝光档位和不同的消化道区间进行存储，并更新为校正因子k。在相同的消化道区间且曝光参数相同的时候，校正因子的差距较小，从而，若后续没有参考点P，则也可通过上述公式4来获得每一像素点距离摄像系统的深度距离z(x,y)，从而可提高整个系统算法的抗干扰能力，并且也可以减少形成有参考点P的图像的拍摄，提高了工作效率。

当然，若在相同的曝光档位和消化道区间内获得了两个或两个以上的校正因子，则对校正因子均值进行平均计算后再进行存储和更新。具体的，如表1所示，消化道区间包括食道、胃、小肠、大肠等，曝光档位包括1、2至N，不同曝光档位和消化道区间均对应存储有不同的校正因子均值若食道和1曝光档位对应的表格上增加了一个新的校正因子，则将原校正因子和新校正因子进行平均计算后再存储至原表格。从而，若没有获得参考点P来计算校正因子k时，也可在下表中通过曝光档位和消化道区间来选择对应的校正因子，以进行计算。

表1

其次，如上述所述，本发明中引入了激光器VCSEL，则

所述步骤“在至少一张检测图像上获取至少一个参考点P”包括：

获取检测图像上形成的光斑；

计算光斑的中心，并将光斑的中心记为参考点P，所述参考点P到图像中心之间的像素距离记为参考距离△p。

本发明中的第一种实施方式中，直接采用该激光器对摄像系统与目标点P`之间的深度距离z进行计算。则，所述标定阶段还包括：

获得模拟消化道上的光斑；

计算光斑的中心，并将光斑的中心记为标定点Q`；

获得标定图像上的光斑；

计算光斑的中心，并将光斑的中心记为成像点Q，所述成像点Q到标定图像中心之间的像素距离记为参考距离△q；

因此，如图1所示，在标定阶段，由于激光器和摄像头之间的几何关系确定，因此可对摄像系统与标定点Q`之间的深度距离z和成像点Q到标定图像中心之间的参考距离△q的关系进行标定。具体的，上述关系由以下公式表示：

如上述所述，由于消化道内环境复杂，如胃和小肠通常水分充盈，而结肠，特别是横结肠到下降结肠，水分含量很少。激光通过胶囊内的空气空间，打到前壳上，然后再进入消化道空间中。由于光的折射，激光光路也将发生明显的变化，造成公式5中参数a、b的变化。因而，具体的，在标定阶段，所述“计算确定摄像系统与标定点Q`之间的深度距离z和参考距离△q的关系”步骤具体包括：将摄像头分别放置于空气中或模拟消化液中，并对上述摄像系统与标定点Q`之间的深度距离z和成像点Q到图像中心的像素距离△q进行测量，且带入公式5分别进行计算，以获得摄像头在空气时的参数(a_a,b_a)以及摄像头在模拟消化液中的参数(a_b,b_b)。

因此，在测量阶段中，所述步骤“分别计算获得目标点P`与摄像系统之间的深度距离z_i”也会受到消化道内环境的影响。具体的，上述步骤包括：

获取所述参考点P到检测图像的图像中心之间的参考距离△p；

判断检测图像是在空气中还是在消化液中拍摄；

若检测图像在空气中拍摄，则选择参数(a_a,b_a)，且与上述参考距离△p一同带入公式5并计算获得目标点P`与摄像系统之间的深度距离z_i；

若检测图像在消化液中拍摄，则选择参数(a_b,b_b)，且与参考距离△p一同带入公式5并计算获得目标点P`与摄像系统之间的深度距离z<sub>i</sub>。因此，可获得目标点P`与摄像系统之间的深度距离z_i。

根据上述所述，“判断检测图像是在空气中还是在消化液中拍摄”显得尤为重要。而判断过程中需要引入曝光档位进行判断。因此，在标定阶段中，还需要确定摄像系统与标定点Q`之间的深度距离z和曝光档位的关系。如图1所示，所述虚线框406中的过程即为采用第一测距部时额外的标定过程，则若不采用第一测距部，则虚线框406中的过程有可能省略。

具体的，如图3所示，摄像系统与目标点P`之间的深度距离z和参考点P到图像中心之间的参考距离△p具有一定函数关系，其中，曲线401代表环境为消化液时的关系，曲线402代表环境为空气时的关系。

从而，根据图3，上述判断过程包括：

若0＜△p＜q₁，则判断检测图像是在空气中拍摄；q₁为403和404区间的分隔点，即为空气分界点值，△p能落入该范围内，则必然只可能在空气中拍摄；

若q₁≤△p≤q₂时，在该范围中，空气中拍摄和消化液中拍摄的曝光档位具有明显差异，此时，将△p`分别和(a_a,b_a)和(a_b,b_b)带入公式5中以获得不同的z_i值，再根据标定阶段中深度距离z和曝光档位的关系来确定两个曝光档位，最后再与实际的检测图像的曝光档位比较，判断检测图像是在空气中或者模拟消化液中拍摄；并且，特别的，当上述两者的z_i值正好为两倍时，△p＝q₂，并且q₂为404和405区间的分隔点，即为易辨识分界点值；

若q₂＜△p时，判断检测图像是否有消化道黏膜表面上的粘液反光，若有粘液反光，则判断为在空气中拍摄，若无粘液反光，则判断为在消化液中拍摄。

因此，在本第一种实施方式中，还需要预先在标定阶段对摄像系统与标定点Q`之间的深度距离z和成像点Q到图像中心的像素距离△q的关系、摄像系统与参考点之间的深度距离z和曝光档位的关系进行标定。然后在测量阶段，获得检测图像后，先获取参考点P的坐标信息P<sub>i</sub>，进而获得参考点P到图像中心之间的参考距离△p，再判断检测图像是在空气中还是在消化液中拍摄；判断并获得确切的参数(a<sub>a</sub>,b<sub>a</sub>)或(a<sub>b</sub>,b<sub>b</sub>)后，即可通过公式5获得检测图像中目标点P`与摄像系统之间的深度距离z_i。

在本发明的第二种实施方式中，步骤“分别计算目标点P`与摄像系统之间的深度距离z_i”包括：

获得光发射和光接收的时间差t；

计算获得目标点P`与摄像系统之间的深度距离z_i，并记为：

其中，c代表光速。

在本实施方式中，所述摄像系统包括测距部，所述测距部发射光线，遇到障碍物时光线被反射，且被测距部接收。所述测距部为ToF芯片，该测距部可直接通过获取光发射和光接收的时间差t，即可获得目标点P`与摄像系统之间的深度距离z_i。

光在消化液和空气中传播的速度均很快，因此消化道内介质引起的差距可忽略不计。本实施方式中采用ToF芯片作为测距部，虽然采用ToF芯片可直接获得目标点P`与摄像系统之间的深度距离z_i，计算较为简单，但是ToF芯片的体积也较大，因此对于胶囊式内窥镜这种小型化设备时，其使用受到一定限制。

并且，通常的，所述ToF芯片也通常需要在上述激光器即VCSEL芯片作为光源以在检测图像上形成光斑，即需要激光器来获得检测图像上的参考点P的像素坐标P_i，而目标点P`与摄像系统之间的深度距离z_i可通过第二测距部进行测量获得。在第二种实施方式中，同样的，所述测距部设置为至少一个，通常包括1至4个，且围绕所述摄像头设置。因此，所述参考点P也形成有至少一个。

因此，根据上述所述，在获得若干参考点P及其实际的目标点P`与摄像系统之间的深度距离z<sub>i</sub>后，即可通过后续的计算校正因子、比例尺等获得每一像素在xoy平面的实际二维坐标S<sub>i</sub>`，并整合相应的深度距离z(x,y)，获得每一像素的实际三维坐标(S_i`，z(x,y))。

如上述所述，在标定过程中，为了确保图像的精度，获得每一图像后，均需要对该图像进行径向畸变矫正。因而，本发明在具体实施过程中，也需要对拍摄的图像进行径向畸变矫正。具体的，所述步骤“拍摄并获得至少一张检测图像”包括：

控制摄像系统拍摄并获得至少一张拍摄图像；

对拍摄图像进行径向畸变矫正并形成检测图像，并记为：

img_out(x,y)＝img_in(x(1+l₁R²+l₂R⁴),y(1+l₁R²+l₂R⁴)) (7)；

其中，表示像素点到图像中心的像素距离，l₁、l₂为相机的畸变参数，x为像素点的横坐标，y为像素点的纵坐标，img_in是输入图像，img_out是矫正后图像。

另外，由于拍摄环境的复杂，在拍摄过程中很有可能产生废片，因此，以下对拍摄图像的检查进行介绍。

具体的，步骤“控制摄像系统拍摄并获得至少一张拍摄图像”包括：

控制摄像系统拍摄一张带有参考点P的第一拍摄图像；

控制摄像系统拍摄一张不带有参考点P的第二拍摄图像；

对第一拍摄图像和第二拍摄图像进行一致性判断；

若判定第一拍摄图像和第二拍摄图像不一致，则重新拍摄；

若判定第一拍摄图像和第二拍摄图像一致，则将第一拍摄图像和第二拍摄图像均输出为拍摄图像。

其中，在实际测量阶段，摄像系统进入消化道后，摄像系统每次将连续拍摄两帧拍摄图像，拍摄间隔通常小于40ms，因此两张拍摄图像对应的拍摄场景只有微小的变化。并且，所述第一拍摄图像带有参考点P，因此第一拍摄图像是在开启了第一测距部或第二测距部的情况下拍摄，因此显示有光斑；第二拍摄图像则是在关闭了第一测距部和第二测距部的情况下拍摄，因此不存在参考点P。

虽然第一拍摄图像和第二拍摄图像对应的拍摄场景理论上只有微小的变化，但是考虑到消化道内复杂的运动情况，因此需要进行上述所述的一致性判断。

具体的，步骤“对第一拍摄图像和第二拍摄图像进行一致性判断”包括：

对第一拍摄图像添加掩膜，将光斑的所属区域完全遮盖；

对第二拍摄图像添加相同的掩膜；

比较添加掩膜后的第一拍摄图像和第二拍摄图像，并计算获得差异化指标MSE；

当MSE≤T时，认为第一拍摄图像和第二拍摄图像一致；

当MSE>T时，认为第一拍摄图像和第二拍摄图像不一致。

具体的，如何计算差异化指标在此不再赘述，T为预先在多次实验后得到的阈值。

在此步骤中，若判定第一拍摄图像和第二拍摄图像一致，则将第一拍摄图像和第二拍摄图像均输出为拍摄图像，从而，在上述径向畸变矫正阶段中，步骤“对拍摄图像进行径向畸变矫正并形成检测图像”包括：

对第一拍摄图像进行径向畸变矫正并形成第一检测图像；

对第二拍摄图像进行径向畸变矫正并形成第二检测图像；

其中，由于第一检测图像中显示有光斑，因此可以通过“圆拟合法”获得参考点P的像素坐标P_i。而第二检测图像上由于不显示光斑，可完全显示病灶信息，因此深度图像z(x,y)可由第二检测图像校准后获得。

当然，也可控制系统程序仅拍摄一张拍摄图像，此时该拍摄图像上也会显示光斑，则也可以进行后续的操作。而本实施方式中，通过对第一拍摄图像和第二拍摄图像进行一致性的判断，可提高检测图像及其后续计算的精度。

最后，在获得深度图像z(x,y)及每一像素在xoy平面上的实际坐标S_i`后，即可整合获得每一像素点的实际三维坐标(S<sub>i</sub>`，z(x,y))。因此，步骤“计算或测量图像中任意两像素点之间的距离或任意范围内的面积”之后可依据用户的交互方式不同进行计算，并且，若获得了两章检测图像，则用户的交互是基于第二检测图像中进行的。

具体的，第一种交互方式中，可根据用户在检测图像上任意选择的两个像素点的三维坐标计算两个像素点之间的直线距离；或者，

第二种交互方式中，可根据用户在检测图像上任意选择的区域的像素点的三维坐标构建这个区域的三维图像，并可计算用户在该三维图像上选择的任意两个像素点之间的直线距离；或者，

第三种交互方式中，可根据用户在检测图像上任意选择的一个区域的三维坐标计算这个区域的面积；或者，

第四种交互方式中，在检测图像上形成刻度尺，刻度尺上的刻度标注为实际长度的刻度，用户可自行将刻度尺放置于不同位置，而不同位置上的刻度尺的刻度也不相同，用户再自行进行读数测量；或者，

第五种交互方式中，可自动识别检测图像上的病灶区域并计算该区域的尺寸或面积。

上述步骤“计算图像中任意两像素点之间的距离或任意范围内的面积”中当然不局限于上述五种交互方式，但是计算的方法均是基于已经获得每一像素的实际三维坐标，因此，若有其他的交互方式，也在本发明的保护范围内。

因此，本发明还包括了一种基于摄像系统的消化道内物体测量系统，所述系统包括：

尺寸测量模块，用以测量标定图像上像素在模拟消化道内的实际位置到摄像系统之间的深度距离z，以及标定图像上任意像素的比例尺r；

亮度检测模块，用以识别标定图像或检测图像上任意像素的像素亮度；

标定计算模块，用以计算标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系并记为公式1，以及计算确定标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系并记为公式2；

测量计算模块，用以获取标定计算模块的公式1和亮度检测模块中的像素亮度来计算检测图像的深度图像z(x，y)；以及用以获取标定计算模块的公式2和深度图像z(x，y)来计算检测图像中每一像素点的实际二维坐标S_i`，并整合获得每一像素点的实际三维坐标(S<sub>i</sub>`，z(x,y))。

综上所述，本发明中的基于摄像系统的消化道内物体测量方法可预先通过对摄像系统的标定阶段来获取一些参数信息，从而方便测量阶段中的计算，并且可防止摄像系统之间的设备差异等引起的计算误差。其次，通过对校正因子k的储存，从而在k的储存量越大且k的值越趋于稳定后，后续的拍摄过程中可不需要再对校正因子k进行计算，因此也减少激光器和测距部的使用。最后，在使用激光器时，通过在标定阶段中在不同消化道环境内分别进行测量，从而在测量阶段也可判断消化道内是空气还是消化液的不同情况，以进行不同的处理方法，提高了精确性。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于摄像系统的消化道内物体测量方法，其特征在于，所述测量方法包括：

模拟消化道内环境，进入摄像系统标定阶段；

控制摄像系统在不同位置进行拍摄以获得标定图像；

计算确定标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系，并记为：

计算确定标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系，比例尺为图像中的单位像素代表的实际长度，并记为：

r＝dz (2)；

标定完成后进入测量阶段；

将摄像系统放入消化道内；

拍摄并获得至少一张检测图像；

获得检测图像上每个像素点的像素亮度；

根据公式1计算获得检测图像上每个像素点和摄像系统之间的深度距离z_i，并记为深度图像z(x,y)；

根据公式2和深度图像z(x,y)计算检测图像中每一像素点的比例尺r；

获得检测图像中每一像素点的像素坐标S_i，通过比例尺r计算获得检测图像中每一像素点的实际二维坐标S_i`；

整合获得每一像素点的实际三维坐标(S_i`，z(x,y))；

计算或测量图像中任意两像素点之间的距离或任意范围内的面积。

2.根据权利要求1所述的测量方法，其特征在于，步骤“拍摄并获得至少一张检测图像”还包括：

在至少一张检测图像上获取至少一个参考点P，该参考点P在消化道上的实际位置记为目标点P`；

步骤“根据公式1计算获得检测图像上每个像素点和摄像系统之间的深度距离z_i”还包括：

分别计算获得参考点P的像素坐标P_i；

分别计算获得目标点P`与摄像系统之间的深度距离z_i；

根据公式1和深度距离z_i获得检测图像上参考点P的预测亮度g^-1(z_i)；

将参考点P的预测亮度g^-1(z_i)和参考点P的实际像素亮度img(P_i)进行比较获得校正因子k_i，并记为：

获取所有参考点P的校正因子k_i的均值为

通过校正因子均值对检测图像中所有的像素点进行校准以获得每一像素点距离摄像系统的深度距离，并记为深度图像z(x,y)，其中：

3.根据权利要求2所述的测量方法，其特征在于，消化道具有若干个消化道区间，所述摄像系统形成有若干个曝光档位；步骤“获取所有参考点P的校正因子k_i的均值为”后，将校正因子均值按照不同曝光档位和不同消化道区间进行存储。

4.根据权利要求3所述的测量方法，其特征在于，在相同曝光档位和消化道区间获得两个或两个以上的校正因子均值后，对上述校正因子均值进行平均计算后再进行存储和更新。

5.根据权利要求2所述的测量方法，其特征在于，

所述步骤“在至少一张检测图像上获取至少一个参考点P”包括：

获取检测图像上形成的光斑；

计算光斑的中心，并将光斑的中心记为参考点P，所述参考点P到图像中心之间的像素距离记为参考距离△p。

6.根据权利要求5所述的测量方法，其特征在于，所述标定阶段还包括：

获得模拟消化道上的光斑；

计算光斑的中心，并将光斑的中心记为标定点Q`；

获得标定图像上的光斑；

计算光斑的中心，并将光斑的中心记为成像点Q，所述成像点Q到标定图像中心之间的像素距离记为参考距离△q；

计算确定摄像系统与标定点Q`之间的深度距离z和参考距离△q的关系，并记为：

7.根据权利要求6所述的测量方法，其特征在于，上述步骤“计算确定摄像系统与标定点Q`之间的深度距离z和参考距离△q的关系”具体包括：

将摄像头分别放置于空气中或模拟消化液中，并对上述深度距离z和参考距离△q进行测量，且带入公式5分别进行计算，以获得摄像头在空气时的参数(a_a,b_a)以及摄像头在模拟消化液中的参数(a_b,b_b)。

8.根据权利要求7所述的测量方法，其特征在于，测量阶段中，步骤“分别计算获得目标点P`与摄像系统之间的深度距离z_i”具体包括：

获取所述参考点P到检测图像的图像中心之间的参考距离△p；

判断检测图像是在空气中还是在消化液中拍摄；

若检测图像在空气中拍摄，则选择参数(a_a,b_a)，且与上述参考距离△p一同带入公式5并计算获得目标点P`与摄像系统之间的深度距离z_i；

若检测图像在消化液中拍摄，则选择参数(a_b,b_b)，且与上述参考距离△p一同带入公式5并计算获得目标点P`与摄像系统之间的深度距离z_i。

9.根据权利要求8所述的测量方法，其特征在于，所述摄像系统形成有若干个曝光档位，所述标定阶段还包括：

确定摄像系统与标定点Q`之间的深度距离z和曝光档位的关系；

步骤“判断检测图像是在空气中还是在消化液中拍摄”还包括：

若△p＜q₁，则判断检测图像是在空气中拍摄，q1为空气分界点值；

若q₁≤△p≤q₂时，在该范围中，空气中拍摄和消化液中拍摄的曝光档位具有明显差异，则根据检测图像的曝光档位和标定阶段中的曝光档位进行比较，判断检测图像是在空气中或者消化液中拍摄，q2为易辨识分界点值；

若q₂＜△p时，判断检测图像是否有消化道黏膜表面上的粘液反光，若有，则判断为在空气中拍摄，若无，则判断为在消化液中拍摄。

10.根据权利要求5所述的测量方法，其特征在于，步骤“分别计算目标点P`与摄像系统之间的深度距离z_i”包括：

获得光发射和光接收的时间差t；

计算获得目标点P`与摄像系统之间的深度距离z_i，并记为：

其中，c代表光速。

11.根据权利要求5所述的测量方法，其特征在于，步骤“拍摄并获得至少一张检测图像”包括：

控制摄像系统拍摄并获得至少一张拍摄图像；

对拍摄图像进行径向畸变矫正并形成检测图像，并记为：

img_out(x,y)＝img_in(x(1+l₁R²+l₂R⁴),y(1+l₁R²+l₂R⁴)) (7)；

其中，表示像素点到图像中心的像素距离，l₁、l₂为相机的畸变参数，x为像素点的横坐标，y为像素点的纵坐标，img_in是输入图像，img_out是矫正后图像。

12.根据权利要求11所述的测量方法，其特征在于，步骤“控制摄像系统拍摄并获得至少一张拍摄图像”包括：

控制摄像系统拍摄一张带有参考点P的第一拍摄图像；

控制摄像系统拍摄一张不带有参考点P的第二拍摄图像；

对第一拍摄图像和第二拍摄图像进行一致性判断；

若判定第一拍摄图像和第二拍摄图像不一致，则重新拍摄；

若判定第一拍摄图像和第二拍摄图像一致，则将第一拍摄图像和第二拍摄图像均输出为拍摄图像。

13.根据权利要求12所述的测量方法，其特征在于，步骤“对拍摄图像进行径向畸变矫正并形成检测图像”包括：

对第一拍摄图像进行径向畸变矫正并形成第一检测图像；

对第二拍摄图像进行径向畸变矫正并形成第二检测图像；

其中，参考点P从第一检测图像中获得；深度图像z(x,y)由第二检测图像校准后获得。

14.根据权利要求12所述的测量方法，其特征在于，步骤“对第一拍摄图像和第二拍摄图像进行一致性判断”包括：

对第一拍摄图像添加掩膜，将光斑的所属区域完全遮盖；

对第二拍摄图像添加相同的掩膜；

比较添加掩膜后的第一拍摄图像和第二拍摄图像，并计算获得差异化指标MSE；

当MSE≤T时，认为第一拍摄图像和第二拍摄图像一致；

当MSE>T时，认为第一拍摄图像和第二拍摄图像不一致。

15.根据权利要求1所述的测量方法，其特征在于，步骤“计算图像中任意两像素点之间的距离或任意范围内的面积”之后包括：

可根据用户在检测图像上任意选择的两个像素点的三维坐标计算两个像素点之间的直线距离；或者，

可根据用户在检测图像上任意选择的区域的像素点的三维坐标构建这个区域的三维图像，并可计算用户在该三维图像上选择的任意两个像素点之间的直线距离；或者，

可根据用户在检测图像上任意选择的一个区域的三维坐标计算该区域的面积；或者，

在检测图像上形成刻度尺，刻度尺上的刻度标注为实际长度的刻度；或者，

可自动识别检测图像上的病灶区域并计算该区域的尺寸或面积。

16.一种基于摄像系统的消化道内物体测量系统，其特征在于，所述系统包括：

尺寸测量模块，用以测量标定图像上像素在模拟消化道内的实际位置到摄像系统之间的深度距离z，以及标定图像上任意像素的比例尺r；

亮度检测模块，用以识别标定图像或检测图像上任意像素的像素亮度；

标定计算模块，用以计算标定图像上任意像素的亮度与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系并记为公式1，以及计算确定标定图像上任意像素的比例尺r与该像素在模拟消化道内的实际位置到摄像系统之间的深度距离z的关系并记为公式2；

测量计算模块，用以获取标定计算模块的公式1和亮度检测模块中的像素亮度来计算检测图像的深度图像z(x，y)；以及用以获取标定计算模块的公式2和深度图像z(x，y)来计算检测图像中每一像素点的实际二维坐标S_i`，并整合获得每一像素点的实际三维坐标(S<sub>i</sub>`，z(x,y))。