CN113925441B - 一种基于内窥镜的成像方法及成像系统 - Google Patents

Abstract

本申请实施例提供一种基于内窥镜的成像方法及成像系统，属于内窥镜技术领域，内窥镜设置有镜头、激光雷达以及加速度传感器，所述方法包括：若内窥镜的3D功能被开启，控制内窥镜在目标空间区域内摆动；获取在摆动的过程中激光雷达采集的目标空间区域的点云信息、镜头拍摄的目标空间区域的多张颜色图像，以及加速度传感器采集的内窥镜的多个位移信息；基于每个目标位置的空间坐标，以及，每个目标位置对应的激光点信息和颜色图像，构建所述目标空间区域的三维空间模型信息。通过本申请实施例提供的一种基于内窥镜的成像方法及成像系统，可以提高内窥镜的成像效果，提高成像的实时性。

Description

一种基于内窥镜的成像方法及成像系统

技术领域

本申请实施例涉及内窥镜技术领域，具体而言，涉及一种基于内窥镜的成像方法及成像系统。

背景技术

与传统2D（二维，2-Dimension）内窥镜相比，3D（三维，3-Dimension）内窥镜可提供手术视野的三维立体感和手术操作的空间纵深感，弥补二维图像在空间定位和辨认解剖结构等方面的不足。

因此，相比于2D内窥镜，3D内窥镜不仅能减少术者操作的失误、减少术中出血、减轻术后并发症，而且也是内窥镜初学者或年轻医生提升操作能力的重要工具。

3D内窥镜目前在肝胆外科、胃肠外科、泌尿外科等领域都有广泛的应用，并有大量临床试验证实了3D内窥镜的优势，如提高术者操作的精确度、减少术中出血及组织损伤、缩短手术时间、提高手术效率、减少术后并发症等，其主要原因是3D内窥镜可通过增强手术视野的景深感，使术者对解剖结构有更清晰准确的视觉感受，从而提高术者操作的准确度和速度，减少出错次数。

目前市场上常见的3D内窥镜基本原理是都是RGB双目相机立体成像。双相机立体视觉指的是依靠双相机的视差获取深度信息的方式。但是，双相机立体视觉相机因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下成像效果较差，如果被测场景本身缺乏纹理，也很难进行特征提取和匹配，从而难以提取深度信息。另外，双目相机立体成像的实时性较差，而且实时性基本跟分辨率和检测精度挂钩，也就是说，分辨率越高，要求精度越高，则双目相机立体成像的计算越复杂，导致最终成像的延迟较高，导致手术受到影响。

发明内容

本申请实施例提供一种基于内窥镜的成像方法及成像系统，旨在提高内窥镜的成像效果，提高成像的实时性。

本申请实施例第一方面提供一种基于内窥镜的成像方法，所述内窥镜设置有镜头、激光雷达以及加速度传感器，所述方法包括：

若所述内窥镜的3D功能被开启，控制所述内窥镜在目标空间区域内摆动；

获取在所述摆动的过程中所述激光雷达采集的所述目标空间区域的点云信息、所述镜头拍摄的所述目标空间区域的多张颜色图像，以及所述加速度传感器采集的所述内窥镜的多个位移信息；其中，每个位移信息用于指示所述目标空间区域中的一个目标位置与所述内窥镜的初始位置的相对位置关系，所述点云信息包括多个激光点信息，每个激光点信息用于表征一个所述目标位置的深度信息；所述激光点信息、所述目标位置以及所述颜色图像一一对应；所述初始位置是指所述内窥镜的3D功能被开启时的位置；

基于所述点云信息和至少一张颜色图像，确定所述目标空间区域中的标志物点；

基于所述标志物点与所述初始位置的相对位置关系，以所述内窥镜的当前位置为原点，建立所述目标空间区域的空间坐标系，并设置所述标志物点的原始坐标；

基于所述空间坐标系和所述多个位移信息，确定每个位移信息对应的目标位置的空间坐标；

基于每个目标位置的空间坐标，以及，每个目标位置对应的激光点信息和颜色图像，构建所述目标空间区域的三维空间模型信息。

可选地，基于每个目标位置的空间坐标，以及，每个目标位置对应的激光点信息和颜色图像，构建所述目标空间区域的三维空间模型信息，包括：

从所述点云信息中获取与该目标位置对应的激光点信息和颜色图像，其中，该目标位置、与该目标位置对应的激光点信息以及与该移动位置对应的颜色图像具有相同的时间戳；

将与该目标位置对应的颜色图像附着到与该目标位置对应的激光点信息中，并投射到与该目标位置对应的空间坐标，得到该目标位置的包括了颜色图像和激光点信息的模型信息；

对所述多个目标位置的模型信息进行融合，得到所述目标空间区域的三维空间模型信息。

可选地，构建所述目标空间区域的三维空间模型信息之后，所述方法还包括：

基于所述三维空间模型信息，生成两路具有视差的视频流；

传输所述两路具有视差的视频流至显示设备进行播放。

可选地，构建所述目标空间区域的三维空间模型信息之后，所述方法包括：

实时获取目标物体的多张颜色图像；

在每获得一张所述颜色图像时，将该张颜色图像与所述目标物体的点云信息融合，得到所述目标物体的三维空间模型信息；

其中，所述目标物体为所述目标空间区域内的指定物体。

可选地，所述标志物点包括：所述镜头被初始化时，对所述目标空间区域所采集的第一帧图像中具有的预设点，或者，所述镜头开启时采集的第一帧图像的中心点。

可选地，控制所述内窥镜在目标空间区域内摆动，所述方法包括：

所述内窥镜在所述空间坐标系内，相对于所述空间坐标系的X、Y、Z轴中的至少一者移动。

可选地，所述标志物点位于所述目标物体上，所述方法还包括：

在检测到所述目标物体发生移动时，通过所述镜头采集的颜色图像，识别所述目标空间区域内的标志物点；

根据识别到的所述标志物点在所述空间坐标系中的位置，与所述空间坐标系中所述标志物点的原始位置之间的相对位置关系，对发生移动后的标志物点的坐标进行校正。

可选地，所述方法还包括：

在检测到所述目标物体发生形变时，通过所述镜头采集所述目标物体形变后的颜色图像；

将所述目标物体形变后的颜色图像与所述目标物体的激光点信息融合，得到所述目标物体形变后的三维空间模型信息。

可选地，所述方法还包括：

在检测到所述内窥镜发生移动时，通过所述加速度传感器获取所述内窥镜的移动方向和移动距离；

基于所述内窥镜的移动方向和移动距离，得到所述镜头相对于所述空间坐标系移动位置的绝对值；

基于所述绝对值，对所述空间坐标系内每个目标位置所述激光雷达采集的激光点信息进行补偿，得到所述内窥镜移动后每个目标位置的激光点信息；

实时获取所述内窥镜移动后的所述目标空间区域内每个目标位置的颜色图像；

根据所述内窥镜移动后每个目标位置的激光点信息和每个目标位置的颜色图像，构建所述内窥镜移动后的三维空间模型信息。

本申请实施例第二方面提供一种成像系统，包括：

内窥镜，所述内窥镜设置有镜头、激光雷达以及加速度传感器；

与所述内窥镜连接的处理器，所述处理器用于执行如本申请实施例第一方面提供的基于内窥镜的成像方法；

其中，所述镜头用于采集颜色图像；

所述激光雷达用于发射激光至目标位置上，并接收所述目标位置反射的激光，以得到所述目标位置的激光点信息；

所述加速度传感器用于获取所述内窥镜的运动信息；

以及，照明光纤或LED光源，所述照明光纤或LED光源用于提供光线。

可选地，所述内窥镜包括内窥镜杆和控制手柄；

所述内窥镜杆设置在所述控制手柄上，所述镜头设置在所述内窥镜杆远离所述控制手柄的端部上。

可选地，所述镜头包括摄像头和图像传感器；

所述图像传感器的尺寸为1/3英寸-2/5英寸。

可选地，所述镜头上设置有双面低反射挡光涂层。

可选地，所述双面低反射挡光涂层为镀铬层。

可选地，所述激光雷达包括发射端和接收端，所述发射端用于发射激光，所述接收端用于接收所述目标位置反射的激光。

可选地，所述照明光纤位于所述镜头的正下方；

所述发射端和所述接收端位于所述镜头的两侧。

可选地，所述成像系统还包括显示器，所述显示器与所述处理器连接，用于显示三维空间模型信息，以及用于显示基于所述三维空间模型信息，生成的两路具有视差的视频流。

有益效果：

本申请实施例提供一种基于内窥镜的成像方法及成像系统，通过设置包含镜头、激光雷达和加速度传感器的内窥镜，在使用内窥镜成像时，使内窥镜在目标空间区域内摆动，在摆动过程中，获取激光雷达采集的目标空间区域的点云信息、镜头拍摄的目标空间区域的多张颜色图像，以及加速度传感器采集的内窥镜的多个位移信息，然后基于点云信息和颜色图像，确定目标空间区域中的标志物点，并以内窥镜的当前位置为原点，建立目标空间区域的空间坐标系，然后确定每个位移信息对应的目标位置的空间坐标，最后基于每个目标位置的空间坐标，以及目标位置的激光点信息和目标位置的颜色图像，构建目标空间区域的三维空间模型信息。

这样，便可以利用激光雷达对目标空间区域的深度信息进行检测，利用镜头对目标空间区域的二维颜色图像进行采集，之后，利用激光雷达所采集的激光点信息（点云信息）、镜头采集的颜色图像，以及颜色图像和激光点信息各自对应的目标位置，实现目标空间区域的三维立体成像，由于本申请中三维立体成像所应用的图像激光点信息是由激光雷达直接采集的，因此，避免了应用双目相机立体进行三维成像所到的计算复杂、成像延迟的问题，且本申请采集的激光点信息更为准确，从而提高了三维成像效果和成像实时性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的一种基于内窥镜的成像方法的步骤流程图；

图2是本申请一实施例提出的一种基于内窥镜的成像方法的方框图；

图3是本申请一实施例提出的一种成像系统的结构示意图；

图4是本申请一实施例提出的一种内窥镜的结构示意图；

图5是图4中A部分的局部放大示意图。

附图标记说明：41、内窥镜；411、镜头；4110、摄像头；4114、发射端；4115、接收端；417、内窥镜杆；418、照明光纤；419、控制手柄。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

图1示出了一种基于内窥镜的成像方法的步骤流程图。参照图1所示，为本申请公开的一种基于内窥镜的成像方法，其中，所述内窥镜41设置有镜头411、激光雷达以及加速度传感器，所述方法包括：

步骤S101：若内窥镜41的3D（三维，3-Dimension）功能被开启，控制所述内窥镜41在目标空间区域内摆动。

具体地，目标空间区域可以是利用内窥镜41观察的任意区域，例如工业领域中的小孔径管道，或者通道形状的内腔，还可以是医用领域中患者身体的内部位置，例如，腹腔。

步骤S102：获取在摆动的过程中激光雷达采集的目标空间区域的点云信息、镜头411拍摄的目标空间区域的多张颜色图像，以及加速度传感器采集的内窥镜41的多个位移信息。

具体地，每个位移信息用于指示目标空间区域内的一个目标位置与内窥镜41的初始位置的相对位置关系，实际中可以由加速度传感器采集，初始位置是指内窥镜41的3D功能开启时，内窥镜41在目标空间区域内所处的位置，一般由处理器确定，位移信息包括在镜头411移动时，加速度传感器通过加速度和时间获得的镜头411的移动方向和移动距离；点云信息包括多个激光点信息，激光点信息用于表征一个目标位置的深度信息，而深度信息具体指的是激光雷达探测的该目标位置到镜头411之间的距离，并且，目标位置、激光点信息以及颜色图像是一一对应的。

步骤S103：基于点云信息和至少一张颜色图像，确定目标空间区域中的标志物点。

具体地，标志物点可以是镜头411被初始化时，对目标空间区域采集的第一帧图像中具有的预设点，预设点是目标空间区域中的特殊点，即具有特殊形状，或者具有特殊功能的位置；标志物点还可以是镜头411开启时采集的第一帧图像的中心点。

在实际应用时，标志物点可以通过处理器进行确定。

步骤S104：基于标志物点与初始位置的相对位置关系，以内窥镜41的当前位置为原点，建立目标空间区域的空间坐标系，并设置标志物点的原始坐标。

具体地，目标空间区域的空间坐标系为包括了以X轴、Y轴和Z轴基准建立的坐标系，标志物点的原始坐标包含了X轴、Y轴和Z轴上各自对应的值。

在摆动内窥镜41时，内窥镜41在空间坐标系内相对于空间坐标系的X轴、Y轴、Z轴中的至少一者移动，例如，内窥镜41可以只沿X轴方向、Y轴方向或Z轴方向移动，或者内窥镜41也可以沿XY轴方向、YZ轴方向或XZ轴方向移动。由于在摆动内窥镜41时，空间坐标系尚未建立，此处为对内窥镜41摆动形式的解释。

步骤S105：基于空间坐标系和多个位移信息，确定每个位移信息对应的目标位置的空间坐标。

具体地，由于位移信息包括镜头411的移动方向和移动距离，因此根据移动方向和移动距离便可以确定每个位移信息对应的目标位置的空间坐标，且每个目标位置的空间坐标都是独立且不重复的。

空间坐标可以理解为是在空间坐标系中的坐标，即具体包括了X轴、Y轴、Z轴上各自对应的值，例如空间坐标是（2,3,4）。

步骤S106：基于每个目标位置的空间坐标，以及，每个目标位置的激光点信息和颜色图像，构建目标空间区域的三维空间模型信息。

具体地，获取每个目标位置对应的激光点信息以及颜色图像后，使该目标位置、与该目标位置对应的激光点信息以及与该目标位置对应的颜色图像具有相同的时间戳；

之后，将与该目标位置对应的颜色图像附着到该目标位置对应的激光点信息中，并投射到与该目标位置对应的空间坐标，得到该目标位置的包括了颜色图像和激光点信息的模型信息，即单个目标位置即具有了激光点信息，也具有了颜色图像信息。

之后，再对多个目标位置的模型信息进行融合，进而得到目标空间区域的三维空间模型信息。

具体来说，是指将内窥镜在某一个时刻移动到某一位置时所拍摄的颜色图像、点云信息融合到该位置中，同时得到该位置的颜色信息和激光点信息，这样，多个位置均采用如上方式进行激光点信息和颜色信息的融合后，便可以得到相应的三维空间模型信息。

这样，便可以利用激光雷达对目标空间区域的深度信息进行检测，利用镜头对目标空间区域的二维颜色图像进行采集，之后，利用激光雷达所采集的激光点信息（点云信息）、镜头采集的颜色图像，以及颜色图像和激光点信息各自对应的目标位置，实现目标空间区域的三维立体成像，由于本申请中三维立体成像所应用的图像激光点信息是由激光雷达直接采集的，因此，避免了应用双目相机立体进行三维成像所到的计算复杂、成像延迟的问题，且本申请采集的激光点信息更为准确，从而提高了三维成像效果和成像实时性。

在一种实施例中，参照图2所示，在构建目标空间区域的三维空间模型信息之后，所述方法还包括：

步骤S201：基于三维空间模型信息，生成两路具有视差的视频流。

具体地，三维空间模型信息可以通过图像处理单元进行处理，从而生成两路具有视差的视频流，此步骤主要是为了模拟人眼去观察目标空间区域产生的图像。

步骤S202：传输两路具有视差的视频流至显示设备进行播放。

具体地，显示设备可以是任意能够播放视频的显示器，例如平板电脑、掌上电脑等。而用户则可以通过佩戴3D眼镜观看视频，从而在用户脑中形成目标空间区域的三维图像，从而更有利于用户进行操作。

在一种实施例中，在构建目标空间区域的三维空间模型信息后，若用户需要对目标空间区域内的任一物体进行观察，此时内窥镜41被完全固定，所述方法还包括：

步骤S301：实时获取目标物体的多张颜色图像。

具体地，内窥镜41使用过程中，镜头411始终保持固定状态，因此可以利用镜头411拍摄目标物体，得到目标物体的多张颜色图像，以记录目标物体发生的变化。

步骤S302：在每获得一张颜色图像时，将该张颜色图像与目标物体的点云信息融合，得到目标物体的三维空间模型信息。

具体地，目标物体包括多个目标位置，因此需要将每个位置的激光点信息与每个位置的颜色图像融合，便可以得到目标物体的三维空间模型信息，而每获得一张颜色图像，就进行融合，便可以得到实时更新的三维空间模型信息，从而使得用户可以更好地对目标空间区域内的任一物体进行观察。

在一种实施例中，参照图2所示，在构建目标空间区域的三维空间模型信息之后，所述方法还包括：

步骤S401：保存三维空间模型信息。

通过保存三维空间模型信息，可以便于用户后期进行模型重建或复盘。

在一种实施例中，在目标物体发生移动，且标志物点位于目标物体上时，需要对目标物体的位置进行校准，此时，所述方法还包括：

步骤S501：在检测到目标物体发生移动时，通过镜头411采集的颜色图像，识别目标空间区域内的标志物点。

具体地，点云信息中的每个激光点信息对应一个目标位置的空间坐标。对于目标物体，扫描该目标物体获得的空间坐标是符合预设条件的。因此，在确定当前扫描获得的点云信息中部分激光点信息的空间坐标符合所述预设条件，确定这部分激光点信息对应的是目标物体。

目标物体发生的移动情况包括：在外力作用下，目标物体依附的物体发生移动或目标物体本身由于外力发生移动。在这个过程中，内窥镜41的位置是固定不变的。例如，在对患者的内部组织进行观察时，患者身体发生晃动，导致内部组织发生位移。

步骤S502：根据识别到的标志物点在空间坐标系中的位置，与空间坐标系中标志物点的原始位置之间的相对位置关系，对发生移动后的标志物点的坐标进行校正。

具体地，由于标志物点位于目标物体上，因此标志物点与目标物体的相对位置特征关系是在上述预设条件中预先确定的，由此，可以从所述多个激光点信息中确定待校准的标志物点。在目标物体发生移动后，根据实际标志物点与标志物点原始位置的相对位置关系，对发生移动后的标志物点进行校准即可。

这样，在目标物体发生移动后，内窥镜41也可以正常成像，使得内窥镜41的使用更加方便。

在一种实施例中，在目标物体发生形变时，需要对目标物体的形状进行实时的更新，此时，所述方法还包括：

步骤S601：在检测到目标物体发生形变时，通过镜头411采集目标物体形变后的颜色图像。

具体地，形变只是目标物体的形状发生改变，例如，在对患者身体组织进行观察时，被观察的身体组织发生形变。由于目标物体只是形状发生改变，因此目标物体在空间坐标系内的位置是不会发生改变的，目标物体的点云信息也是已经确定好的。

步骤S602：将目标物体形变后的颜色与目标物体的激光点信息融合，得到目标物体形变后的三维空间模型信息。

具体地，目标物体包含有多个目标位置，在融合过程中，只需将某一目标位置对应的形变后的颜色图像附着到该目标位置已经确定的对应的激光点信息中，并投射到与该目标位置对应的空间坐标，便可以得到该目标位置的包括了颜色图像和激光点信息的模型信息，然后对多个目标位置的包括了颜色图像和激光点信息的模型信息进行融合，从而得到目标物体形变后的三维空间模型信息。

这样，便可以针对形变后的目标物体进行实时更新，从而进一步提高了内窥镜使用的便利性。

在一种实施例中，在内窥镜41发生移动时，此时所述方法还包括：

步骤S701：在检测到内窥镜41发生移动时，通过加速度传感器获取内窥镜41的移动方向和移动距离。

具体地，加速度传感器获取到内窥镜41的移动方向和移动距离后，可以得到在空间坐标系内内窥镜41移动后的位置。

步骤S702：基于内窥镜41的移动方向和移动距离，得到镜头411相对于空间坐标系移动位置的绝对值。

步骤S703：基于绝对值，对空间坐标系内每个目标位置的激光雷达采集的激光点信息进行补偿，得到内窥镜41移动后的每个目标位置点的激光点信息。

具体地，在得到镜头411相对于空间坐标系移动位置的绝对值后，在初始采集的每个目标位置的激光点信息上，加上或减去绝对值，从而得到内窥镜41移动后，每个目标位置的激光点信息。

步骤S704：实时获取内窥镜41移动后的目标空间区域内每个目标位置的颜色图像。

步骤S705：根据内窥镜41移动后每个目标位置的激光点信息和每个目标位置颜色图像，构建内窥镜41移动后的三维空间模型信息。

这样，在内窥镜41移动后，也可以构建内窥镜41移动后的三维空间模型信息，使得内窥镜41可以保持正常成像，使得内窥镜41的使用更加方便。

实施例二

本申请实施例提供一种成像系统，参照图3所示，该成像系统包括内窥镜41和与内窥镜41连接的处理器，处理器可以执行如实施例一提供的基于内窥镜41的成像方法。

参照图4和图5所示，内窥镜41设置有镜头411、激光雷达、加速度传感器（图中未示出）以及照明光纤418，照明光纤418位于镜头411的正下方。同时内窥镜41还包括内窥镜杆417和控制手柄419。内窥镜杆417设置在控制手柄419上，镜头411则设置在内窥镜杆417远离控制手柄419的端部上，用户通过控制手柄419可以对内窥镜41进行操作和使用。

其中，镜头411用于采集颜色图像，镜头411包括摄像头4110和图像传感器。由于内窥镜41尺寸都比较小，会做到直径10mm以内，如果在有限的空间下排布两颗同规格的摄像头，就会导致镜头411的图像传感器的尺寸很小，而小尺寸的图像传感器一般分辨率不高、图像质量差。但是在本实施例中，由于摄像头4110只有一个，因此图像传感器的尺寸可以做到1/3英寸~2/5英寸，图像传感器的分辨率最高可以达到4K，图像传感器的提升可以带来成像质量的大大提高。

同时，在镜头411进行拍摄时，非视场范围内成像所必需的较大离轴角度光线会进入镜头411，而这些光线通过透镜边缘时产生较大的像差，会影响成像质量，例如，这些边缘光线会产生较大的色差、鬼影等。因此，为了提高成像质量，在镜头411上设置有双面低反射挡光涂层，双面低反射挡光涂层可以减少这些光线。双面低反射挡光涂层的反射率为0.06-0.1，在具体应用时，双面低反射挡光涂层可以是镀铬涂层。

激光雷达包括发射端4114和接收端4115，发射端4114用于朝向目标位置发射激光，接收端4115则用于接收目标位置反射的激光，由于发射端4114和接收端4115间隔了一段距离，所以依照光学路径，不同距离（指目标位置与激光雷达之间的距离）的目标位置将会成像在接收端4115上不同的位置。按照三角公式进行计算，就能推导出目标位置到发射端4114的距离，从而得到目标位置的深度信息。其中，激光雷达的发射端4114和接收端4115位于镜头411的两侧，且发射端4114和接收端4115的位置较为靠近照明光纤418。当然，发射端4114和接收端4115也可以设置在其他位置，在本申请中对此不做限制。

照明光纤418可以发出光线，从而照亮目标空间区域。在其他实施例中，也可以使用LED光源来照亮目标空间区域。

在一种实施例中，参照图3所示，成像系统还包括显示器，显示器与处理器连接，显示器用于显示三维空间模型信息以及用于显示基于三维空间模型信息生成的两路具有视差的视频流。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

Claims (15)

1.一种计算机可读存储器，其特征在于，所述计算机可读存储器在运行时，促使内窥镜实现一种基于内窥镜的成像方法，所述内窥镜设置有镜头、激光雷达以及加速度传感器，所述方法包括：

若所述内窥镜的3D功能被开启，控制所述内窥镜在目标空间区域内摆动；

获取在所述摆动的过程中所述激光雷达采集的所述目标空间区域的点云信息、所述镜头拍摄的所述目标空间区域的多张颜色图像，以及所述加速度传感器采集的所述内窥镜的多个位移信息；其中，每个位移信息用于指示所述目标空间区域中的一个目标位置与所述内窥镜的初始位置的相对位置关系，所述点云信息包括多个激光点信息，每个激光点信息用于表征一个所述目标位置的深度信息；所述激光点信息、所述目标位置以及所述颜色图像一一对应；所述初始位置是指所述内窥镜的3D功能被开启时的位置；

基于所述点云信息和至少一张颜色图像，确定所述目标空间区域中的标志物点；其中，所述标志物点包括：所述镜头被初始化时，对所述目标空间区域所采集的第一帧图像中具有的预设点，或者，所述镜头开启时采集的第一帧图像的中心点；

基于所述标志物点与所述初始位置的相对位置关系，以所述内窥镜的当前位置为原点，建立所述目标空间区域的空间坐标系，并设置所述标志物点的原始坐标；

基于所述空间坐标系和所述多个位移信息，确定每个位移信息对应的目标位置的空间坐标；

基于每个目标位置的空间坐标，以及，每个目标位置对应的激光点信息和颜色图像，构建所述目标空间区域的三维空间模型信息；其中，所述目标位置、与所述目标位置对应的激光点信息以及与所述目标位置对应的颜色图像具有相同的时间戳；

其中，所述构建所述目标空间区域的三维空间模型信息，包括：

将与该目标位置对应的颜色图像附着到与该目标位置对应的激光点信息中，并投射到与该目标位置对应的空间坐标，得到该目标位置的包括了颜色图像和激光点信息的模型信息；

对多个目标位置的模型信息进行融合，得到所述目标空间区域的三维空间模型信息；

其中，对所述多个目标位置的模型信息进行融合，包括：

将内窥镜在任一个时刻移动到任一目标位置时所拍摄的颜色图像、点云信息融合到该目标位置中，同时得到该目标位置的颜色信息和激光点信息，并对多个目标位置进行激光点信息和颜色信息的融合后，得到相应的三维空间模型信息；

构建所述目标空间区域的三维空间模型信息之后，所述计算机可读存储器在运行时还用于实现以下方法：

基于所述三维空间模型信息，生成两路具有视差的视频流；

传输所述两路具有视差的视频流至显示设备进行播放。

2.根据权利要求1所述的计算机可读存储器，其特征在于，构建所述目标空间区域的三维空间模型信息之后，所述计算机可读存储器在运行时还用于实现以下方法：

实时获取目标物体的多张颜色图像；

在每获得一张所述颜色图像时，将该张颜色图像与所述目标物体的点云信息融合，得到所述目标物体的三维空间模型信息；

其中，所述目标物体为所述目标空间区域内的任一物体。

3.根据权利要求1所述的计算机可读存储器，其特征在于，控制所述内窥镜在目标空间区域内摆动，包括：

所述内窥镜在所述空间坐标系内，相对于所述空间坐标系的X、Y、Z轴中的至少一者移动。

4.根据权利要求1所述的计算机可读存储器，其特征在于，构建所述目标空间区域的三维空间模型信息之后，所述计算机可读存储器在运行时还用于实现以下方法：

保存所述三维空间模型信息。

5.根据权利要求2所述的计算机可读存储器，其特征在于，所述标志物点位于所述目标物体上，所述计算机可读存储器在运行时还用于实现以下方法：

在检测到所述目标物体发生移动时，通过所述镜头采集的颜色图像，识别所述目标空间区域内的标志物点；

根据识别到的所述标志物点在所述空间坐标系中的位置，与所述空间坐标系中所述标志物点的原始位置之间的相对位置关系，对发生移动后的标志物点的坐标进行校正。

6.根据权利要求2所述的计算机可读存储器，其特征在于，所述计算机可读存储器在运行时还用于实现以下方法：

在检测到所述目标物体发生形变时，通过所述镜头采集所述目标物体形变后的颜色图像；

将所述目标物体形变后的颜色图像与所述目标物体的激光点信息融合，得到所述目标物体形变后的三维空间模型信息。

7.根据权利要求2所述的计算机可读存储器，其特征在于，所述计算机可读存储器在运行时还用于实现以下方法：

在检测到所述内窥镜发生移动时，通过所述加速度传感器获取所述内窥镜的移动方向和移动距离；

基于所述内窥镜的移动方向和移动距离，得到所述镜头相对于所述空间坐标系移动位置的绝对值；

基于所述绝对值，对所述空间坐标系内每个目标位置所述激光雷达采集的激光点信息进行补偿，得到所述内窥镜移动后每个目标位置的激光点信息；

实时获取所述内窥镜移动后的所述目标空间区域内每个目标位置的颜色图像；

根据所述内窥镜移动后每个目标位置的激光点信息和每个目标位置的颜色图像，构建所述内窥镜移动后的三维空间模型信息。

8.一种成像系统，其特征在于，包括：

内窥镜，所述内窥镜设置有镜头、激光雷达以及加速度传感器；

与所述内窥镜连接的处理器，所述处理器中配置有如权利要求1-7任一项所述的计算机可读存储器，通过所述计算机可读存储器实现一种基于内窥镜的成像方法；

其中，所述镜头用于采集颜色图像；

所述激光雷达用于发射激光至目标位置上，并接收所述目标位置反射的激光，以得到所述目标位置的激光点信息；

所述加速度传感器用于获取所述内窥镜的运动信息；

以及，照明光纤或LED光源，所述照明光纤或LED光源用于提供光线。

9.根据权利要求8所述的成像系统，其特征在于：

所述内窥镜包括内窥镜杆和控制手柄；

所述内窥镜杆设置在所述控制手柄上，所述镜头设置在所述内窥镜杆远离所述控制手柄的端部上。

10.根据权利要求8所述的成像系统，其特征在于：

所述镜头包括摄像头和图像传感器；

所述图像传感器的尺寸为1/3英寸-2/5英寸。

11.根据权利要求8所述的成像系统，其特征在于：

所述镜头上设置有双面低反射挡光涂层。

12.根据权利要求11所述的成像系统，其特征在于：

所述双面低反射挡光涂层为镀铬涂层。

13.根据权利要求8所述的成像系统，其特征在于：

所述激光雷达包括发射端和接收端，所述发射端用于发射激光，所述接收端用于接收所述目标位置反射的激光。

14.根据权利要求13所述的成像系统，其特征在于：

所述照明光纤位于所述镜头的正下方；

所述发射端和所述接收端位于所述镜头的两侧。

15.根据权利要求8所述的成像系统，其特征在于：

所述成像系统还包括显示器，所述显示器与所述处理器连接，用于显示三维空间模型信息，以及用于显示基于所述三维空间模型信息，生成的两路具有视差的视频流。

Images