CN115919239A - 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统 - Google Patents

Abstract

一种用于3D内窥镜成像系统的成像方法和3D内窥镜成像系统，该方法包括：获取3D内窥镜成像系统的第一图像传感器采集的第一图像数据，和/或3D内窥镜成像系统的第二图像传感器采集的第二图像数据，以及获取姿态传感器采集的姿态数据，所述姿态数据用于指示第一图像数据和/或第二图像数据对应的空间位置；根据第一图像数据和/或第二图像数据生成立体图像数据，并控制显示器根据立体图像数据显示立体图像；根据所述数据对立体图像数据进行补偿，使得立体图像正立显示或在预设偏转范围内显示。本发明能够保证立体图像正立显示或在预设偏转范围内显示，持续提供立体视觉效果。

Description

用于3D内窥镜成像系统的成像方法和3D内窥镜成像系统

技术领域

本发明涉及医疗设备领域，更具体地涉及一种用于3D内窥镜成像系统的成像方法和3D内窥镜成像系统。

背景技术

内窥镜能够在微创手术过程中呈现患者内脏器官的组织形态、体内病变情况，便于诊断和实施手术，是现代医学诊断和治疗的重要工具之一。传统的内窥镜只提供二维平面图像，医生在手术时只能凭经验判断人体腔体内各器官的深度信息，因而只适合于简单的手术。近年来发展了能够立体观察区域的立体视觉内窥镜，相比于传统内窥镜能够提供三维信息，更能反映场景真实情况，能够让医生在手术过程中感受到三维画面的视觉效果，提供逼真的视觉感受，帮助医生更加准确的操作内窥镜。

在立体显示模式下，立体图像会随着摄像头转动而发生转动，无法在立体显示模式下保持图像的正立，并且在摄像头转动角度过大时，由于不能保证立体效果而需要切换为二维显示模式，不能持续地输出立体图像。一些3D内窥镜利用可旋转的光学结构保持立体图像正立显示，但该方案需要增加额外的机械结构，提高了加工难度和制造成本。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

本发明实施例第一方面提供了一种用于3D内窥镜成像系统的成像方法，包括：

获取所述3D内窥镜成像系统的第一图像传感器采集的第一图像数据，和/或所述3D内窥镜成像系统的第二图像传感器采集的第二图像数据，以及获取姿态传感器采集的姿态数据，所述姿态数据用于指示所述第一图像数据和/或所述第二图像数据对应的空间位置；

根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，并控制显示器根据所述立体图像数据显示立体图像；

根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示或在预设偏转范围内显示。

在一些实施例中，所述3D内窥镜成像系统包括第一显示模式和/或第二显示模式；

在所述第一显示模式下，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示；

在所述第二显示模式下，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像在预设偏转范围内显示。

在一些实施例中，所述方法还包括：接收对显示模式的选择指令，根据所述选择指令确定采用所述第一显示模式或采用所述第二显示模式。

在一些实施例中，所述3D内窥镜成像系统包括内窥镜，所述内窥镜包括插入部及操作部，所述第一图像传感器和/或所述第二图像传感器设置于所述插入部内，所述插入部用于插入患者的待观察部位，以获取所述患者的待观察部位的所述第一图像数据和/或所述第二图像数据，所述姿态数据包括所述插入部的旋转角度；

所述根据所述姿态数据对所述立体图像数据进行补偿，包括：根据所述旋转角度对所述立体图像数据进行旋转处理，使得所述立体图像正立显示或在预设偏转范围内显示。

在一些实施例中，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示，包括：

确定所述旋转角度与基准角度之间的差值，根据所述差值对所述立体图像数据进行旋转处理，使得所述立体图像正立显示。

在一些实施例中，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据。

在一些实施例中，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

当所述旋转角度在第一角度范围或第三角度范围内时，分别向对应于左眼和右眼的两个不同通道输出所述第一图像数据和所述第二图像数据，以生成所述立体图像数据，所述第一角度范围为与所述基准角度之间的差值小于或等于第一预设阈值的角度范围；

当所述旋转角度在第二角度范围或第四角度范围时，对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据，所述第二角度范围位于所述第一角度范围与所述第三角度范围之间。

在一些实施例中，所述方法还包括：当所述旋转角度在第一角度范围内时，输出所述立体图像数据，使所述立体图像的方向与所述第一图像数据和/或所述第二图像数据对应的空间位置相关联，所述第一角度范围为与所述基准角度之间的差值小于或等于第二预设阈值的角度范围；

根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像在预设偏转范围内显示，包括：

当所述旋转角度在所述第一角度范围以外时，根据所述旋转角度与基准角度之间的差值对所述立体图像数据进行旋转处理，使得所述立体图像在所述预设偏转范围内显示。

在一些实施例中，所述当所述旋转角度在所述第一角度范围以外时，根据所述旋转角度与基准角度之间的差值对所述立体图像数据进行旋转处理，使得所述立体图像在所述预设偏转范围内显示，包括：

当所述旋转角度在第三角度范围内时，对所述立体图像数据进行翻转，使得所述立体图像在所述预设偏转范围内显示；

当所述旋转角度在第二角度范围或第四角度范围时，根据所述旋转角度与所述第一角度范围之间的差值对所述立体图像数据进行旋转处理，使得所述立体图像在所述预设偏转范围内显示，所述第二角度范围位于所述第一角度范围与所述第三角度范围之间。

在一些实施例中，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据。

在一些实施例中，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

当所述旋转角度在所述第一角度范围或所述第三角度范围内时，分别向对应于左眼和右眼的两个不同通道输出所述第一图像数据和所述第二图像数据，以生成所述立体图像数据；

当所述旋转角度在所述第二角度范围或所述第四角度范围时，对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据。

本发明实施例第二方面提供一种用于3D内窥镜成像系统的成像方法，所述方法包括：

获取第一图像数据和/或第二图像数据，以及获取姿态传感器采集的姿态数据，所述姿态数据用于指示所述第一图像数据和/或所述第二图像数据对应的空间位置；

根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，并控制显示器根据所述立体图像数据显示立体图像，其中，所述立体图像数据至少包括对所述第一图像数据和/或所述第二图像数据进行三维模拟以得到的立体图像数据；

根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示或在预设偏转范围内显示。

在一些实施例中，所述姿态数据包括所述第一图像数据和/或所述第二图像数据的旋转角度；

当所述旋转角度在预设角度范围之外时，对所述第一图像数据和/或所述第二图像数据进行三维模拟以得到所述立体图像数据；

当所述旋转角度在所述预设角度范围内时，分别向对应于左眼和右眼的两个不同通道输出所述第一图像数据和所述第二图像数据，以生成所述立体图像数据。

本发明实施例第三方面提供一种3D内窥镜成像系统，包括内窥镜以及连接所述内窥镜的摄像主机，所述内窥镜包括插入部及操作部，所述插入部用于插入患者的待观察部位；

所述内窥镜包括第一图像传感器和第二图像传感器，分别用于采集第一图像数据和第二图像数据；

所述摄像主机用于从所述内窥镜获取所述第一图像数据和第二图像数据，以执行如上所述的方法。

在一些实施例中，所述3D内窥镜成像系统还包括设置于所述内窥镜的姿态传感器，用于采集姿态数据，并将所述姿态数据发送至所述摄像主机，所述姿态数据用于指示所述第一图像数据和所述第二图像数据对应的空间位置。

根据本发明实施例的用于3D内窥镜成像系统的成像方法和3D内窥镜成像系统能够根据姿态数据对立体图像数据进行补偿，使得在内窥镜旋转的过程中立体图像始终保持正立显示或在预设偏转范围内显示，无需增加额外的机械结构保持立体图像正立，降低了加工难度和成本，也无需在内窥镜旋转角度较大时切换为二维显示模式，从而能够持续地提供立体视觉效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1示出根据本发明一实施例的3D内窥镜成像系统的示意性框图；

图2示出根据本发明实施例的用于3D内窥镜成像系统的成像方法的示意性流程图；

图3示出根据本发明一实施例的在第一显示模式下显示立体图像的示意图；

图4示出根据本发明一实施例的在第二显示模式下显示立体图像的示意图；

图5示出根据本发明另一实施例的用于3D内窥镜成像系统的成像方法的示意性流程图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。

在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

下面，首先参考图1描述根据本发明一个实施例的3D内窥镜成像系统，图1示出了根据本发明实施例的3D内窥镜成像系统100的示意性结构框图。

如图1所示，3D内窥镜成像系统100至少包括内窥镜以及连接内窥镜的摄像主机150，内窥镜包括插入部130及操作部160，插入部130用于插入患者的待观察部位，插入部130及操作部160可以是一体结构或可分离式结构；内窥镜还包括第一图像传感器和第二图像传感器(未图示)，分别用于采集第一图像数据和第二图像数据，示例性地，第一图像传感器和第二图像传感器设置在内窥镜的插入部130的前端。摄像主机150用于从内窥镜获取第一图像数据和第二图像数据，以对其进行图像处理。此外，3D内窥镜成像系统100还包括光源110、导光束120、线缆140、姿态传感器(未图示)，光源110通过导光束120与内窥镜连接，操作部160通过线缆140连接摄像主机150，并通过导光束120连接光源110。

其中，光源110用于向待观察部位提供照明光源。光源110可以包括可见光光源和特殊光光源。示例性地，可将光光源为LED光源，可提供不同波长范围的多个单色光，多个单色光的组合光，或者宽光谱的白光光源。特殊光光源可以是对应于荧光试剂的激光光源，例如近红外光。在一些实施例中，在采用3D内窥镜成像系统进行成像之前，在待观察部位注射荧光试剂，荧光试剂吸收激光光源产生的激光后可产生荧光。

内窥镜的插入部130包括镜管、图像传感器和照明光路。镜管前端用于插入人体内，并深入到待检查部位。照明光路与导光束120对接，用于将光源110产生的光照射至目标对象的待检测部位。图像传感器具体包括第一图像传感器和第二图像传感器，用于将光信号转换为电信号，包括但不限于CCD传感器、CMOS传感器等。图像传感器采集的图像信号在操作部160进行初步的信号处理后发送至摄像主机150进行后续的图像处理，初步的信号处理包括放大、滤波等处理。第一图像传感器和第二图像传感器的光轴可以平行设置，也可以成一定角度设置。第一图像传感器和第二图像传感器采集的第一图像数据和第二图像数据能够对应于人左右眼观察到的立体对图像，从而模拟人眼双目立体视觉。

操作部160的另一端通过线缆140与摄像主机150连接，将第一图像数据和第二图像数据通过线缆140传输到摄像主机150进行处理。在一些实施例中，操作部160也可以通过无线传输的方式将图像数据发送至摄像主机150。

在一些实施例中，摄像主机150内设有处理器，处理器获取摄像头160输出的图像数据，并对图像数据进行处理，并输出处理后的图像数据。示例性地，3D内窥镜成像系统100还包括显示器170，摄像主机150通过视频连接线与显示器170连接，用于将内窥镜图像发送到显示器170进行显示。

需要说明的是，图1仅是3D内窥镜成像系统100的示例，并不构成对3D内窥镜成像系统100的限定，3D内窥镜成像系统100可以包括比图1所示更多或更少的部件，或者组合某些部件，或者不同的部件，例如3D内窥镜成像系统100还可以包括扩张器、烟雾控制装置、输入输出设备、网络接入设备等。

下面，参照图2描述本发明实施例的用于3D内窥镜成像系统的成像方法。该方法可以由参照图1描述的3D内窥镜成像系统实现，具体可以由3D内窥镜成像系统的摄像主机实现。图2是本发明一实施例中的用于3D内窥镜成像系统的成像方法200的示意性流程图，具体包括如下步骤：

在步骤S210，获取所述3D内窥镜成像系统的第一图像传感器采集的第一图像数据，和/或所述3D内窥镜成像系统的第二图像传感器采集的第二图像数据，以及获取姿态传感器采集的姿态数据，所述姿态数据用于指示所述第一图像数据和/或所述第二图像数据对应的空间位置；

在步骤S220，根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，并控制显示器根据所述立体图像数据显示立体图像；

在步骤S230，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示或在预设偏转范围内显示。

根据本发明实施例中的用于3D内窥镜成像系统的成像方法200，能够根据姿态数据确定对立体图像数据进行补偿，使得在内窥镜旋转的过程中立体图像始终保持正立显示或在预设偏转范围内显示，而无需在内窥镜转动超出预设范围时切换为二维显示模式，从而能够避免造成用户观察的立体感丢失，持续提供立体视觉效果。

在成像过程中，首先获取第一图像传感器采集的第一图像数据和/或第二图像传感器采集的第二图像数据，并获取姿态传感器采集的姿态数据。其中，第一图像传感器和第二图像传感器可以设置在内窥镜插入部的前端，姿态传感器设置在内窥镜的任意位置，与第一图像传感器和第二图像传感器同步运动，具体可以包括加速度计、陀螺仪、磁力计等。由于第一传感器和第二传感器设置在内窥镜的插入部内，插入部围绕管镜轴旋转时，第一图像传感器和第二图像传感器也围绕管镜轴旋转，因此，姿态传感器采集的姿态数据包括所述插入部的旋转角度，即插入部围绕管镜轴的旋转角度。该旋转角度也可以称为插入部的翻滚角。

3D内窥镜成像系统根据双目视差原理实现三维立体的成像效果。双目视差原理是指人眼在观察物体时，物体分别投影到左右眼的视网膜中，形成两幅具有视差的图像，人脑根据视差可以自动计算出物体的深度信息，从而形成立体视觉效果。基于上述原理，3D内窥镜成像系统的显示器交替或同时显示具有水平视差的左眼图像和右眼图像，使用相应的图像分离技术使具有水平视差的左眼图像和右眼图像分别进入人的左右眼，使人脑自动融合出立体效果，得到深度信息。因此，可以理解的是，本发明实施例的立体图像是指能够使观测者产生立体视觉效果的图像，其实质上包括输出到左眼的左眼图像和输出到右眼的右眼图像。

立体图像的输出方式可以有多种，例如，可以通过双显示器输出或单显示器输出。双显示器输出包括头盔式显示器、双屏显示器等，使观测者的左右眼分别查看不同显示器上显示的第一图像和第二图像。单显示器输出主要包括主动快门式立体显示方式、被动偏振立体显示方式等。主动快门式立体显示方式需要与液晶光阀眼镜配合使用，被动偏振立体显示方式需要与偏振眼镜配合使用，二者均通过显示器与眼镜的配合实现左右眼的图像分离。

在使用3D内窥镜成像系统的过程中，操作者经常需要旋转内窥镜以观察待观察部位。由于第一图像传感器和第二图像传感器设置在内窥镜的插入部中，当用户旋转内窥镜时，第一图像传感器和第二图像传感器也随之旋转，造成显示器上显示的立体图像发生偏转，影响视觉效果。

针对上述问题，本发明实施例在显示立体图像时，根据姿态传感器采集的姿态数据对立体图像数据进行补偿，使得立体图像正立显示或在预设偏转范围内显示，以避免操作者的头部跟随图像转动，造成立体效果丢失。具体地，可以根据插入部的旋转角度旋转立体图像数据，使得立体图像在插入部围绕管镜轴旋转的过程中始终保持与基准角度下的图像方向一致。在理想状态下，基准角度为使第一图像数据和第二图像数据不存在垂直视差的角度，该角度下可以获得最佳的立体视觉效果。在实际应用中，可能由于装配等原因，使得在基准角度下第一图像数据和第二图像数据之间仍存在着微小的垂直视差。示例性地，可以在内窥镜中设置重力传感器，用于检测基准角度，在基准角度下，第一图像传感器和第二图像传感器的连线方向与重力方向相垂直。

在一些实施例中，3D内窥镜成像系统具有第一显示模式和第二显示模式中的至少一种显示模式。在第一显示模式下，立体图像始终保持正立显示，在第二显示模式下，立体图像随内窥镜的旋转而发生一定程度的偏转，但始终在预设偏转范围内显示。示例性地，用户可以根据需要手动选择采用第一显示模式或第二显示模式作为当前应用的显示模式，3D内窥镜成像系统可以接收对显示模式的选择指令，根据选择指令确定采用第一显示模式或采用第二显示模式。当采用第一显示模式时，根据姿态数据对立体图像数据进行补偿，使得立体图像保持正立显示，立体图像的方向不随插入部的旋转角度而改变；当采用第二显示模式时，根据姿态数据对立体图像数据进行补偿，使得立体图像的方向随插入部的旋转角度而发生改变，但始终保持在预设偏转范围内显示。

如图3所示，在第一显示模式下，立体图像始终保持正立显示，而不随内窥镜的旋转角度而发生偏转。在第一显示模式下，对立体图像数据的补偿是通过如下方式进行的：根据姿态数据确定插入部的旋转角度与基准角度之间的差值，根据插入部的旋转角度与基准角度之间的差值对立体图像数据进行旋转处理，使得立体图像正立显示。例如，如果插入部的旋转角度为α°，则对立体图像数据进行-α°的旋转处理，使立体图像在插入部旋转的过程中始终保持正立显示。

在第一显示模式下，可以对第一图像数据和第二图像数据中的至少一路图像数据进行三维模拟，以得到立体图像数据。即第一显示模式下的立体图像数据可以是对第一图像数据和第二图像数据进行三维模拟得到的立体图像数据(称为虚拟立体图像数据)，而非由第一图像传感器和第二图像传感器实际拍摄所得到的立体图像数据(称为真实立体图像数据)。由于立体图像是根据虚拟立体图像数据显示的，因此不会随着内窥镜的旋转而产生过大的垂直视差，因此不会由于垂直视差的出现而丢失立体效果，也无需在旋转角度超过预设范围时由于立体效果的丢失而不得不切换为二维显示模式。

其中，可以采用任何合适的三维模拟算法基于第一图像数据和第二图像数据中的至少一路图像数据生成立体图像数据。例如，可以将第一图像数据或第二图像数据输入深度估计网络，得到深度图，基于深度图对第一图像数据或第二图像数据中的每个像素点向左右视点进行映射，得到左眼图像数据和右眼图像数据，左眼图像数据和右眼图像数据共同构成立体图像数据。或者，可以基于预设的透视转换规则对第一图像数据或第二图像数据进行透视转换来获得立体图像数据。基于二维图像数据模拟出三维图像数据的三维模拟算法有很多，本发明实施例对具体的三维模拟算法不做限制。

在进行三维模拟时，可以基于第一图像数据和第二图像数据两路图像数据进行三维模拟，以融合第一图像数据和第二图像数据的信息。例如，可以融合第一图像数据和第二图像数据以得到第三图像数据，并基于第三图像数据进行三维模拟。或者，也可以选择第一图像数据和第二图像数据中清晰度更高的一路图像数据进行三维模拟，以提高立体图像数据的清晰度。

此外，当采用三维模拟算法生成立体图像数据时，根据姿态数据对立体图像数据进行补偿，可以是先根据姿态数据对第一图像数据和/或第二图像数据进行补偿，再根据补偿后的第一图像数据和/或第二图像数据进行三维模拟，使得三维模拟得到的立体图像数据即为正立的立体图像数据。

在另一实施例中，在第一显示模式下，立体图像数据也可以既包括基于三维模拟算法生成的虚拟立体图像数据，也包括第一图像传感器和第二图像传感器实际拍摄得到的真实立体图像数据。具体地，插入部的旋转角度包括第一角度范围、第二角度范围、第三角度范围和第四角度范围。其中，第一角度范围为与基准角度之间的差值小于或等于第一预设阈值的角度范围，第二角度范围位于第一角度范围与第三角度范围之间，第四角度范围位于第三角度范围与第一角度范围之间。示例性地，继续参照图3，第一角度范围与第三角度范围的大小相等，且基于转动中心对称；第二角度范围与第四角度范围的大小相等，且基于转动中心对称，即第一角度范围为(-θ°,θ°]，第二角度范围为(θ°,180°-θ°]，第三角度范围为(180°-θ°,θ°-180°]，第四角度范围为(θ°-180°,-θ°]。在一些实施例中，θ可以是45°，即每个转动范围为90°。θ也可以为其他合适的角度值。

当插入部的旋转角度在第一角度范围或第三角度范围内时，由于第一图像数据和第二图像数据之间的垂直视差较小，因此，立体图像数据可以采用第一图像传感器和第二图像传感器实际拍摄得到的真实立体图像数据，即分别向对应于左眼和右眼的两个不同通道输出第一图像数据和所述第二图像数据，以生成立体图像数据。与虚拟立体图像数据相比，真实立体图像数据具有更真实的立体视觉效果，且图像清晰度更高。

当旋转角度在第二角度范围或第四角度范围时，第一图像数据和第二图像数据之间的垂直视差较大，继续采用真实立体图像数据将由于垂直视差的存在而丢失立体视觉效果。因此，当旋转角度在第二角度范围或第四角度范围时，立体图像数据采用虚拟立体图像数据，即对第一图像数据和/或第二图像数据进行三维模拟，以得到立体图像数据。采用虚拟立体图像数据能够避免左眼图像和右眼图像之间存在垂直视差，保证在插入部较大的旋转角度下仍能产生立体视觉效果。

不同于上述第一显示模式，在第二显示模式下，根据姿态数据对立体图像数据进行补偿，使得立体图像在预设偏转范围内显示。示例性地，如果在不对立体图像数据进行补偿的情况下，立体图像保持在预设偏转范围内显示，则可以直接根据立体图像数据显示立体图像，而无需对立体图像数据进行补偿。如果在不对立体图像数据进行补偿的情况下，立体图像超过预设偏转范围，则根据姿态数据对立体图像数据进行补偿，使得立体图像保持在预设偏转范围内显示。

具体地，可以根据插入部的旋转角度确定是否需要对立体图像数据进行补偿，以及确定对立体图像数据的补偿角度。当插入部旋转角度在第一角度范围内时，直接输出立体图像数据，使立体图像的方向与第一图像数据和/或所述第二图像数据对应的空间位置相关联，即在第一角度范围内旋转内窥镜时，立体图像的方向随着内窥镜的旋转而产生相应的偏转。其中，第一角度范围为与基准角度之间的差值小于或等于第二预设阈值的角度范围，在第一角度范围内旋转内窥镜时，即使不对立体图像数据进行补偿，立体图像也能够保持在预设偏转范围内显示，并且仍能够保证立体视觉效果，因此无需对立体图像数据进行补偿。当插入部的旋转角度在第一角度范围以外时，如果不对立体图像数据进行补偿，则立体图像将超过预设偏转范围，因此，需要根据旋转角度与基准角度之间的差值对立体图像数据进行旋转处理，使得立体图像在预设偏转范围内显示。

与第一显示模式类似，插入部的旋转角度可以包括第一角度范围、第二角度范围、第三角度范围和第四角度范围，第二角度范围位于第一角度范围与第三角度范围之间，第四角度范围位于第三角度范围与第一角度范围之间。示例性地，第一角度范围与第三角度范围的大小相等，且基于转动中心对称；第二角度范围与第四角度范围的大小相等，且基于转动中心对称。

由于第一角度范围与第三角度范围相对设置，因此，当旋转角度在第三角度范围内时，可以对立体图像数据进行翻转，即对立体图像数据进行180°的补偿，使得立体图像在预设偏转范围内显示。当旋转角度在第二角度范围或第四角度范围时，根据旋转角度与第一角度范围之间的差值对立体图像数据进行旋转处理，使得立体图像在预设偏转范围内显示。其中，插入部的旋转角度与第一角度范围之间的差值越大，则对立体图像数据的补偿角度越大，以确保立体图像在预设偏转范围内显示。

如图4所示，若旋转角度处于第一角度范围(-θ°,θ°]内，则直接显示立体图像。若旋转角度处于第二角度范围(θ°,180°-θ°]内，则可以对立体图像数据进行补偿角度为2*(α-θ)°的旋转，α°为内窥镜的旋转角度。即可以获取旋转角度与第一角度范围临界值的差值，以该差值的双倍对立体图像数据进行补偿。若旋转角度处于第三角度范围(180°-θ°,θ°-180°]内，则对立体图像数据进行补偿角度为-180°的旋转。若旋转角度处于第四角度范围(θ°-180°,-θ°]内，则对立体图像进行补偿角度为2*(α+θ)°的旋转。即同样地获取旋转角度与第一角度范围临界值的差值，以该差值的双倍对立体图像数据进行补偿。

如此，当旋转角度为0°时，立体图像保持正立显示；当从0°旋转到θ°时，立体图像随之逆时针偏转，直到偏转至θ°对应的偏转角度；接着，当从θ°旋转到180°-θ°的过程中，由于偏转角度越大，补偿角度越大，因此，立体图像随着旋转角度的增加顺时针反向偏转，在旋转角度为90°时，立体图像再次回到正立显示，当旋转角度为180°-θ°时，立体图像旋转到-θ°对应的偏转角度。

在从180°-θ°旋转到θ°-180°的过程中，补偿角度为180°，因此，立体图像从-θ对应的偏转角度再次偏转至θ对应的偏转角度。其中，当旋转角度为180°时，立体图像正立显示。在从θ°-180°旋转到-θ°的过程中，立体图像从θ对应的偏转角度逆时针旋转至-θ°对应的偏转角度，其中，当旋转角度为-90°时，立体图像为正立显示状态。

由此可知，采用上述补偿策略可以使得立体图像在-θ°对应的偏转角度与θ°对应的偏转角度的范围内显示，并且立体图像随着插入部的旋转而较为连贯地发生偏转，保证立体图像的立体效果以及舒适度。但需要说明的是，本发明实施例的第二显示模式所采用的补偿角度不限于上述具体的补偿角度，只要通过对立体图像数据的补偿，使得立体图像保持在预设偏转范围内即可。

与第一显示模式类似的是，在第二显示模式下，立体图像数据可以是对第一图像数据和/或第二图像数据进行三维模拟所得到的虚拟立体图像数据。由此，左眼图像与右眼图像之间不会随着插入部的旋转而出现垂直视差，确保了任意旋转角度下均能产生立体视觉效果。

或者，当插入部的旋转角度在第一角度范围或第三角度范围内时，由于第一图像数据和第二图像数据之间的垂直视差较小，因此，立体图像数据可以采用第一图像传感器和第二图像传感器实际拍摄得到的真实立体图像数据，即分别向对应于左眼和右眼的两个不同通道输出第一图像数据和所述第二图像数据，以生成立体图像数据。与虚拟立体图像数据相比，真实立体图像数据具有更真实的立体视觉效果，且图像清晰度更高。

而当旋转角度在第二角度范围或第四角度范围时，第一图像数据和第二图像数据之间的垂直视差较大，继续采用真实立体图像数据将由于垂直视差的存在而丢失立体视觉效果。因此，当旋转角度在第二角度范围或第四角度范围时，立体图像数据采用虚拟立体图像数据，即对第一图像数据和/或第二图像数据进行三维模拟，以得到立体图像数据，从而确保在较大的旋转角度下仍能提供立体视觉效果。

综上所述，本发明实施例的用于3D内窥镜成像系统的成像方法200能够根据姿态数据对立体图像数据进行补偿，使得在内窥镜旋转的过程中立体图像始终保持正立显示或在预设偏转范围内显示，无需增加额外的机械结构保持立体图像正立，降低了加工难度和成本，也无需在内窥镜旋转超出预设范围时切换为二维显示模式，从而能够持续地提供立体视觉效果。

下面参照图5描述本发明另一实施例的用于3D内窥镜成像系统的成像方法。该方法可以由参照图1描述的3D内窥镜成像系统实现，具体可以由3D内窥镜成像系统的摄像主机实现。图5是本发明一实施例中的用于3D内窥镜成像系统的成像方法500的示意性流程图，具体包括如下步骤：

在步骤S510，获取第一图像数据和/或第二图像数据，以及获取姿态传感器采集的姿态数据，所述姿态数据用于指示所述第一图像数据和/或所述第二图像数据对应的空间位置；

在步骤S520，根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，并控制显示器根据所述立体图像数据显示立体图像，其中，所述立体图像数据至少包括对所述第一图像数据和/或所述第二图像数据进行三维模拟以得到的立体图像数据；

在步骤S530，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示或在预设偏转范围内显示。

示例性地，第一图像数据为3D内窥镜成像系统的第一图像传感器采集的，第二图像数据为3D内窥镜成像系统的第二图像传感器采集的。第一图像数据和第二图像数据之间彼此具有视差，从而能够使得在同时显示第一图像和第二图像时产生立体效果。姿态数据是在获取第一图像数据和第二图像数据的过程中获取的，用于指示第一图像数据和第二图像数据对应的空间位置。示例性地，3D内窥镜成像系统包括内窥镜，内窥镜包括插入部及操作部，第一传感器和第二传感器设置于插入部内，插入部用于插入患者的待观察部位，以获取患者的待观察部位的第一图像数据和第二图像数据。姿态数据可以是姿态传感器采集的，姿态传感器可以设置在插入部或操作部的任意位置。姿态数据包括插入部的旋转角度，由于第一图像传感器和第二图像传感器设置在插入部内，插入部的旋转角度能够反映第一图像传感器和第二图像传感器的空间位置。

根据第一图像数据和/或第二图像数据生成立体图像数据，至少包括对第一图像数据和/或第二图像数据进行三维模拟以得到立体图像数据，通过三维模拟得到的立体图像数据可以称为虚拟立体图像数据。通过三维模拟得到的立体图像数据不存在垂直视差，因此在插入部旋转角度较大时，也能够持续地提供立体视觉效果。

在一些实施例中，立体图像数据还包括第一图像传感器和第二图像传感器实际拍摄所得到的真实立体图像数据。示例性地，内窥镜的旋转角度包括第一角度范围、第二角度范围、第三角度范围和第四角度范围，第二角度范围位于第一角度范围与第三角度范围之间，第四角度范围位于第三角度范围与第一角度范围之间。第一角度范围为与基准角度之间的差值小于或等于第一预设阈值的角度范围。在第一角度范围与第三角度范围下，由于第一图像数据和第二图像数据之间的垂直视差较小，因此可以采用真实立体图像数据，即分别向对应于左眼和右眼的两个不同通道输出第一图像数据和第二图像数据，以生成立体图像数据。在第二角度范围与第四角度范围下，由于第一图像数据和第二图像数据之间的垂直视差较大，因此，可以采用虚拟立体图像数据，即对第一图像数据和/或第二图像数据进行三维模拟以得到立体图像数据。

在显示立体图像时，根据姿态数据对立体图像数据进行补偿，使得立体图像正立显示或在预设偏转范围内显示，以避免操作者的头部跟随图像转动，造成立体效果丢失。具体地，可以根据插入部的旋转角度旋转立体图像数据。立体图像的输出方式可以有多种，例如，可以通过双显示器输出或单显示器输出，本发明实施例对此不做限制。

在一些实施例中，3D内窥镜成像系统可以具有第一显示模式和第二显示模式中的至少一种显示模式。在第一显示模式下，根据姿态数据对立体图像数据进行补偿，使得立体图像正立显示。在第二显示模式下，根据姿态数据对立体图像数据进行补偿，使得立体图像在预设偏转范围内显示。其中，在第二显示模式下，如果插入部的旋转角度在第一角度范围内，可以不对立体图像数据进行补偿，而是直接输出立体图像数据。其中，第一角度范围为与基准角度之间的差值小于或等于第二预设阈值的角度范围，在第一角度范围内时，即使不对立体图像数据进行补偿，立体图像也显示在预设偏转范围内。

第一显示模式和第二显示模式下的立体图像数据可以为虚拟立体图像数据，或随着插入部的旋转在虚拟立体图像数据与真实立体图像数据之间进行切换。例如，在插入部的旋转角度在第一角度范围或与第一角度范围相对的第三角度范围时，采用真实立体图像数据，以提高图像清晰度；当插入部的旋转角度在第一角度范围与第三角度范围之间的第二角度范围，或者在第三角度与第一角度之间的第四角度范围时，采用虚拟立体图像数据，以避免产生垂直视差。

用于3D内窥镜成像系统的成像方法500的更多具体细节可以参照用于3D内窥镜成像系统的成像方法200，在此不做赘述。本发明实施例的用于3D内窥镜成像系统的成像方法500能够根据姿态数据对立体图像数据进行补偿，使得在内窥镜旋转的过程中立体图像始终保持正立显示或在预设偏转范围内显示，无需增加额外的机械结构保持立体图像正立，降低了加工难度和成本，也无需在内窥镜旋转超出预设范围时切换为二维显示模式，从而能够持续地提供立体视觉效果。并且，由于立体图像数据至少包括对第一图像数据和/或第二图像数据进行三维模拟以得到的立体图像数据，因此可以避免立体图像随着内窥镜的旋转而出现垂直视差，在较大的旋转角度下仍能提供立体视觉效果。

重新参照图1，本发明实施例还提供了一种3D内窥镜成像系统100，包括内窥镜以及连接内窥镜的摄像主机150，内窥镜包括插入部130及操作部160，插入部130用于插入患者的待观察部位；内窥镜包括第一图像传感器和第二图像传感器，分别用于采集第一图像数据和第二图像数据；摄像主机150用于从所述内窥镜获取所述第一图像数据和第二图像数据，并执行本发明实施例的用于3D内窥镜成像系统的成像方法200或用于3D内窥镜成像系统的成像方法500。

进一步地，3D内窥镜成像系统100还包括设置于内窥镜的姿态传感器，用于采集姿态数据，并将姿态数据发送至摄像主机150，姿态数据用于指示第一图像数据和第二图像数据对应的空间位置。其中，姿态传感器包括至少一个，具体包括加速度计、陀螺仪、磁力计等。姿态传感器可以安装在插入部130或操作部160的任意位置。第一图像传感器和第二图像传感器的光轴可以平行设置，也可以成一定角度设置。第一图像传感器和第二图像传感器能够模拟人眼双目立体视觉。摄像主机150根据姿态传感器采集的姿态数据对立体图像数据进行补偿，使得立体图像正立显示或在预设偏转范围内显示。

关于3D内窥镜成像系统100的具体结构以及用于3D内窥镜成像系统的成像方法200和用于内窥镜成像系统的成像方法500的具体步骤已在上文进行了描述，在此不做赘述。本发明实施例的3D内窥镜成像系统100能够在旋转内窥镜的过程中始终保持立体图像正立显示或在预设偏转范围内显示，持续为用户提供立体视觉效果。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种用于3D内窥镜成像系统的成像方法，其特征在于，所述方法包括：

获取所述3D内窥镜成像系统的第一图像传感器采集的第一图像数据，和/或所述3D内窥镜成像系统的第二图像传感器采集的第二图像数据，以及获取姿态传感器采集的姿态数据，所述姿态数据用于指示所述第一图像数据和/或所述第二图像数据对应的空间位置；

根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，并控制显示器根据所述立体图像数据显示立体图像；

根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示或在预设偏转范围内显示。

2.如权利要求1所述的方法，其特征在于，所述3D内窥镜成像系统包括第一显示模式和/或第二显示模式；

在所述第一显示模式下，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示；

在所述第二显示模式下，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像在预设偏转范围内显示。

3.如权利要求2所述的方法，其特征在于，还包括：接收对显示模式的选择指令，根据所述选择指令确定采用所述第一显示模式或采用所述第二显示模式。

4.如权利要求1或2所述的方法，其特征在于，所述3D内窥镜成像系统包括内窥镜，所述内窥镜包括插入部及操作部，所述第一图像传感器和/或所述第二图像传感器设置于所述插入部内，所述插入部用于插入患者的待观察部位，以获取所述患者的待观察部位的所述第一图像数据和/或所述第二图像数据，所述姿态数据包括所述插入部的旋转角度；

所述根据所述姿态数据对所述立体图像数据进行补偿，包括：根据所述旋转角度对所述立体图像数据进行旋转处理，使得所述立体图像正立显示或在预设偏转范围内显示。

5.如权利要求4所述的方法，其特征在于，根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示，包括：

确定所述旋转角度与基准角度之间的差值，根据所述差值对所述立体图像数据进行旋转处理，使得所述立体图像正立显示。

6.如权利要求5所述的方法，其特征在于，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据。

7.如权利要求5所述的方法，其特征在于，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

当所述旋转角度在第一角度范围或第三角度范围内时，分别向对应于左眼和右眼的两个不同通道输出所述第一图像数据和所述第二图像数据，以生成所述立体图像数据，所述第一角度范围为与所述基准角度之间的差值小于或等于第一预设阈值的角度范围；

当所述旋转角度在第二角度范围或第四角度范围时，对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据，所述第二角度范围位于所述第一角度范围与所述第三角度范围之间，所述第四角度范围位于所述第三角度范围与所述第一角度范围之间。

8.如权利要求4所述的方法，其特征在于，所述方法还包括：当所述旋转角度在第一角度范围内时，输出所述立体图像数据，使所述立体图像的方向与所述第一图像数据和/或所述第二图像数据对应的空间位置相关联，所述第一角度范围为与所述基准角度之间的差值小于或等于第二预设阈值的角度范围；

根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像在预设偏转范围内显示，包括：

当所述旋转角度在所述第一角度范围以外时，根据所述旋转角度与基准角度之间的差值对所述立体图像数据进行旋转处理，使得所述立体图像在所述预设偏转范围内显示。

9.如权利要求8所述的方法，其特征在于，所述当所述旋转角度在所述第一角度范围以外时，根据所述旋转角度与基准角度之间的差值对所述立体图像数据进行旋转处理，使得所述立体图像在所述预设偏转范围内显示，包括：

当所述旋转角度在第三角度范围内时，对所述立体图像数据进行翻转，使得所述立体图像在所述预设偏转范围内显示；

当所述旋转角度在第二角度范围或第四角度范围时，根据所述旋转角度与所述第一角度范围之间的差值对所述立体图像数据进行旋转处理，使得所述立体图像在所述预设偏转范围内显示；

其中，所述第二角度范围位于所述第一角度范围与所述第三角度范围之间，所述第四角度范围位于所述第三角度范围与所述第一角度范围之间。

10.如权利要求8所述的方法，其特征在于，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据。

11.如权利要求9所述的方法，其特征在于，所述根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，包括：

当所述旋转角度在所述第一角度范围或所述第三角度范围内时，分别向对应于左眼和右眼的两个不同通道输出所述第一图像数据和所述第二图像数据，以生成所述立体图像数据；

当所述旋转角度在所述第二角度范围或所述第四角度范围时，对所述第一图像数据和/或所述第二图像数据进行三维模拟，以得到所述立体图像数据。

12.一种用于3D内窥镜成像系统的成像方法，其特征在于，所述方法包括：

获取第一图像数据和/或第二图像数据，以及获取姿态传感器采集的姿态数据，所述姿态数据用于指示所述第一图像数据和/或所述第二图像数据对应的空间位置；

根据所述第一图像数据和/或所述第二图像数据生成立体图像数据，并控制显示器根据所述立体图像数据显示立体图像，其中，所述立体图像数据至少包括对所述第一图像数据和/或所述第二图像数据进行三维模拟以得到的立体图像数据；

根据所述姿态数据对所述立体图像数据进行补偿，使得所述立体图像正立显示或在预设偏转范围内显示。

13.如权利要求12所述的方法，其特征在于，所述姿态数据包括所述第一图像数据和/或所述第二图像数据的旋转角度；

当所述旋转角度在预设角度范围之外时，对所述第一图像数据和/或所述第二图像数据进行三维模拟以得到所述立体图像数据；

当所述旋转角度在所述预设角度范围内时，分别向对应于左眼和右眼的两个不同通道输出所述第一图像数据和所述第二图像数据，以生成所述立体图像数据。

14.一种3D内窥镜成像系统，其特征在于，包括内窥镜以及连接所述内窥镜的摄像主机，所述内窥镜包括插入部及操作部，所述插入部用于插入患者的待观察部位；

所述内窥镜包括第一图像传感器和第二图像传感器，分别用于采集第一图像数据和第二图像数据；

所述摄像主机用于从所述内窥镜获取所述第一图像数据和第二图像数据，以执行权利要求1-13中任一项所述的方法。

15.如权利要求14所述的方法，其特征在于，还包括设置于所述内窥镜的姿态传感器，用于采集姿态数据，并将所述姿态数据发送至所述摄像主机，所述姿态数据用于指示所述第一图像数据和所述第二图像数据对应的空间位置。

Images