CN108965856A - 一种基于3d内窥镜的裸眼3d显示系统及方法 - Google Patents

Abstract

本发明公开的一种基于3D内窥镜的裸眼3D显示系统，包括图像采集模块、图像处理模块、数据传输模块和裸眼3D显示模块，图像采集模块采集图像信息，将采集的图像信息发送给图像处理模块；所述图像处理模块接收并处理所述图像信息，将处理后的图像信息通过数据传输模块发送给裸眼3D显示模块；所述裸眼3D显示模块对处理后的图像信息进行立体显示。本发明的有益效果在于：医生可以不用佩戴其他辅助显示设备就可以裸眼看到患者人体内部被检测部位的立体图像，方便医生进行切除、缝合等操作，使手术更加精准高效，更安全可靠。

Description

一种基于3D内窥镜的裸眼3D显示系统及方法

技术领域

本发明涉及内窥镜成像技术领域，具体涉及一种基于3D内窥镜的裸眼3D显示系统及方法。

背景技术

目前临床普遍使用二维的单显示屏内窥镜系统，手术过程中无法显示作业面的深度信息。使得这种内窥镜的操作在很大程度上依赖于医生的操作经验，且医生容易疲劳，精准率不高，进一步增加手术风险。

3D影像所能展示的作业面的深度信息能有效地辅助医生感知操作距离从而更好地完成手术。为实现内窥镜的3D显示，国内外内窥镜公司开发了基于辅助设备的3D内窥镜系统，其主要是借助佩戴立体眼镜来达到3D视觉效果。

但是，一方面由于眼镜的使用，使得进入使用者眼睛内的光线降低，降低了腹腔内的信息识别率；另一方面，眼镜的佩戴也会给使用者带来不便，对于平日生活中不佩戴眼镜的使用者而言，佩戴眼镜极易产生不适感，特别在医疗手术时，由于医生需要佩戴口罩，而呼吸时可能会在眼镜上形成雾气，从而影响视野，容易出现判断错误，产生“误切”、“多切”的问题，还可能导致患者额外的损伤，对手术安全产生极大的影响。因此，研究出能显示具有深度信息且不需要佩戴其他设备而不干扰医生视野的内窥镜系统尤为必要。

发明内容

针对现有技术中的缺陷，本发明的目的之一在于提供一种基于3D内窥镜的裸眼3D显示系统，医生可以不用佩戴其他辅助显示设备就可以裸眼看到患者人体内部被检测部位的立体图像，方便医生进行切除、缝合等操作，使手术更加精准高效，更安全可靠。

第一方面，本发明实施例提供的一种基于3D内窥镜的裸眼3D显示系统，包括图像采集模块、图像处理模块、数据传输模块和裸眼3D显示模块，所述图像采集模块采集图像信息，将采集的图像信息发送给图像处理模块；所述图像处理模块接收并处理所述图像信息，将处理后的图像信息发送给数据传输模块；所述数据传输模块用于接收并将处理后的图像传输给裸眼3D显示模块；所述裸眼3D显示模块立体显示出处理后的图像信息。

第二方面，本发明实施例提供的一种基于3D内窥镜的裸眼3D显示系统，包括图像采集模块、图像处理模块、数据传输模块和裸眼3D显示模块，其中，

所述图像采集模块包括检测光源单元和由多个高清摄像头水平排列的摄像头阵列单元，所述检测光源单元用于发出检测光源并照射到患者的被检测部位；所述摄像头采集患者被检测部位的图像信息；所述摄像头阵列单元采集患者被检测部位多角度的图像信息并将多角度的图像信息传输给图像处理模块；

所述图像处理模块包括图像解码单元、图像矫正单元、图像合成单元和图像输出单元，

所述图像解码单元用于对接收的图像信息进行解码得到解码后的图像信息，并将解码后的图像信息传输给图像矫正单元；

所述图像矫正单元接收解码后的图像信息，摄像头阵列在工作时保持安装位置固定不变，摄像头模型中的摄像头之间的位置参数根据摄像头预先标定获得，根据摄像头模型中的摄像头之间的位置参数对解码后的图像信息进行去畸变处理和调整视差处理，得到矫正后的图像信息，去畸变处理采用等比例裁剪方法对解码后的图像信息进行裁剪，所述调整视差处理包括调整垂直视差和调整水平视差，通过标定得到摄像头之间的位置关系，旋转和平移各摄像头的坐标系使各个摄像头的坐标系y、z方向重合，得到垂直视差为0的图像，再调整各个摄像头的坐标系的x轴；

所述图像合成单元根据裸眼3D显示模块的排布规则对进行图像矫正后的多个图像信息重新排布；

所述图像输出单元用于将处理后的图像信息发送给数据传输模块；

所述数据传输模块用于接收处理后的图像信息并将处理后的图像信息发送给裸眼3D显示模块，所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料，所述柔性导线的信号输入端与所述图像处理模块的图像输出单元相连，所述柔性导线的信号输出端与所述裸眼3D显示模块的信号输入端相连；

所述裸眼3D显示模块接收所述图像处理模块传输的图像信息并进行立体显示。

可选地，图像采集模块还包括角度调节单元，所述角度调节单元用于调节摄像头的拍摄角度。

可选地，所述检测光源为一个或多个LED光源。

可选地，所述内芯为一根或多根柔性光导纤维。

可选地，所述生物材料包括医用硅胶。

可选地，所述裸眼3D显示模块包括裸眼3D显示器。

第三方面，本发明实施例还提供一种基于3D内窥镜的裸眼3D显示方法，所述方法适用于上述的基于3D内窥镜的裸眼3D显示系统，

该方法包括：

图像采集模块中的检测光源单元发出检测光源并照射到患者的被检测部位；

摄像头采集患者被检测部位的图像信息；

摄像头阵列单元采集患者被检测部位多角度的图像信息并将多角度的图像信息传输给图像处理模块；

图像处理模块中的图像解码单元对接收的图像信息进行解码得到解码后的图像信息，并将解码后的图像信息传输给图像矫正单元；

图像矫正单元接收解码后的图像信息，摄像头阵列在工作时保持安装位置固定不变，摄像头模型中的摄像头之间的位置参数根据摄像头预先标定获得，根据摄像头模型中的摄像头之间的位置参数对解码后的图像信息进行去畸变处理和调整视差处理，得到矫正后的图像信息，去畸变处理采用等比例裁剪方法对解码后的图像信息进行裁剪，所述调整视差处理包括调整垂直视差和调整水平视差，通过标定得到摄像头之间的位置关系，旋转和平移各摄像头的坐标系使各个摄像头的坐标系y、z方向重合，得到垂直视差为0的图像，再调整各个摄像头的坐标系的x轴；

图像合成单元根据裸眼3D显示模块的排布规则对进行图像矫正后的多个图像信息重新排布；

图像输出单元将处理后的图像信息发送给数据传输模块；

数据传输模块接收处理后的图像信息并将处理后的图像信息发送给裸眼3D显示模块；

裸眼3D显示模块接收所述图像处理模块传输的图像信息并进行立体显示。

可选地，方法还包括：在摄像头采集患者被检测部位的图像信息步骤之前还包括摄像头角度调节步骤。

可选地，数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料，所述柔性导线的信号输入端与所述图像处理模块的图像输出单元相连，所述柔性导线的信号输出端与所述裸眼3D显示模块的信号输入端相连。

本发明的有益效果：

本发明实施例提供的一种基于3D内窥镜的裸眼3D显示系统，医生可以不用佩戴其他辅助显示设备就可以裸眼看到患者人体内部被检测部位的立体图像，方便医生进行切除、缝合等操作，使手术更加精准高效，更安全可靠。

本发明实施例提供的一种基于3D内窥镜的裸眼3D显示方法，医生在对患者进行检查或手术时，通过3D内窥镜直接看到被检测部位的立体图像，还原真实的被检测部位的立体结构，医生不需再借助其他辅助设备观看，方便医生进行切除、缝合等操作，使手术更加精准高效，更安全可靠。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示示出了本发明提供的一种基于3D内窥镜的裸眼3D显示系统的第一实施例的原理框图；

图2示出了示出了本发明提供的一种基于3D内窥镜的裸眼3D显示系统的第二实施例的原理框图；

图3示出了本发明示出了本发明提供的一种基于3D内窥镜的裸眼3D显示方法的第一实施例的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

如图1所示，示出了本发明提供的一种基于3D内窥镜的裸眼3D显示系统的第一实施例的原理框图，包括图像采集模块11、图像处理模块12、数据传输模块13和裸眼3D显示模块14，所述图像采集模块11采集图像信息，将采集的图像信息发送给图像处理模块；所述图像处理模块12接收并处理所述图像信息，将处理后的图像信息发送给数据传输模块；所述数据传输模块13用于接收并将处理后的图像传输给裸眼3D显示模块；所述裸眼3D显示模块14立体显示出处理后的图像信息。

实施例2

如图2所示，示出了本发明提供的一种基于3D内窥镜的裸眼3D显示系统的第二实施例的原理框图，该系统包括图像采集模块21、图像处理模块22、数据传输模块23和裸眼3D显示模块24，其中，

所述图像采集模块21包括检测光源单元211和由多个高清摄像头水平排列的摄像头阵列单元212，所述检测光源单元211用于发出检测光源并照射到患者的被检测部位；所述摄像头采集患者被检测部位的图像信息；所述摄像头阵列单元212采集患者被检测部位多角度的图像信息并将多角度的图像信息传输给图像处理模块；

所述图像处理模块22包括图像解码单元221、图像矫正单元222、图像合成单元223和图像输出单元224；

所述图像解码单元221用于对接收的图像信息进行解码得到解码后的图像信息，并将解码后的图像信息传输给图像矫正单元；

所述图像矫正单元222接收解码后的图像信息，摄像头阵列单元12在工作时保持安装位置固定不变，摄像头模型中的摄像头之间的位置参数根据摄像头预先标定获得，根据摄像头模型中的摄像头之间的位置参数对解码后的图像信息进行去畸变处理和调整视差处理，得到矫正后的图像信息，去畸变处理采用等比例裁剪方法对解码后的图像信息进行裁剪，所述调整视差处理包括调整垂直视差和调整水平视差，通过标定得到摄像头之间的位置关系，旋转和平移各摄像头的坐标系使各个摄像头的坐标系y、z方向重合，得到垂直视差为0的图像，再调整各个摄像头的坐标系的x轴；

所述图像合成单元223根据裸眼3D显示模块的排布规则对进行图像矫正后的多个图像信息重新排布；

所述图像输出单元224用于将处理后的图像信息发送给数据传输模块；

所述数据传输模块23用于接收处理后的图像信息并将处理后的图像信息发送给裸眼3D显示模块，所述数据传输模块23包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料，所述柔性导线的信号输入端与所述图像处理模块的图像输出单元相连，所述柔性导线的信号输出端与所述裸眼3D显示模块的信号输入端相连；

所述裸眼3D显示模块24接收所述图像处理模块传输的图像信息并进行立体显示，裸眼3D显示模块包括裸眼3D显示器。

本发明实施例的一种基于3D内窥镜的裸眼3D显示系统通过摄像头阵列拍摄患者人体内部被检测部位的图像信息，摄像头阵列水平排列，可实时采集被检测部位的多视角图像信息，图像处理模块对图像信息依次进行解码、矫正、合成处理，通过图像输出单元传输到数据传输单元，数据传输单元将处理后的图像传输给裸眼3D显示器，裸眼3D显示器立体显示出图像。医生在对患者进行检查或手术时，通过3D内窥镜直接看到被检测部位的立体图像，还原真实的被检测部位的立体结构，医生不需再借助其他辅助设备观看，方便医生进行切除、缝合等操作，使手术更加精准高效，更安全可靠。

在本实施例中，图像采集模块21还包括角度调节单元213，所述角度调节单元213用于调节摄像头的拍摄角度。角度调节单元调节摄像头采集图像的角度，便于能更好地、全面地采集患者被检测部位的多个角度的图像信息，全方位为医生呈现病灶位置信息，帮助其确诊病因缩减检查、分析的周期让病人尽快得到治疗；在医生执行手术的过程中，为医生提供患者体内情况的立体显示，方便其进行切除、缝合等操作。

在本实施例中，检测光源11为一个或多个LED光源。LED光源呈一维环形排列，并且其分别发出散射光；在所述散射光的光路上还分别设置有第一会聚元件，所述第一会聚元件分别接收从多个LED光源发出的散射光，将其会聚成彼此叠加的多个面光斑；第二会聚元件，其接收从多个第一会聚元件分别发出的多个面光斑，将其会聚成线光斑；利用所述线光斑可以提高内视的清晰度，抑制散射光线的干扰，其中所述第一会聚元件和第二会聚元件均为凸透镜。

在本实施例中，内芯为一根或多根柔性光导纤维。采用柔性光导纤维可以将图像采集单元放置于人体的不同区域，这样可以同时对人体的不同部位同时进行检测、以及立体呈现，提高了系统的工作效率。此外，包层上设置的生物材料采用医用硅胶，利用医用硅胶可降低患者出现过敏反应等风险。

实施例3

如图3所示，示出了本发明还提供一种基于3D内窥镜的裸眼3D显示方法第一实施例的流程图，该方法适用于上述实施例2描述的基于3D内窥镜的裸眼3D显示系统，

该方法包括：

S31:图像采集模块中的检测光源单元发出检测光源并照射到患者的被检测部位。

S32:摄像头采集患者被检测部位的图像信息。

S33:摄像头阵列单元采集患者被检测部位多角度的图像信息并将多角度的图像信息传输给图像处理模块。

S34:图像处理模块中的图像解码单元对接收的图像信息进行解码得到解码后的图像信息，并将解码后的图像信息传输给图像矫正单元。

S35:图像矫正单元接收解码后的图像信息，摄像头阵列在工作时保持安装位置固定不变，摄像头模型中的摄像头之间的位置参数根据摄像头预先标定获得，根据摄像头模型中的摄像头之间的位置参数对解码后的图像信息进行去畸变处理和调整视差处理，得到矫正后的图像信息，去畸变处理采用等比例裁剪方法对解码后的图像信息进行裁剪，所述调整视差处理包括调整垂直视差和调整水平视差，通过标定得到摄像头之间的位置关系，旋转和平移各摄像头的坐标系使各个摄像头的坐标系y、z方向重合，得到垂直视差为0的图像，再调整各个摄像头的坐标系的x轴。

S36:图像合成单元根据裸眼3D显示模块的排布规则对进行图像矫正后的多个图像信息重新排布。

S37:图像输出单元将处理后的图像信息发送给数据传输模块。

S38:数据传输模块接收处理后的图像信息并将处理后的图像信息发送给裸眼3D显示模块；数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料，所述柔性导线的信号输入端与所述图像处理模块的图像输出单元相连，所述柔性导线的信号输出端与所述裸眼3D显示模块的信号输入端相连。

S39:裸眼3D显示模块接收所述图像处理模块传输的图像信息并进行立体显示。

本发明实施例的一种基于3D内窥镜的裸眼3D显示方法通过摄像头阵列实时采集被检测部位的多视角图像信息，图像处理模块对图像信息依次进行解码、矫正、合成处理，通过图像输出单元传输到数据传输单元，数据传输单元将处理后的图像传输给裸眼3D显示器，裸眼3D显示器立体显示出图像。医生在对患者进行检查或手术时，通过3D内窥镜直接看到被检测部位的立体图像，还原真实的被检测部位的立体结构，医生不需再借助其他辅助设备观看，方便医生进行切除、缝合等操作，使手术更加精准高效，更安全可靠。

基于3D内窥镜的裸眼3D显示方法还包括：在摄像头采集患者被检测部位的图像信息步骤之前还包括摄像头角度调节步骤。在摄像头采集患者被检测部位的图像信息之前对摄像头的拍摄角度进行调节，便于能更好地、全面地采集患者被检测部位的多个角度的图像信息，全方位为医生呈现病灶位置信息，帮助其确诊病因缩减检查、分析的周期让病人尽快得到治疗；在医生执行手术的过程中，为医生提供患者体内情况的立体显示，方便其进行切除、缝合等操作。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于3D内窥镜的裸眼3D显示系统，其特征在于，包括图像采集模块、图像处理模块、数据传输模块和裸眼3D显示模块，所述图像采集模块采集图像信息，将采集的图像信息发送给图像处理模块；所述图像处理模块接收并处理所述图像信息，将处理后的图像信息发送给数据传输模块；所述数据传输模块用于接收并将处理后的图像传输给裸眼3D显示模块；所述裸眼3D显示模块立体显示出处理后的图像信息。

2.一种基于3D内窥镜的裸眼3D显示系统，其特征在于，包括图像采集模块、图像处理模块、数据传输模块和裸眼3D显示模块，其中，

所述图像采集模块包括检测光源单元和由多个高清摄像头水平排列的摄像头阵列单元，所述检测光源单元用于发出检测光源并照射到患者的被检测部位；所述摄像头采集患者被检测部位的图像信息；所述摄像头阵列单元采集患者被检测部位多角度的图像信息并将多角度的图像信息传输给图像处理模块；

所述图像处理模块包括图像解码单元、图像矫正单元、图像合成单元和图像输出单元，

所述图像解码单元用于对接收的图像信息进行解码得到解码后的图像信息，并将解码后的图像信息传输给图像矫正单元；

所述图像矫正单元接收解码后的图像信息，摄像头阵列单元在工作时保持安装位置固定不变，摄像头模型中的摄像头之间的位置参数根据摄像头预先标定获得，根据摄像头模型中的摄像头之间的位置参数对解码后的图像信息进行去畸变处理和调整视差处理，得到矫正后的图像信息，去畸变处理采用等比例裁剪方法对解码后的图像信息进行裁剪，所述调整视差处理包括调整垂直视差和调整水平视差，通过标定得到摄像头之间的位置关系，旋转和平移各摄像头的坐标系使各个摄像头的坐标系y、z方向重合，得到垂直视差为0的图像，再调整各个摄像头的坐标系的x轴；

所述图像合成单元根据裸眼3D显示模块的排布规则对进行图像矫正后的多个图像信息重新排布；

所述图像输出单元用于将处理后的图像信息发送给数据传输模块；

所述数据传输模块用于接收处理后的图像信息并将处理后的图像信息发送给裸眼3D显示模块，所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料，所述柔性导线的信号输入端与所述图像处理模块的图像输出单元相连，所述柔性导线的信号输出端与所述裸眼3D显示模块的信号输入端相连；

所述裸眼3D显示模块接收所述图像处理模块传输的图像信息并进行立体显示。

3.如权利要求2所述的基于3D内窥镜的裸眼3D显示系统，其特征在于，所述图像采集模块还包括角度调节单元，所述角度调节单元用于调节摄像头的拍摄角度。

4.如权利要求2所述的基于3D内窥镜的裸眼3D显示系统，其特征在于，所述检测光源为一个或多个LED光源。

5.如权利要求2所述的基于3D内窥镜的裸眼3D显示系统，其特征在于，所述内芯为一根或多根柔性光导纤维。

6.如权利要求2所述的基于3D内窥镜的裸眼3D显示系统，其特征在于，所述生物材料包括医用硅胶。

7.如权利要求2所述的基于3D内窥镜的裸眼3D显示系统，其特征在于，所述裸眼3D显示模块包括裸眼3D显示器。

8.一种基于3D内窥镜的裸眼3D显示方法，所述方法适用于权利要求2所述的基于3D内窥镜的裸眼3D显示系统，其特征在于，所述方法包括：

图像采集模块中的检测光源单元发出检测光源并照射到患者的被检测部位；

摄像头采集患者被检测部位的图像信息；

摄像头阵列单元采集患者被检测部位多角度的图像信息并将多角度的图像信息传输给图像处理模块；

图像处理模块中的图像解码单元对接收的图像信息进行解码得到解码后的图像信息，并将解码后的图像信息传输给图像矫正单元；

图像矫正单元接收解码后的图像信息，摄像头阵列在工作时保持安装位置固定不变，摄像头模型中的摄像头之间的位置参数根据摄像头预先标定获得，根据摄像头模型中的摄像头之间的位置参数对解码后的图像信息进行去畸变处理和调整视差处理，得到矫正后的图像信息，去畸变处理采用等比例裁剪方法对解码后的图像信息进行裁剪，所述调整视差处理包括调整垂直视差和调整水平视差，通过标定得到摄像头之间的位置关系，旋转和平移各摄像头的坐标系使各个摄像头的坐标系y、z方向重合，得到垂直视差为0的图像，再调整各个摄像头的坐标系的x轴；

图像合成单元根据裸眼3D显示模块的排布规则对进行图像矫正后的多个图像信息重新排布；

图像输出单元将处理后的图像信息发送给数据传输模块；

数据传输模块接收处理后的图像信息并将处理后的图像信息发送给裸眼3D显示模块；

裸眼3D显示模块接收所述图像处理模块传输的图像信息并进行立体显示。

9.如权利要求8所述的基于3D内窥镜的裸眼3D显示方法，其特征在于，所述方法还包括：在摄像头采集患者被检测部位的图像信息步骤之前还包括摄像头角度调节步骤。

10.如权利要求8所述的基于3D内窥镜的裸眼3D显示方法，其特征在于，所述数据传输模块包括柔性导线，所述柔性导线包括包层和内芯，所述包层上设有生物材料，所述柔性导线的信号输入端与所述图像处理模块的图像输出单元相连，所述柔性导线的信号输出端与所述裸眼3D显示模块的信号输入端相连。