CN116153147A - 3d-vr双目立体视觉影像构建方法及内镜操作教学装置 - Google Patents

Abstract

本发明属于医学设备技术领域，具体公开了一种3D‑VR双目立体视觉影像构建方法及内镜操作教学装置，该方法通过设置两个内镜取像探头获取内镜检查三维原始图像信息；确定显示的三维原始图像信息；对显示的三维原始图像信息进行渲染和坐标变换，构建平行双目视觉的影像模型；基于平行双目视觉的影像模型，将视觉影像在3D‑VR显示设备显示；利用3D‑VR内镜操作平台操作内镜并在显示设备显示。采用本技术方案，构建影像模型并利用3D‑VR显示设备进行显示，既能增强学员的视觉接收能力，又能提高相应的医学诊疗教学效率。

Description

3D-VR双目立体视觉影像构建方法及内镜操作教学装置

技术领域

本发明属于医学设备技术领域，涉及一种3D-VR双目立体视觉影像构建方法及内镜操作教学装置。

背景技术

随着现代医学技术及医学教学技术的发展，内镜作为医生眼、手的延伸，已经达到了“无孔不入”的境界。通过内镜检查，能对下述疾病进行诊断：①作业于消化道(包括食管、胃、十二指肠、小肠和大肠)的炎症、溃疡、良性和恶性肿瘤鉴别于诊断；②腹腔脏器的良、恶性病变诊断。③消化道以及腹腔脏器的手术操作治疗(如：食管早癌病人行内镜下ESD术操作)。因此成为一门重要的内科医学教学学科。

内镜操作诊疗技术的教学，目前主要是依靠带教老师进行相应的内镜诊疗操作，学员在一旁观摩从而积累经验，达到一定的教学效果。然而，由于人眼看事物时是通过双目成像的原理来实现立体成像，信息科通过长期的科学调研及日常工作中发现，自2002年起至2018年期间，内镜诊疗相关设备的发展有所滞留，跟不上相关医疗行业发展的速度，对于内镜诊疗教学领域更是发展缓慢方法落后。

在国内外的内镜医疗以及教学作业过程中，完全是依靠普通的平面成像设备，由于平面显示器只能展示所谓的平面二维空间影像，即无法令眼部感受到事物的深浅、远近、以及角度等信息，这对学员扑捉内镜教学知识的准确性也造成了影响，与当前国家大力号召“精准医疗”这样的要求与之相违背，而学员们本身存在经验匮乏，很多知识也仅仅停留在理论层面上，因此，当带教老师出现误操作等情况，这将对学员造成很大程度的不良影响。

发明内容

本发明的目的在于提供一种3D-VR双目立体视觉影像构建方法及内镜操作教学装置，既能增强学员的视觉接收能力，又能提高相应的医学诊疗教学效率。

为了达到上述目的，本发明的基础方案为：一种3D-VR双目立体视觉影像构建方法，包括如下步骤：

设置两个内镜取像探头获取内镜检查三维原始图像信息；

确定显示的三维原始图像信息；

对显示的三维原始图像信息进行渲染和坐标变换，构建平行双目视觉的影像模型；

基于平行双目视觉的影像模型，将视觉影像在3D-VR显示设备显示；

利用3D-VR内镜操作平台操作内镜并在显示设备显示。

本基础方案的工作原理和有益效果在于：利用两个内镜采集相应的图像信息，获取更加立体全面的图像信息，利于查看。通过3D-VR内镜操作平台和3D-VR显示设备，将图像信息显示使用者眼前，观看距离更近，图像更清晰，增强学员的视觉接收能力，利于医疗教学，提高相应的医学诊疗教学效率。

进一步，确定显示的三维原始图像信息的方法为：

获取三维原始图像，确定要显示的图像范围，所述图像范围包括内镜取像探头和内镜检测区域，且内镜取像探头在图像范围内不超过50％的面积。

获取适宜图像范围，利于使用。

进一步，对三维原始图像信息进行渲染的方法：

基于点对三维原始图像信息进行渲染，将点作为视频制作基元；

使用三个方向相互垂直的光源照射物体，记录每条光线上与物体模型交点上的法向量及颜色信息；

采用分层深度立方体结构，渲染时，设计面元概念，通过计算每个像素中的面元个数，确定分层深度立方体结构的八叉树中的层次可见性后再完成遮挡的判断，将被遮挡的数据剔除不渲染；

通过法向量计算光照，完成立体视频渲染。

操作简单，便于使用。

进一步，计算光照完成立体视频渲染的方法为：

对镜体携带的光源，建立光照模型函数：

其中，I为图像像素的RGB值，I_a为环境光颜色，I_P为环境光的亮度，k_a、k_d和k_s分别为环境光、漫反射和镜面反射系数；S_P∈[0,1]为阴影；H_P为高光系数，

为光源方向，/>

为法向量；

根据光源光照方向，获取图像中的高光部分和阴影部分；

把高光部分和阴影部分对应的像素与图像进行融合渲染，输出最终渲染的图像。

根据高光部分和阴影部分的像素点不同，进行区分，便于融合渲染。

进一步，利用3D-VR内镜操作平台操作内镜进行防碰撞检测，具体方法为：

获取所有内镜镜体的运动范围区域；

选取活动范围最大的内镜镜体为参考镜体；

确定其他内镜镜体与参考镜体的实时相对位置信息；

根据相对位置信息确定其他内镜镜体对应的安全区域，所述安全区域为相对位置信息中与参考镜体距离大于安全阈值的区域；

根据所述安全区域确定存在碰撞风险的镜体并达到碰撞阈值时暂停所述其他内镜镜体。

这样实现防碰撞，操作简单，便于使用。

本发明还提供一种内镜操作教学装置，包括图像采集单元、处理单元和头盔显示器，所述图像采集单元用于采集原始图像，图像采集单元的输出端与处理单元的输入端连接，所述处理单元执行本发明所述方法构建立体视觉影像，处理单元的输出端与头盔显示器的输入端连接。

采用本方案装置将图像信息显示在头盔显示器内，使用者头戴头盔显示器，观看距离更近，图像更清晰，增强学员的视觉接收能力，利于医疗教学。

进一步，所述头盔显示器的显示屏与人眼之间设置有凸透镜。

利用凸透镜，通过图像的处理使得眼睛获取广视角，从而增加了设备的沉浸感。

进一步，所述头盔显示器上设有头部追踪单元，所述头部追踪单元设置头部为坐标，通过坐标设置确定追踪的视点的原点位置；

默认原点为人头部初始位置，梯形视锥体为追踪的范围，当头部的移动落在该范围内部，头部位置的转移会通过头部追踪单元在头盔显示器的显示屏屏幕上得到追踪点新的位置坐标；

得到头部位置后，通过基于原点的偏移计算，得到头部偏移位置，继而将偏移位移数据传输给显示系统，系统通过重新计算设置内部寻像器模型新视点，以达到与头部位置同步。

通过头部追踪，增强系统沉浸感。

附图说明

图1是本发明3D-VR双目立体视觉影像构建装置的结构框图；

图2是本发明3D-VR双目立体视觉影像构建装置的凸透镜的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了一种3D-VR双目立体视觉影像构建方法，包括如下步骤：

设置两个内镜取像探头获取内镜检查三维原始图像信息；

确定显示的三维原始图像信息；

对显示的三维原始图像信息进行渲染和坐标变换，构建平行双目视觉的影像模型；相机坐标系是双目视觉中十分关键的坐标系，它从相机的视角来描述影像在三维空间中的坐标。相机坐标系以相机中心为原点，X轴与Y轴分别与影像坐标系的x轴与y轴平行，且方向一致，根据右手坐标系规则得到Z方向，因为影像坐标系中y轴方向的不同，导致摄影测量与计算机视觉的Z轴方向正好相反。世界坐标系是客观三维世界中的绝对坐标系，相机坐标系可与世界坐标系相互转换，可完成像素点到世界坐标系间的相互转换。

基于平行双目视觉的影像模型，将视觉影像在3D-VR显示设备显示；

利用3D-VR(虚拟现实)内镜操作平台操作内镜并在显示设备显示。

本发明的一种优选方案中，确定显示的三维原始图像信息的方法为：

获取三维原始图像，确定要显示的图像范围，所述图像范围包括内镜取像探头和内镜检测区域，且内镜取像探头在图像范围内不超过50％的面积。

本发明的一种优选方案中，对三维原始图像信息进行渲染的方法：

基于点对三维原始图像信息进行渲染，将点作为视频制作基元；

使用三个方向相互垂直的光源照射物体，记录每条光线上与物体模型交点上的法向量及颜色信息；

采用分层深度立方体结构，渲染时，设计面元概念，通过计算每个像素中的面元个数，确定分层深度立方体结构的八叉树中的层次可见性后再完成遮挡的判断，将被遮挡的数据剔除不渲染；

本发明的一种优选方案中，计算光照完成立体视频渲染的方法为：

对镜体携带的光源，建立光照模型函数：

其中，I为图像像素的RGB值，I_a为环境光颜色，I_P为环境光的亮度，k_a、k_d和k_s分别为环境光、漫反射和镜面反射系数；S_P∈[0,1]为阴影；H_P为高光系数，

为光源方向，/>

为法向量；

根据光源光照方向，获取图像中的高光部分和阴影部分；根据高光部分和阴影部分的像素点不同，进行区分；

把高光部分和阴影部分对应的像素与图像进行融合渲染，输出最终渲染的图像。

本发明的一种优选方案中，利用3D-VR内镜操作平台操作内镜进行防碰撞检测，具体方法为：

获取所有内镜镜体的运动范围区域；

选取活动范围最大的内镜镜体为参考镜体；

确定其他内镜镜体与参考镜体的实时相对位置信息；

根据相对位置信息确定其他内镜镜体对应的安全区域，所述安全区域为相对位置信息中与参考镜体距离大于安全阈值的区域；

根据所述安全区域确定存在碰撞风险的镜体并达到碰撞阈值时暂停所述其他内镜镜体。

本发明还提供一种内镜操作教学装置，如图1所示，包括图像采集单元、处理单元和头盔显示器(如Ocu l us Ri ft CV1头戴式VR显示设备)，图像采集单元用于采集原始图像，图像采集单元包括内镜(如pentax epm-3500内镜主机)和3D摄像系统，3D摄像系统安装在内镜上，3D摄像系统包括两个微型3D摄像机(如HERO3 B l ack Ed it i on)，两个微型3D摄像机固定设置(如焊接、粘接等)在内镜的两侧，采集更宽范围内的图像信息，获取更多信息。图像采集单元的输出端与处理单元的输入端电性连接，处理单元执行本发明所述方法构建立体视觉影像，处理单元的输出端与头盔显示器的输入端电性连接。

优选，处理单元包括存储器、GPU(Graph i cs Process i ng Un it，图像处理器)、CPU(Centra l Process i ng Un it，中央处理器)和缓冲存储器。3D摄像系统的输出端与存储器(如24CXX系列、93CXX系列等)的输入端电性连接，GPU和CPU接收存储器内的图像信息并进行处理，GPU(如DUAL-GTX1060-6G等)和CPU(如E3300、E3400(775接口)、G440、G530等等)的输出端与缓冲存储器的输入端电性连接。具体处理方法可采用现有技术，如现有专利CN201510338689.3中提到的一种基于GPU与CPU协同计算的矿井多摄像机视频融合技术，构建了GPU与CPU协同计算模型，进行多摄像机的视频融合处理。缓冲存储器的输出端与头盔显示器电性连接，操作平台利用GPU和CPU融合图像信号，优化图像信息。

如图2所示，头盔显示器的显示屏与人眼之间设置有凸透镜。显示屏用于显示处理后的图像，显示屏的光线则透过透镜组到达视网膜。通过图像的处理使得视网膜获取广视角，能够完全的覆盖人眼的视觉场景，从而增加了设备的沉浸感。

头盔显示器上设有头部追踪单元，头部追踪单元设置头部为坐标，通过坐标设置确定追踪的视点的原点位置。默认原点为人头部初始位置，梯形视锥体为追踪的范围，当头部的移动落在该范围内部，头部位置的转移会通过头部追踪单元在头盔显示器的显示屏屏幕上得到追踪点新的位置坐标。

得到头部位置后，通过基于原点的偏移计算，得到头部偏移位置，继而将偏移位移数据传输给显示系统，系统通过重新计算设置内部寻像器模型新视点，以达到与头部位置同步。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种3D-VR双目立体视觉影像构建方法，其特征在于，包括如下步骤：

设置两个内镜取像探头获取内镜检查三维原始图像信息；

确定显示的三维原始图像信息；

对显示的三维原始图像信息进行渲染和坐标变换，构建平行双目视觉的影像模型；

基于平行双目视觉的影像模型，将视觉影像在3D-VR显示设备显示；

利用3D-VR内镜操作平台操作内镜并在显示设备显示。

2.如权利要求1所述的3D-VR双目立体视觉影像构建方法，其特征在于，确定显示的三维原始图像信息的方法为：

获取三维原始图像，确定要显示的图像范围，所述图像范围包括内镜取像探头和内镜检测区域，且内镜取像探头在图像范围内不超过50％的面积。

3.如权利要求1所述的3D-VR双目立体视觉影像构建方法，其特征在于，对三维原始图像信息进行渲染的方法：

基于点对三维原始图像信息进行渲染，将点作为视频制作基元；

使用三个方向相互垂直的光源照射物体，记录每条光线上与物体模型交点上的法向量及颜色信息；

采用分层深度立方体结构，渲染时，设计面元概念，通过计算每个像素中的面元个数，确定分层深度立方体结构的八叉树中的层次可见性后再完成遮挡的判断，将被遮挡的数据剔除不渲染；

通过法向量计算光照，完成立体视频渲染。

4.如权利要求3所述的3D-VR双目立体视觉影像构建方法，其特征在于，计算光照完成立体视频渲染的方法为：

对镜体携带的光源，建立光照模型函数：

其中，I为图像像素的RGB值，I_a为环境光颜色，I_P为环境光的亮度，k_a、k_d和k_s分别为环境光、漫反射和镜面反射系数；S_P∈[0,1]为阴影；H_P为高光系数，

为光源方向，/>

为法向量；

根据光源光照方向，获取图像中的高光部分和阴影部分；

把高光部分和阴影部分对应的像素与图像进行融合渲染，输出最终渲染的图像。

5.如权利要求1所述的3D-VR双目立体视觉影像构建方法，其特征在于，利用3D-VR内镜操作平台操作内镜进行防碰撞检测，具体方法为：

获取所有内镜镜体的运动范围区域；

选取活动范围最大的内镜镜体为参考镜体；

确定其他内镜镜体与参考镜体的实时相对位置信息；

根据相对位置信息确定其他内镜镜体对应的安全区域，所述安全区域为相对位置信息中与参考镜体距离大于安全阈值的区域；

根据所述安全区域确定存在碰撞风险的镜体并达到碰撞阈值时暂停所述其他内镜镜体。

6.一种内镜操作教学装置，其特征在于，包括图像采集单元、处理单元和头盔显示器，所述图像采集单元用于采集原始图像，图像采集单元的输出端与处理单元的输入端连接，所述处理单元执行权利要求1-5之一所述方法构建立体视觉影像，处理单元的输出端与头盔显示器的输入端连接。

7.如权利要求6所述的内镜操作教学装置，其特征在于，所述头盔显示器的显示屏与人眼之间设置有凸透镜。

8.如权利要求6所述的内镜操作教学装置，其特征在于，所述头盔显示器上设有头部追踪单元，所述头部追踪单元设置头部为坐标，通过坐标设置确定追踪的视点的原点位置；

默认原点为人头部初始位置，梯形视锥体为追踪的范围，当头部的移动落在该范围内部，头部位置的转移会通过头部追踪单元在头盔显示器的显示屏屏幕上得到追踪点新的位置坐标；

得到头部位置后，通过基于原点的偏移计算，得到头部偏移位置，继而将偏移位移数据传输给显示系统，系统通过重新计算设置内部寻像器模型新视点，以达到与头部位置同步。

Images