CN211484971U - 一种手术综合视景智能辅助系统 - Google Patents

Abstract

本实用新型公开了一种手术综合视景智能辅助系统，该系统包含：眼镜，其具有镜框和两镜腿；设置于镜框前的VR/AR显示屏；设置于镜框上的两个红外光源；分别设置在两镜腿上的两个光学跟踪视频摄像头，用于接收术区标记点反射信号以跟踪术区标记点获取相对位置信息，及，用于拍摄使用者视线范围内图像，获得视频拍摄图像；数据接收处理装置，包含用于接收外界信息的数据接收端口，语音指令处理组件，及，图像处理组件；微型麦克风；及，供电元件。本实用新型提供的手术综合视景智能辅助系统实现了导航图像虚实融合成像，无需使用者在脑中构建叠加效果，并可通过语音指令进行显示内容切换与投射，辅助手术进行，提高了手术效率。

Description

一种手术综合视景智能辅助系统

技术领域

本实用新型涉及一种医疗器械，具体涉及一种手术综合视景智能辅助系统。

背景技术

手术室内仪器设备众多，主刀医生在手术过程中需要知晓患者的不同信息，往往需要在不同设备显示器之间来回调整视线，或请手术室中其他人员协助切换显示内容，以获得所需内容，完整获知目标信息的过程十分耗时。以导航技术为例，部分手术区域解剖结构复杂，或存在解剖变异等情况，需利用导航技术进行辅助。

传统导航系统使用时主刀医生需从另外的显示屏获得术前重建的图像与当时使用器械的相对位置关系，再将视线移回术区，在脑中构建叠加效果，以辅助判断病灶、解剖结构位置。通过独立的显示器显示重建图像，无法与术区图像叠加显示，使用时医生视线需在显示器与术区间来回切换，操作十分不便，也难以达到最理想的辅助效果。

以上实际应用场景会造成手术时间消耗，延长整体手术操作时长，极有可能给患者带来不利影响。

实用新型内容

本实用新型的目的是解决传统导航系统辅助效果不佳的缺陷，提出一种手术综合视景智能辅助系统，利用AR/VR技术将虚实图像叠加显示，通过简单语音指令，调整需要的显示内容至目标屏幕，协助医生进行手术操作。

为了达到上述目的，本实用新型提供了一种手术综合视景智能辅助系统，其包含：

眼镜，其具有镜框和两镜腿；

设置于镜框前的VR/AR显示屏；

设置于镜框上的两个红外光源，用于辅助光学跟踪视频摄像头测距；

分别设置在两镜腿上的两个光学跟踪视频摄像头，用于接收术区标记点反射信号以跟踪术区标记点获取相对位置信息，及，用于拍摄使用者视线范围内图像，该图像用于后续图像融合。

数据接收处理装置，用于：接收外界信息、语音指令处理、图像处理。该数据接收处理装置设置在镜腿两侧摄像头后，相当于CPU，可进行各种运算与指令处理。

所述的外界信息包括但不限于原始影像数据重建结果，内镜成像内容，显微镜成像内容，病人病历信息、检查结果，基本生命体征监测值等，可利用语音指令进调用、呈现。

所述的语音指令是指通过麦克风收集的主刀医生语音指令。所述的语音指令处理，包括语音指令的识别、反馈。已预先设定可识别的语音指令内容，主刀医生通过发出语音指令，实现轻松调整显示屏显示内容。数据接收处理装置识别该语音指令，做出反馈，根据语音指令调整输出不同来源的数据、信息等至显示屏作为显示内容。

所述的图像处理包括图像配准，视频拍摄图像与术前影像数据进行图像融合，并根据语音指令输出至所述显示屏。

设在镜腿末端的微型麦克风，用于收集语音指令；

供电元件，用于提供电源。

可选地，所述的数据接收处理装置通过无线传输或有线传输获取数据信号。

可选地，该系统还包含：至少一个位置传感器，用于协助监测眼镜方位变换，以实现调整成像内容角度，因融合图像需基于不同距离、角度，点对点融合才能进一步确保融合图像的准确性。

可选地，所述的位置传感器包含陀螺仪传感器。

可选地，所述的位置传感器设在所述的镜腿上，如集成到数据接收处理装置或供电单元上。

可选地，所述的术前影像数据是对原始影像数据与病人位姿进行配准后获得的。

本实用新型还提供了一种上述的手术综合视景智能辅助系统的图像处理组件进行图像处理的方法，其特征在于，该方法包含：

将二维影像数据三维重建，获取原始影像数据；

对原始影像数据与病人位姿进行配准，获得配准后的术前影像数据；

通过光学跟踪视频摄像头获取摄像图像数据；

红外光源发射红外光，光学跟踪视频摄像头探测术区标记点反射的信号，获取眼镜与术区标记点的相对位置关系；

将配准后图像进行虚实融合，获得虚实融合图像，该融合图像输出至显示屏。

本实用新型提供的手术综合视景智能辅助系统利用图像处理组件对图像进行二次配准，进而实现导航图像虚实融合成像，清晰度高，无需使用者在脑中构建叠加效果，可更加有效地辅助使用者准确判断病灶、解剖结构位置；利用语音指令处理组件对使用者语音指令进行识别、反馈，使用者可方便地通过语音指令进行显示内容切换与投射，辅助手术进行，提高了手术效率。

附图说明

图1为本实用新型的一种手术综合视景智能辅助系统的结构示意图。

图2为本实用新型的图像处理组件的结构示意图。

图3为本实用新型的图像处理组件进行图像处理的流程图。

具体实施方式

下面将结合附图对本实用新型的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

本文所述的“术区标记点”是指贴在患者术区皮肤上的标记点。光学手术导航系统在术前需要利用贴在患者皮肤上的标记点(可反射红外光)进行标记点注册，也就是确定手术空间和医学图像空间的映射关系。

本文所述的“原始影像数据”是指病人入院后，通过影像检查设备对术前手术区域相关影像检查获得CT、MRI等结果，采用现有的三维重建软件根据该结果进行目标解剖区域三维重建，获得的三维重建影像数据。利用二维影像数据建立目标区域的三维模型，获得重建图像，使得成像更加直观。

本文所述的“术前影像数据”是对原始影像数据与病人位姿进行配准后获得的。所述的病人拍摄的原始影像及术中使用的特定体位不完全一致，而融合成像需要根据病人体位调整图像融合的角度、图像大小等，以确保成像内容与病人实际位置准确地一一对应。因此，需要进行上述配准。配准的目的是将术前影像数据中不同解剖位置与手术室中病人的位置一一对应。配准需利用眼镜上的摄像头以及设置在术区附近的标记点，基于两者的相对空间位置关系，在CPU中进行数据处理，获得术前影像数据。

本文所述的“图像融合”是指将术前影像数据与摄像拍摄的真实手术场景进行融合，可帮助定位病灶以及一些重要解剖结构等，起到辅助手术操作的作用。传统导航系统使用时主刀医生需从另外的显示屏获得术前重建的图像与当时使用器械的相对位置关系，再将视线移回术区，在脑中构建叠加效果，以辅助判断病灶、解剖结构位置，对部分复杂手术起到一定辅助作用，但并未达到最佳呈现效果。

如图1所示，为一种手术综合视景智能辅助系统的结构示意图，其包含：眼镜10、VR/AR显示屏20、两个红外光源30、两个光学跟踪视频摄像头40、数据接收处理装置50、微型麦克风60及供电元件70。

所述的眼镜10具有镜框11和两镜腿12。

所述的VR/AR显示屏20设置于镜框前，显示屏透明，类似于眼镜镜片。

所述的红外光源30设置于镜框上，用于发射红外光，辅助光学跟踪视频摄像头测距，即测量当佩戴眼镜时，眼镜与术区放置的定位器(即，术区标记点)之间的距离、角度等信息。该信息传送给处理器，处理器根据以上信息，将术前影像重建图像与术中实际所见内容(摄像内容)叠加重合融合成像，即将两幅场景以不同的透明度相融合，便形成了一个增强虚拟现实环境。

所述的光学跟踪视频摄像头40分别设置在两镜腿上，其可以接收术区标记点反射信号，同时能实现常规摄像功能。该光学跟踪视频摄像头用于跟踪术区标记点，探测术区标记点反射的信号，分析获得距离、角度等，以获取相对位置信息。该光学跟踪视频摄像头还同时用于拍摄使用者视线范围内图像，用于后续图像融合；该相对位置是指眼镜与术区标记点的相对位置。

数据接收处理装置50，设置在镜腿两侧摄像头后，相当于CPU，可进行各种运算与指令处理。所述的数据接收处理装置50包含用于接收外界信息的数据接收端口，用于语音指令识别与反馈处理的语音指令处理组件，及，用于图像配准与融合处理的图像处理组件。

所述的数据接收处理装置通过数据传输导线连接VR/AR显示屏20、红外光源30、光学跟踪视频摄像头40及微型麦克风60。

所述的外界信息包括但不限于原始影像数据重建结果，内镜成像内容(来源于术中使用的内镜设备，成像内容无需眼镜参与)，显微镜成像内容(来源于术中使用的显微镜设备，成像内容无需眼镜参与)，病人病历信息、检查结果，基本生命体征监测值等，可利用语音指令进调用、呈现。

在本申请实施例中，作为一示例，可通过蓝牙、WIFI等无线方式实现传输外界数据至数据接收处理装置50。

所述的语音指令是指通过麦克风收集的主刀医生语音指令。所述的语音指令处理，包括语音指令的识别、反馈。已预先设定可识别的语音指令内容，主刀医生通过发出语音指令，实现轻松调整显示屏显示内容。数据接收处理装置识别该语音指令，做出反馈，根据语音指令调整输出不同来源的数据、信息等至显示屏作为显示内容。

如图2所示，所述的数据接收处理装置50包含图像处理组件，该图像处理组件包括：数据导入单元511、图像融合单元512，该图像融合单元512处理后的图像可输出至VR/AR显示屏20。

所述的数据导入单元用于实现数据导入，该数据包含原始影像数据、视频拍摄图像。

所述的图像融合单元用于将视频拍摄图像与术前影像数据配准并进行图像融合。

如图3所示，采用所述的图像处理组件进行图像处理包含以下步骤：

采用三维重建软件将如CT或MRI影像重建，获取原始影像数据。

对原始影像数据与病人位姿进行配准，获得配准后的术前影像数据；原始影像数据与病人位姿配准是确保医学图像空间和手术空间映射关系的准确性。

通过光学跟踪视频摄像头40获取摄像图像数据。

通过红外光源发射红外光，光学跟踪视频摄像头探测术区标记点反射的信号，分析获得距离、角度等，获取眼镜30与术区标记点的相对位置关系。

根据所述相对位置关系对摄像图像数据及术前影像数据配准，目的是为了确保最后融合成像结果准确。通过二次配准实现融合成像位置的准确性，根据相对位置关系调整融合成像内容的大小、角度等。

将配准后图像进行虚实融合，获得虚实融合图像，并可根据语音指令输出至显示屏。

所述的微型麦克风60设在镜腿末端，用于收集语音指令，然后输出至数据接收处理装置50。

所述的供电元件70，用于为VR/AR显示屏20、红外光源30、光学跟踪视频摄像头40、数据接收处理装置50、微型麦克风60提供电源。

在本申请实施例中，作为一示例，所述的数据接收处理装置50可通过无线传输或有线传输获取外界数据信号。

在本申请实施例中，作为一示例，该手术综合视景智能辅助系统还包含：至少一个位置传感器(图中未示，可根据需要设置集成于数据接收处理装置50或供电元件70上)，用于配准后位置变化监测，将位置变化信息传送给CPU(即，数据接收处理装置50)，并据此调整成像效果。具体来说，是用于协助监测眼镜方位变换，以实现调整成像内容、角度。因融合图像需基于不同距离、角度，点对点融合才能进一步确保融合图像的准确性。

在本申请实施例中，作为一示例，所述的位置传感器选择陀螺仪传感器。

在本申请实施例中，作为一示例，所述的位置传感器设在所述的镜腿上。

本实用新型的手术综合视景智能辅助系统使用方法如下：

1.佩戴眼镜，获取原始影像数据与病人位姿配准图像(常规术中导航配准操作)以及眼镜摄像图像；

2.利用眼镜光学追踪摄像对术区附近标志物(例如光学定标球)进行监测，获取眼镜与术区标记点的相对位置信息；

3.根据相对位置关系对位姿配准影像数据及摄像图像进行配准；

4.获得配准后图像，进行图像虚实融合，输出至眼镜显示屏。

具体配准过程由处理器处理，可能需要重复配准操作。使用者需保持手术时视线角度一定时间，可能需要移动视线注视术区多个标志点，并等待一定时间。

语音指令使用方法(语音识别模块可利用现有语音助手等)包含：

1.主刀医生下达语音指令(指令包括：开、关、显示导航融合图像、分屏显示、取消分屏、显示设备x内容等)；

2.语音指令收集；

3.处理模块进行语音指令识别；

4.根据指令，投射相应内容至显示屏。

如语音操作失灵或不方便使用语音时，使用者也可利用外接电脑设备操作显示内容。

综上所述，本实用新型提供的手术综合视景智能辅助系统利用图像处理组件，先对原始影像数据进行配准，以确保医学图像空间和手术空间映射关系的准确性，然后根据所述相对位置关系对摄像图像数据及术前影像数据配准，以确保最后融合成像结果准确。本实用新型通过二次配准实现融合成像位置的准确性，再将配准后图像进行虚实融合，获得虚实融合图像，清晰度高，准确性好，无需使用者在脑中构建叠加效果，可更加有效地辅助使用者准确判断病灶、解剖结构位置；并且使用者可方便地通过语音指令进行显示内容切换与投射，辅助手术进行，提高了手术效率。

尽管本实用新型的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本实用新型的限制。在本领域技术人员阅读了上述内容后，对于本实用新型的多种修改和替代都将是显而易见的。因此，本实用新型的保护范围应由所附的权利要求来限定。

Claims (9)

1.一种手术综合视景智能辅助系统，其特征在于，其包含：

眼镜，其具有镜框和两镜腿；

设置于镜框前的VR/AR显示屏；

设置于镜框上的两个红外光源，用于辅助光学跟踪视频摄像头测距；

分别设置在两镜腿上的两个光学跟踪视频摄像头，用于接收术区标记点反射信号以跟踪术区标记点获取相对位置信息，及，用于拍摄使用者视线范围内图像；

数据接收处理装置，包含用于接收外界信息的数据接收端口，语音指令处理组件，及，图像处理组件；

设在镜腿末端的微型麦克风，用于收集语音指令；及

供电元件，用于提供电源。

2.如权利要求1所述的手术综合视景智能辅助系统，其特征在于，所述的数据接收处理装置通过无线传输或有线传输接收外界信息。

3.如权利要求1所述的手术综合视景智能辅助系统，其特征在于，该系统还包含：至少一个位置传感器，用于协助监测眼镜方位变换。

4.如权利要求3所述的手术综合视景智能辅助系统，其特征在于，所述的位置传感器包含陀螺仪传感器。

5.如权利要求3所述的手术综合视景智能辅助系统，其特征在于，所述的位置传感器设在所述的镜腿上。

6.如权利要求1所述的手术综合视景智能辅助系统，其特征在于，所述的数据接收端口用于接收包括但不限于原始影像数据三维重建结果，内镜成像内容，显微镜成像内容，病人病历信息、检查结果，基本生命体征监测值。

7.如权利要求1所述的手术综合视景智能辅助系统，其特征在于，所述的语音指令处理组件已预先设定可识别的语音指令内容，用于对收集的语音指令的识别与反馈。

8.如权利要求1所述的手术综合视景智能辅助系统，其特征在于，所述的图像处理组件用于图像处理，包括数据导入单元、图像融合单元。

9.如权利要求8所述的手术综合视景智能辅助系统，其特征在于，所述的图像融合单元用于图像配准，以及图像融合，所述的图像融合是指根据相对位置关系对摄像图像及影像数据配准后的图像进行虚实融合。

Images