CN111228656A - 基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及方法 - Google Patents

Abstract

本发明提出了一种基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及方法，该系统包括：混合现实设备，用于采集治疗室内的空间信息及患者图像，并将提供指示信息的虚拟影像界面叠加到真实场景；服务器，与所述混合现实设备通信连接，向所述混合现实设备发送指示信息，接收所述混合现实设备采集实施过程图像，判断实施过程是否满足质量要求，将判断结果发送至所述混合现实设备。本发明在不改变现有工作流程的情况下，实现放疗摆位和治疗实施的智能化全程质量控制。在放疗摆位中进行全程智能化指导、检验和记录，实现无纸化办公，并可全程追溯；在治疗实施中，实现全程智能化患者监控，避免人为监控的疏漏。

Description

基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及 方法

技术领域

本发明属于智能医疗领域，涉及放疗外照射技术，具体涉及一种基于虚拟智能医疗平台的放疗外照射治疗实施质控系统及方法。

背景技术

恶性肿瘤是严重危害人类健康的重大慢性疾病，已成为我国城市居民第一死亡原因，农村居民第二位死亡原因。放疗作为肿瘤局部治疗的主要手段之一，在肿瘤治疗中的作用越来越重要，约50-70％的患者在其病程的某个阶段需要采用放射治疗。

放射治疗流程包括放射治疗决策、放疗定位、靶区勾画和治疗方案设计、、治疗实施等步骤。其中治疗实施包含治疗室摆位与加速器出束是保证放射治疗精准性的关键步骤，需要放疗医师、物理师、放疗技师等专业人员的通力合作才能完成。

现有技术中治疗室摆位的过程为，患者进入治疗室前，技师通过扫描枪扫描腕带二维码或者条形码读取患者信息，核对通过后，患者进入治疗室。取患者的固定装置放在治疗床上，按照治疗单要求固定患者。核对固定装置标识与患者信息一致，并注意核对该患者定位时采用的固定装置的各项参数信息。按照治疗单的参数要求，调整治疗床及患者位置，使激光十字线与固定装置标记、患者体表十字线对准重合。打开光距尺，核对源皮距。打开光野，粗略估计照射野与肿瘤位置关系。摆位流程结束。

现有技术中放射治疗实施过程为：技师通常通过监控视频密切观察患者在治疗过程中的一切表现，如果病人有异常反应或者非常规动作，那么现场的技师就要及时做出应对措施，包括但不限于停止治疗、呼叫主治医师等。

由此可见，治疗室摆位过程中人为误差不可避免。如患者信息核对错误、错拿固定装置、错误设置固定装置参数、误读治疗单参数、十字线对位不达标就进行治疗等等情况均可能发生，甚至不可避免。需要纸质治疗单提供摆位信息，有纸质记录，无影像记录，对过程无法追溯。摆位操作凭借经验，全凭责任心，无法监管，质量无法保证。

此外，由于定位设备和治疗设备分离，定位技师和治疗技师的技术差异和责任心等人为因素使摆位的准确性受到极大的影响。如何实现摆位流程的质量控制是提高治疗精度(在保证靶区治疗效果的同时减少放疗不良反应)的关键问题之一。

而且，固定装置种类很多，每位患者都有自己专属的体位固定装置，存在治疗时错用固定装置的情况。为减少摆位人为误差，实行两位技师双检验制度，但人为误差仍无法完全避免，且摆位时间较长。在摆位过程中，需要依照打印的纸质治疗单，操作不便，且存在误读可能性。

在放射治疗实施过程中，技师通常通过监控视频观察病人在治疗过程中的状态和动作，如果病人在治疗过程中有任何异常情况发生，那么技师需要及时停止病人的治疗或做出应对措施。这种行为监控方式存在非常大的缺陷，由于技师不能全程集中注意力注视监视屏幕，可能会误判或错过患者的异常表现、肢体活动、躯体移动，导致治疗风险。

此外，因为人的主观意识和经验的影响，在治疗实施过程中，技师可能无法对病人的一些细微动作和反应做出正确判断。无法做到全程注意力高度集中，不间断的关注患者行为，当患者发生异常情况未及时处理，导致严重后果的可能。在治疗实施中，需要精确病人保持治疗位置，不能移动，否则会产生治疗偏差；但是现有技术方案中主要靠人眼观察，可能会错过或误判患者体位变化，导致疗效下降，副反应增加。

因此，有必要设计一种放疗外照射治疗实施质控方法，实现放疗摆位和治疗实施的智能化全程质量控制。

发明内容

本发明提供了一种基于虚拟智能医疗平台的放疗外照射治疗实施质控系统。目的是在不改变现有工作流程的情况下，实现放疗摆位和治疗实施的智能化全程质量控制。在放疗摆位中进行全程智能化指导、检验和记录，实现无纸化办公，并可全程追溯；在治疗实施中，实现全程智能化患者监控，避免人为监控的疏漏。

根据本发明的一个方面，提供一种基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，该系统包括：

混合现实设备，用于采集治疗室内的空间信息及患者图像，并将提供指示信息的虚拟影像界面叠加到真实场景；

服务器，与所述混合现实设备通信连接，向所述混合现实设备发送指示信息，接收所述混合现实设备采集实施过程图像，判断实施过程是否满足质量要求，将判断结果发送至所述混合现实设备。

进一步地，所述服务器向所述混合现实设备发送患者信息和摆位信息，所述混合现实设备采集摆位后的十字线图像并发送至所述服务器，所述服务器判断十字线重合度，将判断结果发送至所述混合现实设备。

进一步地，该系统还包括体感摄影装置，用于实时获取患者的动作姿态，并将患者的动作姿态数据发送至所述服务器。

进一步地，所述服务器将患者的动作姿态数据输入人体特定动作识别的模式识别库，识别患者的特定动作，如果发现患者的做出特定动作，则判断患者出现异常情况，服务器发出警告，和/或直接启动系统规定的处理流程。

进一步地，所述服务器提取患者信息和摆位信息，将患者信息和摆位信息生成描述数据信息的Json文件发送至所述混合现实设备；

所述混合现实设备对Json文件进行解析，确认界面初始位置后，在所述混合现实设备中显示。

进一步地，所述服务器将接收的十字线图像输入神经网络进行识别，判断十字线重合度，若小于等于预设精度，系统不做提示，若大于预设精度，服务器向所述混合现实设备发出提示信息，提示技师重新摆位，直至摆位精度达到要求。

进一步地，通过所述混合现实设备的摄像头采集人脸画面发送给所述服务器，所述服务器通过AdaBoost算法进行人脸检测，通过卷积神经网络进行人脸识别，验证患者身份。

进一步地，通过所述混合现实设备的摄像头扫描验证固定装置的二维码信息。

进一步地，所述服务器记录放疗外照射治疗实施过程中的全部数据及影像。

根据本发明的另一方面，提供一种基于虚拟智能医疗平台的放疗外照射治疗实施质控方法，该方法包括：

服务器提取患者信息和摆位信息，将患者信息和摆位信息发送至混合现实设备；

技师通过所述混合现实设备获得患者的摆位信息，并按照摆位信息进行摆位；

所述混合现实设备采集十字线图像，发送至所述服务器；

所述服务器判断十字线重合度，将判断结果发送至所述混合现实设备，提示技师摆位是否准确。

进一步地，所述服务器判断十字线重合度，若小于等于预设精度，系统不做提示，若大于预设精度，服务器向所述混合现实设备发出提示信息，提示技师重新摆位，直至摆位精度达到要求。

进一步地，该方法还包括：

利用体感摄影装置实时获取患者的动作姿态，并将患者的动作姿态数据发送至所述服务器；

所述服务器识别患者的特定动作，如果发现患者的做出特定动作，则判断患者出现异常情况，服务器发出警告，和/或直接启动系统规定的处理流程。

本发明在基本不改变现有放疗流程的情况下，静默完成患者身份确认、固定装置确认、固定体膜确认、激光十字线与体表十字线对准确认工作，避免了人为错误问题，有利于保证放射治疗计划最终执行效果。

本发明使用方便，操作简单，形成了可审查的放疗流程记录，对于医生分析治疗效果提供了重要数据，具有重要意义，而且在放疗任意阶段均无需再携带纸质治疗单，所需信息一目了然，提高了整体效率。

在治疗实施阶段，解决现有技术方案中的无法实时监控和高精度监控问题，不不存在“离开一会儿”、“走神”等问题，避免了因为人为疏忽或主观判断带来的失误和严重后果，让病人得到更好的看护和第一时间的帮助和救治，提高放射治疗效果，降低患者发生意外的概率。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1是根据本发明的基于虚拟智能医疗平台的放疗外照射治疗实施质控方法的流程图。

图2是根据本发明实施例的摆位阶段流程图。

图3是根据本发明实施例的Azure Kinect部署示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

虚拟智能(VI，VirtualIntelligent)医疗平台，以虚拟现实、增强现实、混合现实等全息技术和人工智能与大数据等技术为基础构建的智能化医疗平台，用于辅助和指导有创、微创、无创临床诊断和治疗过程，可应用于包括但不限于外科、内科、放疗科、介入科等领域。本发明属于是虚拟智能医疗平台应用的一部分。

本发明提供了一种基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，该系统包括：

混合现实设备，用于采集治疗室内的空间信息及患者图像，并将提供指示信息的虚拟影像界面叠加到真实场景；

服务器，与所述混合现实设备通信连接，向所述混合现实设备发送指示信息，接收所述混合现实设备采集实施过程图像，判断实施过程是否满足质量要求，将判断结果发送至所述混合现实设备。

所述服务器向所述混合现实设备发送各种治疗相关的信息或者提示信息，在混合现实设备中显示为虚拟影像界面。具体地，所述服务器向所述混合现实设备发送患者信息和摆位信息，所述混合现实设备采集摆位后的十字线图像并发送至所述服务器，所述服务器判断十字线重合度，将判断结果发送至所述混合现实设备。

具体地，服务器将接收的十字线图像输入神经网络进行识别，判断十字线重合度，若小于等于预设精度，系统不做提示，若大于预设精度，服务器向所述混合现实设备发出提示信息，提示技师重新摆位，直至摆位精度达到要求。

本发明通过云端架构服务器，混合现实设备与服务器端可通过不同方式实现连接。例如，可通过WLAN无线网络进行连接，可通过接入互联网的路由器进行连接，或者可通过4G或5G接入移动通信网络进行连接。本发明提供的多种网络连接方式大大提升了系统的普适性和即时性。

本发明通过利用混合现实设备采集真实场景图像，并显示服务器发出的指示信息，将其叠加在真实图像上。具体地，在摆位过程中，服务器将患者信息和摆位信息发送至混合现实设备，摆位信息包括用于对准的十字线，混合现实设备显示激光十字线，将其叠加在患者体表十字线上，辅助技师完成患者的摆位工作。技师需要将混合现实设备显示的激光十字线与患者体表十字线对准，并获取十字线图像发送至服务器确认对准是否完成，避免了人为错误问题，有利于保证放射治疗计划最终执行效果。

具体地，服务器提取患者信息和摆位信息，将患者信息和摆位信息生成描述数据信息的Json文件发送至所述混合现实设备；混合现实设备对Json文件进行解析，确认界面初始位置后，在所述混合现实设备中显示。

此外，通过所述混合现实设备的摄像头采集人脸画面发送给所述服务器，所述服务器通过AdaBoost算法进行人脸检测，通过卷积神经网络进行人脸识别，验证患者身份。

此外，通过所述混合现实设备的摄像头扫描验证固定装置的二维码信息。由于固定装置是针对每个患者都是不同的，放疗室具有很多组固定装置。每个固定装置设置有二维码，包含了患者信息。验证通过，可进行下一步操作；验证不通过，提醒技师重新核对固定装置，再次验证。由此避免了用错固定装置。

进一步地，该系统还包括体感摄影装置，用于实时获取患者的动作姿态，并将患者的动作姿态数据发送至所述服务器。所述服务器将患者的动作姿态数据输入人体特定动作识别的模式识别库，识别患者的特定动作，如果发现患者的做出特定动作，则判断患者出现异常情况，服务器发出警告，和/或直接启动系统规定的处理流程。

此外，本发明还利用虚拟空间定位技术。具体地，利用SLAM技术在真实世界附加永久空间定位点，并将SLAM信息坐标信息与该定位点绑定，映射空间关系后，可启用基于混合现实的寻路和定位功能，侦测与目标点实时位置关系。流程中实时监控技师位置，当技师离开治疗室时，自动结束流程记录，上传至数据库。本发明的服务器记录与治疗相关的全部数据和过程影像，实现无纸化办公，并可全程追溯。

本发明以虚拟智能医疗平台为基础，综合利用混合现实技术、人脸识别技术、十字线重合检测技术、虚拟空间定位技术、人体跟踪技术，构建放疗外照射质控系统。本发明在基本不改变现有放疗流程的情况下，静默完成患者身份确认、固定装置确认、固定体膜确认、激光十字线与体表十字线对准确认工作，避免了人为错误问题，有利于保证放射治疗计划最终执行效果。

如图1所示，本发明的基于虚拟智能医疗平台的放疗外照射治疗实施质控方法包括：

服务器提取患者信息和摆位信息，将患者信息和摆位信息发送至混合现实设备；

技师通过所述混合现实设备获得患者的摆位信息，并按照摆位信息进行摆位；

所述混合现实设备采集十字线图像，发送至所述服务器；

所述服务器判断十字线重合度，将判断结果发送至所述混合现实设备，提示技师摆位是否准确。

进一步地，所述服务器判断十字线重合度，若小于等于预设精度，系统不做提示，若大于预设精度，服务器向所述混合现实设备发出提示信息，提示技师重新摆位，直至摆位精度达到要求。

本发明通过利用混合现实设备，显示服务器发出的摆位信息，混合现实设备显示激光十字线，将其叠加在真实场景上，辅助技师完成患者的摆位工作。技师需要将混合现实设备显示的激光十字线与患者体表十字线对准，并获取十字线图像发送至服务器确认对准是否完成，避免了人为错误问题，有利于保证放射治疗计划最终执行效果。

进一步地，该方法还包括：利用体感摄影装置实时获取患者的动作姿态，并将患者的动作姿态数据发送至所述服务器；所述服务器识别患者的特定动作，如果发现患者的做出特定动作，则判断患者出现异常情况，服务器发出警告，和/或直接启动系统规定的处理流程。

在治疗实施阶段，利用多台体感摄影装置实时获取患者的动作姿态，服务器将患者的动作姿态数据输入人体特定动作识别的模式识别库，识别患者的特定动作。有效解决了现有技术方案中的无法实时监控和高精度监控问题，避免了因为人为疏忽或主观判断带来的失误和严重后果，让病人得到更好的看护和第一时间的帮助和救治，提高放射治疗效果，降低患者发生意外的概率。

为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。

图2是根据本发明实施例的摆位阶段流程图。如图2所示，摆位阶段流程如下：

首先，技师佩带混合现实设备，通过混合现实设备接收服务器的指令信息。

通过利用混合现实设备的摄像头扫描患者面部，将面部信息发送至服务器，通过人脸识别验证患者身份。验证通过，患者进入治疗室，进行下一步操作；验证不通过，服务器通过混合现实设备提醒技师重新核对患者，再次验证。

通过利用混合现实设备的摄像头扫描固定装置的二维码，将二维码信息发送至服务器，服务器验证固定装置是否正确。验证通过，可进行下一步操作；验证不通过，服务器向混合现实设备发出提醒，技师需要重新核对固定装置，再次验证。

服务器默认开启录像功能记录摆位流程。

服务器向混合现实设备发送患者信息及摆位必要信息。技师按照混合现实设备显示的摆位信息进行摆位，将虚拟图像中的十字线与患者身体的十字线对准。

混合现实设备将十字线图像发送至服务器，服务器进行十字线重合检测，验证摆位结果，验证通过，可进行下一步操作；验证不通过，服务器向混合现实设备发出提醒，要求技师重新摆位，直至验证通过。

服务器向混合现实设备发送移床参数，技师按照混合现实设备中显示的移床参数进行移床。

服务器向混合现实设备发送皮源距，技师按照混合现实设备中显示的数据核对皮源距。

摆位流程结束，技师走出治疗室，录像结束，文件上传至服务器。

图3是根据本发明实施例的Azure Kinect部署示意图。如图3所示，在本实施例中，体感摄影装置为Azure Kinect设备。在治疗室环境中架设安装Azure Kinect设备，可以使用一台或多台。本实施例中使用三台Azure Kinect设备，面向患者方位。每台Kinect设备将ToF和红外镜头收集到的数据通过网络实时传递到服务器，服务器则根据数据的不同类型(深度数据、灰度数据、RGB数据等)分发到不同的处理逻辑。Azure Kinect设备采用了边缘计算技术，侦测目标点的所有数据都会统一计算完成后，再传输到服务器。服务器将处理完的数据在基于人工智能的模式识别库中进行监测，将人体部分进行识别、分离，提取出人体动作跟踪关键点，即骨骼关节点。根据计算识别得到的骨骼关节点，可以得到人体的运动学建模，同时由于Azure Kinect设备是实时传输监测数据，所以在本发明系统中可以对人体进行实时的运动学模拟。

具体地，可以通过人体体表建模硬件设备进行人体体表建模，硬件设备部署于人体进行动作跟踪，人体体表建模主要应用Azure Kinect设备传回的ToF数据。ToF是Time ofFlight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。ToF传输到服务器的数据即为每个光脉冲点的返回时间集合，根据该集合，可构建以Azure Kinect为坐标中心的三维坐标矩阵，该三维坐标矩阵即为目标人体的体表及周边环境的表面点云矩阵表达集合。本发明系统具备经过机器学习训练的人体轮廓识别的模式识别库，将点云矩阵输入该模式识别库进行运算，输出经过校正的人体轮廓内体表点云矩阵表达集合，对系统运算的实时运动学模拟进行监测。Azure Kinect是将ToF实时传输到服务器的，所以服务器可以计算出实时的人体体表模型，实时地识别人体动作。如果发现某特定动作(如举手)在运动学计算上一致，本发明系统自动判断侦测对象即病人举手，判断侦测对象即病人出现异常情况，立即对医师或护理人员的客户端应用发出警告，并直接启动系统规定的自动化处理流程，如向停止放疗加速器照射，或向主治医师发送短信、电话等。

本发明整个系统实现放疗过程监控的自动化，能够尽量减少人为因素判断的影响，避免人为因素造成的错误。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，其特征在于，该系统包括：

混合现实设备，用于采集治疗室内的空间信息及患者图像，并将提供指示信息的虚拟影像界面叠加到真实场景；

服务器，与所述混合现实设备通信连接，向所述混合现实设备发送指示信息，接收所述混合现实设备采集实施过程图像，判断实施过程是否满足质量要求，将判断结果发送至所述混合现实设备。

2.根据权利要求1所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，其特征在于，所述服务器向所述混合现实设备发送患者信息和摆位信息，所述混合现实设备采集摆位后的十字线图像并发送至所述服务器，所述服务器判断十字线重合度，将判断结果发送至所述混合现实设备。

3.根据权利要求1所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，其特征在于，该系统还包括体感摄影装置，用于实时获取患者的动作姿态，并将患者的动作姿态数据发送至所述服务器。

4.根据权利要求3所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，其特征在于，所述服务器将患者的动作姿态数据输入人体特定动作识别的模式识别库，识别患者的特定动作，如果发现患者的做出特定动作，则判断患者出现异常情况，服务器发出警告，和/或直接启动系统规定的处理流程。

5.根据权利要求2所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，其特征在于，所述服务器将接收的十字线图像输入神经网络进行识别，判断十字线重合度，若小于等于预设精度，系统不做提示，若大于预设精度，服务器向所述混合现实设备发出提示信息，提示技师重新摆位，直至摆位精度达到要求。

6.根据权利要求1所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，其特征在于，通过所述混合现实设备的摄像头采集人脸画面发送给所述服务器，所述服务器通过AdaBoost算法进行人脸检测，通过卷积神经网络进行人脸识别，验证患者身份。

7.根据权利要求1所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控系统，其特征在于，所述服务器记录放疗外照射治疗实施过程中的全部数据及影像。

8.一种基于虚拟智能医疗平台的放疗外照射治疗实施质控方法，其特征在于，该方法包括：

服务器提取患者信息和摆位信息，将患者信息和摆位信息发送至混合现实设备；

技师通过所述混合现实设备获得患者的摆位信息，并按照摆位信息进行摆位；

所述混合现实设备采集十字线图像，发送至所述服务器；

所述服务器判断十字线重合度，将判断结果发送至所述混合现实设备，提示技师摆位是否准确。

9.根据权利要求8所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控方法，其特征在于，所述服务器判断十字线重合度，若小于等于预设精度，系统不做提示，若大于预设精度，服务器向所述混合现实设备发出提示信息，提示技师重新摆位，直至摆位精度达到要求。

10.根据权利要求8所述的基于虚拟智能医疗平台的放疗外照射治疗实施质控方法，其特征在于，该方法还包括：

利用体感摄影装置实时获取患者的动作姿态，并将患者的动作姿态数据发送至所述服务器；

所述服务器识别患者的特定动作，如果发现患者的做出特定动作，则判断患者出现异常情况，服务器发出警告，和/或直接启动系统规定的处理流程。

Images