CN114237400A - 一种picc现实增强系统、现实增强方法及移动终端 - Google Patents

Abstract

本发明提供了一种PICC现实增强系统、现实增强方法及移动终端，所述仿真系统至少包括AR虚拟交互模块；所述AR虚拟交互模块，被配置为：根据操作手臂的特征点标记结果，进行手动位置和图像画面的同步，结合预置的血管超声影像，进行AR虚拟交互显示；本发明通过嵌入AR虚拟交互模块，实现了更好的PICC现实增强培训，提高了培训效率和培训效果。

Description

一种PICC现实增强系统、现实增强方法及移动终端

技术领域

本发明涉及医疗设备技术领域，特别涉及一种PICC现实增强系统、现实增强方法及移动终端。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

随着医疗技术的不断发展，经外周静脉置入中心静脉导管(PeripherallyInserted Central Catheters，PICC)因操作简单、穿刺成功率高、留置时间长、并发症少等优点在临床上得到越来越广泛的应用。PICC利用导管从上肢贵要静脉、头静脉、肱静脉等血管穿刺置入，尖端直达上腔静脉或下腔静脉，避免化疗药物与外周血管的直接接触。此外，大静脉的血流速度很快，可以迅速稀释输注的药液，从而减少对血管的刺激。因此，PICC是一项有效保护上肢静脉，减少静脉炎发生，减轻患者疼痛，提高患者生命质量的操作。因各地医疗水平发展不一致，医疗体制不健全等原因，PICC的完整操作流程尚无统一的规范。

发明人发现，PICC过程中，教学和操作练习的成本较高，医护人员的学习压力较大，具体困难主要包含以下几个方面：

第一，PICC作为一项专科操作技能，只有从事相关工作的人员才能获取相关知识，且临床实践教学内容较为繁琐。

第二，获取PICC资质的人员认证要求较为严格，每年需要的资质认证人员众多，教学和考试的压力巨大，且考核过程中涉及的操作细节较为琐碎复杂，体系化结构并不明显。

第三，操作过程中所使用的医疗用具繁多，且无菌物品无法重复使用，学习成本相对较高。在PICC的操作过程中，需要助手协助以保证无菌环境最大化，一般无法单人练习。各个环节操作过程中，演示教学难度大、风险高，且需要时间及地点的高度集中，无法实现操作细化。

发明内容

为了解决现有技术的不足，本发明提供了一种PICC现实增强系统、现实增强方法及移动终端，通过嵌入AR虚拟交互模块，实现了更好的PICC现实增强培训，提高了培训效率和培训效果。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种PICC现实增强系统，至少包括AR虚拟交互模块；

所述AR虚拟交互模块，被配置为：

根据操作手臂的特征点标记结果，进行手动位置和图像画面的同步，结合预置的血管超声影像，进行AR虚拟交互显示。

进一步的，所述AR虚拟交互模块，还被配置为：

根据预置的血管超声影像与压感数据的对应关系，进行不同压感数据下超声图像的显示。

进一步的，所述AR虚拟交互模块，还被配置为：

将仿真探头移动与屏幕表面像素关联，在选择定点的情况下，在移动终端显示屏上移动得到的数据经过映射关系，将数据返回至手臂；

通过数据返回像素位置与血管超声视频实现帧的关联，对操作过程中涉及到的所有数据进行调整。

进一步的，所述AR虚拟交互模块，还被配置为：

根据预置的手臂血管分离图像数据，在预设操作下，进行动静脉分布的显示。

进一步的，还包括操作流程展示模块；

所述操作流程展示模块，被配置为：按步骤进行PICC置管流程的音视频展示，且首次注册用户第一次观看时全部步骤或者部分步骤只支持按顺序展示，第二次观看时支持步骤选择。

进一步的，步骤选择时，可对流程简介和流程概览进行操作切换，流程简介对当前操作步骤要点进行介绍，流程概览显示置管部分全部流程，每一步骤均包括概览图、时长、播放量和视频内容。

进一步的，场景设计采用强空间化结构，将场景内的非人物要素压缩为统一背景，保留人物平面设计要素，使用灰域标定位置；

动作设计使用降速演示，在对标准操作流程进行特征抽取后，标记操作中的重点位置，对操作手法的轨迹进行展示，实现源内容重定向。

进一步的，还包括器材模型展示模块；

所述器材模型展示模块，被配置为：对预存储的医疗模型进行展示，初次进入时出现新手教学模块，通过点选相应列表项切换至不同的医疗模型，能够用于在场景内对模型的观察，能够实现用户与模型的交互，包括但不限于缩放、移动、旋转和动画播放。

本发明第二方面提供了一种PICC现实增强方法。

一种PICC现实增强方法，包括以下三个步骤，且各个步骤的顺序可调换：

步骤(1)：按步骤进行PICC置管流程的音视频展示，且首次注册用户第一次观看时全部步骤或者部分步骤只支持按顺序展示，第二次观看时支持步骤选择；

步骤(2)根据操作手臂的特征点标记结果，进行手动位置和图像画面的同步，结合预置的血管超声影像，进行AR虚拟交互显示；

仿真探头移动与屏幕表面像素关联，在选择定点的情况下，在移动终端显示屏上移动得到的数据经过映射关系，将数据返回至手臂；

通过数据返回像素位置与血管超声视频实现帧的关联，对操作过程中涉及到的所有数据进行调整；

步骤(3)对预存储的医疗模型进行展示，初次进入时出现新手教学模块，通过点选相应列表项切换至不同的医疗模型，能够用于在场景内对模型的观察，能够实现用户与模型的交互，包括但不限于缩放、移动、旋转和动画播放。

本发明第三方面提供了一种移动终端，包括：本发明第一方面所述的PICC现实增强系统；

或者，利用本发明第二方面所述的PICC现实增强方法。

与现有技术相比，本发明的有益效果是：

1、本发明所述的PICC现实增强系统、现实增强方法及移动终端，嵌入AR虚拟交互模块，实现了更好的PICC现实增强培训，提高了培训效率和培训效果。

2、本发明所述的PICC现实增强系统、现实增强方法及移动终端，结合临床护理人员经验，使用PICC实际操作视频，参照PICC考核标准，总结了PICC操作流程中的重点及难点，对涉及内容进行合理重组，实现了虚拟仿真和实训教学的优势互补，达到实训教学资源的优化及培训教学质量的提高。

3、本发明所述的PICC现实增强系统、现实增强方法及移动终端，整理细分操作重难点后，嵌入增强现实互动体验，采样一线护士技能训练大数据，形成一套医学护理实操训练系统。总细分PICC操作为置管、维护、拔管共三部分操作规范。

4、本发明所述的PICC现实增强系统、现实增强方法及移动终端，使用云数据服务支撑，实时计算、实时更新，利用大数据分析报表的同时，综合多种病情、案例、场景仿真情况丰富用户实操经验，提高了教学的投入产出比，以图文形式高清还原临床信息及专辑论证操作文案，使用一线高专护士的主视角操作录像定制训练内容，提高了仿真培训的准确度。

5、本发明所述的PICC现实增强系统、现实增强方法及移动终端，针对不同用户，在后端云服务中设立独立信息收集空概念，根据用户的学习情况及实操行为生成训练报告及专项实操计划，并将统计信息汇总至产品中枢，实现了学习操作的标度管理。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的PICC过程流程示意图。

图2为本发明实施例1提供的模型交互部分效果图一。

图3为本发明实施例1提供的模型交互部分效果图二。

图4为本发明实施例1提供的模型交互部分效果图三。

图5为本发明实施例1提供的模型交互部分效果图四。

图6为本发明实施例1提供的模型交互部分效果图五。

图7为本发明实施例1提供的模型交互部分效果图六。

图8为本发明实施例1提供的AR交互部分效果图一。

图9为本发明实施例1提供的AR交互部分效果图二。

图10为本发明实施例1提供的AR交互部分效果图三。

图11为本发明实施例1提供的AR交互部分效果图四。

图12为本发明实施例1提供的AR交互部分效果图五。

图13为本发明实施例1提供的AR交互部分效果图六。

图14为本发明实施例1提供的流程效果图一。

图15为本发明实施例1提供的流程效果图二。

图16为本发明实施例1提供的流程效果图三。

图17为本发明实施例1提供的流程效果图四。

图18为本发明实施例1提供的流程效果图五。

图19为本发明实施例1提供的流程效果图六。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1：

本发明实施例1提供了一种PICC现实增强系统，至少包括AR虚拟交互模块；

所述AR虚拟交互模块，被配置为：

根据操作手臂的特征点标记结果，进行手动位置和图像画面的同步，结合预置的血管超声影像，进行AR虚拟交互显示。

所述AR虚拟交互模块，还被配置为：

根据预置的血管超声影像与压感数据的对应关系，进行不同压感数据下超声图像的显示。

所述AR虚拟交互模块，还被配置为：

将仿真探头移动与屏幕表面像素关联，在选择定点的情况下，在移动终端显示屏上移动得到的数据经过映射关系，将数据返回至手臂；

通过数据返回像素位置与血管超声视频实现帧的关联，对操作过程中涉及到的所有数据进行调整。

所述AR虚拟交互模块，还被配置为：

根据预置的手臂血管分离图像数据，在预设操作下，进行动静脉分布的显示。

还包括操作流程展示模块；

所述操作流程展示模块，被配置为：按步骤进行PICC置管流程的音视频展示，且首次注册用户第一次观看时全部步骤或者部分步骤只支持按顺序展示，第二次观看时支持步骤选择。

步骤选择时，可对流程简介和流程概览进行操作切换，流程简介对当前操作步骤要点进行介绍，流程概览显示置管部分全部流程，每一步骤均包括概览图、时长、播放量和视频内容。

场景设计采用强空间化结构，将场景内的非人物要素压缩为统一背景，保留人物平面设计要素，使用灰域标定位置；

动作设计使用降速演示，在对标准操作流程进行特征抽取后，标记操作中的重点位置，对操作手法的轨迹进行展示，实现源内容重定向。

还包括器材模型展示模块；

所述器材模型展示模块，被配置为：对预存储的医疗模型进行展示，初次进入时出现新手教学模块，通过点选相应列表项切换至不同的医疗模型，能够用于在场景内对模型的观察，能够实现用户与模型的交互，包括但不限于缩放、移动、旋转和动画播放。

本实施例所述系统，应用于移动智能终端，App前端使用Unity 3D引擎开发，基于Maya建模设计医疗器材模型，基于Adobe Illustrator、Animate设计动画交互视频，AR识别采用了EasyAR相关的技术支撑，配合Unity脚本编程实现人机交互；App后端借助虚拟容器引擎Docker以及高性能Web服务，提供了稳定、安全的鉴权认证、数据加工以及资源更新。

具体的，系统构建包括以下部分：

(1)流程部分：由临床高专护士拍摄多版本不同的操作过程，收集整理患者信息，将全流程整理成通用话术，话术中分设有四位角色设定，将流程过程设计交互化。四位人物分别为：旁白叙述者、主要操作护士、辅助操作助手、需置管操作的患者。

在旁白叙述时主要进行操作背景介绍，用于情景引入。主要操作护士为患者进行PICC操作。在操作过程中进行血管评估、导管置入等主要操作。辅助操作助手负责辅助，主要辅助操作护士进行器材拆取、丢弃等操作，从而保证无菌环境的最大化。需制作操作的患者为置管对象。在对主视角录像进行采样后使用MG动画描述流程推进。实现MG动画使用专业设计软件进行视频制作，融合了平面设计、动画设计、电影脚本语言等内容。

MG动画的叙述优势在于表现形式丰富多样、包容性极强，在交互式流程的设计过程中可实现叙事性内容定制。动画内容制作中主要包括人物设计、场景设计、动作设计、仿真设计四部分。人物设计遵循术中要求，其中，护士形象统一标定为圆筒帽、长裤，还原置管操作过程中最大面积无菌化的要求。旁白作为虚拟人物不在流程中出现实际形象。患者形象遵循入院治疗基本要求，配有手腕条、床头卡、病号服等信息。

场景设计采用强空间化结构，将场景内的非人物要素压缩为统一背景，保留人物平面设计要素。使用灰域标定位置，以营造视觉统一，强化观感，减少无关跳动。动作设计使用降速演示，在对标准操作流程进行特征抽取后，标记操作中的重点位置，对操作手法的轨迹进行展示，实现源内容重定向。使用平面二维制作软件定位关键特征，对MG动画中涉及的医疗器械进行一比一特征还原，保证制作还原的原始性及关键要素的初始度。

主流程界面(以下简称“主菜单”)分为三个主要部分，操作流程主要观看部分、模型仿真部分、AR交互操作部分。操作流程部分(以下简称“操作”)分为置管流程、维护流程及拔除流程。初次进入主菜单时，系统出现“新手教学”环节，对初次使用的用户进行操作引导。初次进入三个流程操作时也将出现“新手教学”环节。置管操作界面共分为两部分：视频播放区域、流程选择区域。其中，流程选择区域为类选项合并，可对流程简介、流程概览进行操作切换，同时在界面底部还设有功能扩展按钮。视频播放区域分为功能键、画面显示区、进度显示区域。功能键包括返回键(绑定设备物理键)、全屏、播放及暂停按钮。

其中，使用返回键可从流程详情页面回退至主菜单界面。全屏按钮可以调整视频播放区域比例至全屏显示，便于用户对画面整体细节进行学习。播放与暂停按钮可以控制视频播放状态，实现视频状态切换功能。画面显示区用于显示动画内容，双击视频区域可暂停视频播放，等同播放及暂停按钮的切换操作。进度显示区域为进度条，与视频长度绑定，拖动进度条可改变视频播放进度。视频播放部分有相应时长显示，便于用户规划视频流程的总体时间，也便于后期的数据统计行为。流程选择区域分为流程简介、流程概览、扩展功能部分。

流程简介部分对当前操作步骤要点进行介绍，该部分内容可根据步骤流程进行修改。流程概览部分显示了置管部分全部流程。

每一步骤包含四部分：概览图、时长、播放量和视频内容。其中，视频播放量以初始累计形式进行数量叠加计算，流程内容显示部分可对内容进行折叠。扩展功能部分共包含三类按钮：AR互动标识、真人视频切换标识、跳过标识。其中，AR互动标识可直接跳转至AR交互界面。真人视频切换标识可切换动画流程及主视角录像，切换完成后“真人视频”按钮转换为“动画视频”。跳过标识在视频加载完成开始播放3s后显示，已经掌握当前步骤操作要点的用户可以直接进入下一步骤。待全部步骤学习完成后，用户可点选任意步骤进行内容观看。数据统计将分类计入数据分析显示。

如图1所示，具体的流程包括以下步骤：

步骤1：检查仪容仪表；

步骤2：七步洗手；

步骤3：戴帽子和口罩；

步骤4：查对医嘱；

步骤5：确认知情同意书；

步骤6：核对患者信息，包括床号、姓名和腕带信息；

步骤7：协助患者戴口罩和帽子；

步骤8：检查物品和有效期；

步骤9：向患者解释操作步骤；

步骤10：评估患者病情(病情、皮肤、血管和肢体活动情况)

步骤11：清洁皮肤，贴电极片(具体位置)；

步骤12：连接心电监护仪，保存体表心电图；

步骤13：调整患者体位，垫治疗巾；

步骤14：涂抹耦合剂，超声评估血管(首选主要静脉)；

步骤15：测量置管长度和上臂围；

步骤16：洗消手，打开置管包，垫治疗巾，戴无菌手套；

步骤17：消毒患者置管手臂；

步骤18：垫治疗巾，放置无菌止血带；

步骤19：脱手套，洗消手，穿无菌手术衣，戴新手套；

步骤20：为患者铺无菌大单和孔单；

步骤21：准备物品，检查导管完整性；

步骤22：涂抹耦合剂在探头，套无菌保护套；

步骤23：再次评估血管，确认穿刺点，系无菌止血带；

步骤24：选择导针假并安装在探头上(确定导针架型号)；

步骤25：超声引导穿刺血管；

步骤26：送入导丝；

步骤26-1：观察回血；

步骤26-2：分离针与导针架；

步骤26-3：降低穿刺针角度，送入导丝；

步骤26-4：撤出穿刺针，保留导丝；

步骤27：穿刺点局麻、扩皮；

步骤27-1：穿刺点局麻；

步骤27-2：沿导丝向外扩皮；

步骤28：扩张器和导入鞘沿导丝送入血管；

步骤29：垫无菌纱布；

步骤30：撤出导丝和扩张器，按压导入鞘前端；

步骤31-1：缓慢匀速送管；

步骤31-2：嘱咐病人向穿刺侧转头，下颌贴近同侧肩部；

步骤31-3：均匀送入导管至预测长度；

步骤31-4：嘱咐患者头回位；

步骤31-5：撤出导入鞘；

步骤32：PICC尖端心腔内电图定位；

步骤32-1：切换为心电图模式；

步骤32-2：连接无菌心电导联线；

步骤32-3：缓慢送管观察P波变化(导管进入上腔静脉，P波振幅逐渐高尖)；

步骤32-4：保存心电图×2，记录置管长度×2(导管到达CAJ，P波振幅最高，导管到达右心房上部，P波出现负正双向，保存心电图)；

步骤32-5：回撤置管到位(回撤PICC导管至P波振幅最高处)；

步骤32-6：回撤置管0.5-1cm，P波振幅略低于最大振幅(为PICC最佳留置位置)；

步骤32-7：保存心电图×3，记录置管长度×3；

步骤33：撤出导丝，安装连接器；

步骤33-1：撤出导丝；

步骤33-2：保留体外5cm-7cm导管后，无菌垂直剪断；

步骤33-3：安装减压套筒和连接器，翼形部分和减压套筒沟槽对齐锁定；

步骤34：抽回血、静脉冲管和正压封管；

步骤34-1：抽回血确定穿刺成功；

步骤34-2：10ml生理盐水脉冲冲管；

步骤34-3：连接输液接头，正压封管；

步骤35：安装导管固定器，粘贴透明敷料；

步骤35-1：撕孔巾，清洁皮肤，调整位置；

步骤35-2：安装导管白色固定翼；

步骤35-3：针贴透明敷料；

步骤36：置管后的整理与记录

步骤36-1：整理用物；

步骤36-2：推摄X线片，确定尖端位置及导管在血管内的走向；

步骤36-3：记录:置入导管长度、外露长度导管型号、规格穿刺静脉名称、臂穿刺过程是否顺利，患者是否不适片示导管打印三张心电图，记录对应置入长度并粘贴；

步骤36-4：洗消手，向家属交代置管后注意事项；

结束。

(2)模型部分：PICC置管流程中使用了专项医疗器械，完成置管操作全部流程所耗费的医疗器械需求量大，且无法重复使用。

在实际进行置管步骤演示的时候，面对真实病例，演示操作流程需要消耗相应器材。重复进行实例教学的过程中往往会使用大量的器材。在鲜少接触实际手术场景的情况下，用户难以对相关器械有全面的了解。

在传统教学模式下，以实物图片为主的教学素材带给正在学习置管技术的护士的普及程度往往是有限的，在一定情况下，无法对流程进行标识。缺少动态交互及必要的学习观感。效果一般。

使用三维建模软件对整套模型器材进行建模，可以实现置管器材虚拟化，并可实现虚拟交互，达到复用的目的。嵌入器械的动画使用方式可以使用户对器械的使用方式有全面的了解，以达到实际手术前掌握器材使用的目的。

器材标准及模型制作：PICC过程中使用的器械由正规医疗机构提供，包括手术过程中使用的一次性手术包、PICC导管等器材。遵循生产及使用标准，符合PICC器材产品使用技术要求，且均为无菌器材、无物理形状改变。其中，导管型号为后端裁剪塞丁格型。PICC中使用的所有模型继承在AR临床护理实践应用中的体验医疗器械模块。初次进入该模块时显示新手引导教学内容。

场景内部以模型列表页展示各个模型的右上45度俯视角角度的图示。所有模型经过等距处理，在平域透视下统一模型规格，统一观感。模型制作统一采用Maya软件，版本为2018，内置PhysX物理引擎。Maya制作导出的模型适配流程开发需求，制作绑定动画可直接结合Unity引擎Partical系统制作流体效果。总体制作过程包括四部分：前期准备、构图建模、动画制作、渲染。前期准备首先进行三视图、比例图、效果图的初步设定，并根据材质本身特点选择合适的材质参考。

其中，三视图包括正视图、侧视图、背视图。比例图参照Unity中基本三维模型标准立方体(以下简称“Cube”)进行比例调整。效果图使用快速光照以Cube呈现为主。材质参考使用标准材质贴图进行材料设定参考，参考材料贴图包括但不限于：金属材质、橡胶材质、塑料材质、泡沫材质。三视图使用不同光线拍摄中心位参照图，以“耦合剂”模型为例。首先应对模型进行解构。耦合剂为空腔体，内注耦合剂，主要成分为水性高分子凝胶，一般用于辅助超声仪器超声显像。耦合剂液体一般用于湿润皮肤、消除皮肤表面的空气，有一定的粘稠度。

制作模型时，首先使用基本三视图标定模型初始位置，在场景中心点三向网格的正向交接处，使用Maya内Polygon模式进行常规几何体的模型构建。制作主体部分时采用自下至上的建模方式，由构建底部管道式通腔结构开始，结合多面块拆分及UV预处理分割，进行模型制作。分体嵌入时使用后期Unity内赋值物体的方式进行指认。贴图制作使用表面采样，制作纹理等细节。

非几何体构建模式下，使用EP拟样进行原型构建，使用内联功能进行样条重置，最后将模式转换为Polygon，便于后期导出。完成模型整体输出之后，分割UV按照材质参考，边缘导出后使用平面制作软件进行调色。附加至模型中，绑定后进行动画预置操作。动画由Unity制作，使用新版动画系统直接输出至预制体中。Maya软件制作部分最后需要调整输出设置。

动画制作时需要对关键功能进行预演，控制模型动画播放整体速率。整体界面使用规则类似菜单界面效果。初次进入时出现新手教学模块，进入模型列表页后可点选相应列表项，即切换至不同的医疗模型。在场景内可对模型进行观察，嵌入手势模式，可接受用户与模型进行交互，包括但不限于缩放、移动、旋转、播放动画等。

(3)AR虚拟仿真：PICC作为一种专科操作技能，在医疗机构专科科室之外几乎为信息不可知的技术限定状态。置管过程中需要使用的器械一般为手术所需供应，对于大量实操练习时间成本及物料成本会极具上升。在全流程环境无法真实还原的情况下，会影响PICC的练习效果，也会造成器械无法尽其所用的情况。在实际教学过程中，参与的人数众多，重复抓握关键操作点对病人的置管过程安全性没有保障，因此，在总体缺少系统辅助的情况下，使用AR技术对关键技术进行还原，可实现关键操作步骤的预演及复现，实现虚拟交互，达到练习操作流程的目的。

AR操作中的模型使用Maya进行制作，识别图制作使用平面制作软件进行压制处理，设计遵循扁平化图标原则。PICC中的AR交互操作分别位于第15步骤及第24步骤。以第15步骤为例，初次进入该模块时，显示新手引导教学内容，使用语音提示引导后续操作。功能按钮位于界面底部，由“透视”、“涂抹”两部分组成，界面左上角设有返回按钮，可以返回主菜单。场景内部预置光照，启用系统内置相机显示主画面。识别目标图时，使用特征匹配进行后续显示。

识别成功后出现预置置管侧手臂及操作中垫于肢体下方的治疗巾，并提示进行耦合剂涂抹操作。页面底部的功能按钮“透视”可以对当前操作手臂进行血管分离，显示主要动静脉的分布情况。点击“涂抹”按钮可实现肢体评估部位涂抹耦合剂的动作。涂抹目标位置结束后，需要根据语音提示点击手臂标记部位，出现超声探头及操作手势部分，画面上方出现血管超声评估画面。拖动探头可实现超声影像移动。通过对操作手臂的特征点进行标记，匹配手动位置及图像画面的同步。找到合适血管标记位置完成AR交互操作。AR虚拟交互界面中的血管超声影像为原设备器械画面，已经过压制处理。

通过分析由专业护士拍摄的实际操作视频，提炼肢体血管评估的关键点位。测试超声探头在涂抹耦合剂的情况下与皮肤表面发生的压感数据，制作不同位置的探头位置变化及对应手势变化，调整、记录不同压感数据下超声图像的显示情况，以保证影像数据的对应关系。

AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，可以缝合真实世界与虚拟世界，将交互方式拓展至现实场景。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR技术将三维场景内的物体绑定至真实场景中，在保持了在三维场景内的光感特效的同时，也提供了在混合环境下的交互感及代入感。探头移动部分与屏幕表面像素绑定。即，在选择定点的情况下，在屏幕上移动得到的数据会经过映射关系，将数据返回至手臂上，直接影响探头的交互移动，通过数据返回像素位置与血管超声视频实现帧绑定，对操作过程中涉及到的所有数据进行调整。由于PICC后的保留时间较长，因此，需要对操作血管进行挑选。通过绑定数据产生的AR交互效果在评估过程中可以加深用户对血管评估的操作流程的认识。

实施例2：

本发明实施例2提供了PICC现实增强方法，包括以下三个步骤，且各个步骤的顺序可调换：

步骤(1)：按步骤进行PICC置管流程的音视频展示，且首次注册用户第一次观看时全部步骤或者部分步骤只支持按顺序展示，第二次观看时支持步骤选择；

步骤(2)根据操作手臂的特征点标记结果，进行手动位置和图像画面的同步，结合预置的血管超声影像，进行AR虚拟交互显示；

仿真探头移动与屏幕表面像素关联，在选择定点的情况下，在移动终端显示屏上移动得到的数据经过映射关系，将数据返回至手臂；

通过数据返回像素位置与血管超声视频实现帧的关联，对操作过程中涉及到的所有数据进行调整；

步骤(3)对预存储的医疗模型进行展示，初次进入时出现新手教学模块，通过点选相应列表项切换至不同的医疗模型，能够用于在场景内对模型的观察，能够实现用户与模型的交互，包括但不限于缩放、移动、旋转和动画播放。

具体内容见实施例1，这里不再赘述。

实施例3：

本发明实施例3提供了一种移动终端，包括：本发明实施例1所述的PICC现实增强系统；

或者，利用本发明实施例2所述的PICC现实增强方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种PICC现实增强系统，其特征在于：

至少包括AR虚拟交互模块；

所述AR虚拟交互模块，被配置为：

根据操作手臂的特征点标记结果，进行手动位置和图像画面的同步，结合预置的血管超声影像，进行AR虚拟交互显示。

2.如权利要求1所述的PICC现实增强系统，其特征在于：

所述AR虚拟交互模块，还被配置为：

根据预置的血管超声影像与压感数据的对应关系，进行不同压感数据下超声图像的显示。

3.如权利要求1所述的PICC现实增强系统，其特征在于：

所述AR虚拟交互模块，还被配置为：

将仿真探头移动与屏幕表面像素关联，在选择定点的情况下，在移动终端显示屏上移动得到的数据经过映射关系，将数据返回至手臂；

通过数据返回像素位置与血管超声视频实现帧的关联，对操作过程中涉及到的所有数据进行调整。

4.如权利要求1所述的PICC现实增强系统，其特征在于：

所述AR虚拟交互模块，还被配置为：

根据预置的手臂血管分离图像数据，在预设操作下，进行动静脉分布的显示。

5.如权利要求1所述的PICC现实增强系统，其特征在于：

还包括操作流程展示模块；

所述操作流程展示模块，被配置为：按步骤进行PICC置管流程的音视频展示，且首次注册用户第一次观看时全部步骤或者部分步骤只支持按顺序展示，第二次观看时支持步骤选择。

6.如权利要求5所述的PICC现实增强系统，其特征在于：

步骤选择时，可对流程简介和流程概览进行操作切换，流程简介对当前操作步骤要点进行介绍，流程概览显示置管部分全部流程，每一步骤均包括概览图、时长、播放量和视频内容。

7.如权利要求5所述的PICC现实增强系统，其特征在于：

场景设计采用强空间化结构，将场景内的非人物要素压缩为统一背景，保留人物平面设计要素，使用灰域标定位置；

动作设计使用降速演示，在对标准操作流程进行特征抽取后，标记操作中的重点位置，对操作手法的轨迹进行展示，实现源内容重定向。

8.如权利要求1所述的PICC现实增强系统，其特征在于：

还包括器材模型展示模块；

所述器材模型展示模块，被配置为：对预存储的医疗模型进行展示，初次进入时出现新手教学模块，通过点选相应列表项切换至不同的医疗模型，能够用于在场景内对模型的观察，能够实现用户与模型的交互，包括但不限于缩放、移动、旋转和动画播放。

9.一种PICC现实增强方法，其特征在于：

包括以下三个步骤，且各个步骤的顺序可调换：

步骤(1)：按步骤进行PICC置管流程的音视频展示，且首次注册用户第一次观看时全部步骤或者部分步骤只支持按顺序展示，第二次观看时支持步骤选择；

步骤(2)根据操作手臂的特征点标记结果，进行手动位置和图像画面的同步，结合预置的血管超声影像，进行AR虚拟交互显示；

仿真探头移动与屏幕表面像素关联，在选择定点的情况下，在移动终端显示屏上移动得到的数据经过映射关系，将数据返回至手臂；

通过数据返回像素位置与血管超声视频实现帧的关联，对操作过程中涉及到的所有数据进行调整；

步骤(3)对预存储的医疗模型进行展示，初次进入时出现新手教学模块，通过点选相应列表项切换至不同的医疗模型，能够用于在场景内对模型的观察，能够实现用户与模型的交互，包括但不限于缩放、移动、旋转和动画播放。

10.一种移动终端，其特征在于：

包括：权利要求1-8任一项所述的PICC现实增强系统；

或者，利用权利要求9所述的PICC现实增强方法。

Images