CN116631252A - 一种基于混合现实技术的体格检查模拟系统及方法 - Google Patents

Abstract

本发明涉及一种基于混合现实技术的体格检查模拟系统及方法，系统包括：现实采集单元，用于采集或获取模拟对象及模拟对象发展过程的模型数据；模型重构单元，基于现实采集单元获取的至少部分模型数据构建模拟对象及模拟对象发展过程的功能模型；混合控制单元，作为对模型重构单元构建的功能模型实施模拟练习的中间载体，混合控制单元基于通过功能模型获取的模拟练习实时监测数据和现实采集单元获取的至少部分模型数据对模拟练习执行多维反馈。本申请的系统及方法基于多维度反馈为模拟练习提供标准化、可视化、可复制、可评估的训练系统，从而为医学教学、操作练习等模拟过程提供具备良好适用性以及精细模拟质量的解决方案。

Description

一种基于混合现实技术的体格检查模拟系统及方法

技术领域

本发明涉及混合现实技术领域，尤其涉及一种基于混合现实技术的体格检查模拟系统及方法。

背景技术

体格检查是临床医学、护理学的重要技能，是指医护人员在患者身体表面进行检查，主要通过检查局部或部分肢体是否有压痛，或者其他异常感觉，评判该部位的脏器是否患有疾病，对进行实验室检查有一定程度的指导意义。其操作性强，需要对视觉、听觉、触觉进行大量的反复训练，学生短时间内难以理解及掌握。近年来由于学生人数增多、教学医院数量有限及医学伦理的制约，使临床实践教学资源相对紧缺，难以满足学生在实践过程中多次、完整地学习各项临床技能操作。

目前体格检查教学中存在的问题包括：要求学生掌握正常体格检查技能，各类体格检查的手势方法多，理论知识较抽象，临床操作不易实施，缺乏有效的教学工具，帮助学生提高学生空间想象能力和实践操作能力；体格检查教学需要视、听、触觉的同步综合训练及教学反馈；体格检查操作需要标准化、可视化、可复制、可评估的训练系统。混合现实(MR，Mixed Reality)技术日益成熟，具有沉浸性、交互性、想象性、多感知性等属性，不受“时”与“空”的限制，有助于加强学生对理论知识的理解与掌握，有助于学生在虚实结合的情境下进行各项体格检查操作，并使学生在进入临床之前已经基本掌握必备的操作技能，熟悉操作流程。因此，将MR技术应用到体格检查教学中能够有效解决上述问题并显著改善体格检查教学质量。

现有技术中利用混合现实技术及相关技术进行医学模拟及教学实践的技术方案中，例如，公开号为CN114627708A的专利公开了一种基于混合现实技术的助产模拟系统，包括用于显示胎儿的三维模型以及传输数据的模拟助产操作的混合现实设备和孕妇腹部模型，孕妇腹部模型包括孕妇腔体和胎儿模型，胎儿模型位于孕妇腔体内部并基于传感模块定位出胎儿模型的体态特征于建模模块进行几何三维模型建模；几何三维模型响应于使用者的助23CN0124AF定稿

May 29,2023

产操作进行微动和/或体态特征的改变并实时响应于孕妇腹部模型以同步改变胎儿模型，几何三维模型通过混合现实设备显示于使用者眼前。该技术方案基于混合现实技术将助产过程涉及的实体模型和数据模型联合进行助产练习教学，使用者可基于对数据模型的操作模拟助产过程并进行操作反馈，但实体模型对于助产操作存在空间约束性和反馈失真，即由实体模型向助产者进行触感反馈的方式受到实体设备模拟效果的限制影响而无法获得准确反馈参数，从而无法保证使用者在练习过程和具体诊断中反馈的一致性。

公开号为CN113947959A的专利公开了一种基于MR技术的远程教学系统和直播问题筛选系统。系统包括：教学端、学习端和控制系统；教学端包括MR设备，用于拍摄并合成的视频画面；控制系统包括：视频流图层，用于接收MR设备推送的视频画面；MR 3D信息体增强显示信息图层，用于展示虚拟的MR 3D信息体；增强显示信息生成模块，用于在视频流图层上增加MR 3D信息体增强显示信息图层，形成合成后的视频画面。而公开号为CN109820590A的专利公开了一种骨盆骨折复位智能监控系统，包括样本骨折模型数据库、患者骨盆骨折数据采集单元、复位情况监控单元和混合现实数据融合处理单元，样本骨折模型数据库存储有若干个样本骨折模型，患者骨盆骨折数据采集单元利用磁力导航定位技术实时采集患者骨盆位置信息数据上传至混合现实数据融合处理单元，混合现实数据融合处理单元自动调用样本骨折模型数据库与患者骨盆骨折情况相对应的样本骨折模型并利用混合现实技术将患者骨盆位置信息数据与样本骨折模型进行匹配形成针对患者骨盆骨折状态的智能骨折模型，复位情况监控单元实时加载显示智能骨折模型在不同体位的图像并实时监控患者骨盆不同体位的复位情况。上述方案主要针对现实重构建模显示过程而较少涉及实践操作干预反馈过程，使得上述系统仅适用于智能监控而无法较好地实现医学体格检查及其它操作的模拟反馈过程。

基于上述分析，现有技术中基于混合现实技术进行医学模拟及教学实践的方案尚不能适用于体格检查过程等涉及多种位置区域以及复杂结构形状的模拟练习过程，即基于实体模型的方案设置会对体格检查操作及其它模拟实践操作造成空间限制。且方案受限于固定机械式实体模型的制造工艺而导致使用者无法获得能模拟实际过程的精细反馈效果，从而影响模拟实践操作23CN0124AF定稿

May 29,2023的质量；尤其是在需要结合视觉、听觉、触觉进行大量的反复训练的模拟练习中，在基于混合现实技术提供场景灵活可变且操作反馈准确一致的方案的基础上，需避免实践操作对体格检查对象或实体模型造成非预期损伤，从而有效保护体格检查对象或实体模型以有效提升模拟练习的安全性和经济性。

因此，需要一种能够有效克服实体模型限制而能够对模拟对象或模拟过程进行便捷调整控制的模拟系统及方法，且该方案相比于基于机械调整式实体模型的方案能够精细准确地模拟实际过程而避免长期使用导致的模型损耗或模型偏差。

此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。

发明内容

针对现有技术所提出的至少一部分不足之处，本申请提供了一种基于混合现实技术的体格检查模拟系统，系统包括：现实采集单元，用于采集或获取模拟对象及模拟对象发展过程的模型数据；模型重构单元，基于现实采集单元获取的至少部分模型数据构建模拟对象及模拟对象发展过程的功能模型；混合控制单元，作为对模型重构单元构建的功能模型实施模拟练习的中间载体，其中，混合控制单元基于通过功能模型获取的模拟练习实时监测数据和现实采集单元获取的至少部分模型数据对模拟练习执行触觉反馈、视觉反馈和听觉反馈中的一种或多种。

针对现有技术中基于机械调整式实体模型的方案不能适用于涉及多种位置区域以及复杂结构形状的模拟练习过程的问题，本申请提供一种基于混合现实技术的体格检查模拟系统，系统基于现实采集单元将模拟对象及模拟对象发展过程数据化并形成模型数据，模型重构单元基于模型数据构建功能模型，使得功能模型能够作为使用者通过混合控制单元进行模拟练习的操作对象，且混合控制单元基于模拟练习过程向使用者进行包括触觉、视觉、听觉等方面的多维反馈。本申请针对的模拟对象可以是患者身体，可以是教学实体结构(如组织器官模型标本)以及其它类型的实体结构，模拟对象发展23CN0124AF定稿

May 29,2023

过程即为上述实体结构的变化发展阶段，使得模拟对象和模拟对象发展过程基本涵盖医学教学和练习操作的多数情况。相比于直接基于实体模型进行练习操作的情况，将实体模型数据化并至少基于部分模型数据重新构建为功能模型的方案能够有效克服实体模型由于结构特点而导致的控制限制以及由于制造工艺及成本而限制的反馈效果精细程度，而本申请的模型对象在模型数据采集重构过程能够进行数据处理，数据处理基于实验数据和测量数据进行，使得重新构建的功能模型在能够克服上述实体模型的约束，也可基于数据处理显著提升功能模型调整变化以表现模拟对象发展过程的能力。

尤其是针对医学教学模拟练习过程，模拟练习需要结合视觉、听觉、触觉进行大量的反复训练，则本申请的系统在基于混合现实技术提供场景灵活可变且操作反馈准确一致功能模型的基础上，也可避免频繁的实践操作或非预期的练习动作对实体模型造成损伤，从而有效保护体格检查对象或实体模型以有效提升模拟练习的安全性和经济性。本申请的系统在提供视觉、听觉、触觉的同步综合训练及教学反馈的基础上，还可以为使用者提供至少包括示范、练习、考核的多种运行模式以形成标准化、可视化、可复制、可评估的训练系统，例如，运行模式可包括用于向使用者展示预设操作路径和预设操作参数的示范模式，用于为使用者的练习操作路径和练习操作参数提供引导练习的练习模式，以及用于考察练习效果并进行练习评价的考核模式，使得本申请的系统在模拟精细程度、模拟调整方式、模拟练习操作以及练习质量反馈等方面为教学过程和模拟练习提供良好的解决方案。

优选地，现实采集单元获取的模型数据包括：基于至少包含模拟对象空间坐标的时空属性形成的第一支撑数据、基于至少包含触觉反馈特性的物质属性形成的第二支撑数据和基于至少包含操作反馈特性的功能属性形成的第三支撑数据。第一支撑数据至第三支撑数据将模拟对象从空间分布特性、物质接触反馈特性以及操作流程参数等方面进行数据化，对于体格检查过程，空间分布特性即为组织及器官的分布位置，物质接触特性即为组织器官表面对于叩诊及触诊的触觉反馈、声音反馈以及视觉反馈，操作流程参数则代表体格检查经过位置以及针对性的操作手法。则功能模型能够通过第一支撑数据至第三支撑数据对模拟对象及模拟对象发展过程的特征提取进行重新构建，则功能模型可代替模拟对象作为模拟练习的实施对象。

23CN0124AF定稿

May 29,2023

优选地，现实采集单元获取的第一支撑数据基于空间坐标组成用于区分模拟对象结构空间及功能空间的空间边界和空间体积，其中，空间边界包括由若干空间坐标及空间坐标范围组成的一维边界线或二维边界面，空间体积包括由若干空间坐标以及空间坐标范围组成的三维空间体。

优选地，现实采集单元获取的第二支撑数据包括用于反映模拟对象表面接触特性的触觉反馈特性、用于反映模拟对象表面接触声音的听觉反馈特性和用于反映模拟对象图像信息的视觉反馈特性，其中，第二支撑数据用于对模拟对象的结构空间及功能空间附加物质属性。

优选地，现实采集单元通过第一支撑数据和第二支撑数据将模拟对象划分为若干功能点/功能区/功能体，使得混合控制单元可基于模拟练习施加于若干功能点/功能区/功能体的练习操作路径和练习操作参数获得至少包括操作反馈特性的第三支撑数据。

优选地，模型重构单元配置有用于容纳功能模型的模拟空间和至少部分包围模拟空间的模型发生组件，使得构建于模拟空间的功能模型用于承接施加于若干功能点/功能区/功能体的练习操作路径和练习操作参数。

优选地，混合控制单元配置有执行触觉反馈、视觉反馈和听觉反馈的触觉组件、视觉组件和听觉组件，其中，使用者基于混合控制单元控制触觉组件置入模型重构单元的模拟空间并按照练习操作路径和练习操作参数的方式对功能模型进行模拟练习。混合控制单元基于模拟练习的练习操作路径和练习操作参数与预先设定的预设操作路径和预设操作参数的对比结果对模拟练习进行过程反馈和结果反馈，其中，过程反馈包括触觉反馈、视觉反馈和听觉反馈，结果反馈包括模拟练习分数等级。

优选地，混合控制单元预先设定的预设操作路径包括功能点/功能区/功能体按照特定顺序排布的第一子路径和功能点/功能区/功能体无序组合的第二子路径，其中，若干第一子路径和第二子路径按照相互衔接和/或相互包含的方式组成预设操作路径。

优选地，混合控制单元按照对模拟练习中预设操作路径/预设操作参数和练习操作路径/练习操作参数择一反馈或组合反馈的方式划分设置有示范模式、练习模式和考核模式。示范模式中，混合控制单元基于预设操作路径和预设操作参数向使用者进行触觉反馈、视觉反馈和听觉反馈。练习模式中，23CN0124AF定稿

May 29,2023

混合控制单元按照练习操作路径和练习操作参数作用于功能模型，混合控制单元结合预设操作路径和预设操作参数向使用者进行触觉反馈、视觉反馈和听觉反馈。考核模式中，混合控制单元按照练习操作路径和练习操作参数作用于功能模型，混合控制单元通过练习操作路径/练习操作参数分别与预设操作路径/预设操作参数的对比结果形成评估标记或评估等级。

优选地，本申请还提供一种基于混合现实技术的体格检查模拟方法，方法包括以下步骤中的一项或多项：采集或获取模拟对象及模拟对象发展过程的模型数据；基于获取的至少部分模型数据构建模拟对象及模拟对象发展过程的功能模型；基于练习操作路径和练习操作参数对功能模型实施模拟练习；基于练习操作路径和练习操作参数和/或练习操作路径/练习操作参数与预设操作路径/预设操作参数的对比结果执行触觉反馈、视觉反馈和听觉反馈中的一种或多种。

附图说明

图1是本申请实施例的系统功能连接示意图。

附图标记列表

100：现实采集单元；200：模型重构单元；300：混合控制单元；301：听觉组件；302：视觉组件；303：触觉组件。

具体实施方式

本申请中规定的任何方向仅为读者阅读方便而设置，并不对本申请做出相应的限制。在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对发明的限制。

下面结合附图对本发明进行详细说明。

本申请提供了一种模拟系统及方法，尤其涉及一种基于混合现实技术的模拟系统及方法，尤其涉及一种基于混合现实技术的体格检查模拟系统及方法(以下简称为系统及方法)。相比于虚拟现实(VR)技术和增强现实(AR)技术，混合现实(MR)技术可将两者优势结合：即虚拟现实是将虚拟世界呈现于眼前，增强现实是将虚拟世界叠加于现实世界，而混合现实将现实世界23CN0124AF定稿

May 29,2023

数据模型化并叠加于现实世界，可基于对现实世界的模型重构和数据混合实现更智能的模拟反馈和更复杂的协同作业，使得作为数字化和智能化的高级发展阶段的混合现实技术对于医学教学模拟以及仿真操作实践具有重要意义。

例如，对于医疗教学模拟过程，受限于医学伦理以及实际操作条件，临床实践教学资源相对紧缺，难以满足学生在实践过程中多次、完整地学习各项临床技能操作的需求。具体地，由于医学实践操作对象的特殊性，出于医学伦理以及操作安全考虑，医疗人员需满足相关规定后才能进行正式操作，则对于使用者而言，学习过程需要借助能够模拟真实操作环境的载体以完成各项模拟练习，进而基于载体的模拟反馈获得实践操作中的流程经验和技能知识。现有实体模型受到制作成本以及工艺条件的限制而无法获得高质量的模拟环境，仅能适用于简单操作练习；而基于虚拟现实以及增强现实的模拟环境无法进行干预反馈或仅能结合实体模型进行反馈，对操作实践存在空间约束以及反馈效果限制，难以获得高精度的模拟反馈以展示精细手术操作下的操作细节和技术要点，使得教学实践以及模拟练习效果大打折扣。因此，需要提供一种能够克服实体模型对于操作空间以及反馈效果的约束，能够基于高精度操作反馈以模拟真实操作环境并适用于示范、练习、考核的标准化、可视化、可复制、可评估的模拟训练系统及方法。

如图1所示，本申请的系统包括用于获取模拟对象模型数据的现实采集单元100，基于模拟对象的模型数据构建功能模型的模型重构单元200和针对功能模型进行操作练习并向使用者进行反馈的混合控制单元300。

为保证模型重构单元200的功能模型能够对模拟对象以及模拟对象发展过程进行准确反映，现实采集单元100对模拟对象的模型数据采集应至少包括模拟对象的时空属性、物质属性和功能属性，其中，时空属性至少包括模拟对象在不同时刻下的空间坐标、空间边界、空间体积，物质属性至少包括模拟对象在不同时空属性的触觉反馈特性，功能属性至少包括基于时空属性和功能属性的操作反馈特性。因此，在模拟对象以及模拟对象发展过程基于现实采集单元100进行数据化的过程中，时空属性为模拟对象的空间分布数据以及空间分布随时间变化数据；物质属性为模拟对象的物理化学特性，涉及触觉、视觉、听觉等方面；功能属性为模拟对象对于操作过程的功能性23CN0124AF定稿

May 29,2023

反馈，功能性反馈包括合理操作过程的操作路径和操作参数，即为功能属性中的操作反馈特性，可作为用于评价练习操作过程的规范操作过程。

具体地，时空属性用于反映模拟对象在空间内随时间发展变化的特性，对于动态变化的模拟对象发展过程，时空属性的准确获取能够精准地重构模拟对象中各组成的变化规律，即时空属性中的空间坐标可以基于三维坐标数据明确不同时刻下模拟对象的空间位置，可用于区分不同特征点；空间边界可以是由若干空间坐标以及空间坐标范围组成的一维边界线或二维边界面，可用于进行结构分区分界；空间体积可以是由若干空间坐标以及空间坐标范围组成的三维空间体，可用于表征模拟对象的功能空间及结构空间，例如，对于体格检查过程而言，结构空间具有实际分界的组织或器官分布空间，一般由自有属性进行确定；功能空间则可以是由人为标准划分的组织或器官分布空间，功能空间可相互包含，如左心房、左心室、右心房、右心室等结构空间，以及胸部、腹部、背部等功能空间。则系统可基于现实采集单元100获取的时空属性明确模拟对象的空间分布以及空间分布随时间的变化特点，使得数据化的时空属性可为模型重构单元200构建功能模型提供第一支撑数据。

物质属性用于反映模拟对象的物理化学特性，例如力学特性、温度特性、表面特性等可能影响触觉反馈特性的属性，物质属性还包括声音反馈特性和视觉反馈特性，声音反馈特性用于反应模拟对象的音色、响度等声音特性，视觉反馈特性用于反应模拟对象的表面颜色、表面图像、表面纹理等视觉特性。则系统可基于现实采集单元100获得的物质属性明确模拟对象的触觉反馈特性、声音反馈特性和视觉反馈特性并结合时空属性获得分区以及分阶段的触觉反馈特性、声音反馈特性和视觉反馈特性，从而基于数据化的物质属性为模型重构单元200构建功能模型提供第二支撑数据。例如，以触觉反馈特性为例，在体格检查过程中，对于患者身体表面的不同区域，体格检查操作对特定区域进行按压操作或触摸操作以检查对应区域是否存在压痛或其它异常感觉，从而评估该部位的脏器或其它组织是否患有疾病。因此，功能模型能否精准反映特定区域在健康状态或非健康状态下的不同触感反应对于体格检查模拟练习质量具有重要意义。对于常规的假人模型，假人基于制造工艺和反馈效果的限制而仅能进行体格检查位置展示，无法基于触觉反馈23CN0124AF定稿

May 29,2023的调整有效区分健康状态以及患病状态，使得体格检查练习无法从视觉、听觉以及触觉等多方面清楚地理解体格检查过程中的检查力度控制以及检查手法。而本申请将用于反映模拟对象触觉反馈特性的物质属性进行数据化处理，触觉反馈特性的变化调整不仅可以反映模拟对象发展过程的物质属性变化，而且也可以反映模拟对象特定区域的病变引起的物质属性变化，从而基于精细准确的触觉反馈特性提升体格检查模拟练习的质量，使得模拟练习过程能够尽可能地还原实际过程。

功能属性包括模拟对象在不同操作参数或操作流程下的操作反馈特性，使得数据化的操作反馈特性可以为模型重构单元200构建功能模型提供第三支撑数据。数据化的操作反馈特性可配合数据化的时空属性和数据化的物质属性模拟功能模型对于混合控制单元300在不同操作参数以及不同操作顺序下的反应，例如体格检查过程针对不同的身体部位应当遵循特定接触顺序和特定接触参数或参数范围，使得体格检查过程中的特定接触顺序和特定接触参数符合对于该特定身体部位进行正确体格检查操作的相关要求以获取正确的体格检查结果，则基于特定接触顺序和特定接触参数的操作反馈特性可用于评估使用者在体格检查步骤、体格检查路径以及体格检查力度方面的操作规范性并向使用者进行反馈，从而基于操作反馈特性规范使用者的操作流程。

具体地，操作反馈特性对应的功能属性可结合时空属性以及物质属性设置对应的功能点和/或功能区，功能点和功能区由时空属性确定其在不同时刻的空间位置分布，功能点和功能区由物质属性确定其在不同时刻的触觉反馈特性，当使用者按照练习操作路径经过若干功能点和功能区并按照练习操作参数作用于功能点和功能区时，基于练习操作路径和预设操作路径的对比结果以及练习操作参数和预设操作参数或参数范围的对比结果获得对应的操作反馈特性，操作反馈特性可以分阶段评估或分区域评估，从而基于练习操作路径和练习操作参数同预设操作路径和预设操作参数的符合程度获取该次练习操作的分数或等级。针对于体格检查过程，标准体格检查过程对若干功能点和功能区的特定接触顺序即为预设操作路径，标准体格检查过程在若干功能点和功能区的特定接触参数即为预设操作参数，即预设操作路径和预设操作参数可作为体格检查的标准流程和标准参数；则练习操作路径为练23CN0124AF定稿

May 29,2023

习体格检查过程对若干功能点和功能区的特定接触顺序，练习操作参数为练习体格检查过程在若干功能点和功能区的特定接触参数。

优选地，时空属性、物质属性和功能属性可由实际过程中的数据采集和数据加工以及编程处理获得。例如现实采集单元100可基于光学采集、粒子采集或核磁共振等方式获得模拟对象的时空属性，光学采集为通过包括可见光、红外光等不同波段的光线与模拟对象的信息交互获得模拟对象的空间分布，从而基于光学采集的信息获取模拟对象的空间坐标、空间边界和空间体积；粒子采集可以是CT等扫描手段，可以获取模拟对象内部结构的时空属性；核磁共振等方式可对光学采集和粒子采集进行补充以获得模拟对象的其它内部结构的时空属性。模拟对象发展过程则可以由若干时刻的空间坐标、空间边界和空间体积进行数据拟合以获得上述空间坐标、空间边界和空间体积随时间的变化关系。物质属性可由医学实验以及相关实验数据库获得模拟对象针对不同时空属性的触觉反馈特性，也可基于数据加工对触觉反馈特性进行编程处理，使得触觉反馈特性能够精细地反映模拟对象的触感。功能属性在基于时空属性和物质属性进行编程处理以设计出针对不同模拟对象或不同模拟对象发展过程的预设操作路径和预设操作参数。

例如，在模拟对象为患者胸腹部且模拟对象发展过程为对患者腹部进行体格检查操作时，操作项目包括：1、视诊：腹部外形、呼吸运动、腹壁静脉曲张、胃肠型蠕动波、皮肤、肚脐及腹股沟、剃毛分布；2、听诊：右下腹肠鸣音、血管杂音、摩擦音；3、叩诊：叩诊全腹(以左下腹开始—右下腹—肚脐，正常叩诊呈鼓音)、肝脏叩诊(肝上界：右锁中线、右叶中线；肝下界：右锁中线、右前正中线)、脾叩诊(左腋中线)、胃泡鼓音区叩诊、叩诊移动性浊音、膀胱叩诊；4、触诊：右下腹浅触诊(触诊腹壁紧张度、压痛反跳痛、麦氏点处压痛反跳痛)、左下腹浅触诊(压痛反跳痛、腹部包块)、腹式呼吸检查、肝(右锁中线单手法触诊肝脏、右锁中线双手法触诊肝脏、前正中线双手发触诊肝脏)、肝颈回流征、胆囊Murphy征、脾触诊、双肾触诊(季肋点压痛、上输尿管点压痛、下输尿管点压痛)、膀胱触诊(液波震颤、振水音、腹壁触觉或痛觉、腹壁反射)。

因此，现实采集单元100对于模拟对象以及模拟对象发展过程的模型信息采集包括：时空属性的空间体积能够反映不同器官对应的功能空间，时空23CN0124AF定稿

May 29,2023

属性的空间边界能够反映功能空间的分界面以、分界线以及特殊点位，时空属性的空间坐标能够基于坐标范围形成空间边界和空间体积。对于患者腹部不同空间体积以及空间边界，基于实验数据的数据加工以及编程处理获得不同空间体积以及空间边界的触觉反馈特性，触觉反馈特性具体可以是触摸温度反馈、触摸压力反馈等模拟对象的物理化学特性，听觉反馈特性可以是听觉声响、叩击声响等，视觉反馈特性可以是皮肤表面图像、皮肤颜色、皮肤纹理等。

功能反馈则是基于时空属性和物质属性将体格检查的特定接触顺序以及特定接触参数进行数据化。具体地，例如针对体格检查的触诊过程，将右下腹、左下腹、肝、胆、脾、肾、膀胱对应的至少部分空间边界和部分空间体积设定为若干功能点或功能区，标准体格检查过程的特定接触顺序即为预设操作路径，标准体格检查过程的特定接触参数即为预设操作参数。预设操作路径可分为相互衔接和/或相互包含的子路径，子路径可以是由若干功能区和/或功能点按照特定顺序排布的第一子路径和若干功能区和/或功能点无序组合成的第二子路径，第一子路径和第二子路径相互衔接或相互包含，即第一子路径代表需要按照特定顺序进行的若干项体格检查操作，而第二路径为仅需要完成若干项体格检查操作而无需按照特定顺序进行的若干项体格检查操作。例如，第一子路径可以是肝触诊过程，需要特定顺序进行，而第二子路径可以是双肾触诊过程，无需按照特定顺序进。则若干不同层级第一子路径和若干不同层级的第二子路径可以组合形成预设操作路径。预设操作参数可以是在不同功能点和/或功能区的接触面积、接触力度以及接触时间等用于表征操作合规性的参数。例如，预设操作参数可以是针对双肾触诊的功能点和/或功能区按压面积、按压力度以及按压时间，使得预设操作参数包括的按压面积、按压力度和按压时间可用于评价体格检查操作手法的质量。

优选地，本申请的模型重构单元200可将模拟对象的模型数据重构为用于混合控制单元300进行练习操作的功能模型，模型数据至少包括第一支撑数据至第三支撑数据。即模型重构单元200基于现实采集单元100获取的模拟对象的时空属性、物质属性和功能属性构建功能模型，使得作用于功能模型的模拟练习操作可通过混合控制单元300向使用者进行反馈。

优选地，为克服机械调整式实体模型对于模拟练习操作的空间限制，本23CN0124AF定稿

May 29,2023

申请的模型重构单元200包括位于中间的模拟空间以及环绕或围绕模拟空间的模型发生组件，模型发生组件用于在模拟空间构建功能模型。例如，模型重构单元200的模型发生组件为光线发射装置，使得由模型发生组件发出的光线能够对模拟空间坐标化，模型发生组件获取现实采集单元100获取的模拟对象的时空属性并重现于模拟空间，使得模拟空间至少用于承载模拟对象的数据化的时空属性。具体地，模型发生组件发出的光线包括可见光、红外光以及其它波段的光线，使得模型发生组件能够将模拟空间坐标栅格化并基于光线发射与接受获得置入模拟空间的实体的空间坐标。模型发生装置至少布置在模拟空间的前后左右下方向，上方向作为模拟练习的入口，使得模型发生装置能够基于全包围或部分包围的方式避免模拟空间出现位置死角。

优选地，混合控制单元300可作为使用者与功能模型的中间载体，使得使用者能够通过混合控制单元300的至少部分结构与功能模型发生交互并通过混合控制单元300获得触觉反馈、视觉反馈以及听觉反馈中的一种或多种。例如，如图1所示，混合控制单元300包括用于为使用者提供听觉反馈的听觉组件301、用于为使用者提供视觉反馈的视觉组件302以及用于为使用者提供触觉反馈的触觉组件303，听觉组件301和视觉组件302可置于第一穿戴组件中，触觉组件303可置于第二穿戴组件中。第一穿戴组件配置为头戴式设备，头戴式设备基于耳机、显示屏为练习提供听觉反馈和视觉反馈；第二穿戴组件为机械手，机械手按照与操作者手部动作同步的方式配置或由使用者手部直接操控机械手进行模拟练习操作，机械手在手部动作操作下进行运动并基于模拟练习中的触觉反馈特性向手部进行反馈。第二穿戴组件受控进入模型重构单元200的模拟空间并与功能模型发生交互，第二穿戴组件受控进入模型重构单元200可包括：第二穿戴组件由使用者操控、第二穿戴组件由示范者操控，对于体格检查教学练习过程来说，使用者可以是医学生、实习医生以及练习学员等，示范者可以是教学老师或者预设程序。第二穿戴组件与功能模型发生交互是按照模型重构单元200的模型发生组件实时获取第二穿戴组件在模拟空间的空间坐标的方式进行的，第二穿戴组件在模拟空间的空间坐标包括第二穿戴组件若干子部件的空间坐标。

因此，本申请的混合控制单元300能够基于触觉反馈、听觉反馈、视觉反馈为使用者提供模拟真实场景的操作练习过程，从而为模拟过程提供触觉、23CN0124AF定稿

May 29,2023

视觉、听觉兼具的同步综合训练及教学反馈。

优选地，使用者基于混合控制单元300进行模拟练习时，使用者将配置有视觉组件302和听觉组件301的第一穿戴组件布置于头部，配置有触觉组件303的第二穿戴组件受控进入模型重构单元200的模拟空间并按照练习操作路径和练习操作参数执行模拟练习，练习操作路径按照模型重构单元200的模型发生组件实时获取第二穿戴组件的空间坐标的方式获得，练习操作参数按照练习操作路径与模拟对象空间属性关联计算的方式获得。练习操作路径用于表征第二穿戴组件在模拟空间的移动路径以及移动路径上与模拟空间中功能模型的若干功能点和/或功能区发生关联的情况，功能模型的空间位置基于模拟对象的空间属性重构。以体格检查模拟练习为例，练习操作路径不与功能模型接触代表用于执行练习操作的第二穿戴组件位于作为模拟对象的患者身体之外，练习操作路径与功能模型接触代表用于执行练习操作的第二穿戴组件接触作为模拟对象的患者身体表面，练习操作路径位于功能模型空间内部代表用于执行练习操作的第二穿戴组件对作为模拟对象的患者身体执行叩诊、按压操作。则练习操作路径与模拟对象空间属性关联计算可获得模拟练习中的对于代表模拟对象的功能模型的接触位置、接触面积、接触时间、按压深度等练习操作参数。

优选地，针对触觉反馈，混合控制单元300基于练习操作参数与物质属性中的触觉反馈特性计算触觉反馈并通过第二穿戴组件中的触觉组件303作用于使用者，使得使用者能够基于触觉反馈明确练习操作路径上的接触感、接触面积、接触时间、叩诊动作以及按压力度；针对视觉反馈，混合控制单元300将物质属性中的视觉反馈特性叠加至功能模型并通过第一穿戴组件中的视觉组件302作用于使用者，使得使用者能够基于视觉反馈明确模拟对象的表面图像、表面纹理以及第一穿戴组件练习操作路径的作用位置；针对听觉反馈，混合控制单元300将物质属性中听觉反馈特性并通过第一穿戴组件中的听觉组件301作用于使用者，使得使用者可基于听觉反馈获得练习操作路径和练习操作参数对应的声响。

为提升混合控制单元300基于触觉反馈、视觉反馈以及听觉反馈对于练习操作的反馈效果，混合控制单元300在将模拟对象物质属性的视觉反馈特性叠加至功能模型并通过视觉组件302和/或显示屏幕展示的基础上，混合23CN0124AF定稿

May 29,2023

控制单元300可对练习操作路径和练习操作参数进行加工并形成能够基于视觉组件302和/或显示屏幕展示的可视化条目，可视化条目可包括线条标记、符号内容以及颜色标记等，混合控制单元300还可基于练习操作路径/练习操作参数分别与预设操作路径/预设操作参数的对比结果形成评估标记或评估等级，评估标记可以颜色展示对比结果，评价等级以数字等级、分数等级以及字母等级展示对比结果。

优选地，本申请的系统还包括为使用者提供至少包括示范、练习、考核的多种运行模式，使得本申请能够形成针对模拟对象以及模拟对象发展过程的标准化、可视化、可复制、可评估的训练系统。例如，运行模式可包括用于向使用者展示预设操作路径和预设操作参数的示范模式，用于为使用者的练习操作路径和练习操作参数提供引导练习的练习模式，以及用于考察练习效果并进行练习评价的考核模式。

具体地，系统基于混合控制单元300设计示范模式、练习模式和考核模式，针对示范模式，使用者佩戴第一穿戴组件和第二穿戴组件，配置有触觉组件303的第二穿戴组件基于预设操作路径和预设操作参数作用于功能模型，使得混合控制单元300基于触觉组件303、视觉组件302和听觉组件301向使用者进行触觉反馈、视觉反馈和听觉反馈，其他使用者可通过显示屏幕展示视觉组件302和听觉组件301的反馈内容。

具体地，针对练习模式，使用者可佩戴第一穿戴组件和第二穿戴组件，配置有触觉组件303的第二穿戴组件基于练习操作路径和练习操作参数作用于功能模型，使得混合控制单元300可结合预设操作路径和预设操作参数向使用者进行触觉反馈、视觉反馈和听觉反馈，其他使用者可通过显示屏幕展示视觉组件302和听觉组件301的反馈内容。针对考核模式，使用者佩戴第一穿戴组件和第二穿戴组件，配置有触觉组件303的第二穿戴组件基于练习操作路径和练习操作参数作用于功能模型，使得混合控制单元300基于触觉组件303、视觉组件302和听觉组件301向使用者进行触觉反馈、视觉反馈和听觉反馈，混合控制单元300通过练习操作路径/练习操作参数分别与预设操作路径/预设操作参数的对比结果形成评估标记或评估等级。对比结果包括练习操作路径与预设操作路径的第一对比结果，用于评价练习操作的路径正确性。第一对比结果包括项目一致性和顺序一致性，即项目一致23CN0124AF定稿

May 29,2023

性代表练习操作路径经过的功能模型的若干功能点/功能区与预设操作路径的重合程度，顺序一致性代表练习操作路径经过若干功能点/功能区的顺序与预设操作路径的重合程度。对比结果还包括练习操作参数与预设操作参数的第二对比结果，用于评价练习操作的手法正确性。第二对比结果包括参数一致性，参数一致性即为练习操作参数等于符合预设操作参数或符合预设操作参数范围。

优选地，本申请系统的混合控制单元300可配置为MR头盔以及智能手套等设备，即MR头盔作为承载视觉组件302和听觉组件301的第一穿戴组件，智能手套作为承载触觉组件303的第二穿戴组件，当前使用者佩戴MR头盔和智能手套进行练习操作，使得当前使用者基于MR头盔和智能手套获得视觉反馈、听觉反馈和触觉反馈，使用者穿戴智能手套并置入模型重构单元200的模拟空间并以练习操作路径和练习操作参数接触功能模型，基于视觉反馈获得模拟对象的图像信息，即从MR头盔看到模拟对象物质属性的视觉反馈特性在功能模型上的视觉投影并明确练习操作路径经过的功能点/功能区的具体部位和部位特征。基于触觉反馈和听觉反馈获得练习操作参数作用于功能模型的操作反馈特性，使得使用者能够基于视觉反馈、触觉反馈和听觉反馈获得近似真实过程的操作反馈。其他使用者可以通过外接显示屏幕获得至少包括视觉反馈和听觉反馈的反馈信息。

例如，基于本申请的系统进行体格检查教学时，模拟对象为器官，操作者使用MR头盔和智能手套，操作者可以触摸到“真实”脏器，并通过自己的双眼从MR头盔上看到虚拟影像在功能模型的投射，看到相对应情况的器官在触诊模型上的实际位置、异常情况(如肝肿大等)情况。同时，未佩戴头盔的其他同学可以通过显示屏幕看到与MR头盔上的第一人称或第三人称视觉反馈相对应的视觉信息，包括各类器官的虚拟影像和操作者的练习操作路径。基于本申请系统进行心音听诊时，模拟对象对心脏，通过功能模型展示异常心脏，如瓣膜疾病，通过MR头盔可全方位立体的看到心脏异常瓣膜如何关闭不全，导致的血流动力学改变，并通过MR头盔传输异常的心音。

优选地，基于本申请系统进行体格检查模拟的具体操作方法可包括：现实采集单元100对患者身体及器官的模型数据进行采集，模型数据包括时空属性、物质属性和功能属性；模型重构单元200基于模型数据构建功能模23CN0124AF定稿

May 29,2023

型；使用者穿戴混合控制单元300的实体设备，使用者控制选择代表不同体格检查模拟位置的不同体格检查模块并选择性地进入示范模式、练习模式、考核模式；使用者通过部分设备与功能模型以练习操作路径和练习操作参数的方式进行接触；基于预设操作路径和预设操作参数设置标准手，基于实际的练习操作路径和练习操作参数设置练习手，示范模式中出现标准手，练习模式中操作者将在标准手的引导下进行体格检查操作，考核模式对使用者仅展示练习手。而其他使用者通过第一视角和第三视角相结合的投射影像，同时进行学习，一人操作多人学习，或在其他模型操作，保证教学的同质性和高效性。

优选地，向使用者反馈视觉信息时，将展示给使用者的画面划分为第一展示域与第二展示域。优选地，第一展示域在面积上大于第二展示域。优选地，第一展示域包围在第二展示域外围。优选地，第一展示域与第二展示域内视觉信息呈现方式存在不同。优选地，第一展示域以二维平面方式展示视觉信息，第二展示域以三维景深或模拟三维的方式展示视觉信息。在配置可触模型的情况下，基于使用者对可触摸型上至少一个点位的触及产生的触觉采集信号，以触觉采集信号为参考点，以预设范围确定第二展示域范围，继而确定第一展示域范围，向视觉组件上展示基于参考点重新确立的第一展示域与第二展示域的视觉信息。可触摸型指可以被使用者触碰到的实物，例如用于体格检查训练的模型，例如人体模型、人体部位模型、器官模型等，这些模型已经较为常见与医院的训练环节，模型具备较好的模仿真实人体的效果。触觉采集信号可以由设置在可触摸型上的传感器采集，现有技术提供的人体模型，部分信号具备内置在其中的压力传感器，通过触摸模型的皮肤，内置的压力传感器能够获知触摸的信号，现有技术中将压力传感器用于确定使用者的触摸位置、触摸力度、触摸时间等与触摸行为相关的参数。可触模型也可以是功能模型，功能模型可通过混合控制单元300配置的穿戴组件向使用者进行触觉反馈并将触觉采集信号传递至视觉组件。基于采集的触摸位置，以触摸位置为参考点，按照预设范围划分第二展示域，此处参考点可以为圆心，按照预设范围划分的第二展示域可以是圆形范围。进一步地，第一展示域可以是视觉组件的全部展示区域扣除第二展示域之后的剩余区域。优选地，第二展示域展示的视觉信息在信息量上多余第一展示域展示的视觉信23CN0124AF定稿

May 29,2023

息。优选地，第一展示域被处理为，仅展示有利于当前第二展示域中触诊进行的视觉信息。一种可行的实施例是，基于现有医学经验编撰预设处理规则，在获取触摸位置后，基于触摸位置查找对应的预设处理规则，基于规则处理第一展示域的视觉信息，预设处理规则中，规定仅保留一部分类型的视觉信息。例如在检查胃部的触诊操作时，使用者接触胃部位置，基于寻出的预设处理规则，第一展示域被处理为仅展示构成为人体形状的可触摸型的外形轮廓和其肋骨线条，从而可以方便使用者观察触摸的胃部位置是否在正确的肋骨区间内。

上述方案首先将视觉组件展示的视觉信息按照重要区域与次要区域的方式以至少两种区分的视觉展示方式向使用者展现，基于人惯性地将注意力放在信息更多、三维立体的视觉信息的习惯，以使得使用者能够将注意力集中在当前触诊的区域，而减少其被触诊区域外侧的视觉信息干扰的情况；其次，本方案并非直接将触诊区域外的视觉信息直接屏蔽，本方案发现触诊区域外的视觉信息至少也存在部分的重要作用，其能够构成辅助使用者进行触诊的参考信息，能够使得使用者学习到更多的操作技能知识；最后，相较于采用视觉识别的方式来确定第二展示域的范围，直接利用触觉采集信号来确定范围更加的准确可靠，视觉识别可能会由于阻挡而存在识别失误、延迟等问题，但是触觉信号是由人员实施的，其最能够代表使用者的关注意图，且本方案利用了可触摸型现成的触觉采集组件来获取用于标定第二展示域参考点的位置信息，为原本仅用于检测使用者触摸行为相关参数的现有采集目的提供了另一项使用方向，完全无需额外增加另外的检测设备和/或复杂的检测算法，显著减少设备升级成本。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (10)

1.一种基于混合现实技术的体格检查模拟系统，其特征在于，所述系统包括：

现实采集单元(100)，用于采集或获取模拟对象及模拟对象发展过程的模型数据；

模型重构单元(200)，基于所述现实采集单元(100)获取的至少部分所述模型数据构建所述模拟对象及模拟对象发展过程的功能模型；

混合控制单元(300)，作为对所述模型重构单元(200)构建的所述功能模型实施模拟练习的中间载体，其中，

所述混合控制单元(300)基于通过所述功能模型获取的模拟练习实时监测数据和所述现实采集单元(100)获取的至少部分所述模型数据对所述模拟练习执行触觉反馈、视觉反馈和听觉反馈中的一种或多种。

2.根据权利要求1所述的系统，其特征在于，所述现实采集单元(100)获取的模型数据包括：基于至少包含模拟对象空间坐标的时空属性形成的第一支撑数据、基于至少包含触觉反馈特性的物质属性形成的第二支撑数据和基于至少包含操作反馈特性的功能属性形成的第三支撑数据。

3.根据权利要求1或2所述的系统，其特征在于，所述现实采集单元(100)获取的所述第一支撑数据基于空间坐标组成用于区分模拟对象结构空间及功能空间的空间边界和空间体积，其中，

所述空间边界包括由若干空间坐标及空间坐标范围组成的一维边界线或二维边界面，所述空间体积包括由若干空间坐标以及空间坐标范围组成的三维空间体。

4.根据前述权利要求1至3之一所述的系统，其特征在于，所述现实采集单元(100)获取的所述第二支撑数据包括用于反映模拟对象表面接触特性的触觉反馈特性、用于反映模拟对象表面接触声音的听觉反馈特性和用于反映模拟对象图像信息的视觉反馈特性，其中，

所述第二支撑数据用于对模拟对象的结构空间及功能空间附加物质属性。

5.根据前述权利要求1至4之一所述的系统，其特征在于，所述现实采集单元(100)通过所述第一支撑数据和所述第二支撑数据将模拟对象划分为若干功能点/功能区/功能体，使得所述混合控制单元(300)基于模拟练习施加于若干所述功能点/功能区/功能体的练习操作路径和练习操作参数获得至少包括操作反馈特性的第三支撑数据。

6.根据前述权利要求1至5之一所述的系统，其特征在于，所述模型重构单元(200)配置有用于容纳功能模型的模拟空间和至少部分包围模拟空间的模型发生组件，使得构建于模拟空间的所述功能模型用于承接施加于若干所述功能点/功能区/功能体的练习操作路径和练习操作参数。

7.根据前述权利要求1至6之一所述的系统，其特征在于，所述混合控制单元(300)配置有执行触觉反馈、视觉反馈和听觉反馈的触觉组件(303)、视觉组件(302)和听觉组件(301)，其中，

使用者基于所述混合控制单元(300)控制触觉组件(303)置入所述模型重构单元(200)的模拟空间并按照练习操作路径和练习操作参数的方式对功能模型进行模拟练习。

8.根据前述权利要求1至7之一所述的系统，其特征在于，所述混合控制单元(300)基于模拟练习的练习操作路径和练习操作参数与预先设定的预设操作路径和预设操作参数的对比结果对模拟练习进行过程反馈和结果反馈，其中，

过程反馈包括触觉反馈、视觉反馈和听觉反馈，结果反馈包括模拟练习分数等级。

9.根据前述权利要求1至8之一所述的系统，其特征在于，所述混合控制单元(300)预先设定的预设操作路径包括功能点/功能区/功能体按照特定顺序排布的第一子路径和功能点/功能区/功能体无序组合的第二子路径，其中，

若干第一子路径和第二子路径按照相互衔接和/或相互包含的方式组成预设操作路径。

10.一种基于混合现实技术的体格检查模拟方法，其特征在于，所述方法包括以下步骤中的一项或多项：

采集或获取模拟对象及模拟对象发展过程的模型数据；

基于获取的至少部分模型数据构建模拟对象及模拟对象发展过程的功能模型；

基于练习操作路径和练习操作参数对功能模型实施模拟练习；

基于练习操作路径和练习操作参数和/或练习操作路径/练习操作参数与预设操作路径/预设操作参数的对比结果执行触觉反馈、视觉反馈和听觉反馈中的一种或多种。