CN115762688A - 一种超仿真虚拟标准化病人构建系统及诊断方法 - Google Patents

Abstract

本发明涉及一种超仿真虚拟标准化病人构建系统及诊断方法，包括模型构建系统和病人诊断系统，所述模型构建系统包括病人模拟资源模块、身体模型库模块、贴图素材库模块、动作库模块、头部模型模块、表情库模块、毛发库模块、病例配置模块、病例数据模块以及虚拟病人模块；本发明具有真实的体验感和代入感，通过超写实的人体皮肤、体态、精神面貌等外观体征的视觉感官的模拟，和模拟真实病人面部表情、肢体动作，以及模拟的真实的临床诊断检查交互手段，给使用者带来接近真实的代入感和身临其境感，提升教学和临床实训的效果。

Description

一种超仿真虚拟标准化病人构建系统及诊断方法

技术领域

本发明涉及教育培训技术领域，具体为一种超仿真虚拟标准化病人构建系统及诊断方法。

背景技术

在医学临床教学方面，标准化病人，指那些经过标准化、系统化培训后，能准确表现病人的实际临床问题的正常人或病人，通过预定的脚本，扮演具有异常病人体征的病人，是临床教学实训的常用手段，随着信息化技术的发展，越来越多创新技术应用到了医学教育领域，打破了传统的教学教育模式和方式。尤其是虚拟现实技术的高速发展，代替标准化病人“演员”的虚拟病人也应用而生。利用三维虚拟数字人来模拟病人，不仅可以模拟问诊病史采集，还可以更大程度的再现实际病例表现出来的异常体征，能够更方便的扩展更多更丰富的典型病例和特殊病例用于医生、学生的学习、练习；

而当前虚拟人物的贴图效果普遍偏低，偏手绘风格，且模型材质精度不够，人物的动画质量低，当其作为临床诊断的3D模拟病人时，会给人带来极差的体验感。

综上所述，本申请现提出一种超仿真虚拟标准化病人构建系统及诊断方法来解决上述出现的问题。

发明内容

本发明目的是提供一种超仿真虚拟标准化病人构建系统及诊断方法，以解决当前虚拟人物的贴图效果普遍偏低，偏手绘风格，且模型材质精度不够，人物的动画质量低，当其作为临床诊断的3D模拟病人时，会给人带来极差的体验感的问题，本发明使用方便，操作简单，系统性高，实用性强。

为实现上述目的，本发明提供如下技术方案：一种超仿真虚拟标准化病人构建系统，包括模型构建系统和病人诊断系统，所述模型构建系统包括病人模拟资源模块、身体模型库模块、贴图素材库模块、动作库模块、头部模型模块、表情库模块、毛发库模块、病例配置模块、病例数据模块以及虚拟病人模块；

其中，身体模型库模块包括不同年龄和体型的人体三维模型，制作人体皮肤素材库，按照不同身材制作匹配的肢体、肌肉动作；

其中，贴图素材库模块根据病例数据，为病人添加皮肤贴图；动作库模块用于虚拟病人的表情及肢体动作效果；头部模型模块包括不同年龄和体型的人体头部模型；表情库模块用于在病人说话时，驱动病人仿真模型面部动作及肢体动作，同时同步口型；毛发库模块包括不同年龄和体型的毛发模型；

其中，病例配置模块用于配置不同的病例，病例数据模块用于记录病例的数据，虚拟病人模块最终构件出完成的病人模型；

所述病人诊断系统包括数据记录与分析系统、超仿真3D数字化病人构建模块，语音交互问诊模块、模拟叩诊模块，模拟听诊模块、辅助检查模块和实验室检查模块。

优选的，所述语音交互问诊模块包括对识别后的中文问题进行分词向量化，在语料库中进行相似度对比，基础算法采用余弦相似度算法或字符串编辑距离进行模糊对比；语料库包括基础情况对话语料、当前生理病征、病史、家族病史等，在语料中包含情绪、感受、表情、肢体动作、手部指向标签，当病人在说话时，病人仿真模型面部动作及肢体动作，同时同步口型；

还可通过任意角度、任意方位360度旋转观察虚拟病人的一般状态和许多全身性的体征，如发育、营养、体型或体质、意识、表情、体位、呼吸情况、姿势和步态等，通过设置虚拟病人的检查姿势，如：坐、卧、躺、站立和趴以及身体部位选择，如：头、颈、胸、腹、背和四肢，进行局部视诊，还可查看虚拟病人的身体各部分的改变，如皮肤、粘膜、眼、耳、鼻、口、舌、头颈、胸廓、腹形、肌肉、骨骼和关节外形，口、舌、咽、扁桃体、外耳道、鼻腔等则通过实际病例贴图或视频进行展现。

更为优选的，所述模拟叩诊模块包括心脏边界、肝上下界、肺下界移动度、全腹叩诊、腹部移动性浊音叩诊，常见的叩诊音主要为清音、浊音、鼓音、实音、过清音；

所述超仿真3D数字化病人构建模块利用Maya制作3D虚拟虚拟病人模型，标准化人体模型将包含头部、眼球、口腔、身体、上肢、下肢、毛发、衣物穿戴等，贴图类型包括漫反射贴图、法线凹凸贴图、高光贴图或光影贴图；

制作头面部基本肌肉混合动作Blendshape，包括额头、眉毛、上眼睑、下眼睑、鼻部肌肉、苹果肌、口唇部肌肉、下颌运动等基本的肌肉混合动作；以及舌头的卷曲、伸缩、翘舌、吐舌基本混合动作，采集或制作基本情绪混合表情动作快乐、忧伤、恐惧、厌恶、期盼、愤怒、思考、痛苦和中文元音的口型混合动作；制作全身站立、坐、趴、卧、躺的各个正常检查动作体格检查动作以及呼吸混合动作，用于基础建设男性的老年、中年、青年、少年的胖型身材、中等身材、瘦型身材和女性的老年、中年、青年、少年的胖型身材、中等身材、瘦型身材中标准身材的模型库和头部模型库，绘制各种样貌、身材的标准贴图，建设贴图库。

更为优选的，所述模拟听诊模块中听诊区域包括前胸部、侧胸部、背部；听诊顺序为听诊前胸部应沿锁骨中线和腋前线，听诊侧胸部应沿腋中线和腋后线，听诊背部应沿肩胛线，自上至下逐一肋间进行听诊；

所述实验室检查模块包括生化检查，血培养，血糖，心肌标志物，凝血试验，血常规，血脂，尿常规和尿抗原；

所述辅助检查模块包括生命体征检测、物理检查、实验室检查、影像学检查。

更为优选的，所述病人诊断系统还包括实验室病例撰写模块、智能化示范与讲解模块、标准化病例对比分析模块和智能评价与分析模块；

所述实验室病例撰写模块根据问诊对话情况，病人主述、体格检查、实验室检查等情况，按照规范标准，编写病情基本情况、发病日期、初起症状、主观症状及发病可能原因及诱因以及病发后的治疗情况、服用药物、治疗手段、治疗效果、各种检查手段，用户在完成病例撰写后，系统会根据标准诊治参考方案，给出对比分析，指出不足之处及不合理之处，给出综合评价分析；

所述智能化示范与讲解模块是针对病例临床诊断要点、难点以音频、视频、3D动态模型的方式进行示范和讲解；

所述标准化病例对比分析模块为通过病例进行标准化分析；

所述智能评价与分析模块是根据使用者的诊断过程中没有问及的问题、缺少的检查、不必要的检查等行为进行智能分析和点评。

更为优选的，所述病人诊断系统还包括病例数据采集模块、临床思维交互式模块，所述病例数据采集模块分为病史情况、全身体格检查数据、实验室及辅助检查详单数据、诊断与治疗数据；所述临床思维交互式模块为对虚拟病人进行思维互动。

更为优选的，所述语音交互问诊模块中的问诊将从基本情况、主诉史、现病史、既往史、个人史、婚育史、家族史等方面进行病人语料脚本收集。

更为优选的，所述头部模型模块还包括特殊面容脸，如：满月脸、面具面容和无表情面容的模型。

更为优选的，所述模型构建系统还包括衣物库模块。

更为优选的，一种超仿真虚拟标准化病人诊断方法，包括以下步骤：

S1：用户通过电脑PC或移动端打开病例，首先可以通过病例简介了解到其概要情况，开始进行诊断后，3D虚拟病人以真实自然的表现方式呈现于用户视野中；

S2：用户通过两种方式对虚拟病人进行问诊，分别是文字输入问题和语音问题，虚拟病人根据问题进行回答，当虚拟病人无法判定问题语义时，将会以疑问的表情向用户发问“医生，您能再说一遍吗；我不太明白”或“大夫，我不太明白您说什么”；用户问诊最终获取其主诉史、现病史、个人史、婚育史、家族史等，并形成各系统回顾方案，如：呼吸系统、循环系统、消化系统、泌尿系统、运动系统以及神经系统；

S3：对虚拟病人进行体格检查，按照身体各个部位进行不同的检查，身体部位分为：头部颈部、胸部、腹部、背部、生殖器、四肢，当选择检查部位后，会再次选择下一级精确部位进行详细检查，如选择头部，会进入下一级“头颅、眼、耳、口、鼻、面”，选择“眼”后，会再次选择检查项“眼球运动检查、瞳孔对光检查、调节与集合反射检查、近视力检查”以及部位视诊“球结膜、巩膜、结膜”等，通过检查虚拟病人给出不同的反馈，如可看到其巩膜是否黄染，视力是否正常，对光反射是否正常，是否有斜视，检查身体其他各部位时，也可以选择虚拟病人的姿势，如：坐、卧、躺、趴进行详细检查；

S4：用户选择了视诊后，可以通过360度无死角的视角旋转移动，查看虚拟病人的外观表征，精神状态、身体动作；

S5：用户选择了听诊后，画面中出现听诊器，通过输入设备移动听诊器位置，可以听到当前位置的心脏音、肺泡音；

S6：用户选择叩诊时，画面中出现叩诊双手，触发叩诊，叩诊右手会敲击左手中指，发出叩诊音，叩诊音会根据敲击部位的不同，发出的声音不同；

S7：用户选择触诊后，用户利用输入设备触击身体部位，画面会呈现相应的触诊反应，同时虚拟病人的面部和肢体也会根据触诊的异常表现出相应表情和动作；

S8：体格检查结束后，按照身体各部位记录其检查结果；

S9：检查完毕，编写病例，病例模板包括病例摘要、诊断依据、鉴别诊断、诊疗计划，退出虚拟病人模拟诊断后，系统根据模拟诊断的过程步骤以及病例撰写结果和自动记录的检查过程，为用户提供标准的检查逻辑和检查结果对比分析，针对必要的检查和不必要的检查提供详细说明，让用户了解如何更高效的采集信息，得到正确的鉴别诊断结果，并通过评估模型为用户进行打分，在完成后可选择示范与讲解，系统以教学方式为用户呈现该病例的详细诊断方法和临床思维逻辑。

与现有技术相比，本发明的有益效果是：1、本发明具有真实的体验感和代入感，通过超写实的人体皮肤、体态、精神面貌等外观体征的视觉感官的模拟，和模拟真实病人面部表情、肢体动作，以及模拟的真实的临床诊断检查交互手段，给使用者带来接近真实的代入感和身临其境感，提升教学和临床实训的效果；

2、本发明降低建设成本，提高数字化病人的创建效率，通过建设病人3D资源库，可以按照病例数据要求快速创建不同容貌、不同体态、不同年龄不同性别的超写实三维虚拟病人模型，可以在短时间内创建大量的不同形象的三位虚拟病人数据，提高了标准化病例数据资源的创建效率；

3、本发明快速积累大量的可视化病例，通过创建标准化病例数据库，规范病例收集标准，科学划分病例分类、标签、索引、知识图谱，可以方便快速地收集、积累大量丰富的病例；

4、本发明能够扩大受众面，更大范围的为医学人员带来临床案例资源，通过个人电脑，手机端使用，使更多不同地域、不同级别、不同学科的医学人员能够了解、学习、掌握各种典型病例、疑难病例、特殊病例的诊断手法、思维、用药方案等，能够让更多市、地、县级医疗人员接触到更多的病例资源；

5、本发明能够提高学习效率和学习效果。通过临床诊断过程的完全模拟，与虚拟病人进行文字或语音对话，采集病史信息，可以不断重复的尝试，锻炼自己的临床思维逻辑，积累经验，同时，系统也会给予用户标准的临床诊断指导、示范和建议，让用户能够在短时间内建立符合自己学科专业的临床思维，大大提高了学习效率和学习效果。

附图说明

图1为本发明模型构建系统结构框图；

图2为本发明中病人诊断系统框图。

附图标记中：1、病人模拟资源模块；2、身体模型库模块；3、贴图素材库模块；4、动作库模块；5、表情库模块；6、衣物库模块；7、毛发库模块；8、头部模型模块；9、病例配置模块；10、病例数据模块；11、虚拟病人模块；12、病例数据采集模块；13、超仿真3D数字化病人构建模块；14、临床思维交互式模；15、语音交互问诊模；16、模拟听诊模块；17、辅助检查模块；18、实验室检查模块；19、实验室病例撰写模块；20、智能化示范与讲解模块；21、数据记录与分析系统；22、标准化病例对比分析模块；23、评价与分析模块；24、病人诊断系统；25、模型构建系统；26、模拟叩诊模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本实施例中，请参阅图1-2，一种超仿真虚拟标准化病人构建系统，包括模型构建系统25和病人诊断系统24，模型构建系统25包括病人模拟资源模块1、病人模拟资源模块1对病人进行诊断模拟记录，身体模型库模块2、贴图素材库模块3、动作库模块4、头部模型模块8、表情库模块5、毛发库模块7、病例配置模块9、病例数据模块10以及虚拟病人模块11；

本实施例中，请参阅图1-2，其中，身体模型库模块2包括不同年龄和体型的人体三维模型，制作人体皮肤素材库，按照不同身材制作匹配的肢体、肌肉动作；

本实施例中，请参阅图1-2，其中，贴图素材库模块3根据病例数据，为病人添加皮肤贴图，贴图最大分辨率为4096*4096，根据平台要求，可进行等比压缩，最低至512*512；动作库模块4用于虚拟病人的表情及肢体动作效果；头部模型模块8包括不同年龄和体型的人体头部模型；表情库模块5用于在病人说话时，驱动病人仿真模型面部动作及肢体动作，同时同步口型；毛发库模块7包括不同年龄和体型的毛发模型；

本实施例中，请参阅图1-2，其中，病例配置模块9用于配置不同的病例，病例数据模块10用于记录病例的数据，虚拟病人模块11最终构件出完成的病人模型；病人诊断系统24包括数据记录与分析系统21、超仿真3D数字化病人构建模块13，语音交互问诊模15块、模拟叩诊模块26，模拟听诊模块16、辅助检查模块17和实验室检查模块18。

本实施例中，请参阅图1-2，语音交互问诊模15块包括对识别后的中文问题进行分词向量化，在语料库中进行相似度对比，基础算法采用余弦相似度算法或字符串编辑距离进行模糊对比；语料库包括基础情况对话语料、当前生理病征、病史、家族病史等，在语料中包含情绪、感受、表情、肢体动作、手部指向标签，当病人在说话时，病人仿真模型面部动作及肢体动作，同时同步口型。

本实施例中，请参阅图1-2，语音交互问诊模15块包括可能会问到的问题和对应的回答内容。按照病人当前的基本情况、主诉史、现病史、既往史、个人史、婚育史、家族史等进行问题的录入和回答问题的文字录入；

例如关于年龄的问法可以有“请问您今年多大岁数了”“您的年龄是多少”“你今年多大了”等等；同一个问题录入对应的多个同意语义的回答文字内容。例如年龄的回答方法“我今年29了”“29岁了”“过完年就30了”等等，为问题添加关键字标签。例如年龄的标签“年龄”“岁数”，为回答内容添加情绪、人物表情、动作的标签。例如在回答到身体某一部位不舒服时可以添加动作标签[痛苦][腹部]，代表表情为痛苦，手会随机捂向腹部，数据记录与分析系统21以xml标准化格式存储在数据库中。

还可通过任意角度、任意方位360度旋转观察虚拟病人的一般状态和许多全身性的体征，如发育、营养、体型或体质、意识、表情、体位、呼吸情况、姿势和步态等，通过设置虚拟病人的检查姿势，如：坐、卧、躺、站立和趴以及身体部位选择，如：头、颈、胸、腹、背和四肢，进行局部视诊，还可查看虚拟病人的身体各部分的改变，如皮肤、粘膜、眼、耳、鼻、口、舌、头颈、胸廓、腹形、肌肉、骨骼和关节外形，口、舌、咽、扁桃体、外耳道、鼻腔等则通过实际病例贴图或视频进行展现。

本实施例中，请参阅图1-2，模拟叩诊模块26包括心脏边界、肝上下界、肺下界移动度、全腹叩诊、腹部移动性浊音叩诊，常见的叩诊音主要为清音、浊音、鼓音、实音、过清音；

本实施例中，请参阅图1-2，写实3D人物模型采用常用建模软件3DS MAX或Maya，贴图基于真实人物进行采样，采用基于真实物理材质的多通道贴图混合，包括光影贴图、皮肤纹理凹凸法线贴图、高光贴图、皮肤表面散射通道贴图等，以有效地达到写实的人物模型视觉效果，写实3D人物模型面部采用混合变形绑定，此种方法可以在多个预定义表情和口型动作之间融合，通过语音内容驱动面部表情和语音口型动作，以及仿真病人的肢体动作，仿真病人预置站立、坐、行走、躺卧、抬臂等多种检查生理姿势和动作，当进入某项检查的特定姿势时，便改变其动作，面部表情主要包括以下几种预设：快乐、忧伤、恐惧、厌恶、期盼、愤怒、思考、痛苦，肢体动作主要包括常态动作、手部指向身体某个病灶部位动作，行走动作等，面部微表情和肢体动作可通过语料内容中的预设标签进行驱动，达到声音和肢体动作及表情动作的同步，口型动作则预设常用汉语元音发音口型动作，通过实时提取语音音频的共振峰获取汉语元音特征数据，通过混合变形动作融合实时匹配口型动作，仿真病人可以模拟真实病人的生理体征和症状，可以模拟出汗、缺氧发绀、胸廓运动，疼痛以实，还可以模拟眼动、眨眼、闭眼、流泪、呼吸、咳嗽、气促、呻吟、疼痛等，标准化人体模型将包含头部、眼球、口腔、身体、上肢、下肢、毛发、衣物穿戴等，贴图类型包括漫反射贴图、法线凹凸贴图、高光贴图或光影贴图；

制作头面部基本肌肉混合动作Blendshape，包括额头、眉毛、上眼睑、下眼睑、鼻部肌肉、苹果肌、口唇部肌肉、下颌运动等基本的肌肉混合动作；以及舌头的卷曲、伸缩、翘舌、吐舌基本混合动作，采集或制作基本情绪混合表情动作快乐、忧伤、恐惧、厌恶、期盼、愤怒、思考、痛苦和中文元音的口型混合动作；制作全身站立、坐、趴、卧、躺的各个正常检查动作体格检查动作以及呼吸混合动作，用于基础建设男性的老年、中年、青年、少年的胖型身材、中等身材、瘦型身材和女性的老年、中年、青年、少年的胖型身材、中等身材、瘦型身材中标准身材的模型库和头部模型库，绘制各种样貌、身材的标准贴图，建设贴图库。

本实施例中，请参阅图1-2，全身检查包括头部、颈部、胸部、腹部、背部、腹部、四肢检查，头部包含头颅、眼、鼻、口、面部各部位的检查，颈部包括淋巴结、血管杂音、颈部运动检查。胸部包括胸部、乳房、淋巴、心脏、肺部的视、听、触、叩检查。背部包括脊柱、胸廓、肺、肾脏的视、听、触、叩的检查。腹部包括全腹的视、听、触、叩的检查，以及肝脏、胆囊、脾脏、肾脏、神经系统的检查。四肢包括各个关节运动，神经反射的检查。

本实施例中，请参阅图1-2，通过界面交互操作或语音、文字命令，选择身体部位，检查项目，触发检查交互过程，利用电脑键盘、鼠标或VR手柄、手势进行交互输入，虚拟病人根据预置病例数据实时反馈检查结果。

本实施例中，请参阅图1-2，模拟听诊模块16中听诊区域包括前胸部、侧胸部、背部；听诊顺序为听诊前胸部应沿锁骨中线和腋前线，听诊侧胸部应沿腋中线和腋后线，听诊背部应沿肩胛线，自上至下逐一肋间进行听诊；心脏听诊区域主要分为：二尖瓣区、主动脉瓣区、主动脉瓣第二听诊区、肺动脉瓣区、三尖瓣区。心脏听诊顺序为：二尖瓣区→肺动脉瓣区→主动脉瓣区→主动脉瓣第二听诊区→三尖瓣区。肺部听诊区域包括前胸部、侧胸部、背部。听诊顺序为听诊前胸部应沿锁骨中线和腋前线，听诊侧胸部应沿腋中线和腋后线，听诊背部应沿肩胛线，自上至下逐一肋间进行听诊，根据声音传播特点，心肺声音均受听诊位置、传播介质（肌肉、骨骼）的影响在不同听诊点听到的声音均有所不同，须在虚拟病人模型上预置声源点，声源点衰减系数包含声音衰减距离、介质系数、声音强度。衰减距离远大，声音强度越小。介质为骨骼时，声音相应增强，各个声音之间会经过衰减叠加，产生模拟听诊的效果。通过听诊声音判断病情，心肺听诊声音通过采集设备采集各个特征点正常声音及特定病例声音素材并放入病例库。根据不同的场景分配至对应的声源点，通过模型射线碰撞检测，由听诊器接触面法线方向发射射线，射线与3D人物胸部模型接触面接触，获取其空间坐标，得到声音叠加量，模拟出真实听诊效果。

本实施例中，请参阅图1-2，实验室检查模块18包括生化检查，血培养，血糖，心肌标志物，凝血试验，血常规，血脂，尿常规和尿抗原；辅助检查模块17包括生命体征检测、物理检查、实验室检查、影像学检查。

本实施例中，请参阅图1-2，病人诊断系统24还包括实验室病例撰写模块19、智能化示范与讲解模块20、标准化病例对比分析模块22和智能评价与分析模块23；

本实施例中，请参阅图1-2，实验室病例撰写模块19根据问诊对话情况，病人主述、体格检查、实验室检查等情况，按照规范标准，编写病情基本情况、发病日期、初起症状、主观症状及发病可能原因及诱因以及病发后的治疗情况、服用药物、治疗手段、治疗效果、各种检查手段，用户在完成病例撰写后，系统会根据标准诊治参考方案，给出对比分析，指出不足之处及不合理之处，给出综合评价分析；

本实施例中，请参阅图1-2，智能化示范与讲解模块20是针对病例临床诊断要点、难点以音频、视频、3D动态模型的方式进行示范和讲解；标准化病例对比分析模块22为通过病例进行标准化分析；智能评价与分析模块23是根据使用者的诊断过程中没有问及的问题、缺少的检查、不必要的检查等行为进行智能分析和点评，病人诊断系统24还包括病例数据采集模块12、临床思维交互式模14块，病例数据采集模块12分为病史情况、全身体格检查数据、实验室及辅助检查详细数据、诊断与治疗数据；临床思维交互式模14块为对虚拟病人进行思维互动。

本实施例中，请参阅图1-2，语音交互问诊模15块中的问诊将从基本情况、主诉史、现病史、既往史、个人史、婚育史、家族史等方面进行病人语料脚本收集，头部模型模块8还包括特殊面容脸，如：满月脸、面具面容和无表情面容的模型，模型构建系统25还包括衣物库模块6，用于给虚拟病人增加衣物。

本实施例中，请参阅图1-2，一种超仿真虚拟标准化病人诊断方法，包括以下步骤：

S1：用户通过电脑PC或移动端打开病例，首先可以通过病例简介了解到其概要情况，开始进行诊断后，3D虚拟病人以真实自然的表现方式呈现于用户视野中；

S2：用户通过两种方式对虚拟病人进行问诊，分别是文字输入问题和语音问题，虚拟病人根据问题进行回答，当虚拟病人无法判定问题语义时，将会以疑问的表情向用户发问“医生，您能再说一遍吗；我不太明白”或“大夫，我不太明白您说什么”；用户问诊最终获取其主诉史、现病史、个人史、婚育史、家族史等，并形成各系统回顾方案，如：呼吸系统、循环系统、消化系统、泌尿系统、运动系统以及神经系统；

S3：对虚拟病人进行体格检查，按照身体各个部位进行不同的检查，身体部位分为：头部颈部、胸部、腹部、背部、生殖器、四肢，当选择检查部位后，会再次选择下一级精确部位进行详细检查，如选择头部，会进入下一级“头颅、眼、耳、口、鼻、面”，选择“眼”后，会再次选择检查项“眼球运动检查、瞳孔对光检查、调节与集合反射检查、近视力检查”以及部位视诊“球结膜、巩膜、结膜”等，通过检查虚拟病人给出不同的反馈，如可看到其巩膜是否黄染，视力是否正常，对光反射是否正常，是否有斜视，检查身体其他各部位时，也可以选择虚拟病人的姿势，如：坐、卧、躺、趴进行详细检查；

S4：用户选择了视诊后，可以通过360度无死角的视角旋转移动，查看虚拟病人的外观表征，精神状态、身体动作；

S5：用户选择了听诊后，画面中出现听诊器，通过输入设备移动听诊器位置，可以听到当前位置的心脏音、肺泡音；

S6：用户选择叩诊时，画面中出现叩诊双手，触发叩诊，叩诊右手会敲击左手中指，发出叩诊音，叩诊音会根据敲击部位的不同，发出的声音不同；

S7：用户选择触诊后，用户利用输入设备触击身体部位，画面会呈现相应的触诊反应，同时虚拟病人的面部和肢体也会根据触诊的异常表现出相应表情和动作；

S8：体格检查结束后，按照身体各部位记录其检查结果；

S9：检查完毕，编写病例，病例模板包括病例摘要、诊断依据、鉴别诊断、诊疗计划，退出虚拟病人模拟诊断后，系统根据模拟诊断的过程步骤以及病例撰写结果和自动记录的检查过程，为用户提供标准的检查逻辑和检查结果对比分析，针对必要的检查和不必要的检查提供详细说明，让用户了解如何更高效的采集信息，得到正确的鉴别诊断结果，并通过评估模型为用户进行打分，在完成后可选择示范与讲解，系统以教学方式为用户呈现该病例的详细诊断方法和临床思维逻辑。参考例：步骤S8中，体格检查结束后，按照身体各部位记录其检查结果，以下为部分检查结果：体温37.2℃以上，脉搏98次/分，呼吸20次/分，血压108/69mmHg。

一般状况：发育正常，营养中等，呈急性病容，自主体位，步态正常，精神尚可，神智清楚，检查合作。

皮肤粘膜：皮肤无黄染，无瘀点、紫癜瘀斑及血肿，无皮疹，无静脉曲张，皮肤温度高、湿度适中及弹性良好。无蜘蛛痣及肝掌，毛发分布正常。眼：眉毛无脱落或稀疏，无倒睫，眼睑无水肿、下垂，结膜未见充血、水肿、出血点、滤泡，巩膜无黄染，角膜透明，无混浊、云翳、溃疡、瘢痕，双侧瞳孔等圆等大、直径约2.5毫米、对光反射灵敏、集合反射、调节反射存在。

颈部：对称无颈项强直，未见静脉曲张，气管居中，甲状腺不大。胸部：胸廓无畸形，双侧对称，未见出血点及静脉曲张,胸式呼吸为主，频率22次/分，节律规整。

肺部视诊：双肺呼吸动度基本相等。

肺部触诊：双肺呼吸动度基本相等。右下肺，语颤较对侧减弱，未及胸膜摩擦音。

肺部叩诊：右下肺叩诊浊音，左肺叩诊清音，肺下界位于右锁骨中线为第6肋间，肩胛线为第9肋间，左肩胛线第10肋间，移动度约4厘米。

肺部听诊：左肺呼吸音粗，右下肺呼吸音减弱，可闻及少许湿啰音，未及胸膜摩擦音。

本发明带来的有益效果为：1、真实的体验感和代入感，通过超写实的人体皮肤、体态、精神面貌等外观体征的视觉感官的模拟，和模拟真实病人面部表情、肢体动作，以及模拟的真实的临床诊断检查交互手段，给使用者带来接近真实的代入感和身临其境感，提升教学和临床实训的效果。

2、降低建设成本，提高数字化病人的创建效率。通过建设病人3D资源库，可以按照病例数据要求快速创建不同容貌、不同体态、不同年龄不同性别的超写实三维虚拟病人模型，可以在短时间内创建大量的不同形象的三位虚拟病人数据，提高了标准化病例数据资源的创建效率。

3、快速积累大量的可视化病例。通过创建标准化病例数据库，规范病例收集标准，科学划分病例分类、标签、索引、知识图谱，可以方便快速地收集、积累大量丰富的病例。

4、扩大受众面，更大范围的为医学人员带来临床案例资源。通过个人电脑，手机端使用，使更多不同地域、不同级别、不同学科的医学人员能够了解、学习、掌握各种典型病例、疑难病例、特殊病例的诊断手法、思维、用药方案等，能够让更多市、地、县级医疗人员接触到更多的病例资源。

5、提高学习效率和学习效果。通过临床诊断过程的完全模拟，与虚拟病人进行文字或语音对话，采集病史信息，可以不断重复的尝试，锻炼自己的临床思维逻辑，积累经验。同时，系统也会给予用户标准的临床诊断指导、示范和建议，让用户能够在短时间内建立符合自己学科专业的临床思维，大大提高了学习效率和学习效果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种超仿真虚拟标准化病人构建系统，包括模型构建系统（25）和病人诊断系统（24），其特征在于：所述模型构建系统（25）包括病人模拟资源模块（1）、身体模型库模块（2）、贴图素材库模块（3）、动作库模块（4）、头部模型模块（8）、表情库模块（5）、毛发库模块（7）、病例配置模块（9）、病例数据模块（10）以及虚拟病人模块（11）；

其中，身体模型库模块（2）包括不同年龄和体型的人体三维模型，制作人体皮肤素材库，按照不同身材制作匹配的肢体、肌肉动作；

其中，贴图素材库模块（3）根据病例数据，为病人添加皮肤贴图；动作库模块（4）用于虚拟病人的表情及肢体动作效果；头部模型模块（8）包括不同年龄和体型的人体头部模型；表情库模块（5）用于在病人说话时，驱动病人仿真模型面部动作及肢体动作，同时同步口型；毛发库模块（7）包括不同年龄和体型的毛发模型；其中，病例配置模块（9）用于配置不同的病例，病例数据模块（10）用于记录病例的数据，虚拟病人模块（11）最终构件出完成的病人模型；所述病人诊断系统（24）包括数据记录与分析系统（21）、超仿真3D数字化病人构建模块（13），语音交互问诊模（15）块、模拟叩诊模块（26），模拟听诊模块（16）、辅助检查模块（17）和实验室检查模块（18）。

2.根据权利要求1所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述语音交互问诊模（15）块包括对识别后的中文问题进行分词向量化，在语料库中进行相似度对比，基础算法采用余弦相似度算法或字符串编辑距离进行模糊对比；语料库包括基础情况对话语料、当前生理病征、病史、家族病史等，在语料中包含情绪、感受、表情、肢体动作、手部指向标签，当病人在说话时，病人仿真模型面部动作及肢体动作，同时同步口型；还可通过任意角度、任意方位360度旋转观察虚拟病人的一般状态和许多全身性的体征，如发育、营养、体型或体质、意识、表情、体位、呼吸情况、姿势和步态等，通过设置虚拟病人的检查姿势，如：坐、卧、躺、站立和趴下及身体部位选择，如：头、颈、胸、腹、背和四肢，进行局部视诊，还可查看虚拟病人的身体各部分的改变，如皮肤、粘膜、眼、耳、鼻、口、舌、头颈、胸廓、腹形、肌肉、骨骼和关节外形，口、舌、咽、扁桃体、外耳道、鼻腔等则通过实际病例贴图或视频进行展现。

3.根据权利要求2所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述模拟叩诊模块（26）包括心脏边界、肝上下界、肺下界移动度、全腹叩诊、腹部移动性浊音叩诊，常见的叩诊音主要为清音、浊音、鼓音、实音、过清音；所述超仿真3D数字化病人构建模块（13）利用Maya制作3D虚拟虚拟病人模型，标准化人体模型将包含头部、眼球、口腔、身体、上肢、下肢、毛发、衣物穿戴等，贴图类型包括漫反射贴图、法线凹凸贴图、高光贴图或光影贴图；制作头和面部基本肌肉混合动作Blendshape，包括额头、眉毛、上眼睑、下眼睑、鼻部肌肉、苹果肌、口唇部肌肉、下颌运动等基本的肌肉混合动作；以及舌头的卷曲、伸缩、翘舌、吐舌基本混合动作，采集或制作基本情绪混合表情动作快乐、忧伤、恐惧、厌恶、期盼、愤怒、思考、痛苦和中文元音的口型混合动作；制作全身站立、坐、趴、卧、躺的各个正常检查动作体格检查动作以及呼吸混合动作，用于基础建设男性的老年、中年、青年、少年的胖型身材、中等身材、瘦型身材和女性的老年、中年、青年、少年的胖型身材、中等身材、瘦型身材中标准身材的模型库和头部模型库，绘制各种样貌、身材的标准贴图，建设贴图库。

4.根据权利要求3所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述模拟听诊模块（16）中听诊区域包括前胸部、侧胸部、背部；听诊顺序为听诊前胸部应沿锁骨中线和腋前线，听诊侧胸部应沿腋中线和腋后线，听诊背部应沿肩胛线，自上至下逐一肋间进行听诊；

所述实验室检查模块（18）包括生化检查，血培养，血糖，心肌标志物，凝血试验，血常规，血脂，尿常规和尿抗原；所述辅助检查模块（17）包括生命体征检测、物理检查、实验室检查、影像学检查。

5.根据权利要求4所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述病人诊断系统（24）还包括实验室病例撰写模块（19）、智能化示范与讲解模块（20）、标准化病例对比分析模块（22）和智能评价与分析模块（23）；所述实验室病例撰写模块（19）根据问诊对话情况，病人主述、体格检查、实验室检查等情况，按照规范标准，编写病情基本情况、发病日期、初起症状、主观症状及发病可能原因及诱因以及病发后的治疗情况、服用药物、治疗手段、治疗效果、各种检查手段，用户在完成病例撰写后，系统会根据标准诊治参考方案，给出对比分析，指出不足之处及不合理之处，给出综合评价分析；所述智能化示范与讲解模块（20）是针对病例临床诊断要点、难点以音频、视频、3D动态模型的方式进行示范和讲解；所述标准化病例对比分析模块（22）为通过病例进行标准化分析；所述智能评价与分析模块（23）是根据使用者的诊断过程中没有问及的问题、缺少的检查、不必要的检查等行为进行智能分析和点评。

6.根据权利要求5所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述病人诊断系统（24）还包括病例数据采集模块（12）、临床思维交互式模（14）块，所述病例数据采集模块（12）分为病史情况、全身体格检查数据、实验室及辅助检查详细数据、诊断与治疗数据；所述临床思维交互式模（14）块为对虚拟病人进行思维互动。

7.根据权利要求2所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述语音交互问诊模（15）块中的问诊将从基本情况、主诉史、现病史、既往史、个人史、婚育史、家族史等方面进行病人语料脚本收集。

8.根据权利要求1所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述头部模型模块（8）还包括特殊面容脸，如：满月脸、面具面容和腺样体面容的模型。

9.根据权利要求1所述的一种超仿真虚拟标准化病人构建系统，其特征在于：所述模型构建系统（25）还包括衣物库模块（6）。

10.一种超仿真虚拟标准化病人诊断方法，其特征在于：包括以下步骤：

S1：用户通过电脑PC或移动端打开病例，首先可以通过病例简介了解到其概要情况，开始进行诊断后，3D虚拟病人以真实自然的表现方式呈现于用户视野中；

S2：用户通过两种方式对虚拟病人进行问诊，分别是文字输入问题和语音问题，虚拟病人根据问题进行回答，当虚拟病人无法判定问题语义时，将会以疑问的表情向用户发问“医生，您能再说一遍吗；我不太明白”或“大夫，我不太明白您说什么”；用户问诊最终获取其主诉史、现病史、个人史、婚育史、家族史等，并形成各系统回顾方案，如：呼吸系统、循环系统、消化系统、泌尿系统、运动系统以及神经系统；

S3：对虚拟病人进行体格检查，按照身体各个部位进行不同的检查，身体部位分为：头部颈部、胸部、腹部、背部、生殖器、四肢，当选择检查部位后，会再次选择下一级精确部位进行详细检查，如选择头部，会进入下一级“头颅、眼、耳、口、鼻、面”，选择“眼”后，会再次选择检查项“眼球运动检查、瞳孔对光检查、调节与集合反射检查、近视力检查”以及部位视诊“球结膜、巩膜、结膜”等，通过检查虚拟病人给出不同的反馈，如可看到其巩膜是否黄染，视力是否正常，对光反射是否正常，是否有斜视，检查身体其他各部位时，也可以选择虚拟病人的姿势，如：坐、卧、躺、趴进行详细检查；

S4：用户选择了视诊后，可以通过360度无死角的视角旋转移动，查看虚拟病人的外观表征，精神状态、身体动作；

S5：用户选择了听诊后，画面中出现听诊器，通过输入设备移动听诊器位置，可以听到当前位置的心脏音、肺泡音；

S6：用户选择叩诊时，画面中出现叩诊双手，触发叩诊，叩诊右手会敲击左手中指，发出叩诊音，叩诊音会根据敲击部位的不同，发出的声音不同；

S7：用户选择触诊后，用户利用输入设备触击身体部位，画面会呈现相应的触诊反应，同时虚拟病人的面部和肢体也会根据触诊的异常表现出相应表情和动作；

S8：体格检查结束后，按照身体各部位记录其检查结果；

S9：检查完毕，编写病例，病例模板包括病例摘要、诊断依据、鉴别诊断、诊疗计划，退出虚拟病人模拟诊断后，系统根据模拟诊断的过程步骤以及病例撰写结果和自动记录的检查过程，为用户提供标准的检查逻辑和检查结果对比分析，针对必要的检查和不必要的检查提供详细说明，让用户了解如何更高效的采集信息，得到正确的鉴别诊断结果，并通过评估模型为用户进行打分，在完成后可选择示范与讲解，系统以教学方式为用户呈现该病例的详细诊断方法和临床思维逻辑。

Images