CN107527542A - 基于动作捕捉的叩诊训练系统 - Google Patents

基于动作捕捉的叩诊训练系统 Download PDF

Info

Publication number
CN107527542A
CN107527542A CN201710841391.3A CN201710841391A CN107527542A CN 107527542 A CN107527542 A CN 107527542A CN 201710841391 A CN201710841391 A CN 201710841391A CN 107527542 A CN107527542 A CN 107527542A
Authority
CN
China
Prior art keywords
percussion
digitlization
training
optics
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710841391.3A
Other languages
English (en)
Other versions
CN107527542B (zh
Inventor
方彤
王毅
卿叔平
周坚
张秀峰
邓宏军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Meng Yu 3-D Technology Co Ltd
Original Assignee
Nanjing Meng Yu 3-D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Meng Yu 3-D Technology Co Ltd filed Critical Nanjing Meng Yu 3-D Technology Co Ltd
Priority to CN201710841391.3A priority Critical patent/CN107527542B/zh
Publication of CN107527542A publication Critical patent/CN107527542A/zh
Application granted granted Critical
Publication of CN107527542B publication Critical patent/CN107527542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Abstract

本发明涉及一种基于动作捕捉的叩诊训练系统,包括叩诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统,数字化3D模型处理系统包括数字化3D建模单元、模型病例匹配单元和数据库,光学动作捕捉系统包括采集单元和数字化3D计算处理单元。本发明将简单的叩诊模拟对象转换为与之大小匹配的数字化对象并建立与数字化对象的叩诊部位相关联的病例和声音,结合光学动作捕捉技术进行叩诊手指的空间三维定位,模拟实现叩诊部位在不同操作手法下的实际叩诊声音,并能够直接观察数字化场景中的数字化对象,便于操作者实现练习过程中叩诊位置所对应解剖结构,帮助学习诊断技能,提高叩诊训练质量与效果。

Description

基于动作捕捉的叩诊训练系统
技术领域
本发明涉及模拟医疗教学领域,具体涉及一种基于动作捕捉的叩诊训练系统。
背景技术
对病人实施体格检查是医生诊治病人的一项非常重要的基本环节,医生在采集完病人病史的基础之上实施的体格检查,是医生验证病人症状、获取病人体征的重要来源,因此,全面、完整、正确的实施体格检查才能使得临床医生做出正确的诊断,从而因病施治极为重要。
医学生向医生角色转变的过程中,医学见习是非常重要的一环,体格检查是医师临床工作的基本功,体格检查训练是临床医学教育的重要环节,而叩诊训练又是其中最基础的内容之一。叩诊指用手叩击身体某表部位,使之振动而产生声音,根据振动和声音的音调的特点来判断被检查部位的脏器状态有无异常,叩诊教学课需要学生积极参与、反复实践,以获得良好的教学效果,教学质量的高低、效果的好坏在一定程度上直接将影响到医学生今后的临床思维和实践能力。
一般而言,在正常人体上进行的体格检查所采集的疾病症状和体征均为生理驱动。随着社会的进步,人们生活质量与医疗水平大幅提高,医学教育规模也不断扩大,与此同时,患者就医观念发生转变,自我保护意识逐渐增强,部分住院患者不愿意配合教学,就算有部分患者愿意配合教学,但学生多组见习时,同时反复检查同一患者,还是会造成患者不愿合作,因此导致医学生见到的病种及阳性体征越来越少,在患者身上进行实践的机会明显减少,学生多、典型病患少的矛盾日益突出,影响了学生临床基本技能的培养和叩诊训练的教学质量。因此,高度重视叩诊训练教学工作,进一步提高教学质量,对培养具有临床实践能力的医学人才具有非常重要的意义。
为此医学教育工作者开始引入多媒体教学等现代教学手段,多媒体教学虽然图文并茂,但难以让医学生进行与患者的互动,进行见习操作,仍然无法提高教学质量。继而人们想到了以电脑模拟人代替真人患者的方法,比如有心肺叩诊电脑模拟人、腹部叩诊电脑模拟人等等。电脑模拟人采用硅胶、PVC等材料制作,内部相应部位安装有各种不同的传感器装置,并预置好不同病例的不同声音或效果,一方面具有与真实人体一样的体面表征,另一方面针对各个不同的诊断部位设置有不同的传感器装置,以及外部连接的多媒体设备,由此来实现诊断人与“被诊断人”(电脑模拟人)的互动反馈,诊断出不同部位的不同病状,表现出不同体征与声音,也能供学生多次技能训练,所以模拟人的应用确实在一定程度上弥补了典型病患少的问题。
目前传统的模拟医学行业采用电磁感应、压力传感技术对模拟人实现听诊、触诊等训练项目,即在模拟人内设置传感器,进行模拟训练,但是因为无法完全模拟人体的正常生理驱动,训练仍无法达到满意的效果。尤其对于叩诊,叩击身体时随着叩击手势的频率角度、力度的不同,得到的振动和声音的音调是不同的,而模拟人内的传感器无法感应到这些不同。而且传感器仅能在传感点感应,对于其它点哪怕是在其旁边的点都无法感应,故效果是离散式的,但事实上身体检查部位叩诊时在检查部位周围也是有声音的,是渐变的振动以及声音的音调,即呈连续式效果。故传统的模拟医学行业无法通过设置传感器的模拟人实现叩诊教学训练。
目前各方都在努力研发的各种驱动(包括生理驱动)的体格检查模拟人,无论在触诊、叩诊和听诊,还是神经系统检查等诸多方面,都无法满足临床医生专业训练的基本要求。
发明内容
本发明针对目前传统的模拟医疗训练设备无法实现叩诊的教学训练的问题,提供一种基于动作捕捉的叩诊训练系统,将简单的叩诊模拟对象转换为与之大小匹配的数字化对象并建立与数字化对象的叩诊部位相关联的病例和声音,结合光学动作捕捉技术进行叩诊手指的空间三维定位,模拟实现叩诊部位在不同操作手法下的实际叩诊声音,并能够直接观察数字化场景中的数字化对象,便于操作者实现练习过程中叩诊位置所对应解剖结构,帮助学习诊断技能,提高叩诊训练质量与效果。
本发明的技术方案如下:
基于动作捕捉的叩诊训练系统,其特征在于,包括叩诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统,所述数字化3D模型处理系统包括数字化3D建模单元、模型病例匹配单元和数据库,所述数字化3D建模单元利用数字化3D建模技术将叩诊模拟对象转换为数字化对象,所述数字化对象与叩诊模拟对象大小匹配,所述数据库存储有各叩诊部位的病例以及不同操作手法下的声音,所述模型病例匹配单元与数据库相连用于根据数字化对象的叩诊部位建立相关联的病例和声音;所述光学动作捕捉系统包括采集单元和数字化3D计算处理单元,所述采集单元通过若干摄像机采集操作者叩诊手指上设置的光学捕捉点,所述数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理,获取叩诊手指在数字空间的操作手法和操作位置并在所述数字化对象中显示所述位置以及发出所对应的声音。
还包括叩诊训练评估系统,所述叩诊训练评估系统连接数字化3D模型处理系统的模型病例匹配单元和数据库,用于通过设置叩诊教学病例引导操作者在叩诊模拟对象上完成操作并监控操作者学习状况。
所述模型病例匹配单元设置叩诊部位所覆盖区域的中心点并依据所述叩诊部位所覆盖区域内到中心点的距离的远近设置渐变的声音,当某区域涉及被多个叩诊部位覆盖时设置的声音是由与各相关的叩诊部位对应的各声音混合而成。
在所述操作者的手上设置若干光学捕捉点,其中一个光学捕捉点为在叩诊手指上戴的光标指环,所述数字化3D建模单元利用数字化3D建模技术将操作者叩诊手指转换为数字化叩诊手指或数字化叩诊锤。
所述叩诊模拟对象设置在诊断空间的叩诊病床上,所述数字化3D建模单元还利用数字化3D建模技术将诊断空间和叩诊病床分别转换为数字化虚拟空间和数字化病床,所述数字化虚拟空间与诊断空间大小匹配,所述数字化病床与叩诊病床大小匹配,并通过光学动作捕捉系统进行数字化虚拟空间和数字化病床的定位。
所述叩诊训练评估系统包括教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块和病例编辑器,所述教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块均与病例编辑器相互关联,且各板块的相关信息与数据库同步更新,通过所述病例编辑器规范化编辑和调用临床实际叩诊教学案例。
在所述数字化对象上仿真显示人体各叩诊部位,所述叩诊训练评估系统根据训练需求显示或覆盖各叩诊部位。
所述诊断空间为真正病房或教室或四面围挡搭建的简易空间,所述叩诊病床为真正病床或搭建式简易病床;所述叩诊模拟对象为省却了内部结构的简易模拟人或其它简易模拟对象。
所述采集单元通过若干摄像机采集操作者叩诊手指上设置的光学捕捉点,还进行动作采集预处理,所述动作采集预处理包括根据前后帧图像的捕捉点信息及运动轨迹预测,对混淆或遮挡的目标点采用多帧分析的方法自动矫正,对捕捉点的跳动则采用信号平滑算法自动对数据进行平滑处理;所述数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理,获取叩诊手指在数字空间的操作手法和操作位置并通过采集到的光学捕捉点的运动速度计算操作力度,从而在所述数字化对象中进行叩诊操作仿真。
所述摄像机采用高清红外摄像机,若干所述高清红外摄像机环绕诊断空间排列,高清红外摄像机视野重叠区域为叩诊模拟对象以及操作者叩诊手指动作范围,多个高清红外摄像机连续快速拍摄叩诊手指操作动作并记录,所述高清红外摄像机拍摄速率不低于每秒90帧。
本发明的技术效果如下:
本发明涉及了一种基于动作捕捉的叩诊训练系统,包括叩诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统,数字化3D模型处理系统将简单的叩诊模拟对象转换为与之大小匹配的数字化对象并建立与数字化对象的叩诊部位相关联的病例和声音,结合光学动作捕捉系统利用光学动作捕捉技术进行叩诊手指的空间三维定位,模拟实现叩诊部位在不同操作手法下的实际叩诊声音,并能够直接观察数字化场景中的数字化对象,便于操作者实现练习过程中叩诊位置所对应解剖结构,帮助学习诊断技能。叩诊模拟对象为医学生提供更快速的学习途径,从根本上解决了学生多、病患少的问题,还解决了传统的模拟医学行业采用电磁感应、压力传感技术对模拟人进行叩诊训练存在的弊端,本发明打破常规思维,在叩诊模拟对象中无需设置传感器,叩诊模拟对象可以是省却了内部结构的简易模拟人,甚至可以是任意其它简易模拟对象,如一个板,一个屏幕等等,叩诊模拟对象通过数字化3D建模技术转换为数字化对象,或者说是转换为数字化仿真人体模型,医学生可以直接观察该数字化仿真人体模型。在动作捕获技术的基础上,运用模拟与数字相结合,虚拟与现实相融合的现代技术,研发体格检查训练系统,以期攻克体格检查训练过程中出现的动作、部位、声音等不能精确同步的世界性难题,通过光学动作捕捉系统对于叩诊模拟对象、操作者叩诊手指在空间三维坐标进行计算,以此获得叩诊操作手法及叩诊操作位置,还可以通过相对运动速度计算操作力度,精确动作数据,匹配到数字化虚拟场景中的虚拟模型——数字化对象上,以实现叩诊操作精确仿真,增强操作者与“病患”的交互体验,简化训练流程、提高训练质量,且数字化对象的相关数据可重复多次利用,提高应用效率,丰富叩诊操作案例,极大降低叩诊训练的成本,提高了叩诊训练质量与效果。
本发明叩诊训练系统优选设置叩诊训练评估系统,用于通过设置叩诊教学病例引导操作者在叩诊模拟对象上完成操作并监控操作者学习状况,也可以进一步用于对整个系统的账户、参数、操作流程、安全的管理及对学生学习效果的考核评估,在虚拟结合现实的场景中,医学生可交互体验叩诊操作和观察病例表现,激发了医学生浓厚的学习兴趣、提高了叩诊训练质量与效果,根据叩诊训练需求,能够让医学生反复多次学习与操作,提升动手叩诊能力,节约叩诊训练成本,同时能够实时测验学生学习效果,打分评估,提升了训练与验收效率。
优选地,可在模型病例匹配单元设置叩诊部位所覆盖区域的中心点并依据所述叩诊部位所覆盖区域内到中心点的距离的远近设置渐变的声音,当某区域涉及被多个叩诊部位覆盖时设置的声音是由与各相关的叩诊部位对应的各声音混合而成,这样结构设计得到进一步优化,将叩诊部位设置为区域性,在中心点振动和声音最强,在同一区域离中心点越远的振动和声音逐渐衰减,不同距离产生不同的振动和声音,即呈现连续性效果,与传统的模拟医学行业依靠传感器仅能进行离散式感应有更本质性区别,本发明还原真人,使得叩诊培训更加仿真,进一步改善了训练质量以及提高了训练效果。
附图说明
图1为本发明基于动作捕捉的叩诊训练系统的结构框图。
图2为本发明基于动作捕捉的叩诊训练系统的优选结构框图。
图3为数字化3D模型处理系统的优选效果展示图。
图4为本发明基于动作捕捉的叩诊训练系统的整体优选效果展示图。
图5为叩诊训练评估系统的优选工作状态图。
图中各标号列示如下:
101-摄像机;102-光学捕捉点;103-叩诊模拟对象;104-操作者叩诊手指;
201-数字化对象;202-数字化病床;203-数字化虚拟空间;204-数字化叩诊手指。
具体实施方式
下面结合附图对本发明进行说明。
本发明涉及一种基于动作捕捉的叩诊训练系统,其结构如图1所示,包括叩诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统,其中,数字化3D模型处理系统包括数字化3D建模单元、模型病例匹配单元和数据库,数字化3D建模单元利用数字化3D建模技术将叩诊模拟对象转换为数字化对象,所述数字化对象与叩诊模拟对象大小匹配,数据库存储有各叩诊部位的病例以及不同操作手法下的声音,模型病例匹配单元与数据库相连用于根据数字化对象的叩诊部位建立相关联的病例和声音;光学动作捕捉系统包括采集单元和数字化3D计算处理单元,采集单元通过若干摄像机采集操作者叩诊手指上设置的光学捕捉点,数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理,获取叩诊手指在数字空间的操作手法和操作位置并在所述数字化对象中显示所述位置以及发出所对应的声音。
下面对本发明基于动作捕捉的叩诊训练系统进行详细说明,如图2所示优选实施例,优选的叩诊训练系统还包括叩诊训练评估系统,叩诊训练评估系统连接数字化3D模型处理系统的模型病例匹配单元和数据库,叩诊训练评估系统通过设置叩诊教学病例引导操作者在叩诊模拟对象上完成操作并监控操作者学习状况。进一步地,叩诊训练评估系统包括教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块和病例编辑器,所述教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块均与病例编辑器相互关联,且各板块的相关信息与数据库同步更新,通过所述病例编辑器规范化编辑和调用临床实际叩诊教学案例。叩诊训练评估系统也用于对整个系统的账户、参数、操作流程、安全的管理及对学生学习效果的考核评估。叩诊训练评估系统可以采用如APP、网页端等多种方式展现,还支持自定义模式,可以根据需要个性化定制不同功能版块,诸如账户权限管理、合同管理、学生上课的课程排课、课表分配,学生考试的考点布置,考试管理、电子评分等,适应性更强,管理界面更加系统更加清晰,方便训练管理。
本发明所述的叩诊训练系统中的叩诊模拟对象结构简化,无需设置传感器,即理解为是省却了内部结构的简易模拟人或其它简易模拟对象,将叩诊模拟对象设置在诊断空间的叩诊病床上,这里所述的诊断空间可以是真正病房、教室或四面围挡搭建的简易空间,叩诊病床可以是真正病床或搭建式简易病床。如图2所示,在诊断空间四周排列若干摄像机101,优选地,摄像机101采用高清红外摄像机,若干所述高清红外摄像机环绕诊断空间排列,高清红外摄像机视野重叠区域为叩诊模拟对象以及操作者叩诊手指动作范围,多个高清红外摄像机连续快速拍摄叩诊手指操作动作并记录,所述高清红外摄像机拍摄速率不低于每秒90帧。如图2所示,在操作者的手上设置若干光学捕捉点102,其中一个光学捕捉点为在叩诊手指上戴的光标指环,其它光学捕捉点设置在手的其它关键部位,如图4所示系统整体效果展示图,在操作者的手上戴有手套,手套上设置光学捕捉点,叩诊手指104对叩诊模拟对象103在叩诊部位进行叩诊。
数字化3D模型处理系统中的数字化3D建模单元利用数字化3D建模技术将叩诊模拟对象转换为数字化对象,利用数字化3D建模技术将操作者叩诊手指转换为数字化叩诊手指或数字化叩诊锤,还利用数字化3D建模技术将诊断空间和叩诊病床分别转换为数字化虚拟空间和数字化病床,数字化虚拟空间与诊断空间大小匹配,所述数字化病床与叩诊病床大小匹配,并通过光学动作捕捉系统进行数字化虚拟空间和数字化病床的定位。如图3所示的数字化3D模型处理系统的优选效果展示图,也可以理解为是虚拟场景中的效果图,展示了一个虚拟手术室,包括数字化对象201(即一个虚拟人体模型或者说是数字化人体模型)、数字化病床202和数字化虚拟空间203。
数字化3D模型处理系统中的模型病例匹配单元根据数字化对象的叩诊部位建立相关联的病例和声音,即不同的叩诊部位根据不同病情、不同的点位去匹配设置不同的声音。如病例为叩诊是否有胸膜炎时,在胸腔区域,按照正常、轻微和严重等级可依次设置不同的声音。优选设置叩诊部位所覆盖区域的中心点并依据所述叩诊部位所覆盖区域内到中心点的距离的远近设置渐变的声音,当某区域涉及被多个叩诊部位覆盖时设置的声音是由与各相关的叩诊部位对应的各声音混合而成,这样结构设计得到进一步优化,将叩诊部位设置为区域性,在中心点振动和声音最强,在同一区域离中心点越远的振动和声音逐渐衰减,不同距离产生不同的振动和声音,即呈现连续性效果,可建立表格按照区根据不同病情设置不同声音,这与传统的模拟医学行业依靠传感器仅能进行离散式感应有更本质性区别,本发明还原真人,使得叩诊训练更加仿真,进一步改善了训练质量以及提高了训练效果。
光学动作捕捉系统用于叩诊动作的捕捉、分析与处理,其采集单元通过若干摄像机采集操作者叩诊手指上设置的光学捕捉点,故采集单元内包括若干摄像机和若干光学捕捉点,光学捕捉点设置在操作者叩诊手指的关键部位故可理解为是叩诊操作位置跟踪装置,用于跟踪光学捕捉点的位置信息;摄像机可理解为是叩诊信号捕捉装置,用于捕捉采集叩诊操作位置跟踪装置的位置信息进而进行叩诊手指的定位。在采集单元工作后还进行动作采集预处理,具体可包括根据前后帧图像的捕捉点信息及运动轨迹预测,对混淆或遮挡的目标点采用多帧分析的方法自动矫正,对捕捉点的跳动则采用信号平滑算法自动对数据进行平滑处理,消除抖动,保证信息采集质量。光学动作捕捉系统中的数字化3D计算处理单元根据采集的光学捕捉点以及叩诊模拟对象进行空间三维坐标计算处理,获取叩诊手指在数字空间的操作手法和操作位置并通过采集到的光学捕捉点的运动速度计算操作力度,从而在所述数字化对象中进行叩诊操作仿真。
图4为本发明基于动作捕捉的叩诊训练系统的整体优选效果展示图,包括了现实场景(左上角)和虚拟场景,现实场景中有操作者和叩诊模拟对象103,在操作者的手上设置光学捕捉点,叩诊手指104上戴有光标指环,光标指环也作为其中的光学捕捉点,通过叩诊手指104对叩诊模拟对象103进行叩诊。通过数字化3D模型处理系统中的数字化3D建模单元构建虚拟场景,包括人物建模、叩诊手指建模和场景建模,构成了数字化对象201、数字化病床202、数字化虚拟空间203和数字化叩诊手指204。由数字化3D模型处理系统中的模型病例匹配单元从数据库中调用数据以根据数字化对象的叩诊部位建立相关联的病例和声音。通过光学动作捕捉系统对叩诊模拟对象和叩诊手指进行空间三维坐标计算处理,获取操作手法和操作位置,并按照速度和力度的变化关系来通过相对运动速度计算操作力度,从而进行叩诊操作仿真和操作评估,同时在所述数字化对象中显示所述位置以及发出所对应的声音。
叩诊训练评估系统通过设置叩诊教学病例引导操作者在叩诊模拟对象上完成操作并监控操作者学习状况,可通过病例编辑器规范化编辑和调用临床实际叩诊教学案例,即规范化编写不同部位、不同症状的病例,丰富病例库并可随时被补充和调用,结合老师选择不同的病例,可以在虚拟人体模型(即数字化对象)上展现不同的体征变化,彻底实现叩诊诊断技能的仿真操作训练。如图3和图4所示,在所述数字化对象上可仿真显示人体各叩诊部位,叩诊训练评估系统可以根据训练需求显示或覆盖各叩诊部位,如在教学训练时显示各叩诊部位,在考试或测验时覆盖各叩诊部位。图5为叩诊训练评估系统的优选工作状态图,可理解为是模拟操作训练版块的操作界面,如可选择心脏或肺部,如心脏时病例涉及主动脉瓣狭窄、主动脉瓣关闭不全、动脉导管关闭、第二心音分裂、第二心音增强和心包摩擦音等等,并可选择显示部位、胸骨是否透明、左肺是否透明等等设置,便于教学训练等各种需求。考核评估版块可以有效测验医学生的学习效果,进行考试与评分,改变了传统叩诊教学与考试模式,提高了教学质量与学习效果。
本发明基于动作捕捉的叩诊训练系统,在动作捕获的基础上,采用模拟与数字相结合,虚拟与现实相融合的技术,多层次、多维度呈现训练所需内容,最大限度的实现了动作、部位、声音三者的适时、同步、高保真的完美呈现,从而实现了与生理驱动无限接近一致的效果。将简单的叩诊模拟对象转换为与之大小匹配的数字化对象,并进行动作绑定,预置相应的正常或异常状态的声音效果,就可以将现实场景中的叩诊模拟人和叩诊手指的表态与动作在实现虚拟场景中通过虚拟人体模型和数字化叩诊手指展现出来,并可以进一步展现叩诊模拟对象无法展现的体表伤,面容神态等,能为医学生提供更快速的学习途径,从根本上解决了学生多、病患少的问题,本发明光学动作捕捉系统进行动作捕捉得到在虚拟场景中的位置和定位,可精确到不同角度、力度和频率下的叩诊动作的计算处理,获得叩诊操作手法、叩诊操作位置和操作力度,精确动作数据,匹配到虚拟场景中的数字化人体模型上,以实现叩诊操作精确模拟,增强操作者与“病患”的交互体验,简化训练流程、提高训练质量,且数字化模型数据与动作数据可重复多次利用,提高应用效率,结合叩诊训练评估系统,丰富叩诊操作案例,极大降低叩诊训练的成本。
应当指出,以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造,但不以任何方式限制本发明创造。因此,尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明,但是,本领域技术人员应当理解,仍然可以对本发明创造进行修改或者等同替换,总之,一切不脱离本发明创造的精神和范围的技术方案及其改进,其均应涵盖在本发明创造专利的保护范围当中。

Claims (10)

1.基于动作捕捉的叩诊训练系统,其特征在于,包括叩诊模拟对象、数字化3D模型处理系统和光学动作捕捉系统,所述数字化3D模型处理系统包括数字化3D建模单元、模型病例匹配单元和数据库,所述数字化3D建模单元利用数字化3D建模技术将叩诊模拟对象转换为数字化对象,所述数字化对象与叩诊模拟对象大小匹配,所述数据库存储有各叩诊部位的病例以及不同操作手法下的声音,所述模型病例匹配单元与数据库相连用于根据数字化对象的叩诊部位建立相关联的病例和声音;所述光学动作捕捉系统包括采集单元和数字化3D计算处理单元,所述采集单元通过若干摄像机采集操作者叩诊手指上设置的光学捕捉点,所述数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理,获取叩诊手指在数字空间的操作手法和操作位置并在所述数字化对象中显示所述位置以及发出所对应的声音。
2.根据权利要求1所述的叩诊训练系统,其特征在于,还包括叩诊训练评估系统,所述叩诊训练评估系统连接数字化3D模型处理系统的模型病例匹配单元和数据库,用于通过设置叩诊教学病例引导操作者在叩诊模拟对象上完成操作并监控操作者学习状况。
3.根据权利要求1或2所述的叩诊训练系统,其特征在于,所述模型病例匹配单元设置叩诊部位所覆盖区域的中心点并依据所述叩诊部位所覆盖区域内到中心点的距离的远近设置渐变的声音,当某区域涉及被多个叩诊部位覆盖时设置的声音是由与各相关的叩诊部位对应的各声音混合而成。
4.根据权利要求3所述的叩诊训练系统,其特征在于,在所述操作者的手上设置若干光学捕捉点,其中一个光学捕捉点为在叩诊手指上戴的光标指环,所述数字化3D建模单元利用数字化3D建模技术将操作者叩诊手指转换为数字化叩诊手指或数字化叩诊锤。
5.根据权利要求4所述的叩诊训练系统,其特征在于,所述叩诊模拟对象设置在诊断空间的叩诊病床上,所述数字化3D建模单元还利用数字化3D建模技术将诊断空间和叩诊病床分别转换为数字化虚拟空间和数字化病床,所述数字化虚拟空间与诊断空间大小匹配,所述数字化病床与叩诊病床大小匹配,并通过光学动作捕捉系统进行数字化虚拟空间和数字化病床的定位。
6.根据权利要求2所述的叩诊训练系统,其特征在于,所述叩诊训练评估系统包括教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块和病例编辑器,所述教学案例录制版块、课程播放学习版块、模拟操作训练版块、考核评估版块均与病例编辑器相互关联,且各板块的相关信息与数据库同步更新,通过所述病例编辑器规范化编辑和调用临床实际叩诊教学案例。
7.根据权利要求6所述的叩诊训练系统,其特征在于,在所述数字化对象上仿真显示人体各叩诊部位,所述叩诊训练评估系统根据训练需求显示或覆盖各叩诊部位。
8.根据权利要求5所述的叩诊训练系统,其特征在于,所述诊断空间为真正病房或教室或四面围挡搭建的简易空间,所述叩诊病床为真正病床或搭建式简易病床;所述叩诊模拟对象为省却了内部结构的简易模拟人或其它简易模拟对象。
9.根据权利要求5所述的叩诊训练系统,其特征在于,所述采集单元通过若干摄像机采集操作者叩诊手指上设置的光学捕捉点,还进行动作采集预处理,所述动作采集预处理包括根据前后帧图像的捕捉点信息及运动轨迹预测,对混淆或遮挡的目标点采用多帧分析的方法自动矫正,对捕捉点的跳动则采用信号平滑算法自动对数据进行平滑处理;所述数字化3D计算处理单元根据采集的光学捕捉点进行空间三维坐标计算处理,获取叩诊手指在数字空间的操作手法和操作位置并通过采集到的光学捕捉点的运动速度计算操作力度,从而在所述数字化对象中进行叩诊操作仿真。
10.根据权利要求9所述的叩诊训练系统,其特征在于,所述摄像机采用高清红外摄像机,若干所述高清红外摄像机环绕诊断空间排列,高清红外摄像机视野重叠区域为叩诊模拟对象以及操作者叩诊手指动作范围,多个高清红外摄像机连续快速拍摄叩诊手指操作动作并记录,所述高清红外摄像机拍摄速率不低于每秒90帧。
CN201710841391.3A 2017-09-18 2017-09-18 基于动作捕捉的叩诊训练系统 Active CN107527542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710841391.3A CN107527542B (zh) 2017-09-18 2017-09-18 基于动作捕捉的叩诊训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710841391.3A CN107527542B (zh) 2017-09-18 2017-09-18 基于动作捕捉的叩诊训练系统

Publications (2)

Publication Number Publication Date
CN107527542A true CN107527542A (zh) 2017-12-29
CN107527542B CN107527542B (zh) 2020-09-08

Family

ID=60736765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710841391.3A Active CN107527542B (zh) 2017-09-18 2017-09-18 基于动作捕捉的叩诊训练系统

Country Status (1)

Country Link
CN (1) CN107527542B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993548A (zh) * 2018-02-01 2018-05-04 福建中医药大学 一种叩诊训练设备
CN108733287A (zh) * 2018-05-15 2018-11-02 东软集团股份有限公司 查体操作的检测方法、装置、设备及存储介质
CN109559573A (zh) * 2019-01-07 2019-04-02 王登芹 一种诊断学教学用物理诊断教学装置
CN110610643A (zh) * 2019-10-29 2019-12-24 首都医科大学附属北京口腔医院 一种敲击力值控制智能化训练系统
CN111653366A (zh) * 2020-07-28 2020-09-11 上海海事大学 一种基于肌电信号的网球肘的识别方法
CN113344335A (zh) * 2021-05-11 2021-09-03 深圳市医养护教育服务有限公司 一种健康评估教学系统及方法
JP6936452B1 (ja) * 2020-12-04 2021-09-15 茨城県 X線撮影学習装置、x線撮影学習プログラム及びx線撮影学習システム
CN117690331A (zh) * 2024-02-04 2024-03-12 西南医科大学附属医院 一种前列腺穿刺手术训练系统及方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050048455A1 (en) * 2003-08-28 2005-03-03 Gifu University Auscultation training device
CN101799863A (zh) * 2009-02-06 2010-08-11 天津市医学堂科技有限公司 图像识别算法及其应用
US20130071826A1 (en) * 2011-09-21 2013-03-21 Keith H. Johnson Auscultation Training System
CN103280125A (zh) * 2013-06-17 2013-09-04 国家电网公司 三维场景中模拟操作用动作捕捉装置
CN103338699A (zh) * 2011-01-25 2013-10-02 诺华股份有限公司 医学用动作成像和捕捉系统及方法
CN103794123A (zh) * 2014-02-18 2014-05-14 北京工业大学 一种b/s结构的新型心肺听诊模拟系统及方法
CN104658038A (zh) * 2015-03-12 2015-05-27 南京梦宇三维技术有限公司 基于动作捕捉的三维数字内容智能制作方法及制作系统
CN105096685A (zh) * 2015-08-13 2015-11-25 中国石油化工股份有限公司 石化火灾场景多感知应急训练系统
CN105096670A (zh) * 2014-05-23 2015-11-25 香港理工大学 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN105139714A (zh) * 2015-10-10 2015-12-09 国电南瑞科技股份有限公司 一种电气化铁路牵引变电所的可视化仿真培训系统及方法
CN105931283A (zh) * 2016-04-22 2016-09-07 南京梦宇三维技术有限公司 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
US20170162079A1 (en) * 2015-12-03 2017-06-08 Adam Helybely Audio and Visual Enhanced Patient Simulating Mannequin
CN107067856A (zh) * 2016-12-31 2017-08-18 歌尔科技有限公司 一种医学模拟训练系统和方法
JP2017153640A (ja) * 2016-03-01 2017-09-07 株式会社国際電気通信基礎技術研究所 聴診トレーニングシステムおよび模擬採音部

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050048455A1 (en) * 2003-08-28 2005-03-03 Gifu University Auscultation training device
CN101799863A (zh) * 2009-02-06 2010-08-11 天津市医学堂科技有限公司 图像识别算法及其应用
CN103338699A (zh) * 2011-01-25 2013-10-02 诺华股份有限公司 医学用动作成像和捕捉系统及方法
US20130071826A1 (en) * 2011-09-21 2013-03-21 Keith H. Johnson Auscultation Training System
CN103280125A (zh) * 2013-06-17 2013-09-04 国家电网公司 三维场景中模拟操作用动作捕捉装置
CN103794123A (zh) * 2014-02-18 2014-05-14 北京工业大学 一种b/s结构的新型心肺听诊模拟系统及方法
CN105096670A (zh) * 2014-05-23 2015-11-25 香港理工大学 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN104658038A (zh) * 2015-03-12 2015-05-27 南京梦宇三维技术有限公司 基于动作捕捉的三维数字内容智能制作方法及制作系统
CN105096685A (zh) * 2015-08-13 2015-11-25 中国石油化工股份有限公司 石化火灾场景多感知应急训练系统
CN105139714A (zh) * 2015-10-10 2015-12-09 国电南瑞科技股份有限公司 一种电气化铁路牵引变电所的可视化仿真培训系统及方法
US20170162079A1 (en) * 2015-12-03 2017-06-08 Adam Helybely Audio and Visual Enhanced Patient Simulating Mannequin
JP2017153640A (ja) * 2016-03-01 2017-09-07 株式会社国際電気通信基礎技術研究所 聴診トレーニングシステムおよび模擬採音部
CN105931283A (zh) * 2016-04-22 2016-09-07 南京梦宇三维技术有限公司 一种基于动作捕捉大数据的三维数字内容智能制作云平台
CN106251752A (zh) * 2016-10-25 2016-12-21 深圳市科创数字显示技术有限公司 Ar和vr相结合的医学培训系统
CN107067856A (zh) * 2016-12-31 2017-08-18 歌尔科技有限公司 一种医学模拟训练系统和方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993548A (zh) * 2018-02-01 2018-05-04 福建中医药大学 一种叩诊训练设备
CN108733287A (zh) * 2018-05-15 2018-11-02 东软集团股份有限公司 查体操作的检测方法、装置、设备及存储介质
CN109559573A (zh) * 2019-01-07 2019-04-02 王登芹 一种诊断学教学用物理诊断教学装置
CN110610643A (zh) * 2019-10-29 2019-12-24 首都医科大学附属北京口腔医院 一种敲击力值控制智能化训练系统
CN111653366A (zh) * 2020-07-28 2020-09-11 上海海事大学 一种基于肌电信号的网球肘的识别方法
JP6936452B1 (ja) * 2020-12-04 2021-09-15 茨城県 X線撮影学習装置、x線撮影学習プログラム及びx線撮影学習システム
JP2022089206A (ja) * 2020-12-04 2022-06-16 茨城県 X線撮影学習装置、x線撮影学習プログラム及びx線撮影学習システム
CN113344335A (zh) * 2021-05-11 2021-09-03 深圳市医养护教育服务有限公司 一种健康评估教学系统及方法
CN117690331A (zh) * 2024-02-04 2024-03-12 西南医科大学附属医院 一种前列腺穿刺手术训练系统及方法

Also Published As

Publication number Publication date
CN107527542B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN107527542A (zh) 基于动作捕捉的叩诊训练系统
US20200279498A1 (en) Augmented and virtual reality simulator for professional and educational training
CN113706960B (zh) 一种基于vr技术的护理操作练习平台及使用方法
US4907973A (en) Expert system simulator for modeling realistic internal environments and performance
CN107067856A (zh) 一种医学模拟训练系统和方法
CN107369352A (zh) 智能精准中医技能培训考核系统
CN105096670B (zh) 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN104271066A (zh) 具有不用手的控制的混合图像/场景再现器
CN105225562A (zh) 一种全科医生培训考核系统及方法
CN108961885A (zh) 用模拟机器病人进行医疗培训和考试的方法
CN111833682A (zh) 基于vr技术的虚拟查体教学方法和装置
Yu et al. Development of a surgical training model for bilateral axillo-breast approach robotic thyroidectomy
CN107633724A (zh) 基于动作捕捉的听诊训练系统
CN205541521U (zh) 一种全科医生培训考核系统
Noh et al. Development of airway management training system WKA-4: provide useful feedback of trainee performance to trainee during airway management
WO2020145455A1 (ko) 증강현실 기반 심혈관계 시술 가상훈련 시뮬레이터 시스템 및 그 방법
CN115527645A (zh) 一种用于教学和考核的模拟临床虚拟病人系统
CN112534491A (zh) 一种医学模拟器、医学训练系统和方法
Reis et al. A framework for simulation systems and technologies for medical training
CN114067626A (zh) 一种基于个性化数据的支气管镜模拟系统
Pereira Santos et al. Embodied Agents for Obstetric Simulation Training
Yang et al. Development and application of nursing operation virtual simulation training system
US20240013672A1 (en) Simulator system for the safe training of medical personnel
Ndhaief et al. Towards the Digitalization of the Healthcare Learning Process using 3D experience
Zimmer et al. The technology behind full body 3D patients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant