CN111540380B - 临床训练系统及方法 - Google Patents
临床训练系统及方法 Download PDFInfo
- Publication number
- CN111540380B CN111540380B CN202010312741.9A CN202010312741A CN111540380B CN 111540380 B CN111540380 B CN 111540380B CN 202010312741 A CN202010312741 A CN 202010312741A CN 111540380 B CN111540380 B CN 111540380B
- Authority
- CN
- China
- Prior art keywords
- signal
- voice
- standard
- characteristic
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000004891 communication Methods 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 230000002452 interceptive effect Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 238000003745 diagnosis Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 34
- 201000010099 disease Diseases 0.000 description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000003759 clinical diagnosis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000010924 continuous production Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明实施例公开了一种临床训练系统及方法。该系统包括：语音采集模块，根据学员的语音信息生成语音信号；操作采集模块，根据学员的操作信息生成操作信号；在线识别模块，根据语音信号处理得到语音特征信号；分析处理模块，存储标准语音信号和标准操作信号，根据语音特征信号匹配标准语音信号或根据操作信号匹配标准操作信号，并生成匹配结果；通信模块，将语音信号发送给在线识别模块，并将在线识别模块返回的语音特征信号发送给分析处理模块；交互反馈模块，用于将匹配结果反馈给学员。该临床训练系统应用在线语音识别技术，通过语音交互和实际操作结合的方式让学员在训练的时候感受更接近临床真实场景，增加了临床训练的沉浸式体验。
Description
技术领域
本发明涉及医学教育领域，尤其涉及一种临床训练系统及方法。
背景技术
当前市场上的医学教育设备主要有模型人和智能设备。模型人主要是学生训练的工具，不能代替老师对学生进行手把手教学，且只能练习关键步骤，练习过程中没有反馈。智能设备是一种软硬件结合的设备，可以让学生进行手术全过程的模拟操作，也可以在学生的练习过程中对学生进行实时指导和纠错，可以替代老师。但是目前市场上的智能设备与学生的交互是设备的触屏或者电脑鼠标，跟临床实际情况差异较大。
发明内容
有鉴于此，本发明实施例提供了一种临床训练系统及方法，以使得学员在进行临床训练时体验更接近真实的临床场景，提高学员实际诊断能力。
第一方面，本发明实施例提供了一种临床训练系统，包括：
语音采集模块，用于根据学员的语音信息生成语音信号；
操作采集模块，用于根据学员的操作信息生成操作信号；
在线识别模块，用于解析所述语音信号，根据所述语音信号处理得到语音特征信号；
分析处理模块，存储有至少一个患者的病例信息，所述病例信息中包括标准语音信号和标准操作信号，所述分析处理模块用于根据所述语音特征信号匹配所述标准语音信号，根据所述操作信号匹配所述标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果；
通信模块，用于将所述语音信号发送给所述在线识别模块，还用于接收所述在线识别模块返回的所述语音特征信号，并将所述语音特征信号发送给所述分析处理模块；
交互反馈模块，用于将所述匹配结果反馈给学员。
进一步地，临床训练系统中操作采集模块包括：
至少一个传感器，所述至少一个传感器用于监测学员对所述操作采集模块的操作信息。
进一步地，分析处理模块包括：
语音特征比对单元，用于根据所述语音特征信号确定第一信号特征，根据所述标准语音信号确定第二信号特征，比对所述第一信号特征和所述第二信号特征，确定所述语音特征信号对应的所述标准语音信号；
操作特征比对单元，用于根据所述操作信号确定第三信号特征，根据所述标准操作信号确定第四信号特征，比对所述第三信号特征和所述第四信号特征，确定所述操作信号对应的标准操作信号；
第一结果生成单元，用于根据所述标准语音信号和所述标准操作信号生成匹配结果。
进一步地，分析处理模块中还存储有标准语音应答信号，所述分析处理模块还用于根据所述语音特征信号匹配所述标准语音应答信号，所述交互反馈模块还用于根据将所述标准语音应答信号通过语音反馈给学员。
进一步地，分析处理模块包括：
语音关键词比对单元，用于根据所述标准语音信号确定第一关键词，根据所述标准语音信号确定第二关键词，比对所述第一关键词和所述第二关键词，确定所述语音特征信号对应的所述标准语音信号；
操作特征比对单元，用于根据所述操作信号确定第五信号特征，根据所述标准操作信号确定第六信号特征，比对所述第五信号特征和所述第六信号特征，确定所述操作信号对应的标准操作信号；
第二结果生成单元，用于根据所述标准语音信号和所述标准操作信号生成匹配结果。
进一步地，交互反馈模块包括：
音频反馈单元，用于根据所述标准语音信号向学员播放语音；
操作反馈单元，用于根据所述标准操作信号向学员模拟患者反应。
第二方面，本发明实施例提供了一种临床训练系统，包括：
语音采集模块，用于根据学员的语音信息生成语音信号；
操作采集模块，用于根据学员的操作信息生成操作信号；
在线识别模块，用于解析所述语音信号，根据所述语音信号处理得到语音特征信号，所述在线识别模块存储有标准语音信号，用于根据所述语音特征信号匹配所述标准语音信号，并生成语音匹配结果；
分析处理模块，存储有标准操作信号，所述分析处理模块用于根据所述操作信号匹配所述标准操作信号，并生成操作匹配结果；
交互反馈模块，用于将所述语音匹配结果和/或所述操作匹配结果反馈给学员；
通信模块，用于将所述语音信号发送给所述在线识别模块，还用于接收所述在线识别模块返回的所述语音匹配结果，并将所述语音匹配结果发送给所述交互反馈模块。
第三方面，本发明实施例提供了一种临床训练方法，包括：
根据学员的语音信息和操作信息分别生成语音信号和操作信号；
将所述语音信号传输给在线识别模块；
通过在线识别模块解析所述语音信号，根据所述语音信号处理得到语音特征信号；
将所述语音特征信号传输给分析处理模块；
根据所述语音特征信号匹配所述标准语音信号，根据所述操作信号匹配所述标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果；
将所述匹配结果反馈给学员。
进一步地，根据所述语音特征信号匹配所述标准语音信号，根据所述操作信号匹配所述标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果，包括：
根据所述语音特征信号确定第一信号特征，根据所述标准语音信号确定第二信号特征，比对所述第一信号特征和所述第二信号特征，确定所述语音特征信号对应的所述标准语音信号；
根据所述操作信号确定第三信号特征，根据所述标准操作信号确定第四信号特征，比对所述第三信号特征和所述第四信号特征，确定所述操作信号对应的标准操作信号；
根据所述标准语音信号和所述标准操作信号生成匹配结果。
进一步地，根据所述语音特征信号匹配所述标准语音信号，根据所述操作信号匹配所述标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果，包括：
根据所述标准语音信号确定第一关键词，根据所述标准语音信号确定第二关键词，比对所述第一关键词和所述第二关键词，确定所述语音特征信号对应的所述标准语音信号；
根据所述操作信号确定第五信号特征，根据所述标准操作信号确定第六信号特征，比对所述第五信号特征和所述第六信号特征，确定所述操作信号对应的标准操作信号；
根据所述标准语音信号和所述标准操作信号生成匹配结果。
进一步地，所述匹配结果的反馈方式包括：听觉反馈或视觉反馈或触觉反馈中的一种或多种
本发明实施例提供的技术方案中，临床训练系统应用在线语音识别技术，将临床诊断过程中的需要与患者沟通的过程模拟出来，通过语音反馈和操作反馈结合的方式给予学员完整的临床诊断反馈，让学员在训练的时候感受更接近临床真实场景，加了临床训练的沉浸式体验，在培养学员的动手操作能力同时更能够培养学员和患者的沟通能力，能通过对分析处理模块的更新实现临床训练系统的实时更新和优化。
附图说明
图1是本发明实施例一中的临床训练系统结构示意图；
图2是本发明实施例二中的分析处理模块结构示意图；
图3是本发明实施例二中的分析处理模块结构示意图；
图4是本发明实施例二中的交互反馈模块结构示意图；
图5是本发明实施例三中的临床训练系统结构示意图；
图6是本发明实施例四中的临床训练方法流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
如图1为本发明实施例一的临床训练系统，本实施例可以适应于各种针对医学相关学员的教学训练过程。
具体的，本实施例提供的临床诊断系统包括：
语音采集模块110，用于根据学员的语音信息生成语音信号。
现有技术提供的临床仿真人在教学过程中仅注重于学员在诊断过程中的各种检测能力，如对患者身体心跳血压的检测，但是在实际行医过程中，患者与医生/护士的对话交流是一项非常重要的信息获取方式，这也是临床反馈的重要内容，因此临床仿真人在培养学员语言沟通(如问话能力，关键信息提取能力)能力方面没有提供措施。本实施例针对该缺陷，在临床诊断系统中设置了语音采集模块110，用于获取学员的语音信息，例如“哪里不舒服”、“持续多久了”等问话信息，将语音信息转化为语音信号传递以便后续分析。
操作采集模块120，用于根据学员的操作信息生成操作信号。
操作采集模块120用于培养学员的动手操作能力，其可以获取学员的各种临床操作信息，如在问诊过程中进行的各项身体检查操作以及在手术过程中进行的开刀缝合操作，操作采集模块120中包含各种操作器具，包括但不限于：听诊器、温度计、血压计、手术刀、电击器等。同样为了便于后续处理将该操作信息转化为操作信号。
在线识别模块130，用于解析所述语音信号，根据所述语音信号处理得到语音特征信号。
在线识别模块130用于对采集到的语音信号进行分析，其得到的语音特征信号能反映出具体的语音信息。在线识别模块通常设置在远程终端或服务器。
分析处理模块140，存储有至少一个患者的疾病案例信息，所述病例信息中包括标准语音信号和标准操作信号，所述分析处理模块用于根据所述语音特征信号匹配所述标准语音信号，根据所述操作信号匹配所述标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果。
在获取到学员的语音信息后，需要给予学员反馈以模拟真实临床场景，为了使得训练的时候更加接近临床真实场景，临床诊断系统中设置了分析处理模块140，其通过网络接收语音特征信号，分析处理模块140其上存储有至少一个患者的疾病案例信息，疾病案例信息优选为以往真实临床过程的记录，当然也可以是在符合医学要求的情况下人为编写的，疾病案例信息中包括标准语音信号和标准操作信号，标准语音信号是用于针对语音特征信号向学员做出反馈的，标准操作信号用于针对操作信号想学员做出反馈，例如语音采集模块110采集到学员询问“是XX部位疼吗”，相对应的标准语音信号可以为“XL部位疼痛”等，则匹配结果是“错误”，更具体的，例如语音采集模块110采集到学员询问“是这里痛吗”时可能会同时采集到学员在操作采集模块120上的按压等操作对患者进行检查，此时分析处理模块140会结合语音信号和操作信号“XX部位”“痛”等。当在线识别模块120反馈回语音特征信号后，分析处理模块140会针对语音特征信号匹配一个对应的标准语音信号，这里应当说明的是，此处不对具体如何确定标准语音信号所属的疾病案例信息做限定，示例性的，可以是在学员开始一次训练时随机选择一个患者的疾病案例信息，此时这个被选择的患者就是目标患者，在这次训练过程中，分析处理模块140在根据语音特征信号匹配标准语音信号时，匹配的就是目标患者对应的标准语音信号。分析处理模块140的疾病案例信息中还包括标准操作信号，操作采集模块120根据学员的操作信息生成操作信号，然后由分析处理模块140根据操作信号匹配标准操作信号，如学员通过操作采集模块120模拟进行手术时，在分析处理模块140接收到操作信号后，根据操作信号匹配得到标准操作信号并将标准操作信号通过相应的展示部件表现出来，模拟培训手术过程训练学员的临床动手能力。在使用临床训练系统进行训练时，分析处理模块140会不断的根据接收到的语音特征信号和操作信号进行匹配并生成匹配结果，每个匹配结果都对应有相应的操作反馈和/或语音反馈，使得学员的训练过程更接近真实临床场景。
通信模块150，用于将所述语音信号发送给所述在线识别模块130，还用于接收所述在线识别模块130返回的所述语音特征信号，并将所述语音特征信号发送给所述分析处理模块140。
通信模块150用于实现将学员侧得到的语音信号通过网络传输给分析处理模块140，也通过网络将标准语音信号传输回学员侧。
交互反馈模块160，用于将所述匹配结果反馈给学员。
在分析处理模块140匹配到和学员的语音信号后，需要由交互反馈模块160完成给予学员语音反馈或模拟患者症状等反馈，以模拟真实的诊断场景。
在一些具体实施例中，学员的语音信息包括病情询问、病情诊断、手术情况讲解和患者注意事项嘱咐中的一种或多种。为了达到对学员的训练效果，在学员通过临床训练系统模拟临床过程进行训练后，需要对学员的临床表现进行评价，具体的可以是学员对于患者的患病情况、如何医治、手术结果以及调养措施等判断的准确定，如学员可以说出患者需要使用的药物以及注意事项等，分析处理模块120需要根据疾病案例信息对比学员的语音信息和操作信息判断学员的临床过程以及结果是否正确以达到训练目的。
即更具体的，在一些实施例中，所述分析处理模块中还存储有标准语音应答信号，所述分析处理模块还用于根据所述语音特征信号匹配所述标准语音应答信号，所述交互反馈模块还用于根据将所述标准语音应答信号通过语音反馈给学员。
更具体的，在一些实施例中，所述操作采集模块包括：
至少一个传感器，所述至少一个传感器用于监测学员对所述操作采集模块的操作信息。如检测学员在手术过程中关于开刀位置是否准确需要在操作采集模块120上设置传感器以检测学员在何处模拟进行的手术，当然除了传感器外还可以通过设置摄像头等组件获取学员的操作信息。
可选的，本实施例中提供的各种模块是以功能作为区分进行界定得到的，再次基础上对各个模块进行进行拆分、组合得到的临床训练系统同样当属于本实施例提供的临床训练系统，例如：语音采集模块实际具备语音采集单元和信号处理单元，二者可以单独设置，再次基础上将其称为语音采集模块和信号处理模块得到的临床训练系统与本实施例是一致的。
本实施例提供的临床训练系统应用在线语音识别技术，将临床诊断过程中的需要与患者沟通的过程模拟出来，实现语音和实操结合的过程让学员在训练的时候感受更接近临床真实场景，增加了临床训练的沉浸式体验，更能够培养学员和患者的沟通能力，并且在线语音识别模块上可以实现更多的语音特征信号匹配，能够支持更复杂的算法在根据语音信号进行匹配时检索式更全面结果也更准确，可以通过对在线识别模块的更新实现实时更新和优化。
实施例二
本发明实施例二提供的临床训练系统，在实施例一的基础上对结构和功能做了进一步补充，具体如下：
分析处理模块140根据语音特征信号匹配标准语音信号以及根据操作信号匹配标准操作信号有两种方式，第一种为根据信号特征进行匹配，第二种为根据关键词进行匹配。
如图2所示，根据信号特征进行匹配时分析处理模块140包括：
语音特征比对单元1411，用于根据所述语音特征信号确定第一信号特征，根据所述标准语音信号确定第二信号特征，比对所述第一信号特征和所述第二信号特征，确定所述语音特征信号对应的所述标准语音信号。
操作特征比对单元1412，用于根据所述操作信号确定第三信号特征，根据所述标准操作信号确定第四信号特征，比对所述第三信号特征和所述第四信号特征，确定所述操作信号对应的标准操作信号。
第一结果生成单元1413，用于根据所述标准语音信号和所述标准操作信号生成匹配结果。
图2所示的分析处理模块中，根据信号特征进行匹配，相应的，对于不同的语音信息和操作信息在存储标准操作信号和标准语音信号时应当清楚其关键的信号特征，例如利用神经网络完成语音信号匹配时，清楚关键的信号特征可以合理的构建神经网络模型提高匹配效率和准确率。更进一步的，在线识别模块130基于语音信号识别处理得到的语音特征信号中已经是去除多余的特征之后的语音信号(语音特征信号)。
如图3所示，根据关键词进行匹配时分析处理模块140包括：
语音关键词比对单元1421，用于根据所述标准语音信号确定第一关键词，根据所述标准语音信号确定第二关键词，比对所述第一关键词和所述第二关键词，确定所述语音特征信号对应的所述标准语音信号。
操作特征比对单元1422，用于根据所述操作信号确定第五信号特征，根据所述标准操作信号确定第六信号特征，比对所述第五信号特征和所述第六信号特征，确定所述操作信号对应的标准操作信号。
第二结果生成单元1423，用于根据所述标准语音信号和所述标准操作信号生成匹配结果。
图3所示的分析处理模块140中，根据关键词进行匹配，则在线识别模块130返回的语音特征信号为根据语音信号中的关键词得到的，语音特征信号可以简单得到用于表述学员操作信息的第一关键词，相应的，分析处理模块140存储的标准语音信号中可以简单得到对应的第二关键词，根据关键词匹配可以在找到语音特征信号对应的标准语音信号。
当然，此处仅是示例性的给出了两种实现方式，实际上仅根据相同关键词或相同的信号特征匹配存在一定的误差，例如在关于症状持续时间上可以询问“多久了”“多长时间”“什么时候出现的”等，因此相似的关键词也可以相匹配，即关键词之间不是一对一的关系，同理信号特征也是如此，并且临床过程是一个连续的过程，即每个问题可能和其前后问题/操作关联，因此需要联系前后获取的语音信号以及操作信号进行匹配以实现准确回答给予学员反馈。
更具体的，在一些实施例中，如图4所示，交互反馈模块160包括：
音频反馈单元161，用于根据所述标准语音信号向学员播放语音。
操作反馈单元162，用于根据所述标准操作信号向学员模拟患者反应。
交互反馈模块160用于根据学员的操作信息和语音信息进行反馈，为了模拟真实的临床环境，交互反馈模块应当能够模拟患者针对学员的语音给出的回答以及针对学员的操作身体上给出的反应。
本实施例提供的临床训练系统，进一步提供了根据语音特征信号匹配标准语音信号的过程，以及根据操作信号匹配标准操作信号的过程，并通过音频反馈单元和操作反馈单元完整的模拟了患者的反应。
实施例三
图5为本发明实施例三提供的一种临床训练系统，其与实施例一的主要区别在于将标准语音信号存储于在线识别模块，通过在线识别模块完成语音信号匹配过程，具体如下，包括：
语音采集模块310，用于根据学员的语音信息生成语音信号。
操作采集模块320，用于根据学员的操作信息生成操作信号。
在线识别模块330，用于解析所述语音信号，根据所述语音信号处理得到语音特征信号，所述在线识别模块存储有标准语音信号，用于根据所述语音特征信号匹配所述标准语音信号，并生成语音匹配结果。
分析处理模块340，存储有标准操作信号，所述分析处理模块用于根据所述操作信号匹配所述标准操作信号，并生成操作匹配结果。
交互反馈模块350，用于将所述语音匹配结果和/或所述操作匹配结果反馈给学员。
通信模块360，用于将所述语音信号发送给所述在线识别模块，还用于接收所述在线识别模块返回的所述语音匹配结果，并将所述语音匹配结果发送给所述交互反馈模块。
本实施例提供提供的临床训练系统应用在线语音识别技术，实现语音和实操结合的过程让学员在训练的时候感受更接近临床真实场景，增加了临床训练的沉浸式体验，更能够培养学员和患者的沟通能力，将语音信号匹配过程设置于在线识别模块方便标准语音信号的在线更新。
实施例四
图6为本发明实施例四提供的一种临床训练方法，其可以基于应用在线语音识别技术的临床训练系统，如实施例一和实施例二所提供的临床训练系统，该方法具体包括：
S410、根据学员的语音信息和操作信息分别生成语音信号和操作信号。
S420、将所述语音信号传输给在线识别模块。
S430、通过在线识别模块解析所述语音信号，根据所述语音信号处理得到语音特征信号。
S440、将所述语音特征信号传输给分析处理模块。
S450、根据所述语音特征信号匹配所述标准语音信号，根据所述操作信号匹配所述标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果。
S460、将所述匹配结果反馈给学员。
与现有的临床训练系统不同，本实施例中的方法基于应用在线语音识别技术的临床训练系统，在学员进行临床训练时，可以通过随机或其他方式(如根据学员的第一句语音进行匹配)确定一个患者的疾病案例信息(可以在临床训练系统中预先存储有一个或多个患者的疾病案例信息)，随后学员不断针对病情进行询问、检查以及医治等操作，获取学员的语音信息为语音信号，获取学员的检查、医治等操作信息为操作信号，语音信号通过在线识别模块转换为语音特征信号，根据语音特征信号和操作信号在疾病案例信息中找到相应的标准语音信号，再将标准语音信号以语音的形式反馈给学员，模拟出语音反馈，同时能够在给予学员语音反馈的情况下让学员操作模拟检查和医治过程如手术过程，完整的模拟了临床过程。
可选的，在一些实施例中，步骤S450包括步骤S4511-4513(图未示)：
S4511、根据所述语音特征信号确定第一信号特征，根据所述标准语音信号确定第二信号特征，比对所述第一信号特征和所述第二信号特征，确定所述语音特征信号对应的所述标准语音信号。
S4512、根据所述操作信号确定第三信号特征，根据所述标准操作信号确定第四信号特征，比对所述第三信号特征和所述第四信号特征，确定所述操作信号对应的标准操作信号。
S4513、根据所述标准语音信号和所述标准操作信号生成匹配结果。
步骤S4511-4513为利用信号特征实现根据语音特征信号匹配标准语音信号以及根据操作信号匹配标准操作信号的具体方式。
可选的，在一些实施例中，步骤S450可以包括步骤S4521-4523(图未示)：
S4521、根据所述标准语音信号确定第一关键词，根据所述标准语音信号确定第二关键词，比对所述第一关键词和所述第二关键词，确定所述语音特征信号对应的所述标准语音信号。
S4522、根据所述操作信号确定第五信号特征，根据所述标准操作信号确定第六信号特征，比对所述第五信号特征和所述第六信号特征，确定所述操作信号对应的标准操作信号。
S4523、根据所述标准语音信号和所述标准操作信号生成匹配结果。
步骤S4521-4523为利用关键词实现根据语音特征信号匹配标准语音信号以及根据操作信号匹配标准操作信号的具体方式。
当然步骤S4511-4513和步骤S4521-4523仅是示例性的给出了两种实现方式，实际上仅根据相同关键词或相同的信号特征匹配存在一定的误差，例如在关于症状持续时间上可以询问“多久了”“多长时间”“什么时候出现的”等，因此相似的关键词也可以相匹配，即关键词之间不是一对一的关系，同理信号特征也是如此，并且临床过程是一个连续的过程，即每个问题可能和其前后问题/操作关联，因此需要联系前后获取的语音信号以及操作信号进行匹配以实现准确回答给予学员反馈。
在实际的临床过程中，医生除了需要和患者沟通以及进行医治，还需要阅读患者的过往病史以及身体检查情况例如血液化验、心电图等，此处将过往病史以及身体检查情况称为历史病情，医生在做出最终诊断结果时需要综合历史病情和与患者的问诊情况，因此匹配结果的反馈方式包括：听觉反馈或视觉反馈或触觉反馈中的一种或多种，例如在学员在进行一项检查后需要可以通过视觉反馈(如血压、心电图等需要展现的内容)或触觉反馈(如肿胀部位)展现检查结果。
可选的，在一些实施例中，在S440之后，还包括(图未示)：
S470、根据所述语音特征信号匹配所述标准语音应答信号。
S480、将所述标准语音应答信号通过语音反馈给学员。
本实施例提供的临床训练方法，应用在线语音识别技术，将临床诊断过程中的需要与患者语言沟通的过程模拟出来，结合动手操作的过程让学员在训练的时候感受更接近临床真实场景，增加了临床训练的沉浸式体验，能够更好地培养学员与患者的沟通能力。
可选的，在一些实施例中，基于实施例三提供的临床训练系统的临床训练方法包括(图未示)：
S510、根据学员的语音信息和操作信息分别生成语音信号和操作信号。
S520、将所述语音信号传输给在线识别模块。
S530、通过在线识别模块解析所述语音信号，根据所述语音信号处理得到语音特征信号，在线识别模块根据所述语音特征信号匹配所述标准语音信号得到语音匹配结果，和/或分析处理模块根据所述操作信号匹配所述标准操作信号得到操作匹配结果。
S540、将所述语音匹配结果和/或所述操作匹配结果反馈给学员。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种临床训练系统，其特征在于，包括：
语音采集模块，用于根据学员的语音信息生成语音信号；其中，所述学员的语音信息包括病情询问、病情诊断、手术情况讲解和患者注意事项嘱咐中的一种或多种；
操作采集模块，用于根据学员的操作信息生成操作信号；
在线识别模块，用于解析所述语音信号，根据所述语音信号处理得到语音特征信号；
分析处理模块，存储有至少一个患者的病例信息，所述病例信息中包括标准语音信号和标准操作信号，所述分析处理模块用于根据所述语音特征信号匹配所述标准语音信号，根据所述操作信号匹配所述标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果；
通信模块，用于将所述语音信号发送给所述在线识别模块，还用于接收所述在线识别模块返回的所述语音特征信号，并将所述语音特征信号发送给所述分析处理模块；
交互反馈模块，用于将所述匹配结果反馈给学员；其中，所述匹配结果的反馈方式包括：听觉反馈、视觉反馈和触觉反馈中的一种或多种；
其中，所述交互反馈模块，包括：
音频反馈单元，用于根据所述标准语音信号向学员播放语音；
操作反馈单元，用于根据所述标准操作信号向学员模拟患者反应；
其中，所述分析处理模块，包括：
语音关键词比对单元，用于根据所述语音特征信号确定第一关键词，根据所述标准语音信号确定第二关键词，比对所述第一关键词和所述第二关键词，确定所述语音特征信号对应的所述标准语音信号；
操作特征比对单元，用于根据所述操作信号确定第五信号特征，根据所述标准操作信号确定第六信号特征，比对所述第五信号特征和所述第六信号特征，确定所述操作信号对应的所述标准操作信号；
第二结果生成单元，用于根据所述标准语音信号和所述标准操作信号生成匹配结果。
2.根据权利要求1所述的临床训练系统，其特征在于，所述操作采集模块包括：
至少一个传感器，所述至少一个传感器用于监测学员对所述操作采集模块的操作信息。
3.根据权利要求1或2所述的临床训练系统，其特征在于，所述分析处理模块还包括：
语音特征比对单元，用于根据所述语音特征信号确定第一信号特征，根据所述标准语音信号确定第二信号特征，比对所述第一信号特征和所述第二信号特征，确定所述语音特征信号对应的所述标准语音信号；
操作特征比对单元，用于根据所述操作信号确定第三信号特征，根据所述标准操作信号确定第四信号特征，比对所述第三信号特征和所述第四信号特征，确定所述操作信号对应的所述标准操作信号；
第一结果生成单元，用于根据所述标准语音信号和所述标准操作信号生成匹配结果。
4.根据权利要求3所述的临床训练系统，其特征在于，所述分析处理模块中还存储有标准语音应答信号，所述分析处理模块还用于根据所述语音特征信号匹配所述标准语音应答信号，所述交互反馈模块还用于根据将所述标准语音应答信号通过语音反馈给学员。
5.一种临床训练系统，其特征在于，包括：
语音采集模块，用于根据学员的语音信息生成语音信号；其中，所述学员的语音信息包括病情询问、病情诊断、手术情况讲解和患者注意事项嘱咐中的一种或多种；
操作采集模块，用于根据学员的操作信息生成操作信号；
在线识别模块，用于解析所述语音信号，根据所述语音信号处理得到语音特征信号，所述在线识别模块存储有标准语音信号，用于根据所述语音特征信号匹配所述标准语音信号，并生成语音匹配结果；
分析处理模块，存储有标准操作信号，所述分析处理模块用于根据所述操作信号匹配所述标准操作信号，并生成操作匹配结果；
交互反馈模块，用于将所述语音匹配结果和/或所述操作匹配结果反馈给学员；其中，所述匹配结果的反馈方式包括：听觉反馈、视觉反馈和触觉反馈中的一种或多种；
其中，所述交互反馈模块，包括：
音频反馈单元，用于根据所述标准语音信号向学员播放语音；
操作反馈单元，用于根据所述标准操作信号向学员模拟患者反应；
通信模块，用于将所述语音信号发送给所述在线识别模块，还用于接收所述在线识别模块返回的所述语音匹配结果，并将所述语音匹配结果发送给所述交互反馈模块；
其中，所述在线识别模块存储有标准语音信号，用于根据所述语音特征信号匹配所述标准语音信号，并生成语音匹配结果，包括：
根据所述语音特征信号确定第一关键词，根据所述标准语音信号确定第二关键词，比对所述第一关键词和所述第二关键词，确定所述语音特征信号对应的所述标准语音信号；
其中，所述分析处理模块用于根据所述操作信号匹配所述标准操作信号，并生成操作匹配结果，包括：
根据所述操作信号确定第五信号特征，根据所述标准操作信号确定第六信号特征，比对所述第五信号特征和所述第六信号特征，确定所述操作信号对应的所述标准操作信号。
6.一种临床训练方法，其特征在于，包括：
根据学员的语音信息和操作信息分别生成语音信号和操作信号；其中，所述学员的语音信息包括病情询问、病情诊断、手术情况讲解和患者注意事项嘱咐中的一种或多种；
将所述语音信号传输给在线识别模块；
通过所述在线识别模块解析所述语音信号，根据所述语音信号处理得到语音特征信号；
将所述语音特征信号通过通信模块传输给分析处理模块；
通过所述分析处理模块根据所述语音特征信号匹配标准语音信号，根据所述操作信号匹配标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果；
将所述匹配结果反馈给学员；其中，所述匹配结果的反馈方式包括：听觉反馈、视觉反馈和或触觉反馈中的一种或多种；
其中，所述将所述匹配结果反馈给学员，包括：
根据所述标准语音信号向学员播放语音；
根据所述标准操作信号向学员模拟患者反应；
其中，所述根据所述语音特征信号匹配标准语音信号，根据所述操作信号匹配标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果，包括：
根据所述语音特征信号确定第一关键词，根据所述标准语音信号确定第二关键词，比对所述第一关键词和所述第二关键词，确定所述语音特征信号对应的所述标准语音信号；
根据所述操作信号确定第五信号特征，根据所述标准操作信号确定第六信号特征，比对所述第五信号特征和所述第六信号特征，确定所述操作信号对应的所述标准操作信号；
根据所述标准语音信号和所述标准操作信号生成匹配结果。
7.根据权利要求6所述的方法，其特征在于，所述根据所述语音特征信号匹配标准语音信号，根据所述操作信号匹配标准操作信号，根据所述标准语音信号和所述标准操作信号生成匹配结果，还包括：
根据所述语音特征信号确定第一信号特征，根据所述标准语音信号确定第二信号特征，比对所述第一信号特征和所述第二信号特征，确定所述语音特征信号对应的所述标准语音信号；
根据所述操作信号确定第三信号特征，根据所述标准操作信号确定第四信号特征，比对所述第三信号特征和所述第四信号特征，确定所述操作信号对应的所述标准操作信号；
根据所述标准语音信号和所述标准操作信号生成匹配结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010312741.9A CN111540380B (zh) | 2020-04-20 | 2020-04-20 | 临床训练系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010312741.9A CN111540380B (zh) | 2020-04-20 | 2020-04-20 | 临床训练系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111540380A CN111540380A (zh) | 2020-08-14 |
| CN111540380B true CN111540380B (zh) | 2023-07-07 |
Family
ID=71979066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010312741.9A Active CN111540380B (zh) | 2020-04-20 | 2020-04-20 | 临床训练系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111540380B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037632B (zh) * | 2020-09-18 | 2022-05-17 | 深圳妙创医学技术有限公司 | 一种学员的智能训练方法、装置及系统 |
| CN112349168A (zh) * | 2020-11-10 | 2021-02-09 | 国网天津静海供电有限公司 | 电力调控员沟通协调仿真培训系统及方法 |
| CN112435512B (zh) * | 2020-11-12 | 2023-01-24 | 郑州大学 | 一种轨道交通运输仿真培训的语音行为考核评价方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040152056A1 (en) * | 2003-01-31 | 2004-08-05 | Lamb Cynthia Lee | Method and apparatus for simulating a clinical trial |
| GB2398918A (en) * | 2003-02-27 | 2004-09-01 | Simulence Ltd | Medical training system. |
| JP4873497B2 (ja) * | 2008-07-30 | 2012-02-08 | 株式会社モリタ製作所 | 医療用実習装置 |
| JP5504462B2 (ja) * | 2010-06-22 | 2014-05-28 | 株式会社モリタ製作所 | 医療用実習装置、医療実習方法およびプログラム |
| CN105096670B (zh) * | 2014-05-23 | 2018-07-06 | 香港理工大学 | 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置 |
| CN105225562A (zh) * | 2015-11-03 | 2016-01-06 | 杜兆辉 | 一种全科医生培训考核系统及方法 |
| TWI597699B (zh) * | 2016-06-21 | 2017-09-01 | 聯新亞洲醫學教育有限公司 | 醫學診療教育系統及方法 |
| CN106530865B (zh) * | 2017-01-17 | 2018-11-09 | 昆明医科大学 | 一种远程医疗教育系统 |
| CN107545809A (zh) * | 2017-09-28 | 2018-01-05 | 北京理工大学 | 训练方法及支架介入手术训练系统 |
| CN108961885A (zh) * | 2018-06-29 | 2018-12-07 | 陈斌 | 用模拟机器病人进行医疗培训和考试的方法 |
| CN109545024A (zh) * | 2018-11-28 | 2019-03-29 | 广州市润心教育咨询有限公司 | 一种仿真医疗培训教育教学平台 |
-
2020
- 2020-04-20 CN CN202010312741.9A patent/CN111540380B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111540380A (zh) | 2020-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111540380B (zh) | 临床训练系统及方法 | |
| Li et al. | The effects of cognitive aptitudes on the process and product of L2 interaction | |
| KR102041186B1 (ko) | 진료 보조 시스템 및 방법 | |
| CN112233516A (zh) | 一种医师cpr考试训练与考核的评分方法及系统 | |
| CN111462557B (zh) | 一种心血管病临床病例闯关游戏式的教学应用系统 | |
| TW201801677A (zh) | 心理臨床應用的虛擬實境系統 | |
| CN110876611A (zh) | 一种老年人群神经认知障碍远程评测方法 | |
| CN111415759A (zh) | 基于问诊的中医预诊机器人的人机交互方法及系统 | |
| CN116778771A (zh) | 急救培训考核系统 | |
| CN111861161A (zh) | 基于标准化病人的问诊训练考评方法和装置 | |
| Ray et al. | Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression | |
| CN112639851A (zh) | 一种操作教学系统及其使用方法、操作设备、计算机可读存储介质 | |
| CN112950423A (zh) | 一种基于虚拟智能标准化病人的培训系统及方法 | |
| CN111540379B (zh) | 临床训练系统及方法 | |
| CN115862868A (zh) | 心理测评系统、平台、电子设备及存储介质 | |
| JP5461027B2 (ja) | 対話型学習システム | |
| CN111834019A (zh) | 基于语音识别技术的标准化病人培训方法和装置 | |
| WO2014032248A1 (zh) | 临床诊断的学习系统及方法 | |
| CN111008269A (zh) | 数据处理方法及装置、存储介质及电子终端 | |
| WO2022057840A1 (zh) | 脑认知功能检测系统 | |
| CN114141072A (zh) | 中医临床思维训练系统 | |
| CN111613280A (zh) | 一种用于医疗的h.i.p.s多点触控宣教交互系统 | |
| CN116824930A (zh) | 融合虚拟现实和大语言模型的智能超声教学平台及设备 | |
| CN116822850A (zh) | 一种模拟教学管理系统 | |
| TWI467521B (zh) | 臨床診斷之學習系統及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: R&D Building 403, No. 3 Guansheng Fourth Road, Luhu Community, Guanhu Street, Longhua District, Shenzhen City, Guangdong Province, 518000 Patentee after: Shenzhen Miaochuang Medical Technology Co.,Ltd. Address before: 518000 room 1101-5, building a, wisdom Plaza, Qiaoxiang Road, Gaofa community, Shahe street, Nanshan District, Shenzhen, Guangdong Patentee before: Shenzhen Miaochuang Medical Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |