CN113345286A - 一种融合了ai技术和视频技术的师承教学系统及方法 - Google Patents

一种融合了ai技术和视频技术的师承教学系统及方法 Download PDF

Info

Publication number
CN113345286A
CN113345286A CN202110885753.5A CN202110885753A CN113345286A CN 113345286 A CN113345286 A CN 113345286A CN 202110885753 A CN202110885753 A CN 202110885753A CN 113345286 A CN113345286 A CN 113345286A
Authority
CN
China
Prior art keywords
student
teacher
module
teaching
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110885753.5A
Other languages
English (en)
Other versions
CN113345286B (zh
Inventor
李文友
赵静
沈新
李为州
樊静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Dajing Tcm Information Technology Co ltd
Original Assignee
Nanjing Dajing Tcm Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Dajing Tcm Information Technology Co ltd filed Critical Nanjing Dajing Tcm Information Technology Co ltd
Priority to CN202110885753.5A priority Critical patent/CN113345286B/zh
Publication of CN113345286A publication Critical patent/CN113345286A/zh
Application granted granted Critical
Publication of CN113345286B publication Critical patent/CN113345286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Economics (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Pharmacology & Pharmacy (AREA)

Abstract

本发明提出一种融合了AI技术和视频技术的师承教学系统及方法，其中系统包括云端服务器，用于存储师承教学系统的相关数据并可供用户通过互联网访问登陆系统平台，所述云端服务器包括基本信息管理模块、理论学习与实践模块、视频授课与考核模块、AI实操训练模块、即时在线交流模块和结业考试指标模块。本发明实现了线上和线下结合、理论和临床结合、真人和AI智能结合的多维度、全时段、立体化教学，在减轻师承双方教学压力的同时，大幅度提高了传承的效率与质量。

Description

一种融合了AI技术和视频技术的师承教学系统及方法
技术领域
本发明属于智能教学领域 ，尤其是一种融合了AI技术和视频技术的师承教学系统及方法。
背景技术
中医药是在医学实践中形成并不断丰富的医学体系，“源于临床，指导临床”是中医药学术发展和技术进步的基本模式。辨证论治是中医临床的核心思想，不断的临床诊疗实践和处方用药经验促成了中医学理论的形成和建立。名老中医学术思想和诊疗经验是中医药知识的精华与载体，诊疗经验是学术思想的具体表现，继承名老中医临证诊疗经验是中医学术发展的重要路径。
目前，中医从业者中名老中医相对较少，年轻中医医师居多，这些年轻专业人员的成长及工作中，对学习名老中医经验的需求比较迫切。目前，现有的跟师系统在中医跟师过程中，仅支持学生及时、完整地记录跟师中的各种信息和知识，缺少共享利用机制，无法发挥这些数据的价值；另外，中医学习方式单一，缺少锻炼的平台，不能将理论知识和临床实践紧密结合。因此，开发设计一套融合AI技术和视频技术的师承教育系统，对总结名老中医临床诊疗经验，提升年轻医师诊疗水平，继承和发展中医药事业具有重大意义。
现有的教学系统缺乏基础教育培训的专业人才和有效的培训手段，而且现有的师承教学中的导师大多临床医生骨干或医院专家，承担科研、教学等多项工作，能分配给学员的授课时间非常有限；其次，缺少便捷的沟通渠道和平台，学员在日常临床诊疗重碰到的问题很难在第一时间得到老师的指导，造成沟通答疑的 不方便、不及时、不充分。
发明内容
本发明所解决的技术问题在于提供一种融合了AI技术和视频技术的师承教学系统，实现线上和线下结合、理论和临床结合、真人和AI智能结合的多维度、全时段、立体化教学，在减轻师承双方教学压力的同时，大幅度提高了传承的效率与质量。
实现本发明目的的技术解决方案为：
一个融合了AI技术和视频技术的师承教学系统，包括：
云端服务器，存储师承教学系统的相关数据并可供用户通过互联网访问登陆系统平台，所述云端服务器包括基础信息管理模块、理论学习与实践模块、视频授课与考核模块、AI实操训练模块、即时在线交流模块和结业考试指标模块，其中：
基本信息管理模块，内置师承教学系统的基本信息数据，所述基本信息数据包括用户信息和用于教学考核的资源及题库信息，所述用户信息和用于教学考核的资源及题库信息均根据专业、科室或疾病病种进行分类标记，其中用户信息包括导师信息、学员信息以及师徒关联关系，导师信息、学员信息分别由导师、学员在注册时自行输入并保存，师徒关联关系由导师与学员之间进行互选关联后自动生成；
理论学习与实践模块，记录学员用户在临床、门诊以及学习、培训的过程并形成电子化数据存档，并在阶段考核或年终考评时将该记录与跟师计划的各项指标对比，判断学员用户的学习情况，所述理论学习与实践模块包括跟师计划模块、医学典籍模块、独诊记录模块和跟师笔记模块，所述跟师计划模块内置跟师学习目标、跟师政策规范、各阶段的教学方案及跟师学习方案，医学典籍模块内置古典医籍、以及记录学员的学习心得与学术论文，独诊记录模块记录学员独立线下诊疗的病例信息、诊疗结果、问诊难点、以及导师论断和评价，跟师笔记模块记录学员线下跟师坐诊学习过程中对病例和诊疗结果的学习心得、以及导师点评；
视频授课与考核模块，用于视频在线教学和考核，包括直播课程教学模块、录播课程教学模块和在线考核模块，所述直播课程教学采用WebRTC技术优化；
AI实操训练模块，采用深度学习结合中医知识库建立一个根据患者症状体征进行辨证的中医辅助诊疗模型，将学员的人工辨证、开方结果分别与中医辅助诊疗模型的模拟开方结果进行比较；其中中医辅助诊疗模型采用循环神经网络RNN与全连接层组成的网络模型，全连接层用于将RNN层的输出转换为标签向量；
即时在线交流模块，用于管理与组织多人同时在线交流；
结业考试指标模块，用于导师和管理者对学员阶段性及年终的学习表现的综合评估，并通过年度考核、在线学习考核等完成对学员临床表现、医学知识储备的考评。
可选的，直播课程教学采用WebRTC技术优化具体为：
电脑端采用Web浏览器基于内置的WebRTC技术采集音视频的编码信息，移动端直接采用WebRTC开发框架采集音视频的编码信息；
电脑端或移动端通过SDP会话协议与WebRTC网关服务器建立会话，并通过RTP协议或SRTP协议将音视频流发送到WebRTC网关服务器；
在WebRTC网关服务器上通过FFMpeg流式视频处理工具将RTP的音视频流转换后推送到支持SMTP协议的流媒体服务器上；
从流媒体服务器上将视频流分发到距离用户最近的CDN节点上；
用户从CDN节点上拉取音视频流进行观看。
可选的，建立中医辅助诊疗模型具体包括：
将每一条病历数据转化为数字特征：性别，男女分别用（0，1）和（1，0）表示；年龄，0-3周岁、4-7周岁、8-17周岁、18-40周岁、41-65周岁、66周岁以上分为6段，用独热编码表示；发病时节，根据病患发病时间所对应的节气分为24段并用独热编码表示；症状，根据症状数分段并用独热编码表示；体征，根据体征数分段并用独热编码表示；辨证结果，根据证型数分段并用独热编码表示；
模型训练数据为性别、年龄、发病时节、症状、体征编码的串联，标签为辨证结果的编码，将训练数据转化为嵌入向量，并进行标准化；
在训练阶段，将每一条病历数据转化为特征向量X，设RNN层需要经历B次迭代，所有的迭代都共享相同的特征向量U和W，在第t次迭代时，RNN的输出为
Figure 554154DEST_PATH_IMAGE001
，RNN模型表示为：
Figure 383570DEST_PATH_IMAGE002
其中，σ是sigmoid函数，为
Figure 239530DEST_PATH_IMAGE003
，U和W为RNN的权重，并且全局共享；
RNN层的每一次迭代都代表一次重新思考迭代，从第二次迭代开始，都使用前一次迭代的结果，对标签进行更好的预测，最后由此RNN的输出
Figure 327441DEST_PATH_IMAGE004
经过全连接层得到的输出
Figure 686878DEST_PATH_IMAGE005
则为最终预测
Figure 952774DEST_PATH_IMAGE006
；
当时间步为1时，对于K个标签，每个标签权重设为1，当时间步大于1时，标签权重为：
Figure 764873DEST_PATH_IMAGE007
其中，C(·)表示成本函数，
Figure 892360DEST_PATH_IMAGE008
和
Figure 840724DEST_PATH_IMAGE009
表示第i个标签权重分别设置为0和1；
计算损失函数：
Figure 526789DEST_PATH_IMAGE010
其中，N为样本数，B为RNN的迭代次数，K为标签数；
根据损失函数，使用梯度下降算法对参数进行更新，最终完成模型训练。
可选的，基本信息管理模块中学员用户与导师用户互选包括：
师承教学系统根据导师用户的信息数据与学员用户的专业、科室数据进行逐项匹配，筛选出与学员用户专业和科室相符的导师信息，由学员用户从中选择意向导师并发起跟师申请；导师用户在跟师申请的学员中挑选学生并自动生成师徒关联关系，若设定时间内学员用户未与导师用户达成互选，则学员用户重复上述步骤重新选择意向导师。
可选的，在线考核模块中考核具体为：管理员设置课程目录并上传视频资源或开设直播课程，并按照课程章节难度设置考核题目；学员完成相应的学习进度后参加课程预设的理论考核，并获得阶段性理论考核成绩。
可选的，与中医辅助诊疗模型的模拟开方具体为：
输入患者的基本信息、患者主诉和现病史；
判断患者所患疾病，进入该疾病对应的辅助诊疗通道；
输入患者的主症，输入患者的与主症相关的兼症；
模型输出基于教材、医学指南或名老中医的辨证结果、模拟开方、以及辨证心得、用药心得、加减化裁心得。
可选的所述中医辅助诊疗具体为：学员录入患者的症状和体征，系统结合名老中医的诊疗经验，模拟名老中医的诊疗思维，输出符合名老中医个人特色的诊疗方案，其中，系统已收集有各个名老中医的学术论文、诊疗记录、医案等数据。
根据本发明的另一个方面，一种融合了AI技术和视频技术的师承教学方法，包括：
S1，导师用户和学员用户分别通过客户端注册并登记个人基本信息、所学专业、所属科室等信息，并登陆融合了AI技术和视频技术的师承教学系统，基于所学专业和所属科室将学员用户与导师用户进行互选并生成师徒关联关系；
S2，导师设置学员在跟师学习期间的学习目标及要求，形成跟师学习计划，并量化跟师学习目标，形成各阶段的跟师学习方案；
S3，学员进行跟师学习，包括理论学习、门诊实践、跟师学习和实操训练，并由学员和导师分别记录形成跟师学习过程的电子数据；
其中，理论学习为学员对医学典籍、学术论文、教学视频等进行学习；门诊实践为学员在门诊进行单独诊疗并进行记录和医案数据管理；跟师学习为学员跟随导师进行学习、实训并上传跟师笔记、跟师心得和跟师报告；
S4，学员进行结业考核，包括理论考核、年度考核和年终小结。
本发明所指的独热编码即One-Hot编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明的融合了AI技术和视频技术的师承教学系统利用信息化的师承平台，记录跟师门诊及独立门诊中的临床数据并形成电子化的表单，实现线上线下的紧密结合、数据共享、经验共享，提高临床数据的医学价值。
2、本发明的融合了AI技术和视频技术的师承教学系统集教学、交流、考核、管理功能于一体的全流程互联网平台，大幅度减少了师承教育的时空壁垒。
3、本发明的融合了AI技术和视频技术的师承教学系统师生关系的自主选择性，打破常规的硬性分配规则，给导师以及学生更大的自由空间，达成良性的师承关系。
4、本发明的融合了AI技术和视频技术的师承教学系统引进视频教学，利用视频技术，将中医诊疗过程、中医知识等以生动的形式应用到中医教学中，辅以关键知识点考核的强化训练，夯实学员的基础学习。
5、本发明的融合了AI技术和视频技术的师承教学系统提供一种即时在线交流渠道，医师学员可在第一时间与导师沟通，解决门诊中遇到的问题及医案答疑。
6、本发明的融合了AI技术和视频技术的师承教学系统注入AI技术，将名老中医的诊疗经验落实到实践教学中，保证师承教育的良好成效。
7、本发明的融合了AI技术和视频技术的师承教学系统采用专业的评分体系，依据师承细则划分并给出专项考核指标，并利用信息化技术，汇总学员各个阶段的完成情况，导师及管理者可参考平台指标判断学员是否完成师承任务。
附图说明
图1是本发明的融合了AI技术和视频技术的师承教学系统结构图。
图2是本发明的融合了AI技术和视频技术的师承教学方法的在线考核流程图。
图3是本发明的融合了AI技术和视频技术的师承教学方法的模拟开处方流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
融合了AI技术和视频技术的师承教学系统，首先具备常规的跟师平台，将师承教育的全过程纳入平台管理，通过自主选择的模式构建师徒关联关系，建立跟师关系后，学员根据导师的要求以及师承细则预设阶段性学习计划，用于衡量每个时间段的跟师学习完成情况。同时系统搭建了云平台，线上线下紧密结合，用于实时将学员跟师心得与医案典籍的学习进度同步至线上并记录，最终根据专业的考核制度完成对学员的终极考评。在常规的跟师平台的基础上，本发明还融入了AI技术和视频技术，利用智能化模拟演练平台模拟开方，加强对学员的中医临床思维训练，同时辅以理论教学视频辅导，学习考核强化训练，另外还提供即时交流平台，学员可通过此平台及时的与带教老师沟通门诊中遇到的临床问题、医案答疑，实现让师承教育的每一个举措都能落到实处，保障师承教育取得良好的成效。
根据本发明的一个方面，一种融合了AI技术和视频技术的师承教学系统，包括以下几个方面：
1.基础信息管理
用于通过云端服务器获取管理系统内所涉及的导师信息、学员信息、师徒关联关系以及管理者用于教学考核的资源和题库信息等。
所述基础信息管理包含：学员、导师通过客户端注册并登录平台，根据提示完成身份信息、专业科室信息等数据填写；完善基础信息后进入互选环节，系统将导师信息数据与医师学员的专业特长进行逐项匹配，从而筛选出符合该医师学员的导师信息，学员可向匹配出的导师发起跟师申请，导师端可在申请跟师的学员中挑选倾向的学生完成跟师关系捆绑，达成医师协议。
若在时间范围内学员未与选择的导师达成互选，可继续选择其他导师，保证每位学员都有师可承，同时不浪费医师资源；
所述基础数据管理还包含：主要为管理者及导师上传的专业的医师资料，皆为临床经验的宝贵资料，平台以课程、章节的模式结构化资源，并配以描述信息；学员可通过病种、导师、难易度等相关关键词的检索并以用于学习。
2.理论学习与实践
用于对学员在跟师期间的临床、门诊工作以及学习、培训等过程进行记录并形成电子化的数据，在阶段考核或年终考评时通过客户端自行对比预设的跟师计划中需要完成的各项指标，判断学员的跟师学习情况；
所述理论学习与实践包括，跟师计划模块，被设置成对学员在师承期间预设的跟师学习目标，学员根据跟师政策规范以及对应的导师要求，量化跟师任务，拟定阶段性的个性化教学方案；
所述理论学习与实践包括：学员需根据本人的实际情况，在导师指导下选定精读与泛读的古典医籍，撰写学习心得及学习古典医籍指导临床实践的学术论文，导师可通过师承平台随时跟进学员的学习进度，点评学员的学习心得，指导学员学习古典医籍。同时，学习心得、论文提交等所有学习数据保存在云端，可随时调阅、批注、统计、考核；
所述理论学习与实践还包括：学员借鉴老师诊疗经验独立线下门诊，记录门诊患者的病例信息、诊疗结果及问诊难点；导师可实时查看学员的门诊、医案记录，及时地就学员的医案疑问给出准确的论断和评价；
所述理论学习与实践还包括：学生跟随老师坐诊、查房、会诊等，可充分学习老师个人“经验”，学习指导老师的学术思想和临床经验精华，加以整理提高，并记录线下跟师学习过程中对病例各种信息及诊疗结果的学习心得；师承老师对学生记录的学习心得进行点评。
3.视频授课与考核
用于以视频教学为主的在线教学，利用视频处理技术，将中医的诊疗过程、中医经验以录播、直播的形式，支持多名学员同时在线视频学习，生动地向学员传输中医理论及实践经验；
所述视频授课与考核包括：学员可以关注系统中直播课程的相关专题公告，提前报名，在时间范围内进入导师的直播间，参加导师的直播课程，导师直播中可开方学员发言提问权限，导师针对性的进行讲解答疑。
所述视频授课与考核还包括：设有历史培训记录，学员可通过客户端根据专业、疾病等关键词检索相关的医学视频资源，查找并反复观看，不断加强记忆和学习。如果因故无法参加培训，让学员在时间、空间上拥有更大的自由度，可以保证学员系统、完整地学习全部课程内容，在线学习；
所述视频授课与考核还包括：管理员根据专业科室、疾病等为分类，创建专业题库；并评估难易程度，用于关联在线学习的智能考核，根据学员的学习内容，由浅入深、由易到难，强化训练，夯实理论知识；导师对视频课程每一章节设置考卷，验收学员的学习成果；通过系统自动评分，大大减轻了导师的评卷压力。导师可以将更多的时间精力用于提升教学和考核的质量。
视频教学涉及到点播和直播，点播实现起来比较简单不再详细阐述，本文采用WebRTC技术重点对传统的直播方案进行了优化，只需要采用普通笔记本电脑或手机终端就能进行直播教学，而且在推流和拉流端都有良好用户体验，具体解决方案如下：
电脑端采用Web浏览器基于内置的WebRTC技术采集音视频的编码信息，移动端不需要通过浏览器，直接采用移动平台对应的WebRTC开发框架采集音视频的编码信息。
电脑端或移动端通过SDP会话协议与WebRTC网关服务器建立会话，并通过RTP或SRTP协议将音视频流发送到WebRTC网关服务器。
在WebRTC网关服务器上通过FFMpeg流式视频处理工具将RTP的音视频流转换后推送到支持SMTP协议的流媒体服务器上。
从流媒体服务器上将视频流分发到距离用户最近的CDN节点上。
学生学习时会从CDN节点上拉取音视频流进行观看。
4.AI实操训练
采用深度学习技术，训练出一个可以根据患者症状体征进行辨证的模型，结合中医知识库构建出中医辅助诊疗模块(后面简称“辅诊模块”)。学生在练习过程中，将自己人工辨证和开方结果与辅诊模块的辨证结果和方剂进行比较，如果一致说明学生已经领略到辨证和用药的要领，如果存在偏差，说明学生在辨证过程中还存在一定的问题，需要根据辅诊模块关联的知识库去发现自己的不足，然后重新辨证。
辅诊模块的具体操作过程（见图三），即学员向辅诊模块录入患者的基本资料、症状、体征，辅诊模块就能给出符合中医的诊疗思维辨证结果和诊疗方案，学员跟师学习便不再局限于“物理上”的跟诊，随时利用平台辅诊模块进行模拟训练。
辅诊模块的辨证模型采用循环神经网络RNN与全连接层组成的网络模型，其中全连接层用于将RNN层的输出转换为标签向量。
对于一条病历数据，将其转化为数字特征：
l 性别，离散特征，男女分别用（0，1）和（1，0）表示；
l 年龄，离散特征，年龄进行分段处理，0-3周岁，4-7周岁，8-17周岁，18-40周岁，41-65周岁，66周岁以上，分为6段，用独热编码表示；
l 发病时节，离散特征，根据病患发病时间所对应的节气，分为24段，用独热编码表示；
l 症状，离散特征，根据症状数，分为M段，用独热编码表示；
l 体征，离散特征，根据体征数，分为N段，用独热编码表示；
l 辨证结果，离散特征，根据证型数，分为K段，用独热编码表示。
训练数据为性别、年龄、发病时节、症状、体征编码的串联，标签为辨证结果的编码。将训练数据转化为嵌入向量，并进行标准化。
在训练阶段，对于一条病历数据，将其转化为特征向量X。设RNN层需要经历B(一个初始化参数)次迭代，所有的迭代都共享相同的特征向量U和W，在第t次迭代时，RNN的输出为
Figure 91763DEST_PATH_IMAGE001
，RNN模型可以表示为：
Figure 6629DEST_PATH_IMAGE002
其中，σ是sigmoid函数，为
Figure 606238DEST_PATH_IMAGE011
，U和W为RNN的权重，并且全局共享。
RNN层的每一次迭代都代表一次重新思考迭代，从第二次迭代开始，都会使用前一次迭代的结果，对标签进行更好的预测，最后由此RNN的输出
Figure 696160DEST_PATH_IMAGE004
经过全连接层得到的输出
Figure 217271DEST_PATH_IMAGE005
则为最终预测
Figure 935829DEST_PATH_IMAGE006
。
中医辨证是认证知证的过程，证是对机体在疾病发展过程中某一段病理反应的概括，所谓辨证，就是根据收集的资料，分析概括判断为某种性质的证。训练过程中的每一个标签对应一种证型，多种证型可以同时存在，但每种证型的重要性又不一样，因此需要对每个标签的重要性进行不同的设置。
当时间步为1时，对于K个标签，每个标签权重设为1，当时间步大于1时，标签权重为：
Figure 639211DEST_PATH_IMAGE007
其中，C(·)表示成本函数，
Figure 683391DEST_PATH_IMAGE008
和
Figure 957377DEST_PATH_IMAGE009
表示第i个标签权重分别设置为0和1。
计算损失函数：
Figure 479625DEST_PATH_IMAGE010
其中，N为样本数，B为RNN的迭代次数，K为标签数。
根据损失函数，使用梯度下降算法对参数进行更新，最终完成模型训练。
在实际使用阶段，学员通过四诊收集病患的资料、症状、体征等数据导入模型中，系统根据输入数据分析出每种证型的概率，并与预先设定的阈值进行比较，挑选出大于阈值的证型标签，并计算出此标签的权重，根据权重的大小依次输出对应证型已经此证型的权重。
5. 即时在线交流
用于管理与组织多人同时在线交流；相对于传统的交流教学、信息传输，引入即时在线交流平台，学员不仅获取了当前的信息内容，还可以通过历史信息功能追溯可以重温知识，或者获取更多的医学资源，使得导师和学员时间增加更多的实际交流，对于相关资料，可通过平台进行资源共享。在平台提供的便利沟通条件下，增加了导师和学员之间交流时间，提高学员的学习效率。
所述即时在线交流包括：即时的文字和语音交流。管理员可根据年度跟师计划组织线上交流活动，系统自动发布公告至相关的导师及学员并加入，进行线上互动，频道内部上传教学资源等，并且保存聊天记录至云平台，学员随时可追溯历史聊天记录；也可以由管理员开设语音频道，自由发言，分享跟师心得、门诊经验或线上答疑；
6.结业考核指标
用于导师和管理者对学员阶段性及年终的学习表现的综合评估，具体通过年度考核、视频考核等完成对学员临床表现、医学知识储备的考评。系统根据专项划分并给出专项考核指标，并利用信息化技术，即系统通过数据层的数据管理追溯学员各项相关的历史内容、汇总学员各个阶段的完成情况，并与考核指标关联，形成对比分析，导师及管理者可参考平台指标判断学员是否完成师承任务。
所述考核评分包括：年度考核用于学员师承过程的阶段性验收，主要针对学员的跟师情况、独立门诊、医案整理、古典医籍学习等各项细则与预设的学习目标对比的完成情况；还包含学员在师承过程中的在线学习考核，其分数也作为考核中的一项重要指标；还包含导师对学员的主观印象评分，具体为学员在师承中的临床表现、职业道德、主观能动性、学习积极性；最终由导师综合打分，完成对学员的年度考核；
所述考核评分还包括：由学员主动发起，逐级进行评价的文字性总结报告，主要由不同的角色对学员师承过程中的表现和评价，也将作为一项重要依据体现学员的师承内容。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

Claims (8)

1.一种融合了AI技术和视频技术的师承教学系统，其特征在于，包括：
云端服务器，存储师承教学系统的相关数据并可供用户通过互联网访问登陆系统平台，所述云端服务器包括基础信息管理模块、理论学习与实践模块、视频授课与考核模块、AI实操训练模块、即时在线交流模块和结业考试指标模块，其中：
基本信息管理模块，内置师承教学系统的基本信息数据，所述基本信息数据包括用户信息和用于教学考核的资源及题库信息，所述用户信息和用于教学考核的资源及题库信息均根据专业、科室或疾病病种进行分类标记，其中用户信息包括导师信息、学员信息以及师徒关联关系，导师信息、学员信息分别由导师、学员在注册时自行输入并保存，师徒关联关系由导师与学员之间进行互选关联后自动生成；
理论学习与实践模块，记录学员用户在临床、门诊以及学习、培训的过程并形成电子化数据存档，并在阶段考核或年终考评时将该记录与跟师计划的各项指标对比，判断学员用户的学习情况，所述理论学习与实践模块包括跟师计划模块、医学典籍模块、独诊记录模块和跟师笔记模块，所述跟师计划模块内置跟师学习目标、跟师政策规范、各阶段的教学方案及跟师学习方案，医学典籍模块内置古典医籍、以及记录学员的学习心得与学术论文，独诊记录模块记录学员独立线下诊疗的病例信息、诊疗结果、问诊难点、以及导师论断和评价，跟师笔记模块记录学员线下跟师坐诊学习过程中对病例和诊疗结果的学习心得、以及导师点评；
视频授课与考核模块，用于视频在线教学和考核，包括直播课程教学模块、录播课程教学模块和在线考核模块，所述直播课程教学采用WebRTC技术优化；
AI实操训练模块，采用深度学习结合中医知识库建立一个根据患者症状体征进行辨证的中医辅助诊疗模型，将学员的人工辨证、开方结果分别与中医辅助诊疗模型的模拟开方结果进行比较；其中中医辅助诊疗模型采用循环神经网络RNN与全连接层组成的网络模型，全连接层用于将RNN层的输出转换为标签向量；
即时在线交流模块，用于管理与组织多人同时在线交流；
结业考试指标模块，用于导师和管理者对学员阶段性及年终的学习表现的综合评估，并通过年度考核、在线学习考核完成对学员临床表现、医学知识储备的考评。
2.根据权利要求1所述的融合了AI技术和视频技术的师承教学系统，其特征在于，直播课程教学采用WebRTC技术优化具体步骤为：
电脑端采用Web浏览器基于内置的WebRTC技术采集音视频的编码信息，移动端直接采用WebRTC开发框架采集音视频的编码信息；
电脑端或移动端通过SDP会话协议与WebRTC网关服务器建立会话，并通过RTP协议或SRTP协议将音视频流发送到WebRTC网关服务器；
在WebRTC网关服务器上通过FFMpeg流式视频处理工具将RTP的音视频流转换后推送到支持SMTP协议的流媒体服务器上；
从流媒体服务器上将视频流分发到距离用户最近的CDN节点上；
用户从CDN节点上拉取音视频流进行观看。
3.根据权利要求1所述的融合了AI技术和视频技术的师承教学系统，其特征在于，建立中医辅助诊疗模型具体步骤包括：
将每一条病历数据转化为数字特征：性别，男女分别用（0，1）和（1，0）表示；年龄，0-3周岁、4-7周岁、8-17周岁、18-40周岁、41-65周岁、66周岁以上分为6段，用独热编码表示；发病时节，根据病患发病时间所对应的节气分为24段并用独热编码表示；症状，根据症状数分段并用独热编码表示；体征，根据体征数分段并用独热编码表示；辨证结果，根据证型数分段并用独热编码表示；
模型训练数据为性别、年龄、发病时节、症状、体征编码的串联，标签为辨证结果的编码，将训练数据转化为嵌入向量，并进行标准化；
在训练阶段，将每一条病历数据转化为特征向量X，设RNN层需要经历B次迭代，所有的迭代都共享相同的特征向量U和W，在第t次迭代时，RNN的输出为
Figure 707241DEST_PATH_IMAGE001
，RNN模型表示为：
Figure 889961DEST_PATH_IMAGE002
其中，σ是sigmoid函数，为，U和W为RNN的权重，并且全局共享；
RNN层的每一次迭代都代表一次重新思考迭代，从第二次迭代开始，都使用前一次迭代的结果，对标签进行更好的预测，最后由此RNN的输出
Figure 466436DEST_PATH_IMAGE003
经过全连接层得到的输出
Figure 392803DEST_PATH_IMAGE004
则为最终预测
Figure 3913DEST_PATH_IMAGE005
；
当时间步为1时，对于K个标签，每个标签权重设为1，当时间步大于1时，标签权重为：
Figure 357534DEST_PATH_IMAGE006
其中，C(·)表示成本函数，
Figure 155726DEST_PATH_IMAGE007
和
Figure 620205DEST_PATH_IMAGE008
表示第i个标签权重分别设置为0和1；
计算损失函数：
Figure 85822DEST_PATH_IMAGE009
其中，N为样本数，B为RNN的迭代次数，K为标签数；
根据损失函数，使用梯度下降算法对参数进行更新，最终完成模型训练。
4.根据权利要求1所述的融合了AI技术和视频技术的师承教学系统，其特征在于，基本信息管理模块中学员用户与导师用户互选包括：
师承教学系统根据导师用户的信息数据与学员用户的专业、科室数据进行逐项匹配，筛选出与学员用户专业和科室相符的导师信息，由学员用户从中选择意向导师并发起跟师申请；导师用户在跟师申请的学员中挑选学生并自动生成师徒关联关系，若设定时间内学员用户未与导师用户达成互选，则学员用户重复上述步骤重新选择意向导师。
5.根据权利要求1所述的融合了AI技术和视频技术的师承教学系统，其特征在于，在线考核模块中考核具体为：管理员设置课程目录并上传视频资源或开设直播课程，并按照课程章节难度设置考核题目；学员完成相应的学习进度后参加课程预设的理论考核，并获得阶段性理论考核成绩。
6.根据权利要求1所述的融合了AI技术和视频技术的师承教学系统，其特征在于，中医辅助诊疗模型的模拟开方步骤具体为：
输入患者的基本信息、患者主诉和现病史；
判断患者所患疾病，进入该疾病对应的辅助诊疗通道；
输入患者的主症，输入患者的与主症相关的兼症；
模型输出基于教材、医学指南或名老中医的辨证结果、模拟开方、以及辨证心得、用药心得、加减化裁心得。
7.根据权利要求1所述的融合了AI技术和视频技术的师承教学系统，其特征在于，所述中医辅助诊疗具体为：学员录入患者的症状和体征，系统结合名老中医的诊疗经验，模拟名老中医的诊疗思维，输出符合名老中医个人特色的诊疗方案，其中，系统已收集有各个名老中医的学术论文、诊疗记录、医案数据。
8.一种融合了AI技术和视频技术的师承教学方法，其特征在于，包括：
S1，导师用户和学员用户分别通过客户端注册并登记个人基本信息、所学专业、所属科室信息，并登陆融合了AI技术和视频技术的师承教学系统，基于所学专业和所属科室将学员用户与导师用户进行互选并生成师徒关联关系；
S2，导师设置学员在跟师学习期间的学习目标及要求，形成跟师学习计划，并量化跟师学习目标，形成各阶段的跟师学习方案；
S3，学员进行跟师学习，包括理论学习、门诊实践、跟师学习和实操训练，并由学员和导师分别记录形成跟师学习过程的电子数据；
其中，理论学习为学员对医学典籍、学术论文、教学视频进行学习；门诊实践为学员在门诊进行单独诊疗并进行记录和医案数据管理；跟师学习为学员跟随导师进行学习、实训并上传跟师笔记、跟师心得和跟师报告；
S4，学员进行结业考核，包括理论考核、年度考核和年终小结。
CN202110885753.5A 2021-08-03 2021-08-03 一种融合了ai技术和视频技术的师承教学系统及方法 Active CN113345286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110885753.5A CN113345286B (zh) 2021-08-03 2021-08-03 一种融合了ai技术和视频技术的师承教学系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110885753.5A CN113345286B (zh) 2021-08-03 2021-08-03 一种融合了ai技术和视频技术的师承教学系统及方法

Publications (2)

Publication Number Publication Date
CN113345286A true CN113345286A (zh) 2021-09-03
CN113345286B CN113345286B (zh) 2021-11-19

Family

ID=77480562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110885753.5A Active CN113345286B (zh) 2021-08-03 2021-08-03 一种融合了ai技术和视频技术的师承教学系统及方法

Country Status (1)

Country Link
CN (1) CN113345286B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201040756A (en) * 2009-05-14 2010-11-16 Heng-Hong Zhang Chinese medicine intelligent formulary system
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN108960640A (zh) * 2018-07-10 2018-12-07 重庆医科大学附属儿童医院 一种云数据临床医学教育培训过程的形成性评价优化系统
CN109035094A (zh) * 2018-08-01 2018-12-18 杭州认知网络科技有限公司 基于人工智能的教学方法、装置及终端设备
CN109378064A (zh) * 2018-10-29 2019-02-22 南京医基云医疗数据研究院有限公司 医疗数据处理方法、装置电子设备及计算机可读介质
CN110297908A (zh) * 2019-07-01 2019-10-01 中国医学科学院医学信息研究所 诊疗方案预测方法及装置
CN110457682A (zh) * 2019-07-11 2019-11-15 新华三大数据技术有限公司 电子病历词性标注方法、模型训练方法及相关装置
CN110853021A (zh) * 2019-11-13 2020-02-28 江苏迪赛特医疗科技有限公司 一种病理鳞状上皮细胞的检测分类模型的构建
CN111105657A (zh) * 2019-12-02 2020-05-05 浙江大学医学院附属邵逸夫医院 一种护理医学教育平台
CN111261286A (zh) * 2020-02-17 2020-06-09 清华大学 辅助诊断模型构建方法、诊断方法、装置、设备及介质
CN112073423A (zh) * 2020-09-15 2020-12-11 杭州二更网络科技有限公司 基于WebRTC进行浏览器推流的方法及系统
CN112581817A (zh) * 2021-02-25 2021-03-30 江苏省捷达软件工程有限公司 一种中医师承医教辅助系统及使用方法
CN113012811A (zh) * 2020-08-17 2021-06-22 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201040756A (en) * 2009-05-14 2010-11-16 Heng-Hong Zhang Chinese medicine intelligent formulary system
CN106295139A (zh) * 2016-07-29 2017-01-04 姹ゅ钩 一种基于深度卷积神经网络的舌体自诊健康云服务系统
CN108960640A (zh) * 2018-07-10 2018-12-07 重庆医科大学附属儿童医院 一种云数据临床医学教育培训过程的形成性评价优化系统
CN109035094A (zh) * 2018-08-01 2018-12-18 杭州认知网络科技有限公司 基于人工智能的教学方法、装置及终端设备
CN109378064A (zh) * 2018-10-29 2019-02-22 南京医基云医疗数据研究院有限公司 医疗数据处理方法、装置电子设备及计算机可读介质
CN110297908A (zh) * 2019-07-01 2019-10-01 中国医学科学院医学信息研究所 诊疗方案预测方法及装置
CN110457682A (zh) * 2019-07-11 2019-11-15 新华三大数据技术有限公司 电子病历词性标注方法、模型训练方法及相关装置
CN110853021A (zh) * 2019-11-13 2020-02-28 江苏迪赛特医疗科技有限公司 一种病理鳞状上皮细胞的检测分类模型的构建
CN111105657A (zh) * 2019-12-02 2020-05-05 浙江大学医学院附属邵逸夫医院 一种护理医学教育平台
CN111261286A (zh) * 2020-02-17 2020-06-09 清华大学 辅助诊断模型构建方法、诊断方法、装置、设备及介质
CN113012811A (zh) * 2020-08-17 2021-06-22 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法
CN112073423A (zh) * 2020-09-15 2020-12-11 杭州二更网络科技有限公司 基于WebRTC进行浏览器推流的方法及系统
CN112581817A (zh) * 2021-02-25 2021-03-30 江苏省捷达软件工程有限公司 一种中医师承医教辅助系统及使用方法

Also Published As

Publication number Publication date
CN113345286B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
Roberts et al. Perceptions matter: Administrators’ vision of instruction for students with severe disabilities
Llinares et al. Mathematics (student) teachers and teacher educators as learners
Saunders et al. Increasing achievement by focusing grade-level teams on improving classroom learning: A prospective, quasi-experimental study of Title I schools
Paavola et al. Models of innovative knowledge communities and three metaphors of learning
Burgess et al. Evidence-based practice implementation within a theory of planned behavior framework
Balcazar et al. Participatory action research: General principles and a study with a chronic health condition.
Fan et al. Artificial intelligence-based creative thinking skill analysis model using human–computer interaction in art design teaching
Ahmadianzadeh et al. Exploring EFL teachers’ beliefs about and practices of learner autonomy across experience and licensure
Ailey et al. Educating nursing students in clinical leadership
Sunderland Taking emotion seriously: Meeting students where they are
Wu et al. Using epistemic network analysis and self-reported reflections to explore students' metacognition differences in collaborative learning
Leko et al. Quality indicators for mixed-methods research in special education
Baerheim et al. Pedagogical aspects of interprofessional workplace learning: A case study
Hilton et al. Has motivational interviewing fallen into its own premature focus trap?
Fedeli et al. The use of learning contracts in an Italian university setting
Ouyang et al. The effects of three instructor participatory roles on a small group’s collaborative concept mapping
Andrade et al. Guidelines for the development of e-learning systems by means of proactive questions
Sun et al. An improved BP neural network algorithm for the evaluation system of innovation and entrepreneurship education in colleges and universities
Xu et al. The design of personalized learning resource recommendation system for ideological and political courses
Natt och Dag A scholar-practitioner perspective on a leadership development program in health care: integrating connectivism theory
Spicer From artefact to tool: teachers' collective agency in school reform
Tichnor-Wagner Accelerating character education learning through a networked approach: Insights from the Kern Partners for Character and Educational Leadership
CN113345286B (zh) 一种融合了ai技术和视频技术的师承教学系统及方法
Fancott " Letting Stories Breathe": Using Patient Stories for Organizational Learning and Improvement
Fang et al. Effective college English teaching based on teacher-student interactive model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant