CN116913466A - 泛血管介入手术培训辅助系统及其构建和使用方法 - Google Patents
泛血管介入手术培训辅助系统及其构建和使用方法 Download PDFInfo
- Publication number
- CN116913466A CN116913466A CN202310742804.8A CN202310742804A CN116913466A CN 116913466 A CN116913466 A CN 116913466A CN 202310742804 A CN202310742804 A CN 202310742804A CN 116913466 A CN116913466 A CN 116913466A
- Authority
- CN
- China
- Prior art keywords
- doctor
- training
- vascular intervention
- language model
- vascular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002792 vascular Effects 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000010276 construction Methods 0.000 title abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000013152 interventional procedure Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 16
- 238000001356 surgical procedure Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Tourism & Hospitality (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Urology & Nephrology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Instructional Devices (AREA)
Abstract
本发明公开了一种基于大语言模型的泛血管介入手术培训辅助系统及其构建和使用方法。所述系统包括传感器组件、计算机和显示设备组件等硬件模块与大语言模型、泛血管介入手术知识库等软件模块组成。使用时，系统会自动检测医生的操作状态，通过利用泛血管介入手术知识库训练好的大语言模型给出多模态即时反馈与提示，并能够在操作结束后自动生成操作评估报告，用以辅助医生学习训练。与现有技术相比，本发明采用大语言模型结合泛血管介入手术知识库、操作检测和反馈指导等模块，具有检测医生操作动作与操作流程正确性的功能。本发明能够为医生提供高效、智能、规范的泛血管介入手术培训辅助。
Description
技术领域
本发明涉及血管介入手术智能培训设备技术领域，更具体地，涉及一种泛血管介入手术培训辅助系统及其构建和使用方法。
背景技术
泛血管介入手术是一种常见的治疗泛血管疾病的技术，需要医生将导管导丝等器械经过血管递送到相应的病变部位，并在DSA、CTA等多模态医学影像的辅助下进行。泛血管介入手术的操作流程复杂、术中涉及器械多，医生需要通过长期的实践经验来积累操作技巧。但是，由于每个医生的操作经验和技能水平不同，手术的成功率和安全性存在较大的差异。尤其是经验不足的青年医生，容易出现操作不规范、效率低下和操作风险较大的情况。
为了促进泛血管介入手术医生技能水平的快速提升，泛血管介入手术培训辅助系统应运而生。这类手术培训系统可以帮助医生快速掌握操作技巧，提高手术的效率和质量。同时还可以针对医生的个性化需求，为其提供量身定制的培训方案和反馈指导，从而实现针对性培训和效果最大化，提高手术技能的学习效率与质量。
现有的泛血管介入手术培训系统主要还是给医生提供近似手术的仿血管操作环境，用以让医生产生在血流环境中操作导管导丝的经验手感；或是为医生提供相关视觉反馈，模拟介入手术中的眼手配合操作。崔君拴等提出的《一种血管介入手术培训系统的使用方法》【申请号：CN202211628424.3】，提出了一种运用智能摄像头的血管介入手术培训方法。但该方法仅可为医生提供视觉反馈，缺乏对操作、流程等方面的个性化指导。孟自力等提出的一种心血管介入手术培训模拟器【申请号：CN202022210088.3】主要模拟了血管的血流环境，对于介入医生操作器械的模拟不多。
上述模型缺少对于医生操作的评估与反馈，医生很难从盲目的操作中进行纠正与学习。大语言模型(Large Language Model，LLM)是一种基于深度学习的人工智能技术，它能够自动学习大量的文本数据与多模态数据，并能够模拟人类的语言表达方式生成新的文本。因此，引入基于大语言模型的泛血管介入手术培训辅助系统是必要的。
发明内容
针对现有技术的上述缺陷，本发明提供了一种泛血管介入手术培训辅助系统及其构建和使用方法。基于LLM的泛血管介入手术培训辅助系统可以通过输入大量的泛血管介入手术相关文本数据和影像数据，让模型学习泛血管介入手术的相关知识和规律，并应用于培训辅助系统中，让青年医生和相关医学生在模拟泛血管介入手术过程中得到及时反馈的培训和实践，提升学习效能。
为实现上述目的，一方面，本发明提供一种泛血管介入手术培训辅助系统，包括硬件和软件两部分，其特征在于，所述硬件包括介入手术器械、传感器组件、计算机组件和显示设备组件；所述软件包括大语言模型、泛血管介入手术知识库、操作检测模块和反馈指导模块；所述传感器组件负载于所述介入手术器械，对医生的手术操作进行检测；所述计算机组件处理传感器信号数据和进行大语言模型的训练和推理；所述显示设备组件显示培训内容和反馈指导的画面，并给出语音提示；所述泛血管介入手术知识库指导所述大语言模型的训练和提供参考信息；所述操作检测模块用于监测医生的手术操作并反馈给所述反馈指导模块，所述反馈指导模块对医生提供操作上的反馈和指导，在所述计算机组件中运行。
进一步地，所述传感器组件包括在所述介入手术器械操作端设置的六轴力传感器和压力传感器；所述传感器用于检测医生的手术操作。
进一步地，所述传感器检测的手术操作包括导管进入血管的速度、选取器械的正确性、手术过程中的力度和方向。
进一步地，所述显示设备组件可以是计算机显示器、投影仪和虚拟现实头戴式显示器中的一种或多种。
进一步地，所述大语言模型基于GPT的语言模型进行训练，学习医生操作的语言和术语，以便提供自然的操作指导和反馈。
另一方面，本发明提供一种上述泛血管介入手术培训辅助系统的构建方法，其特征在于，包括以下步骤：
步骤S11、收集和整理泛血管介入手术的文献、专家知识和实践经验，构建泛血管介入手术知识库；
步骤S12、采用泛血管介入手术知识库指导训练大语言模型和提供参考信息；
步骤S13、将传感器组件信号和软件导入计算机组件，并通过显示设备组件与医生进行交互，从而得到泛血管介入手术培训辅助系统；所述系统根据泛血管介入手术的操作流程和技术规范，检测医生操作，并根据大语言模型提供的培训内容进行反馈和指导，帮助医生进行正确的操作；
步骤S14、对所述泛血管介入手术培训辅助系统进行测试和优化。
进一步地，所述泛血管介入手术知识库包含泛血管介入手术相关的解剖学、手术步骤、器械和设备的知识和信息。
再一方面，本发明提供一种上述泛血管介入手术培训辅助系统的使用方法，其特征在于，包括以下步骤：
步骤S21、所述计算机组件开机自检：自动检测传感器和硬件设备是否正常工作；如果有异常情况，系统会提示相关人员进行检修或更换设备；
步骤S22、导入病例数据，并根据病例数据生成可能的模型和虚拟手术场景；
步骤S23、医生选择手术场景：医生根据需要选择不同的手术场景，系统会根据选择的手术场景生成相应的虚拟手术场景；
步骤S24、进行手术模拟：医生可以通过操作介入手术器械进行虚拟手术模拟；在操作过程中，所述泛血管介入手术培训辅助系统会根据大语言模型、泛血管介入手术知识库、传感器信号等多种信息进行实时反馈和指导。
进一步地，所述病例数据包括影像学资料、病例描述、手术计划信息中的一种或多种。
进一步地，医生操作过程中获得实时反馈和指导的方法是所述泛血管介入手术培训辅助系统通过大语言模型分析医生的手术语言和行为，根据预设的泛血管介入手术知识库中的操作规范和流程，检测医生的操作是否符合标准，若不符合，则系统会及时发出指导提示，提醒医生操作错误，引导其调整操作方法。
最后一方面，本发明提供一种上述泛血管介入手术培训辅助系统的使用方法，其特征在于，包括以下步骤：
步骤S31、所述计算机组件开机自检：自动检测传感器和硬件设备是否正常工作；如果有异常情况，系统会提示相关人员进行检修或更换设备；
步骤S32、导入病例数据，并根据病例数据生成可能的模型和虚拟手术场景；
步骤S33、医生选择手术场景：医生根据需要选择不同的手术场景，系统会根据选择的手术场景生成相应的虚拟手术场景；
步骤S34、进行手术模拟：医生可以通过操作介入手术器械进行虚拟手术模拟；在操作过程中，所述泛血管介入手术培训辅助系统会根据大语言模型、泛血管介入手术知识库、传感器信号等多种信息进行实时反馈和指导；
步骤S35、完成手术模拟训练并生成报告：当医生完成手术模拟后，系统会自动生成相应的手术报告，并记录医生的操作过程、操作时间、操作正确性信息；医生可以通过系统查看手术报告，分析自己的操作情况，并进行改进。
与现有技术相比，上述发明具有如下优点或者有益效果：
(1)本发明采用大语言模型结合泛血管介入手术知识库、操作检测和反馈指导等模块，为医生提供高效、智能、规范的泛血管介入手术培训辅助；
(2)本发明采用了六轴力传感器、压力传感器等多传感器检测医生的手术操作，从而能够准确判断医生的操作流程、选取器械的正确性和导管的递送速度等，并针对性地给予反馈和指导，提高医生的手术技能水平；
(3)本发明能够实时记录、分析和反馈医生的手术操作数据，通过对医生的手术操作进行数据分析，提供量化的评估和反馈，有助于发现医生在手术操作中存在的问题和不足，进而提高培训效果；
(4)本发明结合丰富的泛血管介入手术教学案例库，为医生提供丰富的手术操作案例，帮助医生学习和掌握各种手术技巧和操作流程，提高医生的手术水平和诊疗效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征和优点将会变得更加明显。
图1为本发明一实施例中泛血管介入手术培训辅助系统的组成示意图；
图2为本发明一实施例的泛血管介入手术培训辅助系统的反馈流程图；
图3为本发明一实施例的泛血管介入手术培训辅助系统的使用流程示意图；
图4为本发明一实施例的泛血管介入手术培训辅助系统使用的效果样例。
具体实施方式
下面结合附图和具体的实施例对本发明作进一步的说明，但是不作为本发明的限定。
在以下详细描述中，阐述了许多特定细节以提供对本发明的更透彻理解。然而，对于本领域技术人员显而易见的是，公知的算法和模型(例如大语言模型、泛血管介入手术知识库、操作检测模块和反馈指导模块)没有详细过程显示，以避免模糊本发明的主旨。公知的结构和器件(例如传感器组件、计算机组件、显示设备组件)以框图形式示出而没有详细显示，以避免模糊本发明。
此外，权利要求书、说明书及附图中所示的装置及方法中的动作、步骤等执行顺序，只要没有特别明示顺序的限定，只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。
实施例1
参见图1，本实施例提供一种泛血管介入手术培训辅助系统，包括硬件和软件两部分。所述硬件包括介入手术器械、传感器组件101、计算机组件102和显示设备组件103。所述传感器组件101负载于所述介入手术器械，对医生的手术操作进行检测。作为示例，传感器组件101包括在导管导丝操作端设置的六轴力传感器和压力传感器。这些传感器用于检测医生的手术操作，包括导管进入血管的速度、选取器械的正确性、手术过程中的力度、方向等。这些数据将通过传感器进行实时采集，并被送到计算机进行处理。
计算机组件102处理传感器信号数据和进行大语言模型的训练和推理。作为示例，计算机组件102由一台高性能计算机组成，用于处理传感器采集到的数据，并将结果显示给医生。计算机还将与大语言模型和泛血管介入手术知识库等软件模块进行通信。
显示设备组件103用于向医生展示系统输出的数据和信息，包括检测医生操作的正确性、实时反馈医生操作的错误、提供培训材料等等。显示设备可以是计算机显示器、投影仪、虚拟现实头戴式显示器等。还包括语音提示功能，能够让受训者直接获取信息提示。
所述软件储存在计算机组件102上，包括大语言模型201、泛血管介入手术知识库202、操作检测模块203和反馈指导模块204。大语言模型201是系统的核心部分，作为示例，基于GPT的语言模型进行训练。大语言模型用于学习医生操作的语言和术语，以便提供自然的操作指导和反馈。泛血管介入手术知识库202包含了丰富的泛血管介入手术相关的知识和信息，包括解剖学、手术步骤、器械和设备等。该知识库用于指导大语言模型的训练和提供参考信息。操作检测模块203用于监测医生的手术操作并反馈给反馈指导模块204，所述反馈指导模块204对医生提供操作上的反馈和指导。因此，操作检测模块203和反馈指导模块204用于监测医生的手术操作并提供反馈和指导，帮助医生纠正错误和改善技能水平。例如，系统可以检测到医生选取器械的错误或导管进入血管的速度过快或过慢，并在显示设备上提供实时的反馈和指导。
作为一个优选的技术方案，参见图1，所述软件还包括报告生成模块205，用于记录医生的操作过程、操作时间、操作正确性信息，并自动生成相应的手术报告。
实施例2
参见图2，本实施例提供一种如实施例1中所述的泛血管介入手术培训辅助系统的构建方法，包括以下步骤：
步骤S11、收集和整理泛血管介入手术的文献、专家知识和实践经验，构建泛血管介入手术知识库；
步骤S12、采用泛血管介入手术知识库指导训练大语言模型和提供参考信息；
步骤S13、将传感器组件信号和软件导入计算机组件，并通过显示设备组件与医生进行交互，从而得到泛血管介入手术培训辅助系统；所述系统根据泛血管介入手术的操作流程和技术规范，检测医生操作，并根据大语言模型提供的培训内容进行反馈和指导，帮助医生进行正确的操作；
步骤S14、对所述泛血管介入手术培训辅助系统进行测试和优化。
作为一个优选的技术方案，所述泛血管介入手术知识库包含泛血管介入手术相关的解剖学、手术步骤、器械和设备的知识和信息。
实施例3
参见图3，本实施例提供一种如实施例1中所述的泛血管介入手术培训辅助系统的使用方法，包括以下步骤：
步骤S21、所述计算机组件开机自检：自动检测传感器和硬件设备是否正常工作；如果有异常情况，系统会提示相关人员进行检修或更换设备；
步骤S22、导入病例数据，并根据病例数据生成可能的模型和虚拟手术场景；
步骤S23、医生选择手术场景：医生根据需要选择不同的手术场景，系统会根据选择的手术场景生成相应的虚拟手术场景；
步骤S24、进行手术模拟：医生可以通过操作介入手术器械进行虚拟手术模拟；在操作过程中，所述泛血管介入手术培训辅助系统会根据大语言模型、泛血管介入手术知识库、传感器信号等多种信息进行实时反馈和指导；
可选地，当医生完成手术模拟后，系统会自动生成相应的手术报告，并记录医生的操作过程、操作时间、操作正确性等信息。医生可以通过系统查看手术报告，分析自己的操作情况，并进行改进。
作为一个优选的技术方案，所述病例数据包括影像学资料、病例描述、手术计划信息中的一种或多种。医生操作过程中获得实时反馈和指导的方法是所述泛血管介入手术培训辅助系统通过大语言模型分析医生的手术语言和行为，根据预设的泛血管介入手术知识库中的操作规范和流程，检测医生的操作是否符合标准，若不符合，则系统会及时发出指导提示，提醒医生操作错误，引导其调整操作方法，以便让医生快速纠正错误并培养正确的操作习惯。例如，当医生在操作过程中选择不恰当的器械时，系统会发出提示，给予医生相应的器械选择建议；当医生的操作流程有误时，系统会发出指导提示，提醒医生正确的操作流程。通过这种方式，系统能够及时发现和纠正医生的错误操作，帮助医生加强对泛血管介入手术规范化和标准化的认识，提高医生的手术技能水平。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上，本发明提供了基于大语言模型的泛血管介入手术培训辅助系统及其构建和使用方法。所述系统包括传感器组件、计算机和显示设备组件等硬件模块与大语言模型、泛血管介入手术知识库等软件模块组成。使用时，系统会自动检测医生的操作状态，通过利用泛血管介入手术知识库训练好的大语言模型给出多模态即时反馈与提示，并能够在操作结束后自动生成操作评估报告，用以辅助医生学习训练。与现有技术相比，本发明采用大语言模型结合泛血管介入手术知识库、操作检测和反馈指导等模块，具有检测医生操作动作与操作流程正确性的功能。本发明能够为医生提供高效、智能、规范的泛血管介入手术培训辅助。
本领域技术人员应该理解，本领域技术人员在结合现有技术以及上述实施例可以实现变化例，在此不做赘述。这样的变化例并不影响本发明的实质内容，在此不予赘述。
以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
Claims (10)
1.一种泛血管介入手术培训辅助系统，包括硬件和软件两部分，其特征在于，所述硬件包括介入手术器械、传感器组件(101)、计算机组件(102)和显示设备组件(103)；所述软件包括大语言模型(201)、泛血管介入手术知识库(202)、操作检测模块(203)和反馈指导模块(204)，在所述计算机组件(102)中运行；
所述传感器组件(101)负载于所述介入手术器械，对医生的手术操作进行检测；所述计算机组件(102)处理传感器信号数据和进行大语言模型的训练和推理；所述显示设备组件(103)显示培训内容和反馈指导的画面，并给出语音提示；所述泛血管介入手术知识库(202)指导所述大语言模型(201)的训练和提供参考信息；所述操作检测模块(203)用于监测医生的手术操作并反馈给所述反馈指导模块(204)，所述反馈指导模块(204)对医生提供操作上的反馈和指导。
2.根据权利要求1所述的一种泛血管介入手术培训辅助系统，其特征在于，所述传感器组件(101)包括在所述介入手术器械操作端设置的六轴力传感器和压力传感器；所述传感器用于检测医生的手术操作。
3.根据权利要求2所述的一种泛血管介入手术培训辅助系统，其特征在于，所述传感器检测的手术操作包括导管进入血管的速度、选取器械的正确性、手术过程中的力度和方向。
4.根据权利要求1所述的一种泛血管介入手术培训辅助系统，其特征在于，所述显示设备组件(103)可以是计算机显示器、投影仪和虚拟现实头戴式显示器中的一种或多种。
5.根据权利要求1所述的一种泛血管介入手术培训辅助系统，其特征在于，所述大语言模型(201)基于GPT的语言模型进行训练，学习医生操作的语言和术语，以便提供自然的操作指导和反馈。
6.根据权利要求1所述的一种泛血管介入手术培训辅助系统，其特征在于，所述软件还包括报告生成模块(205)，用于记录医生的操作过程、操作时间、操作正确性信息，并自动生成相应的手术报告。
7.一种如权利要求1至6任一项所述的泛血管介入手术培训辅助系统的构建方法，其特征在于，包括以下步骤：
步骤S11、收集和整理泛血管介入手术的文献、专家知识和实践经验，构建泛血管介入手术知识库；
步骤S12、采用泛血管介入手术知识库指导训练大语言模型和提供参考信息；
步骤S13、将传感器组件信号和软件导入计算机组件，并通过显示设备组件与医生进行交互，从而得到泛血管介入手术培训辅助系统；所述系统根据泛血管介入手术的操作流程和技术规范，检测医生操作，并根据大语言模型提供的培训内容进行反馈和指导，帮助医生进行正确的操作；
步骤S14、对所述泛血管介入手术培训辅助系统进行测试和优化。
8.根据权利要求7所述的一种泛血管介入手术培训辅助系统的构建方法，其特征在于，所述泛血管介入手术知识库包含泛血管介入手术相关的解剖学、手术步骤、器械和设备的知识和信息。
9.一种如权利要求1至5任一项所述的泛血管介入手术培训辅助系统的使用方法，其特征在于，包括以下步骤：
步骤S21、所述计算机组件开机自检：自动检测传感器和硬件设备是否正常工作；如果有异常情况，系统会提示相关人员进行检修或更换设备；
步骤S22、导入病例数据，并根据病例数据生成可能的模型和虚拟手术场景；
步骤S23、医生选择手术场景：医生根据需要选择不同的手术场景，系统会根据选择的手术场景生成相应的虚拟手术场景；
步骤S24、进行手术模拟：医生可以通过操作介入手术器械进行虚拟手术模拟；在操作过程中，所述泛血管介入手术培训辅助系统会根据大语言模型、泛血管介入手术知识库、传感器信号等多种信息进行实时反馈和指导。
10.一种如权利要求6所述的泛血管介入手术培训辅助系统的使用方法，其特征在于，包括以下步骤：
步骤S31、所述计算机组件开机自检：自动检测传感器和硬件设备是否正常工作；如果有异常情况，系统会提示相关人员进行检修或更换设备；
步骤S32、导入病例数据，并根据病例数据生成可能的模型和虚拟手术场景；
步骤S33、医生选择手术场景：医生根据需要选择不同的手术场景，系统会根据选择的手术场景生成相应的虚拟手术场景；
步骤S34、进行手术模拟：医生可以通过操作介入手术器械进行虚拟手术模拟；在操作过程中，所述泛血管介入手术培训辅助系统会根据大语言模型、泛血管介入手术知识库、传感器信号等多种信息进行实时反馈和指导；
步骤S35、完成手术模拟训练并生成报告：当医生完成手术模拟后，系统会自动生成相应的手术报告，并记录医生的操作过程、操作时间、操作正确性信息；
医生可以通过系统查看手术报告，分析自己的操作情况，并进行改进。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310742804.8A CN116913466A (zh) | 2023-06-21 | 2023-06-21 | 泛血管介入手术培训辅助系统及其构建和使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310742804.8A CN116913466A (zh) | 2023-06-21 | 2023-06-21 | 泛血管介入手术培训辅助系统及其构建和使用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116913466A true CN116913466A (zh) | 2023-10-20 |
Family
ID=88350187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310742804.8A Pending CN116913466A (zh) | 2023-06-21 | 2023-06-21 | 泛血管介入手术培训辅助系统及其构建和使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116913466A (zh) |
-
2023
- 2023-06-21 CN CN202310742804.8A patent/CN116913466A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200046277A1 (en) | Interactive and adaptive learning and neurocognitive disorder diagnosis systems using face tracking and emotion detection with associated methods | |
| Edmond Jr | Impact of the endoscopic sinus surgical simulator on operating room performance | |
| US20200178876A1 (en) | Interactive and adaptive learning, neurocognitive disorder diagnosis, and noncompliance detection systems using pupillary response and face tracking and emotion detection with associated methods | |
| CN112074888B (zh) | 基于模拟的训练与评估系统和方法 | |
| US20140004488A1 (en) | Training, skill assessment and monitoring users of an ultrasound system | |
| EP1576565B1 (en) | An interventional simulation device | |
| US20130157239A1 (en) | Augmented reality tele-mentoring (art) platform for laparoscopic training | |
| EP3399515A1 (en) | Medical simulator for the simulation of puncture operations | |
| CN111613122A (zh) | 虚实融合的血管介入手术模拟系统 | |
| Yovanoff et al. | Personalized learning in medical education: designing a user interface for a dynamic haptic robotic trainer for central venous catheterization | |
| US8777632B2 (en) | Educational system for dental professionals | |
| JP2005338173A (ja) | 外国語読解学習支援装置 | |
| Vannaprathip et al. | Intelligent tutoring for surgical decision making: A planning-based approach | |
| US7993141B2 (en) | Interventional simulator system | |
| CN116913466A (zh) | 泛血管介入手术培训辅助系统及其构建和使用方法 | |
| CN116616691A (zh) | 基于虚拟现实的人机互动视力检测方法及系统 | |
| CN111223347A (zh) | 临床牙科教育训练系统及其方法 | |
| Kil | Development and preliminary validation of image-enabled process metrics for assessment of open surgery suturing skill | |
| US20230363821A1 (en) | Virtual simulator for planning and executing robotic steering of a medical instrument | |
| CN112116856B (zh) | Bppv诊疗技能训练系统及方法 | |
| CN115063272A (zh) | 一种3d护理教学系统 | |
| WO2010126396A2 (ru) | Способ профессиональной подготовки специалистов в области ультразвуковой и/или лучевой диагностики | |
| Duncan et al. | Analysis of simulated angiographic procedures. Part 2: extracting efficiency data from audio and video recordings | |
| Gonzalez-Romo et al. | Quantification of motion during microvascular anastomosis simulation using machine learning hand detection | |
| EP3905225A1 (en) | System and method for evaluating simulation-based medical training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |