CN117076655A - 一种手术规划方案生成方法、系统、装置和介质 - Google Patents

一种手术规划方案生成方法、系统、装置和介质 Download PDF

Info

Publication number
CN117076655A
CN117076655A CN202310913592.5A CN202310913592A CN117076655A CN 117076655 A CN117076655 A CN 117076655A CN 202310913592 A CN202310913592 A CN 202310913592A CN 117076655 A CN117076655 A CN 117076655A
Authority
CN
China
Prior art keywords
model
image
user
information
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310913592.5A
Other languages
English (en)
Inventor
陈磊
欧阳熹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202310913592.5A priority Critical patent/CN117076655A/zh
Publication of CN117076655A publication Critical patent/CN117076655A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种手术规划方案生成方法、系统、装置和介质，该方法包括：基于用户的第一信息，通过第一生成模型确定用户的初始手术规划方案，第一生成模型为语言模型；基于用户的第二信息，通过影像分析模型确定用户的影像分析结果，影像分析模型为机器学习模型；基于初始手术规划方案、影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案，第二生成模型为基于预训练加微调模式的语言模型，用户的信息包括第一信息和第二信息。

Description

一种手术规划方案生成方法、系统、装置和介质
技术领域
本说明书涉及手术方案生成技术领域，特别涉及一种手术规划方案生成方法、系统、装置和介质。
背景技术
面向精准医疗的手术规划对患者的治疗效果、预后康复等具有重要意义。由于不同患者情况的差异性，针对精准外科手术的临床需求，需制定不同的个性化手术方案。故如何优化和完善手术方案，确定最优的个性化手术方案是本领域需要解决的问题。
因此，需要提供一种手术规划方案生成方法、系统、装置和介质，可以对手术方案进行逐步优化，从而生成个性化手术规划方案，实现外科医生虚拟助手。
发明内容
本说明书一个或多个实施例提供一种手术规划方案生成方法，所述方法包括：基于用户的第一信息，通过第一生成模型确定所述用户的初始手术规划方案，所述第一生成模型为语言模型；基于用户的第二信息，通过影像分析模型确定所述用户的影像分析结果，所述影像分析模型为机器学习模型；基于所述初始手术规划方案、所述影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案，所述第二生成模型为基于预训练加微调模式的语言模型，所述用户的信息包括所述第一信息和所述第二信息。
本说明书一个或多个实施例提供一种手术规划方案生成系统，所述系统包括：第一生成模块用于基于用户的第一信息，通过第一生成模型确定所述用户的初始手术规划方案，所述第一生成模型为语言模型；影像分析模块用于基于用户的第二信息，通过影像分析模型确定所述用户的影像分析结果，所述影像分析模型为机器学习模型；第二生成模块用于基于所述初始手术规划方案、所述影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案，所述第二生成模型为基于预训练加微调模式的语言模型，所述用户的信息包括所述第一信息和所述第二信息。
本说明书一个或多个实施例提供一种手术规划方案生成装置。所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现上述手术规划方案生成的方法。
本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述手术规划方案生成的方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的手术规划方案生成系统的示例性模块图；
图2是根据本说明书一些实施例所示的手术规划方案生成方法的示例性流程图；
图3是根据本说明书一些实施例所示的影像分析模型的示例性示意图；
图4是根据本说明书一些实施例所示的模型的训练过程的示例性示意图；
图5是根据本说明书一些实施例所示的手术规划方案生成方法的示例性总流程图；
图6是根据本说明书一些实施例所示的影像分析模型的结构示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
手术规划系统(Computer-Assisted Surgery Planning)，是指医生通过术前扫描的医学影像，利用重建技术显示为二维、三维图像，可视化显示患者重要的器官、血管、神经以及手术目标相关的组织，结合模拟模块、智能硬件的使用，同时结合患者的各种临床检查信息，进行多学科会诊讨论，最终获得包含手术方法、流程、术式、路径、器械选择等信息的一整套智能规划系统。手术规划系统可分为两类：第一类基于3D打印实体病灶模型的手术规划及训练系统；第二类基于数字重构的个体化虚拟手术规划系统。
虚拟手术规划系统是借助计算机图形学、人工智能、生物力学和三维仿真等手段，通过对个体化病灶进行形态和力学功能的动态数字重构，量化模拟手术过程并实时预测治疗效果，结合虚拟现实技术实现人机交互，从而辅助个体化临床治疗方案决策。手术规划系统可为术者在术前及术中提供三维、动态、具象的解剖形态信息，通过结合力学仿真技术可为术者提供术后效果模拟，并结合虚拟增强现实技术实现手术场景的人机交互，从而辅助治疗方案的高精度预演和科学决策。实现缩短复杂的外科和介入手术时间，提高手术准确性，降低并发症的风险，最终达到优化手术，提高患者康复速度和术后生活质量的目的。
本说明书的一些实施例，针对精准外科手术的临床需求，提出了一种手术规划方案生成方法、系统、装置和介质，充分发挥第一生成模型(如语言模型等)处理文字的优势和影像分析模型处理图像的优势。建立与手术方案相关的标准语料库，利用术前、术中和术后的数据训练第一生成模型。通过第一生成模型确定用户的初始手术规划方案。利用影像分析模型对占位等目标周围的解剖组织进行精准分割，对肿瘤微环境、血管壁成分等信息进行智能分析；对术前、术中和术后多时间点影像进行随访分析，并加入功能性信息实现对循环系统、呼吸系统和神经系统等进行功能性仿真。结合第一生成模型输出的初始手术规划方案和影像分析模型输出的影像分析结果，对第二生成模型进行适配微调训练。通过与医生和患者的多轮交互式沟通，通过第二生成模型对手术方案进行沉浸式预演和模拟，最终实现生成目标手术规划方案。
图1是根据本说明书一些实施例所示的手术规划方案生成系统的示例性模块图。如图1所示，手术规划方案生成系统100可以包括第一生成模块110、影像分析模块120和第二生成模块130。以下将对本说明书实施例所涉及的手术规划方案生成系统100进行详细说明。需要注意的是，以下实施例仅用于解释本说明书，并不构成对本说明书的限定。
在一些实施例中，第一生成模块110可以用于基于用户的第一信息，通过第一生成模型确定用户的初始手术规划方案，第一生成模型为语言模型。
在一些实施例中，影像分析模块120可以用于基于用户的第二信息，通过影像分析模型确定用户的影像分析结果，影像分析模型为机器学习模型。
在一些实施例中，影像分析模型包括影像分割模型，用户的信息包括多模态的医学影像，影像分析结果包括多模态的医学影像的处理结果，影像分析模块120可以进一步用于基于提示词和多模态的医学影像，通过影像分割模型确定多模态的医学影像的处理结果。
在一些实施例中，影像分析模型包括影像诊断模型，影像分析结果包括病变区域的分类分析结果，影像分析模块120可以进一步用于基于多模态的医学影像的处理结果，通过影像诊断模型确定病变区域的分类分析结果。
在一些实施例中，影像分析模型包括影像随访分析模型，用户的信息包括至少一个时间点的随访数据，影像分析结果包括随访数据分析结果，影像分析模块120可以进一步用于基于至少一个时间点的随访数据，通过影像随访分析模型确定随访数据分析结果。
在一些实施例中，第二生成模块130可以用于基于初始手术规划方案、影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案，第二生成模型为基于预训练加微调模式的语言模型。
在一些实施例中，第二生成模块130可以进一步用于基于初始手术规划方案、随访数据分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案。
关于第一生成模块110、影像分析模块120和第二生成模块130的更多具体内容参见图2-图4及其相关描述。
应当理解，图1所示的系统及其模块可以利用各种方式来实现。需要注意的是，以上对于手术规划方案生成系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图1中披露的第一生成模块110、影像分析模块120和第二生成模块130可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
手术规划方案生成系统100可以应用于一种手术规划方案生成装置中。在一些实施例中，手术规划方案生成装置可以是服务器。该手术规划方案生成装置包括通过系统总线连接的处理器、存储器和网络接口。其中，该手术规划方案生成装置的处理器用于提供计算和控制能力。该手术规划方案生成装置的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机指令的运行提供环境。该手术规划方案生成装置的数据库用于存储相关数据。该手术规划方案生成装置的网络接口用于与外部的终端通过网络连接通信。该计算机指令被处理器执行时以实现一种手术规划方案生成方法。在一些实施例中，手术规划方案生成装置可以包括更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
具体地，手术规划方案生成装置可以是中央处理器(Central Processing Unit，CPU)，还可以是数字信号处理器(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件，本实施例不做限制。
图2是根据本说明书一些实施例所示的手术规划方案生成方法的示例性流程图。如图2所示，流程200可以包括下述步骤。在一些实施例中，图2所示的流程200的一个或一个以上操作可以在手术规划方案生成装置中实现。例如，图2所示的流程200可以以指令的形式存储在存储器中，并由处理器调用和/或执行。
步骤210，基于用户的第一信息，通过第一生成模型确定用户的初始手术规划方案。在一些实施例中，步骤210可以由第一生成模块110执行。
用户是指需要进行手术的患者。
用户的第一信息是指关于患者的文字数据信息。在一些实施例中，用户的第一信息可以包括接诊信息、诊断报告、病理报告、术式、手术流程、手术风险、术后恢复、随访数据等。
其中，接诊信息可以包括心电图、血常规、尿常规、粪常规、血生化、肿瘤标志物、凝血功能、血清八项、血型、体格检查等患者基本信息。诊断报告可以包括影像检查报告、影像诊断报告、临床诊断报告等影像科与临床科室诊断信息。病理报告可以包括肿瘤类型、亚型等信息。术式是指手术方式，例如，针对肺癌手术，术式可以包括楔形切除、肺段切除、肺叶切除等。手术流程是指手术步骤。手术风险是指对手术造成影响的风险因素，例如，患者患有高血压、心脏病史等。术后恢复是指患者术后恢复情况，例如，2年复发率、5年复发率、术后生活质量等。随访数据可以包括文本和图像问诊数据等。
第一生成模型是指用于确定用户的初始手术规划方案的模型。在一些实施例中，第一生成模型可以为语言模型(如大语言模型等)。例如，第一生成模型可以包括但不限于基于对话模式的语言模型(如大语言模型)等。
在一些实施例中，第一生成模型可以用于对标准语料库的快速检索，可以实现一对一问答式的对话。关于标准语料库的更多内容可以参见图4的相关描述。
大语言模型(Large Language Model，LLM)是指基于深度学习技术、大规模数据和计算资源进行训练形成的机器学习模型，主要面向自然语言处理，但也可以演变为处理其他形式的数据。例如，大语言模型可以包括基于预训练加微调模式的大语言模型(例如，BERT(Bidirectional Encoder Representation from Transformers))、基于对话模式的大语言模型(例如，GPT(Generative Pre-Trained Transformer))等。
基于对话模式的大语言模型是指具备以下特点的大语言模型：模型通过预训练确定，在应用过程中不进行微调训练；模型使用时通过对话方式进行，输入中可以包括要处理的内容和提示语；对话可以包括多轮，前面轮次的对话内容可以作为后续输出的参考。这种类型的模型以GPT、BERT(Bidirectional Encoder Representations from Transformers)为代表。
在一些实施例中，第一生成模型的输入可以为用户的第一信息，输出为用户的初始手术规划方案。
在一些实施例中，处理器可以构建与手术方案相关的标准语料库，进而通过训练确定第一生成模型。关于第一生成模型的训练过程的更多说明可以参见图4及其相关描述。
初始手术规划方案是指初步规划的定制化的用户的手术方案。例如，全乳切除、病灶切除和保守治疗等。
在一些实施例中，处理器可以将用户的第一信息，输入第一生成模型确定用户的初始手术规划方案。
步骤220，基于用户的第二信息，通过影像分析模型确定用户的影像分析结果。在一些实施例中，步骤220可以由影像分析模块120执行。
用户的第二信息是指关于患者的影像信息。在一些实施例中，用户的第二信息可以包括患者的不同时间点的至少一个原始影像、至少一个时间点的随访数据等。例如，原始影像可以包括多模态的医学影像等。关于用户的第二信息的更多说明，可以参见图3的相关描述。
影像分析模型是指确定用户的影像分析结果的模型。在一些实施例中，影像分析模型可以为机器学习模型。在一些实施例中，影像分析模型可以包括影像分割模型、影像诊断模型、影像随访分析模型、影像术后预测模型和影像仿真模型等。关于影像分析模型的更多说明可以参加图3、图4及其相关描述。
影像分析结果是指基于对原始影像进行分析，确定的用户的相关信息。在一些实施例中，影像分析结果可以包括多模态的医学影像的处理结果、病变区域的分类分析结果、随访数据分析结果、术后特征和模拟结果等。
在一些实施例中，处理器可以基于提示词和多模态的医学影像，通过影像分割模型确定多模态的医学影像的处理结果。处理器可以基于多模态的医学影像的处理结果，通过影像诊断模型确定病变区域的分类分析结果。关于此部分的更多内容可以参见图3及其相关描述。
在一些实施例中，处理器可以基于至少一个时间点的随访数据，通过影像随访分析模型确定随访数据分析结果。关于此部分的更多内容可以参见图3及其相关描述。
在一些实施例中，处理器可以基于多模态的医学影像，通过影像术后预测模型确定术后特征。关于此部分的更多内容可以参见图3及其相关描述。
在一些实施例中，处理器可以基于多模态的医学影像，通过影像仿真模型确定模拟结果。关于此部分的更多内容可以参见图3及其相关描述。
步骤230，基于初始手术规划方案、影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案。在一些实施例中，步骤230可以由第二生成模块130执行。
用户的信息是指关于用户的多方面、全维度的信息。在一些实施例中，用户的信息可以包括第一信息和第二信息。关于第一信息可以参见步骤210的相关描述。关于第二信息可以参见步骤220的相关描述。
在一些实施例中，交互数据是指医生与手术规划方案生成系统之间进行交互的数据。例如，交互数据为医生与手术规划方案生成系统中的第一生成模型、影像分析模型和第二生成模型等中的至少一种之间的交互数据。示例性的，交互数据为医生发出的执行手术数据库检索的指令：“女，42岁，左乳肿块，超声显示：2.9cm×1.6cm，BI-RADS 4B，左腋窝未见肿物，Ⅱ期，请检索相似典型病例，并显示该病例的原始资料以及术式、手术流程、手术风险、术后恢复等信息”。交互数据可以为语音、文字等形式的多种数据。医生可以根据实际情况选择不同形式与手术规划方案生成系统进行交互。医生与手术规划方案生成系统之间进行交互的次数可以为一次或多次等。在一些实施例中，交互数据可以包括提示词，关于提示词的更多内容可以参见图3的相关说明。
第二生成模型是指生成目标手术规划方案的模型。在一些实施例中，第二生成模型可以为基于预训练加微调模式的语言模型。
基于预训练加微调模式的语言模型是指包括通用特征提取和任务输出两个阶段处理的语言模型。这种类型的模型以BERT为代表。这种类型的模型的两个阶段可以分别训练，通用特征提取部分可以是预训练的，任务输出部分可以是基于应用任务进行训练(微调)的。
在一些实施例中，在一次交互中，第二生成模型的输入可以为初始手术规划方案、影像分析结果、用户的信息和一次交互数据，输出为候选手术规划方案和/或所需相关信息等。其中，候选手术规划方案是指在生成目标手术规划方案过程中产生的，对初始手术规划方案逐步优化的个性化的手术方案。所需相关信息为对应交互数据的相关信息，例如，上述检索的相似典型病例的信息等。
在一些实施例中，经过医生与手术规划方案生成系统之间的多轮交互，第二生成模型多次输出候选手术规划方案和/或所需相关信息等。在最后一次交互中，第二生成模型的输入可以为初始手术规划方案、影像分析结果、用户的信息和最后一次交互数据，输出为目标手术规划方案。
关于第二生成模型的训练过程的更多说明可以参见图4及其相关描述。
目标手术规划方案是指最终确定的患者可以执行的手术方案。
在一些实施例中，处理器可以通过多种方式生成目标手术规划方案。例如，处理器可以基于初始手术规划方案、影像分析结果、用户的信息和交互数据，进行多次交互，生成多个候选手术规划方案。直到参与会诊的医生确认手术方案已最优，处理器则将最后一次交互生成的候选手术规划方案确定为目标手术规划方案。更多关于多次交互的相关内容可以参见图3和图4的相关描述。
在一些实施例中，处理器可以基于初始手术规划方案、随访数据分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案。关于随访数据分析结果的更多内容可以参见图3的相关描述。
在第一次交互中，处理器可以将初始手术规划方案、影像分析结果(随访数据分析结果等)、用户的信息和第一次交互数据，输入第二生成模型，输出第一个候选手术规划方案和/或所需相关信息等。继续进行第二次交互，处理器可以将第一个候选手术规划方案、影像分析结果(随访数据分析结果等)、用户的信息和第二次交互数据输入第二生成模型，输出第二个候选手术规划方案和/或所需相关信息等。以此类推，经过多轮交互，输出多个候选手术规划方案，直到输出的候选手术规划方案满足医生要求，则将最后一次交互输出的候选手术规划方案确定为目标手术规划方案。
在本说明书的一些实施例中，将随访影像分析结果输入到第二生成模型，利用第二生成模型的涌现能力，包括上下文学习和逻辑推理能力，将患者多维度的丰富信息输入第二生成模型，通过对历史数据的纵向对比、与典型病例数据的横向对比等，再结合患者的实际情况，输出对患者更加友好的个性化术式和目标手术规划方案，实现外科医生虚拟助手。
在本说明书的一些实施例中，通过第一生成模型可以快速确定定制化的初始手术规划方案，通过影像分析模型确定用户的影像分析结果，通过与第二生成模型的多次交互，生成准确完善的目标手术规划方案，有利于提高手术准确性，达到优化手术，提高患者康复速度和术后生活质量的效果。在本说明书的一些实施例中，基于语言模型和影像分析模型的双核模型构建手术规划方案生成系统，可以充分发挥语言模型处理文字的优势和影像分析模型处理图像的优势，提高确定的目标手术规划方案的准确性。
应当注意的是，上述有关流程200的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程200进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
图3是根据本说明书一些实施例所示的影像分析模型的示例性示意图。
在一些实施例中，如图3所示，影像分析模型330包括影像分割模型330-1。用户的第二信息320包括多模态的医学影像320-1。影像分析结果340包括多模态的医学影像的处理结果340-1。处理器可以基于提示词310和多模态的医学影像320-1，通过影像分割模型330-1确定多模态的医学影像的处理结果340-1。和/或，影像分析模型330包括影像诊断模型330-2，影像分析结果340包括病变区域的分类分析结果340-2。处理器可以基于多模态的医学影像的处理结果340-1，通过影像诊断模型330-2确定病变区域的分类分析结果340-2。
提示词是指用于引导影像分割模型生成多模态的医学影像的处理结果的提示语。提示词可以为语音、文字等形式的多种数据。在一些实施例中，医生可通过语音等增加一种器官/组织的分割与显示。例如，“左肺上叶的气管、请分割左肺上叶的气管，并显示在当前场景中”，处理器可以利用语音识别功能将语音转换为文字，利用第一生成模型将文字语句提取关键字作为影像模型的提示词。例如，提示词包括肺叶、肺段、肺壁、支气管、肺动脉、肺静脉、肺结节等。
在一些实施例中，提示词是指输入给模型的一段文本或问题，用于引导模型生成相应的输出。例如，可以通过巧妙设计提示词，指导模型在生成文本时产生特定的内容、风格或格式。
多模态的医学影像是指通过多种不同的医学成像设备获得的融合医学影像。例如，拍摄的包含患者身体部位的医学影像等。
其中，医学影像可以包括电子计算机断层(Computed Tomography，CT)影像、正电子发射断层(Positron Emission Tomography，PET)影像、直接数字平板X线成像(DigitalRadiography，DR)影像、磁共振成像(Magnetic Resonance Imaging，MRI)影像、影像序列、4D影像等。
多模态的医学影像的处理结果是指对多模态的医学影像处理的结果。处理可以包括对多模态的医学影像进行分割、提取、量化分析处理等。例如，多模态的医学影像的处理结果包括病变区域的分割结果、以病变区域为中心的病灶及周围的器官、血管、神经、淋巴等组织的分割、提取、量化结果等。
病变区域的分类分析结果是指对病变组织的进行分类的结果，例如，肿瘤的类型、亚型等。
在一些实施例中，影像分割模型是指可以对医学影像进行分割的模型。例如，影像分割模型可以包括具备图像处理能力(如，卷积神经网络(Convolutional NeuralNetworks，CNN)、残差网络(Residual Network，ResNet)等)以及具备基本文本识别能力(如，卷积循环神经网络(Convolutional Recurrent Neural Network，CRNN)等)的一个或多个机器学习模型/深度学习模型中的至少一个。
在一些实施例中，影像分割模型的输入可以包括提示词和多模态的医学影像，输出可以为多模态的医学影像的处理结果。在一些实施例中，处理器可以基于不同的提示词，确定不同的多模态的医学影像的处理结果。处理器可以利用影像分割模型对患者进行多种器官和组织的分割，将分割结果(多模态的医学影像的处理结果)进行数字建模并通过虚拟现实设备进行显示，供医生和/或患者进行查看。处理器可以基于不同的提示词，重复上述医生与影像分割模型的交互，直到医生确认分割的结果(多模态的医学影像的处理结果)达到预期为止。
在一些实施例中，影像分割模型可以通过多个带有第四标签的第四训练样本训练得到。训练方法可以包括但不限于梯度下降法等。
在一些实施例中，第四训练样本至少可以基于历史数据获取，包括样本提示词和样本多模态的医学影像。第四标签可以是历史实际多模态的医学影像的处理结果，可以基于历史数据确定。
在一些实施例中，影像诊断模型可以指具备图像处理能力的一个或多个机器学习模型/深度学习模型，例如，卷积神经网络、残差网络等。
在一些实施例中，影像诊断模型的输入可以包括多模态的医学影像的处理结果，输出可以为病变区域的分类分析结果。
在一些实施例中，影像诊断模型可以通过多个带有第五标签的第五训练样本训练得到。训练方法可以包括但不限于梯度下降法等。
在一些实施例中，第五训练样本至少可以基于历史数据获取，包括样本多模态的医学影像的处理结果。第五标签可以是历史实际病变区域的分类分析结果，可以基于历史数据确定。
在一些实施例中，影像分割模型和影像诊断模型可以通过多个带有第六标签的第六训练样本联合训练得到。训练方法可以包括但不限于梯度下降法等。
在一些实施例中，第六训练样本至少可以基于历史数据获取，包括样本提示词和样本多模态的医学影像。第六标签可以是历史实际病变区域的分类分析结果，可以基于历史数据确定。
在本说明书的一些实施例中，通过具备图像处理能力与基本文本识别能力的影像分割模型，可以对多模态的医学影像的多器官和靶区进行准确和快速的分割，可以覆盖全身各个器官，可以提高模型的分割性能，快速准确地确定多模态的医学影像的处理结果。
在本说明书的一些实施例中，通过影像诊断模型确定病变区域的分类分析结果，可以提高确定的病变区域的分类分析结果的准确性。通过影像分割模型和/或影像诊断模型，可以提高用户的影像分析结果的准确性与全面性。
在一些实施例中，如图3所示，影像分析模型330包括影像随访分析模型330-3，用户的第二信息320包括至少一个时间点的随访数据320-2，影像分析结果340包括随访数据分析结果340-3。处理器可以基于至少一个时间点的随访数据320-2，通过影像随访分析模型330-3确定随访数据分析结果340-3。
至少一个时间点的随访数据是指术前/术中/术后任意一个或多个时间点的用户的相关数据。其中，随访数据可以包括文本/图像问诊数据、任意一个或多个时间点的随访时拍摄的原始影像等数据。在一些实施例中，至少一个时间点的随访数据可以为通过影像分割模型330-1确定的至少一个时间点的随访数据对应的多模态的医学影像的处理结果，更多内容可以参见图6的相关描述。
随访数据分析结果是指关于随访数据的分析结果。例如，随访数据分析结果为关于随访数据的变化趋势、不同时间点的对比数据、不同时间点的量化数据等的分析结果。在一些实施例中，随访数据分析结果可以通过曲线、图表等任意一种方式进行表示。例如，随访数据分析结果可以表示患者肝的恢复现状。
影像随访分析模型是指用于确定随访数据分析结果的机器学习模型。在一些实施例中，影像随访分析模型可以具备图像处理能力的一个或多个判别模型，例如，支持向量机(Support Vector Machine，SVM)、逻辑回归(Logistic regression)等。
在一些实施例中，影像随访分析模型的输入可以包括至少一个时间点的随访数据，输出可以为随访数据分析结果。
在一些实施例中，影像随访分析模型可以通过多个带有第七标签的第七训练样本训练得到。训练方法可以包括但不限于梯度下降法等。
在一些实施例中，第七训练样本至少可以基于历史数据获取，包括样本至少一个时间点的随访数据。第七标签可以是历史实际随访数据分析结果，可以基于历史数据确定。
在本说明书的一些实施例中，利用影像随访分析模型可以针对患者多时间点的随访数据(例如肺结节随访等)，确定随访数据分析结果(例如，关于肺结节的配对、倍增时间、倍增率等量化指标的计算)。可以实现对单时间点数据进行一扫多查的同时，支持对多时间点的随访数据的智能分析。通过监督学习快速准确地确定随访数据分析结果，有利于提高影像分析结果的准确性与全面性。
在一些实施例中，如图3所示，影像分析模型330还可以包括影像术后预测模型330-4，影像分析结果340包括术后特征340-4。处理器可以基于多模态的医学影像320-1，通过影像术后预测模型330-4确定术后特征340-4。
术后特征是指预测的关于患者术后的恢复的相关特征。例如，术后特征可以表征预测的术后几年的复发率等。
在一些实施例中，影像术后预测模型可以指具备图像处理能力的一个或多个判别模型，例如，支持向量机、逻辑回归等。
在一些实施例中，影像术后预测模型的输入可以包括多模态的医学影像，多模态的医学影像为患者的术前的相关原始影像。输出可以为术后特征。
在一些实施例中，影像术后预测模型可以通过多个带有第八标签的第八训练样本训练得到。训练方法可以包括但不限于梯度下降法等。
在一些实施例中，第八训练样本至少可以基于历史临床数据获取，包括样本多模态的医学影像。第八标签可以是历史实际术后特征。例如，患者手术后不同时间点N年(如1年、2年、5年等)是否复发。未复发对应的第八标签为0，表征该第八训练样本对应的患者N年内未复发。复发对应的第八标签为1，表征该第八训练样本对应的患者N年内复发。
在一些实施例中，影像术后预测模型的输入还可以包括病变区域的分类分析结果和随访数据分析结果。当影像术后预测模型的输入包括病变区域的分类分析结果和随访数据分析结果时，第八训练样本还可以包括样本病变区域的分类分析结果和样本随访数据分析结果。
在本说明书的一些实施例中，利用影像术后预测模型可以通过监督学习快速准确地确定术后特征(术后几年的复发率)，有利于提高影像分析结果的准确性与全面性，有利于后续确定更准确的目标手术规划方案。
在一些实施例中，如图3所示，影像分析模型330包括影像仿真模型330-5，影像分析结果340包括模拟结果340-5。处理器可以基于多模态的医学影像320-1，通过影像仿真模型330-5确定模拟结果340-5。
模拟结果是指模拟手术操作对患者的影响结果。
影像仿真模型是指用于对心血管等循环系统、呼吸系统、神经系统等的功能性模拟与数字仿真的模型，用于模拟手术操作对虚拟人体系统的影响。在一些实施例中，影像仿真模型可以基于具有执行预设方法的功能的处理单元实现。在一些实施例中，处理器可以通过3D建模仿真、物理引擎等方式构建影像仿真模型。
在一些实施例中，处理器可以构建一个3D结构+时间维的4D虚拟人体系统，利用从多模态的医学影像320-1(如4D影像信息等)提取的心血管结构、肺部结构、神经系统结构等信息，结合流体力学CFD等技术构建具备力学特性的数字化人体系统，模拟人体的血流运动、呼吸运动、神经反应等。数字化人体系统具备如肺切除的各种术式、肝切除的各种术式以及乳腺切除的各种术式等。数字化人体系统可模拟手术切除的过程及术后循环系统、呼吸系统、神经系统、消化系统的功能性运动。
在一些实施例中，影像仿真模型的输入可以包括多模态的医学影像，输出可以为模拟结果。
在一些实施例中，影像仿真模型的输入还可以包括术后特征。
在一些实施例中，处理器可以基于虚拟现实环境中的数字化人体系统，医生选择术式，数字化人体系统将自动执行术式，模拟(如切除手术过程，包括血流、神经、呼吸等)功能性反应。处理器可以对术中患者各系统的运行情况、术后的手术效果、术后恢复以及术后并发症等风险进行预测和评估。示例性的，医生的语音为“请对左肺上叶的肿瘤执行楔形切除术，评估术中动脉、神经以及气管的风险、评估淋巴清扫、评估术后肺功能恢复情况”等，处理器自动将医生的语音转换为文字，并利用第一生成模型将文字语句提取关键字，如“楔形切除术”、“肺功能恢复”、“术中风险”、“淋巴清扫”等关键字。处理器根据相应的关键字组成交互数据(如提示词等)，通过第二生成模型，利用第二生成模型的上下文学习和逻辑推理能力，执行相应的预测，输出所需相关信息(如对应的预测结果等。处理器可以将第二生成模型的输出以文字和/或语音和/或图像等的形式反馈给医生。处理器重复上述交互，直到医生确认术式的选择与术后情况已明确。
在一些实施例中，基于影像分析结果(3D和4D可视化图像等)等，医生对患者的手术目标及周围组织的解剖形态了解，处理器可以基于通过虚拟现实环境中对术式的仿真，再加入患者的生化检查数据、用户的第一信息(如患者的接诊和体格检查等信息)，对候选手术规划方案进行整体的评估。整体的评估可以包括术式选择、术中风险、手术效果、术后并发症、患者预后、恢复情况以及生活质量等的预测和评估。示例性的，医生的语音包括：“女，42岁。左乳肿块，超声显示：2.9cm×1.6cm，BI-RADS 4B，左腋窝未见肿物，是否先做穿刺，明确病理”；“穿刺会导致肿瘤细胞扩散么？”；“是否直接切除肿物”；“评估术后腺体恢复情况”、“评估术后肿瘤转移情况”、“评估术后肿瘤复发情况”、“请提供历史最相似病例”等。处理器将自动利用语音识别技术将医生的语音转换为文字，并利用第一生成模型将文字语句提取关键字，如“肿物切除术”、“术后恢复”、“肿瘤转移”、“肿瘤复发”、“相似病例检索”等关键字，处理器根据相应的关键字组成交互数据(如提示词等)，通过第二生成模型，并执行相应的预测模型(如影像术后预测模型)，输出对应的预测结果(术后特征)。处理器将第二生成模型输出的所需相关信息以文字和语音的形式反馈给医生。处理器重复上述交互，直到参与会诊的医生确认目标手术规划方案。关于候选手术规划方案和目标手术规划的更多内容，可以参见图2的相关描述。
在本说明书的一些实施例中，通过影像仿真模型，利用虚拟现实设备，通过肢体动作和语音语言等对数字化人体系统进行操作、干预和分析，实现医生的沉浸式、实时手术方案的模拟与研讨，支持与患者的术前谈话等沟通和解释，有利于提高影像分析结果的准确性与全面性，有利于后续确定更准确的目标手术规划方案。
图4是根据本说明书一些实施例所示的模型的训练过程的示例性示意图。
在一些实施例中，如图4所示，第一生成模型的训练过程包括：构建与手术方案相关的标准语料库410，标准语料库410包括至少一个第一训练样本410-1和至少一个第一训练样本410-1对应的第一标签410-2；基于至少一个第一训练样本410-1和第一标签410-2，训练初始第一生成模型420-1确定训练好的第一生成模型420。
标准语料库是指与手术方案相关的文本与数据的信息库。例如，标准语料库可以包括历史用户的第一信息。例如，接诊信息、诊断报告、病理报告、手术方案、随访数据等。又例如，标准语料库可以包括历史用户的基因数据。基因数据是指基因突变等相关信息；又例如，标准语料库可以包括历史用户的手术方案。手术方案可以包括手术方法、手术流程、手术切开与路径、术式、手术风险等。在一些实施例中，处理器可以基于历史用户的历史数据构建标准语料库。处理器构建标准语料库时，可以尽量保证语料的完整性(如上述的文本内容是否齐全、语句是否完整、数据索引等)。
在一些实施例中，处理器可以基于标准语料库确定第一训练样本和第一标签。例如，标准语料库中的历史用户的第一信息、基因数据等可以作为第一训练样本。标准语料库中的历史用户的手术方案可以作为对应的第一训练样本的第一标签。关于第一信息的更多内容可以参见图2的相关描述。
在一些实施例中，初始第一生成模型可以指能够直接获取的语言模型(如大语言模型等)。
在一些实施例中，第一生成模型可以通过训练(微调)获得。处理器可以将第一训练样本输入初始第一生成模型。处理器可以基于初始第一生成模型的输出结果与第一标签，构建损失函数，并且基于损失函数更新初始第一生成模型。
在一些实施例中，处理器可以基于多个第一训练样本迭代更新初始第一生成模型的参数，以使初始第一生成模型的损失函数满足预设条件。更新第一生成模型的参数的方法可以包括但不限于批量梯度下降算法(Batch Gradient Descent，BGD)、随机梯度下降算法(Stochastic Gradient Descent，SGD)等。例如，损失函数收敛，或损失函数值小于预设值。当损失函数满足预设条件时模型训练完成，训练好的初始第一生成模型可以作为第一生成模型。
在本说明书的一些实施例中，利用标准语料库对语言模型(初始第一生成模型)进行适配微调，通过最小化微调参数的数量和计算复杂度和基于受限的计算资源，可以利用预训练第一生成模型的知识迅速适应新任务，实现高效的迁移学习。
在一些实施例中，如图4所示，影像分析模型包括第一预处理层450-1和第一应用层450-2，影像分析模型的训练过程包括：构建与医学影像相关的影像数据库440，影像数据库440包括至少一个第二训练样本440-1和至少一个第二训练样本440-1对应的第二标签440-2；基于至少一个第二训练样本440-1，通过第一预处理层450-1确定影像特征460；基于影像特征460和第二标签440-2，更新第一应用层450-2的参数确定训练好的影像分析模型450。
影像数据库是指与医学影像相关的数据信息库。例如，影像数据库可以包括历史用户的第二信息(如原始影像等)、历史用户的影像分析结果(如多模态的医学影像的处理结果、病变区域的分类分析结果、随访数据分析结果、术后特征和模拟结果等)等。在一些实施例中，影像数据库还可以包括历史用户的生化检查数据、病理数据等。在一些实施例中，处理器可以基于历史用户的历史数据构建影像数据库。处理器构建影像语料库时，可以尽量保证多时间点的多模态的医学影像，以及多模态的医学影像与标签数据(如历史用户的影像分析结果)的完整。关于第二信息的更多内容可以参见图2的相关描述。关于影像分析结果的更多内容可以参见图2和/或图3的相关描述。
在一些实施例中，处理器可以基于影像数据库确定第二训练样本和第二标签。例如，影像数据库中的历史用户的第二信息等可以作为第二训练样本。影像数据库中的历史用户的影像分析结果可以作为对应的第二训练样本的第二标签。
影像特征是指与原始影像相关的特征信息。
在一些实施例中，第一预处理层可以为具有图像处理能力的机器学习模型，例如，卷积神经网络等。
在一些实施例中，第一预处理层的输入可以包括至少一个第二训练样本，输出可以为影像特征。
在一些实施例中，第一应用层可以为神经网络(Neural Networks，NN)，或其他结构。在一些实施例中，第一应用层的输入可以包括影像特征，输出可以为历史用户的影像分析结果。
在一些实施例中，影像分析模型可以由第一预处理层、第一应用层联合训练确定。
联合训练的过程可以包括：影像分析模型的第二训练样本中的样本原始影像作为第一预处理层的输入；将第一预处理层输出的影像特征作为第一应用层的输入，以确定第一应用层的输出；将第一应用层输出的历史用户的影像分析结果与第二标签构建损失函数；基于损失函数迭代更新直至满足损失函数小于阈值或收敛，或训练周期达到阈值等条件，获取训练好的第一预处理层和第一应用层。
在一些实施例中，处理器可以基于训练好的第一预处理层和第一应用层，构建影像分析模型。
在本说明书的一些实施例中，基于影像数据库，能够学习并识别特定疾病等医学领域中的影像学信息，使得更多高质量训练数据训练生成的影像分析模型更加准确。
在一些实施例中，如图4所示，第二生成模型包括第二预处理层470-1和第二应用层470-2，第二生成模型的训练过程包括：构建手术数据库430，手术数据库430至少包括历史用户的初始手术规划方案431和历史用户的影像分析结果432，手术数据库430包括至少一个第三训练样本430-1和至少一个第三训练样本430-1对应的第三标签430-2。处理器可以基于至少一个第三训练样本430-1，通过第二预处理层470-1确定手术方案特征480；基于手术方案特征480和第三标签430-2，更新第二应用层470-2的参数确定训练好的第二生成模型470。
手术数据库是指与目标手术规划方案相关的数据信息库。在一些实施例中，手术数据库至少可以包括历史用户的初始手术规划方案、历史用户的影像分析结果、历史用户的信息、历史用户的目标手术规划方案等。在一些实施例中，手术数据库可以包括标准语料库和影像数据库的相关内容。手术数据库可以包括历史用户的全维度的相关信息。
在一些实施例中，处理器可以基于手术数据库确定第三训练样本和第三标签。例如，手术数据库中的历史用户的初始手术规划方案、历史用户的影像分析结果、历史用户的信息等可以作为第三训练样本。手术数据库中的历史用户的目标手术规划方案可以作为对应的第三训练样本的第三标签。当手术数据库中的历史用户的目标手术规划方案作为第三标签时，其对应的手术数据库中的历史用户的初始手术规划方案、历史用户的影像分析结果、历史用户的信息等为正样本；当对上述目标手术规划方案中的特征进行特征替换(如，改变术式等)，特征替换后的目标手术规划方案作为第三标签时，其对应的手术数据库中的历史用户的初始手术规划方案、历史用户的影像分析结果、历史用户的信息等为负样本。
手术方案特征是指手术方案的相关特征信息。
在一些实施例中，第二预处理层可以为机器学习模型，例如，卷积神经网络、神经网络等。
在一些实施例中，第二预处理层的输入可以包括至少一个第三训练样本，输出可以为手术方案特征。
在一些实施例中，第二应用层可以为神经网络，或其他结构。在一些实施例中，第二应用层470-2的输入可以包括手术方案特征480，输出可以为历史用户的目标手术规划方案490。
在一些实施例中，第二生成模型可以通过训练(微调)获得。在一些实施例中，第二生成模型可以由第二预处理层、第二应用层联合训练确定。训练时可以基于第三训练样本通过第二预处理层，形成第二应用层的训练数据，基于第三标签通过监督学习进行训练。
联合训练的过程可以包括：第二生成模型的第三训练样本作为第二预处理层的输入；将第二预处理层输出的手术方案特征作为第二应用层的输入，以确定第二应用层的输出；将第二应用层输出的结果与第三标签构建损失函数；基于损失函数迭代更新直至满足损失函数小于阈值或收敛，或训练周期达到阈值等条件，获取训练好的第二预处理层和第二应用层。
在一些实施例中，处理器可以基于训练好的第二预处理层和第二应用层，构建第二生成模型。
在本说明书的一些实施例中，构建包括历史用户的全维度的相关信息(如历史用户的信息、历史用户的影像分析结果等)的手术数据库，对语言模型(如大语言模型等)进行适配微调，利用语言模型(如大语言模型等)的涌现能力，包括上下文学习和逻辑推理能力，将历史用户的全维度的相关信息，结合对历史用户的目标手术规划方案的学习，最终得到训练好的第二生成模型，使得更多高质量训练数据训练生成的第二生成模型更加准确。基于第二生成模型确定用户的目标手术规划方案，能够实现利用其广泛而可靠的医学知识与医生交互，并提供关于手术方案的解释和建议，医生可以从多个角度与第二生成模型互动设计不同的候选手术规划方案、评估不同的候选手术规划方案的优缺点。患者可以更清楚地了解各自的治疗方案、疗效预测和术后恢复等信息，从而与医生可以进行更有效和更经济的咨询。
图5是根据本说明书一些实施例所示的手术规划方案生成方法的示例性总流程图。如图5所示，流程500可以包括下述步骤。流程500可以由处理器执行。
步骤510，构建金标准数据库。
在一些实施例中，金标准数据库可以包括标准语料库和影像数据库。关于标准语料库和影像数据库的更多内容可以参见图4的相关描述。
步骤520，训练第一生成模型。
在一些实施例中，处理器可以基于标准语料库，训练第一生成模型，更多内容可以参见图4的相关描述。
步骤530，训练影像分析模型。
在一些实施例中，处理器可以基于影像数据库，训练影像分析模型，更多内容可以参见图4的相关描述。
步骤540，训练第二生成模型。
在一些实施例中，处理器可以基于手术数据库，训练第二生成模型，更多内容可以参见图4的相关描述。
步骤550，多轮人机交互生成目标手术规划方案。
在一些实施例中，处理器可以通过多轮人机交互生成目标手术规划方案，更多内容可以参见图2和/或图3的相关描述。
图6是根据本说明书一些实施例所示的影像分析模型的结构示意图。
在一些实施例中，影像诊断模型330-2可以基于影像分割模型330-1输出的多模态的医学影像的处理结果340-1确定病变区域的分类分析结果340-2，更多内容可以参见图3的相关描述。
在一些实施例中，处理器可以基于至少一个时间点的随访数据320-2，通过影像分割模型330-1确定至少一个时间点的随访数据对应的多模态的医学影像的处理结果。影像随访分析模型330-3可以基于至少一个时间点的随访数据对应的多模态的医学影像的处理结果确定随访数据分析结果340-3，更多内容可以参见图3的相关描述。
在一些实施例中，影像术后预测模型330-4可以基于影像诊断模型的输出(病变区域的分类分析结果)、影像随访分析模型的输出(随访数据分析结果)和多模态的医学影像等，确定术后特征，更多内容可以参见图3的相关描述。
在一些实施例中，影像仿真模型330-5可以基于影像诊断模型的输出(术后特征)和多模态的医学影像等，确定模拟结果，更多内容可以参见图3的相关描述。
手术规划方案生成方法、系统、装置和介质可以进行多种场景的应用。在一些实施例中，针对乳腺癌患者，对术前、术后的多模态影像数据进行量化分析，利用手术方案的文本数据对第一生成模型、影像分析模型和第二生成模型进行建模，通过临床信息，例如患者年龄、家族病史、病理亚型等信息自动输出手术建议，如全乳切除、病灶切除和保守治疗等。
在一些实施例中，针对肝肿瘤患者，结合肿瘤的浸润性、恶性程度等影像信息的量化评估，利用手术方案的文本数据对第一生成模型、影像分析模型和第二生成模型进行建模，综合手术的切缘大小、术后评估、康复信息和预后信息自动输出手术计划：切缘大小或保守治疗等。
在一些实施例中，针对肺癌患者，结合肿瘤相对肺叶、肺段、肺壁、支气管等组织的位置、肿瘤的恶性预测等信息，结合患者的随访评估结果，利用第一生成模型、影像分析模型和第二生成模型自动输出手术建议：肺叶、肺段还是楔形切除或者冷冻治疗等术式建议。
在一些实施例中，多种场景的应用还包括不被上述实施例覆盖的脑肿瘤、胃癌、结直肠癌、前列腺癌等恶性肿瘤患者的手术规划方案。
本说明书一个或多个实施例提供一种手术规划方案生成装置。所述装置包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，以使所述装置实现手术规划方案生成方法。
本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述手术规划方案生成方法。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种手术规划方案生成方法，其特征在于，所述方法包括：
基于用户的第一信息，通过第一生成模型确定所述用户的初始手术规划方案，所述第一生成模型为语言模型；
基于用户的第二信息，通过影像分析模型确定所述用户的影像分析结果，所述影像分析模型为机器学习模型；
基于所述初始手术规划方案、所述影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案，所述第二生成模型为基于预训练加微调模式的语言模型，所述用户的信息包括所述第一信息和所述第二信息。
2.根据权利要求1所述的方法，其特征在于，所述影像分析模型包括影像分割模型，所述用户的第二信息包括多模态的医学影像，所述影像分析结果包括所述多模态的医学影像的处理结果，
所述基于用户的第二信息，通过影像分析模型确定所述用户的影像分析结果包括：
基于提示词和所述多模态的医学影像，通过所述影像分割模型确定所述多模态的医学影像的处理结果。
3.根据权利要求2所述的方法，其特征在于，所述影像分析模型包括影像随访分析模型，所述用户的第二信息包括至少一个时间点的随访数据，所述影像分析结果包括随访数据分析结果，
所述基于所述用户的第二信息，通过影像分析模型确定所述用户的影像分析结果包括：
基于所述至少一个时间点的随访数据，通过影像随访分析模型确定所述随访数据分析结果。
4.根据权利要求3所述的方法，其特征在于，所述基于所述初始手术规划方案、所述影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案包括：
基于所述初始手术规划方案、所述随访数据分析结果、所述用户的信息和所述至少一次交互数据中的至少一种，通过所述第二生成模型生成所述目标手术规划方案。
5.根据权利要求1所述的方法，其特征在于，所述第一生成模型的训练过程包括：
构建与手术方案相关的标准语料库，所述标准语料库包括至少一个第一训练样本和所述至少一个第一训练样本对应的第一标签；
基于所述至少一个第一训练样本和所述第一标签，训练初始第一生成模型确定所述第一生成模型。
6.根据权利要求1所述的方法，其特征在于，所述影像分析模型包括第一预处理层和第一应用层，所述影像分析模型的训练过程包括：
构建与医学影像相关的影像数据库，所述影像数据库包括至少一个第二训练样本和所述至少一个第二训练样本对应的第二标签；
基于所述至少一个第二训练样本，通过所述第一预处理层确定影像特征；
基于所述影像特征和所述第二标签，更新所述第一应用层的参数确定所述影像分析模型。
7.根据权利要求1所述的方法，其特征在于，所述第二生成模型包括第二预处理层和第二应用层，第二生成模型的训练过程包括：
构建手术数据库，所述手术数据库至少包括初始手术规划方案和影像分析结果，所述手术数据库包括至少一个第三训练样本和所述至少一个第三训练样本对应的第三标签；
基于所述至少一个第三训练样本，通过所述第二预处理层确定手术方案特征；
基于所述手术方案特征和所述第三标签，更新所述第二应用层的参数确定所述第二生成模型。
8.一种手术规划方案生成系统，其特征在于，所述系统包括：
第一生成模块用于基于用户的第一信息，通过第一生成模型确定所述用户的初始手术规划方案，所述第一生成模型为语言模型；
影像分析模块用于基于用户的第二信息，通过影像分析模型确定所述用户的影像分析结果，所述影像分析模型为机器学习模型；
第二生成模块用于基于所述初始手术规划方案、所述影像分析结果、用户的信息和至少一次交互数据中的至少一种，通过第二生成模型生成目标手术规划方案，所述第二生成模型为基于预训练加微调模式的语言模型，所述用户的信息包括所述第一信息和所述第二信息。
9.一种手术规划方案生成装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；
所述至少一个存储器用于存储计算机指令；
所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1至7中任意一项所述的方法。
CN202310913592.5A 2023-07-24 2023-07-24 一种手术规划方案生成方法、系统、装置和介质 Pending CN117076655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310913592.5A CN117076655A (zh) 2023-07-24 2023-07-24 一种手术规划方案生成方法、系统、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310913592.5A CN117076655A (zh) 2023-07-24 2023-07-24 一种手术规划方案生成方法、系统、装置和介质

Publications (1)

Publication Number Publication Date
CN117076655A true CN117076655A (zh) 2023-11-17

Family

ID=88703304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310913592.5A Pending CN117076655A (zh) 2023-07-24 2023-07-24 一种手术规划方案生成方法、系统、装置和介质

Country Status (1)

Country Link
CN (1) CN117076655A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372132A (zh) * 2023-12-08 2024-01-09 深圳竹云科技股份有限公司 用户信用评分的生成方法、装置、计算机设备和存储介质
CN117877704A (zh) * 2023-12-27 2024-04-12 首都医科大学附属北京友谊医院 用于预测前列腺穿刺倾向的装置和计算机可读存储介质
CN118039070A (zh) * 2024-04-11 2024-05-14 四川省肿瘤医院 一种用于介入手术的临床护理系统
JP7553165B1 (ja) 2024-02-27 2024-09-18 株式会社クオトミー プログラム、情報処理方法及び情報処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372132A (zh) * 2023-12-08 2024-01-09 深圳竹云科技股份有限公司 用户信用评分的生成方法、装置、计算机设备和存储介质
CN117372132B (zh) * 2023-12-08 2024-02-23 深圳竹云科技股份有限公司 用户信用评分的生成方法、装置、计算机设备和存储介质
CN117877704A (zh) * 2023-12-27 2024-04-12 首都医科大学附属北京友谊医院 用于预测前列腺穿刺倾向的装置和计算机可读存储介质
JP7553165B1 (ja) 2024-02-27 2024-09-18 株式会社クオトミー プログラム、情報処理方法及び情報処理装置
CN118039070A (zh) * 2024-04-11 2024-05-14 四川省肿瘤医院 一种用于介入手术的临床护理系统

Similar Documents

Publication Publication Date Title
US11127137B2 (en) Malignancy assessment for tumors
US11062467B2 (en) Medical image registration guided by target lesion
CN117076655A (zh) 一种手术规划方案生成方法、系统、装置和介质
US10085707B2 (en) Medical image information system, medical image information processing method, and program
CN107582097A (zh) 一种基于多模态超声组学的智能辅助决策系统
WO2021114130A1 (zh) 一种无监督自适应乳腺病变分割方法
Rivas-Blanco et al. A review on deep learning in minimally invasive surgery
Torrents-Barrena et al. TTTS-GPS: Patient-specific preoperative planning and simulation platform for twin-to-twin transfusion syndrome fetal surgery
CN117524402A (zh) 关于内镜影像分析并自动生成诊断报告的方法
KR102628324B1 (ko) 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법
Toikkanen et al. ReSGAN: Intracranial hemorrhage segmentation with residuals of synthetic brain CT scans
Ji et al. ResDSda_U-Net: A novel U-Net based residual network for segmentation of pulmonary nodules in lung CT images
CN113889229A (zh) 基于人机结合的医学影像诊断标准的构建方法
Sha et al. A robust segmentation method based on improved U-Net
Zhou et al. Combining multi-view ensemble and surrogate lagrangian relaxation for real-time 3D biomedical image segmentation on the edge
JP2004130090A (ja) コンピュータ援用患者診断決定支援システム
Oniga et al. Applications of ai and hpc in the health domain
Pan et al. Multi-contrast learning-guided lightweight few-shot learning scheme for predicting breast cancer molecular subtypes
Ramkumar Identification and Classification of Breast Cancer using Multilayer Perceptron Techniques for Histopathological Image
CN116092643A (zh) 一种基于医疗影像的交互式半自动标注方法
Cheng et al. Public health implications of computer-aided diagnosis and treatment technologies in breast cancer care
Logeswaran Cholangiocarcinoma—An automated preliminary detection system using MLP
CN112381771B (zh) 一种医学影像针对病灶区域分割方法
Hussain Explainable deep learning for medical image processing: computer-aided diagnosis and robot-assisted surgery.
Allgöwer et al. Liver Tumor Segmentation Using Classical Algorithms & Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination