CN114121208A - 一种基于可视化资料的手术记录质量控制方法 - Google Patents

Abstract

本发明公开了一种基于可视化资料的手术记录质量控制方法，包括如下步骤：1：接收输入的患者标识符；2：根据患者标识符，获取可视化资料中的手术镜头，对可视化资料进行预处理，包括但不限于对于书签的添加；3：接收对患者执行的手术过程的手术镜头的输入并分析；4：分析手术镜头帧以导出用于填充手术程序的术后报告的信息：将导出的信息填充到手术程序的术后报告中；5：该方法可以将生成的术后报告提交至审核者处审核、填入补充信息、生成最后的术后报告，本发明中书签功能被添加到可视化资料中，以便快速且准确，可以执行搜索。此外，能够根据可视化资料自动填写术后报告，并且基于审核者的审核并补充，能够提高术后报告的质量。

Description

一种基于可视化资料的手术记录质量控制方法

技术领域

本发明涉及手术报告领域，尤其涉及一种基于可视化资料的手术记录质量控制方法。

背景技术

通常，当患者去医院时，要以书面形式按照医院的要求来写和提交患者的个人信息，以前患过的疾病的名称以及病历等。填写并接收文件后，医院会根据书面内容制作图表，如果是在医院接受治疗的人员，医院会为治疗做准备，例如搜索过去的图表。在做手术时，医院临床手术中都要求书写手术报告。手术报告是指术者书写的反映手术情况、手术经过、术中发现及处理等情况的特殊记录。现有技术中对手术过程监督效果较差，而且手术报告为纸质记录，可能出现漏记、记错的现象，增加了医护人员的工作量，导致工作效率低，就诊率低，难以实现智能化。因此，为了自动生成图文翔实的手术报告，提高记录效率，本发明提供了一种基于可视化资料的手术记录质量控制方法。

发明内容

本发明的目的是为了解决上述问题，提供一种基于可视化资料的手术记录质量控制方法，包括如下步骤：

步骤S1：接收输入的患者标识符；

步骤S2：根据患者标识符，获取可视化资料中一个或多个手术镜头，对可视化资料进行预处理，包括但不限于对于书签的添加；

步骤S3：接收对患者执行的手术过程的手术镜头的输入，并对其进行分析；

步骤S4：分析多个手术镜头帧以导出用于填充手术程序的术后报告的基于图像的信息：将导出的基于图像的信息填充到手术程序的术后报告中；

步骤S5：该方法可以包括将生成的术后报告提交至审核者处审核，并填入补充信息，生成最后的术后报告。

进一步地，所述步骤S2中，添加书签包括如下步骤：

步骤A1:书签包括标识手术阶段、术中手术事件和决策结点中的至少一个的标记；

步骤A2:书签包括与手术时间线内的位置相关联的任何视觉指示器；书签具有不同的颜色，取决于所代表的术中手术事件的类型；

步骤A3:基于预定位置处并包括在时间线中的视频的信息自动生成书签，使用经过训练的机器学习模型来识别书签位置；

步骤A4:书签的位置和/或大小可以与阈值水平相关联,阈值水平可以指示由书签识别的事件、动作、技术、阶段或其他事件的相对重要性。

进一步地，所述步骤S3包括：

分析手术镜头以识别手术程序的一个或多个阶段，基于训练来区分外科手术的一部分与另一部分的训练模型自动区分阶段；

使用动作检测算法来检测示例性手术事件；

基于机器学习算法检测启动手术阶段的事件，使用包括启动手术阶段的已知事件的历史手术镜头来训练机器学习模型。

进一步地，所述步骤S3包括：

分析手术镜头以识别至少一项术后治疗建议，并提供所识别的至少一项建议；

机器学习方法可以识别术中事件并为需要特定术后治疗的事件提供指征,通过机器学习进行分析，并可以自动提供术后治疗建议；建议包括建议物理治疗、药物的额外身体检查、外科手术的后续行动,或与医疗活动没有直接关系，包括饮食建议、睡眠建议、体育活动建议或压力管理建议。

进一步地，所述步骤S4包括：

导出的基于图像的信息可以基于识别的手术事件和事件的识别属性，如果特定事件的特定特征与已知的术后并发症风险相关联，则可以确定该风险并将其包括在基于图像的信息中。

进一步地，所述S4包括：

使得所导出的基于图像的信息的至少一部分被识别为术后报告中自动生成的数据；

在术后报告中使用任何文本、图形或基于图标的信息来记录来自视频分析的任何指示，以反映数据的来源。

进一步地，所述S4包括：

接收手术前报告并分析手术前报告和手术录像以选择手术录像的至少一帧的至少一部分；机器学习模型被配置为分析术后报告并识别不良事件的讨论，将关于不良事件的讨论插入至术后报告中。

与现有技术相比，本发明的有益效果主要体现在：在本发明中，书签功能被添加到可视化资料中，以便快速且准确，可以执行搜索。此外，能够根据可视化资料自动填写术后报告，并且基于审核者的审核并补充，能够提高术后报告的质量。

附图说明

图1为本申请实施例中手术记录系统的结构示意图；

图2为本申请实施例的用于查看手术视频的示例过程200的流程图；

图3为本申请实施例的填充外科手术的术后报告的方法的一个方面示例过程300。

具体实施方式

下面将结合示意图对本发明一种基于可视化资料的手术记录质量控制方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果，因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

在本发明的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本发明的具体保护范围

实施例

根据本发明的系统和方法的示例可以以各种方式应用，并且在本发明的以下描述中，可以对处理进行各种修改，自然不限于特定的处理，并且将参考附图描述最优选的实施例。

图1是示出根据本发明的以DICOM格式记录的手术记录系统的示例的框图，如图1所示。

输入设备100接收用于以下各项中的至少一项的图像和音频：

图像处理装置200存储输入的图像和音频并管理针对每个手术过程生成的历史数据；

服务器300对上述历史数据进行综合管理；

输出设备400；

由医生或护士携带的便携式终端500；

PACS(图片存档和通信系统)600，存储和检索的医学图像和视频中DICOM格式数据，以便后续进行检索。

输入设备100被配置为包括：至少三种摄像机110，即悬臂摄像机111，室内摄像机112和视频内窥镜113，生命体征监视器114；转换单元120；控制信号输入单元130；传输单元140和支撑单元150。

其中，为三种摄像机悬臂摄像机111，室内摄像机112和视频内窥镜113每个视频信号源分配了一个控制器。控制器就预定特性(例如亮度和清晰度)连续地评估视频信号源的视频信号，以便调整视频信号源的曝光时间，光圈设置和聚焦设置。在腹腔镜手术的情况下，视频内窥镜113被插入患者体内时，可以通过位于显微镜后部的成像设备对患者的器官进行拍照。

转换单元120将由摄像机捕获的手术图像编码为数字文件。编码可以使用WMV(窗口媒体视频)方法将手术图像转换为高清晰度，低容量的文件。为了使传输单元140将拍摄的手术图像实时地发送到图像处理装置200，转换单元120可以实时地对从摄像机110输入的手术图像进行编码，而无需单独的开始命令信号。

控制信号输入单元130接收与手术图像的记录有关的信号。此时，控制信号输入单元130是语音识别器(未示出)，其识别外科医生的声音并确定与手术图像的记录有关的信号，或者允许外科医生输入与手术图像的记录有关的信号。控制信号输入单元130还可以是带有触摸的手术图像，可以是触摸屏(未示出)，与手术图像的记录有关的信号包括开始记录手术图像的信号和停止记录手术图像的信号。当语音识别器用作输入单元130时，由于外科医生可以仅用语音来控制手术图像的记录，因此可以更有效地记录手术图像。

传输单元140将由摄像机110捕获的手术图像传输到服务提供图像处理装置200。通过使用有线/无线网络将手术图像实时发送，未参加手术的人可以利用输出设备400直接检查手术图像，并且医生，护士和患者等用户可以查看并确认手术图像。

支撑单元150用于支撑摄像机110，并根据控制器发送的控制信号控制摄像机110的位置或角度。它可以是起重机的形式，也可以安装在摄像机110中，并根据控制信号自动调整摄像机110的位置或角度，或者由外科医生手动调整摄像机110的位置或角度。

图像处理设备200接收通过输入设备100的摄像机110等设备输入的视频和音频，将接收到的视频和音频转换为数据，并同步生成视频，并生成包括所生成的视频的匹配数据并存储。

图像处理装置200包括：

数据处理单元210；

书签信息处理单元220；

传输单元230；

数据处理单元210接收由输出单元140输入的视频、图像、语音数据并对其进行处理。

传输单元230将视频、图像、语音数据发送到服务器300，并且被配置为启用短距离有线/无线通信。这里将患者的个人信息与对应的视频进行匹配，并将其传输到服务器300。

当接收到输入的包括文本信息(患者的个人信息，医疗信息等)的编辑数据时，数据处理模块210将其作为与视频、图像、语音数据对应的匹配数据进行存储。匹配数据和编辑数据被组合(包含)以生成和存储历史数据。

减少视频数据存储需求的另一种方法是消除视频中几乎没有临床意义的部分。例如，在某些外科手术中，一个小时的视频中只有几分钟被认为足以存档。采用简单，自动的方法来识别视频的重要部分可以大大减少存储需求。实现此目的的一种方法是使用由外科医生放置的书签作为参考点来制作视频剪辑。书签信息处理模块220分析并处理书签信息，并将其发送到数据处理模块210，此时，数据处理模块210将从书签信息处理模块220发送来的书签信息存储并存储在对应的编辑数据中，并且在对应的匹配数据中包含书签信息的编辑数据。

并且，如果医生由于与患者的协商等而需要检查包括在存储的历史数据中的视频，则通过数据输入请求消息(如通过按下键盘上的Enter键或单击鼠标按钮发送的命令)当输入消息时，传输单元230响应于请求消息，请求存储在服务器300中累积的历史数据中的视频数据。当如上所述请求视频数据时，传输单元230从服务器300发送的视频数据，并将接收到的视频数据显示在输出设备400上。

另外，生成的视频通过诸如LCD的屏幕输出设备400输出，并且通过诸如键盘或鼠标之类的文本信息(例如，治疗细节，治疗细节，患者的当前状态等)和书签信息，并且当接收到包括书签信息中的至少一个的编辑数据时，包括编辑数据的历史数据被生成并存储在匹配数据中。文本信息也可以通过输出设备400输出。

服务器300在接收到在图像处理装置200中创建并存储的历史数据后，根据诊治过程，手术过程，术后治疗过程以及出院后的治疗过程来更新历史数据。然后，生成集成历史数据，并且可以将集成历史数据存储在数据库中。

服务器300包括：

请求输入单元310；

搜索单元320；

数据库330

当从终端500或请求输入单元310输入视频信息或患者信息时，图像处理装置分析并处理诸如视频信息或患者信息中包括的患者个人信息之类的信息，并将其发送给数据库330。数据库330基于处理结果，检查是否已经存储了针对患者的历史数据，并且，作为检查结果，是否存储了针对患者的历史数据，数据被调用和更新，更新的历史数据被保存。

搜索单元320响应于图像处理装置200的请求，搜索存储在数据库330中的患者的历史数据，并且搜索到的历史数据对流传输做出传输请求，以便可以将包含的视频发送到图像处理装置200。

终端500是包括个人计算机(PC)的个人终端和包括个人数字助理(PDA)的便携式终端，并且可以主要输入和检查关于住院患者的治疗和治疗程序的信息。从用户的电子设备接收登录信息。用户的电子设备包括计算机，移动电话和其他终端，并且可以是能够通过互联网访问服务提供服务器的设备。用户可以是医生，受训者，医学生，护士或接受过手术的患者。此时，可以根据用户的位置或隶属度对会员等级进行分类。如果登录信息与会员信息匹配，则将手术图像播放列表发送到用户的电子设备。通过执行登录过程，可以防止第三方未经授权查看或编辑存储在服务提供服务器中的手术图像。

上述图1的每个配置被配置为使得能够通过有线/无线通信网络进行数据通信，并且通过根据本领域技术人员的要求通过医院内部的封闭通信网络进行数据传输，外部黑客攻击，可以从根本上防止出现此类情况。

数据处理单元210接收由输出单元140输入的视频、图像、语音数据并对其进行处理。由于视频数据存储量很大，在PACS系统中无法长期存档，因此，设置了多个视频处理规则来自动处理视频数据，并以DICOM格式处理和存储视频数据。可以将多个视频处理规则应用于任何给定的视频，图像或患者记录。也可以在信息处理的不同时间应用视频处理规则。例如，某些规则可能适用于视频文件，而其他规则用于将视频转换为DICOM格式的患者记录或将其传输到其他系统(例如PACS系统)。规则也可以可选地管理压缩捕获的视频数据的大小并将预定视频数据路由到各种长期存储目的地的方法。

具体的处理规则如：(1)视频的转码设置：基于接收到的视频或包含在从其他来源接收到的患者记录中的视频的特性来定义特定的视频转码设置。可以通过解码源视频成单个帧，将其改变成包括较低的分辨率，较低的比特率的对应帧，低级帧速率的视频数据，通过该手段将单个源视频转码为多个尺寸减小的视频。由于不同的视频根据其应用场景需要不同的分辨率，例如，准备为新手术技术的医学会议做演示的医生可能希望高分辨率视频显示出异常的细节，而外科医生在家进行手术复查可能需要较低的分辨率和较低的比特率。通过转码设置可以根据需要进行分辨率，帧速率和比特率的设置改变视频的大小。

视频的编码设置：即使用不同的视频压缩技术。MPEG2是在消费者和商业应用中发现的一种流行的视频编码方法，已在许多输入设备100中使用。诸如H.264之类的新编码技术可以将存储需求减少多达原始MPEG2数据大小的25％，而视频质量没有视觉上的明显变化。数据处理单元中包括可以与不同规则中的分辨率，帧速率和比特率的设置组合的多个视频编码器。

书签设置：该规则使用在图像时间索引之前指定的秒数和提取时要使用的图像时间索引之后的秒数的不同设置，从相应的视频中提取视频剪辑书签。可配置时间设置“之前”和“之后”都是规则的一部分。同时可以设置低分辨率和高分辨率的视频开始时间和结束时间书签，以此方式，用户不会受到与观看高分辨率视频相关的问题的负担，但仍可以实现使用视频的低分辨率版本提取高分辨率剪辑的目的，该视频更易于远程查看和导航。同时，还可以允许从多个输入设备100中多个参考点生成重要事件的视频剪辑信息，这些输入设备100全部在同一手术过程中同时捕获不同角度的患者信息。

传输设置：该规则将任何视频的特定分辨率传输到PACS。例如，指定仅将视频的480p分辨率传输到PACS。当确定选择哪些医疗记录进行转移或其他操作时，患者在决策过程中还可以包括患者，医师和/或程序信息。例如，特定的外科医生可能希望将他们所有来自胆囊手术的自动生成的视频剪辑和图像保存到PACS系统。

保存设置：确定特定分辨率，帧速率或比特率的视频将在服务器上保存多长时间。可以针对不同的时间范围创建不同的规则。例如，可以在服务器上设置一条规则，以在将代码转换为较低分辨率480p和240p之后立即删除所有1080p高分辨率视频。可以在同一服务器上创建第二规则，以在最后一次观看所有480p视频之后60天删除所有480p视频。当确定选择哪些医疗记录进行删除或其他操作时，“医疗记录”还可以在决策过程中包括患者，医生和/或程序信息。

可以创建多个规则，这些规则可以组合使用以提高其有用性和功能。

为了进一步减少在给定时间传递到PACS系统的视频和其他数据的大小，可以将预定的规则集应用于这样的数据，在指定的临时存储文件夹中接收到的数据，其中每个本地的视频数据都存储在服务器上存储或PACS 360系统。

下面实施例中将描述根据本发明的包括医院咨询和手术的根据本发明的医院治疗的记录和历史数据管理系统的数据处理过程。

首先，当通过输入设备100接收到两个或更多个图像数据和音频数据，所述图像数据和音频数据记录了针对患者的咨询和检查过程时，图像处理装置200将它们生成第一图像数据，并将第一图像数据和相关的第一编辑数据的数据生成第一历史数据。此时，所生成的第一数据被发送到服务器300并存储在数据库330中。

并且，当通过输入设备100接收到拍摄对应患者的手术过程的两个或更多个图像数据和音频数据时，图像处理装置200将它们生成第二图像数据，并且服务器300生成并存储包括在历史数据中生成的第二图像数据和第二编辑数据的第二历史数据。

这里，可以在图像处理装置200中执行第二历史数据的生成和存储。

并且，当通过安装在住院室等中的输入装置100接收到拍摄对应患者的手术后的治疗过程的两个或更多个图像数据和音频数据时，图像处理装置200将它们生成第三图像数据，并且服务器300生成并存储第三历史数据，包括第三图像数据和第三编辑数据。

在如上所述的治疗完成之后，当通过安装在治疗室等中的输入装置100接收到两个或更多个图像数据和拍摄患者出院后的治疗过程的音频数据时，图像处理装置200将它们生成第四图像数据。服务器300生成并存储第四历史数据，包括第四图像数据和第四编辑数据。

此后，当患者的疾病治愈并且治疗完成时，服务器300将第四历史数据存储并管理为综合历史数据。

根据公开的实施例的叠加在外科手术的视频上的书签。在一些实施例中，书签可以包括标识手术阶段、术中手术事件和决策结点中的至少一个的标记。例如，用户在观看视频时移动鼠标指针、将鼠标指针移到折叠的书签上、将鼠标指针移动到特定区域、单击或点击视频播放区域或书签采取任何其他可能表明与书签互动的意图。本公开的实施例使外科医生能够在观看至少一个视频的回放的同时选择手术时间线上的一个或多个书签，从而使视频的显示跳到与所选书签相关联的位置。如本文所用，“回放”可包括视频的任何呈现，其中向用户显示一帧或多帧视频。通常，回放涉及顺序显示图像以再现运动画面和/或声音，但回放也可能包括单个帧的显示。

根据公开的实施例，书签可以包括与手术时间线内的位置相关联的任何视觉指示器。如上所述，位置可以指视频内的任何特定位置。例如，位置可以是视频中的特定帧或帧范围、特定时间戳或视频内位置的任何其他指示符。在一些实施例中，书签相关的编辑数据还可以是基于文本的。例如，编辑数据可以包括文本信息，例如名称、描述、代码、时间戳等。因此，编辑数据可以包括引用视频中特定位置的基于文本的标题或描述。

根据本公开的各种实施例，可以基于预定位置处并包括在时间线中的视频的信息自动生成书签。在一些实施例中，可以使用计算机分析来分析视频片段的帧并识别要包括在时间线中的各个位置处的书签。计算机分析可以包括使用计算设备的任何形式的电子分析。在一些实施例中，计算机分析可包括使用一种或多种图像识别算法来识别视频素材的一帧或多帧的特征。计算机分析可以在单个帧上执行，也可以在多个帧上执行，例如检测帧之间的运动或其他变化。在一些实施例中，计算机分析可以包括对象检测算法，例如Viola-Jones对象检测、SIFT、定向梯度直方图(HOG)特征、卷积神经网络(CNN)或任何其他形式的对象检测算法。其他示例算法包括视频跟踪算法、运动检测算法、特征检测算法、基于颜色的检测算法、基于纹理的检测算法、基于形状的检测算法、基于增强的检测算法、面部检测算法或用于分析视频帧。可以包括任何其他合适的算法。在一个示例中，可以使用训练示例来训练机器学习模型以生成视频的书签，并且可以使用经过训练的机器学习模型来分析视频并为该视频生成书签。这种生成的书签可以包括书签在视频中的位置、类型、属性等。这种训练示例的示例是外科手术的示例，连同要创建的所需书签的列表，可能连同关于每个所需书签的信息。

计算机分析可用于识别手术阶段、术中事件、事件特征和/或出现在视频片段中的其他特征。例如，在一些实施例中，计算机分析可用于识别在例如外科手术中使用的一种或多种医疗器械，如上所述。基于医疗器械的识别，可以在与医疗器械相关联的视频片段中的位置处识别特定的术中事件。例如，手术刀或其他仪器可以指示正在形成切口，并且识别切口的书签可以包括在该位置的时间线中。在一些实施例中，如上所述，可以使用例如计算机分析在视频片段中识别解剖结构。例如，所公开的方法可以包括识别患者的器官、组织、体液或其他结构以确定书签和它们各自的位置以包括在时间线中。在一些实施例中，视频书签的位置可以基于医疗器械和解剖结构之间的交互来确定，其可以是特定的术中事件、手术程序的类型、事件特征或用于识别书签位置的其他有用特征。例如，视觉动作识别算法可用于分析视频并检测医疗器械和解剖结构之间的交互。可以在视频片段中检测以放置书签的其他特征示例包括医生或其他医疗保健专业人员的运动、患者特征、医生特征或其他医疗保健专业人员特征、执行的手术顺序、手术或事件的时间、解剖结构的性质；

在一些实施例中，可以使用经过训练的机器学习模型来识别书签位置。例如，可以使用训练示例来训练机器学习模型，每个训练示例与手术程序、手术阶段、术中事件和/或事件特征相关联，带有指示视频片段内位置的标签。它可能包含已知的视频片段。使用经过训练的机器学习模型，可以在其他视频片段中识别类似的阶段和事件，以确定书签位置。Logistic回归模型，线性回归模型，回归模型，随机森林模型，KNN(K-Nearest Neighbor)模型，K-Means模型，决策树，cox比例风险回归模型(cox)比例风险回归模型)，朴素贝叶斯模型、SVM(Support Vector Machines)模型、梯度提升算法、人工神经网络(如深度神经网络、卷积神经网络等)或任何其他形式的机器学习模型或算法，各种机器学习模型都可能用过的。

根据本发明的各种示例性实施例，书签可以由颜色或临界级别中的至少一个来编码。书签的编码可以是标记的类型、属性或特性的指示符。编码对于用户在视觉上确定视频中的哪些位置可能感兴趣是有用的。如果书签被颜色编码，则显示在手术时间线上的书签的颜色可以基于预定义的配色方案指示书签的属性或特性。例如，书签可能具有不同的颜色，这取决于它所代表的术中手术事件的类型。在一些示范性实施例中，与切口、消融、消融、结扎、植入或各种其他事件相关联的书签可以各自以不同颜色显示。在其他实施例中，术中不良事件可以与一种颜色(例如，红色)相关联并且计划的事件可以与另一种颜色(例如，绿色)相关联。在一些实施例中，可以使用色标。例如，不良事件的严重性可以用范围从黄色到红色的色标或其他合适的色标来表达。

在一些实施例中，书签的位置和/或大小可以与阈值水平相关联。阈值水平可以指示由书签识别的事件、动作、技术、阶段或其他事件的相对重要性。尽管提供颜色作为用于区分表示信息的书签的外观的一个示例，但是可以使用多种其他技术。例如，书签可以具有各种大小、形状、位置、方向、字体大小、字体类型、字体颜色、书签动画或其他视觉属性。在一些实施例中，根据与它们相关联的事件的类型、动作或阶段，书签可以与不同的图标相关联。例如，可以与决策结点相关联的书签可以具有不同的图标，可以与其他类型的事件(例如并发症)相关联。图标可以表示与位置相关联的术中事件的类型。例如，书签可以指示在视频中的该位置处发生切口。图标(或其他视觉属性)指示计划外和计划中的事件、错误类型(例如，错误的通信错误、判断错误或其他类型的错误)、发生的特定副作用事件、正在执行的技术类型以及正在执行的动作类型。它可用于区分正在执行的手术阶段、术中手术事件的位置(例如，腹壁等)、执行手术的外科医生、手术程序的结果、或其他各种信息。

在一些说明性实施例中，一个或多个书签可以包括对应于外科手术的决策结点的决策结点书签。例如，决策结点书签可以指示描述外科手术的视频中的位置，在该位置可能有多个动作过程，并且外科医生选择遵循一个过程而不是另一个过程。例如，外科医生可以做出是否偏离计划的外科手术、采取预防措施、移除器官或组织、使用某些器械、使用某些手术技术或外科医生可能遇到的任何其他术中决定的决定。例如，决策结点可以指过程的一部分，其中做出对过程的结果具有重大影响的决策。在另一个示例中，决策结点是医生面临两个或更多可行替代方案以及两个或更多可行替代方案中的哪一个更好的决策点(例如，预测可降低特定风险的替代方案；选择预计可改善结果的替代方案、预计可降低成本的替代方案等)至少基于一定数量的因素(例如，至少两个因素、至少五个因素、至少基于10个因素，基于至少100个因素，等等)。在进一步的示例中，决策分支可以指医生面临特定类型的决策并且该特定类型被包括在一组选定的决策类型中的过程的一部分。

决策结点书签的选择可以使外科医生能够查看来自两个或更多个相应不同手术程序的两个或更多个替代视频剪辑，从而使观看者能够比较替代方法。替代视频剪辑可以是说明除了当前向用户显示的内容之外的过程的任何视频剪辑。在一些实施例中，不同的外科手术可以不属于相同类型的手术，但是可以共享由决策交点书签识别的相同或相似的决策交点。在一些实施例中，两个或更多个视频剪辑可以提供不同的行为。

此外，在一些实施例中，与一个或多个备选可能决定相关联的一个或多个估计结果可以与一个或多个备选可能决定的显示一起显示。例如，备选可能决策的列表可以包括备选可能决策中的每一个的估计结果。估计的结果可以包括如果医生做出替代的可能决定而预测会发生的结果。此类信息可用于培训目的。例如，医生可以确定可以采取比视频中更合适的行动，并相应地计划未来的程序。在一些实施例中，替代的可能决定中的每一个可以与多个估计结果相关联，并且可以提供相应的概率。可以以多种方式确定一个或多个估计结果。在一些实施例中，估计结果可以基于与备选可能决策相关联的已知概率。例如，来自具有相似决策结点的先前外科手术的聚合数据可用于预测与标记相关联的备选可能决策的结果。在一些实施例中，概率和/或数据可以针对当前外科手术的一个或多个特征或属性进行定制。例如，在确定估计结果时可以考虑患者特征(例如患者的医疗状况、年龄、体重、病史或其他特征)、医师技能水平、手术难度、手术类型或其他因素。还可以分析其他特性，包括上面关于视频索引描述的事件特性。

在一些实施例中，还可以使用附加信息来确定结果。例如，分析可以基于与过去外科手术的多个视频相关联的一个或多个电子病历。例如，确定结果可以包括参考与视频相关联的电子病历，其中做出特定决定以确定患者是否康复、患者康复的速度、是否存在额外的并发症等。此类信息可用于预测超出视频片段范围的稍后可能发生的事情。例如，结果可能是外科手术后的数天、数周或数月。在一些实施例中，附加信息可用于通知视频分析以包括在分析中。例如，可能存在使用从病历中收集的信息共享类似患者病史、疾病类型、诊断类型、治疗历史(包括过去的手术程序)、医疗保健专业身份、医疗保健专业技能水平或其他相关数据的视频.可以识别。具有这些或其他特征的视频可以更准确地了解每种备选可能的决策可以预期的结果。

可以基于它们与当前决策结点相关的密切程度来识别相似的决策结点。在一些实施例中，根据相似性度量，单独的相似决策结点可以类似于外科手术的决策结点。度量可以是任何值、分类或其他指示决策结点关联程度的指标。可以基于计算机视觉分析来确定这样的度量，以确定程序或技术匹配的紧密程度。度量也可以基于决策分支点具有的共同特征的数量和特征匹配的程度来确定。例如，基于相似性度量，具有相似医疗状况和身体特征的患者的两个决策结点可以被分配比两个或更多不同患者更高的相似性。也可以使用各种其他特征和/或考虑。附加地或替代地，相似性度量可以基于任何相似性度量，例如上述相似性度量。例如，相似性度量可以等于相似性度量，可以是相似性度量的函数，等等。

除了决策结点标记之外或代替决策结点标记，可以使用多种其他标记类型。在一些实施例中，书签可以包括术中事件书签，其可以与视频中与术中事件的发生相关联的位置相关联。可以通过书签识别的各种术中手术事件的示例在本公开全文中提供，包括用于上述视频索引。在一些实施例中，术中手术事件书签可以是指示在该位置处发生的术中手术事件的通用书签。在其他实施例中，术中手术事件书签可以识别术中手术事件的特征，包括事件类型、该事件是否是不良事件或任何其他特征。

可以如上所述自动识别这样的术中手术事件书签。使用上述计算分析方法，可以在视频片段中识别医疗器械、解剖结构、医生特征、患者特征、事件特征或其他特征。例如，识别的医疗器械和解剖结构之间的相互作用可以指示正在执行切口、缝合或其他术中事件。在一些实施例中，可以基于数据结构中提供的信息来识别术中手术事件标记。

根据公开的实施例，术中手术事件书签的选择可以使外科医生能够查看来自各种手术程序的替代视频剪辑。在一些实施例中，替代视频剪辑可以提供解决选定的术中手术事件的不同方式。例如，在当前视频中，外科医生可以根据一种技术进行切口或其他动作。选择术中手术事件标记可允许外科医生查看可用于执行切口或其他动作的替代技术。在另一个示例中，术中手术事件可以是副作用事件，例如出血，并且替代视频剪辑可以描绘外科医生处理副作用事件的不同方式。在标记与术中手术事件相关的一些实施例中，术中手术事件书签的选择可以使外科医生能够查看来自各种手术过程的替代视频剪辑。例如，各种外科手术可能是不同类型的(例如，腹腔镜与胸腔镜)，但仍包括相同或相似的术中手术事件。外科手术也可能在其他方面有所不同，包括不同的医疗条件、不同的患者特征、不同的医疗专业人员或其他区别。选择术中手术事件标记可以允许外科医生查看来自各种手术程序的替代视频剪辑。

替代视频剪辑可以以类似于这里描述的其他实施例的各种方式来显示。例如，选择术中手术事件书签可以导致显示菜单，外科医生可以从中选择替代视频剪辑。该菜单提供了对处理所选术中手术事件的各种方式的描述、视频剪辑的缩略图、视频剪辑的预览和/或与视频剪辑相关的其他信息，例如视频剪辑的日期记录的、外科手术的类型、外科手术可能包括执行该手术的医生的姓名或身份，或任何其他相关信息。

根据本公开的一些实施例，至少一个视频可以包括来自多个外科手术的镜头的汇编，按照手术时间顺序排列。程序时间顺序可以指与外科手术相关的一系列事件。因此，以程序时间顺序排列镜头的汇编可以包括以如果对单个患者执行该程序将会发生的顺序来排列来自不同患者的不同事件。也就是说，尽管针对不同患者在不同手术中进行了编辑，但编辑的回放将按照它们在手术过程中出现的顺序显示素材。在一些实施例中，镜头的汇编可以描绘来自多个外科手术的并发症。在这样的实施例中，一个或多个书签可以与多个外科手术相关联并且显示在公共时间线上。因此，即使观看者与单个时间线交互，沿时间线呈现的视频片段也可能来自不同的程序和/或不同的患者。上面已经关于视频索引描述了可以显示的示例性复杂情况。

图2是图示根据公开的实施例的用于查看手术视频的示例过程200的流程图。

在210，访问外科手术的至少一个视频，例如，如上所述。至少一个视频可以包括单个手术过程的视频片段，或者可以是来自如先前讨论的多个过程的片段的汇编。

在步骤220，使至少一个视频被输出用于显示。如上所述，使至少一个视频被输出以供显示包括传输信号以使至少一个视频显示在屏幕或其他显示设备上，至少在其他计算设备可访问的位置。可以包括存储该一个视频、传输该至少一个视频、或者可以导致该视频被显示的任何其他过程或步骤。

在步骤230，在至少一个视频输出上叠加手术时间线以供显示，手术时间线包括：手术阶段、术中手术事件、以及识别至少一个决策节点的书签。在一些实施例中，手术时间线可以由与视频一起显示的水平条表示。书签可以沿着时间线表示为形状、图标或其他图形表示。在其他实施例中，时间线可以是按时间顺序的阶段、事件和/或决策断点的基于文本的列表。书签可以类似地基于文本并包含在列表中。

步骤240包括外科医生在观看至少一个视频的回放时选择手术时间线上的一个或多个书签，从而使视频的显示能够跳到与所选书签相关联的位置。在一些实施例中，外科医生可以查看关于与书签相关联的事件或发生的附加信息，其可以包括来自过去外科手术的信息。例如，书签可以与术中手术事件相关联，并且选择书签可以使外科医生能够查看与术中手术事件相关联的过去手术过程的替代视频剪辑。例如，外科医生可能会查看不同手术的剪辑，其中类似的术中手术事件的处理方式不同，使用的技术不同，或者结果不同。在一些实施例中，书签可以是代表在外科手术过程中做出的决定的书签。此类信息可包括过去外科手术的视频，包括类似的决策节点、备选可能决策的列表或分布、备选可能决策的估计结果或任何其他相关信息。可以使医生或其他用户能够使用时间线界面更有效和更高效地查看手术视频。

在准备外科手术时，医生查看执行的类似外科手术的视频通常是有利的。然而，外科医生在准备外科手术时识别相关视频或视频部分可能过于繁琐和耗时。因此，需要一种新颖的方法来基于片段的内容高效且有效地索引手术视频片段，以便医生或其他医疗专业人员易于访问和查看。

图3示出了分析手术镜头以获得用于识别手术特征、患者状况和术中事件以填充术后报告的信息。术后报告可以通过分析从手术过程中获得的手术数据来确定手术特征、患者状况和术中事件并从分析的数据中提取信息以填充术后报告来填充。因此，需要对手术数据进行分析，从手术数据中提取可用于填写术后报告的信息。

术后报告可以包括多个字段、部分和子部分。不同的字段可能包含不同类型的信息。例如，字段可以保存外科手术的名称，患者的姓名，外科手术的阶段的名称，描述外科手术的多个阶段。报告可包括可描述外科手术期间的特定事件。报告中可能有多个部分来描述多个事件。一个或多个事件可能与特定手术阶段相关，而其他事件可能与任何手术阶段无关。例如，保存事件名称的字段、保存事件开始时间的字段、保存事件结束时间的字段，并且事件可包括保存事件名称的字段。还可以图像字段；例如，它可以包括保存与事件相关的手术镜头，可以保存到与外科手术相关的各种其他数据的链接。

在各种实施例中，用于填充术后报告的至少一部分的信息可以从外科手术的外科镜头获得。这种信息可以称为基于图像的信息。此外，可以从医疗保健提供者或用户的笔记、先前为患者提交的表格(例如，患者的病史)、在手术过程中使用的医疗设备等中获得关于手术过程的信息。这种信息可以称为辅助信息。在示例性实施例中，辅助信息可以包括生命体征，例如在手术过程中使用的各种医疗设备报告的脉搏、血压、体温、呼吸率、氧气水平等。基于图像的信息和辅助信息可以由适当的基于计算机的软件应用程序处理，并且处理后的信息可以用于填充术后报告。

图3所示的填充外科手术的术后报告的方法300。包括：

在步骤310，接收输入的患者标识符。

在步骤320，根据患者标识符，获取可视化资料中一个或多个手术镜头，对可视化资料进行处理，如对于书签的添加。

手术镜头的帧的至少一部分可以指示其中正在对生物结构(本文也称为解剖结构)执行外科手术的手术镜头的一部分。

在步骤330，接收对患者执行的手术过程的手术镜头的输入，并对其进行分析。

其中，分析手术镜头以识别手术程序的一个或多个阶段。例如，如本文所述，可以基于训练来区分外科手术的一部分与另一部分的训练模型自动区分阶段。确定至少一个阶段的至少开始；导出的基于图像的信息基于所确定的启动。至少一个阶段的开始可以例如通过对手术镜头执行计算机图像分析来确定。例如，使用经过训练的机器学习模型(例如，递归卷积神经网络)，可以将特定阶段的开始与前一阶段的结束区分开来，并且可以识别位置并将其存储在手术记录中。在另一个示例中，阶段可以在特定医疗器械首次出现在视频镜头中时开始，并且可以使用对象检测算法来识别特定医疗器械在手术镜头中的首次出现。在一些情况下，时间标记可以与至少一个阶段相关联，并且导出的基于图像的信息可以包括与至少一个阶段相关联的时间标记。时间标记可以通过多种方式记录，包括从外科手术开始经过的时间、视觉测量的时间或与其他一些术中记录时间相关的时间。在各种实施例中，时间标记可以与每个识别的阶段的开始相关联(例如，时间标记可以与手术镜头内的手术阶段开始的位置相关联)。时间标记可以是任何合适的字母数字标识符或任何其他数据标识符(例如，音频信号或图像)，并且包括关于与所识别阶段的开始相关联的时间(和/或可能的时间跨度)的信息。例如，如上所述，可以使用动作检测算法来检测示例性手术事件，例如切口。这种识别的手术事件可以识别手术阶段的开始。在示例实施例中，可以基于机器学习技术检测启动手术阶段的事件。例如，可以使用包括启动手术阶段的已知事件的历史手术镜头来训练机器学习模型。

在步骤340，分析多个手术镜头帧以导出用于填充手术程序的术后报告的基于图像的信息；将导出的基于图像的信息填充到手术程序的术后报告中。

在各种实施例中，导出的基于图像的信息可以基于识别的手术事件和事件的识别属性。在事件和事件的一个或多个属性已被如上所述地识别之后，可以分析其组合以确定可能不能单独从事件或属性导出的基于图像的信息。例如，如果特定事件的特定特征与已知的术后并发症风险相关联，则可以确定该风险并将其包括在基于图像的信息中。或者，作为示例，所导出的基于图像的信息可以包括事件的名称、与事件对应的手术镜头片段、事件期间使用的手术器械的名称和/或图像、解剖结构的名称在事件期间操作，和/或可以包括图像、手术器械与解剖结构相互作用的图像、事件的持续时间和/或从视频导出的任何其他信息中的一个或多个。在一些情况下，时间标记可以与事件的结束相关联(例如，时间标记可以与手术镜头内的事件的结束位置相关联)。导出的基于图像的信息可以包括用于多个事件和/或事件内的多个位置的多个时间标记。

在一些实施例中，可以以使得更新电子病历成为可能的形式提供导出的基于图像的信息。例如，导出的基于图像的信息可以是能够存储和显示电子病历的软件应用程序(例如，用于存储和显示病历的独立应用程序、用于使用存储在数据库中的信息显示病历的网络)。界面等)可以包括文本数据、图像数据、视频数据、音频数据等，可以是可以上传的形式。在各种实施例中，导出的基于图像的信息可以部分地基于用户输入。例如，诸如医疗保健专业人员之类的用户可以在捕获手术镜头的同时提供输入，例如，如上所述，并且导出的基于图像的信息可以部分地基于该输入

在各种实施例中，导出的基于图像的信息可以包括与外科手术的第一部分相关联的第一部分和与外科手术的第二部分相关联的第二部分。将基于图像的信息分成多个部分可以使得对基于图像的信息进行分类成为可能。

本公开的方面包括分析手术镜头以识别至少一项术后治疗建议；并提供所识别的至少一项建议。如上所述，可以以多种方式(例如，使用机器学习方法，由医疗保健提供者等)分析手术镜头。在各种实施例中，机器学习方法可以被配置为识别视频帧内的事件，以及基于对手术镜头的分析形成关于手术过程的各个方面的结论。例如，术后伤口护理可能因手术伤口的性质而异。视频分析可以确定其性质，还可以为伤口部位的术后治疗提供建议。这样的信息可以被传输并存储在手术记录中。在某些情况下，机器学习方法可以识别术中事件(例如，不良事件)并为需要特定术后治疗的事件提供指征。这可以通过机器学习进行分析，并可以自动提供术后治疗建议。在一个示例中，响应于手术录像中识别的第一手术事件，可以识别用于手术后治疗的第一推荐，并且响应于手术录像中识别的第二事件，用于手术后治疗。推荐可以被识别并且第二推荐可以与第一推荐不同。在一个示例中，响应于在手术录像中识别的解剖结构的第一状态，可以识别对手术后治疗的第一推荐，并且响应于在手术录像中识别的解剖结构的第二状态。反应，可以确定术后治疗的第二个建议，第二推荐可能与第一推荐不同。在一些示例中，可以使用训练示例来训练机器学习模型以从手术图像和/或手术视频生成对手术后治疗的推荐，并且训练的机器学习模型分析手术镜头并且至少使用手术镜头。用来识别这种训练示例的示例可以包括外科手术的至少一部分的图像或视频，连同指示与外科手术相对应的手术后治疗的期望推荐的标签。

此类建议可包括建议物理治疗、药物的额外身体检查、外科手术的后续行动等。在某些情况下，建议可能与医疗活动没有直接关系，但可能包括饮食建议、睡眠建议、体育活动建议或压力管理建议。在各种实施例中，所识别的推荐可以被提供给负责患者的术后护理的医疗保健专业人员。附加地或替代地，可以向第三方提供推荐，该第三方可以是患者、家庭成员、朋友等。

在一个实施例中，手术录像的分析可以包括识别在手术过程的限定时间期间，外科医生可能已经工作太靠近患者的肠道，例如，使用能量装置。当识别出此类事件时(例如，使用对象检测算法、使用训练有素的机器学习模型等)，将进一步分析手术镜头并计划特殊事件以避免致命的术后事件(例如，出血、心脏骤停等)。)可以发送通知(例如，推送通知)以提醒医生(或任何其他监督患者术后护理的医疗保健专业人员)进行手术。

在各种实施例中，填充外科手术的术后报告可以包括使医疗保健提供者能够修改从术后报告导出的至少一些基于图像的信息。例如，医疗保健提供者(也称为医疗保健专业人员)可以通过被配置为在手术后报告中显示信息的软件应用程序访问手术后报告。在各种实施例中，医疗保健专业人员可能能够改变术后报告中的一些或所有字段。在一些实施例中，某些字段可以被锁定为不具有管理权限的不可变的。可修改字段的示例包括基于文本的数据(例如，可通过键盘、鼠标、麦克风等输入新数据来更改)、上传与外科手术相关的一幅或多幅图像(例如，上传与手术相关的一幅或多幅图像)外科手术，或将信息放置在一张或多张图像上。图像数据(例如，通过叠加等)视频数据(例如，通过上传与外科手术相关的一个或多个视频，将信息叠加在一帧或多帧上或更多视频等)、音频数据(例如，在外科手术过程中捕获的)音频数据等)。

在一些实施例中，填充外科手术的术后报告可以被配置为使得所导出的基于图像的信息的至少一部分被识别为术后报告中自动生成的数据。在各种实施例中，由于导出的基于图像的信息用于填充术后报告，填充报告可以包括识别导出的基于图像的信息是如何生成的。例如，如果使用在血管中检测到的脉搏的计算机视觉分析来确定升高的心率，则可以注意到确定的来源是基于视频确定的。类似地，视频分析可以自动估计作为破裂结果的失血量，并且手术报告可以与估计的损失一起指出损失量是基于视频分析的估计。实际上，可以在术后报告中使用任何文本、图形或基于图标的信息来记录来自视频分析的任何指示，以反映数据的来源。例如，电影图标可能出现在源自视频的数据旁边。或者，如果医疗保健专业人员识别出手术镜头内的事件并提供与识别的事件相对应的手术镜头片段作为衍生的基于图像的信息，则此类信息被认为是由医疗保健专业人员生成的。可能不被归类为自动生成的数据。

本公开的方面还包括分析手术镜头以选择手术镜头的至少一帧的至少一部分；并且使至少一帧手术镜头的所选至少一部分包括在手术程序的术后报告中。例如，如果手术后报告包括被配置为保存在手术过程中使用的手术器械的一个或多个图像的字段，则示例性机器学习模型识别手术镜头的一个或多个帧并保存手术器械，识别的帧可以配置为选择一部分此外，至少一帧的选定部分(或多个部分)可被插入(例如，填充)到术后报告中。机器学习模型还可以被配置为提取手术镜头的其他相关帧。例如，可以提取描绘作为手术焦点的解剖结构的手术镜头的帧，或者描绘手术器械和解剖结构之间的相互作用的帧。这些相关的框架也可以填充术后报告。

公开的实施例还可包括接收手术前报告并分析手术前报告和手术录像以选择手术录像的至少一帧的至少一部分。例如，机器学习模型可以被配置为分析术后报告并识别不良事件(例如，出血)的讨论。可以例如通过存储在术后报告中的指示、使用NLP算法等来识别不良事件。该指示可以是例如副作用事件的名称的指示。这可能包括在外科手术过程中发生不良事件的时间。可以使用机器学习模型来确定不良事件，该机器学习模型被配置为检索用于外科手术的手术镜头并且识别示出代表不良事件的视觉数据的帧的部分(例如，示出出血的帧的部分)。另外，在一些示例中，框架的识别部分可以被插入到关于不良事件的讨论或以其他方式与不良事件的讨论相关联的术后报告中。

所公开的实施例的另一方面可以包括分析术前术后报告和手术录像以识别术前术后报告和手术录像之间的至少一个差异。在各种实施例中，可以通过将存储在报告中的信息与通过确定错误的机器学习模型导出的信息进行比较来确定差异。出于说明目的，当医疗专业人员在报告中指出手术部位用缝合线封闭时，可能会出现想象中的无数潜在差异之一，而视频表明该部位已缝合。例如，视频揭示可以通过基于计算机的软件应用程序发生，其中将术后报告与相关过程的视频片段进行比较。如果注意到差异，则基于计算机的软件应用程序可以确定错误的来源、记录错误、发送错误通知和/或自动纠正错误。例如，应用程序可以分析术前术后报告的各种版本(例如，使用如上所述的版本跟踪系统)以识别差异在生成术前术后报告的哪个阶段首先出现。

在步骤350，该方法可以包括将生成的术后报告提交至审核者处审核，并填入补充信息，生成最后的术后报告。

在上文中，已经描述了根据本发明的用于记录和管理医院治疗的历史数据的方法和系统，包括医院咨询和外科手术。应该理解，本领域技术人员可以在不改变本发明的技术精神或基本特征的情况下，以其他特定形式来实现本发明的技术配置。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (7)

1.一种基于可视化资料的手术记录质量控制方法，其特征在于，包括如下步骤：

步骤S1：接收输入的患者标识符；

步骤S2：根据患者标识符，获取可视化资料中一个或多个手术镜头，对可视化资料进行预处理，包括但不限于对于书签的添加；

步骤S3：接收对患者执行的手术过程的手术镜头的输入，并对其进行分析；

步骤S4：分析多个手术镜头帧以导出用于填充手术程序的术后报告的基于图像的信息：将导出的基于图像的信息填充到手术程序的术后报告中；

步骤S5：该方法可以包括将生成的术后报告提交至审核者处审核，并填入补充信息，生成最后的术后报告。

2.根据权利要求1所述的一种基于可视化资料的手术记录质量控制方法，其特征在于，所述步骤S2中，添加书签包括如下步骤：

步骤A1:书签包括标识手术阶段、术中手术事件和决策结点中的至少一个的标记；

步骤A2:书签包括与手术时间线内的位置相关联的任何视觉指示器；书签具有不同的颜色，取决于所代表的术中手术事件的类型；

步骤A3:基于预定位置处并包括在时间线中的视频的信息自动生成书签，使用经过训练的机器学习模型来识别书签位置；

步骤A4:书签的位置和/或大小可以与阈值水平相关联,阈值水平可以指示由书签识别的事件、动作、技术、阶段或其他事件的相对重要性。

3.根据权利要求1所述的一种基于可视化资料的手术记录质量控制方法，其特征在于，所述步骤S3包括：

分析手术镜头以识别手术程序的一个或多个阶段，基于训练来区分外科手术的一部分与另一部分的训练模型自动区分阶段；

使用动作检测算法来检测示例性手术事件；

基于机器学习算法检测启动手术阶段的事件，使用包括启动手术阶段的已知事件的历史手术镜头来训练机器学习模型。

4.根据权利要求1所述的一种基于可视化资料的手术记录质量控制方法，其特征在于，所述步骤S3包括：

分析手术镜头以识别至少一项术后治疗建议，并提供所识别的至少一项建议；

机器学习方法可以识别术中事件并为需要特定术后治疗的事件提供指征,通过机器学习进行分析，并可以自动提供术后治疗建议；建议包括建议物理治疗、药物的额外身体检查、外科手术的后续行动,或与医疗活动没有直接关系，包括饮食建议、睡眠建议、体育活动建议或压力管理建议。

5.根据权利要求1所述的一种基于可视化资料的手术记录质量控制方法，其特征在于，所述步骤S4包括：

导出的基于图像的信息可以基于识别的手术事件和事件的识别属性，如果特定事件的特定特征与已知的术后并发症风险相关联，则可以确定该风险并将其包括在基于图像的信息中。

6.根据权利要求1所述的一种基于可视化资料的手术记录质量控制方法，其特征在于，所述S4包括：

使得所导出的基于图像的信息的至少一部分被识别为术后报告中自动生成的数据；

在术后报告中使用任何文本、图形或基于图标的信息来记录来自视频分析的任何指示，以反映数据的来源。

7.根据权利要求1所述的一种基于可视化资料的手术记录质量控制方法，其特征在于，所述S4包括：

接收手术前报告并分析手术前报告和手术录像以选择手术录像的至少一帧的至少一部分；机器学习模型被配置为分析术后报告并识别不良事件的讨论，将关于不良事件的讨论插入至术后报告中。

Images