CN114171145A - 一种富媒体手术记录单生成系统和方法 - Google Patents

Abstract

本发明公开了一种富媒体手术记录单生成系统，包括数据获取单元、用户输入单元、控制单元、连接至控制单元的存储单元、输出单元以及通信单元，数据获取单元获取患者的基本图像数据；用户输入单元生成与输入操作有关的信号，并将所生成的信号输出至控制单元；控制单元将发送的手术视频分别存储在存储单元中；存储单元存储各种数据；输出单元输出所生成的手术记录单；通信单元用于与诸如个人计算机或便携式终端之类的外部设备进行通信，本发明使得医患之间的沟通更快，医生处理患者信息更快更精准，提高工作效率和工作率。

Description

一种富媒体手术记录单生成系统和方法

技术领域

本发明涉及手术记录单领域，尤其涉及一种富媒体手术记录单生成系统和方法。

背景技术

通常，当患者去医院时，要以书面形式按照医院的要求来写和提交患者的个人信息，以前患过的疾病的名称以及病历等。填写并接收文件后，医院会根据书面内容制作图表，如果是在医院接受治疗的人员，医院会为治疗做准备，例如搜索过去的图表。在做手术时，医院临床手术中都要求书写手术记录。手术记录是指术者书写的反映手术情况、手术经过、术中发现及处理等情况的特殊记录。现有技术中对手术过程监督效果较差，而且手术记录为纸质记录，可能出现漏记、记错的现象，增加了医护人员的工作量，导致工作效率低，就诊率低，难以实现智能化。

发明内容

本发明的目的是为了解决上述问题，提供一种富媒体手术记录单生成系统，包括数据获取单元10、用户输入单元20、控制单元30、连接至控制单元30的存储单元40、输出单元50以及通信单元60；

其中，数据获取单元10获取患者的基本图像数据，通过拍摄进行手术的人的手术部位来创建手术视频；

用户输入单元20生成与输入操作有关的信号，并将所生成的信号输出至控制单元30；

控制单元30将从数据获取单元10发送的手术视频划分为预定的时间单位，并且将手术图像划分为单位手术图像和单位音频，以及每当指定事件发生时生成事件索引信息，并将它们分别存储在存储单元40中；

存储单元40存储操作期间生成的数据、与手术视频有关的手术图像数据以及当前正在接受手术的被检者的信息有关的数据；

输出单元50在控制单元30的控制下在屏幕上显示与从控制单元30输出的图像数据相对应的图像，并且输出所生成的手术记录单；

通信单元60用于与诸如个人计算机或便携式终端之类的外部设备进行通信。

本发明还提出一种富媒体手术记录单生成方法，包括如下步骤：

步骤S1：当操作所需的电力被提供时，数据获取单元10的操作从手术开始就开始，从而拍摄与手术过程有关的视频；

步骤S2：控制单元30操作数据获取单元10并使用由数据获取单元10捕获的手术视频，每当在手术期间发生特定事件时，生成事件索引信息，将手术图像数据和音频数据划分为设定时间单位，并且将设定时间的手术图像和音频划分为单位手术图像和单位音频；

步骤S3：控制单元30使用所生成的事件索引信息，多个单位外科手术图像和单位音频来生成外科手术记录单。

进一步地，所述步骤S2包括：

步骤S21：控制单元30将与存储在存储单元40中的记录开始画面有关的图像数据输出到输出单元50，并且将图像数据输出到输出单元50；

步骤S22：通过用户输入单元20选择记录开始按钮，执行数据获取单元10 的拍摄操作，捕获手术视频，并且生成相对应的操作图像数据和音频数据。

步骤S23：控制单元30顺序地存储所输入的手术图像数据和音频数据以及所发送的时间信息，并将其存储在存储单元40中；

步骤S24：检测在手术期间发生的事件，确定是否存在期望事件；

步骤S25：当存在期望事件时，控制单元30生成与所生成的事件有关的事件索引信息，并将其存储在存储单元40中；

步骤S26：控制单元30通过内部计时器确定所计数的时间是否超过设定时间时，分割在设定时间内输入的手术图像数据和声音数据，分割与分割的手术图像数据和声音有关的手术图像数据；

步骤S27：控制单元30确定是否执行了记录结束操作，结束操作。

进一步地，所述步骤S25中，期望的事件为出血事件，具体根据颜色分析结果，对比度分析结果，手术器械的外观，医生的命令，手术场景的改变，模糊或起雾确定是否存在出血事件。

进一步地，所述步骤S25中，事件索引信息具体可为标识手术阶段、术中手术事件和决策结点中的至少一个的标记，使用一种或多种图像识别算法来识别视频素材的一帧或多帧的特征自动生成事件索引信息。

进一步地，所述步骤S3包括：

步骤S31：控制单元30使用存储在存储单元40中的图像数据和单元音频将手术记录输入屏幕输出到输出单元50；

步骤S32：控制单元30读取从用户输入单元20施加的信号，并确定是否通过用户输入单元20输入了操作内容；

步骤S33：当通过用户输入单元20输入操作内容时，控制单元30显示在操作内容记录区域的对应位置中输入的操作内容，并存储该操作内容，将输入的操作信息与在其上显示内容的位置信息一起存储在存储单元40中；

步骤S34：控制单元30检测到手术图像被放置在对应区域中，将其与手术内容相对应地存储在相关的位置信息建立链接；

步骤S35：控制单元30使用手术图像上的时间信息来确定手术图像的时间；

步骤S36：控制单元30在确定选择的按钮，并执行按钮相应的操作。

进一步地，所述步骤S36包括保存按钮和取消按钮，保存按钮用于存储当前生成的手术记录单，取消按钮用于取消当前创建的手术记录单。

进一步地，还包括选择定制的手术单模板步骤，具体包括：

提供手术记录单模板编辑屏幕，包括模板选择区域，模板设计结果区域和模板项目设计区域；

将用户在手术报告模板编辑屏幕上选择的模板项目重构为模板；

生成手术记录单模板，以pdf文件的形式保存。

与现有技术相比，本发明的有益效果主要体现在：本发明的富媒体手术记录单生成系统使得医患之间的沟通更快，医生处理患者信息更快更精准，提高工作效率和工作率。

附图说明

图1为本申请实施例中产生富媒体手术记录内容的设备的结构示意图；

图2为本申请实施例中产生富媒体手术记录内容的方法示意图。

具体实施方式

实施例

根据本发明的系统和方法的示例可以以各种方式应用，并且在本发明的以下描述中，可以对处理进行各种修改，自然不限于特定的处理，并且将参考附图描述最优选的实施例。

在下文中，将参照附图描述根据本发明的实施例的用于产生富媒体手术记录内容的设备和方法。首先，如图1所示，根据本发明实施例的富媒体手术记录内容生成设备1连接到数据获取单元10，用户输入单元20，数据获取单元10 和用户输入单元20以及控制单元30。连接至控制单元30的存储单元30，连接至控制单元30的存储单元40，连接至控制单元30的输出单元50以及连接至控制单元30的通信单元60。

数据获取单元10获取患者的基本图像数据。基本图像数据包括X射线数据， CT数据，MRI数据。数据获取单元10可以在程序中执行基本图像数据或加载存储在网页和服务器中的数据。数据获取单元10还通过拍摄进行手术的人的手术部位来创建视频(以下，称为“手术视频”)，然后创建与图像数据有关的图像数据(以下，称为该视频)。该图像数据被称为“手术图像数据”，并且作为音频信息的音频数据被输出到控制单元30。此时，数据获取单元10还获取手术视频的时间信息，并将时间信息与手术视频一起输出至控制单元30。在该示例中，手术部位可以是人体器官，例如人的心脏，部位，肺或肝脏。另外，手术的对象不限于人类，并且可以不是像动物一样的人类。

用户输入单元20生成与输入操作有关的信号，诸如用于由用户控制富媒体手术记录内容生成设备1的操作的命令输入或数据输入，并将所生成的信号输出至控制单元30。用户输入单元20可以由键盘，圆顶开关，触摸板，轻推开关或鼠标组成。

控制单元30将从数据获取单元10发送的手术视频划分为预定的时间单位，并且将手术图像划分为单位手术图像(即，视频剪辑)和单位音频，以及每当指定事件发生时的事件。事件索引信息。为此，控制单元30可以将从数据获取单元10输入的手术视频划分为手术图像数据和音频数据，并将它们分别存储在存储单元40中。然后，控制单元30通过使用单元操作图像，单元音频，事件索引信息和操作内容来控制外科手术记录单的生成和管理，所述单元操作图像，单元音频，事件索引信息和操作内容是与诸如操作员的管理员输入的操作有关的内容。

存储单元40是存储介质，在该存储介质中存储与富媒体手术记录内容生成设备1，操作期间生成的数据以及当前正在接受手术的被检者的信息(即，与手术对象有关的信息)有关的数据。在这种情况下，存储单元40可以包括帧存储器，用于在帧单元中存储与手术视频有关的手术图像数据。另外，存储单元40 还存储与输出到输出单元50的屏幕有关的图像数据，以输出和管理手术记录单。

存储单元40根据控制单元14的请求提供信息存储手术报告提供设备1的操作所需的信息和根据该操作生成的信息。例如，存储单元40存储由控制单元 30生成的手术报告。为了生成手术报告，控制单元30配置包括模板编辑项目的手术记录单模板编辑屏幕，并将用户选择的模板项目重构为模板。然后，通过在重组后的模板中反映内容来生成手术记录单。编辑包括一系列过程，例如添加，删除和更改模板项。根据实施例的手术记录单模板编辑屏幕包括模板选择区域，模板设计结果区域和模板项目设计区域。

输出单元50在控制单元30的控制下在屏幕上显示与从控制单元30输出的图像数据相对应的图像，并且输出所生成的手术记录单。为此，输出单元50显示根据富媒体手术记录内容生成设备1的操作模式使用的用户界面(UI)或图形用户界面(GUI)。输出单元50包括液晶显示器，有机发光二极管显示器，柔性显示器和3D显示器中的至少一个显示装置。

通信单元60用于与诸如个人计算机或便携式终端之类的外部设备进行通信，并且可以包括互联网模块和短距离通信模块中的至少一个。因特网模块是指用于无线或有线因特网访问的模块，并且因特网模块可以内置在手术记录单生成装置1中或在手术记录单生成装置1的外部。另外，手术记录单生成装置1 可以具有USB端子，并且在这种情况下，可以使用USB端子来进行USB通信。

图2示出了本发明实施例的具有上述结构的富媒体手术记录单生成方法，具体包括以下步骤：

步骤S1：当操作所需的电力被提供时，富媒体手术记录内容生成设备1开始操作。数据获取单元10的操作从手术开始就开始，从而拍摄与手术过程有关的视频。

步骤S2：控制单元30操作数据获取单元10并使用由数据获取单元10捕获的手术视频，每当在手术期间发生特定事件时，生成事件索引信息，将手术图像数据和音频数据划分为设定时间单位，并且将设定时间的手术图像和音频划分为单位手术图像和单位音频。其中，步骤S2可以包括如下具体步骤：

步骤S21：控制单元30将与存储在存储单元40中的记录开始画面有关的图像数据输出到输出单元50，并且将图像数据输出到输出单元50。已经执行了包括视频信息和音频信息的手术视频的记录开始操作。

步骤S22：通过用户输入单元20选择记录开始按钮。记录开始屏幕包括有关手术对象的信息(患者姓名，患者识别号(PID)，性别，种族，年龄，出生日期)，医务人员信息(治疗科，外科医生，助手)可以输出姓名，术前诊断和术后诊断中的至少一种，并且有关外科手术主题的信息和有关医务人员的信息可能已经存储在存储器中单元40。因此，控制单元30可以通过使用存储在存储单元40中的数据在记录开始屏幕上输出这些信息。另外，可以通过用户输入单元20将操作名称，术前诊断和术后诊断输入到管理者。然而，可以通过使用语音识别的语音命令来开始记录手术视频，以生成视频剪辑和视频。

步骤S23：当确定记录开始按钮由诸如操作员的管理员通过从用户输入单元 20施加的信号来操作时，控制单元30将驱动信号输出至数据获取单元10，可以执行数据获取单元10的拍摄操作。因此，数据获取单元10根据从控制单元30施加的驱动信号开始操作，捕获作为与操作有关的视频的手术视频，并且控制与操作视频相对应的操作图像数据和音频数据。

步骤S24：当通过数据获取单元10的拍摄操作从数据获取单元10输入手术图像数据和音频数据时，控制单元30顺序地存储所输入的手术图像数据和音频数据以及所发送的时间信息，并将其存储在存储单元40中。以这种方式，当从数据获取单元10输入手术视频时，控制单元30将输出单元50的屏幕状态改变为记录进度屏幕，从而显示与当前输入的手术视频有关的手术图像。实时输出。因此，管理者检查输出到输出单元50的手术图像以实时检查当前操作状态。

步骤S25：控制单元30不仅使用存储的外科手术图像数据而且还使用作为音频数据的外科手术视频来确定在手术期间发生的事件。在该示例中，要判断的事件的类型是出血检测，颜色分析结果，对比度分析结果，手术器械的外观，医生的命令，手术场景的改变，模糊或起雾等问题。为此，控制单元30通过使用手术图像数据检测手术部位的颜色变化来检测手术部位的出血，该示例的手术图像数据包括红色像素，绿色像素和蓝色像素，并且这些像素中的每一个具有根据被摄部位的颜色的相应大小的灰度值。因此，作为用于检测渗色的示例，当确定红色像素的灰度值的变化并且红色像素的灰度值的增加大于或等于设定值时，确定出现了该事件。因此，控制单元30利用红色像素的计数值的变化来分析帧以检测出血，从而诸如出血发生，出血开始时间，出现结束时间，出血率和出血量信息之类的出血(例如(出血信息)可以计算出来。另外，为了搜索手术工具的外观，控制单元30可以通过机器学习操作来分析对象或者使用线滤波器来提高处理效率并使用帧内线性。

通过分析捕获的视频中包括的音频数据来执行诸如医生的命令之类的音频搜索，这时，控制单元30包括已经存储在存储单元40等中的特定语音(例如，声音，吸力)。它可以检测与手术视频中特定语音相同的语音，或者在将语音转换为文本后检测特定单词并将其与检测时间一起存储。颜色分析，对比度分析和异常语素搜索通过分析每个帧来执行，并且可以使用视频的色相H，饱和度 S和强度I进行搜索。在这种情况下，颜色分析可以自动设置处理区域，或者可以检测为手术部位的候选区域。可以使用直方图距离检测方法来执行手术场景的改变，直方图距离检测方法是在手术视频中搜索场景改变的方法，可以通过测量时间变化量来检测到。以此方式，当搜索期望事件时，控制单元30可以计算关于发现的事件的状态的信息(例如，事件类型，发现时间，以及发现的事件的大小，形状和颜色中的至少一项)。

步骤S26：确定是否存在期望事件。

步骤S27：当事件出现在手术视频中时，控制单元30生成与所生成的事件有关的事件索引信息，并将其存储在存储单元40中。在这种情况下，事件索引信息包括关于事件发生时间(例如，拍摄时间)，事件的类型，事件相关信息以及事件发生时的事件位置(事件发生位置)的手术图像数据。在该示例中，可以以预定时间间隔执行事件发生确定操作。事件索引信息可以用于至少一种操作，例如外科手术视频的摘要操作，基于富媒体的外科手术记录搜索操作以及用于生产医疗器械的基于视频的自动外科手术记录单创建操作。外科教育视频或研讨会的摘要视频。

步骤S28：在执行了用于输入手术图像数据和音频数据的事件确定操作之后，控制单元30确定从用户输入单元20施加的信号以及位于记录进度屏幕上的记录结束按钮等。确定是否已经通过的选择操作执行了记录结束操作。在这种情况下，也可以通过使用语音识别的语音命令来执行结束手术视频的记录的操作。如果未执行记录结束操作，则控制单元30进行到步骤S24，并且执行连续输入的手术视频的处理操作。

步骤S29，并且如果在输入的手术视频中未发生事件，则控制单元30通过内部计时器(未示出)确定所计数的时间是否已经超过设定时间。因此，控制部30在输入了手术影像之后经过了设定时间的情况下，分割在设定时间内输入的手术图像数据和声音数据，分割与分割的手术图像数据和声音有关的手术图像数据。手术图像和单位音频与拍摄时间一起存储在存储单元40中。然后，控制单元30将计数时间初始化为“0”，然后再次计数时间。

通过控制单元30的操作，将从数据获取单元10输入的手术图像数据和音频数据划分为设定时间单元，以生成多个单位手术图像和单位音频。然后，控制单元30进行到步骤S28以确定是否已经从用户输入单元20执行了记录结束操作，并且确定是否实时地从数据获取单元10输入了手术视频。以这种方式，控制单元30确定从照相机30输入的手术视频的状态以在每次事件发生时生成事件索引信息，并且还针对每个设置时间生成单位手术图像和单位音频以存储到40。因此，存储单元40可以存储与从数据获取单元10输入的手术图像有关的事件索引信息，多个单位手术图像和单位音频，在这种情况下，当未检测到事件时，可以使用事件索引信息。无法生成。

上述控制单元30使用通过数据获取单元10的摄像操作实时输入的视频来生成单位手术图像和单位音频，但是与此不同，从手术开始到结束的操作视频记录毕竟是在完成操作之后，可以使用存储在存储单元40中的手术视频在操作完成之后执行生成单位手术图像和单位音频的操作。在这种情况下，不需要确定开始记录运动图像的记录开始操作和确定结束记录的记录结束操作。

步骤S3：控制单元30执行外科手术记录单生成方法，用于使用所生成的事件索引信息，多个单位外科手术图像和单位音频来生成外科手术记录单。其中，步骤S3包括如下步骤：

步骤S31：控制单元30使用存储在存储单元40中的图像数据和单元音频将手术记录输入屏幕输出到输出单元50。在这种情况下，控制单元30顺序地显示存储在存储单元40中的每个单位手术图像和与其对应的单位音频。控制单元30 检测分割的单位手术图像中存在事件的事件信息和与事件有关的索引信息的帧的图像，并将其提取为与每个单位手术图像对应的代表帧图像。因此，管理员可以轻松，准确地检查仅在外部显示代表性帧图像的单位手术图像中发生了什么事件，而无需仅在手术图像显示区域的每个区域中显示的图像来再现单位手术图像。由于作为每个代表框区域起作用的对应事件以及与之相关的索引信息具有特定的特定时间区域，因此该信息在手术视频，基于富媒体的手术记录搜索和基于视频的自动手术中被汇总，重叠规避和重要性计算方法，可用于至少一种记录纸的创建。另外，在手术图像显示区域中，用于输出手术信息的手术信息书签(手术信息)，用于输出索引信息的索引书签，用于输出视频剪辑的剪辑标签以及单位音频。

根据公开的实施例的叠加在外科手术的视频上的书签。在一些实施例中，书签可以包括标识手术阶段、术中手术事件和决策结点中的至少一个的标记。例如，用户在观看视频时移动鼠标指针、将鼠标指针移到折叠的书签上、将鼠标指针移动到特定区域、单击或点击视频播放区域或书签采取任何其他可能表明与书签互动的意图。本公开的实施例使外科医生能够在观看至少一个视频的回放的同时选择手术时间线上的一个或多个书签，从而使视频的显示跳到与所选书签相关联的位置。如本文所用，“回放”可包括视频的任何呈现，其中向用户显示一帧或多帧视频。通常，回放涉及顺序显示图像以再现运动画面和/或声音，但回放也可能包括单个帧的显示。

根据公开的实施例，书签可以包括与手术时间线内的位置相关联的任何视觉指示器。如上所述，位置可以指视频内的任何特定位置。例如，位置可以是视频中的特定帧或帧范围、特定时间戳或视频内位置的任何其他指示符。在一些实施例中，书签相关的编辑数据还可以是基于文本的。例如，编辑数据可以包括文本信息，例如名称、描述、代码、时间戳等。因此，编辑数据可以包括引用视频中特定位置的基于文本的标题或描述。

根据本公开的各种实施例，可以基于预定位置处并包括在时间线中的视频的信息自动生成书签。在一些实施例中，可以使用计算机分析来分析视频片段的帧并识别要包括在时间线中的各个位置处的书签。计算机分析可以包括使用计算设备的任何形式的电子分析。在一些实施例中，计算机分析可包括使用一种或多种图像识别算法来识别视频素材的一帧或多帧的特征。计算机分析可以在单个帧上执行，也可以在多个帧上执行，例如检测帧之间的运动或其他变化。在一些实施例中，计算机分析可以包括对象检测算法，例如Viola-Jones对象检测、SIFT、定向梯度直方图(HOG)特征、卷积神经网络(CNN)或任何其他形式的对象检测算法。其他示例算法包括视频跟踪算法、运动检测算法、特征检测算法、基于颜色的检测算法、基于纹理的检测算法、基于形状的检测算法、基于增强的检测算法、面部检测算法或用于分析视频帧。可以包括任何其他合适的算法。在一个示例中，可以使用训练示例来训练机器学习模型以生成视频的书签，并且可以使用经过训练的机器学习模型来分析视频并为该视频生成书签。这种生成的书签可以包括书签在视频中的位置、类型、属性等。这种训练示例的示例是外科手术的示例，连同要创建的所需书签的列表，可能连同关于每个所需书签的信息。

计算机分析可用于识别手术阶段、术中事件、事件特征和/或出现在视频片段中的其他特征。例如，在一些实施例中，计算机分析可用于识别在例如外科手术中使用的一种或多种医疗器械，如上所述。基于医疗器械的识别，可以在与医疗器械相关联的视频片段中的位置处识别特定的术中事件。例如，手术刀或其他仪器可以指示正在形成切口，并且识别切口的书签可以包括在该位置的时间线中。在一些实施例中，如上所述，可以使用例如计算机分析在视频片段中识别解剖结构。例如，所公开的方法可以包括识别患者的器官、组织、体液或其他结构以确定书签和它们各自的位置以包括在时间线中。在一些实施例中，视频书签的位置可以基于医疗器械和解剖结构之间的交互来确定，其可以是特定的术中事件、手术程序的类型、事件特征或用于识别书签位置的其他有用特征。例如，视觉动作识别算法可用于分析视频并检测医疗器械和解剖结构之间的交互。可以在视频片段中检测以放置书签的其他特征示例包括医生或其他医疗保健专业人员的运动、患者特征、医生特征或其他医疗保健专业人员特征、执行的手术顺序、手术或事件的时间、解剖结构的性质；

在一些实施例中，可以使用经过训练的机器学习模型来识别书签位置。例如，可以使用训练示例来训练机器学习模型，每个训练示例与手术程序、手术阶段、术中事件和/或事件特征相关联，带有指示视频片段内位置的标签。它可能包含已知的视频片段。使用经过训练的机器学习模型，可以在其他视频片段中识别类似的阶段和事件，以确定书签位置。Logistic回归模型，线性回归模型，回归模型，随机森林模型，KNN(K-Nearest Neighbor)模型，K-Means模型，决策树，cox比例风险回归模型(cox)比例风险回归模型)，朴素贝叶斯模型、SVM(Support Vector Machines)模型、梯度提升算法、人工神经网络 (如深度神经网络、卷积神经网络等)或任何其他形式的机器学习模型或算法，各种机器学习模型都可能用过的。

根据本发明的各种示例性实施例，书签可以由颜色或临界级别中的至少一个来编码。书签的编码可以是标记的类型、属性或特性的指示符。编码对于用户在视觉上确定视频中的哪些位置可能感兴趣是有用的。如果书签被颜色编码，则显示在手术时间线上的书签的颜色可以基于预定义的配色方案指示书签的属性或特性。例如，书签可能具有不同的颜色，这取决于它所代表的术中手术事件的类型。在一些示范性实施例中，与切口、消融、消融、结扎、植入或各种其他事件相关联的书签可以各自以不同颜色显示。在其他实施例中，术中不良事件可以与一种颜色(例如，红色)相关联并且计划的事件可以与另一种颜色 (例如，绿色)相关联。在一些实施例中，可以使用色标。例如，不良事件的严重性可以用范围从黄色到红色的色标或其他合适的色标来表达。

在一些实施例中，书签的位置和/或大小可以与阈值水平相关联。阈值水平可以指示由书签识别的事件、动作、技术、阶段或其他事件的相对重要性。尽管提供颜色作为用于区分表示信息的书签的外观的一个示例，但是可以使用多种其他技术。例如，书签可以具有各种大小、形状、位置、方向、字体大小、字体类型、字体颜色、书签动画或其他视觉属性。在一些实施例中，根据与它们相关联的事件的类型、动作或阶段，书签可以与不同的图标相关联。例如，可以与决策结点相关联的书签可以具有不同的图标，可以与其他类型的事件(例如并发症)相关联。图标可以表示与位置相关联的术中事件的类型。例如，书签可以指示在视频中的该位置处发生切口。图标(或其他视觉属性)指示计划外和计划中的事件、错误类型(例如，错误的通信错误、判断错误或其他类型的错误)、发生的特定副作用事件、正在执行的技术类型以及正在执行的动作类型。它可用于区分正在执行的手术阶段、术中手术事件的位置(例如，腹壁等)、执行手术的外科医生、手术程序的结果、或其他各种信息。

在一些说明性实施例中，一个或多个书签可以包括对应于外科手术的决策结点的决策结点书签。例如，决策结点书签可以指示描述外科手术的视频中的位置，在该位置可能有多个动作过程，并且外科医生选择遵循一个过程而不是另一个过程。例如，外科医生可以做出是否偏离计划的外科手术、采取预防措施、移除器官或组织、使用某些器械、使用某些手术技术或外科医生可能遇到的任何其他术中决定的决定。例如，决策结点可以指过程的一部分，其中做出对过程的结果具有重大影响的决策。在另一个示例中，决策结点是医生面临两个或更多可行替代方案以及两个或更多可行替代方案中的哪一个更好的决策点 (例如，预测可降低特定风险的替代方案；选择预计可改善结果的替代方案、预计可降低成本的替代方案等)至少基于一定数量的因素(例如，至少两个因素、至少五个因素、至少基于10个因素，基于至少100个因素，等等)。在进一步的示例中，决策分支可以指医生面临特定类型的决策并且该特定类型被包括在一组选定的决策类型中的过程的一部分。

决策结点书签的选择可以使外科医生能够查看来自两个或更多个相应不同手术程序的两个或更多个替代视频剪辑，从而使观看者能够比较替代方法。替代视频剪辑可以是说明除了当前向用户显示的内容之外的过程的任何视频剪辑。在一些实施例中，不同的外科手术可以不属于相同类型的手术，但是可以共享由决策交点书签识别的相同或相似的决策交点。在一些实施例中，两个或更多个视频剪辑可以提供不同的行为。

此外，在一些实施例中，与一个或多个备选可能决定相关联的一个或多个估计结果可以与一个或多个备选可能决定的显示一起显示。例如，备选可能决策的列表可以包括备选可能决策中的每一个的估计结果。估计的结果可以包括如果医生做出替代的可能决定而预测会发生的结果。此类信息可用于培训目的。例如，医生可以确定可以采取比视频中更合适的行动，并相应地计划未来的程序。在一些实施例中，替代的可能决定中的每一个可以与多个估计结果相关联，并且可以提供相应的概率。可以以多种方式确定一个或多个估计结果。在一些实施例中，估计结果可以基于与备选可能决策相关联的已知概率。例如，来自具有相似决策结点的先前外科手术的聚合数据可用于预测与标记相关联的备选可能决策的结果。在一些实施例中，概率和/或数据可以针对当前外科手术的一个或多个特征或属性进行定制。例如，在确定估计结果时可以考虑患者特征(例如患者的医疗状况、年龄、体重、病史或其他特征)、医师技能水平、手术难度、手术类型或其他因素。还可以分析其他特性，包括上面关于视频索引描述的事件特性。

在一些实施例中，还可以使用附加信息来确定结果。例如，分析可以基于与过去外科手术的多个视频相关联的一个或多个电子病历。例如，确定结果可以包括参考与视频相关联的电子病历，其中做出特定决定以确定患者是否康复、患者康复的速度、是否存在额外的并发症等。此类信息可用于预测超出视频片段范围的稍后可能发生的事情。例如，结果可能是外科手术后的数天、数周或数月。在一些实施例中，附加信息可用于通知视频分析以包括在分析中。例如，可能存在使用从病历中收集的信息共享类似患者病史、疾病类型、诊断类型、治疗历史(包括过去的手术程序)、医疗保健专业身份、医疗保健专业技能水平或其他相关数据的视频.可以识别。具有这些或其他特征的视频可以更准确地了解每种备选可能的决策可以预期的结果。

可以基于它们与当前决策结点相关的密切程度来识别相似的决策结点。在一些实施例中，根据相似性度量，单独的相似决策结点可以类似于外科手术的决策结点。度量可以是任何值、分类或其他指示决策结点关联程度的指标。可以基于计算机视觉分析来确定这样的度量，以确定程序或技术匹配的紧密程度。度量也可以基于决策分支点具有的共同特征的数量和特征匹配的程度来确定。例如，基于相似性度量，具有相似医疗状况和身体特征的患者的两个决策结点可以被分配比两个或更多不同患者更高的相似性。也可以使用各种其他特征和/ 或考虑。附加地或替代地，相似性度量可以基于任何相似性度量，例如上述相似性度量。例如，相似性度量可以等于相似性度量，可以是相似性度量的函数，等等。

除了决策结点标记之外或代替决策结点标记，可以使用多种其他标记类型。在一些实施例中，书签可以包括术中事件书签，其可以与视频中与术中事件的发生相关联的位置相关联。可以通过书签识别的各种术中手术事件的示例在本公开全文中提供，包括用于上述视频索引。在一些实施例中，术中手术事件书签可以是指示在该位置处发生的术中手术事件的通用书签。在其他实施例中，术中手术事件书签可以识别术中手术事件的特征，包括事件类型、该事件是否是不良事件或任何其他特征。

可以如上所述自动识别这样的术中手术事件书签。使用上述计算分析方法，可以在视频片段中识别医疗器械、解剖结构、医生特征、患者特征、事件特征或其他特征。例如，识别的医疗器械和解剖结构之间的相互作用可以指示正在执行切口、缝合或其他术中事件。在一些实施例中，可以基于数据结构中提供的信息来识别术中手术事件标记。

根据公开的实施例，术中手术事件书签的选择可以使外科医生能够查看来自各种手术程序的替代视频剪辑。在一些实施例中，替代视频剪辑可以提供解决选定的术中手术事件的不同方式。例如，在当前视频中，外科医生可以根据一种技术进行切口或其他动作。选择术中手术事件标记可允许外科医生查看可用于执行切口或其他动作的替代技术。在另一个示例中，术中手术事件可以是副作用事件，例如出血，并且替代视频剪辑可以描绘外科医生处理副作用事件的不同方式。在标记与术中手术事件相关的一些实施例中，术中手术事件书签的选择可以使外科医生能够查看来自各种手术过程的替代视频剪辑。例如，各种外科手术可能是不同类型的(例如，腹腔镜与胸腔镜)，但仍包括相同或相似的术中手术事件。外科手术也可能在其他方面有所不同，包括不同的医疗条件、不同的患者特征、不同的医疗专业人员或其他区别。选择术中手术事件标记可以允许外科医生查看来自各种手术程序的替代视频剪辑。

替代视频剪辑可以以类似于这里描述的其他实施例的各种方式来显示。例如，选择术中手术事件书签可以导致显示菜单，外科医生可以从中选择替代视频剪辑。该菜单提供了对处理所选术中手术事件的各种方式的描述、视频剪辑的缩略图、视频剪辑的预览和/或与视频剪辑相关的其他信息，例如视频剪辑的日期记录的、外科手术的类型、外科手术可能包括执行该手术的医生的姓名或身份，或任何其他相关信息。

根据本公开的一些实施例，至少一个视频可以包括来自多个外科手术的镜头的汇编，按照手术时间顺序排列。程序时间顺序可以指与外科手术相关的一系列事件。因此，以程序时间顺序排列镜头的汇编可以包括以如果对单个患者执行该程序将会发生的顺序来排列来自不同患者的不同事件。也就是说，尽管针对不同患者在不同手术中进行了编辑，但编辑的回放将按照它们在手术过程中出现的顺序显示素材。在一些实施例中，镜头的汇编可以描绘来自多个外科手术的并发症。在这样的实施例中，一个或多个书签可以与多个外科手术相关联并且显示在公共时间线上。因此，即使观看者与单个时间线交互，沿时间线呈现的视频片段也可能来自不同的程序和/或不同的患者。上面已经关于视频索引描述了可以显示的示例性复杂情况。

步骤S32：控制单元30读取从用户输入单元20施加的信号，并确定是否通过用户输入单元20输入了操作内容。

步骤S33：当通过用户输入单元20的操作输入记录在操作内容记录区域中的操作内容时，控制单元30显示在操作内容记录区域的对应位置中输入的操作内容，并存储该操作内容。将输入的操作信息与在其上显示内容的位置信息一起存储在存储单元40中。

步骤S34：当确定控制单元30处于已经执行了管理员的触摸操作或使用用户输入单元20对相应的单元手术图像的拖动操作的状态时，控制单元30为手术图像被放置在对应区域(例如，文件附件区域)中，并且与手术内容相对应地存储与所选择的单位手术图像有关的位置信息，并建立链接。在这种情况下，链接的单元手术图像可以是与手术期间执行的手术操作有关的图像。

步骤S35：当与通过用户输入单元20输入的操作内容有关的单位手术图像被拖动时，控制单元30使用有关的单位手术图像上的时间信息来确定单位手术图像在相应时间中的时间计算并显示区域。

步骤S36：在通过该操作记录操作内容的同时，控制单元30使用从用户输入单元20施加的信号来确定是否已经操作了用户选择按钮。

步骤S37：当确定已经操作了用户选择按钮时，控制单元30读取施加到用户输入单元20的信号以确定所选择的按钮的类型，并且确定所确定的按钮的类型执行相应的操作。

另外，手术记录具有保存按钮和取消按钮。此时，保存按钮用于存储当前生成的手术记录单，最小按钮用于取消当前创建的手术记录单。因此，控制单元30在生成外科手术记录单之后通过使用从用户输入单元20施加的信号来确定是否已经操作了保存按钮或取消按钮。当确定保存按钮处于操作状态时，控制单元30将当前生成的手术记录存储在存储单元40中。

另一方面，如果确定取消按钮处于操作状态，则控制单元30从输出单元50 取消当前生成的手术记录的输出，并将先前的手术记录输入屏幕传送到输出单元。由于用户选择按钮的操作由操作员随时执行，因此控制单元30输出操作记录输入画面，并且当在控制操作期间发生用户选择按钮的操作时，用户选择按钮的操作为被中断操作中断，实施相应的控制。通过分析手术过程中发生的重大事件，自动生成通过此操作创建的手术记录，并且不需要单独的手动准备和单独的准备时间。另外，可以积极地利用所创建的手术记录单的诸如视频和音频之类的媒体数据，并且诸如不必要的视频和音频之类的不必要的媒体数据被自动去除。

当通过这样的操作形成多个视频剪辑(即，单元手术图像)时，诸如医生的管理员选择有意义的帧，该有意义的帧是诸如事件发生的有意义的帧，并且可以输入或可以自动选择有意义的框。此时，当管理员选择有意义的帧并通过拖动操作移动到相应区域时，针对每个帧的脚本输入窗口被输出到输出单元50，从而管理员可以输入他或她想要的备忘录。为此，控制单元30将单位手术图像输出到输出单元50，然后使用来自用户输入单元20的信号来确定管理员选择的有意义的帧图像，并使用用户输入单元20。因此，根据管理器的拖动操作，将选定的有意义的框移动到相应的区域。此时，与所移动的有意义帧相对应的音频信息也被移动。此时，如上所述，控制单元30将每个帧的脚本输入窗口输出到输出单元50，使得管理员可以进行备忘录输入。

另外，当自动选择有意义的帧并将其移动到相应区域时，控制单元30搜索在每个单位手术区域中已经发生事件的帧，将搜索到的帧确定为有意义的帧，并移动到相应的帧。地区。因此，可以使用通过该操作选择的有意义的帧来产生视频剪辑和摘要视频中的至少一个。以此方式，由于手术记录单生成装置1 的操作，由于手术记录单被生成并存储在存储单元40中，因此方便且有效地管理手术记录单。另外，由于管理者不需要创建基于纸的手术记录，因此由于仅通过经由用户输入单元20链接操作内容和相关的手术图像来创建手术记录，因此提高了操作者的便利性。此时，由于将捕获的手术图像分为多个单位手术图像，因此管理员可以仅选择并使用期望的单位手术图像，从而消除了手动编辑其他手术图像的不便和时间的浪费。另外，对于手术用纸的准备，由于在输入操作细节时按时间顺序显示的单位操作图像中能够再现期望的单位操作图像，并且能够恢复手术步骤，因此能够提高手术用纸的精度。

当输入手术细节以创建手术记录时，将显示手术过程中主要场景的图像，从而提高了手术细节描述的准确性。此外，由于还链接了与操作内容有关的视频，因此可以容易且快速地检查与操作内容有关的视频，并且可以快速确定操作部位的状况。另外，如果必要，由于生成到外部设备的手术记录单通过通信单元60传输，因此可以在期望的时间查看并确认手术记录单，而与位置无关。此外，由于手术过程和分步视频已链接在一起，因此很容易制作手术概要视频并将其用于教育。另外，由于不需要顺序地检查所拍摄的手术图像来搜索与相应手术相关的视频，并且不必检查与重要手术相关的无意义的手术图像，因此不必要的时间浪费。大大减少了。

根据本发明另一实施例，本发明提供一种用于基于定制的模板提供手术报告的方法。

手术报告提供设备1提供手术报告模板编辑屏幕。手术报告模板编辑屏幕可以包括模板选择区域，模板设计结果区域和模板项目设计区域。模板选择区域是一个屏幕，其中添加了模板以选择模板，检查所选模板并创建新模板。模板设计结果区域是放大并显示在模板选择区域中选择的模板页面的画面，并且显示用户设计手术报告的模板项目的操作结果。手术报告模板编辑画面是用户设计手术报告的模板项目的画面。

本实施方式的模板项目设计区域由用户信息，手术信息，手术图像，其他项目(附录)和用户附加项目(定制)构成，可以通过用户设定来添加或删除项目。在模板项目设计区域中，模板项目被分类为主要类别，并且每个主要类别区域可以提供用于将主要类别中包括的所有项目添加到模板的整个项目选择菜单界面。

随后，手术报告提供设备1将用户在手术报告模板编辑屏幕上选择的模板项目重构为模板。例如，使用鼠标单击方法将模板项目添加到模板，使用拖放方法选择要添加到模板的项目，然后将其拖移到模板设计结果区域。此时，可以调整通过用户操作添加的模板项目的位置和大小。

在根据实施例的模板重新配置步骤中，当要添加的模板项是图像时，手术报告提供设备1是由用户手动添加图像的方法，以及在屏幕上的路径。根据在检查了该信息之后在屏幕上的路径信息，使用了一种方法，该方法通过在没有用户输入的情况下调用在屏幕上设置了路径的图像来将图像自动添加到屏幕上的路径。

随后，通过将内容反映在重组模板上来生成手术报告。手术报告可以保存和打印。例如，它可以以pdf文件的形式保存，显示在屏幕上或通过打印设备输出到外部。

因此，上述实施方式在所有方面都是例示性的，应理解为非限制性的，本发明的范围由后述的权利要求书而不是上述的详细说明和权利要求书的意思来表示。并且，从等同的概念得到的范围以及所有改变或修改应被解释为包括在本发明的范围内。

Claims (8)

1.一种富媒体手术记录单生成系统，其特征在于，包括数据获取单元、用户输入单元、控制单元、连接至控制单元的存储单元、输出单元以及通信单元；

其中，数据获取单元获取患者的基本图像数据，通过拍摄进行手术的人的手术部位来创建手术视频；

用户输入单元生成与输入操作有关的信号，并将所生成的信号输出至控制单元；

控制单元将从数据获取单元发送的手术视频划分为预定的时间单位，并且将手术图像划分为单位手术图像和单位音频，以及每当指定事件发生时生成事件索引信息，并将它们分别存储在存储单元中；

存储单元存储操作期间生成的数据、与手术视频有关的手术图像数据以及当前正在接受手术的被检者的信息有关的数据；

输出单元在控制单元的控制下在屏幕上显示与从控制单元输出的图像数据相对应的图像，并且输出所生成的手术记录单；

通信单元用于与诸如个人计算机或便携式终端之类的外部设备进行通信。

2.一种富媒体手术记录单生成方法，应用于如权利要求1所述的一种富媒体手术记录单生成系统，其特征在于，包括如下步骤：

步骤S1：当操作所需的电力被提供时，数据获取单元的操作从手术开始就开始，从而拍摄与手术过程有关的视频；

步骤S2：控制单元操作数据获取单元并使用由数据获取单元捕获的手术视频，每当在手术期间发生特定事件时，生成事件索引信息，将手术图像数据和音频数据划分为设定时间单位，并且将设定时间的手术图像和音频划分为单位手术图像和单位音频；

步骤S3：控制单元使用所生成的事件索引信息，多个单位外科手术图像和单位音频来生成外科手术记录单。

3.根据权利要求2所述的一种富媒体手术记录单生成方法，其特征在于，所述步骤S2包括：

步骤S21：控制单元将与存储在存储单元中的记录开始画面有关的图像数据输出到输出单元，并且将图像数据输出到输出单元；

步骤S22：通过用户输入单元选择记录开始按钮，执行数据获取单元的拍摄操作，捕获手术视频，并且生成相对应的操作图像数据和音频数据。

步骤S23：控制单元顺序地存储所输入的手术图像数据和音频数据以及所发送的时间信息，并将其存储在存储单元中；

步骤S24：检测在手术期间发生的事件，确定是否存在期望事件；

步骤S25：当存在期望事件时，控制单元生成与所生成的事件有关的事件索引信息，并将其存储在存储单元中；

步骤S26：控制单元通过内部计时器确定所计数的时间是否超过设定时间时，分割在设定时间内输入的手术图像数据和声音数据，分割与分割的手术图像数据和声音有关的手术图像数据；

步骤S27：控制单元确定是否执行了记录结束操作，结束操作。

4.根据权利要求3所述的一种富媒体手术记录单生成方法，其特征在于，所述步骤S25中，期望的事件为出血事件，具体根据颜色分析结果，对比度分析结果，手术器械的外观，医生的命令，手术场景的改变，模糊或起雾确定是否存在出血事件。

5.根据权利要求3所述的一种富媒体手术记录单生成方法，其特征在于，所述步骤S25中，事件索引信息具体可为标识手术阶段、术中手术事件和决策结点中的至少一个的标记，使用一种或多种图像识别算法来识别视频素材的一帧或多帧的特征自动生成事件索引信息。

6.根据权利要求2所述的一种富媒体手术记录单生成方法，其特征在于，所述步骤S3包括：

步骤S31：控制单元使用存储在存储单元中的图像数据和单元音频将手术记录输入屏幕输出到输出单元；

步骤S32：控制单元读取从用户输入单元施加的信号，并确定是否通过用户输入单元输入了操作内容；

步骤S33：当通过用户输入单元输入操作内容时，控制单元显示在操作内容记录区域的对应位置中输入的操作内容，并存储该操作内容，将输入的操作信息与在其上显示内容的位置信息一起存储在存储单元中；

步骤S34：控制单元检测到手术图像被放置在对应区域中，将其与手术内容相对应地存储在相关的位置信息建立链接；

步骤S35：控制单元使用手术图像上的时间信息来确定手术图像的时间；

步骤S36：控制单元在确定选择的按钮，并执行按钮相应的操作。

7.根据权利要求6所述的一种富媒体手术记录单生成方法，其特征在于，所述步骤S36包括保存按钮和取消按钮，保存按钮用于存储当前生成的手术记录单，取消按钮用于取消当前创建的手术记录单。

8.根据权利要求2所述的一种富媒体手术记录单生成方法，其特征在于，还包括选择定制的手术单模板步骤，具体包括：

提供手术记录单模板编辑屏幕，包括模板选择区域，模板设计结果区域和模板项目设计区域；

将用户在手术报告模板编辑屏幕上选择的模板项目重构为模板；

生成手术记录单模板，以pdf文件的形式保存。

Images