CN107657990A - 一种手术记录录入的辅助支持系统及方法 - Google Patents

Abstract

本发明提供一种手术记录录入的辅助支持系统及方法，其系统基于四个子系统和多个功能模块提供服务，主要包括数据采集子系统、手术记录管理子系统、服务子系统和业务管理子系统；本发明一方面通过对手术过程中多通道多模态数据的有效组织和索引，可以帮助医生在术后快速回忆和重建手术过程的场景，从而克服医师的记忆局限和多场手术情况下的记忆混淆；另一方面可以通过对语音、视频和文本的挖掘分析快速自动生成手术记录的草稿，从而大大节约医师撰写手术记录的时间，提高工作效率，进而提高电子病历的质量，为患者的后续诊疗和回访提供更加可靠的依据。

Description

一种手术记录录入的辅助支持系统及方法

技术领域

本发明涉及计算机辅助技术或医学信息学技术领域，尤其涉及一种手术记录录入的辅助支持系统及方法。

背景技术

手术是指医师用刀和其他器械治疗某些疾病的方法，如切除病灶或修复身体上的缺损，以恢复或改善身体的功能。手术记录是包含手术相关信息的文档，通常包括手术日期、术前诊断、术后诊断、手术名称、手术者、麻醉师姓名、麻醉方法、手术经过等基本项目，其中，手术经过是主要组成部分，主要描述以下各项内容：①患者体位、皮肤准备及其切口；②探查有关脏器、组织及主要病理所见，与临床诊断不符合时，更要详细记录；③决定所施手术方法的原因；④手术的重要步骤，包括缝合方式、所用缝线、有无引流或固定等；⑤手术时及术终时患者情况，术中的用药和输血、输液等治疗项目，麻醉效果是否良好等；⑥病变标本肉眼所见，是否送病理科检查等。手术记录是外科病历文档中一个重要组成部分，具有很重要的意义和作用。

目前，手术记录主要是通过电子病历系统(EMR)在手术完成后由医生进行录入，但是这种录入方式存在以下几个方面的不足：1.手术记录通常是在术后由手术医师录入，录入的内容往往仅凭个人记忆或者手术助理记录的简单摘要，这就容易导致记录错误，在同一位医师进行多场手术后再进行手术记录录入的情况下，则更容易混淆或错误；2.通过键盘打字录入手术记录速度较慢，加上医师对语言的组织，手术记录的录入过程往往非常耗时，占用了医生大量的宝贵时间。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种手术记录录入的辅助支持系统及方法，以解决上述技术问题。

本发明提供的手术记录录入的辅助支持系统，包括：

数据采集子系统，用于采集手术过程中的原始数据；

手术记录管理编辑子系统，用于进行人机交互、重现手术过程以及编辑手术记录文档；

服务子系统，用于对原始数据进行分析、处理和存储，生成结构化索引，生成手术经过草稿；

业务管理子系统，用于进行业务管理、数据分析和监控。

进一步，所述手术记录管理编辑子系统包括：

登录模块，用于对用户进行登录鉴权和权限认证；

手术记录检索模块，用于检索手术记录；

手术记录录入编辑模块，用于创建、编辑、生成手术记录；

回放模块，用于解构回放手术过程；

评价评论模块，用于对手术记录进行评价和评论。

进一步，服务子系统包括业务层、数据层和用于时间同步的时间同步模块；

业务层包括：

语音处理模块，用于对原始数据中的语音信息识别和分析，获取语音文本和声纹信息，生成带时间戳的文本对话信息；

视频处理模块，用于对原始数据中的视频信息进行分析获取基于时间线的手术视频场景要素、视频切分以及对手术过程中的各阶段进行识别，生成场景信息；

文本处理模块，用于对文本对话信息进行分析，并整合业务信息和场景信息生成手术经过草稿；

索引及检索模块，用于根据分析结果对原始数据建立结构化索引信息，并提供检索服务；

数据层包括：

数据库模块，用于存储数据；

流媒体存取模块，用于流式数据的存取和点播；

HIS数据读取与抽取模块，与HIS系统连接用于对获取的HIS数据的读取、整合和抽取信息。

进一步，所述业务管理子系统包括

用户管理模块，用于对用户资料进行管理；

业务管理模块，用于对业务进行管理；

数据分析模块，用于对系统运行中的历史数据进行处理分析；

业务监控模块，用于系统运行的各项指标数据进行监控。

进一步，所述原始数据为多通道多模态数据，包括文本数据、语音数据、图像数据和视频数据，所述数据采集子系统包括语音信号采集模块、视频信号采集模块和数据采集集成模块。

本发明还提供一种手术记录录入的辅助支持方法：

采集手术过程中的原始数据，所述原始数据包括语音数据和视频数据；

对原始数据进行分析、处理和保存；

根据所述原始数据生成手术经过草稿。

进一步，所述原始数据为多通道多模态数据，包括语音数据、图像数据和视频数据；

对原始数据进行处理包括：

对原始数据中的语音信号进行分析和识别；

对原始数据中的视频信号进行分析和识别；

通过音视频分析识别结果和手术记录属性信息生成结构化索引，在术后进行解构回放；

根据语音识别结果生成文本信息，根据视频识别结果生成场景信息，并根据所述文本信息和场景信息生成手术经过草稿。

进一步，采集手术过程中的原始数据包括直接采集和/或交互式采集；

所述直接采集包括：通过信号采集器采集原始数据，并将原始数据发送至服务器端进行处理和储存；

所述交互式采集包括：将语音划分为控制语音和记录语音，通过控制执行相应的控制命令，并根据对应的控制命令记录语音数据。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项方法。

本发明还提供一种手术记录录入终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述任一项方法。

本发明的有益效果：本发明可以克服医师的记忆局限和多场手术情况下的记忆混淆，可以帮助医生在术后快速回忆和重建手术过程的场景，可以通过语音和文本分析快速自动生成手术记录的草稿，从而大大节约医师撰写手术记录的时间，提高工作效率，进而提高电子病历的文档质量，为患者的后续诊疗和回访提供更加可靠的依据。

附图说明

图1是本发明实施例中的手术记录录入的辅助支持系统结构示意图。

图2是本发明实施例中的手术记录录入终端结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本实施例中的一种手术记录录入的辅助支持系统，包括：

数据采集子系统，用于采集手术过程中的原始数据；

手术记录管理编辑子系统，用于进行人机交互、重现手术过程以及编辑手术记录文档；

服务子系统，用于对原始数据进行分析、处理和存储，生成结构化索引，生成手术经过草稿；

业务管理子系统，用于进行业务管理、数据分析和监控。

在本实施例中，手术记录录入的辅助支持系统主要由数据采集子系统、手术记录管理编辑子系统、服务子系统、业务管理子系统四个子系统组成。数据采集子系统主要实现手术过程中的原始数据采集、数据转发、人机语音交互等功能；手术记录管理编辑子系统主要实现手术过程音视频解构回放、手术记录自动生成、手术记录编辑、评价评论、多人协作编辑等功能；服务子系统主要实现音视频分析、多通路多模态数据索引与检索、文本分析生成、数据存取等核心功能；业务管理子系统主要用于对系统的各业务进行管理和监控。

在本实施例中，数据采集子系统包括语音信号采集模块、视频信号采集模块、数据采集集成模块，部署于手术室中，用于采集多模态原始数据，语音信号采集模块可由语音信号采集器阵列完成，视频信息信号采集模块可由视频信号采集器阵列完成，数据采集集成模块与语音信号采集模块、视频信号采集模块相连，可由采集工作站完成，阵列的构型以及采集器的数量可根据手术室的具体场景和布局进行定制，可通过数据线缆、Wifi或者蓝牙等方式连入信号采集工作站。在本实施例中，为保证对多人语音的分离，语音采集器阵列提供多于3路的语音输入；为了多视角的视频采集，视频信号采集阵列至少包含术野、全局两路视频信号输入。具体实施时，语音信号和视频信号采集器阵列可灵活定制，例如，一路语音信号采集器和一路视频信号采集器由同一设备提供，如带语音采集的摄像头，有多个这样的设备根据场景和需求进行定制；又例如，所有语音信号由一个语音采集器阵列提供，如麦克风阵列，视频信号则由多个单独的摄像头提供；或者例如，每路语音信号由单独的采集器提供，比如单个麦克风，并分别连入信号采集工作站，视频信号采集器则由多个单独的摄像头提供。

在本实施例中，手术记录管理编辑子系统主要包括登录模块、手术记录检索模块、手术记录录入编辑模块、手术过程音视频结构回放模块、评价评论模块，可部署于医生工作站或其他多种类型客户端；登录模块，用于对用户进行登录鉴权和权限认证，具体实施例中可自建用户系统，也可与HIS集成。手术检索模块用于检索手术记录，支持手术ID、手术名称、医师ID、医师姓名、患者ID、患者姓名等字段检索，检索结果以列表形式展示，点击其中某条后进入手术记录录入界面；手术记录录入模块是主要功能模块，主要实现手术过程音视频结构回放、手术经过草稿自动生成与加载、手术记录编辑、多人协作编辑等功能，由交互界面、服务子系统联合实现其功能。评价评论模块主要用于对该手术记录的评价和评论，上级医生或管理人员可登录系统，查看下级管辖医生的手术记录编辑内容和手术过程的音视频信息，可对该手术记录及其手术进行评价评论。

在本实施例中，服务子系统主要模块可分为业务层和数据层，业务层具体包括语音识别与分析模块、文本分析与生成模块、视频分析模块、索引与检索模块，数据层具体包括数据库模块、流媒体存取模块、HIS数据读取与抽取模块，此外，服务子系统还包括用于保持整个系统一致性的时间同步模块，部署于医院机房或云服务中心等，保证多台物理机之间的时间保持一致性，以保证所有业务之间的时间一致性。流媒体存取模块用于海量语音数据、视频数据等流式数据的快速存取与点播，数据库模块主要用于存取交互数据、文本数据、模板数据等数据，HIS数据读取和抽取模块主要用于从医院现有HIS系统快速读取相关数据、整合数据、抽取信息等功能。语音识别与分析模块主要实现语音分析、语音识别、声纹分析、声纹识别、模型学习训练等功能。文本分析与生成服务器实现对话文本和场景识别信息的整合分析、手术记录自动生成等功能。视频分析模块则主要用于对手术视频的内容进行分析以获取基于时间线的手术视频场景要素，手术视频切分与手术阶段识别，比如：手术阶段、切口长度、创伤面积、组织器官。单模态单通道的数据往往会存在一定的错误识别率，综合分析模块对语音处理模块、文本处理模块、视频处理模块的结果进行综合分析、交叉验证、数据筛选，结合时间线生成结构化的信息，可大大降低错误识别率对系统的影响。索引与检索模块根据其他模块的分析和识别结果，对时间、音视频数据和文本数据等各维度数据综合分析，对原始数据进行语义级索引，以方便术后对手术过程进行回放，本实施例中的服务子系统通过语音识别结果生成文本信息，根据视频识别结果生成手术阶段、切口长度、组织器官名称等场景信息，并根据文本信息和场景信息，结合时间线分析生成手术经过草稿，手术经过草稿是手术记录的重要组成部分，通常由医生直接撰写，出错率高且工作效率低下，本实施例通过自动生成手术经过草稿，大大提高了医生完成手术记录的效率，并且可靠性高。

在本实施例中，业务管理子系统主要包括用户管理模块、业务管理模块、数据分析模块、业务监控模块，用户管理模块主要实现对使用系统的用户进行资料维护、授权、操作日志、绩效评估等功能。业务管理模块主要用于本支持系统相关的业务进行管理，实现手术台信息管理、音视频采集设备管理、数据管理、参数设定、业务操作等功能。数据分析模块主要用于对系统运行中的历史数据进行处理分析，并统计出各种业务指标。业务监控模块主要用于准实时监控系统运行的各项指标数据，并通过界面呈现出来。

在本实施例的手术过程中，数据采集子系统交互式采集时间序列语音视频信号并将其转换为多模态数据通过医院内部网络传输到服务子系统；服务子系统接收来自采集端的数据一方面通过流媒体服务器进行原始数据的持久化存储，另一方面通过语音识别与分析服务器进行语音分析、语音识别、声纹分析、声纹识别，并将分析识别的数据转换为具有一定结构特定的数据，结合通过HIS中间件读取到的HIS数据，保存到数据库服务器中。手术完成后，医师在手术记录管理编辑子系统登陆系统，通过手术记录录入编辑器，在录入编辑器中可加载在手术过程中采集的数据，在这些数据基础上进行患者的手术记录的编辑操作，编辑完成后可通过HIS中间件保存到电子病历系统中，从而完成整个手术记录的录入。

相应地，本实施例还提供一种手术记录录入的辅助支持方法，包括：

采集手术过程中的原始数据，所述原始数据包括语音数据和视频数据；

对原始数据进行分析、处理和保存；

根据所述原始数据生成手术记录草稿和结构化索引，并通过人机交互对手术过程进行重现。

本实施例中的原始数据为多通道多模态数据，包括多路语音数据、多角度图像数据和视频数据；

对原始数据进行处理包括：

对原始数据中的语音信号进行分析和识别；

对原始数据中的视频信号进行分析和识别；

根据语音识别结果生成文本信息，根据视频识别结果生成手术阶段、切口长度、组织器官名称等场景信息，并根据所述文本信息和场景信息并结合时间线分析生成手术经过草稿。

本实施例中的采集手术过程中的原始数据包括直接采集和/或交互式采集。

直接采集模式：信号采集集成模块接收来自信号采集器的采集数据(信号一般在采集器中采样为数字化数据)，一方面将数据暂存于本地磁盘，另一方面将数据转发到后台服务器中进行处理和存储。这种模式下采集的数据为流式音频和视频数据，采集过程可不进行实时的语音分析和识别，可在该台手术完成后批量处理。

交互式采集模式：交互式采集模式是医师或助手参与的一种数据采集模式，主要通过语音控制的方式实现。实现方式一：语音分为控制语音和记录语音。信号采集子系统实时采集手术医师或者助手等人员的语音信息，及时传送到后台语音识别与分析服务器，后台语音识别与分析服务器对接收的语音数据进行分析和识别，如果是控制语音，则执行相关的命令，并反馈结果至采集工作站，采集工作站通过扬声器或显示屏的方式将反馈信息展示给医师或助手；如果是记录语音，则进行存储、分析和识别。实现方式二：语音分为唤醒语音、睡眠语音和记录语音。语音信号采集器阵列处于睡眠状态并只接收唤醒语音指令，当收到唤醒语音指令如“开始记录”，语音采集器转换为唤醒状态，并开始记录语音数据，当语音录入完毕，收到睡眠指令如“结束记录”，系统则转入睡眠状态并只接收唤醒语音指令。如此循环直到手术完成。通过直接采集或交互式采集，或者通过二者相结合来完成数据的采集。

下面列举一个具体实施例来进行说明：

1)医师首先登录到手术记录管理编辑子系统。

2)医师输入患者ID，系统从系统中调取该医师针对该患者所进行的手术，如果存在多个手术记录，则列出列表供医师选择。

3)医师选择确定某台手术后，正式进入该台手术的手术记录录入界面，录入界面首先从后台通过HIS中间件调取手术日期、术前诊断、术后诊断、手术名称、手术者、麻醉师姓名和麻醉方法等HIS系统中已存在的基本数据(如果HIS系统没有，则医师在界面可手工输入)，然后调取该台手术过程中本辅助支持系统中所记录的数据，按照时间顺序和不同的模态类别使用列表的方式进行展示，列表展示方式可采取简单的聊天记录式的列表展示，也可采用分组分类的方式进行展示，甚至可提供按类别、人员等方式进行筛选展示，在列表展示区，可回放录音和视频，方便医生快速重建对手术过程的回忆。

4)在本实施例中，可以根据病种或手术等进行分类的一类模板，便于生成标准的手术记录文档，自动加载可用的模板供医师选择；根据手术过程收集的信息，自动生成一篇手术经过的草稿并加载显示在手术经过的编辑区，医生可在草稿基础上进行编辑修改；自动保存手术经过和其他条目内容，生成一份电子病历格式的文档，并返回到界面端并弹出新窗口显示该文档供医生预览；检查医师是否执行“EMR预览”操作，如果没有执行则弹出提示窗口提示医师预览电子病历，如果执行了则复制预览文档的内容到操作系统剪贴板，医师打开电子病历系统可将文档内容粘贴到电子病历系统中；检查医师是否执行“EMR预览”操作，如果没有执行则弹出提示窗口提示医师预览电子病历，如果执行了则自动同步EMR文档到电子病历系统中；将医师填写的所有的信息全部保存到服务器中，下次重新进入该台手术的界面时，则自动加载已保存的内容。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种手术记录录入终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

如图2所示，本实施例手术记录录入终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使手术记录录入终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种手术记录录入的辅助支持系统，其特征在于，包括：

数据采集子系统，用于采集手术过程中的原始数据；

手术记录管理编辑子系统，用于进行人机交互、重现手术过程以及编辑手术记录文档；

服务子系统，用于对原始数据进行分析、处理和存储，生成结构化索引，生成手术经过草稿；

业务管理子系统，用于进行业务管理、数据分析和监控。

2.根据权利要求1所述的手术记录录入的辅助支持系统，其特征在于，所述手术记录管理编辑子系统包括：

登录模块，用于对用户进行登录鉴权和权限认证；

手术记录检索模块，用于检索手术记录；

手术记录录入编辑模块，用于创建、编辑、生成手术记录；

回放模块，用于解构回放手术过程；

评价评论模块，用于对手术记录进行评价和评论。

3.根据权利要求1所述的手术记录录入的辅助支持系统，其特征在于，服务子系统包括业务层、数据层和用于时间同步的时间同步模块；

业务层包括：

语音处理模块，用于对原始数据中的语音信息识别和分析，获取语音文本和声纹信息，生成带时间戳的文本对话信息；

视频处理模块，用于对原始数据中的视频信息进行分析获取基于时间线的手术视频场景要素、视频切分以及对手术过程中的各阶段进行识别，生成场景信息；

文本处理模块，用于对文本对话信息进行分析，并整合业务信息和场景信息生成手术经过草稿；

索引及检索模块，用于根据分析结果对原始数据建立结构化索引信息，并提供检索服务；

数据层包括：

数据库模块，用于存储数据；

流媒体存取模块，用于流式数据的存取和点播；

HIS数据读取与抽取模块，与HIS系统连接用于对获取的HIS数据的读取、整合和抽取信息。

4.根据权利要求1所述的手术记录录入的辅助支持系统，其特征在于，所述业务管理子系统包括：

用户管理模块，用于对用户资料进行管理；

业务管理模块，用于对业务进行管理；

数据分析模块，用于对系统运行中的历史数据进行处理分析；

业务监控模块，用于系统运行的各项指标数据进行监控。

5.根据权利要求1所述的手术记录录入的辅助支持系统，其特征在于：所述原始数据为多通道多模态数据，包括文本数据、语音数据、图像数据和视频数据，所述数据采集子系统包括语音信号采集模块、视频信号采集模块和数据采集集成模块。

6.一种手术记录录入的辅助支持方法，其特征在于：

采集手术过程中的原始数据，所述原始数据包括语音数据和视频数据；

对原始数据进行分析、处理和保存；

根据所述原始数据生成手术经过草稿。

7.根据权利要求6所述的手术记录录入的辅助支持方法，其特征在于：所述原始数据为多通道多模态数据，包括语音数据、图像数据和视频数据；

对原始数据进行处理包括：

对原始数据中的语音信号进行分析和识别；

对原始数据中的视频信号进行分析和识别；

通过音视频分析识别结果和手术记录属性信息生成结构化索引，在术后进行解构回放；

根据语音识别结果生成文本信息，根据视频识别结果生成场景信息，并根据所述文本信息和场景信息生成手术经过草稿。

8.根据权利要求7所述的手术记录录入的辅助支持方法，其特征在于，采集手术过程中的原始数据包括直接采集和/或交互式采集；

所述直接采集包括：通过信号采集器采集原始数据，并将原始数据发送至服务器端进行处理和储存；

所述交互式采集包括：将语音划分为控制语音和记录语音，通过控制执行相应的控制命令，并根据对应的控制命令记录语音数据。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求6至8中任一项所述方法。

10.一种手术记录录入终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求6至8中任一项所述方法。