CN109274914A - 一种基于ar眼镜的自动化手术记录整理的方法及系统 - Google Patents

Abstract

本申请涉及一种基于AR眼镜的自动化手术记录整理的方法及系统，其中，所述方法包括：在手术前预先向AR眼镜中录入患者的医疗信息；在手术过程中，通过所述AR眼镜全程记录视频与音频，并通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像；基于预先录入的所述患者的医疗信息以及获取的所述关键视频、关键音频和关键图像，自动整理本次的手术记录。本申请提供的技术方案，能够通过第一视角采集手术过程的音视频数据，并能够自动整理手术记录。

Description

一种基于AR眼镜的自动化手术记录整理的方法及系统

技术领域

本申请涉及医疗技术领域，特别涉及一种自动化手术记录整理的方法及系统。

背景技术

目前，为了对手术过程进行有效监督，以及为了在手术之后对手术过程进行分析和总结，通常会对手术过程进行记录。

现有手术记录整理主要包括摄像团队进行手术过程摄制与摄制后的手术记录整理两部分。其限制因素与缺点主要体现在以下几个方面：(1)由于需要摄制团队，只能对部分手术进行记录，需要花费大量人力物力；(2)为避免干扰，需与医生保持距离，且视角并非第一视角，对于精细的手术操作难以完整记录；(3)手术记录人工整理需要人力与专业知识。

因此，目前亟需一种更加高效以及更加全面的手术记录方法。

发明内容

本申请的目的在于提供一种基于AR(Augmented Reality，增强现实)眼镜的自动化手术记录整理的方法及系统，能够通过第一视角采集手术过程的音视频数据，并能够自动整理手术记录。

为实现上述目的，本申请提供一种基于AR眼镜的自动化手术记录整理的方法，所述方法包括：

在手术前预先向AR眼镜中录入患者的医疗信息；

在手术过程中，通过所述AR眼镜全程记录视频与音频，并通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像；

基于预先录入的所述患者的医疗信息以及获取的所述关键视频、关键音频和关键图像，自动整理本次的手术记录。

进一步地，所述预设指令集至少包括记录视频、拍摄照片、放大拍摄、调取病历以及插入信息。

进一步地，通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像包括：

所述AR眼镜接收记录视频的指令，并从接收到所述记录视频的指令的时刻开始录制视频，并在接收到停止记录视频的指令时，停止本次的视频录制过程，并将本次录制的视频作为所述关键视频。

进一步地，自动整理本次的手术记录包括：

在手术记录的模板中确定视频记录区域，并将所述关键视频压缩之后，插入所述视频记录区域中。

进一步地，通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像包括：

所述AR眼镜接收拍摄照片或者放大拍摄的指令，并按照所述指令拍摄当前的图像，并将当前拍摄的图像作为所述关键图像。

进一步地，自动整理本次的手术记录包括：

在手术记录的模板中确定图像记录区域，并将所述关键图像插入所述图像记录区域中。

进一步地，所述方法还包括：

所述AR眼镜接收调取病历和插入信息的指令，获取预先录入的所述患者的医疗信息；

相应地，自动整理本次的手术记录包括：

在手术记录的模板中确定医疗信息区域，并将获取的所述患者的医疗信息插入所述医疗信息区域中。

进一步地，所述方法还包括：

所述AR眼镜通过语音识别技术对全程记录的音频进行识别，以将所述全程记录的音频转换为对应的文字；

从转换得到的文字中抽取具备语义的文字，并将抽取的文字插入对应时间的手术记录中。

为实现上述目的，本申请还提供一种基于AR眼镜的自动化手术记录整理的系统，所述系统包括：

医疗信息录入单元，用于在手术前预先向AR眼镜中录入患者的医疗信息；

关键信息获取单元，用于在手术过程中，通过所述AR眼镜全程记录视频与音频，并通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像；

手术记录自动整理单元，用于基于预先录入的所述患者的医疗信息以及获取的所述关键视频、关键音频和关键图像，自动整理本次的手术记录。

进一步地，所述关键信息获取单元包括：

视频获取模块，用于接收记录视频的指令，并从接收到所述记录视频的指令的时刻开始录制视频，并在接收到停止记录视频的指令时，停止本次的视频录制过程，并将本次录制的视频作为所述关键视频；

图像获取模块，用于接收拍摄照片或者放大拍摄的指令，并按照所述指令拍摄当前的图像，并将当前拍摄的图像作为所述关键图像；

语音识别模块，用于通过语音识别技术对全程记录的音频进行识别，以将所述全程记录的音频转换为对应的文字。

由上可见，通过使用AR眼镜的自动化手术记录整理的方案，至少可以达到以下有益效果：

(1)能够方便地对手术过程进行记录；

(2)以第一视角进行记录，获取最丰富的信息和手术细节；

(3)自动化整理手术记录，对手术过程进行更全面精准的记录，节省人力成本。

附图说明

图1为本申请中的基于AR眼镜的自动化手术记录整理的方法步骤图；

图2为本申请中的基于AR眼镜的自动化手术记录整理的系统的功能模块图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

请参阅图1，本申请提供一种基于AR眼镜的自动化手术记录整理的方法，所述方法包括：

S1：在手术前预先向AR眼镜中录入患者的医疗信息；

S2：在手术过程中，通过所述AR眼镜全程记录视频与音频，并通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像；

S3：基于预先录入的所述患者的医疗信息以及获取的所述关键视频、关键音频和关键图像，自动整理本次的手术记录。

其中，所述预设指令集至少包括记录视频、拍摄照片、放大拍摄、调取病历以及插入信息。

在一个实施方式中，所述通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像包括：

所述AR眼镜接收记录视频的指令，并从接收到所述记录视频的指令的时刻开始录制视频，并在接收到停止记录视频的指令时，停止本次的视频录制过程，并将本次录制的视频作为所述关键视频。

相应地，自动整理本次的手术记录包括：

在手术记录的模板中确定视频记录区域，并将所述关键视频压缩之后，插入所述视频记录区域中。

在一个实施方式中，所述通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像包括：

所述AR眼镜接收拍摄照片或者放大拍摄的指令，并按照所述指令拍摄当前的图像，并将当前拍摄的图像作为所述关键图像。

相应地，自动整理本次的手术记录包括：

在手术记录的模板中确定图像记录区域，并将所述关键图像插入所述图像记录区域中。

在一个实施方式中，所述方法还包括：

所述AR眼镜接收调取病历和插入信息的指令，获取预先录入的所述患者的医疗信息；

相应地，自动整理本次的手术记录包括：

在手术记录的模板中确定医疗信息区域，并将获取的所述患者的医疗信息插入所述医疗信息区域中。

在一个实施方式中，所述方法还包括：

所述AR眼镜通过语音识别技术对全程记录的音频进行识别，以将所述全程记录的音频转换为对应的文字；

从转换得到的文字中抽取具备语义的文字，并将抽取的文字插入对应时间的手术记录中。

具体地，在实际应用中，本申请的技术方案可以按照以下方式实现：

该方案主要分为三部分：(1)术前患者信息录入；(2)术中视频，音频，图像的记录；(3)术后的自动化手术记录整理。

每一部分的具体技术方案如下：

术前患者信息录入：录入患者的医疗信息，方便手术时查阅与调用，并实现完整的手术记录整理。

术中视频，音频，图像的记录：通过AR眼镜全程记录视频与音频，通过指令集实现指定视频，音频，图像的重点记录和患者医疗信息的调取和展示。指令集主要包含以下指令：记录视频，拍摄照片，放大拍摄，调取病历，插入信息。

术后的自动化手术记录整理：手术记录的整理包括患者基本医疗信息的插入(基于术前患者信息录入)，手术过程记录(基于术中视频，音频，图像的记录)，与手术总结(医生术后语音录入)。对于手术过程的记录包括：自动压缩和插入“记录视频”指令指定的视频；插入“拍摄照片”指令指定的照片；插入“调取病历”和“插入信息”指令指定的病例项目和信息；对全程的音频进行记录，语音识别自动识别语音来源角色，语音转换为文字，抽取有意义的文字，插入对应时间的手术记录中。

该方案的硬件载体为AR眼镜，为实现手术记录的自动化记录采取了以下措施：采取特定指令集实现指定的AR眼镜操作，自动化的视频和音频的压缩，语音识别，语音转换文字，语义识别。

请参阅图2，本申请还提供一种基于AR眼镜的自动化手术记录整理的系统，所述系统包括：

医疗信息录入单元，用于在手术前预先向AR眼镜中录入患者的医疗信息；

关键信息获取单元，用于在手术过程中，通过所述AR眼镜全程记录视频与音频，并通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像；

手术记录自动整理单元，用于基于预先录入的所述患者的医疗信息以及获取的所述关键视频、关键音频和关键图像，自动整理本次的手术记录。

在一个实施方式中，所述关键信息获取单元包括：

视频获取模块，用于接收记录视频的指令，并从接收到所述记录视频的指令的时刻开始录制视频，并在接收到停止记录视频的指令时，停止本次的视频录制过程，并将本次录制的视频作为所述关键视频；

图像获取模块，用于接收拍摄照片或者放大拍摄的指令，并按照所述指令拍摄当前的图像，并将当前拍摄的图像作为所述关键图像；

语音识别模块，用于通过语音识别技术对全程记录的音频进行识别，以将所述全程记录的音频转换为对应的文字。

由上可见，通过使用AR眼镜的自动化手术记录整理的方案，至少可以达到以下有益效果：

(1)能够方便地对手术过程进行记录；

(2)以第一视角进行记录，获取最丰富的信息和手术细节；

(3)自动化整理手术记录，对手术过程进行更全面精准的记录，节省人力成本。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。

Claims (10)

1.一种基于AR眼镜的自动化手术记录整理的方法，其特征在于，所述方法包括：

在手术前预先向AR眼镜中录入患者的医疗信息；

在手术过程中，通过所述AR眼镜全程记录视频与音频，并通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像；

基于预先录入的所述患者的医疗信息以及获取的所述关键视频、关键音频和关键图像，自动整理本次的手术记录。

2.根据权利要求1所述的方法，其特征在于，所述预设指令集至少包括记录视频、拍摄照片、放大拍摄、调取病历以及插入信息。

3.根据权利要求1或2所述的方法，其特征在于，所述通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像包括：

所述AR眼镜接收记录视频的指令，并从接收到所述记录视频的指令的时刻开始录制视频，并在接收到停止记录视频的指令时，停止本次的视频录制过程，并将本次录制的视频作为所述关键视频。

4.根据权利要求3所述的方法，其特征在于，所述自动整理本次的手术记录包括：

在手术记录的模板中确定视频记录区域，并将所述关键视频压缩之后，插入所述视频记录区域中。

5.根据权利要求1或2所述的方法，其特征在于，所述通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像包括：

所述AR眼镜接收拍摄照片或者放大拍摄的指令，并按照所述指令拍摄当前的图像，并将当前拍摄的图像作为所述关键图像。

6.根据权利要求5所述的方法，其特征在于，所述自动整理本次的手术记录包括：

在手术记录的模板中确定图像记录区域，并将所述关键图像插入所述图像记录区域中。

7.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述AR眼镜接收调取病历和插入信息的指令，获取预先录入的所述患者的医疗信息；

相应地，自动整理本次的手术记录包括：

在手术记录的模板中确定医疗信息区域，并将获取的所述患者的医疗信息插入所述医疗信息区域中。

8.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述AR眼镜通过语音识别技术对全程记录的音频进行识别，以将所述全程记录的音频转换为对应的文字；

从转换得到的文字中抽取具备语义的文字，并将抽取的文字插入对应时间的手术记录中。

9.一种基于AR眼镜的自动化手术记录整理的系统，其特征在于，所述系统包括：

医疗信息录入单元，用于在手术前预先向AR眼镜中录入患者的医疗信息；

关键信息获取单元，用于在手术过程中，通过所述AR眼镜全程记录视频与音频，并通过预设指令集从记录的所述视频与音频中获取关键视频、关键音频以及关键图像；

手术记录自动整理单元，用于基于预先录入的所述患者的医疗信息以及获取的所述关键视频、关键音频和关键图像，自动整理本次的手术记录。

10.根据权利要求9所述的系统，其特征在于，所述关键信息获取单元包括：

视频获取模块，用于接收记录视频的指令，并从接收到所述记录视频的指令的时刻开始录制视频，并在接收到停止记录视频的指令时，停止本次的视频录制过程，并将本次录制的视频作为所述关键视频；

图像获取模块，用于接收拍摄照片或者放大拍摄的指令，并按照所述指令拍摄当前的图像，并将当前拍摄的图像作为所述关键图像；

语音识别模块，用于通过语音识别技术对全程记录的音频进行识别，以将所述全程记录的音频转换为对应的文字。