CN110517756A - 一种外科手术记录自动生成系统及方法 - Google Patents
一种外科手术记录自动生成系统及方法 Download PDFInfo
- Publication number
- CN110517756A CN110517756A CN201910818192.XA CN201910818192A CN110517756A CN 110517756 A CN110517756 A CN 110517756A CN 201910818192 A CN201910818192 A CN 201910818192A CN 110517756 A CN110517756 A CN 110517756A
- Authority
- CN
- China
- Prior art keywords
- visual area
- module
- doctor
- surgical operation
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 47
- 238000013519 translation Methods 0.000 claims abstract description 12
- 230000003902 lesion Effects 0.000 claims abstract description 8
- 238000007689 inspection Methods 0.000 claims abstract description 4
- 241001672694 Citrus reticulata Species 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 229910017435 S2 In Inorganic materials 0.000 claims 1
- 230000002980 postoperative effect Effects 0.000 abstract description 3
- 238000001356 surgical procedure Methods 0.000 abstract description 3
- 230000000717 retained effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明涉及医疗辅助技术领域，公开了一种外科手术记录自动生成系统及方法，该系统包括术野采集模块、编码存储模块、AI智能生成模块、显示模块以及主机模块；该方法包括如下步骤：创建手术；进入术中操作并通过术野相机实时获取画面；根据AI模型检测当前术野画面并判断操作；调用质量引擎判断当前数据是否合格；根据结尾文件判断文件类型，并获取有效数据调入到资源库中；结束手术，获取医院模板；报告预览。本发明，在手术的关键时间点一键拍照、微视频、语音翻译，根据对应的模板可以自动生成手术记录和产生手术报告；可以提高医生术后整理手术记录质量并且可以保留关键的病灶照片和珍贵的手术过程中的录像。
Description
技术领域
本发明涉及医疗辅助技术领域，具体是一种外科手术记录自动生成系统及方法。
背景技术
传统的手术无法使用自动记录、一键拍照、语音等手段记录手术信息，需要预约摄影师现场拍摄，后期助理花很多时间整理文档记录和报告，费用和时间成本都很大。
现有的手术记录生成系统，只能简单的生成文字信息，效果单一。如转院以后，新医院主治医生根据病例，并不能全面了解病人信息，从而导致病人需要再次去做相关检查。而且市场上的病例生成系统很普及，很多产品由于技术局限，资源的局限，无法帮助医生通过语音去生成报告，只能通过助手手动录入。
发明内容
本发明的目的在于提供一种外科手术记录自动生成系统及方法，通过与医疗设备的配合，解决医院术后信息的整理，通过高清的术野相机，实时采集录像数据，同时可以在手术的关键时间点一键拍照，微视频，语音翻译，根据对应的模板可以自动生成手术记录和产生手术报告，为医生手术节省大部分时间去手动写报告，提高极大的效率，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种外科手术记录自动生成系统，该系统包括术野采集模块、编码存储模块、AI智能生成模块、显示模块以及主机模块，其中：
所述术野采集模块用于进行视频、图片以及语音的采集；
所述编码存储模块用于将通过术野采集模块所采集的数据进行编码存储并将数据传送给PC端；
所述AI智能生成模块用于通过AI算法分析术野采集模块所采集的数据；
所述显示模块用于将术野采集模块获取到的画面实时展示给医生，并将报告、病历和照片展示给医生查看，从而让医生实时的调整术野采集模块的视野；
所述主机模块用于获取AI智能生成模块处理的数据通过显示模块进行展示。
作为本发明进一步的方案：所述术野采集模块包括设在机械臂上的高清术野摄像机。
作为本发明进一步的方案：所述术野采集模块还包括设在机械臂中部的拾音器。
作为本发明进一步的方案：所述机械臂中部设有若干活动关节。
作为本发明再进一步的方案：所述显示模块为显示屏。
一种外科手术记录自动生成方法，其特征在于，包括如下步骤：
S1：创建手术；
S2：进入术中操作并通过高清术野摄像机实时获取画面；
S3：根据AI模型检测当前术野画面并判断操作；
S4：调用质量引擎判断当前数据是否合格；
S5：根据结尾文件判断文件类型，并获取有效数据调入到资源库中；
S6：结束手术，获取医院模板；
S7：报告预览，判断是否需要手动修改或添加文字，若否，则生成手术报告，若是，则修改报告后生成手术报告。
作为本发明进一步的方案：步骤S2执行的同时，医生可以通过语音翻译，系统获取语音翻译结果，判断语音翻译结果并调取接口后执行S3步骤，且系统自动删除无效资源并语音提示医生。
作为本发明进一步的方案：步骤S3中，AI模型为行业内医生手法，病灶，开刀处大量图片，视频进行训练生成的模型。
作为本发明进一步的方案：步骤S3中，判断操作包括拍照、语音和录取微视频。
作为本发明再进一步的方案：步骤S5中，获取有效数据的判断方法为：检查照片是否存在噪点过大，是否有曝光，照片颜色平衡是否不对；判断微视频是否有偏离开刀处、是否包含医生操作手法、是否有曝光、是否拍摄清晰度不够；音频是否存在噪音、空语音、是否为普通话问题，同时资源库可以回调资源到步骤S2中的术中画面中。
与现有技术相比，本发明的有益效果是：采用了高清超低时延采集技术，可以360无死角的采集到全部的手术过程；可以随时抓拍重要的手术部位或者病灶的超清照片；录制术中可以根据医生的需求录制高清的重要微视频；同时可以实时语音记录手术内容（语音转文本）并且可以根据医生提供的病例模板自动生成手术记录，支持手动修改和校正病例，快速产生手术报告；通过高清的术野相机，实时采集录像数据，同时可以在手术的关键时间点一键拍照、微视频、语音翻译，根据对应的模板可以自动生成手术记录和产生手术报告；可以提高医生术后整理手术记录质量并且可以保留关键的病灶照片和珍贵的手术过程中的录像。
附图说明
图1为一种外科手术记录自动生成系统的装置结构示意图。
图2为一种外科手术记录自动生成方法的工作流程示意图。
图中：1-高清术野摄像机、2-显示模块、3-拾音器、4-机械臂、5-主机模块、6-编码存储模块、7-AI智能生成模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中，一种外科手术记录自动生成系统，该系统包括术野采集模块、编码存储模块6、AI智能生成模块7、显示模块2以及主机模块5，其中：
所述术野采集模块用于进行视频、图片以及语音的采集；所述术野采集模块包括设在机械臂4上的高清术野摄像机1，所述术野采集模块还包括设在机械臂4中部的拾音器3，所述机械臂4中部设有若干活动关节。
通过高清术野摄像机1进行，视频，图片的采集，通过机器臂4上的拾音器3进行语音的采集，同时可以根据机器臂4的灵活关节360°无死角采集术野画面。
所述编码存储模块6用于将通过术野采集模块所采集的数据进行编码存储并将数据传送给PC端；
所述AI智能生成模块7用于通过AI算法分析术野采集模块所采集的数据；
所述显示模块2用于将术野采集模块获取到的画面实时展示给医生，并将报告、病历和照片展示给医生查看，从而让医生实时的调整术野采集模块1的视野；所述显示模块2为显示屏；
所述主机模块5，作为设备的客户端，用于获取AI智能生成模块7处理的数据通过显示模块2进行展示。
参阅图2，一种外科手术记录自动生成方法，包括如下步骤：
S1：创建手术；
S2：进入术中操作并通过高清术野摄像机1实时获取画面；
S3：根据AI模型检测当前术野画面并判断操作；
S4：调用质量引擎判断当前数据是否合格；
S5：根据结尾文件判断文件类型，并获取有效数据调入到资源库中；
S6：结束手术，获取医院模板；
S7：报告预览，判断是否需要手动修改或添加文字，若否，则生成手术报告，若是，则修改报告后生成手术报告。
步骤S2执行的同时，医生可以通过语音翻译，系统获取语音翻译结果，判断语音翻译结果并调取接口后执行S3步骤。
步骤S2执行的同时，系统自动删除无效资源并语音提示医生。
步骤S3中，AI模型为行业内医生手法，病灶，开刀处等大量图片，视频进行训练生成的模型。
步骤S3中，判断操作包括拍照、语音和录取微视频。
步骤S5中，获取有效数据的判断方法为：检查照片是否存在噪点过大，是否有曝光，照片颜色平衡是否不对；判断微视频是否有偏离开刀处、是否包含医生操作手法、是否有曝光、是否拍摄清晰度不够；音频是否存在噪音、空语音、是否为普通话问题。
步骤S5中，资源库可以回调资源到步骤S2中的术中画面中。
本发明的工作原理是：通过高清的术野相机实时采集视频，拍照，和录制微视频，并通过SDK传入到软件，在术中画面实时展示，再通过我们的AI算法分析术野实时获取的画面，根据病灶或者开刀通过当前模型算法（为行业内医生手法，病灶，开刀处等大量图片，视频进行训练生成的模型）分析出是否做拍照和微视频的录取；同时医生可以根据自己的需要通过语音遥控抓拍想要的微视频。我们的AI算法同时会去判断当前医生要求拍摄的照片是否符合我们的设定，是否存在噪点过大，是否有曝光，照片颜色平衡是否不对等问题，若照片存在问题，AI会通过麦克风提示医生是否需要重新拍摄；系统也会判断医生要求录制的音频是否存在噪音、空语音、是否为普通话等问题，若语音不合格，会提示医生需要重新录音；同时系统也会判断微视频是否有偏离开刀处、是否包含医生操作手法、是否有曝光、是否拍摄清晰度不够、并提示医生进行改正。当医生手术结束后系统会调用当前医院的模板进行填充，医生可以选择预览手术记录查看是否需要修改，如无异议直接生成手术记录，若需修改，系统支持语音编辑，帮助医生快速修改，节省记录时间，我们自动手术记录系统，通过高清的术野相机，实时采集录像数据，同时可以在手术的关键时间点一键拍照，微视频、语音翻译，根据对应的模板，自动生成手术记录和产生手术报告。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种外科手术记录自动生成系统，其特征在于，该系统包括术野采集模块、编码存储模块（6）、AI智能生成模块（7）、显示模块（2）以及主机模块（5），其中：
所述术野采集模块用于进行视频、图片以及语音的采集；
所述编码存储模块（6）用于将通过术野采集模块所采集的数据进行编码存储并将数据传送给PC端；
所述AI智能生成模块（7）用于通过AI算法分析术野采集模块所采集的数据；
所述显示模块（2）用于将术野采集模块获取到的画面实时展示给医生，并将报告、病历和照片展示给医生查看，从而让医生实时的调整术野采集模块的视野；
所述主机模块（5）用于获取AI智能生成模块（7）处理的数据通过显示模块（2）进行展示。
2.根据权利要求1所述的一种外科手术记录自动生成系统，其特征在于，所述术野采集模块包括设在机械臂（4）上的高清术野摄像机（1）。
3.根据权利要求1或2所述的一种外科手术记录自动生成系统，其特征在于，所述术野采集模块还包括设在机械臂（4）中部的拾音器（3）。
4.根据权利要求3所述的一种外科手术记录自动生成系统，其特征在于，所述机械臂（4）中部设有若干活动关节。
5.根据权利要求1所述的一种外科手术记录自动生成系统，其特征在于，所述显示模块（2）为显示屏。
6.一种外科手术记录自动生成方法，其特征在于，包括如下步骤：
S1：创建手术；
S2：进入术中操作并通过高清术野摄像机（1）实时获取画面；
S3：根据AI模型检测当前术野画面并判断操作；
S4：调用质量引擎判断当前数据是否合格；
S5：根据结尾文件判断文件类型，并获取有效数据调入到资源库中；
S6：结束手术，获取医院模板；
S7：报告预览，判断是否需要手动修改或添加文字，若否，则生成手术报告，若是，则修改报告后生成手术报告。
7.根据权利要求6所述的一种外科手术记录自动生成方法，其特征在于，步骤S2执行的同时，医生可以通过语音翻译，系统获取语音翻译结果，判断语音翻译结果并调取接口后执行S3步骤，且系统自动删除无效资源并语音提示医生。
8.根据权利要求6所述的一种外科手术记录自动生成方法，其特征在于，步骤S3中，AI模型为行业内医生手法，病灶，开刀处大量图片，视频进行训练生成的模型。
9.根据权利要求6所述的一种外科手术记录自动生成方法，其特征在于，步骤S3中，判断操作包括拍照、语音和录取微视频。
10.根据权利要求6所述的一种外科手术记录自动生成方法，其特征在于，步骤S5中，获取有效数据的判断方法为：检查照片是否存在噪点过大，是否有曝光，照片颜色平衡是否不对；判断微视频是否有偏离开刀处、是否包含医生操作手法、是否有曝光、是否拍摄清晰度不够；音频是否存在噪音、空语音、是否为普通话问题，同时资源库可以回调资源到步骤S2中的术中画面中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818192.XA CN110517756A (zh) | 2019-08-30 | 2019-08-30 | 一种外科手术记录自动生成系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818192.XA CN110517756A (zh) | 2019-08-30 | 2019-08-30 | 一种外科手术记录自动生成系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110517756A true CN110517756A (zh) | 2019-11-29 |
Family
ID=68629868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910818192.XA Pending CN110517756A (zh) | 2019-08-30 | 2019-08-30 | 一种外科手术记录自动生成系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110517756A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083448A (zh) * | 2019-12-31 | 2020-04-28 | 国网山东省电力公司烟台供电公司 | 一种输电线路全方位机械臂式在线监视装置 |
| CN112269908A (zh) * | 2020-10-10 | 2021-01-26 | 贵阳博亚科技有限公司 | 检验检测机构智能管理系统 |
| CN114496173A (zh) * | 2021-12-31 | 2022-05-13 | 北京航天长峰股份有限公司 | 短视频手术报告生成方法、装置、计算机设备及存储介质 |
-
2019
- 2019-08-30 CN CN201910818192.XA patent/CN110517756A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083448A (zh) * | 2019-12-31 | 2020-04-28 | 国网山东省电力公司烟台供电公司 | 一种输电线路全方位机械臂式在线监视装置 |
| CN112269908A (zh) * | 2020-10-10 | 2021-01-26 | 贵阳博亚科技有限公司 | 检验检测机构智能管理系统 |
| CN114496173A (zh) * | 2021-12-31 | 2022-05-13 | 北京航天长峰股份有限公司 | 短视频手术报告生成方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103325400B (zh) | 一种手术影像录播示教系统和方法 | |
| US10545327B2 (en) | Pathology data capture | |
| CN110517756A (zh) | 一种外科手术记录自动生成系统及方法 | |
| US10740552B2 (en) | Intra-surgical documentation system | |
| US9526586B2 (en) | Software tools platform for medical environments | |
| CN102831305A (zh) | 远程医疗诊断辅助工作站 | |
| US10212340B2 (en) | Medical imaging system and method for obtaining medical image | |
| TWI457851B (zh) | 一種線上即時更新之醫療會診系統與方法 | |
| CN101425110A (zh) | 医用图像管理装置以及医用图像系统 | |
| CN102867527B (zh) | 同时间轴多画面超媒体文件的方法 | |
| JP2020533657A (ja) | 電極シートのバリを検出するための方法および装置 | |
| CN106126912A (zh) | 一种远程音视频会诊系统 | |
| CN202524495U (zh) | 基于固定机位的课程录制系统和视频处理装置 | |
| CN106383902A (zh) | 一种现场访问新闻即时存储发布方法及系统 | |
| CN106777904B (zh) | 远程可视化数据交互方法 | |
| TW202312185A (zh) | 通過語音記錄及處理一組織之影像資訊的方法及系統 | |
| US20180308565A1 (en) | Automated transcription and documentation of tele-health encounters | |
| CN104395883A (zh) | 应用程序协作系统、应用程序协作方法以及应用程序协作程序 | |
| CN106339595A (zh) | 基于dicom的电子胶片打印系统 | |
| CN109698021A (zh) | 用于运行医学图像采集设备的方法和图像采集设备 | |
| CN111598983A (zh) | 动画制作系统、方法、存储介质及程序产品 | |
| CN112118415B (zh) | 远程诊疗方法、装置和患者侧终端、医生侧终端 | |
| WO2023149135A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN109274914A (zh) | 一种基于ar眼镜的自动化手术记录整理的方法及系统 | |
| CN105404787A (zh) | 一种应用于外科手术的语音图文记录工作系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |