CN110765835A - 一种基于边缘信息的手术视频流程识别方法 - Google Patents
一种基于边缘信息的手术视频流程识别方法 Download PDFInfo
- Publication number
- CN110765835A CN110765835A CN201910800602.8A CN201910800602A CN110765835A CN 110765835 A CN110765835 A CN 110765835A CN 201910800602 A CN201910800602 A CN 201910800602A CN 110765835 A CN110765835 A CN 110765835A
- Authority
- CN
- China
- Prior art keywords
- original image
- operation video
- edge information
- information
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims abstract description 3
- 238000003672 processing method Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000001356 surgical procedure Methods 0.000 description 17
- 238000012706 support-vector machine Methods 0.000 description 8
- 208000002177 Cataract Diseases 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明为一种基于边缘信息的手术视频流程识别方法，属于人工智能和医疗应用领域。该方法包含以下步骤：S1：对手术视频进行采样，提取原始图像，并对原始图像进行边缘化信息提取；S2：采用两个并联卷积神经网络分别对原始图像和边缘信息进行处理；S3：将两个卷积神经网络的输出进行拼接；S4：采用分类器对拼接信息进行分类识别，判断当前原始图像对应的手术视频流程阶段；S5：对卷积神经网络和分类器采用已分类的训练集手术视频进行训练，评估手术视频流程阶段识别效果，确定相关参数。本发明提出了一种基于边缘信息的手术视频流程识别方法，能够自动、准确、快速的对手术视频图像进行提取和分类，实现自动识别手术流程。
Description
技术领域
本发明涉及一种基于边缘信息的手术视频流程识别方法，属于人工智能和医疗应用领域，尤其适用于基于边缘信息的手术视频流程识别等。
背景技术
实时手术流程自动检测作为一种计算机辅助手术系统，由于能提高手术过程的安全性，已成为一种新兴的趋势。近年来，深度学习技术在医学治疗和诊断方面展现了很大的潜能，为人们带来了方便和快捷。目前，深度学习在手术视频的识别方面实现了视频标注、任务检索、概念检测、视频摘要和工作流分析。其中，从手术视频中自动识别手术流程仍是当前AI医疗的一个研究热点。手术流程自动识别分为在线识别和离线识别，其中，离线识别手术流程可以方便外科医生以及实习生从手术视频中搜索特定的操作任务和工具；而在线识别手术流程可以提醒外科医生注意并发症的发生，减少外科医生在手术中的操作失误，从而提高手术期间的安全性。此外，它还可以为手术室外的临床工作人员提供相关手术进展的信息，为手术后续相关工作的安排也起到一个参考的作用。然而，由于手术流程本身的不确定性，如意外出血、其他不良事件、人为错误和个人技能等各种因素可以影响自动手术流程的判断，通过视觉信息识别手术流程仍然是一项复杂的任务。
发明内容
有鉴于此，本发明提供一种基于边缘信息的手术视频流程识别方法，自动、准确、快速的对手术视频图像进行提取和分类，实现自动识别手术流程。
为达到上述目的，本发明提供如下技术方案：
一种基于边缘信息的手术视频流程识别方法，包括如下步骤：
S1：对手术视频进行采样，提取原始图像，并对原始图像进行边缘化信息提取；
S2：采用两个并联卷积神经网络(CNN)分别对原始图像和边缘信息进行处理；
S3：将两个卷积神经网络的输出进行拼接；
S4：采用分类器对拼接信息进行分类识别，判断当前原始图像对应的手术视频流程阶段；
S5：对卷积神经网络和分类器采用已分类的训练集手术视频进行训练，评估手术视频流程阶段识别效果，确定相关参数。
进一步，所述的步骤S1具体为：通过安装在手术室或者手术台等地方的摄像头获取手术视频，每隔固定时长提取一帧原始图像，利用边缘化处理方法提取原始图像的边缘信息，将原始图片以及边缘化处理后的边缘信息分别存储为独立的两个数据集。
更进一步，所述的边缘化处理方法为Sobel算子、Laplacian算子、Canny算子三种边缘化处理方法之一，根据手术不同的场景，择优选取识别效果最好的边缘化处理方法。
进一步，步骤S2所述的两个并联卷积神经网络其网络参数相互独立，可以为ResNet网络。
进一步，步骤S3所述的将拼接为在两个并联卷积神经网络的最后一层的全连接层后采用concat方法进行拼接，其中两个并联卷积神经网络共享同一权重。
本发明的有益效果在于：本发明提供了一种基于边缘信息的手术视频流程识别方法，将图片的边缘信息作为原始图像的补充信息以提升手术流程识别准确率，实现自动识别手术流程，能够方便外科医生和实习生从手术视频中发现特定的手术任务或工具，提醒外科医生注意并发症的发生，来减少手术失误，提高手术过程中的安全性。此外，还可以为手术室外的临床工作人员提供手术进度信息，为术后相关工作的安排提供参考。
附图说明
为了使本发明的目的、技术方案，本发明提供如下附图进行说明：
图1为一种基于边缘信息的手术视频流程识别方法网络构架图。
具体实施方式
为使本发明的目的和技术方案更加清晰明白，下面结合附图及实施例对本发明进行详细的描述。
实施例：
针对白内障手术，结合现有101个白内障手术视频数据集，其分辨率为1920×1080，手术过程有10个流程阶段，如表1所示，现拟对白内障手术实现手术流程的视频识别，以指导手术的进行。本实施例提供“一种基于边缘信息的手术流程识别方法”，结合图1，该方法包含以下步骤：
步骤一：
首先，将101个白内障手术视频数据集随机分为两部分：训练子集(包含73个视频)和测试子集(28个视频)，每隔固定时长提取一帧原始图像，得到1046219张原始图片用于训练集原始图像，216998张图片测试集原始图像。
其次，将所有原始图片的分辨率从原来的1920×1080调整为250×250，来减小计算量，提高识别效率。
然后，分别利用Sobel算子、Laplacian算子、Canny算子对降低分辨率后的所有原始图片分别进行边缘化处理提取原始图像的边缘信息，将原始图片以及边缘化处理后的边缘信息分别存储为独立的两个数据集。
步骤二：
采用两个并联卷积神经网络分别对原始图像数据集和边缘信息数据集进行处理；其中，两个并联卷积神经网络为ResNet网络，其网络参数相互独立，在网络中的图像数据通过224×224的裁剪、镜像和旋转来增强数据。
步骤三：
在两个ResNet网络最后一层的全连接层后增加一层，该层采用concat方法对全连接层的输出进行拼接，其中两个并联卷积神经网络共享同一权重。
步骤四：
采用支持向量机(SVM)对拼接信息进行分类识别，判断当前原始图像对应的手术视频流程阶段。
步骤五：
首先，采用训练集原始图像对ResNet网络和支持向量机(SVM)采用已分类的训练集手术视频进行训练，设定ResNet网络都为50层，其中ResNet网络的训练参数如下：学习率λ被设为0.01，学习速率规则设为multistep，原始图像和边缘信息的ResNet网络分别对应的stepvalues设为60000和120000，动量设为0.9，权重下降设为0.001。
然后，确定ResNet网络和支持向量机(SVM)的相关参数，选择训练效果最好的Sobel算子为边缘化处理方法。
最后，使用Sobel算子和设定好的ResNet网络和支持向量机(SVM)对测试集原始图像进行处理，评估手术视频流程阶段识别效果。
测试表明：本发明具有很好的手术视频流程阶段识别效果，准确率为90.1％。
表1 本发明实施例所述白内障手术10个流程阶段的注释标记
| 阶段号 | 阶段名称 |
| 1 | 切口 |
| 2 | 粘性剂注入 |
| 3 | 破裂 |
| 4 | 水解剖 |
| 5 | 超声乳化白内障吸除术 |
| 6 | 浇注和抽吸 |
| 7 | 囊抛光术 |
| 8 | 晶状体植入 |
| 9 | 去除粘性剂 |
| 10 | 滋补和抗生素 |
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (5)
1.一种基于边缘信息的手术视频流程识别方法，其特征在于，该方法包含以下步骤：
S1：对手术视频进行采样，提取原始图像，并对原始图像进行边缘化信息提取；
S2：采用两个并联卷积神经网络分别对原始图像和边缘信息进行处理；
S3：将两个卷积神经网络的输出进行拼接；
S4：采用分类器对拼接信息进行分类识别，判断当前原始图像对应的手术视频流程阶段；
S5：对卷积神经网络和分类器采用已分类的训练集手术视频进行训练，评估手术视频流程阶段识别效果，确定相关参数。
2.根据权利要求1所述的一种基于边缘信息的手术视频流程识别方法，其特征在于，所述的步骤S1具体为：通过安装在手术室或者手术台等地方的摄像头获取手术视频，每隔固定时长提取一帧原始图像，利用边缘化处理方法提取原始图像的边缘信息，将原始图片以及边缘化处理后的边缘信息分别存储为独立的两个数据集。
3.根据权利要求2所述的边缘化处理方法，其特征在于，所述的边缘化处理方法为Sobel算子、Laplacian算子、Canny算子三种边缘化处理方法之一，根据手术不同的场景，择优选取识别效果最好的边缘化处理方法。
4.根据权利要求1所述的一种基于边缘信息的手术视频流程识别方法，其特征在于，步骤S2所述的两个并联卷积神经网络其网络参数相互独立，可以为Resnet网络。
5.根据权利要求1所述的一种基于边缘信息的手术视频流程识别方法，其特征在于，步骤S3所述的将拼接为在两个并联卷积神经网络的最后一层的全连接层后采用concat方法进行拼接，其中两个并联卷积神经网络共享同一权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910800602.8A CN110765835A (zh) | 2019-08-19 | 2019-08-19 | 一种基于边缘信息的手术视频流程识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910800602.8A CN110765835A (zh) | 2019-08-19 | 2019-08-19 | 一种基于边缘信息的手术视频流程识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110765835A true CN110765835A (zh) | 2020-02-07 |
Family
ID=69329120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910800602.8A Pending CN110765835A (zh) | 2019-08-19 | 2019-08-19 | 一种基于边缘信息的手术视频流程识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765835A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783520A (zh) * | 2020-05-18 | 2020-10-16 | 北京理工大学 | 基于双流网络的腹腔镜手术阶段自动识别方法及装置 |
| CN112560602A (zh) * | 2020-12-02 | 2021-03-26 | 中山大学中山眼科中心 | 一种白内障手术步骤的识别方法及装置 |
| CN112818959A (zh) * | 2021-03-25 | 2021-05-18 | 杭州海康威视数字技术股份有限公司 | 手术流程识别方法、装置、系统及计算机可读存储介质 |
| CN113284126A (zh) * | 2021-06-10 | 2021-08-20 | 安徽省立医院(中国科学技术大学附属第一医院) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 |
| CN114359782A (zh) * | 2021-12-03 | 2022-04-15 | 华南理工大学 | 基于多任务学习的手术工具和手术阶段识别方法 |
| CN114496174A (zh) * | 2021-12-31 | 2022-05-13 | 北京航天长峰股份有限公司 | 基于手术视频的电子报告生成方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105550699A (zh) * | 2015-12-08 | 2016-05-04 | 北京工业大学 | 一种基于cnn融合时空显著信息的视频识别分类方法 |
| CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
| WO2017027475A1 (en) * | 2015-08-07 | 2017-02-16 | Jianming Liang | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
| CN108399366A (zh) * | 2018-01-30 | 2018-08-14 | 何德珍 | 一种基于逐像素分类的遥感图像场景分类提取方法 |
| US20190069957A1 (en) * | 2017-09-06 | 2019-03-07 | Verily Life Sciences Llc | Surgical recognition system |
| CN109460720A (zh) * | 2018-10-25 | 2019-03-12 | 中科院成都信息技术股份有限公司 | 基于卷积神经网络的选票识别方法 |
| CN109871781A (zh) * | 2019-01-28 | 2019-06-11 | 山东大学 | 基于多模态3d卷积神经网络的动态手势识别方法及系统 |
-
2019
- 2019-08-19 CN CN201910800602.8A patent/CN110765835A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017027475A1 (en) * | 2015-08-07 | 2017-02-16 | Jianming Liang | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
| CN105550699A (zh) * | 2015-12-08 | 2016-05-04 | 北京工业大学 | 一种基于cnn融合时空显著信息的视频识别分类方法 |
| CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
| US20190069957A1 (en) * | 2017-09-06 | 2019-03-07 | Verily Life Sciences Llc | Surgical recognition system |
| CN108399366A (zh) * | 2018-01-30 | 2018-08-14 | 何德珍 | 一种基于逐像素分类的遥感图像场景分类提取方法 |
| CN109460720A (zh) * | 2018-10-25 | 2019-03-12 | 中科院成都信息技术股份有限公司 | 基于卷积神经网络的选票识别方法 |
| CN109871781A (zh) * | 2019-01-28 | 2019-06-11 | 山东大学 | 基于多模态3d卷积神经网络的动态手势识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 宁煜西等: "基于卷积神经网络的航班跟踪视频关键信息识别", 《空军预警学院学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783520A (zh) * | 2020-05-18 | 2020-10-16 | 北京理工大学 | 基于双流网络的腹腔镜手术阶段自动识别方法及装置 |
| CN112560602A (zh) * | 2020-12-02 | 2021-03-26 | 中山大学中山眼科中心 | 一种白内障手术步骤的识别方法及装置 |
| CN112818959A (zh) * | 2021-03-25 | 2021-05-18 | 杭州海康威视数字技术股份有限公司 | 手术流程识别方法、装置、系统及计算机可读存储介质 |
| CN112818959B (zh) * | 2021-03-25 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 手术流程识别方法、装置、系统及计算机可读存储介质 |
| CN113284126A (zh) * | 2021-06-10 | 2021-08-20 | 安徽省立医院(中国科学技术大学附属第一医院) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 |
| CN113284126B (zh) * | 2021-06-10 | 2022-06-24 | 安徽省立医院(中国科学技术大学附属第一医院) | 人工神经网络图像分析预测脑积水分流手术疗效的方法 |
| CN114359782A (zh) * | 2021-12-03 | 2022-04-15 | 华南理工大学 | 基于多任务学习的手术工具和手术阶段识别方法 |
| CN114496174A (zh) * | 2021-12-31 | 2022-05-13 | 北京航天长峰股份有限公司 | 基于手术视频的电子报告生成方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765835A (zh) | 一种基于边缘信息的手术视频流程识别方法 | |
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| US20180060652A1 (en) | Unsupervised Deep Representation Learning for Fine-grained Body Part Recognition | |
| US9171477B2 (en) | Method and system for recognizing and assessing surgical procedures from video | |
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| CN108596046A (zh) | 一种基于深度学习的细胞检测计数方法及系统 | |
| CN107506770A (zh) | 糖尿病视网膜病变眼底照相标准图像生成方法 | |
| CN107730507A (zh) | 一种基于深度学习的病变区域自动分割方法 | |
| Bhatia et al. | Real-time identification of operating room state from video | |
| CN112101315B (zh) | 一种基于深度学习的运动评判指导方法和系统 | |
| US9424656B2 (en) | Computer vision based method and system for evaluating and grading surgical procedures | |
| CN113223041A (zh) | 用于自动提取图像中目标区域的方法、系统及存储介质 | |
| CN111444389A (zh) | 一种基于目标检测的会议视频分析方法及系统 | |
| CN115661580A (zh) | 基于卷积神经网络的中药饮片图像识别方法及识别系统 | |
| CN113237881B (zh) | 一种特定细胞的检测方法、装置和病理切片检测系统 | |
| CN110742690A (zh) | 一种用于配置内窥镜的方法及终端设备 | |
| Zhu et al. | A computer vision-based approach to grade simulated cataract surgeries | |
| Wijewickrema et al. | Provision of automated step-by-step procedural guidance in virtual reality surgery simulation | |
| Heloir et al. | Captured motion data processing for real time synthesis of sign language | |
| Sokolova et al. | Pixel-based iris and pupil segmentation in cataract surgery videos using mask R-CNN | |
| Cerrolaza et al. | Fully-automatic glottis segmentation with active shape models | |
| CN114782855A (zh) | 一种基于深度学习的白内障手术评价方法、系统及介质 | |
| CN111459050B (zh) | 一种基于双网互联的智慧仿真型护理教学系统及教学方法 | |
| Baldas et al. | A real-time automatic instrument tracking system on cataract surgery videos for dexterity assessment | |
| Weede et al. | Movement analysis for surgical skill assessment and measurement of ergonomic conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200207 |