CN116863469B - 一种基于深度学习的手术解剖部位识别标注方法 - Google Patents
一种基于深度学习的手术解剖部位识别标注方法 Download PDFInfo
- Publication number
- CN116863469B CN116863469B CN202310762533.2A CN202310762533A CN116863469B CN 116863469 B CN116863469 B CN 116863469B CN 202310762533 A CN202310762533 A CN 202310762533A CN 116863469 B CN116863469 B CN 116863469B
- Authority
- CN
- China
- Prior art keywords
- image
- data set
- surgical
- value
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 52
- 210000003484 anatomy Anatomy 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000003064 k means clustering Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 21
- 210000000232 gallbladder Anatomy 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 210000001953 common bile duct Anatomy 0.000 claims description 8
- 210000004185 liver Anatomy 0.000 claims description 6
- 238000006386 neutralization reaction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000002357 laparoscopic surgery Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000001356 surgical procedure Methods 0.000 description 10
- 208000027418 Wounds and injury Diseases 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000006378 damage Effects 0.000 description 9
- 208000014674 injury Diseases 0.000 description 9
- 210000000013 bile duct Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000002192 cholecystectomy Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 206010061218 Inflammation Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004054 inflammatory process Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 208000003200 Adenoma Diseases 0.000 description 3
- 206010001233 Adenoma benign Diseases 0.000 description 3
- 210000000683 abdominal cavity Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000229175 Calotes Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003445 biliary tract Anatomy 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000642 iatrogenic effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 201000001883 cholelithiasis Diseases 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000012830 laparoscopic surgical procedure Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，公开了一种基于深度学习的手术解剖部位识别标注方法，包括：基于安全性关键术野技术标准的手术录像中提取关键帧图像，对关键帧图像按照第一颜色区间的像素贡献比进行K‑means聚类分组得到若干个第一图像簇，对第一图像簇按照第二颜色区间的像素贡献比进行K‑means聚类得到若干个第二图像簇，对第二图像簇按照第三颜色区间的像素贡献比进行K‑means聚类得到若干个第三图像簇，融合第三图像簇的中心图像，得到第一数据集，对第一数据集的图像进行标注，得到第二数据集，基于第二数据集训练区域识别标注模型，利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的手术解剖部位识别标注方法。
背景技术
腹腔镜胆囊切除术（laparoscopic cholecystectomy，LC）已成为胆石症的主流术式和金标准。然而术中胆管损伤仍然是LC中的重要并发症之一，而术中使用安全性关键术野（critical view of safety，CVS）作为LC的标准操作流程是有效预防胆管损伤的方法。但国内手术培训和准入制度尚不成熟，CVS的理念尚未广泛推广。因此，深入理解和推广CVS对于预防胆管损伤非常有意义。随着人工智能（AI）的出现，计算机视觉（CV）在医学领域被广泛应用于医学。值得注意的是，它描述了机器对图像和视频的理解，并在物体或场景识别等领域实现了人类水平的能力。人工智能正在扩大其业务范围，从数据库到术中视频分析。同时像深度神经网络这样的算法可以在不使用大量数据进行显式编程的情况下进行训练，以便学习预测新数据的结果，以实现人类水平的目标检测。
虽然深度学习在医学上的各种计算机视觉任务（如放射图像中的癌症诊断、结肠镜检查中息肉的识别）中显示出了良好的结果，但它在实时手术指导和决策支持方面的应用和价值要复杂得多，尚未得到证明。与诊断放射学、眼底镜或内窥镜的图像和视频不同，手术视频在背景噪声、图像质量和现场物体方面有更多的可变性。此外，手术平面和解剖结构几乎从未被清楚地描绘出来，并且经常隐藏或部分可见在脂肪和纤维组织下。这是在手术中使用计算机视觉来提供有临床意义的数据的一个主要障碍。
目前，在我国CVS理念并未在外科医师中完全普及，笔者认为CVS的推广，预防胆管损伤（Bile Duct Injury,BDI）任重道远。而通过加强对CVS的认识，是提高外科医师手术水平的关键。随着近年计算机性能与硬件的提高，腹腔镜手术视频资料以一种数据形式灵活储存在服务器中，可供医生回顾查看与分享。随着大数据时代的来临，许多数据被用以发现、分析与解决问题，丰富的腹腔镜视觉数据也不例外。而人工智能是最擅长通过数据分析解决问题的技术，因此可能推动临床上腹腔镜手术的发展。目前人工智能图像识别技术已在多个医学领域展示了它的能力，包括分类、分割及检测任务。手术操作的分类识别：在手术过程中包含多个手术操作步骤，在每个手术阶段中，特定的操作出现可视为这个阶段的代表，因此利用CNN对手术操作的分类可辅助术者进行手术分析。手术阶段识别和手术时间预测：手术阶段识别在腹腔镜手术过程中不同的阶段是重要的研究课题，具有各种作用，如用于技能评估、教学场景的自动选择、实时工作流程的识别，也可向手术室外的临床工作人员提供有关手术进度的信息。但目前对手术阶段识别属于手动执行的操作，容易出现错误与延误。手术器械与术中解剖的识别：手术器械的分割与检测追踪是计算机辅助手术系统的重要组成部分。由于受到腹腔内特殊的背景影响，如高光反射、模糊、手术器械的运动伪影等，这是一项较为困难的挑战。而许多学者借助CNN成功解决了该问题，这也是目前研究最为广泛的一个方向。
综上所述，目前国外对于人工智能在腹腔镜术中的各类应用，已经如火如荼的开展，但是大多数研究样本量较少，且受训练集数量所限，精度准确率较低；在国内，人工智能在医学图像领域，包括放射影像、超声影像、病理图像、心电图、内窥镜图像等诸多领域都有着不俗的表现，在大数据的支持下,基于深度学习的人工智能模型对皮肤病变和糖尿病视网膜病变图像的识别能力，已经与医学专家相同甚至超过医学专家。在整个消化内镜领域的研究显示，人工智能辅助识别可以将腺瘤检出率增加50%,检出率从20%上升至约30%,而腺瘤检出率的提高主要是小的腺瘤检出增多。然而，人工智能辅助术中解剖标识在腹腔镜手术中的应用尚缺乏。
发明内容
本发明的目的在于克服上述一种或多种现有的技术问题，提供一种基于深度学习的手术解剖部位识别标注方法。
为实现上述目的，本发明提供的一种基于深度学习的手术解剖部位识别标注方法，包括：
基于安全性关键术野技术标准的手术录像中提取关键帧图像；
对所述关键帧图像按照第一颜色区间的像素贡献比进行K-means聚类分组得到若干个第一图像簇；
对第一图像簇按照第二颜色区间的像素贡献比进行K-means聚类得到若干个第二图像簇；
对第二图像簇按照第三颜色区间的像素贡献比进行K-means聚类得到若干个第三图像簇；
融合第三图像簇的中心图像，得到第一数据集；
对所述第一数据集的图像进行标注，得到第二数据集；
基于所述第二数据集训练区域识别标注模型；
利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注。
根据本发明的一个方面，其特征在于，
筛选达到安全性关键术野技术标准的手术录像中含有胆囊颈部的三角解剖清晰部分短视频录像；
录像采集分辨率为1920x1080p，帧率为25帧；
从短视频录像中分割采集所述关键帧图像。
根据本发明的一个方面，其特征在于，获取目标颜色的标准三原色数值并将其表示为第一目标三原色数值R2、第二目标三原色数值G2和第三目标三原色数值B2，根据目标颜色的标准三原色数值得到目标颜色的像素贡献比，其中公式为，
A=0.63*m/count(px)+0.37(w+h)；
其中，A表示像素贡献比；
m表示像素点贡献值；
count(px)表示像素点的个数；
w表示最大目标颜色连续宽度；
h表示最大目标颜色连续高度。
根据本发明的一个方面，其特征在于，计算像素贡献比中的像素点贡献值的公式为，
；
其中，k表示阈值，取值为5,10或15；
R1表示需要进行聚类的图像的第一原始三原色数值；
G1表示需要进行聚类的图像的第二原始三原色数值；
B1表示需要进行聚类的图像的第三原始三原色数值。
根据本发明的一个方面，其特征在于，计算像素贡献比中的最大目标颜色连续宽度的公式为，
w=Max(hcon(R2,G2,B2,n))；
其中，hcon()表示获得第n行中和目标颜色差值低于阈值的颜色连续宽度；
n表示第n行；
计算像素贡献比中的最大目标颜色连续高度的公式为，
h=Max(vcon(r2,g2,b2,q))；
其中，vcon()表示获得第q列中和目标颜色差值低于阈值的颜色连续高度；
q表示第q列。
根据本发明的一个方面，其特征在于，所述第一数据集包含Rouviere沟图像、胆总管图像、胆囊管图像、左肝内侧段下缘图像和胆囊图像，对所述第一数据集进行标注，获得所述第二数据集。
根据本发明的一个方面，其特征在于，选择远离第三图像簇中聚类中心的边缘图像，得到第三数据集；对第三数据集中图像进行标注，得到第四数据集；基于第四数据集训练区域识别标注模型。
为实现上述目的，本发明提供一种基于深度学习的手术解剖部位识别标注系统，包括：
关键帧图像获取模块：基于安全性关键术野技术标准的手术录像中提取关键帧图像；
图像聚类模块：对所述关键帧图像按照第一颜色区间的像素贡献比进行K-means聚类分组得到若干个第一图像簇；
对第一图像簇按照第二颜色区间的像素贡献比进行K-means聚类得到若干个第二图像簇；
对第二图像簇按照第三颜色区间的像素贡献比进行K-means聚类得到若干个第三图像簇；
第一数据集获取模块：融合第三图像簇的中心图像，得到第一数据集；
第二数据集获取模块：对所述第一数据集的图像进行标注，得到第二数据集；
区域识别标注模型训练模块：基于所述第二数据集训练区域识别标注模型；
图像标注模块：利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注。
为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对一种基于深度学习的手术解剖部位识别标注方法。
为实现上述目的，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述针对一种基于深度学习的手术解剖部位识别标注方法。
基于此，本发明的有益效果在于：
（1）本发明旨在开发人工智能解剖标识系统，训练深度学习模型，识别胆囊切除术中重要人体重要解剖标志以及解剖的安全和危险区域，即使用安全性关键术野，减少术中胆管损伤的发生率，并由具有丰富经验的外科专家评估其结果的有效性。对外科手术医师初学者在掌握手术技能，学习CVS技术提供一定的辅助和提高。
（2）以腹腔镜手术录像等图像数据为基础，深度学习的图像识别技术作为依托，完成腹腔镜手术术中标识软件的开发，并利用软件引导低年资青年医师掌握学习CVS技术，提高关键解剖点的认知，进行腹腔镜胆囊切除手术，缩短腹腔镜手术学习曲线，降低因经验不足所致医源性胆道损伤的几率。
附图说明
图1示意性表示根据本发明的一种基于深度学习的手术解剖部位识别标注方法的流程图；
图2示意性表示根据本发明的一种基于深度学习的手术解剖部位识别标注系统的流程图。
具体实施方式
现在将参照示例性实施例来论述本发明的内容，应当理解，论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”，术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
图1示意性表示根据本发明的一种基于深度学习的手术解剖部位识别标注方法的流程图，如图1所示，本发明的一种基于深度学习的手术解剖部位识别标注方法，包括：
基于安全性关键术野技术标准的手术录像中提取关键帧图像；
对所述关键帧图像按照第一颜色区间的像素贡献比进行K-means聚类分组得到若干个第一图像簇；
对第一图像簇按照第二颜色区间的像素贡献比进行K-means聚类得到若干个第二图像簇；
对第二图像簇按照第三颜色区间的像素贡献比进行K-means聚类得到若干个第三图像簇；
融合第三图像簇的中心图像，得到第一数据集；
对所述第一数据集的图像进行标注，得到第二数据集；
基于所述第二数据集训练区域识别标注模型；
利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注。
根据本发明的一个实施方式，其特征在于，
筛选达到安全性关键术野技术标准的手术录像中含有胆囊颈部的三角解剖清晰部分短视频录像；
录像采集分辨率为1920x1080p，帧率为25帧；
从短视频录像中分割采集所述关键帧图像。
根据本发明的一个实施方式，其特征在于，获取目标颜色的标准三原色数值并将其表示为第一目标三原色数值R2、第二目标三原色数值G2和第三目标三原色数值B2，根据目标颜色的标准三原色数值得到目标颜色的像素贡献比，其中公式为，
A=0.63*m/count(px)+0.37(w+h)；
其中，A表示像素贡献比；
m表示像素点贡献值；
count(px)表示像素点的个数；
w表示最大目标颜色连续宽度；
h表示最大目标颜色连续高度。
根据本发明的一个实施方式，其特征在于，计算像素贡献比中的像素点贡献值的公式为，
；
其中，k表示阈值，取值为5,10或15；
R1表示需要进行聚类的图像的第一原始三原色数值；
G1表示需要进行聚类的图像的第二原始三原色数值；
B1表示需要进行聚类的图像的第三原始三原色数值。
根据本发明的一个实施方式，其特征在于，计算像素贡献比中的最大目标颜色连续宽度的公式为，
w=Max(hcon(R2,G2,B2,n))；
其中，hcon()表示获得第n行中和目标颜色差值低于阈值的颜色连续宽度；
n表示第n行；
计算像素贡献比中的最大目标颜色连续高度的公式为，
h=Max(vcon(r2,g2,b2,q))；
其中，vcon()表示获得第q列中和目标颜色差值低于阈值的颜色连续高度；
q表示第q列。
根据本发明的一个实施方式，其特征在于，所述第一数据集包含Rouviere沟图像、胆总管图像、胆囊管图像、左肝内侧段下缘图像和胆囊图像，对所述第一数据集进行标注，获得所述第二数据集。
根据本发明的一个实施方式，其特征在于，选择远离第三图像簇中聚类中心的边缘图像，得到第三数据集；对第三数据集中图像进行标注，得到第四数据集；基于第四数据集训练区域识别标注模型。
根据本发明的一个实施例，收集在我院进行LC的手术完整视频，要求LC手术操作严格达到CVS技术标准，视频采集分辨率为1920x1080p，帧率为25帧，保存格式为MPEG4。其中手术视频中，如因清晰程度受到腹腔内电烧灼、烟雾气体的影响，将其排除；如果术中出血量大，视野不清晰或因炎症较重，无法标识重要解剖部位的视频也被排除。从剩余的手术视频中，提取出胆囊颈部的Calot三角解剖清晰部分小视频，并保存为MP4数据格式；这些短视频分配相应序号。
根据本发明的一个实施例，视频录像中提取关键帧和最适采样频率选定：入组病例均按照CVS技术进行LC手术操作，并将被选择的2000例/关键解剖结构的LC标准手术视频分别按照每秒25帧的采样频率抽取为静态图像，比较每组静态图像的变化情况，比较确定最佳采样频率。
根据本发明的一个实施例，所有短视频均用于创建深度学习训练和评估的数据集训练模型的准确性，其中3名肝胆外科专家负责标识腹腔镜图像上包含重要解剖标志的区域，这些区域如能完整显示，将认为该手术者掌握了CVS技术。用labelImg软件进行图像标注，形成一个数据集，每一个数据集由5个图像构成：Rouviere’沟（RV）、胆总管（CBD）、胆囊管（CD）、左肝内侧段下缘（S4）和胆囊（GB）；但是，根据器官的位置和炎症的严重程度，某些重要标识可能不可见，已被正确标记的这些图像被保存为PNG数据格式。
根据本发明的一个实施例，短视频进行分割采集为静止图像帧，选择静止图像进行标记，前后选择的图像之间尽可能相似，选择相似程度超过一定阈值95%的图像进行标记。使用这些过程可以减少冗余数据集的数量。为了保持数据集的高度准确性，标记过程将只由两名经历了超过2000次LC手术的专家外科医生进行。专家外科医生之间的一致性很差。因此，将再次评估两位专家外科医生共享视频的标识图像，以有效地创建数据集，并对他们标记的数据集进行最终检查，以完成注释数据。
不仅如此，为实现上述发明目的，本发明还提供一种基于深度学习的手术解剖部位识别标注系统，图2示意性表示根据本发明的一种基于深度学习的手术解剖部位识别标注系统的流程图，如图2所示，根据本发明的一种基于深度学习的手术解剖部位识别标注系统，该系统包括：
关键帧图像获取模块：基于安全性关键术野技术标准的手术录像中提取关键帧图像；
图像聚类模块：对所述关键帧图像按照第一颜色区间的像素贡献比进行K-means聚类分组得到若干个第一图像簇；
对第一图像簇按照第二颜色区间的像素贡献比进行K-means聚类得到若干个第二图像簇；
对第二图像簇按照第三颜色区间的像素贡献比进行K-means聚类得到若干个第三图像簇；
第一数据集获取模块：融合第三图像簇的中心图像，得到第一数据集；
第二数据集获取模块：对所述第一数据集的图像进行标注，得到第二数据集；
区域识别标注模型训练模块：基于所述第二数据集训练区域识别标注模型；
图像标注模块：利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注。
根据本发明的一个实施方式，其特征在于，
筛选达到安全性关键术野技术标准的手术录像中含有胆囊颈部的三角解剖清晰部分短视频录像；
录像采集分辨率为1920x1080p，帧率为25帧；
从短视频录像中分割采集所述关键帧图像。
根据本发明的一个实施方式，其特征在于，获取目标颜色的标准三原色数值并将其表示为第一目标三原色数值R2、第二目标三原色数值G2和第三目标三原色数值B2，根据目标颜色的标准三原色数值得到目标颜色的像素贡献比，其中公式为，
A=0.63*m/count(px)+0.37(w+h)；
其中，A表示像素贡献比；
m表示像素点贡献值；
count(px)表示像素点的个数；
w表示最大目标颜色连续宽度；
h表示最大目标颜色连续高度。
根据本发明的一个实施方式，其特征在于，计算像素贡献比中的像素点贡献值的公式为，
；
其中，k表示阈值，取值为5,10或15；
R1表示需要进行聚类的图像的第一原始三原色数值；
G1表示需要进行聚类的图像的第二原始三原色数值；
B1表示需要进行聚类的图像的第三原始三原色数值。
根据本发明的一个实施方式，其特征在于，计算像素贡献比中的最大目标颜色连续宽度的公式为，
w=Max(hcon(R2,G2,B2,n))；
其中，hcon()表示获得第n行中和目标颜色差值低于阈值的颜色连续宽度；
n表示第n行；
计算像素贡献比中的最大目标颜色连续高度的公式为，
h=Max(vcon(r2,g2,b2,q))；
其中，vcon()表示获得第q列中和目标颜色差值低于阈值的颜色连续高度；
q表示第q列。
根据本发明的一个实施方式，其特征在于，所述第一数据集包含Rouviere沟图像、胆总管图像、胆囊管图像、左肝内侧段下缘图像和胆囊图像，对所述第一数据集进行标注，获得所述第二数据集。
根据本发明的一个实施方式，其特征在于，选择远离第三图像簇中聚类中心的边缘图像，得到第三数据集；对第三数据集中图像进行标注，得到第四数据集；基于第四数据集训练区域识别标注模型。
根据本发明的一个实施例，收集在我院进行LC的手术完整视频，要求LC手术操作严格达到CVS技术标准，视频采集分辨率为1920x1080p，帧率为25帧，保存格式为MPEG4。其中手术视频中，如因清晰程度受到腹腔内电烧灼、烟雾气体的影响，将其排除；如果术中出血量大，视野不清晰或因炎症较重，无法标识重要解剖部位的视频也被排除。从剩余的手术视频中，提取出胆囊颈部的Calot三角解剖清晰部分小视频，并保存为MP4数据格式；这些短视频分配相应序号。
根据本发明的一个实施例，视频录像中提取关键帧和最适采样频率选定：入组病例均按照CVS技术进行LC手术操作，并将被选择的2000例/关键解剖结构的LC标准手术视频分别按照每秒25帧的采样频率抽取为静态图像，比较每组静态图像的变化情况，比较确定最佳采样频率。
根据本发明的一个实施例，所有短视频均用于创建深度学习训练和评估的数据集训练模型的准确性，其中3名肝胆外科专家负责标识腹腔镜图像上包含重要解剖标志的区域，这些区域如能完整显示，将认为该手术者掌握了CVS技术。用labelImg软件进行图像标注，形成一个数据集，每一个数据集由5个图像构成：Rouviere’沟（RV）、胆总管（CBD）、胆囊管（CD）、左肝内侧段下缘（S4）和胆囊（GB）；但是，根据器官的位置和炎症的严重程度，某些重要标识可能不可见，已被正确标记的这些图像被保存为PNG数据格式。
根据本发明的一个实施例，短视频进行分割采集为静止图像帧，选择静止图像进行标记，前后选择的图像之间尽可能相似，选择相似程度超过一定阈值95%的图像进行标记。使用这些过程可以减少冗余数据集的数量。为了保持数据集的高度准确性，标记过程将只由两名经历了超过2000次LC手术的专家外科医生进行。专家外科医生之间的一致性很差。因此，将再次评估两位专家外科医生共享视频的标识图像，以有效地创建数据集，并对他们标记的数据集进行最终检查，以完成注释数据。
为实现上述发明目的，本发明还提供一种电子设备，该电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，计算机程序被处理器执行时实现上述一种基于深度学习的手术解剖部位识别标注方法。
为实现上述发明目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述一种基于深度学习的手术解剖部位识别标注方法。
基于此，本发明的有益效果在于，本发明旨在开发人工智能解剖标识系统，训练深度学习模型，识别胆囊切除术中重要人体重要解剖标志以及解剖的安全和危险区域，即使用安全性关键术野，减少术中胆管损伤的发生率，并由具有丰富经验的外科专家评估其结果的有效性。对外科手术医师初学者在掌握手术技能，学习CVS技术提供一定的辅助和提高。以腹腔镜手术录像等图像数据为基础，深度学习的图像识别技术作为依托，完成腹腔镜手术术中标识软件的开发，并利用软件引导低年资青年医师掌握学习CVS技术，提高关键解剖点的认知，进行腹腔镜胆囊切除手术，缩短腹腔镜手术学习曲线，降低因经验不足所致医源性胆道损伤的几率。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
Claims (8)
1.一种基于深度学习的手术解剖部位识别标注方法，其特征在于，包括：
基于安全性关键术野技术标准的手术录像中提取关键帧图像；
对所述关键帧图像按照第一颜色区间的像素贡献比进行K-means聚类分组得到若干个第一图像簇；
对第一图像簇按照第二颜色区间的像素贡献比进行K-means聚类得到若干个第二图像簇；
对第二图像簇按照第三颜色区间的像素贡献比进行K-means聚类得到若干个第三图像簇；
融合第三图像簇的中心图像，得到第一数据集；
对所述第一数据集的图像进行标注，得到第二数据集；
基于所述第二数据集训练区域识别标注模型；
利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注；
其中，获取目标颜色的标准三原色数值并将其表示为第一目标三原色数值R2、第二目标三原色数值G2和第三目标三原色数值B2，根据目标颜色的标准三原色数值得到目标颜色的像素贡献比，其中公式为，
A＝0.63*m/count(px)+0.37(w+h)；
其中，A表示像素贡献比；
m表示像素点贡献值；
count(px)表示像素点的个数；
w表示最大目标颜色连续宽度；
h表示最大目标颜色连续高度；
计算像素贡献比中的像素点贡献值的公式为，
m＝(max(k-|R1-R2|,0))2+(max(k-|G1-G2|,0))2+(max(k-|B1-B2|,0))2；
其中，k表示阈值，取值为5,10或15；
R1表示需要进行聚类的图像的第一原始三原色数值；
G1表示需要进行聚类的图像的第二原始三原色数值；
B1表示需要进行聚类的图像的第三原始三原色数值。
2.根据权利要求1所述的一种基于深度学习的手术解剖部位识别标注方法，其特征在于，
筛选达到安全性关键术野技术标准的手术录像中含有胆囊颈部的三角解剖清晰部分短视频录像；
录像采集分辨率为1920x1080p，帧率为25帧；
从短视频录像中分割采集所述关键帧图像。
3.根据权利要求1所述的一种基于深度学习的手术解剖部位识别标注方法，其特征在于，计算像素贡献比中的最大目标颜色连续宽度的公式为，
w＝Max(hcon(R2,G2,B2,n))；
其中，hcon()表示获得第n行中和目标颜色差值低于阈值的颜色连续宽度；
n表示第n行；
计算像素贡献比中的最大目标颜色连续高度的公式为，
h＝Max(vcon(r2,g2,b2,q))；
其中，vcon()表示获得第q列中和目标颜色差值低于阈值的颜色连续高度；
q表示第q列。
4.根据权利要求3所述的一种基于深度学习的手术解剖部位识别标注方法，其特征在于，所述第一数据集包含Rouviere沟图像、胆总管图像、胆囊管图像、左肝内侧段下缘图像和胆囊图像，对所述第一数据集进行标注，获得所述第二数据集。
5.根据权利要求4所述的一种基于深度学习的手术解剖部位识别标注方法，其特征在于，选择远离第三图像簇中聚类中心的边缘图像，得到第三数据集；对第三数据集中图像进行标注，得到第四数据集；基于第四数据集训练区域识别标注模型。
6.一种基于深度学习的手术解剖部位识别标注系统，其特征在于，包括：
关键帧图像获取模块：基于安全性关键术野技术标准的手术录像中提取关键帧图像；
图像聚类模块：对所述关键帧图像按照第一颜色区间的像素贡献比进行K-means聚类分组得到若干个第一图像簇；
对第一图像簇按照第二颜色区间的像素贡献比进行K-means聚类得到若干个第二图像簇；
对第二图像簇按照第三颜色区间的像素贡献比进行K-means聚类得到若干个第三图像簇；
第一数据集获取模块：融合第三图像簇的中心图像，得到第一数据集；
第二数据集获取模块：对所述第一数据集的图像进行标注，得到第二数据集；
区域识别标注模型训练模块：基于所述第二数据集训练区域识别标注模型；
图像标注模块：利用训练后的区域识别标注模型对手术录像中提取的图像进行识别标注；
其中，获取目标颜色的标准三原色数值并将其表示为第一目标三原色数值R2、第二目标三原色数值G2和第三目标三原色数值B2，根据目标颜色的标准三原色数值得到目标颜色的像素贡献比，其中公式为，
A＝0.63*m/count(px)+0.37(w+h)；
其中，A表示像素贡献比；
m表示像素点贡献值；
count(px)表示像素点的个数；
w表示最大目标颜色连续宽度；
h表示最大目标颜色连续高度；
计算像素贡献比中的像素点贡献值的公式为，
m＝(max(k-|R1-R2|,0))2+(max(k-|G1-G2|,0))2+(max(k-|B1-B2],0))2；
其中，k表示阈值，取值为5,10或15；
R1表示需要进行聚类的图像的第一原始三原色数值；
G1表示需要进行聚类的图像的第二原始三原色数值；
B1表示需要进行聚类的图像的第三原始三原色数值。
7.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的一种基于深度学习的手术解剖部位识别标注方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种基于深度学习的手术解剖部位识别标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310762533.2A CN116863469B (zh) | 2023-06-27 | 2023-06-27 | 一种基于深度学习的手术解剖部位识别标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310762533.2A CN116863469B (zh) | 2023-06-27 | 2023-06-27 | 一种基于深度学习的手术解剖部位识别标注方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116863469A CN116863469A (zh) | 2023-10-10 |
| CN116863469B true CN116863469B (zh) | 2024-05-14 |
Family
ID=88231380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310762533.2A Active CN116863469B (zh) | 2023-06-27 | 2023-06-27 | 一种基于深度学习的手术解剖部位识别标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863469B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108292366A (zh) * | 2015-09-10 | 2018-07-17 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的系统和方法 |
| CN109816629A (zh) * | 2018-12-20 | 2019-05-28 | 新绎健康科技有限公司 | 一种基于k-means聚类的苔质分离方法和装置 |
| CN111680753A (zh) * | 2020-06-10 | 2020-09-18 | 创新奇智(上海)科技有限公司 | 一种数据标注方法、装置、电子设备及存储介质 |
| CN112220562A (zh) * | 2019-07-15 | 2021-01-15 | 数字外科有限公司 | 手术期间使用计算机视觉增强手术工具控制的方法和系统 |
| CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统 |
| WO2022001571A1 (zh) * | 2020-06-29 | 2022-01-06 | 南京巨鲨显示科技有限公司 | 一种基于超像素图像相似度的计算方法 |
| CN114419314A (zh) * | 2020-10-09 | 2022-04-29 | 通用电气精准医疗有限责任公司 | 自动标注医学图像的系统和方法 |
| WO2022177069A1 (ko) * | 2021-02-16 | 2022-08-25 | 디디에이치 주식회사 | 라벨링 방법 및 이를 위한 컴퓨팅 장치 |
| WO2022185305A1 (en) * | 2021-03-01 | 2022-09-09 | Medial Earlysign Ltd. | Add-on to a machine learning model for interpretation thereof |
| CN115274093A (zh) * | 2022-07-26 | 2022-11-01 | 华东师范大学 | 生成包含自动标注文件的基准病理数据集的方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016091108A (ja) * | 2014-10-30 | 2016-05-23 | パナソニックＩｐマネジメント株式会社 | 人体部位検出システムおよび人体部位検出方法 |
-
2023
- 2023-06-27 CN CN202310762533.2A patent/CN116863469B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108292366A (zh) * | 2015-09-10 | 2018-07-17 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的系统和方法 |
| CN109816629A (zh) * | 2018-12-20 | 2019-05-28 | 新绎健康科技有限公司 | 一种基于k-means聚类的苔质分离方法和装置 |
| CN112220562A (zh) * | 2019-07-15 | 2021-01-15 | 数字外科有限公司 | 手术期间使用计算机视觉增强手术工具控制的方法和系统 |
| CN111680753A (zh) * | 2020-06-10 | 2020-09-18 | 创新奇智(上海)科技有限公司 | 一种数据标注方法、装置、电子设备及存储介质 |
| WO2022001571A1 (zh) * | 2020-06-29 | 2022-01-06 | 南京巨鲨显示科技有限公司 | 一种基于超像素图像相似度的计算方法 |
| CN114419314A (zh) * | 2020-10-09 | 2022-04-29 | 通用电气精准医疗有限责任公司 | 自动标注医学图像的系统和方法 |
| WO2022177069A1 (ko) * | 2021-02-16 | 2022-08-25 | 디디에이치 주식회사 | 라벨링 방법 및 이를 위한 컴퓨팅 장치 |
| WO2022185305A1 (en) * | 2021-03-01 | 2022-09-09 | Medial Earlysign Ltd. | Add-on to a machine learning model for interpretation thereof |
| CN112932663A (zh) * | 2021-03-02 | 2021-06-11 | 成都与睿创新科技有限公司 | 一种提高腹腔镜胆囊切除术安全性的智能辅助方法及系统 |
| CN115274093A (zh) * | 2022-07-26 | 2022-11-01 | 华东师范大学 | 生成包含自动标注文件的基准病理数据集的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于解剖知识的肝脏CT图像分割及可视化研究与实现》;齐萌;《计算机软件及计算机应用-信息科技》;20130630;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116863469A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| AU2019431299B2 (en) | AI systems for detecting and sizing lesions | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| CN111667478B (zh) | Cta到mra跨模态预测的颈动脉斑块识别方法及系统 | |
| CN114299072B (zh) | 一种基于人工智能的解剖变异识别提示方法及系统 | |
| Huang et al. | Extracting keyframes of breast ultrasound video using deep reinforcement learning | |
| Gamage et al. | Instance-based segmentation for boundary detection of neuropathic ulcers through Mask-RCNN | |
| CN113813053A (zh) | 一种基于腹腔镜内窥影像的手术进程分析方法 | |
| CN111080676B (zh) | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| Bejakovic et al. | Analysis of Crohn's disease lesions in capsule endoscopy images | |
| Özbay et al. | Interpretable features fusion with precision MRI images deep hashing for brain tumor detection | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| Yue et al. | Benchmarking polyp segmentation methods in narrow-band imaging colonoscopy images | |
| CN116863469B (zh) | 一种基于深度学习的手术解剖部位识别标注方法 | |
| Liu et al. | Towards surgical tools detection and operative skill assessment based on deep learning | |
| Azli et al. | Ultrasound image segmentation using a combination of edge enhancement and kirsch’s template method for detecting follicles in ovaries | |
| Yan et al. | Segmentation of pulmonary parenchyma from pulmonary CT based on ResU-Net++ model | |
| Arnold et al. | Indistinct frame detection in colonoscopy videos | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Lahane et al. | Detection of unsafe action from laparoscopic cholecystectomy video | |
| CN112885435B (zh) | 图像目标区域的确定方法、装置和系统 | |
| Gatoula et al. | Enhanced CNN-Based Gaze Estimation on Wireless Capsule Endoscopy Images | |
| Ashame et al. | Abnormality Detection in Eye Fundus Retina | |
| CN114419061A (zh) | 一种肺部动静脉血管分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |