CN115170385A - 一种激光刀手术黑白模式视频上色方法和系统 - Google Patents
一种激光刀手术黑白模式视频上色方法和系统 Download PDFInfo
- Publication number
- CN115170385A CN115170385A CN202210774461.9A CN202210774461A CN115170385A CN 115170385 A CN115170385 A CN 115170385A CN 202210774461 A CN202210774461 A CN 202210774461A CN 115170385 A CN115170385 A CN 115170385A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- video
- color
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004040 coloring Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000011084 recovery Methods 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000002674 endoscopic surgery Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims description 18
- 238000001356 surgical procedure Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 230000003042 antagnostic effect Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000011049 filling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 22
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013518 transcription Methods 0.000 description 3
- 230000035897 transcription Effects 0.000 description 3
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 208000037976 chronic inflammation Diseases 0.000 description 2
- 230000006020 chronic inflammation Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000002430 laser surgery Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000005002 female reproductive tract Anatomy 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 210000001989 nasopharynx Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
- 238000009834 vaporization Methods 0.000 description 1
- 230000008016 vaporization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Otolaryngology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种激光刀手术黑白模式视频上色方法和系统，包括：1)采集医学内窥镜手术彩色视频，选取关键帧彩色图像转换为原始分辨率的关键帧灰度图像，制作视频上色样本库；2)构建并训练网络模型，得到预训练上色图像；3)计算预训练上色图像与手术彩色图像之间的损失，得到损失函数；4)优化网络模型：5)实时采集激光刀手术中的黑白模式视频，再将黑白图像依次输入网络模型，得到的低分辨率上色图像与原始分辨率灰度图像依次进行HSI融合得到彩色视频。本发明解决了内窥镜下激光刀工作时画面曝光异常的技术问题，具有计算量少、内存消耗小、模型色彩恢复速度快的效果。
Description
技术领域
本发明属于激光刀手术黑白模式视频色彩恢复、医工结合领域，特别是涉及一种基于对抗神经网络的激光刀手术黑白模式视频上色方法和系统。
背景技术
随着人口老龄化和社会、环境等因素变化，人类各种腔道器官(包括泌尿道、消化道、女性生殖道、鼻咽喉道、呼吸道)癌症、息肉、慢性炎症等发病率呈现持续上升趋势，早发现、早治疗是有望治愈该类病患，特别是各种早期癌症的共识。虽然上述各类腔道器官早期癌症治疗方法大都已进入微创时代，但是电外科器械(电刀)目前依然是医生手上的主流武器。总体来讲，由于电刀普遍存在切割精准度低、手术副损伤大、技术要求高等问题，这限制了绝大多数微创技术面向广大县域医疗机构的推广应用，不能很好地服务多数普通百姓患者。以奥林巴斯公司为代表研发的内镜黏膜下剥离术(ESD)系统虽已广泛应用于消化道即食管、胃、结肠早癌的微创治疗，但相关微创器械的设计仅适配消化内镜，无法配合其他腔道疾病的微创设备使用，昂贵的设备和耗材价格也使基层医疗机构和普通患者望而却步。
而激光刀在部分疾病治疗中显示出切割效率高、出血少、副损伤小等明显优势正在不断取代传统的手术器械。目前市场上最具代表性的激光能量平台都是可见光激光和近红外光激光，可以达到减少组织热损伤、术后快速康复的目的。但这些设备无论进口还是国产(核心技术大都源自国外)都普遍存在价格昂贵、设备笨重、工作噪音大等缺点，严重影响其在广大基层医院的推广应用。
更为遗憾的是，目前市场上的几乎所有激光能量平台，都不是真正意义上的适用于人类各种腔道器官浅表疾病(如早期癌症、息肉、慢性炎症等)的微创激光手术系统。日本科学家中村修二等于上世纪九十年代初创造性地发明了半导体蓝光LED和蓝色半导体激光，填补了没有蓝色半导体激光的空白。此后，该技术及其相关产品已先后应用于照明、显示、投影、通信、探测、传感与武器制造等工业领域，为科技进步和社会发展做出了巨大贡献，并于2014年荣获诺贝尔物理学奖。结合蓝激光光子能量高的生物物理特性，在攻克若干核心技术的基础上，创新研制出专用于各种腔道器官浅表软组织汽化切割精准高效、止血可靠、组织热穿透适度的蓝激光手术系统。开发出可适配软性电子内窥镜的实时成像转录系统，拓展其在其它腔道器官病损(例如消化道早癌)手术治疗中的应用。
然而，在激光刀手术中，内窥镜的镜头会过度曝光，因为强大的激光是如此明亮。对于传统的内窥镜，我们可以使用激光脉冲手术刀来解决这个问题。我们使用激光脉冲来进行手术，在激光脉冲间歇，由于没有激光的影响，相机可以正常工作获得正常的手术画面。再利用获得的正常图像恢复出激光脉冲工作时的画面，从而得到正常的没有激光的手术视频。但是在一些内窥镜情况下，即使激光刀工作的时间很短，使用的彩色相机的画面仍然是曝光的，无法获得有效的画面。但是当相机处于黑白模式时，适当缩短激光脉冲的工作时间的情况下，相机能够拍摄获得正常有效的工作画面，从而能恢复正常的没有激光的手术视频。但是在黑白模式下面，激光工作间隙，会有正常画面出现。因此我们提出了一种利用基于黑白模式视频色彩恢复的可适配软性电子内窥镜的实时成像转录方案，拓展其在其它腔道器官病损(例如消化道早癌)手术治疗中的应用。
发明内容
为了解决内窥镜下激光刀工作时画面曝光异常，无法获得有效画面的情况，本发明提出一种激光刀手术黑白模式视频上色方法和系统，使用卷积神经网络开发一个深度学习算法，用于激光刀手术系统黑白模式视频色彩恢复，开发用于激光刀手术黑白模式视频色彩恢复的可适配软性电子内窥镜的实时成像转录系统。
为了达到上述目的，本发明提供的技术方案是：
一种激光刀手术黑白模式视频上色方法，其特殊之处是，包括以下步骤：
步骤1)获取视频上色样本库：
1.1)采集医学内窥镜手术彩色视频；
1.2)从彩色视频中选取关键帧彩色图像，同时将关键帧彩色图像转换为原始分辨率的关键帧灰度图像；所述关键帧彩色图像为包含手术部位的彩色图像；
1.3)对关键帧彩色图像和关键帧灰度图像分别通过下采样的方式提取其中的手术画面作为子图像，用所述子图像制作视频上色样本库；所述手术画面不包含关键帧彩色图像中的显示信息；
步骤2)构建并训练网络模型，得到预训练上色图像；
步骤3)计算预训练上色图像与手术彩色图像之间的损失，得到损失函数；
步骤4)优化网络模型：
将损失函数作为优化目标函数，使所述网络模型参与网络优化中梯度后向传播过程，实现所述网络模型的优化；
步骤5)手术图像上色：
实时采集激光刀手术中的黑白模式视频，再将下采样后的多帧黑白图像依次输入所述网络模型，将所述网络模型得到的低分辨率上色图像与原始分辨率灰度图像依次进行HSI融合，得到由多帧原始分辨率彩色图像构成的彩色视频。
上述步骤2具体包括：
2.1)构建基于对抗神经网络的激光刀手术黑白模式视频上色网络模型；
所述网络模型包括生成器网络模型和判别器网络模型；所述生成器网络模型包括依次连接的输入层、第二组合模块和输出层；所述判别器网络模型为Resnet模型；
所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32×9×9，stride＝1；64×3×3，stride＝2；128×3×3，stride＝2；
所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3×3卷积层、Batch Norm层以及ReLU层；
反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64×3×3，
32×3×3，
3×9×9，stride＝1；
2.2)使用步骤1中生成的视频上色样本库的灰度图像训练构建好的所述网络模型，得到预训练上色图像。
上述判别器网络模型为ResNet-18，相应的特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层；其中，
第一层卷积核conv1大小为7×7×64，stride为2，Max-Pooling为2×2，stride为2；
第二层卷积核conv2为2个64×64×256，stride为1；
第三层卷积核conv3为2个128×128×512；
第四层卷积核conv4为2个256×256×1024；
第五层卷积核conv5为512×512×2048。
上述损失函数具体为黑白激光刀手术视频上色损失函数：
其中，H表示网络层数；
lBCE的函数表达式为：
lKL的函数表达式为：
式中，(i,j)是像素坐标；
(M,N)是图像的宽高；
G(i,j)为真值；
S(i,j)为预测的目标色彩恢复像素值；
上述步骤1.3是通过定位手术画面的模板来提取规定大小的子图像。
上述子图像的分辨率优选100×100。
一种激光刀手术黑白模式视频上色系统，其特殊之处是，包括以下模块：
数据集获取模块，用于采集医学内窥镜手术视频，从视频流中选择色彩呈现丰富的关键帧并通过处理得到其灰度图像作为训练集的真值和图像输入，制作得到训练样本数据集；
数据集预处理模块，用于对制作的训练样本数据集进行图像核心内容提取以解决在测试过程中遇到的色彩恢复问题，以及对训练样本数据集进行统一采样处理以解决在测试过程中遇到的色彩恢复效率问题；
网络模型训练模块，用于构建一种基于生成对抗网络的激光刀手术视频色彩恢复网络模型，使用数据集预处理模块中生成的训练样本训练构建好的视频色彩恢复网络模型，生成预测彩色图像；所述视频色彩恢复网络模型包括生成器和判别器；生成器的网络模型结构包括依次连接的输入层、第二组合模块、输出层；判别器的网络模型为Resnet模型；
损失函数计算模块，用于计算预训练色彩恢复结果与彩色内窥镜手术真值之间的损失；
网络优化模块，用于将损失函数作为优化目标函数，使视频色彩恢复网络模型参与网络优化中梯度后向传播过程，实现激光刀手术黑白模式视频色彩恢复的优化；
多分辨率融合模块，用于将低分辨率彩色手术图像融合恢复成原始分辨率大小的彩色手术图像。
上述第二组合模块具体包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32×9×9，stride＝1；64×3×3，stride＝2；128×3×3，stride＝2；
所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3×3卷积层、Batch Norm层以及ReLU层；
反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64×3×3，
32×3×3，
3×9×9，stride＝1。
与现有技术相比，本发明的优点和有益效果：
1、由于现有激光刀手术直接用彩色视频，故60帧图像均包含激光，则三张图像合成的图像，均为曝光过度，所以无法得到所需的正常手术图像。本发明实时采集激光刀手术中的干净的黑白模式视频，再将后处理量小的下采样后的多帧黑白图像依次输入网络模型，将网络模型得到的低分辨率上色图像与原始分辨率灰度图像依次进行HSI融合，最终得到由多帧原始分辨率彩色图像构成的彩色视频。
2、本发明使用残差网络连接卷积模块与反卷积模块，与非残差网络相比，包含残差网络结构的模型训练速度更快。
3、本发明使用八度卷积将卷积层的输出特征图分解为存储在不同组的高低频特征图中，可以安全的降低低频群的空间分辨率减少空间冗余，同时对低频信息进行低频卷积操作能够有效地扩大像素空间中的接受野。因此与传统方法相比，能够进一步减少计算量和内存消耗。
4、本发明首先对手术视频进行处理包括适应性画面提取、下采样等操作获取统一低分辨率的色彩恢复数据集用于色彩恢复网络的训练，将得到的低分辨率彩色结果与原分辨率的黑白图像进行HSI融合得到原始分辨率的彩色手术图像。用低分辨率数据集训练网络能够提升网络模型的训练以及模型色彩恢复的速度，同时使用低分辨率图像作为模型输入更有利于低维度色彩特征的学习，提升了色彩恢复性能，本发明的这种基于对抗神经网络的激光刀手术黑白模式视频上色方法和系统能够达到实时手术视频色彩恢复的要求。
附图说明
图1为本发明实施例流程图；
图2为本发明中网络结构示意图；
图3为残差模块中一个残差层的结构示意图；
图4为残差模块中一个残差层的另一种结构示意图；
图5为八度卷积结构示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
本发明将八度卷积代替传统的卷积，运用到黑白模式视频色彩恢复网络中，从而提出一种新的用于色彩恢复的基于对抗神经网络的激光刀手术黑白模式视频上色网络，对经过预处理的数据集使用这种新的色彩恢复网络来更好地利用局部和全局上下文信息来提升色彩恢复效果。这种新的基于对抗神经网络的激光刀手术黑白模式视频上色网络通过卷积操作提取特征，提取内窥镜手术数据不同尺度的颜色特征信息。卷积模块使用八度卷积代替普通卷积进行局部特征的提取。与传统的方法相比，使用八度卷积的方法能够进一步减少计算量和内存消耗，同时提高色彩恢复的性能，并通过残差模块与卷积模块和反卷积模块相连进一步提升网络性能，达到事实处理的性能要求。
具体包括以下步骤：
1)数据集获取：采集彩色医学内窥镜手术视频，并从视频流中选取关键帧制作训练样本，并获取关键帧的黑白灰度图像用于实现激光刀手术黑白模式视频的色彩恢复；
将收集得到的临床内窥镜手术彩色视频进行筛选获得包括丰富颜色信息的关键帧，并对关键帧进行手术画面提取制作合适手术画面的Mask用于提取手术画面内容，避免其他无效区域对手术视频色彩恢复造成干扰。本发明实施过程中使用训练集图像为100×100大小的子图像，通过定位手术画面的Mask提取规定大小的子图像作为训练样本克服不同视频规格不一致的问题。
2)训练网络模型：构建一种新的基于对抗神经网络的激光刀手术黑白模式视频上色模型，使用步骤2中生成的训练样本训练构建好的网络模型，生成彩色激光刀手术图片；
参考图2对本发明构建的基于对抗神经网络的激光刀手术黑白模式视频上色网络做进一步的详细描述：
所述的基于对抗神经网络的激光刀手术黑白模式视频上色网络模型拥有两个部分：一个是生成器G，另一个是判别器D。生成器的网络模型结构包括依次连接的：输入层—第二组合模块—输出层；判别器的网络模型为Resnet；
构建生成器模型G的第二模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；其中卷积模块包含依次连接的三个卷积层，参数分为32×9×9，stride＝1；64×3×3，stride＝2；128×3×3，stride＝2；残差模块包含依次相连的五个残差层，其结构如图3或图4所示，每个残差层包含两个3×3卷积层，每个层上有相同数量的过滤器；反卷积模块包含依次连接的三个反卷积层，其参数分别为64×3×3，
32×3×3，
3×9×9，stride＝1。
构建判别器模型D搭建ResNet-18，也就是使用18层作为特征提取。特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层。参数设置为，第一层卷积核conv1大小为7×7×64，stride为2，Max-Pooling为2×2，stride为2；conv2为2个64×64×256，stride为1，conv3为2个128×128×512；conv4为2个256×256×1024，conv5为512×512×2048。
图5为八度卷积的实现细节图，它由四条计算路径组成分别对应于四项：f(XH；WH →H)、upsamplef(XL；WL→H)、f(XL；WL→L)、fpoolXH,2；WH→L，两条实线路径对应于高频和低频特征图的信息更新，两条虚线路径便于两个八度卷积之间的信息交换。
八度卷积与自然图像空间频率分量的分解一样，将卷积层的输出特征图分解为存储在不同组的高低频特征图中。因此它通过相邻位置之间的信息共享，可以安全的降低低频群的空间分辨率减少空间冗余。除此之外，八度卷积对低频信息进行低频卷积操作能够有效地扩大像素空间中的接受野。因此八度卷积的使用能够进一步减少网络的计算和内存开销。
3)计算损失函数：计算预训练手术图像预测色彩恢复结果与彩色手术图像真值之间的损失；
在训练过程中，本发明采用了分层训练监督策略代替标准的顶层监督训练和深度监督方案，本发明中的黑白模式视频上色网络损失函数如下：
其中H表示网络层数，lBCE、lKL的函数表达式分别为：
其中，(i,j)是像素坐标；
(M,N)是图像的宽高；
G(i,j)和S(i,j)分别为真值和预测的目标色彩恢复像素值；
对于每一层，我们都使用了标准的BCE损失函数和KL损失函数来计算损失。通过在任意两层之间添加一对概率预测匹配损失(即KL损失函数)，促进了不同层之间的多层交互作用。不同层损失函数的优化目标是一致的，从而保证了模型的鲁棒性和泛化性。
4)优化网络：将损失函数作为优化目标函数，使卷积神经网络参与网络优化中梯度后向传播过程，实现激光刀手术系统视频色彩恢复的优化。
5)多分辨率融合：将色彩恢复网络得到的低分辨率彩色手术图像与原始分辨率手术灰度图像进行HSI融合得到原始分辨率的彩色手术图像。
Claims (8)
1.一种激光刀手术黑白模式视频上色方法，其特征在于，包括以下步骤：
步骤1)获取视频上色样本库：
1.1)采集医学内窥镜手术彩色视频；
1.2)从彩色视频中选取关键帧彩色图像，同时将关键帧彩色图像转换为原始分辨率的关键帧灰度图像；所述关键帧彩色图像为包含手术部位的彩色图像；
1.3)对关键帧彩色图像和关键帧灰度图像分别通过下采样的方式提取其中的手术画面作为子图像，用所述子图像制作视频上色样本库；所述手术画面不包含关键帧彩色图像中的显示信息；
步骤2)构建并训练网络模型，得到预训练上色图像；
步骤3)计算预训练上色图像与手术彩色图像之间的损失，得到损失函数；
步骤4)优化网络模型：
将损失函数作为优化目标函数，使所述网络模型参与网络优化中梯度后向传播过程，实现所述网络模型的优化；
步骤5)手术图像上色：
实时采集激光刀手术中的黑白模式视频，再将下采样后的多帧黑白图像依次输入所述网络模型，将所述网络模型得到的低分辨率上色图像与原始分辨率灰度图像依次进行HSI融合，得到由多帧原始分辨率彩色图像构成的彩色视频。
2.根据权利要求1所述一种激光刀手术黑白模式视频上色方法，其特征在于，所述步骤2包括：
2.1)构建基于对抗神经网络的激光刀手术黑白模式视频上色网络模型；
所述网络模型包括生成器网络模型和判别器网络模型；所述生成器网络模型包括依次连接的输入层、第二组合模块和输出层；所述判别器网络模型为Resnet模型；
所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32×9×9，stride＝1；64×3×3，stride＝2；128×3×3，stride＝2；
所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3×3卷积层、Batch Norm层以及ReLU层；
反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64×3×3，
32×3×3，
3×9×9，stride＝1；
2.2)使用步骤1中生成的视频上色样本库的灰度图像训练构建好的所述网络模型，得到预训练上色图像。
3.根据权利要求2所述一种激光刀手术黑白模式视频上色方法，其特征在于：
所述判别器网络模型为ResNet-18，相应的特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层；其中，
第一层卷积核conv1大小为7×7×64，stride为2，Max-Pooling为2×2，stride为2；
第二层卷积核conv2为2个64×64×256，stride为1；
第三层卷积核conv3为2个128×128×512；
第四层卷积核conv4为2个256×256×1024；
第五层卷积核conv5为512×512×2048。
4.根据权利要求1所述一种激光刀手术黑白模式视频上色方法，其特征在于，所述损失函数为黑白激光刀手术视频上色损失函数：
其中，H表示网络层数；
lBCE的函数表达式为：
lKL的函数表达式为：
式中，(i,j)是像素坐标；
(M,N)是图像的宽高；
G(i,j)为真值；
S(i,j)为预测的目标色彩恢复像素值；
5.根据权利要求1至4任一所述一种激光刀手术黑白模式视频上色方法，其特征在于：
步骤1.3是通过定位手术画面的模板来提取规定大小的子图像。
6.根据权利要求5所述一种激光刀手术黑白模式视频上色方法，其特征在于：所述子图像的分辨率为100×100。
7.一种激光刀手术黑白模式视频上色系统，其特征在于，包括以下模块：
数据集获取模块，用于采集医学内窥镜手术视频，从视频流中选择色彩呈现丰富的关键帧并通过处理得到其灰度图像作为训练集的真值和图像输入，制作得到训练样本数据集；
数据集预处理模块，用于对制作的训练样本数据集进行图像核心内容提取以解决在测试过程中遇到的色彩恢复问题，以及对训练样本数据集进行统一采样处理以解决在测试过程中遇到的色彩恢复效率问题；
网络模型训练模块，用于构建一种基于生成对抗网络的激光刀手术视频色彩恢复网络模型，使用数据集预处理模块中生成的训练样本训练构建好的视频色彩恢复网络模型，生成预测彩色图像；所述视频色彩恢复网络模型包括生成器和判别器；生成器的网络模型结构包括依次连接的输入层、第二组合模块、输出层；判别器的网络模型为Resnet模型；
损失函数计算模块，用于计算预训练色彩恢复结果与彩色内窥镜手术真值之间的损失；
网络优化模块，用于将损失函数作为优化目标函数，使视频色彩恢复网络模型参与网络优化中梯度后向传播过程，实现激光刀手术黑白模式视频色彩恢复的优化；
多分辨率融合模块，用于将低分辨率彩色手术图像融合恢复成原始分辨率大小的彩色手术图像。
8.根据权利要求7所述一种激光刀手术黑白模式视频上色系统，其特征在于：
所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32×9×9，stride＝1；64×3×3，stride＝2；128×3×3，stride＝2；
所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3×3卷积层、Batch Norm层以及ReLU层；
反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64×3×3，
32×3×3，
3×9×9，stride＝1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210774461.9A CN115170385A (zh) | 2022-07-01 | 2022-07-01 | 一种激光刀手术黑白模式视频上色方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210774461.9A CN115170385A (zh) | 2022-07-01 | 2022-07-01 | 一种激光刀手术黑白模式视频上色方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170385A true CN115170385A (zh) | 2022-10-11 |
Family
ID=83489697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210774461.9A Pending CN115170385A (zh) | 2022-07-01 | 2022-07-01 | 一种激光刀手术黑白模式视频上色方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170385A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116528040A (zh) * | 2023-07-03 | 2023-08-01 | 清华大学 | 基于复眼智能相机的图像超分辨率重建方法、装置及相机 |
| CN116823973A (zh) * | 2023-08-25 | 2023-09-29 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种黑白视频上色方法、装置及计算机可读介质 |
-
2022
- 2022-07-01 CN CN202210774461.9A patent/CN115170385A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116528040A (zh) * | 2023-07-03 | 2023-08-01 | 清华大学 | 基于复眼智能相机的图像超分辨率重建方法、装置及相机 |
| CN116528040B (zh) * | 2023-07-03 | 2023-09-05 | 清华大学 | 基于复眼智能相机的图像超分辨率重建方法、装置及相机 |
| CN116823973A (zh) * | 2023-08-25 | 2023-09-29 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种黑白视频上色方法、装置及计算机可读介质 |
| CN116823973B (zh) * | 2023-08-25 | 2023-11-21 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种黑白视频上色方法、装置及计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6657480B2 (ja) | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム | |
| CN115170385A (zh) | 一种激光刀手术黑白模式视频上色方法和系统 | |
| Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
| CN113066026B (zh) | 基于深度神经网络的内窥镜图像烟雾净化方法 | |
| CN113496489B (zh) | 内窥镜图像分类模型的训练方法、图像分类方法和装置 | |
| JP2022105685A (ja) | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 | |
| JP7550409B2 (ja) | 画像診断装置、画像診断方法、および画像診断プログラム | |
| CN110265142B (zh) | 一种用于病变区域复原图的辅助诊断系统 | |
| CN114022527A (zh) | 基于无监督学习的单目内窥镜深度及位姿估计方法及装置 | |
| Szczypiński et al. | A model of deformable rings for interpretation of wireless capsule endoscopic videos | |
| CN113781489B (zh) | 一种息肉影像语义分割方法及装置 | |
| CN115018767A (zh) | 基于本征表示学习的跨模态内镜图像转换及病灶分割方法 | |
| CN114299080A (zh) | 一种基于空洞残差特征金字塔的咽喉器官分割方法 | |
| CN112419246B (zh) | 量化食管粘膜IPCLs血管形态分布的深度检测网络 | |
| CN111784669B (zh) | 一种胶囊内镜图像多病灶检测方法 | |
| JP7557425B2 (ja) | 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム | |
| CN114049934B (zh) | 辅助诊断方法、装置、系统、设备和介质 | |
| Chen et al. | MFCNet: Multi-Feature Fusion Neural Network for Thoracic Disease Classification | |
| Katayama et al. | Development of Computer-Aided Diagnosis System Using Single FCN Capable for Indicating Detailed Inference Results in Colon NBI Endoscopy | |
| Nguyen et al. | Comparative study on super resolution techniques for upper gastrointestinal endoscopic images | |
| WO2021206170A1 (ja) | 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル | |
| CN118172266B (zh) | 一种基于自适应光场重建和低秩分解的去高光内窥镜 | |
| CN118397065A (zh) | 一种基于自监督的单目内窥镜图像深度估计方法 | |
| Yao | Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure | |
| Babu et al. | Gastrointestinal tract disease detection via deep learning based Duo-Feature Optimized Hexa-Classification model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |