CN114663424A - 基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质 - Google Patents

基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质 Download PDF

Info

Publication number
CN114663424A
CN114663424A CN202210391883.8A CN202210391883A CN114663424A CN 114663424 A CN114663424 A CN 114663424A CN 202210391883 A CN202210391883 A CN 202210391883A CN 114663424 A CN114663424 A CN 114663424A
Authority
CN
China
Prior art keywords
video image
endoscope video
endoscope
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210391883.8A
Other languages
English (en)
Inventor
黄桂芳
邱述洪
朱艳春
柳子用
匡思羽
刘洺锟
欧阳滨滨
林梓陆
陈益祥
周皓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicom Digital Technology Co Ltd Guangdong Branch
China Unicom Guangdong Industrial Internet Co Ltd
Original Assignee
Unicom Digital Technology Co Ltd Guangdong Branch
China Unicom Guangdong Industrial Internet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicom Digital Technology Co Ltd Guangdong Branch, China Unicom Guangdong Industrial Internet Co Ltd filed Critical Unicom Digital Technology Co Ltd Guangdong Branch
Priority to CN202210391883.8A priority Critical patent/CN114663424A/zh
Publication of CN114663424A publication Critical patent/CN114663424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质，方法包括：获取内窥镜视频图像，在边缘资源上对内窥镜视频图像执行预处理操作和特征提取操作；预处理操作为：对内窥镜视频图像进行白平衡调节；对白平衡调节后的内窥镜视频图像进行畸变校正；对内窥镜视频图像去噪；检测内窥镜视频图像中的高光区域并对其进行增强；对内窥镜视频图像作去运动模糊处理；特征提取操作为：对内窥镜视频图像进行特征提取得到其图像特征；对内窥镜视频图像的图像特征进行聚类，以确定作为关键帧的内窥镜视频图像，将其图像特征输出至设于中心云的推理模型以得到推理结果。该方法合理利用边缘资源和中心云的资源，避免浪费中心云资源处理无用帧。

Description

基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及 介质
技术领域
本发明涉及内窥镜图像处理领域，更具体地，涉及基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质。
背景技术
电子内窥镜在当代医学中得到广泛应用，其利用光源所发出的光，经内窥镜内的导光纤维将光导入受检体腔内，内窥镜中的CCD(电荷耦合器件，是一种用电荷量表示信号大小，用耦合方式传输信号的探测元件)接收到体腔内粘膜面反射来的光，将此光信号转换成电信号后传入，再通过PCI总线将信号输送到计算机，计算机将这些电信号经过存储和处理，最后在屏幕上显示出受检脏器的粘膜图像。但利用内窥镜进行检测存在以下缺点：
1、内窥镜检测需要操作人员做到边检测边进行诊断或手术，实时诊断对操作人员的技术专业型要求较高；
2、为了应对上述的缺点，现有技术中利用人工智能自动对图像进行识别作为图像的辅助诊断手段，降低对操作人员的技术要求。但由于图像的数量数以万计，耗费大量的计算资源，在资源没有被合理利用的情况下，利用人工智能进行辅助诊断同样存在无法实时反馈、识别准确性较低的问题。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质，用于解决现有技术中利用人工智能作为内窥镜视频的辅助诊断手段时需要耗费大量计算资源，且资源没有被合理利用的问题。
本发明采用的技术方案包括：
第一方面，本发明提供一种基于边云协同的内窥镜视频辅助诊断的方法，从内窥镜视频中获取若干帧内窥镜视频图像，在边缘资源上对每帧所述内窥镜视频图像执行预处理操作以及特征提取操作；所述预处理操作包括：确定所述内窥镜视频图像的色温，利用预先确定的色温校正曲线结合所述内窥镜视频图像的色温对所述内窥镜视频图像进行白平衡调节；根据预先获取到的所述内窥镜的摄像头的畸变系数对白平衡调节后的内窥镜视频图像进行畸变校正；采用自适应二进小波降噪模型对畸变校正后的内窥镜视频图像进行去噪；检测去噪后的内窥镜视频图像中的高光区域，重置所述高光区域的像素值，并对所述高光区域进行增强；采用维纳滤波的方式对增强后的内窥镜视频图像进行去运动模糊处理；所述特征提取操作包括：对所述预处理操作后的内窥镜视频图像进行特征提取，得到所述内窥镜视频图像的图像特征；对所有所提取的内窥镜视频图像的图像特征进行聚类，以确定所有所述内窥镜视频图像中的作为关键帧的若干帧内窥镜视频图像；将作为关键帧的若干帧内窥镜视频图像的图像特征输出至设于中心云的推理模型，以使所述推理模型输出推理结果。
第二方面，本发明提供一种基于边云协同的内窥镜视频辅助诊断的系统，包括：设于边缘资源的预处理模块、特征提取模块以及特征聚类筛选模块，以及设于中心云的推理模型；所述预处理模块用于从内窥镜视频中获取若干帧内窥镜视频图像，在边缘资源上对每帧所述内窥镜视频图像执行预处理操作；所述特征提取模块用于对所有所述预处理操作后的内窥镜视频图像进行特征提取，得到所有所述内窥镜视频图像的图像特征；所述特征聚类筛选模块用于对所有所提取的内窥镜视频的图像特征进行聚类，以确定所有所述内窥镜视频图像中的作为关键帧的若干帧内窥镜视频图像，将作为关键帧的若干帧内窥镜视频图像的图像特征输出至所述推理模块；所述推理模型用于将所述特征聚类筛选模块传输的作为关键帧的若干帧内窥镜视频图像的图像特征作为模型输入，输出推理结果；所述预处理操作包括：确定所述内窥镜视频图像的色温，利用预先确定的色温校正曲线结合所述内窥镜视频图像的色温对所述内窥镜视频图像进行白平衡调节；根据预先获取到的所述内窥镜的摄像头的畸变系数对白平衡调节后的内窥镜视频图像进行畸变校正；采用自适应二进小波降噪模型对畸变校正后的内窥镜视频图像进行去噪；检测去噪后的内窥镜视频图像中的高光区域，重置所述高光区域的像素值，并对所述高光区域进行增强；采用维纳滤波的方式对增强后的内窥镜视频图像进行去运动模糊处理。
第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于边云协同的内窥镜视频辅助诊断的方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于边云协同的内窥镜视频辅助诊断的方法。
与现有技术相比，本发明的有益效果为：
本发明提供的基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质，针对内窥镜视频图像的特性对内窥镜视频图像作相应的预处理，使预处理后的内窥镜视频图像更加准确地反应被测者体内的情况。同时，利用边缘资源实现内窥镜视频图像的预处理、特征提取以及关键帧筛选，利用中心云资源实现内窥镜视频图像中关键帧的推理，合理利用边缘资源和中心云的资源，避免浪费中心云资源处理无用帧。
附图说明
图1为本发明实施例1的方法步骤S110～S190的流程示意图。
图2为本发明实施例1的方法步骤S121～S127的流程示意图。
图3为本发明实施例1的方法步骤S141～S147的流程示意图。
图4为本发明实施例1的方法步骤S151～S160的流程示意图。
图5为本发明实施例1的方法步骤S161～S163的流程示意图。
图6为本发明实施例2的系统模块组成示意图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
本实施例提供一种基于边云协同的内窥镜视频辅助诊断的方法，合理利用“边云协同”的概念，即利用边缘资源以及中心云资源来智能识别内窥镜视频的图像，可实时且准确地得到人工智能模型的推理结果。边缘资源是靠近需处理的数据源的一侧，边缘资源可就近提供最近端的网络、计算、存储和应用核心服务。当利用靠近数据源的边缘资源提供计算服务时，边缘资源能够产生更快的网络、计算等服务响应。另一方面，中心云资源是指非靠近数据源的云端资源，同样可以提供网络、计算、存储等服务，且能力会比边缘资源强大得多。
如图1所示，该方法包括以下步骤：
S110、从内窥镜视频中获取若干帧内窥镜视频图像；
在本步骤中，获取的可以是内窥镜视频中的每一帧图像，也可以是从内窥镜视频的连续图像中选择获取若干帧图像，选择获取的规则可以是预设的，例如可以是每间隔一定时间获取一帧图像，也可以是每间隔一定帧数获取一帧图像。
对所获取的若干帧内窥镜视频图像执行步骤S120～S160进行预处理。
S120、在边缘资源上确定所获取的每一帧内窥镜视频图像的色温，利用预先确定的色温校正曲线结合所获取的内窥镜视频图像的色温对其进行白平衡调节；
在本步骤中，由于内窥镜光源的影响，内窥镜视频图像中的白色在高色温下偏蓝，低色温下偏黄。而基于偏离正常色温的内窥镜视频图像容易误判病灶区域，因此需要对内窥镜视频图像进行白平衡调节。由于是对内窥镜视频图像进行白平衡调节，因此需确定的图像的色温具体是图像中白色部分的色温。
色温校正曲线是预先确定的，预先确定的过程可以是：在各个色温(例如是色温2500K～7500K)下对白色纸张拍摄一张照片，可称作色温照。对色温照中的白色进行校正，具体是对色温照的R/G/B通道数据进行校正，以使偏色的白纸照变成标准白色，并记录各个通道的校正参数，实际操作中只需校正R/B通道。在获取到各个色温的R/B通道的校正参数后，可将色温作为横坐标，R/B通道的校正参数作为纵坐标，得到色温校正曲线。
在确定了内窥镜视频图像的色温后，将该色温代入色温校正曲线，从而确定对应的校正参数，利用该参数调整内窥镜视频图像R/B通道的参数，实现白平衡调节。
在确定内窥镜视频图像的白色部分的色温时，需要先找出图像中的所有白色色块，基于此，针对每一帧内窥镜视频图像，如图2所示，步骤S120具体包括以下步骤，：
S121、将内窥镜视频图像分为M*N个色块，统计每一个色块的基本信息；
在本步骤中，所统计的色块的基本信息是每个色块的白色像素的数量、色块所有像素的R/G通道的分量的均值，以及B/G通道的分量的均值。在具体的实施方式中，在确定白色像素时，可根据预先设定的颜色范围确定一个像素是否为白色像素。
S122、根据预设的白色像素数量阈值对内窥镜视频图像的其中一个色块的白色像素的数量进行判断，若色块的白色像素的数量大于或等于白色像素数量阈值，执行步骤S123；
S123、确定大于或等于白色像素数量阈值的色块为白色色块，继续对未进行判断的色块执行步骤S122直至内窥镜视频图像的所有色块完成判断，执行步骤S125；
S124、确定小于白色像素数量阈值的色块为非白色色块，继续对未进行判断的色块执行步骤S122直至内窥镜视频图像的所有色块完成判断，执行步骤S125；
S125、将所有白色色块的平均色温作为内窥镜视频图像的当前色温；
在本步骤中，白色色块的平均色温是指大部分白色色块的色温，“大部分”的定义可以是按照预设的比例值确定的，例如预设的比例值为80％，则所有白色色块中的80％的白色色块的色温可以作为所有白色色块的平均色温。
S126、将内窥镜视频图像的当前色温代入预先确定的色温校正曲线，确定对应的R/B通道的校正参数；
S127、根据所确定的R/B通道的校正参数对内窥镜视频图像作白平衡调节。
以上步骤S121～步骤S127为针对所获取的一帧内窥镜视频图像的白平衡调节步骤，当获取到有一帧以上的内窥镜视频图像时，应对每一帧内窥镜视频图像执行一次步骤S121～步骤S127进行白平衡调节。
S130、根据预先获取到的内窥镜的摄像头的畸变系数对白平衡调节后的内窥镜视频图像进行畸变校正；
在本步骤中，受到人体体腔(如消化道、呼吸道)的限制，进入人体的内窥镜摄像头广泛采用直径约为10mm，视场角为120度的广角成像系统，因而内窥镜视频图像存在严重的光学畸变。对于医学电子内窥镜，畸变的存在影响医生正确判断病变部位，更使得无法利用图像进行高精度的测量。畸变包括径向畸变和切向畸变。
预先获取到的内窥镜的摄像头畸变系数可以是通过现有技术中任何适用的摄像头标定方法测量得到的。优选地，内窥镜的摄像头畸变系数是预先通过张氏校正法测量得到的。张氏校正法测量内窥镜摄像头畸变系数的过程包括：
使用一个已知的棋盘格作为标定参照物，移动棋盘格，使内窥镜的摄像头拍摄多个在不同位置上的棋盘格图像。假设共拍摄n张图像，每张图像获取m个角点，一共提取出m*n个角点。
针对每一张棋盘格图像的每个角点，每个角点都有已知的标准坐标，即理想的无畸变的像素坐标(u,v)，归一化后的坐标为(x,y)。由于经过内窥镜摄像头的拍摄，每个角点的真实坐标都有所畸变，每个角点的真实坐标是畸变后的像素坐标
Figure BDA0003595949180000051
归一化后的坐标为
Figure BDA0003595949180000052
假设摄像头的畸变系数包括k1和k2，内窥镜摄像头的主点为(u0,v0)，则(x,y)畸变为
Figure BDA0003595949180000053
的过程可以表示为：
Figure BDA0003595949180000054
Figure BDA0003595949180000061
由于径向畸变的中心与摄像头的主点是在同一位置，因此：
Figure BDA0003595949180000062
Figure BDA0003595949180000063
假设畸变γ＝0，则：
Figure BDA0003595949180000064
Figure BDA0003595949180000065
将以上两个式子改写为矩阵的形式：
Figure BDA0003595949180000066
由于一共提取m*n个角点，则将得到的所有等式组合起来，可以得到2mn个等式，将其记为矩阵形式：Dk＝d，其中D对应2mn个
Figure BDA0003595949180000067
k对应2mn个
Figure BDA0003595949180000068
d对应2mn个
Figure BDA0003595949180000069
基于Dk＝d可得：k＝[k1k2]T＝(DTD)-1DTd。
进一步利用最大似然估计解得k的最优解，得到畸变系数k1和k2，为内窥镜的摄像头的畸变系数。
S140、采用自适应二进小波降噪模型对畸变校正后的内窥镜视频图像进行去噪；
内窥镜系统中的元器件CCD、图像采集卡等存在有本身噪声(如电荷注入噪声、电荷转移噪声等)、暗电流、光电转换噪声以及因数据位数等产生一定的变换误差。相应的内窥镜视频图像上会产生一些直观的噪声，如散斑噪声、椒盐噪声、脉冲噪声、高斯白噪声等。在本步骤中，利用自适应二进小波降噪模型对内窥镜视频图像进行噪声去除，自适应二进小波降噪模型是指基于自适应噪声算法以及二进小波变换算法构造的模型。
具体地，如图3所示，针对每一帧内窥镜视频图像，步骤S140包括以下步骤：
S141、对畸变校正后的内窥镜视频图像进行二进制小波变换，得到对应图像中每个像素的一组小波系数wj,k；
在本步骤中，二进制小波函数通过以下方式得到：
令a＝a0 m，b＝nb0a0 m，m,n∈Z；
相应的离散小波为：Ψm,n(x)＝|a0|-m/2Ψ(a0 -mx-nb0)m,n∈Z；
令a0＝2,b0＝1，得到二进制小波函数：Ψm,n(x)＝2-m/2Ψ(2-mx-n),m,n∈Z。
S142、对得到的一组小波系数wj,k采用软阈值方法得到一组估计小波系数
Figure BDA0003595949180000071
在本步骤中，软阈值的处理过程为：
Figure BDA0003595949180000072
其中，λ1为预设值。
S143、以n*n个像素作为图像窗口扫描内窥镜视频图像，将作为窗口中心的像素与同一窗口中其余n*n-1个像素作差，并取绝对值
Figure BDA0003595949180000073
在本步骤中，n为奇数。
S144、判断
Figure BDA0003595949180000074
的次数是否大于预设的次数阈值λ1，如是，执行步骤S145；如否，执行步骤S1456；
在本步骤中，σ通过以下式子确定：
Figure BDA0003595949180000075
Figure BDA0003595949180000076
其中，M*N表示内窥镜视频图像的大小，i和j分别表示内窥镜视频图像中像素的行数和列数。
Figure BDA0003595949180000077
表示以第i行第j列的像素作为窗口中心的像素时，第i行第j列的像素与窗口其余n*n-1个像素的差。
S145、对作为窗口中心的像素对应的估计小波系数进行噪声处理，重复执行步骤S144直至窗口遍历内窥镜视频图像；
在本步骤中，噪声处理具体是将满足判断条件的作为窗口中心的像素对应的估计小波系数置零。
S146、不对对应的小波系数进行噪声处理，重复执行步骤S144直至窗口遍历内窥镜视频图像；
S147、利用未置零的估计小波系数经过小波逆变换，重建内窥镜视频图像，作为去噪后的内窥镜视频图像；
以上步骤S141～步骤S147为针对所获取的一帧内窥镜视频图像的去噪步骤，对每一帧畸变处理后的内窥镜视频图像都需执行一次步骤S141～步骤S147进行去噪。
S150、检测去噪后的内窥镜视频图像中的高光区域，重置高光区域的像素值，并对高光区域进行增强；
内窥镜视频图像中会出现较多亮度很高的白色区域，也即高光区域，一般是由于在进入人体后，人体内器官壁上的黏液或充水孔进去的数珠反光导致出现高光区域，其在内窥镜视频图像中有明显的边界。本步骤用于重置内窥镜视频图像中的高光区域的像素，使该区域的高光得以去除，并对该区域的边缘进行增强，使图像更加清晰。
具体地，如图4所示，针对每一帧去噪后的内窥镜视频图像，步骤S150包括以下步骤：
S151、分别确定内窥镜视频图像的每一像素的8领域、15领域和24领域的平均像素差值；
在本步骤中，将每一像素的8领域、15领域和24领域的平均像素差值记为
Figure BDA0003595949180000081
S152、结合内窥镜视频图像的每一像素的8领域、15领域和24领域的平均像素差值，使用侧抑制算法确定每一像素的1邻域的平均像素差值；
侧抑制是生物神经网络中广泛存在的现象：当一个神经元受到刺激兴奋后，它不但加强自身，而且带动周围的神经元得以相应加强，同时抑制距离较远的神经元。侧抑制算法在视觉中的作用之一就是增强反差。具体地，使用侧抑制算法确定每一像素的1邻域的平均像素差值的过程为：
根据式子计算每一像素的1邻域的平均像素差值：
Figure BDA0003595949180000082
Figure BDA0003595949180000083
其中，Ui,j为基于图像得到的每一像素的1邻域的平均像素差，σ(·)为激活(Sigmoid)函数，式子左边的Xi,j为基于侧抑制算法得到的每一像素的1邻域的平均像素差，式子右边的Xi,j为基于图像得到的每一像素的1邻域的平均像素差。
S153、确定内窥镜视频图像的每个像素1邻域的灰度直方图中不同灰度等级对应的像素个数Counts；
S154、判断像素对应的像素个数Counts(i)是否大于预设的个数阈值λ2，且该像素的前一个像素对应的像素个数Counts(i-1)大于个数阈值λ2，如是，执行步骤S155；如否，重复执行步骤S154直至有像素满足该判断条件；
具体地，个数阈值λ2为常数，一般可以取数值10。
S155、将该像素的灰度值作为内窥镜视频图像中的高光区域阈值thr；
S156、确定每个像素的1邻域的灰度直方图的灰度变化范围α；
S157、对每个像素的1邻域的灰度直方图作高斯函数逼近，确定对应每个像素作高斯函数逼近后的灰度直方图的虚拟峰值对应的灰度值θ；
S158、对每个像素的1邻域平均像素差值判断其是否大于高光区域阈值thr，如是，则根据对应同一像素的灰度变化范围α以及灰度值θ重置该像素的1邻域平均像素差值；如否，则重复执行步骤S158直至所有像素判断完成；
在本步骤中，重置该像素的1邻域平均像素差值的具体过程为：
根据式子
Figure BDA0003595949180000091
重置该像素的1邻域平均像素差值。
其中，式子左边的Xi,j为重置后的该像素的1邻域平均像素差值，式子右边的Xi,j为重置前的该像素的1邻域平均像素差值，θ为该像素的灰度直方图在作高斯函数逼近后的虚拟峰值对应的灰度值，α为该像素的灰度直方图中高光区域的灰度变化范围。
以上步骤S151～步骤S157为针对所获取的一帧内窥镜视频图像的高光检测和增强步骤，对每一帧去噪后的内窥镜视频图像都需执行一次步骤S151～步骤S157进行高光检测并对高光区域进行增强。
S160、采用维纳滤波的方式对增强后的内窥镜视频图像进行去运动模糊处理；
在内窥镜视频图像的摄取过程中，由于内窥镜操作者的手的运动和被检查者内脏(如胃肠等)的蠕动导致图像模糊，在本步骤中，通过维纳滤波的方式对内窥镜视频图像进行运动模糊处理。
如图5所示，针对每一帧增强后的内窥镜视频图像，步骤S160具体包括以下步骤：
S161、将增强后的内窥镜视频图像f(x,y)与点扩充函数h(x,y)进行卷积运算得到模糊图像h(x,y)；
在本步骤中，卷积运算为：
Figure BDA0003595949180000092
其中，所述ξ和η为所述内窥镜视频图像f(x,y)中的像素坐标，所述x和y为所述点扩充函数h(x,y)中的像素坐标；所述n(x,y)代表可加性噪声；
S162、根据式子G(u,v)＝F(u,v)H(u,v)+N(u,v)对卷积运算的式子的两边取傅里叶变换；
在本步骤中，G(u,v)为模糊图像g(x,y)的傅里叶变换，F(u,v)为原图像f(x,y)的傅里叶变换，H(u,v)为点扩充函数h(x,y)的傅里叶变换，N(u,v)为可加性噪声n(x,y)的傅里叶变换。
S163、根据式子
Figure BDA0003595949180000101
对模糊图像G(u,v)进行维纳滤波处理；
在本步骤中，H*(u,v)为H(u,v)的复数共轭，γ为信噪比。
以上步骤S161～步骤S163为针对所获取的一帧内窥镜视频图像的去运动模糊步骤，对每一帧增强后的内窥镜视频图像都需执行一次步骤S1631～步骤S163进行去运动模糊。
S170、对完成预处理的内窥镜视频图像进行特征提取，得到所有预处理后的内窥镜视频图像的图像特征；
在本步骤中，特征提取的方式可以是现有技术中适用的特征提取算法或模型。优选地，采用无监督预训练模型—动量对比的无监督视觉表示学习(MoCo)提取内窥镜视频图像的特征。
MoCo是一种用于建立用于对比学习的动态词典的机制，可用于各种特征提取任务。通过使用对比损失将编码查询q与编码密钥字典相匹配来训练其视觉表示编码器。将一对查询query和以及键值key组成样本对，如果它们出自同一图像，那么是正样本对，否则为负样本对。同一图像x的两个变换v和v'通过同一个网络来产生两个投影z和z'。对比损失的目的是最大化来自同一输入x的两个投影的相似性，同时最小化与同一小批量内其他图像投影的相似性。MoCo将词典保持为数据样本队列。这样可以重新利用当前mini-batch中已编码的键值。同时队列能够将字典大小和mini-batch大小进行解耦，字典大小可以远远大于mini-batch的大小，可被当作超参数。由于mini-batch遵循先进先出的准则，字典总是表示一个所有数据的子集。
S180、对所有所提取的内窥镜视频图像的图像特征进行聚类，以确定所有内窥镜视频图像中的作为关键帧的若干帧内窥镜视频图像；
在本步骤中，聚类筛选关键帧的方式可以是现有技术中任何适用的聚类算法或模型。优选地，采用密度峰值聚类算法(DPCA)对所提取的内窥镜视频图像的图像特征进行聚类，聚类的具体过程为：
预先确定邻域半径dc，定义特征之间任意i、j两点的距离用dij表示；
定义ρi表示i点的密度大小，i点的密度大小计算规则为：以i点为圆心，包含在半径大小为dc的圆内点的个数即为i点的密度大小。即比较两点距离dij与领域半径dc的大小关系，如两点距离dij小于或等于领域半径dc，表示点i在圆内，记录计数χ为1。如两点距离dij大于领域半径dc，表示点i在圆外，记录计数χ为0，最后将所有计数χ的值求和。
基于此，ρi的计算公式为：
Figure BDA0003595949180000111
Figure BDA0003595949180000112
ρi越大表示点i的局部密度越大，越有可能成为聚类中心。
其次定义聚类中心距离σi。
将每个点的密度从大到小排列：ρi>ρj>ρk>...。
密度最大的点的聚类中心距离σi等于与i点最远的点n到点i的直线距离din。可以根据式子σi＝maxj(dij)计算得到。
其他点的聚类中心距离σi等于在密度大于该点的点集合中，与该点距离最小的距离。例如i、j、k的密度都比n点的密度大，且j点离n点最近，则n点的聚类中心距离等于djn。可以根据式子
Figure BDA0003595949180000113
计算得到。
最后，如图所示，通过决策图确定聚类簇核心、簇边缘，依据每个点的局部密度大小ρi、聚类中心距离σi的数值，组(ρi,ρi)投射到二维坐标系中。聚类中心距离经过归一化处理，将①号点的聚类中心距离σ1,27定为1。
在确定聚类簇核心范围的特征对应的内窥镜视频图像作为关键帧后，簇内其他店视为冗余帧特征。
S190、将作为关键帧的若干帧内窥镜视频图像的图像特征输出至设于中心云的推理模型，以使推理模型输出推理结果。
在本步骤中，将在边缘资源上确定的作为关键帧的内窥镜视频图像的图像特征直接上传到中心云服务器的人工智能推理模型上，不仅能够缩短传输时间，还节省了人工智能推理模型的计算量，合理利用了边云之间的资源。该模型输出的推理结果可作为辅助诊断内窥镜视频图像中病灶位置等的重要基础，可将该结果可视化展示给操作人员，以辅助其进行诊断。
本实施例提供的基于边云协同的内窥镜视频辅助诊断的方法，针对内窥镜视频图像会出现的各种导致图像不清晰的情况进行预处理，包括有白平衡调节、畸变校正、去噪、高光检测及增强以及去运动模糊，针对内窥镜视频图像的特性作出相应的预处理，使预处理后的内窥镜图像能够更加清晰展示其图像内容，以使特征提取时能够准确提取到内窥镜视频图像的特征。同时，该方法利用边缘资源实现内窥镜视频图像的预处理、特征提取以及关键帧筛选，利用中心云资源实现内窥镜视频图像中关键帧的推理，合理利用边缘资源和中心云的资源，避免浪费中心云资源处理无用帧。中心云的推理模型得到的推理结果能够起到辅助内窥镜的操作者根据内窥镜视频图像对被测者进行诊断的作用。
实施例2
基于与实施例1相同的构思，本实施例提供一种基于边云协同的内窥镜视频辅助诊断的系统，用于执行实施例1所提供的方法。如图6所示，该系统包括：
设于边缘资源的预处理模块210、特征提取模块220以及特征聚类筛选模块230，以及设于中心云的推理模型240；
预处理模块210用于从内窥镜视频中获取若干帧内窥镜视频图像，在边缘资源上对每帧所述内窥镜视频图像执行预处理操作。
具体地，预处理模块210包括：
白平衡调节模块211，用于确定所述内窥镜视频图像的色温，利用预先确定的色温校正曲线结合所述内窥镜视频图像的色温对所述内窥镜视频图像进行白平衡调节。
畸变校正模块212，用于根据预先获取到的所述内窥镜的摄像头的畸变系数对白平衡调节后的内窥镜视频图像进行畸变校正；。
去噪模块213，用于采用自适应二进小波降噪模型对畸变校正后的内窥镜视频图像进行去噪。
高光检测及增强模块214，用于检测去噪后的内窥镜视频图像中的高光区域，重置所述高光区域的像素值，并对所述高光区域进行增强。
去运动模糊处理模块215，用于采用维纳滤波的方式对增强后的内窥镜视频图像进行去运动模糊处理。
特征提取模块220用于对经过预处理模块210处理后的内窥镜视频图像进行特征提取，得到所有所述内窥镜视频图像的图像特征。
特征聚类筛选模块230用于对所有特征提取模块220所提取的内窥镜视频的图像特征进行聚类，以确定所有所述内窥镜视频图像中的作为关键帧的若干帧内窥镜视频图像，将作为关键帧的若干帧内窥镜视频图像的图像特征输出至推理模块240。
设于中心云的推理模型240用于将特征聚类筛选模块传230输的作为关键帧的若干帧内窥镜视频图像的图像特征作为模型输入，输出推理结果。
本实施例提供的基于边云协同的内窥镜视频辅助诊断的系统与实施例1基于同一构思，因此与实施例1出现实现相同功能的步骤以及名词，其定义、解释、具体/优选的实施或计算方式/过程，以及所带来的有益效果均可参考实施例1中的说明，在本实施例中不再赘述。
实施例3
本实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的基于边云协同的内窥镜视频辅助诊断的方法。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的基于边云协同的内窥镜视频辅助诊断的方法。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (11)

1.一种基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，
从内窥镜视频中获取若干帧内窥镜视频图像，在边缘资源上对每帧所述内窥镜视频图像执行预处理操作以及特征提取操作；
所述预处理操作包括：
确定所述内窥镜视频图像的色温，利用预先确定的色温校正曲线结合所述内窥镜视频图像的色温对所述内窥镜视频图像进行白平衡调节；
根据预先获取到的所述内窥镜的摄像头的畸变系数对白平衡调节后的内窥镜视频图像进行畸变校正；
采用自适应二进小波降噪模型对畸变校正后的内窥镜视频图像进行去噪；
检测去噪后的内窥镜视频图像中的高光区域，重置所述高光区域的像素值，并对所述高光区域进行增强；
采用维纳滤波的方式对增强后的内窥镜视频图像进行去运动模糊处理；
所述特征提取操作包括：
对所述预处理操作后的内窥镜视频图像进行特征提取，得到所述内窥镜视频图像的图像特征；
对所有所提取的内窥镜视频图像的图像特征进行聚类，以确定所有所述内窥镜视频图像中的作为关键帧的若干帧内窥镜视频图像；
将作为关键帧的若干帧内窥镜视频图像的图像特征输出至设于中心云的推理模型，以使所述推理模型输出推理结果。
2.根据权利要求1所述的基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，
确定所述内窥镜视频图像的色温，利用预先确定的色温校正曲线结合所述内窥镜视频图像的色温对所述内窥镜视频图像进行白平衡调节，具体包括：
确定所述内窥镜视频图像中的所有白色色块，根据各个所述白色色块的色温确定所述所有白色色块的当前色温，利用预先确定的色温校正曲线结合所述所有白色色块的当前色温对所述内窥镜视频图像进行白平衡调节。
3.根据权利要求1所述的基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，采用自适应二进小波降噪模型对畸变校正后的内窥镜视频图像进行去噪，具体包括：
将畸变校正后的内窥镜视频图像按照预先确定的分解次数进行二进小波变换，得到一组小波系数；
利用软阈值方法确定所述一组小波系数的估计小波系数；
利用自适应噪声分析方法对所述估计小波系数进行噪声处理；
利用噪声处理后的估计小波系数经过小波逆变换，重建所述内窥镜视频图像，作为去噪后的内窥镜视频图像。
4.根据权利要求3所述的基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，利用自适应噪声分析方法对所述估计小波系数进行噪声处理，具体包括：
以n*n个像素作为图像窗口扫描所述内窥镜视频图像，对每个作为窗口中心的像素执行噪声判断及处理操作；
所述噪声判断及处理操作为：将所述作为窗口中心的像素与同一窗口中其余n*n-1个像素作差，并取绝对值
Figure FDA0003595949170000024
所述n为奇数；
判断
Figure FDA0003595949170000025
的次数是否大于预设的次数阈值，如是，则对所述作为窗口中心的像素对应的估计小波系数进行噪声处理；
其中σ通过以下式子确定：
Figure FDA0003595949170000021
Figure FDA0003595949170000022
其中，所述M*N表示所述内窥镜视频图像的大小，所述i和j分别表示所述内窥镜视频图像中像素的行数和列数；
Figure FDA0003595949170000023
表示以第i行第j列的像素作为窗口中心的像素时，第i行第j列的像素与窗口其余n*n-1个像素的差。
5.根据权利要求1所述的所述的基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，检测去噪后的内窥镜视频图像中的高光区域，重置所述高光区域的像素值，并对所述高光区域进行增强，具体包括：
针对所述去噪后的内窥镜视频图像中的每一个像素执行高光检测操作：
所述高光检测操作为：分别确定所述像素的8领域、15领域和24领域的平均像素差值；结合所述像素的8领域、15领域和24领域的平均像素差值，使用侧抑制算法确定所述像素的1邻域的平均像素差值；
根据每个所述像素1邻域的灰度直方图中不同灰度等级对应的像素个数确定所述内窥镜视频图像中的高光区域阈值thr；
确定每个所述像素的1邻域的灰度直方图的灰度变化范围α；
对每个所述像素的1邻域的灰度直方图作高斯函数逼近，确定对应每个所述像素作高斯函数逼近后的灰度直方图的虚拟峰值对应的灰度值θ；
对每个所述像素的1邻域平均像素差值判断其是否大于所述高光区域阈值thr，如是，则根据对应同一像素的所述灰度变化范围α以及所述灰度值θ重置所述像素的1邻域平均像素差值。
6.根据权利要求1所述的基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，采用维纳滤波的方式对增强后的内窥镜视频图像进行去运动模糊处理，具体包括：
将增强后的内窥镜视频图像f(x，y)与点扩充函数h(x，y)进行卷积运算得到模糊图像g(x，y)；所述卷积运算为：
Figure FDA0003595949170000031
其中，所述ξ和η为所述内窥镜视频图像f(x，y)中的像素坐标，所述x和y为所述点扩充函数h(x，y)中的像素坐标；所述n(x，y)代表可加性噪声；
根据式子G(u，v)＝F(u，v)H(u，v)+N(u，v)对所述卷积运算的式子的两边取傅里叶变换；
其中，所述G(u，v)为模糊图像g(x，y)的傅里叶变换，所述F(u，v)为原图像f(x，y)的傅里叶变换，所述H(u，v)为点扩充函数h(x，y)的傅里叶变换，所述N(u，v)为可加性噪声n(x，y)的傅里叶变换；
根据式了
Figure FDA0003595949170000032
对所述模糊图像G(u，v)进行维纳滤波处理；
其中，H*(u，v)为H(u，v)的复数共轭，γ为信噪比。
7.根据权利要求1～6任一项所述的基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，对所述预处理操作后的内窥镜视频图像进行特征提取，得到所述内窥镜视频图像的图像特征，具体包括：采用动量对比的无监督视觉表示学习模型提取所述预处理操作后的内窥镜视频图像的特征，得到所述内窥镜视频图像的图像特征。
8.根据权利要求1～6任一项所述的基于边云协同的内窥镜视频辅助诊断的方法，其特征在于，对所有所提取的内窥镜视频图像的图像特征进行聚类，具体包括：采用密度峰值聚类算法对所有所提取的内窥镜视频的图像特征进行聚类。
9.一种基于边云协同的内窥镜视频辅助诊断的系统，其特征在于，包括：设于边缘资源的预处理模块、特征提取模块以及特征聚类筛选模块，以及设于中心云的推理模型；
所述预处理模块用于从内窥镜视频中获取若干帧内窥镜视频图像，在边缘资源上对每帧所述内窥镜视频图像执行预处理操作；
所述特征提取模块用于对所有所述预处理操作后的内窥镜视频图像进行特征提取，得到所有所述内窥镜视频图像的图像特征；
所述特征聚类筛选模块用于对所有所提取的内窥镜视频的图像特征进行聚类，以确定所有所述内窥镜视频图像中的作为关键帧的若干帧内窥镜视频图像，将作为关键帧的若干帧内窥镜视频图像的图像特征输出至所述推理模块；
所述推理模型用于将所述特征聚类筛选模块传输的作为关键帧的若干帧内窥镜视频图像的图像特征作为模型输入，输出推理结果；
所述预处理操作包括：
确定所述内窥镜视频图像的色温，利用预先确定的色温校正曲线结合所述内窥镜视频图像的色温对所述内窥镜视频图像进行白平衡调节；
根据预先获取到的所述内窥镜的摄像头的畸变系数对白平衡调节后的内窥镜视频图像进行畸变校正；
采用自适应二进小波降噪模型对畸变校正后的内窥镜视频图像进行去噪；
检测去噪后的内窥镜视频图像中的高光区域，重置所述高光区域的像素值，并对所述高光区域进行增强；
采用维纳滤波的方式对增强后的内窥镜视频图像进行去运动模糊处理。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8任一项所述的基于边云协同的内窥镜视频辅助诊断的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8任一项所述的基于边云协同的内窥镜视频辅助诊断的方法。
CN202210391883.8A 2022-04-14 2022-04-14 基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质 Pending CN114663424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210391883.8A CN114663424A (zh) 2022-04-14 2022-04-14 基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210391883.8A CN114663424A (zh) 2022-04-14 2022-04-14 基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN114663424A true CN114663424A (zh) 2022-06-24

Family

ID=82034800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210391883.8A Pending CN114663424A (zh) 2022-04-14 2022-04-14 基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN114663424A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345800A (zh) * 2022-10-18 2022-11-15 极限人工智能有限公司 医用内窥镜运动影像自适应降噪方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115345800A (zh) * 2022-10-18 2022-11-15 极限人工智能有限公司 医用内窥镜运动影像自适应降噪方法及系统
CN115345800B (zh) * 2022-10-18 2023-04-07 极限人工智能有限公司 医用内窥镜运动影像自适应降噪方法及系统

Similar Documents

Publication Publication Date Title
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
US20220207728A1 (en) Quality assessment in video endoscopy
EP4187484A1 (en) Cbd-net-based medical endoscopic image denoising method
WO2013187206A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111358455A (zh) 一种多数据源的血压预测方法和装置
CN114663424A (zh) 基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质
Shedbalkar et al. A comparative analysis of filters for noise reduction and smoothening of brain MRI images
Nagaraja Noise removal techniques and quality analysis of X-ray images
CN111127371B (zh) 图像增强参数自动优化方法、存储介质和x射线扫描装置
CN112861588B (zh) 一种活体检测的方法、装置
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
CN116542952A (zh) 一种基于三维重建的内镜检查覆盖率评估方法及系统
Sulaiman et al. De-noising of noisy MRI brain image using the switching-based clustering algorithm
Klinder et al. Lobar fissure detection using line enhancing filters
CN115994999A (zh) 基于边界梯度注意力网络的杯状细胞语义分割方法及系统
CN111553860A (zh) 水色遥感影像的深度学习非邻域均值化处理方法及系统
WO2024108438A1 (zh) 一种速度编码磁共振成像的运动伪影校正方法
Cap et al. A Practical Framework for Unsupervised Structure Preservation Medical Image Enhancement
CN116705297B (zh) 一种基于多信息处理的颈动脉检测仪
Ye et al. Deep Learning Based Cystoscopy Image Enhancement
CN118229555A (zh) 一种图像融合方法、装置、设备及计算机可读存储介质
Prasad et al. A Multi-Layered Model for Medical Image Fusion
Jiang et al. Adaptive Network-Based Pedestrian Detection in Haze Environment
WO2015135208A1 (zh) 对图像进行噪声抑制的方法及装置
Kushwaha et al. Development of Advanced Noise Filtering Techniques for Medical Image Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination