CN112001915A - 一种内窥镜图像处理方法、系统和可读存储介质 - Google Patents

一种内窥镜图像处理方法、系统和可读存储介质 Download PDF

Info

Publication number
CN112001915A
CN112001915A CN202010904471.0A CN202010904471A CN112001915A CN 112001915 A CN112001915 A CN 112001915A CN 202010904471 A CN202010904471 A CN 202010904471A CN 112001915 A CN112001915 A CN 112001915A
Authority
CN
China
Prior art keywords
image
video frame
endoscope
neural network
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010904471.0A
Other languages
English (en)
Inventor
孙殿珉
成金玲
郭振华
张宝昌
周莉
刘爱芹
孙富春
方斌
薛红香
陈永健
田广野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Original Assignee
Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Cancer Hospital & Institute (shandong Cancer Hospital) filed Critical Shandong Cancer Hospital & Institute (shandong Cancer Hospital)
Priority to CN202010904471.0A priority Critical patent/CN112001915A/zh
Publication of CN112001915A publication Critical patent/CN112001915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明的提供了一种内窥镜图像处理方法、系统和可读存储介质，其中方法包括：获取视频信号，对所述视频信号进行采样，得到视频帧；将所述视频帧输入至训练好的内窥镜深度卷积神经网络模型中，得到输出的第一视频帧；按照预设的算法将所述视频帧与所述第一视频帧进行合并处理，得到输出的视频信号。通过神经网络处理之后的信号和视频信号的合并处理，能够使得一些阴影区域或者内窥镜照射的模糊区域会变得更加清晰，使得使用者可以更加清楚的看到照射的区域进行相关的判断，使得手术准确率更高；通过对内窥镜深度卷积神经网络模型的训练，使得处理的结果能加准确；通过大数据的分析和计算，有利于使用者进行病灶点的判断，增加使用体验感。

Description

一种内窥镜图像处理方法、系统和可读存储介质
技术领域
本发明属于内窥镜的图像处理领域，更具体的，涉及一种内窥镜图像处理方法、系统和可读存储介质。
背景技术
近年来，随着内窥镜设备的发展，微创手术(Minimally invasive surgery,MIS)，在当下逐渐成为日常医学实践中的重要技术手段。微创手术由于创口小、疼痛轻、术后恢复快，近年来获得广泛应用。但在惠及患者的同时，微创手术却对手术操作者提出了更高的要求。微创手术是以内窥镜为媒介的多人间接眼-手协同过程。内窥镜有限的视界和直接深度感知的缺失给医生术中定位带来困难，极大影响了手术操作的精确性和安全性。
计算技视觉作为一门研究如何通过计算机和摄像机来实现如人眼一样对目标进行识别、跟踪、和测量等功能的学科。
对于如何从内窥镜图像中重建满足手术精确度要求的三维图像，是辅助外科医生精确手术关键的一步，而对呈现的三维图像的处理是解决此问题的重要一环。
发明内容
鉴于上述问题，本发明的目的是提供一种内窥镜图像处理方法、系统和可读存储介质，能够以较高的准确率对内窥镜的视频进行处理。
本发明第一方面提供了一种内窥镜图像处理方法，包括以下步骤：
获取视频信号，对所述视频信号进行采样，得到视频帧；
将所述视频帧输入至训练好的内窥镜深度卷积神经网络模型中，得到输出的第一视频帧；
按照预设的算法将所述视频帧与所述第一视频帧进行合并处理，得到输出的视频信号。
本方案中，内窥镜深度卷积神经网络模型的训练方法为：
收集真实内窥镜检测部位的图像，作为第一样本图像；
将所述第一样本图像进行特征提取，得到特征区域图像；
将得到特征区域图像，进行筛选，去除质量差的图像；
将筛选后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理；
经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像；
在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。
本方案中，所述经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，具体为：
计算当前的反射率，反射率计算如下：
R＝I0ρcosθi
其中R为反射率，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角；
将经光滑处理后的特征区域图像与计算得到的反射率值进行运算，再进行图像的比例还原，得到原始图像大小的图像。
本方案中，建立所述内窥镜深度卷积神经网络模型具体为：
使用直接回归法来实现attention-based layer层，使用辅助卷积层计算空间注意图；
在CNN中插入attention-based layer层，选择Resnet50作为骨干网络，将所述attention-based layer层插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。
本方案中，所述按照预设的算法将所述视频帧与所述第一视频帧进行合并处理具体为：
将所述视频帧进行滤波，得到滤波后的视频帧；
将滤波后的视频帧按照预设的阈值与第一视频帧进行叠加处理。
本方案中，还包括：
将所述输出的视频信号进行采样，并发送至后台服务器；
所述后台服务器对所述采样的视频信号进行大数据的分析，判断是否存在病灶点；
将判断结果发送至终端进行显示。
本发明第二方面还提供一种内窥镜图像处理方法系统，包括存储器和处理器，所述存储器中包括内窥镜图像处理方法程序，所述内窥镜图像处理方法程序被所述处理器执行时实现如下步骤：
获取视频信号，对所述视频信号进行采样，得到视频帧；
将所述视频帧输入至训练好的内窥镜深度卷积神经网络模型中，得到输出的第一视频帧；
按照预设的算法将所述视频帧与所述第一视频帧进行合并处理，得到输出的视频信号。
本方案中，内窥镜深度卷积神经网络模型的训练方法为：
收集真实内窥镜检测部位的图像，作为第一样本图像；
将所述第一样本图像进行特征提取，得到特征区域图像；
将得到特征区域图像，进行筛选，去除质量差的图像；
将筛选后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理；
经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像；
在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。
本方案中，所述经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，具体为：
计算当前的反射率，反射率计算如下：
R＝I0ρcosθi
其中R为反射率，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角；
将经光滑处理后的特征区域图像与计算得到的反射率值进行运算，再进行图像的比例还原，得到原始图像大小的图像。
本方案中，建立所述内窥镜深度卷积神经网络模型具体为：
使用直接回归法来实现attention-based layer层，使用辅助卷积层计算空间注意图；
在CNN中插入attention-based layer层，选择Resnet50作为骨干网络，将所述attention-based layer层插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。
本方案中，所述按照预设的算法将所述视频帧与所述第一视频帧进行合并处理具体为：
将所述视频帧进行滤波，得到滤波后的视频帧；
将滤波后的视频帧按照预设的阈值与第一视频帧进行叠加处理。
本方案中，还包括：
将所述输出的视频信号进行采样，并发送至后台服务器；
所述后台服务器对所述采样的视频信号进行大数据的分析，判断是否存在病灶点；
将判断结果发送至终端进行显示。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种内窥镜图像处理方法程序，所述一种内窥镜图像处理方法程序被处理器执行时，实现如上述任一项所述的一种内窥镜图像处理方法的步骤。
本发明的提供了一种内窥镜图像处理方法、系统和可读存储介质，通过神经网络处理之后的信号和视频信号的合并处理，能够使得一些阴影区域或者内窥镜照射的模糊区域会变得更加清晰，使得使用者可以更加清楚的看到照射的区域进行相关的判断，使得手术准确率更高；通过对内窥镜深度卷积神经网络模型的训练，使得处理的结果能加准确；通过大数据的分析和计算，有利于使用者进行病灶点的判断，增加使用体验感。
附图说明
图1示出了本发明一种内窥镜图像处理方法的流程图；
图2示出了本发明一种内窥镜图像处理系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种内窥镜图像处理方法的流程图。
如图1所示，一种内窥镜图像处理方法，包括以下步骤：
S102，获取视频信号，对所述视频信号进行采样，得到视频帧；
S104，将所述视频帧输入至训练好的内窥镜深度卷积神经网络模型中，得到输出的第一视频帧；
S106，按照预设的算法将所述视频帧与所述第一视频帧进行合并处理，得到输出的视频信号。
需要说明的是，获取了内窥镜的图像视频信号之后，由于是视频片段若要对视频片段进行处理，需要将视频片段切换为视频帧，因为每个视频片段都是由很多的视频帧组成。对视频信号进行采样，即可获得视频帧，采样的间隔可以自行而定，值得说明的是，采样间隔越小，则采样到的视频帧就越多，这样针对每个视频进行处理的运算量就越大，所以本领域技术人员可根据实际需要设置采样间隔。
需要说明的是，将采样得到的视频帧输入至已经训练好的内窥镜深度卷积神经网络模型中，可以得到经过内窥镜深度卷积神经网络模型处理后的第一视频帧。所述的第一视频帧可以与原视频帧信号进行合并处理，得到合并后的信号，这样经过处理后的视频信号会更加清晰，使得一些阴影区域或者内窥镜照射的模糊区域会变得更加清晰，使得使用者可以更加清楚的看到照射的区域进行相关的判断，使得手术准确率更高。
根据本发明实施例，内窥镜深度卷积神经网络模型的训练方法为：
收集真实内窥镜检测部位的图像，作为第一样本图像；
将所述第一样本图像进行特征提取，得到特征区域图像；
将得到特征区域图像，进行筛选，去除质量差的图像；
将筛选后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理；
经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像；
在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。
需要说明的是，对内窥镜深度卷积神经网络模型的训练需要大量的数据，并且需要针对获取的数据进行相关的处理。本发明中将针对内窥镜检测部位的图像进行收集，并且标记为第一样本图像。将第一样本图像进行特征的提取，所述的特征提取可以为进行图像的特征采样，得到特征区域图像。然后在对特征区域图像进行筛选，这里的筛选可以为人工筛选也可以为机器筛选，若使用人工筛选，则需要使用者通过经验判断图像的质量，将质量差的图像进行剔除；所使用机器筛选，则可以对特征点进行比较，通过特征点的阈值进行判断是否为质量好的图像，可以将历史图像的加权值作为特征点的基准比较值，若特征区域图像的特征值与基准比较值的差值超过了预设的阈值，则判断为质量差的图像，通过机器的这种筛选方法可以将图像进行快速筛选，而且可以利用历史图像的经验进行筛选，使得筛选标准一直进行迭代，结果更加准确。
在筛选之后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理。通过此步骤可以消除图像中的噪声，并且使得结果更加准确，更加贴近真实的图像信息。本领域技术人员可以根据实际情况选择不同的比例，但比例不宜超过1:5，过大的比例会使得图像失真，在进行光滑处理之后容易产生较大的误差。然后将经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像。在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。通过对第一样本和第二样本的多次剪裁可以使得样本的数据更加多，并且在消除了一些图像噪声的情况下，使得剪裁后的样本能更加的精确，对不同区域的剪裁使得内窥镜深度卷积神经网络模型更加精确。
根据本发明实施例，所述经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，具体为：
计算当前的反射率，反射率计算如下：
R＝I0ρcosθi
其中R为反射率，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角；
将经光滑处理后的特征区域图像与计算得到的反射率值进行运算，再进行图像的比例还原，得到原始图像大小的图像。
需要说明的是，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角，上述这些参数都可以通过内窥镜的硬件基本参数，以及在内窥镜视频采样的时候进行参数的获取。将光滑处理后的特征区域图像与计算得到的反射率进行相乘或者相除，以更好的根据反射率还原原始图像的信息，弱化因反射率造成的影响。具体为相乘或者相除由本领域技术人员根据需要进行选择。在与反射率值进行运算之后，再进行图像的比例还原，得到原始图像大小的图像。
根据本发明实施例，建立所述内窥镜深度卷积神经网络模型具体为：
使用直接回归法来实现attention-based layer层，使用辅助卷积层计算空间注意图；
在CNN中插入attention-based layer层，选择Resnet50作为骨干网络，将所述attention-based layer层插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。
需要说明的是，利用直接回归法来实现attention-based layer层，使用辅助卷积层计算空间注意图，由卷积层和信道乘法、激活运算组成；
在CNN中插入attention-based layer，选择Resnet50作为了骨干网络，将attention-based layer插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。
通过attention-based layer可以成功利用注意力机制来处理分类器模型的特征映射，学习到的注意图能够突出图像中影响CNN决策的区域，并进一步用于指导CNN发现更多的判别特征。
根据本发明实施例，所述按照预设的算法将所述视频帧与所述第一视频帧进行合并处理具体为：
将所述视频帧进行滤波，得到滤波后的视频帧；
将滤波后的视频帧按照预设的阈值与第一视频帧进行叠加处理。
需要说明的是，所述的预设的阈值为本领域技术人员根据实际需要设置的加权值，例如，滤波后的视频帧的值为0.4，第一视频帧的值为0.6，则进行叠加处理时，滤波后的视频帧占比为40％，第一视频帧的占比为60％。通过预设阈值的控制，使得视频帧对视频的影响进行调整，能够更加精确的显示真实图像信息。
根据本发明实施例，还包括：
将所述输出的视频信号进行采样，并发送至后台服务器；
所述后台服务器对所述采样的视频信号进行大数据的分析，判断是否存在病灶点；
将判断结果发送至终端进行显示。
需要说明的是，本发明还可以将视频信号进行大数据的分析，服务器通过对获取的视频信号进行大数据的分析，可以判断内窥镜照射区域是否存在病灶点，并且将结果发送至终端进行显示，可以是在屏幕中直接显示病灶点的位置，这样有利于使用者进行病灶点的判断，增加使用体验感。
图2示出了本发明一种内窥镜图像处理方法系统的框图。
本发明第二方面提供了一种内窥镜图像处理方法系统2，包括存储器21和处理器22，所述存储器中包括内窥镜图像处理方法程序，所述内窥镜图像处理方法程序被所述处理器执行时实现如下步骤：
获取视频信号，对所述视频信号进行采样，得到视频帧；
将所述视频帧输入至训练好的内窥镜深度卷积神经网络模型中，得到输出的第一视频帧；
按照预设的算法将所述视频帧与所述第一视频帧进行合并处理，得到输出的视频信号。
需要说明的是，获取了内窥镜的图像视频信号之后，由于是视频片段若要对视频片段进行处理，需要将视频片段切换为视频帧，因为每个视频片段都是由很多的视频帧组成。对视频信号进行采样，即可获得视频帧，采样的间隔可以自行而定，值得说明的是，采样间隔越小，则采样到的视频帧就越多，这样针对每个视频进行处理的运算量就越大，所以本领域技术人员可根据实际需要设置采样间隔。
需要说明的是，将采样得到的视频帧输入至已经训练好的内窥镜深度卷积神经网络模型中，可以得到经过内窥镜深度卷积神经网络模型处理后的第一视频帧。所述的第一视频帧可以与原视频帧信号进行合并处理，得到合并后的信号，这样经过处理后的视频信号会更加清晰，使得一些阴影区域或者内窥镜照射的模糊区域会变得更加清晰，使得使用者可以更加清楚的看到照射的区域进行相关的判断，使得手术准确率更高。
根据本发明实施例，内窥镜深度卷积神经网络模型的训练方法为：
收集真实内窥镜检测部位的图像，作为第一样本图像；
将所述第一样本图像进行特征提取，得到特征区域图像；
将得到特征区域图像，进行筛选，去除质量差的图像；
将筛选后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理；
经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像；
在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。
需要说明的是，对内窥镜深度卷积神经网络模型的训练需要大量的数据，并且需要针对获取的数据进行相关的处理。本发明中将针对内窥镜检测部位的图像进行收集，并且标记为第一样本图像。将第一样本图像进行特征的提取，所述的特征提取可以为进行图像的特征采样，得到特征区域图像。然后在对特征区域图像进行筛选，这里的筛选可以为人工筛选也可以为机器筛选，若使用人工筛选，则需要使用者通过经验判断图像的质量，将质量差的图像进行剔除；所使用机器筛选，则可以对特征点进行比较，通过特征点的阈值进行判断是否为质量好的图像，可以将历史图像的加权值作为特征点的基准比较值，若特征区域图像的特征值与基准比较值的差值超过了预设的阈值，则判断为质量差的图像，通过机器的这种筛选方法可以将图像进行快速筛选，而且可以利用历史图像的经验进行筛选，使得筛选标准一直进行迭代，结果更加准确。
在筛选之后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理。通过此步骤可以消除图像中的噪声，并且使得结果更加准确，更加贴近真实的图像信息。本领域技术人员可以根据实际情况选择不同的比例，但比例不宜超过1:5，过大的比例会使得图像失真，在进行光滑处理之后容易产生较大的误差。然后将经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像。在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。通过对第一样本和第二样本的多次剪裁可以使得样本的数据更加多，并且在消除了一些图像噪声的情况下，使得剪裁后的样本能更加的精确，对不同区域的剪裁使得内窥镜深度卷积神经网络模型更加精确。
根据本发明实施例，所述经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，具体为：
计算当前的反射率，反射率计算如下：
R＝I0ρcosθi
其中R为反射率，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角；
将经光滑处理后的特征区域图像与计算得到的反射率值进行运算，再进行图像的比例还原，得到原始图像大小的图像。
需要说明的是，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角，上述这些参数都可以通过内窥镜的硬件基本参数，以及在内窥镜视频采样的时候进行参数的获取。将光滑处理后的特征区域图像与计算得到的反射率进行相乘或者相除，以更好的根据反射率还原原始图像的信息，弱化因反射率造成的影响。具体为相乘或者相除由本领域技术人员根据需要进行选择。在与反射率值进行运算之后，再进行图像的比例还原，得到原始图像大小的图像。
根据本发明实施例，建立所述内窥镜深度卷积神经网络模型具体为：
使用直接回归法来实现attention-based layer层，使用辅助卷积层计算空间注意图；
在CNN中插入attention-based layer层，选择Resnet50作为骨干网络，将所述attention-based layer层插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。
需要说明的是，利用直接回归法来实现attention-based layer层，使用辅助卷积层计算空间注意图，由卷积层和信道乘法、激活运算组成；
在CNN中插入attention-based layer，选择Resnet50作为了骨干网络，将attention-based layer插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。
通过attention-based layer可以成功利用注意力机制来处理分类器模型的特征映射，学习到的注意图能够突出图像中影响CNN决策的区域，并进一步用于指导CNN发现更多的判别特征。
根据本发明实施例，所述按照预设的算法将所述视频帧与所述第一视频帧进行合并处理具体为：
将所述视频帧进行滤波，得到滤波后的视频帧；
将滤波后的视频帧按照预设的阈值与第一视频帧进行叠加处理。
需要说明的是，所述的预设的阈值为本领域技术人员根据实际需要设置的加权值，例如，滤波后的视频帧的值为0.4，第一视频帧的值为0.6，则进行叠加处理时，滤波后的视频帧占比为40％，第一视频帧的占比为60％。通过预设阈值的控制，使得视频帧对视频的影响进行调整，能够更加精确的显示真实图像信息。
根据本发明实施例，还包括：
将所述输出的视频信号进行采样，并发送至后台服务器；
所述后台服务器对所述采样的视频信号进行大数据的分析，判断是否存在病灶点；
将判断结果发送至终端进行显示。
需要说明的是，本发明还可以将视频信号进行大数据的分析，服务器通过对获取的视频信号进行大数据的分析，可以判断内窥镜照射区域是否存在病灶点，并且将结果发送至终端进行显示，可以是在屏幕中直接显示病灶点的位置，这样有利于使用者进行病灶点的判断，增加使用体验感。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种内窥镜图像处理方法程序，所述一种内窥镜图像处理方法程序被处理器执行时，实现如上述任一项所述的一种内窥镜图像处理方法的步骤。
本发明的提供了一种内窥镜图像处理方法、系统和可读存储介质，通过神经网络处理之后的信号和视频信号的合并处理，能够使得一些阴影区域或者内窥镜照射的模糊区域会变得更加清晰，使得使用者可以更加清楚的看到照射的区域进行相关的判断，使得手术准确率更高；通过对内窥镜深度卷积神经网络模型的训练，使得处理的结果能加准确；通过大数据的分析和计算，有利于使用者进行病灶点的判断，增加使用体验感。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种内窥镜图像处理方法，其特征在于，包括以下步骤：
获取视频信号，对所述视频信号进行采样，得到视频帧；
将所述视频帧输入至训练好的内窥镜深度卷积神经网络模型中，得到输出的第一视频帧；
按照预设的算法将所述视频帧与所述第一视频帧进行合并处理，得到输出的视频信号。
2.根据权利要求1所述的一种内窥镜图像处理方法，其特征在于，内窥镜深度卷积神经网络模型的训练方法为：
收集真实内窥镜检测部位的图像，作为第一样本图像；
将所述第一样本图像进行特征提取，得到特征区域图像；
将得到特征区域图像，进行筛选，去除质量差的图像；
将筛选后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理；
经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像；
在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。
3.根据权利要求2所述的一种内窥镜图像处理方法，其特征在于，所述经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，具体为：
计算当前的反射率，反射率计算如下：
R＝I0ρcosθi
其中R为反射率，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角；
将经光滑处理后的特征区域图像与计算得到的反射率值进行运算，再进行图像的比例还原，得到原始图像大小的图像。
4.根据权利要求1所述的一种内窥镜图像处理方法，其特征在于，建立所述内窥镜深度卷积神经网络模型具体为：
使用直接回归法来实现attention-based layer层，使用辅助卷积层计算空间注意图；
在CNN中插入attention-based layer层，选择Resnet50作为骨干网络，将所述attention-based layer层插入到Resnet50的stage2和stage3之间，Stage2输出的特征图作为attention-based layer的输入，attention-based layer的输出作为Stage3的输入。
5.根据权利要求1所述的一种内窥镜图像处理方法，其特征在于，所述按照预设的算法将所述视频帧与所述第一视频帧进行合并处理具体为：
将所述视频帧进行滤波，得到滤波后的视频帧；
将滤波后的视频帧按照预设的阈值与第一视频帧进行叠加处理。
6.根据权利要求1所述的一种内窥镜图像处理方法，其特征在于，还包括：
将所述输出的视频信号进行采样，并发送至后台服务器；
所述后台服务器对所述采样的视频信号进行大数据的分析，判断是否存在病灶点；
将判断结果发送至终端进行显示。
7.一种内窥镜图像处理系统，其特征在于，包括存储器和处理器，所述存储器中包括内窥镜图像处理方法程序，所述内窥镜图像处理方法程序被所述处理器执行时实现如下步骤：
获取视频信号，对所述视频信号进行采样，得到视频帧；
将所述视频帧输入至训练好的内窥镜深度卷积神经网络模型中，得到输出的第一视频帧；
按照预设的算法将所述视频帧与所述第一视频帧进行合并处理，得到输出的视频信号。
8.根据权利要求1所述的一种内窥镜图像处理系统，其特征在于，内窥镜深度卷积神经网络模型的训练方法为：
收集真实内窥镜检测部位的图像，作为第一样本图像；
将所述第一样本图像进行特征提取，得到特征区域图像；
将得到特征区域图像，进行筛选，去除质量差的图像；
将筛选后的特征区域图像对齐成多个比例的图像；然后随机选取一个比例，将选取的该比例的特征区域图像进行光滑处理；
经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，得到第二样本图像；
在所述第一样本图像和第二样本图像中，多次裁剪预设的区域，得到内窥镜深度卷积神经网络模型的输入，进行内窥镜深度卷积神经网络模型的训练。
9.根据权利要求8所述的一种内窥镜图像处理系统，其特征在于，所述经光滑处理后的特征区域图像经过反射变形回到原始图像的大小，具体为：
计算当前的反射率，反射率计算如下：
R＝I0ρcosθi
其中R为反射率，I0为光源值，ρ为表面发射率，θi是表面法向和光源方向的夹角；
将经光滑处理后的特征区域图像与计算得到的反射率值进行运算，再进行图像的比例还原，得到原始图像大小的图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括机器的一种内窥镜图像处理方法程序，所述一种内窥镜图像处理方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种内窥镜图像处理方法的步骤。
CN202010904471.0A 2020-09-01 2020-09-01 一种内窥镜图像处理方法、系统和可读存储介质 Pending CN112001915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904471.0A CN112001915A (zh) 2020-09-01 2020-09-01 一种内窥镜图像处理方法、系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904471.0A CN112001915A (zh) 2020-09-01 2020-09-01 一种内窥镜图像处理方法、系统和可读存储介质

Publications (1)

Publication Number Publication Date
CN112001915A true CN112001915A (zh) 2020-11-27

Family

ID=73464985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904471.0A Pending CN112001915A (zh) 2020-09-01 2020-09-01 一种内窥镜图像处理方法、系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN112001915A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110477846A (zh) * 2019-08-23 2019-11-22 西安交通大学医学院第二附属医院 一种消化内镜异常特征实时标记方法及系统
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110477846A (zh) * 2019-08-23 2019-11-22 西安交通大学医学院第二附属医院 一种消化内镜异常特征实时标记方法及系统
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744266A (zh) * 2021-11-03 2021-12-03 武汉楚精灵医疗科技有限公司 一种病灶检测框的显示方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP3000386B1 (en) Skin function evaluation device and skin evaluation method
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
CN110930446B (zh) 一种眼底图像定量分析的前置处理方法及存储设备
US11284855B2 (en) Ultrasound needle positioning system and ultrasound needle positioning method utilizing convolutional neural networks
CN110544534B (zh) 一种皮肤病治疗效果自动评估方法与系统
JP2010182048A (ja) 静脈認証装置およびテンプレート登録方法
JP2017000612A (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
CN113888518A (zh) 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法
CN106780649A (zh) 图像的伪影去除方法和装置
JP4203279B2 (ja) 注目判定装置
Subhashini et al. Diabetic retinopathy detection using image processing (gui)
CN112001915A (zh) 一种内窥镜图像处理方法、系统和可读存储介质
CN109771052B (zh) 基于多目成像和多偏振态成像的三维图像建立方法及系统
Mahfouz et al. Ultrafast localization of the optic disc using dimensionality reduction of the search space
CN112861588B (zh) 一种活体检测的方法、装置
KR20180109676A (ko) 2차원 피부 이미지 분석 시스템 및 분석 방법
CN109171905B (zh) 基于红外成像的穿刺引导设备
CN109447948B (zh) 一种基于病灶彩色视网膜眼底图像的视盘分割方法
CN111640127A (zh) 一种用于骨科的精准临床诊断导航方法
CN110251210A (zh) 一种基于分块rht的穿刺增强方法及装置
CN111091566A (zh) 一种糖尿病并发症视网膜病变数据检测方法
JP2022121091A (ja) 口腔粘膜疾患診断支援システム，方法およびプログラム
Mahfouz et al. Ultrafast optic disc localization using projection of image features
CN111353388A (zh) 活体检测方法、装置、电子设备及存储介质
Troglio et al. Unsupervised change-detection in retinal images by a multiple-classifier approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination