CN116883249B - 一种超分辨内窥镜成像装置及方法 - Google Patents

一种超分辨内窥镜成像装置及方法 Download PDF

Info

Publication number
CN116883249B
CN116883249B CN202311150557.9A CN202311150557A CN116883249B CN 116883249 B CN116883249 B CN 116883249B CN 202311150557 A CN202311150557 A CN 202311150557A CN 116883249 B CN116883249 B CN 116883249B
Authority
CN
China
Prior art keywords
image
resolution
super
mask
mask image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311150557.9A
Other languages
English (en)
Other versions
CN116883249A (zh
Inventor
蔡惠明
李长流
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202311150557.9A priority Critical patent/CN116883249B/zh
Publication of CN116883249A publication Critical patent/CN116883249A/zh
Application granted granted Critical
Publication of CN116883249B publication Critical patent/CN116883249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及内窥镜成像技术领域，公开了一种超分辨内窥镜成像装置及方法。对3D内窥镜图像进行立体匹配，获得视差图；将视差图转为深度图，遍历深度图，在对焦清楚范围内，获得第一掩膜图像；对3D图像二值化处理，获得第二掩膜图像；对3D图像进行高通滤波并二值化处理，获得第三掩膜图像；对第二掩膜图像和第三掩膜图像进行“与操作”，获得第四掩膜图像；将第四掩膜图像与第一掩膜图像进行“或操作”，获得第五掩膜图像；对第五掩膜图像采用等比例插值放大，获得第六掩膜图像；计算第六掩膜图像中的外切矩形；采用超分辨生成网络获得超分辨图像，并填充至插值后的3D图像中完成超分辨成像操作。本发明提高了内窥镜生成的图像分辨率。

Description

一种超分辨内窥镜成像装置及方法
技术领域
本发明涉及内窥镜成像技术领域，特别涉及一种超分辨内窥镜成像装置及方法。
背景技术
内窥镜装置是人类窥视自身体内器官的重要工具，但现目前图像质量和检查损伤受限于内窥镜装置的结构和成像技术。
例如现有的申请公开号为CN111449611A的中国专利公开了一种内窥镜系统及其成像方法，包括光源部；光源控制部，用于控制所述光源部提供普通光成像所需的光，和控制所述光源部提供特殊光成像所需的光；内窥镜，包括能够插入到生物体内部的插入部和用于图像信号采集的至少一个传感器；处理器，用于在光源部提供普通光成像所需的光时根据所述至少一个传感器采集的第一图像信号生成第一彩色图像，以及在光源部提供特殊光成像所需的光时根据所述至少一个传感器采集的第二图像信号生成第二彩色图像，并将所述第一彩色图像和第二彩色图像合成第三彩色图像；以及显示器，用于显示所述第三彩色图像。用户通过上述内窥镜系统可以辨认特殊光成像的区域以及强弱。
此种设备成像中有效信息极为稀疏，图像的大部分区域为虚焦或者暗场区域，运行速度缓慢且生成图像分辨率低。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有内窥镜成像装置及方法存在的问题，提出了本发明。
因此，本发明目的是提供一种超分辨内窥镜成像装置及方法。
一种超分辨内窥镜成像方法，包括以下步骤：
S1：获取3D内窥镜图像，并对3D内窥镜图像进行立体匹配，获得3D图像的视差图；
S2：将视差图转为深度图，并对深度图进行遍历；当深度图处于对焦清楚范围时，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像；
S3：对原始3D图像进行二值化处理，获得第二掩膜图像；
S4：对原始3D图像进行高通滤波后再进行二值化处理，获得第三掩膜图像；
S5：对第二掩膜图像和第三掩膜图像进行图像形态学的“与操作”，获得第四掩膜图像；
S6：对第四掩膜图像和第一掩膜图像进行图像形态学的“或操作”，获得第五掩膜图像；
S7：对3D图像进行等比例插值放大，获得插值后的3D图像；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像；
S8：计算第六掩膜图像中的掩膜区域的外切矩形，将插值后的3D图像中对应的外切矩形的区域裁剪出来；
S9：采用卷积超分辨网络对所裁剪出的区域进行超分辨操作，获得超分辨图像；
S10：将获得的超分辨图像填充至插值后的3D图像中，完成超分辨成像操作。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：对3D内窥镜图像进行立体匹配，获得3D图像的视差图的具体步骤包括：
S11：获取到一对左右视角的3D内窥镜图像；
S12：对获取到的左右视角的3D内窥镜图像进行预处理；
S13：从预处理后的左右视角的3D内窥镜图像中提取特征点；
S14：通过特征点的近邻搜索匹配得到初始的视差估计；
S15：基于初始的视差估计，采用二次插值来计算每个像素点的精确视差值；
S16：通过视差约束对计算得到的视差进行优化，得到优化后视差的置信度；
S17：基于优化后视差的置信度，计算每个像素点的精确视差值，采用不同的插值得到最终的视差图。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：将视差图转为深度图，并对深度图进行遍历；当深度图处于对焦清楚范围时，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像，需要说明的是：通过内窥镜探头获取视差图，并确定内窥镜探头参数，获取内窥镜探头的内参焦距、主点坐标和外参基线距离；对于视差图中的每个像素点，从原始的视差图中获取视差值，利用获取的内窥镜探头参数通过如下公式计算深度值：
深度=外参基线距离×内参焦距/视差
将视差图转换为深度图，对深度图进行遍历处理；
为深度图中任意一点的深度值，/>为内窥镜探头所能拍摄的最近距离，/>为内窥镜探头所能拍摄的最远距离，当/>或/>时，则其处于景深范围之外的图像为虚焦图像，重影严重不提供有效信息，当/>时，处于对焦清楚范围，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：对原始3D图像进行二值化处理，获得第二掩膜图像具体包括：原始3D图像为彩色图像，对原始3D图像进行灰度化处理，转换为灰度图像；在局部区域中，统计各个灰度级别的像素数量，得到灰度直方图；根据灰度直方图找到两个峰，选取两个峰之间的谷底作为最初阈值，求两个峰的平均值作为最终阈值；最终阈值将灰度图像中的像素分成两类，一类被赋予黑色，即灰度值赋值为0，另一类被赋予白色，即灰度值赋值为255；对像素灰度值与最终阈值进行比较，并根据比较结果赋予像素相应的二值，经过二值化之后得到第二掩膜图像。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：对原始3D图像进行高通滤波后再进行二值化处理，获得第三掩膜图像的具体步骤包括：根据灰度图局部对比度值设计非线性调制函数，设置预设参数值，对被雾气、血污、划痕影响的图像进行过滤，非线性调制函数根据对比度值的变化来增强或抑制像素值；将设计好的非线性调制函数应用到图像上，对每个像素进行调整，得到非线性调制后的图像；非线性调制后的图像对输入图像与滤波核进行频域卷积、反向滤波处理；调整非线性调制函数和反向滤波参数的取值，完成高通滤波操作；接着进行二值化处理，获得第三掩膜图像。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：
对第二掩膜图像和第三掩膜图像进行图像形态学的“与操作”获得第四掩膜图像具体步骤包括：将第二掩膜图像和第三掩膜图像和结构元素进行输入；定义结构元素，对于要进行操作的图像，从左上角开始遍历每个像素点，将结构元素覆盖在当前像素点周围的邻域区域内；对于结构元素中每一个非零元素，将其与邻域内对应位置的像素进行逻辑“与”运算，如果所有相应位置的像素都为1，则该像素保持不变，否则，将该像素设置为0；重复遍历和操作，直到处理完图像中的所有像素点；输出图像为第四掩膜图像；
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：
对第四掩膜图像和第一掩膜图像进行图像形态学的“或操作”，获得第五掩膜图像具体步骤包括：将待处理的二值图像和结构元素进行输入；定义结构元素，对于要进行操作的图像，从左上角开始遍历每个像素点，将结构元素覆盖在当前像素点周围的邻域区域内；对于结构元素中每一个非零元素，将其与邻域内对应位置的像素进行逻辑"或"运算；如果存在任何相应位置的像素为1，则该像素设置为1；否则，将该像素设置为0；重复遍历和操作，直到处理完图像中的所有像素点；输出图像为第五掩膜图像。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：对3D图像进行等比例插值放大，获得插值后的3D图像；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像具体步骤包括：
S71：确定放大倍数为2倍；根据放大倍数2倍和原始3D图像的尺寸，计算出插值后3D图像的新尺寸，创建一个新3D图像，新3D图像存储插值后的像素值；
S72：使用双重循环遍历新3D图像中的每个像素；
S73：遍历完新3D图像中的每个像素；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：
计算第六掩膜图像中的掩膜区域的外切矩形，将插值后的3D图像中对应的外切矩形的区域裁剪出来具体步骤包括：使用轮廓提取算法计算第六掩膜图像掩膜区域的外切矩形；根据外切矩形的位置和大小信息，从插值后的3D图像中裁剪出相应的区域。
作为本发明所述一种超分辨内窥镜成像方法的一种优选方案，其中：
采用卷积超分辨网络对所裁剪出的区域进行超分辨操作，获得超分辨图像具体步骤包括：
S91：通过降低原始高分辨率3D图像分辨率生成对应的低分辨率3D图像，收集高分辨率图像与相应的低分辨率图像作为训练数据；
S92：构建卷积超分辨网络，设计和构建一个适用于超分辨任务的卷积神经网络模型，使用深度卷积神经网络结构SRGAN；
S93：对输入的裁剪区域进行预处理图像归一化操作；
S94：加载预训练模型；
S95：将裁剪出的区域图像输入到卷积超分辨网络中；
S96：通过前向传播过程，将图像数据从输入层传递到输出层，并得到超分辨的结果；
S97：对超分辨结果进行去噪、锐化操作，输出裁剪区域的超分辨图像。
将获得的超分辨图像填充至插值后的3D图像中，完成超分辨成像操作具体包括：将裁剪得到的超分辨图像填充至插值后的3D图像的相应位置，使用混合和融合方法进行填充；对填充后的3D图像进行去噪、平滑操作；输出填充后的3D图像。
本发明提供一种超分辨内窥镜成像装置，基于一种超分辨内窥镜成像方法实现，包括内窥镜探头，数据处理单元，显示器和控制单元；
所述内窥镜探头，用于图像采集，光源传输和视角调整；
所述数据处理单元，用于图像增强、实时显示图像、影像记录和存储，以及数据传输；
所述显示器，用于图像显示，实时监控图像；
所述控制单元，用于以通过操纵杆或按钮控制装置，对内窥镜探头的操作。
作为本发明所述一种超分辨内窥镜成像装置的一种优选方案，其中：
所述内窥镜探头包括光纤束、透镜组和反射镜；
所述光纤束负责将光线引导到要观察的区域，透镜组和反射镜用于调节和聚焦光线，实现高分辨率的成像；
所述光纤束用于将光线引导到要观察的区域；
所述透镜组和反射镜用于调节和聚焦光线，实现高分辨率的成像。
作为本发明所述一种超分辨内窥镜成像装置的一种优选方案，其中：
所述数据处理单元包括数字图像传感器、图像处理芯片以及数据存储和传输模块；
所述数字图像传感器，用于将光学信号转换为数字图像信号，采用CCD技术，捕捉到高质量的图像；
所述图像处理芯片，用于对传感器采集到的原始图像进行处理和增强；
所述数据存储和传输模块，用于将处理和增强后的图像数据进行存储和传输，所述数据存储和传输模块包括存储设备和通信接口，将图像数据保存到本地存储设备并传输到显示器进行后续分析诊断。
作为本发明所述一种超分辨内窥镜成像装置的一种优选方案，其中：所述显示器包括显示屏幕、显示器控制器和显示器支架；
所述显示屏幕，用于显示内窥镜所捕捉到的图像和视频，显示屏幕采用液晶显有机发光二极管技术高分辨率显示技术；
所述显示器控制器：用于负责接收并处理图像信号的电子设备，将图像信号转换为显示器可识别的格式，并控制显示屏幕的亮度、对比度、色彩参数；
所述显示器支架，用于调整实时观察视角和位置，固定和调整显示屏幕的角度和高度。
作为本发明所述一种超分辨内窥镜成像装置的一种优选方案，其中：
所述控制单元包括控制杆和操作手柄，用于选择目标区域，调整内窥镜探头的弯曲部和视角。
一种计算机存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行一种超分辨内窥镜成像方法的步骤。
本发明的有益效果：本发明主要提高以往内窥镜运行速度和生成的图像分辨率，增强图像大部分区域的亮度，有助于医生在诊断和治疗过程中作出准确的判断和决策。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为一种超分辨内窥镜成像方法流程示意图；
图2为运用cv2.findContours（）函数算法绘制边界矩形的流程示意图；
图3为一种超分辨内窥镜成像装置组成示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1，本实施例介绍一种超分辨内窥镜成像方法的技术路线图，如图1，一种超分辨内窥镜成像方法包括以下步骤：
S1：获取3D内窥镜图像，并对3D内窥镜图像进行立体匹配，获得3D图像的视差图。需要说明的是S1包括如下步骤：
S11：获取到一对左右视角的3D内窥镜图像；
S12：对获取到的图像进行预处理，导入左右视角的3D内窥镜图像到MATLAB中，使用imread函数来读取图像文件；判断左右视角的3D内窥镜图像中存在的噪声类型，选择适当的去噪方法，再使用统计方法或算法来估计噪声参数。据噪声类型和噪声估计结果，选择适合的去噪方法。针对图像中的Wiener滤波，使用MATLAB中的wiener2函数来应用Wiener滤波；然后使用imshow函数显示去噪后的图像，并使用imwrite函数保存图像；
S13：使用Harris角点检测算法在去噪后的左右视角图像中检测出显著的特征点。对于检测到的每个特征点，计算其相应的特征描述子。特征描述子是对特征点周围局部区域的描述，具备一定的区分度和不变性。
S14：将左右视角图像中的特征点进行匹配，找出在两个图像中对应的特征点对。利用基于距离的最近邻匹配算法通过计算特征描述子之间的距离来实现，得到初始的视差估计；
S15：基于初始的视差估计，在左视角图像中已知每个像素点P的位置，需要找到左视角图像中一个像素点P在右视角图像中的对应位置。四个最近邻像素点按照其与目标像素点P的相对位置分别称为P1、P2、P3和P4，二次插值可以通过对四个最近邻像素点的视差值进行插值计算。使用欧氏距离算法计算目标像素点P与P1、P2、P3和P4之间的距离，距离越小，权重越大。根据权重和相应的视差值，对四个最近邻像素点的视差值进行加权平均，得到目标像素点P的精确视差值。对于左视角图像中的每个像素点都计算其对应的精确视差值。
S16：通过视差约束对计算得到的视差进行优化，得到优化后视差的置信度；
S17：基于优化后视差的置信度，计算每个像素点的精确视差值，采用不同的插值得到最终的视差图。
S2：将视差图转为深度图，并对深度图进行遍历；当深度图处于对焦清楚范围时，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像，需要说明的是：通过内窥镜探头获取视差图，并确定内窥镜探头参数，获取内窥镜探头的内参焦距、主点坐标和外参基线距离；对于视差图中的每个像素点，从原始的视差图中获取视差值，利用获取的内窥镜探头参数通过如下公式计算深度值：
深度=外参基线距离×内参焦距/视差
将视差图转换为深度图，对深度图进行遍历处理；
为深度图中任意一点的深度值，/>为内窥镜探头所能拍摄的最近距离，/>为内窥镜探头所能拍摄的最远距离，当/>或/>时，认为其处于景深范围之外的图像为虚焦图像，其重影较为严重不提供有效信息，当/>时，处于对焦清楚范围，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像。
S3：对原始3D图像进行二值化处理，获得第二掩膜图像，需要说明的是：将原始彩色图像运用加权平均法进行灰度化处理，根据重要性或其他指标给R，G，B赋予不同的权值，并使其值加权平均，RGB=ωR+νG+μB，ω、ν、μ分别表示权重，其中ω+ν+μ=1。灰度权值如表1所示：
表1 灰度权值
对每个像素，将其RGB通道的像素值与对应的权重相乘，然后将R，G，B三个通道的结果相加，得到加权平均值作为该像素的灰度值；使用计算得到的灰度值来构建新的灰度图像，转换为灰度图像；在局部区域中，统计各个灰度级别的像素数量，得到灰度直方图；根据灰度直方图找到两个峰，选取两个峰之间的谷底作为最初阈值，求两个峰的平均值作为最终阈值；最终阈值将灰度图像中的像素分成两类，一类被赋予黑色，即灰度值赋值为0，另一类被赋予白色，即灰度值赋值为255；对像素灰度值与最终阈值进行比较，并根据比较结果赋予像素相应的二值，经过二值化之后得到第二掩膜图像。
S4：对原始3D图像进行高通滤波后再进行二值化处理，获得第三掩膜图像，需要说明的是：根据灰度图局部对比度值设计非线性调制函数，设置雾气参数为100、血污参数为150、划痕参数为175，对被雾气、血污、划痕影响的图像进行过滤，用于调整图像的高频细节，非线性调制函数根据对比度的变化来增强或抑制像素值，以突出图像边缘和纹理细节；将设计好的非线性调制函数应用到图像上，对每个像素进行相应的调整，得到非线性调制后的图像；非线性调制后的图像对输入图像与滤波核进行频域卷积、反向滤波处理；调整非线性调制函数和反向滤波参数的取值，优化图像的增强效果；接着进行二值化处理，获得第三掩膜图像。
S5：对第二掩膜图像和第三掩膜图像进行图像形态学的“与操作”，获得第四掩膜图像；需要说明的是：将待处理的二值图像和结构元素进行输入；定义结构元素，对于要进行操作的图像，从左上角开始遍历每个像素点，将结构元素覆盖在当前像素点周围的邻域区域内；对于结构元素中每一个非零元素，将其与邻域内对应位置的像素进行逻辑“与”运算，如果所有相应位置的像素都为1，则该像素保持不变，否则，将该像素设置为0；重复遍历和操作，直到处理完图像中的所有像素点；输出图像为第四掩膜图像；
S6：对第四掩膜图像和第一掩膜图像进行图像形态学的“或操作”，获得第五掩膜图像，需要说明的是：将待处理的二值图像和结构元素进行输入；定义结构元素，对于要进行操作的图像，从左上角开始遍历每个像素点，将结构元素覆盖在当前像素点周围的邻域区域内；对于结构元素中每一个非零元素，将其与邻域内对应位置的像素进行逻辑"或"运算；如果存在任何相应位置的像素为1，则该像素设置为1；否则，将该像素设置为0；重复遍历和操作，直到处理完图像中的所有像素点；输出图像为第五掩膜图像。
S7：对3D图像进行等比例插值放大，获得插值后的3D图像；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像，需要说明的是：
S71：确定放大倍数为2倍；假设原始3D图像的宽度为W，高度为H，深度为D，根据放大倍数为2倍和原始3D图像的尺寸，将原始3D图像的尺寸乘以放大倍数。新的宽度为2W，新的高度为2H，新的深度为2D，创建一个新3D图像，新3D图像存储插值后的像素值；
S72：新3D图像的宽度为2W，高度为2H，深度为2D；使用三个嵌套循环，外层循环控制深度，中间循环控制行数，内层循环控制列数。循环变量k在范围[0，2D）内迭代，表示当前深度；循环变量i在范围[0，2H）内迭代，表示当前行数；循环变量j在范围[0，2W）内迭代，表示当前列数。对于每个新3D图像中的像素位置（k，i，j），通过双线性插值计算出对应的原始3D图像中的坐标。确保计算得到的原始坐标在原始3D图像的范围内。如果原始坐标超出了原始3D图像的边界，可以根据需要进行边界处理。根据2倍放大倍数和当前像素的位置，使用除法等比例缩放计算出对应于原始图像中的位置；根据计算得到的原始3D图像位置，利用双线性插值算法计算出插值后的像素值；然后将计算得到的插值后的像素值赋给新3D图像对应位置的像素；循环结束后，就遍历了新3D图像中的每个像素；
S73：遍历完新3D图像中的所有像素，输出插值后的3D图像；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像。
S8：采用卷积超分辨网络对所裁剪出的区域进行超分辨操作，获得超分辨图像，需要说明的是：使用查找轮廓的函数cv2.findContours（），在二值图像中查找第六掩膜图像中的掩膜区域。使用绘制轮廓的函数cv2.drawContours（）在第六掩膜图像上绘制找到的轮廓。使用轮廓提取算法计算第六掩膜图像掩膜区域的外切矩形；根据外切矩形的位置和大小信息，从插值后的3D图像中裁剪出相应的区域。
S9：采用卷积超分辨网络对所裁剪出的区域进行超分辨操作，获得超分辨图像，需要说明的是：如图2，首先，使用cv2.findContours（）函数来找到轮廓。找到的轮廓作为参数传递给cv2.boundingRect（）函数，cv2.boundingRect（）函数会返回一个边界矩形的位置和尺寸信息。边界矩形是以矩形的左上角坐标（x，y）和宽度w以及高度h表示的。从返回的结果中提取矩形的位置和尺寸等信息。使用x，y，w，h=cv2.boundingRect（contour）来获取边界矩形的位置和尺寸信息。在原始图像上使用cv2.rectangle（）函数来绘制裁剪区域矩形。
然后通过降低原始高分辨率3D图像分辨率生成对应的低分辨率3D图像，收集高分辨率图像与相应的低分辨率图像作为训练数据；构建卷积超分辨网络：设计和构建一个适用于超分辨任务的卷积神经网络模型，使用深度卷积神经网络结构SRGAN；接着输入的裁剪区进行预处理图像归一化操作；然后加载预训练模型；将裁剪出的区域图像输入到卷积超分辨网络中；通过前向传播过程，将图像数据从输入层传递到输出层，并得到超分辨的结果；最后对超分辨结果进行去噪、锐化操作，输出裁剪区域的超分辨图像。
S10：将获得的超分辨图像填充至插值后的3D图像中，完成超分辨成像操作，需要说明的是：将裁剪得到的超分辨图像填充至插值后的3D图像的相应位置，根据超分辨图像的内容，选择与待填充区域相似的图像片段，将这些图像片段复制并粘贴到3D图像的相应位置，确保填充的颜色和纹理与周围区域保持一致。并在3D图像中创建一个与待填充区域相同大小的融合掩膜，然后将超分辨图像与该掩膜进行无缝融合，保持图像的一致性和平滑度。使用混合和融合这两种方法对3D图像进行填充；对填充后的3D图像进行去噪、平滑操作；输出填充后的3D图像。
实施例2
参照图3，本实施例介绍一种超分辨内窥镜成像装置，包括包括内窥镜探头，数据处理单元，显示器和控制单元。
所述内窥镜探头通过体内腔道或手术切口等途径，实时获取高清晰度的图像；这些图像可以用于观察和诊断目的，帮助医生了解病变、异常组织或器官的情况；
所述数据处理单元包括数字图像传感器、图像处理芯片和数据存储和传输模块。
所述数字图像传感器是超分辨内窥镜的核心部件，用于将光学信号转换为数字图像信号。
所述图像处理芯片是数据处理单元中的重要组成部分，用于对传感器采集到的原始图像进行处理和增强。它包括均值去噪算法和直方图均衡化，能够提高图像的质量和清晰度，同时减少图像数据的存储和传输所需的空间和带宽。
所述数据存储和传输模块，用于将处理和增强后的图像数据进行存储和传输。它通常包括存储设备固态硬盘和通信接口USB、Wi-Fi、蓝牙等，以便将图像数据保存到本地存储设备或传输到显示器进行后续分析诊断。
所述所述显示器包括显示屏幕、显示器控制器和显示屏支架；
所述显示屏幕是超分辨内窥镜的核心组件，用于显示内窥镜所捕捉到的图像和视频。显示屏幕采用液晶显示技术，具有高分辨率和广色域的显示屏幕能够提供清晰细腻的图像。
所述显示器控制器是负责接收并处理图像信号的电子设备。它将图像信号转换为显示器可识别的格式，并控制显示屏幕的亮度、对比度、色彩等参数。显示器控制器可以是内置于显示器中的芯片。
所述显示屏支架是为了方便医生在使用时调整视角和位置，固定和调整显示屏幕的角度和高度。可以根据需要选择最适合的观察角度，以确保观察到最清晰的图像。
所述显示器还包括电源供应，所述电源供应是内置于显示器中的电源适配器，给超分辨内窥镜显示器提供稳定的电源供应以正常工作。
所述控制单元包括控制杆和操作手柄，用于选择目标区域，调整内窥镜探头的弯曲部和视角。
实施例3
本实施例提供一种电子设备，包括：处理器和存储器，其中，存储器中存储有可供处理器调用的计算机程序；处理器通过调用存储器中存储的计算机程序，执行上述的一种超分辨内窥镜成像方法。
该电子设备可因配置或性能不同而产生比较大的差异，能够包括一个或一个以上的处理器（Central Processing Units，CPU）和一个或一个以上的存储器，其中，该存储器中存储有至少一条计算机程序，该计算机程序由该处理器加载并执行以实现上述方法实施例提供的一种超分辨内窥镜成像方法。该电子设备还能够包括其他用于实现设备功能的部件，例如，该电子设备还能够具有有线或无线网络接口以及输入输出接口等部件，以便进行数据的输入输出。本实施例在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM），只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (16)

1.一种超分辨内窥镜成像方法，其特征在于：包括：
S1：获取3D内窥镜图像，并对3D内窥镜图像进行立体匹配，获得3D图像的视差图；
S2：将视差图转为深度图，并对深度图进行遍历；当深度图处于对焦清楚范围时，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像；
S3：对原始3D图像进行二值化处理，获得第二掩膜图像；
S4：对原始3D图像进行高通滤波后再进行二值化处理，获得第三掩膜图像；
S5：对第二掩膜图像和第三掩膜图像进行图像形态学的“与操作”，获得第四掩膜图像；
S6：对第四掩膜图像和第一掩膜图像进行图像形态学的“或操作”，获得第五掩膜图像；
S7：对3D图像进行等比例插值放大，获得插值后的3D图像；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像；
S8：计算第六掩膜图像中的掩膜区域的外切矩形，将插值后的3D图像中对应的外切矩形的区域裁剪出来；
S9：采用卷积超分辨网络对所裁剪出的区域进行超分辨操作，获得超分辨图像；将获得的超分辨图像填充至插值后的3D图像中，完成超分辨成像操作。
2.如权利要求1所述的一种超分辨内窥镜成像方法，其特征在于：对3D内窥镜图像进行立体匹配，获得3D图像的视差图的具体步骤包括：
S11：获取到一对左右视角的3D内窥镜图像；
S12：对获取到的左右视角的3D内窥镜图像进行预处理；
S13：从预处理后的左右视角的3D内窥镜图像中提取特征点；
S14：通过特征点的近邻搜索匹配得到初始的视差估计；
S15：基于初始的视差估计，采用二次插值来计算每个像素点的精确视差值；
S16：通过视差约束对计算得到的视差进行优化，得到优化后视差的置信度；
S17：基于优化后视差的置信度，计算每个像素点的精确视差值，采用不同的插值得到最终的视差图。
3.如权利要求2所述的一种超分辨内窥镜成像方法，其特征在于：将视差图转为深度图，并对深度图进行遍历；当深度图处于对焦清楚范围时，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像的具体步骤包括：
通过内窥镜探头获取视差图，并确定内窥镜探头参数，获取内窥镜探头的内参焦距、主点坐标和外参基线距离；对于视差图中的每个像素点，从原始的视差图中获取视差值，利用获取的内窥镜探头参数通过如下公式计算深度值：
深度=外参基线距离×内参焦距/视差
将视差图转换为深度图，对深度图进行遍历处理；
为深度图中任意一点的深度值，/>为内窥镜探头所能拍摄的最近距离，/>为内窥镜探头所能拍摄的最远距离，当/>或/>时，则处于景深范围之外的图像为虚焦图像，重影严重不提供有效信息，当/>时，处于对焦清楚范围，将原始3D图像中对应的清楚范围的像素掩膜图像中对应的像素值设置为1，获得第一掩膜图像。
4.如权利要求3所述的一种超分辨内窥镜成像方法，其特征在于：对原始3D图像进行二值化处理，获得第二掩膜图像具体包括：原始3D图像为彩色图像，对原始3D图像进行灰度化处理，转换为灰度图像；在局部区域中，统计各个灰度级别的像素数量，得到灰度直方图；根据灰度直方图找到两个峰，选取两个峰之间的谷底作为最初阈值，求两个峰的平均值作为最终阈值；最终阈值将灰度图像中的像素分成两类，一类被赋予黑色，即灰度值赋值为0，另一类被赋予白色，即灰度值赋值为255；对像素灰度值与最终阈值进行比较，并根据比较结果赋予像素相应的二值，经过二值化之后得到第二掩膜图像。
5.如权利要求4所述的一种超分辨内窥镜成像方法，其特征在于：对原始3D图像进行高通滤波后再进行二值化处理，获得第三掩膜图像的具体步骤包括：根据灰度图局部对比度值设计非线性调制函数，设置预设参数值，对被雾气、血污、划痕影响的图像进行过滤，非线性调制函数根据对比度值的变化来增强或抑制像素值；将设计好的非线性调制函数应用到图像上，对每个像素进行调整，得到非线性调制后的图像；非线性调制后的图像对输入图像与滤波核进行频域卷积、反向滤波处理；调整非线性调制函数和反向滤波参数的取值，完成高通滤波操作；接着进行二值化处理，获得第三掩膜图像。
6.如权利要求5所述的一种超分辨内窥镜成像方法，其特征在于：对第二掩膜图像和第三掩膜图像进行图像形态学的“与操作”获得第四掩膜图像具体步骤包括：将第二掩膜图像和第三掩膜图像和结构元素进行输入；定义结构元素，对于要进行操作的图像，从左上角开始遍历每个像素点，将结构元素覆盖在当前像素点周围的邻域区域内；对于结构元素中每一个非零元素，将其与邻域内对应位置的像素进行逻辑“与运算”，如果所有相应位置的像素都为1，则该像素保持不变，否则，将该像素设置为0；重复遍历和操作，直到处理完图像中的所有像素点；输出图像为第四掩膜图像。
7.如权利要求6所述的一种超分辨内窥镜成像方法，其特征在于：对第四掩膜图像和第一掩膜图像进行图像形态学的“或操作”，获得第五掩膜图像具体步骤包括：将第四掩膜图像和第一掩膜图像和结构元素进行输入；定义结构元素，对于要进行操作的图像，从左上角开始遍历每个像素点，将结构元素覆盖在当前像素点周围的邻域区域内；对于结构元素中每一个非零元素，将其与邻域内对应位置的像素进行逻辑“或运算”；如果存在任何相应位置的像素为1，则该像素设置为1；否则，将该像素设置为0；重复遍历和操作，直到处理完图像中的所有像素点；输出图像为第五掩膜图像。
8.如权利要求7所述的一种超分辨内窥镜成像方法，其特征在于：对3D图像进行等比例插值放大，获得插值后的3D图像；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像具体步骤包括：
S71：确定放大倍数为2倍；根据放大倍数2倍和原始3D图像的尺寸，计算出插值后3D图像的新尺寸，创建一个新3D图像，新3D图像存储插值后的像素值；
S72：使用双重循环遍历新3D图像中的每个像素；
S73：遍历完新3D图像中的每个像素；对第五掩膜图像采用相同的方法进行插值放大，获得第六掩膜图像。
9.如权利要求8所述的一种超分辨内窥镜成像方法，其特征在于：计算第六掩膜图像中的掩膜区域的外切矩形，将插值后的3D图像中对应的外切矩形的区域裁剪出来具体步骤包括：使用轮廓提取算法计算第六掩膜图像掩膜区域的外切矩形；根据外切矩形的位置和大小信息，从插值后的3D图像中裁剪出相应的区域。
10.如权利要求9所述的一种超分辨内窥镜成像方法，其特征在于：采用卷积超分辨网络对所裁剪出的区域进行超分辨操作，获得超分辨图像具体步骤包括：
S91：通过降低原始高分辨率3D图像分辨率生成对应的低分辨率3D图像，收集高分辨率图像与相应的低分辨率图像作为训练数据；
S92：构建卷积超分辨网络，设计和构建一个适用于超分辨任务的卷积神经网络模型，使用深度卷积神经网络结构SRGAN；
S93：对输入的裁剪区域进行预处理图像归一化操作；
S94：加载预训练模型；
S95：将裁剪出的区域图像输入到卷积超分辨网络中；
S96：通过前向传播过程，将图像数据从输入层传递到输出层，并得到超分辨的结果；
S97：对超分辨结果进行去噪、锐化操作，输出裁剪区域的超分辨图像；
将获得的超分辨图像填充至插值后的3D图像中，完成超分辨成像操作具体包括：将裁剪得到的超分辨图像填充至插值后的3D图像的相应位置，使用混合和融合方法进行填充；对填充后的3D图像进行去噪、平滑操作；输出填充后的3D图像。
11.一种超分辨内窥镜成像装置，实现如权利要求1-10任一项所述的一种超分辨内窥镜成像方法，其特征在于：包括：
内窥镜探头，数据处理单元，显示器和控制单元；
所述内窥镜探头，用于图像采集、光源传输和视角调整；
所述数据处理单元，用于图像增强、实时显示图像、影像记录和存储，以
及数据传输；
所述显示器，用于图像显示，实时监控图像变化；
所述控制单元，通过操纵杆或按钮控制装置，对内窥镜探头进行控制。
12.如权利要求11所述的一种超分辨内窥镜成像装置，其特征在于：所述内窥镜探头包括光纤束、透镜组和反射镜；
所述光纤束将光线引导到要观察的区域，透镜组和反射镜用于调节和聚焦光线。
13.如权利要求12所述的一种超分辨内窥镜成像装置，其特征在于：所述数据处理单元包括数字图像传感器、图像处理芯片以及数据存储和传输模块；
所述数字图像传感器，用于将光学信号转换为数字图像信号，采用CCD技术，捕捉到超分辨率的图像；
所述图像处理芯片，用于对传感器采集到的原始图像进行处理和增强；
所述数据存储和传输模块，用于将处理和增强后的图像数据进行存储和传输；所述数据存储和传输模块包括存储设备和通信接口，将图像数据保存到本地存储设备并传输到显示器进行后续分析诊断。
14.如权利要求13所述的一种超分辨内窥镜成像装置，其特征在于：所述显示器包括显示屏幕、显示器控制器和显示器支架；
所述显示屏幕，用于显示内窥镜所捕捉到的图像和视频，显示屏幕采用液晶有机发光二极管高分辨率显示技术；
所述显示器控制器，用于负责接收并处理图像信号，将图像信号转换为显示器可识别的格式，并控制显示屏幕的亮度、对比度、色彩参数；
所述显示器支架，用于调整实时观察视角和位置，固定和调整显示屏幕的角度和高度。
15.如权利要求14所述的一种超分辨内窥镜成像装置，其特征在于：所述控制单元包括控制杆和操作手柄，用于选择目标区域，调整内窥镜探头的弯曲部和视角。
16.一种计算机存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1-10中任一项所述的一种超分辨内窥镜成像方法。
CN202311150557.9A 2023-09-07 2023-09-07 一种超分辨内窥镜成像装置及方法 Active CN116883249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311150557.9A CN116883249B (zh) 2023-09-07 2023-09-07 一种超分辨内窥镜成像装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311150557.9A CN116883249B (zh) 2023-09-07 2023-09-07 一种超分辨内窥镜成像装置及方法

Publications (2)

Publication Number Publication Date
CN116883249A CN116883249A (zh) 2023-10-13
CN116883249B true CN116883249B (zh) 2023-11-14

Family

ID=88272173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311150557.9A Active CN116883249B (zh) 2023-09-07 2023-09-07 一种超分辨内窥镜成像装置及方法

Country Status (1)

Country Link
CN (1) CN116883249B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984534A (zh) * 2011-09-06 2013-03-20 索尼公司 视频信号处理设备和视频信号处理方法
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN110232389A (zh) * 2019-06-13 2019-09-13 内蒙古大学 一种基于绿色作物特征提取不变性的立体视觉导航方法
EP3910548A1 (en) * 2020-05-14 2021-11-17 Demax - Holograms AD Method for checking variable diffractive optical element
CN113965679A (zh) * 2021-10-19 2022-01-21 北京的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984534A (zh) * 2011-09-06 2013-03-20 索尼公司 视频信号处理设备和视频信号处理方法
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN110232389A (zh) * 2019-06-13 2019-09-13 内蒙古大学 一种基于绿色作物特征提取不变性的立体视觉导航方法
EP3910548A1 (en) * 2020-05-14 2021-11-17 Demax - Holograms AD Method for checking variable diffractive optical element
CN113965679A (zh) * 2021-10-19 2022-01-21 北京的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Singh, Sumit Kumar.Diagnosis of skin cancer using novel computer vision and deep learning techniques.《Masters thesis,University of Essex》.2022,1-134. *
基于深度学习的单目图像新视图合成;李文杰;《中国优秀硕士学位论文全文数据库 信息科技辑》(第4期);I138-720 *

Also Published As

Publication number Publication date
CN116883249A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
JP7027537B2 (ja) 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
CN110176010B (zh) 一种图像检测方法、装置、设备及存储介质
CN111598862B (zh) 一种乳腺钼靶图像的分割方法、装置、终端及存储介质
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
CN111598989B (zh) 一种图像渲染参数设置方法、装置、电子设备及存储介质
KR102156533B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
US10019784B2 (en) Medical image processing apparatus and method
CN110619318A (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
CN111612792B (zh) 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品
CN111784686A (zh) 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质
CN114004969A (zh) 一种内镜图像病灶区检测方法、装置、设备及存储介质
EP3016070A1 (en) Detection device, learning device, detection method, learning method, and program
CN115965603A (zh) 内窥镜图像的图像处理方法、装置、终端及可读存储介质
CN116883249B (zh) 一种超分辨内窥镜成像装置及方法
CN110974286B (zh) 乳腺x线影像肿块检出方法和装置
US20220375043A1 (en) Specular reflection reduction in endoscope visualization
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
Zhang et al. An image enhancement technique using nonlinear transfer function and unsharp masking in multispectral endoscope
Kwon et al. All-in-focus imaging using average filter-based relative focus measure
Cao et al. Depth image vibration filtering and shadow detection based on fusion and fractional differential
JP6503733B2 (ja) 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
CN112700532B (zh) 一种用于三维重建的神经网络训练方法和系统
CN117710233B (zh) 一种内窥图像的景深扩展方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant