CN117398042B - 一种ai辅助检测的3d内窥镜系统及成像方法 - Google Patents

一种ai辅助检测的3d内窥镜系统及成像方法 Download PDF

Info

Publication number
CN117398042B
CN117398042B CN202311713164.4A CN202311713164A CN117398042B CN 117398042 B CN117398042 B CN 117398042B CN 202311713164 A CN202311713164 A CN 202311713164A CN 117398042 B CN117398042 B CN 117398042B
Authority
CN
China
Prior art keywords
image
narrow
white light
light
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311713164.4A
Other languages
English (en)
Other versions
CN117398042A (zh
Inventor
请求不公布姓名
陆汇海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bosheng Medical Technology Co ltd
Original Assignee
Shenzhen Bosheng Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bosheng Medical Technology Co ltd filed Critical Shenzhen Bosheng Medical Technology Co ltd
Priority to CN202311713164.4A priority Critical patent/CN117398042B/zh
Publication of CN117398042A publication Critical patent/CN117398042A/zh
Application granted granted Critical
Publication of CN117398042B publication Critical patent/CN117398042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

一种AI辅助检测的3D内窥镜系统及成像方法，涉及医疗领域。该系统包括光源、摄像装置和处理器。光源用于输出白色光线并射向观察区域；所述摄像装置包括第一摄像单元和第二摄像单元，所述第一摄像单元获取白色光线，以生成白光图像信号；第二摄像单元获取白色光线中设定波长的光，以生成窄带光图像信号；处理器获取所述白光图像信号和窄带光图像信号，以进行病变检测，输出3D图像。

Description

一种AI辅助检测的3D内窥镜系统及成像方法
技术领域
本发明涉及医疗领域，具体涉及一种AI辅助检测的3D内窥镜系统及成像方法。
背景技术
内窥镜检查是发现人体体腔内病变的关键诊疗手段之一，被广泛应用于临床诊断。当前大多数内窥镜的主要功能是对人体组织器官成像，将成像效果输出到显示器供医生查看发现问题。为了便于医生发现体腔内的病变组织，各内窥镜厂商使用特定的光对组织器官进行照射，根据组织器官对光的吸收和反射特性进行成像，再结合图像处理技术提高图像的对比度和纹理的细腻程度，最终得到结构清晰层次明显的图像供医生进行诊断。
当前人工智能技术在图像分类、目标检测和目标分割方面都取得很大的进展，这些模型速度快精度高，再结合现有的硬件加速使得很多模型在满足精度需求的同时能达到实时要求，并且对模型的加速研究从未间断，使得很多成熟的加速技术被提出来，如量化、知识蒸馏等。
现有的大多数内窥镜系统往往是对体腔组织器官进行成像，医生根据个人的先验知识判断组织器官图像是否含有病变区域以及病变区域的大小和形状。在这个过程中受成像效果和医生本人的知识储备的影响，会出现对病变的漏检以及检测不准确的现象。
发明内容
本发明主要解决的技术问题是：提供一种病变区域检测更为准确的AI辅助检测的3D内窥镜系统及成像方法。
根据第一方面，一种实施例中提供一种AI辅助检测的3D内窥镜系统，包括：
光源，用于输出白色光线并射向观察区域；
摄像装置，所述摄像装置包括第一摄像单元和第二摄像单元，所述第一摄像单元获取白色光线，以生成白光图像信号；第二摄像单元获取白色光线中设定波长的光，以生成窄带光图像信号；
处理器，获取所述白光图像信号和窄带光图像信号，以进行病变检测，输出3D图像。
一种实施例中，所述第一摄像单元包括第一光学系统、第一滤色镜和第一感光元件；所述第二摄像单元包括第二光学系统、第二滤色镜和第二感光元件；
所述第一光学系统用于对所述摄像装置中的第一摄像机进行调焦；所述白色光线照射到人体体腔内的反射光经过第一滤色镜照射在第一感光元件上，所述第一感光元件将光信号转换为所述白光图像信号；
所述第二光学系统用于对所述摄像装置中的第二摄像机进行调焦；所述白色管线照射到人体体腔内的反射光中的设定波长的光照射到第二感光元件上，所述设定波长的光包括设定波长的蓝光、设定波长的绿光和设定波长的红光；所述第二感光元件将光信号转换为所述窄带光图像信号。
一种实施例中，所述处理器获取所述白光图像信号和窄带光图像信号，进行病变检测，输出3D图像，包括：
处理器获取所述白光图像信号和窄带光图像信号，并将所述白光图像信号和窄带光图像信号对应转换为白光图像和窄带光图像；
处理器对所述白光图像和窄带光图像进行处理，并利用AI检测对处理后的白光图像和窄带光图像进行病变检测，合成3D图像。
一种实施例中，所述处理器对所述白光图像和窄带光图像进行处理，并利用AI检测对处理后的白光图像和窄带光图像进行病变检测，合成3D图像，包括：
获取白光图像和窄带光图像，以将所述白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像；
计算所述白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图；
响应于用户选择的观察模式，当用户选择的是白光观察模式时，进行3D白光图像的合成；当用户选择的是窄带光观察模式时，利用所述立体视差图将所述白光彩色图像映射到所述窄带光彩色图像对应的相机坐标下得到重建的白光彩色图像，进行AI辅助判断的选择；
当进行AI辅助判断时，对所述重建的白光彩色图像和窄带光彩色图像进行融合，以生成融合图像，利用预存储的AI模型对所述融合图像进行辅助病变检测，以输出病变标记图像；
根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像。
一种实施例中，所述内窥镜系统还包括：
镜管，所述镜管包括镜管外壳和信号线缆，所述信号线缆设置在所述镜管外壳内部；所述镜管外壳的第一端安装所述摄像装置；所述信号线缆电连接所述摄像装置，以传输所述白光图像信号和窄带光图像信号；
手柄，所述镜管外壳的第二端连接所述手柄，以利用手柄操作所述镜管，将所述摄像装置插入人体体腔；
监视器，所述监视器连接于所述处理器，以对所述3D图像进行显示。
根据第二方面，一种实施例提供一种AI辅助检测的3D内窥镜的成像方法，所述成像方法应用于所述AI辅助检测的3D内窥镜系统，包括：
获取白光图像和窄带光图像，以将所述白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像；
计算所述白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图；
响应于用户选择的观察模式，当用户选择的是白光观察模式时，进行3D白光图像的合成；当用户选择的是窄带光观察模式时，利用所述立体视差图将所述白光彩色图像映射到所述窄带光彩色图像对应的相机坐标下得到重建的白光彩色图像，进行AI辅助判断的选择；
当进行AI辅助判断时，对所述重建的白光彩色图像和窄带光彩色图像进行融合，以生成融合图像，利用预存储的AI模型对所述融合图像进行辅助病变检测，以输出病变标记图像；
根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像。
一种实施例中，所述计算所述白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图，包括：
获取所述白光彩色图像对应的灰度图像为白光灰度图像；
获取所述窄带光彩色图像对应的灰度图像为窄带光灰度图像；
分别对所述白光灰度图像和窄带光灰度图像进行归一化；
计算归一化后的白光灰度图像和窄带光灰度图像，以确定所述立体视差图。
一种实施例中，所述当用户选择的是白光观察模式时，进行3D白光图像的合成，包括：
当用户选择的是白光观察模式时，利用所述立体视差图将所述白光彩色图像映射到所述窄带光彩色图像对应的相机坐标下得到重建的白光彩色图像；
根据所述白光彩色图像和重建的白光彩色图像的景深进行白光彩色图像和重建的白光彩色图像的合成，以合成3D白光图像。
一种实施例中，所述利用预存储的AI模型对所述融合图像进行辅助病变检测，以输出病变标记图像，包括：
利用所述立体视差图将所述白光灰度图像映射到所述窄带光彩色图像对应的坐标，以完成白光灰度图像的坐标对齐；
将坐标对齐后的白光灰度图像叠加到窄带光彩色图像的设定通道，以得到融合图像；所述融合图像包括三个通道，所述三个通道分别为白光灰度图像+窄带红光单色图像、窄带绿光单色图像和窄带蓝光单色图像，对所述三个通道分别进行归一化；
调整归一化后的融合图像的尺寸以达到设定固定尺寸；
使用预存储的AI模型对调整尺寸后的融合图像进行辅助病变检测，以输出病变标记图像。
一种实施例中，所述根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像，包括：
当输入图像为白光彩色图像和病变标记图像时，根据所述立体视差图将病变标记图像映射到白光彩色图像，以确定第一白光图像；根据所述立体视差图将第一白光彩色图像映射到窄带光彩色，以确定第二白光图像；根据所述第一白光图像和第二白光图像的景深进行第一白光图像和第二白光图像的合成，以输出3D白光病变标记图像；
当输入图像为窄带光彩色图像时，根据立体视差图将所述窄带光彩色图像映射到白光彩色图像得到重建的窄带光彩色图像；根据所述窄带光彩色图像和重建的窄带光彩色图像的景深进行窄带光彩色图像和重建的窄带光彩色图像的合成，以输出3D窄带光图像；
当输入图像为窄带光彩色图像和病变标记图像时，根据所述立体视差图将所述病变标记图像映射到窄带光彩色图像，以得到第一窄带光图像；根据所述立体视差图将所述第一窄带光图像映射到白光彩色图像，以得到第二窄带光图像；根据所述第一窄带光图像和第二窄带光图像的景深进行第一窄带光图像和第二窄带光图像的合成，以输出3D窄带光病变标记图像。
根据上述实施例的一种AI辅助检测的3D内窥镜系统及成像方法，摄像装置在白光光线的照射下，第一摄像单元获取白色光线，生成白光图像信号；第二摄像单元获取白色光线中的设定波长的光，生成窄带光图像信号。在获取到白光图像信号和窄带光图像信号后，利用AI检测对处理后的白光图像和窄带光图像进行病变检测，并合成3D图像。本系统在采用双摄像机的内窥镜成像系统同时对人体体腔内的组织器官进行观察，能够提高病变区域的成像结果。再利用AI检测能够更有利于医生对人体组织器官的观察和协助医生发现病变位置，识别病变大小和形状。
附图说明
图1为一种实施例的AI辅助检测的3D内窥镜系统的结构示意图；
图2为一种实施例的第一滤色镜的Bayer单元格式图；
图3为一种实施例的第二滤色镜的Bayer单元格式图；
图4为另一种实施例的AI辅助检测的3D内窥镜的成像方法的总流程图；
图5为另一种实施例的AI辅助检测的3D内窥镜的成像方法中步骤S10的流程图；
图6为另一种实施例的AI辅助检测的3D内窥镜的成像方法中步骤S20的流程图；
图7为另一种实施例的AI辅助检测的3D内窥镜的成像方法中步骤S30的流程图；
图8为另一种实施例的AI辅助检测的3D内窥镜的成像方法中步骤S40的流程图；
图9为另一种实施例的AI辅助检测的3D内窥镜的成像方法中步骤S45的流程图；
图10为另一种实施例的AI辅助检测的3D内窥镜的成像方法中病变标记图像的示意图；
图11为另一种实施例的AI辅助检测的3D内窥镜的成像方法中步骤S50的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
请参考图1，一种实施例提供一种AI辅助检测的3D内窥镜系统，包括摄像装置100、镜管200、手柄300、处理器400和监视器500，下面进行具体说明。
一种实施例中，摄像装置100包括第一摄像单元110和第二摄像单元120。第一摄像单元110获取白色光线，以生成白光图像信号；第二摄像单元120获取白色光线中设定波长的光，以生成窄带光图像信号。
一种实施例中，第一摄像单元110包括第一光学系统111、第一滤色镜112和第一感光元件113。第一光学系统111用于对摄像装置100中的第一摄像机114进行调焦，第一滤色镜112的Bayer单元格式如图2所示，光线通过第一滤色镜112和第一感光元件113就可以获取白光图像信号。
一种实施例中，第二摄像单元120包括第二光学系统121、第二滤色镜122和第二感光元件123。第二光学系统121用于对摄像装置100中的第二摄像机124进行调焦，第二滤色镜122的Bayer单元格式如图3所示，其中NB滤色镜用于透射中心波长为410nm、半峰波宽为15nm的蓝光，NG滤色镜用于投射中心波长540nm、半峰波宽10nm的绿光，NR滤色镜用于投射中心波长590nm、半峰波长20nm的红光。光线通过第二滤色镜122和第二感光元件123就可以获取窄带光图像信号。
一种实施例中，镜管200为硬质或软质的镜管，其包括镜管外壳210和信号线缆220，信号线缆220设置在镜管外壳210的内部，镜管外壳210的第一端安装有摄像装置100，并通过信号线缆220连接摄像装置100，以传输白光图像信号和窄带光图像信号。信号线缆220包括与第一摄像单元连接的第一线缆221和第二线缆222，与第二摄像单元连接的第三线缆223和第四线缆224。
一种实施例中，镜管外壳210的第二端连接手柄300，以利用手柄300操作镜管200，将摄像装置100插入人体体腔内。其中，手柄300内设有与镜管200连通的穿线通道。
一种实施例中，处理器400包括图像采集模块410、图像处理模块420、控制模块430、输入设备模块440、光源模块450和驱动模块460，下面进行具体展开。
一种实施例中，第一线缆221穿过镜管200和手柄300内的穿线通道将白光图像信号传输到图像采集模块410的输入端，第三线缆223穿过镜管200和手柄300内的穿线通道将窄带光图像信号传输到图像采集模块410的输入端。图像采集模块410的输出端与图像处理模块420连接，图像采集模块410将同一时刻的白光图像信号和窄带光图像信号传输到图像处理模块420中。
一种实施例中，图像处理模块420在获取到白光图像信号和窄带光图像信号后，将白光图像信号和窄带光图像信号对应转换为白光图像和窄带光图像，再对白光图像和窄带光图像进行基本的处理，如调整信息增益和去马赛克等。图像处理模块420还与控制模块430连接，因此在对白光图像和窄带光图像处理完之后，图像处理模块420获取控制指令和参数，根据获取的控制指令选择是否对处理的白光图像和窄带光图像进行AI病变检测，并且最终合成3D图像。
一种实施例中，控制模块430的输入端与输入设备模块440连接，如键盘、鼠标和触控屏等，输入设备模块440用于向控制模块430输入操作指令和控制参数，控制模块430根据输入的指令和参数做出响应控制其他部件工作。
一种实施例中，光源模块450包括光源控制模块451和白色光源模块452，光源控制模块451控制白色光源452模块发出白色光线，白色光线通过导光束453对人体体腔内观察区域进行照明。需要说明的是，白色光线是通过混合蓝色光线，红色光线和绿色光线的得到，而窄带光是通过截止镜片对蓝色光线和绿色光线的波长进行裁剪得到的，因此在第二摄像机124上设置有截止镜片。光源控制模块451控制白色光源452发出白色光线，白色光线通过导光束453照射到人体体腔内的组织器官上，人体组织器官会吸收一部分光并反射一部分光。摄像装置100对反射光进行采集，第一摄像单元110用于采集反射光中的白色光线，白色光线经过第一滤色镜112照射在第一感光元件113上，第一感光元件113将光信号转换为白光图像信号；第二摄像单元120用于采集反射光中设定波长的光经过第二滤色镜122照射在第二感光元件123上，第二感光元件123将窄带光信号转换成窄带光图像信号，设定波长的光即为中心波长为410nm、半峰波宽为15nm的蓝光，中心波长540nm、半峰波宽10nm的绿光，中心波长590nm、半峰波长20nm的红光。
一种实施例中，驱动模块460包括一个输入端和两个输出端，输入端与控制模块450连接，用于接收控制模块450发出的指令和参数，驱动模块460的第一输出端通过第二线缆222与第一感光元件113连接，驱动模块460的第二输出端通过第四线缆224与第二感光元件123连接。驱动模块460用于将控制模块450输出的传感器配置信息输入到第一感光元件113和第二感光元件123中，使第一感光元件113和第二感光元件123能够有效的工作。
一种实施例中，监视器500与图像处理模块420连接，图像处理模块420将生成的3D图像输出到显示器500进行显示。
请参考图4，作为另一种实施例，本申请还提供一种AI辅助检测的3D内窥镜的成像方法，该成像方法应用于上述实施例中的AI辅助检测的3D内窥镜系统，在执行该方法之前，需要对第一摄像单元110和第二摄像单元120进行校正，使得第一摄像单元110和第二摄像单元120的成像在同一水平位置，即第一摄像单元110和第二摄像单元120的y坐标一致。该方法具体包括以下步骤。
步骤S10：获取白光图像和窄带光图像，以将白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像。
请参考图5，一种实施例中，在执行步骤S10获取白光图像和窄带光图像，以将白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像时，还执行如下步骤。
步骤S11：获取白光图像和窄带光图像。
步骤S12：经过白平衡和色彩校正后，使用插值算法将白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像。
一种实施例中，执行步骤S12也即对白光图像和窄带光图像分别去马赛克，其具体为：对白光图像和窄带光图像经过白平衡和色彩矫正后，使用插值算法将白光图像和窄带光图像的Bayer格式图像对应转换为白光图像和窄带光图像的RGB彩色图像，白光图像和窄带光图像的RGB彩色图像即对应为白光彩色图像和窄带光彩色图像。
步骤S20：计算白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图。
请参考图6，一种实施例中，在执行步骤S20计算白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图时，还执行如下步骤。
步骤S21：获取白光彩色图像对应的灰度图像为白光灰度图像。
一种实施例中，将白光彩色图像转换为灰度图像的方法很多，例如：获取R、G、B三通道取平均值或者采用ITU-RBT.709中规定的编码方式，以完成将白光彩色图像转换为白光灰度图像。
步骤S22：获取窄带光彩色图像对应的灰度图像为窄带光灰度图像。
一种实施例中，由于窄宽带信号比较微弱，因此对窄带光彩色图像的窄带R通道、窄带G通道和窄带B通道取最大值或是累加求和，以确定窄带光灰度图像。
步骤S23：分别对白光灰度图像和窄带光灰度图像进行归一化。
一种实施例中，对白光灰度图像和窄带光灰度图像进行归一化可以采用如下两种方式中的任意一种。
方式一：
；
其中，表示白光灰度图像或窄带光灰度图像的像素值，/>表示白光灰度图像或窄带光灰度图像的像素坐标，/>表示白光灰度图像或窄带光灰度图像的最小像素值，/>表示白光灰度图像或窄带光灰度图像的最大像素值，表示归一化后的白光灰度图像或窄带光灰度图像的像素值。
方式二：
；
其中，表示白光灰度图像或窄带光灰度图像的像素值，/>表示白光灰度图像或窄带光灰度图像的最大像素值，/>表示归一化后的白光灰度图像或窄带光灰度图像的像素值。
步骤S24：计算归一化后的白光灰度图像和窄带光灰度图像，以确定立体视差图。
一种实施例中，使用双目立体匹配算法计算白光灰度图像和窄带光灰度图像的立体视差图，其中，在计算之前，双摄像机装置需要先进行双目矫正，具体为：对于被摄物体，使用矫正后的摄像装置拍摄的第一图像和第二图像具有相同的水平位置，即y坐标值一样，从而使得在进行双目立体匹配时，只进行横向搜索获取横向视差。
在进行双目立体匹配算法时，包括如下两种方式：
方式一：简单快匹配算法。
对于白光灰度图像中的一个像素坐标为Xi，取其相邻的3×3或者5×5区域，并记为Yi。在窄带光灰度图像上，从坐标Xi开始，向右搜索与Yi最相似的灰度块进行匹配，并记载下匹配块在窄带光灰度图像上的坐标Xm，dxi=Xm-Xi即为白光灰度图像中的像素坐标Xi对应的视差。
方式二：SGM（Semi-Global Matching，双目稠密匹配算法）
尽管方式一种的算法简单且运行速度快，但是会产生比较多的噪音，视差计算不准确，因此在实际运算中通常可以采用SGM算法。
步骤S30：响应于用户选择的观察模式，当用户选择的是白光观察模式时，进行3D白光图像的合成；当用户选择的是窄带光观察模式时，利用立体视差图将白光彩色图像映射到窄带光彩色图像对应的相机坐标下得到重建的白光彩色图像，进行AI辅助判断的选择。
一种实施例中，观察模式包括白光观察模式和窄带光观察模式，根据用户设定观察模型进行后续的处理。
请参考图7，一种实施例中，当用户选择的是白光观察模式时，还执行如下步骤。
步骤S31：利用立体视差图将白光彩色图像映射到窄带光彩色图像对应的相机坐标系下得到重建的白光彩色图像。
步骤S32：根据白光彩色图像和重建的白光彩色图像的景深进行白光彩色图像和重建的白光彩色图像的合成，以合成3D白光图像。
一种实施例中，在白光观察模式下，白光彩色图像和重建的白光彩色图像存在视差，根据预设的景深对白光彩色图像和重建的白光彩色图像进行合成，以生成3D白光图像。
步骤S40：当进行AI辅助判断时，对重建的白光彩色图像和窄带光彩色图像进行融合，以生成融合图像，利用预存储的AI模型对融合图像进行辅助病变检测，以输出病变标记图像。
请参考图8，一种实施例中，在执行步骤S40当进行AI辅助判断时，对重建的白光彩色图像和窄带光彩色图像进行融合，以生成融合图像，利用预存储的AI模型对融合图像进行辅助病变检测，以输出病变标记图像时，还执行如下步骤。
步骤S41：利用立体视差图将白光灰度图像映射到窄带光彩色图像对应的坐标，以完成白光灰度图像的坐标对齐。
一种实施例中，根据立体视差图计算出的白光彩色图像和窄带光彩色图像的视差，将白光彩色图像中每个像素坐标下的图像信息映射到对应像素坐标的窄带光彩色图像，从而完成白光灰度图像的坐标对齐。
步骤S42：将坐标对齐后的白光灰度图像叠加到窄带光彩色图像的设定通道，以得到融合图像。
一种实施例中，白色光有利于观察目标区域的整体轮廓信息，而窄带光更有利于观察目标区域的纹理细节信息，因此使用对齐的白光灰度图像替换窄带彩色图像中的R通道。
步骤S43：对融合图像的三个通道分别进行归一化。
一种实施例中，融合图像的三个通道包括：白光灰度图像+窄带红光单色图像、窄带绿光单色图像和窄带蓝光单色图像。由于窄带信号比较弱，并且窄带滤镜的波长差异较大，因此形成的窄带单色图像差异也比较大，所以需要对融合图像的三个通道分别进行归一化，归一化采用步骤S23中的任意一种。
步骤S44：调整归一化后的融合图像的尺寸以达到设定固定尺寸。
一种实施例中，保持融合图像的宽高比，调整图像尺寸，并将调整尺寸后的图像填充到固定尺寸。
步骤S45：使用预存储的AI模型对调整尺寸后的融合图像进行辅助病变检测，以输出病变标记图像。
一种实施例中，为检测和分割病变区域，AI模型可以使用如mask-Rcnn，Yolov5和yolact等模型，这些模型无论是在精度上还是速度上都达到了很高的精度，并且在很多行业得到应用，在此不再赘述。
虽然mask-Rcnn，Yolov5和yolact等模型在速度和精度上都能达到很高的性能，但是这些模型大多使用开源的数据集进行训练学习，为了实现病变区域检测，需要使用病变图像训练病变检测模型，也即利用病变标记图像对AI模型进行训练，以提高AI模型的精度，请参考图9，具体包括如下步骤。
步骤S45a：获取若干组白光彩色图像和窄带光彩色图像，以构建病变检测数据集。
一种实施例中，使用AI辅助检测的3D内窥镜系统采集病变组织器官的图像，以获取若干组白光彩色图像和窄带光彩色图像，将这若干组白光彩色图像和窄带光彩色图像构建病变检测数据集。
步骤S45b：利用融合图像构建训练图像集。
步骤S45c：利用病变标记图像构建训练标注集。
一种实施例中，根据每组图像对应的病变标记图像中标记的病变区域构建训练标注集，其中，对病变区域的标记包括病变区域矩形框和病变区域掩模。
在数据标注过程中，本申请不仅使用掩模对病变区域进行标记，还使用了检测框将病变区域框出来，通过检测框对病变区域进行弱监督，从而提高模型对病变区域的检测精度。
步骤S45d：根据训练图像集和训练标注集构建模型样本数据集。
步骤S45e：利用样本数据集对AI模型进行训练，利用病变检测数据集对训练后的AI模型进行测试，当AI模型达到设定精度时，完成AI模型训练。
一种实施例中，由于样本数据集的采集成本高，数据量有限，在学习过程中使用多种数据增强技术，如图像反转、随机添加噪声，或者使用对抗网络生成样本图像。检测框的作用主要是为了对病变区域分割进行监督，因此在训练过程中降低检测框回归的损失比重，增大分割损失的比重，从而提高AI模型的分割精度。AI模型训练一定批次后在检测数据集上验证模型的精度，判断AI模型的精度是否满足需求，若满足需求，输出AI模型，否则继续训练AI模型。
本申请实施例中，先基于内窥镜采集得到的大量带有病变的图像构建样本数据集，并对样本数据集中的每一幅图像的病变区域通过cvat进行标注。其中，病变区域标记为1，背景区域标记为0，并保存为PNG标签图像用于监督训练。请参考图10为病变标记图像的示意图。
步骤S50：根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像。
一种实施例中，在得到白光彩色图像，窄带光彩色图像和病变标记图像后，根据用户的选择指令，将根据指令合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像。
请参考图11，一种实施例中，在执行步骤S50根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像时，还执行一下步骤。
步骤S51：获取图像组合。
一种实施例中，根据输入图像包括白光彩色图像、窄带光彩色图像和病变标记图像，因此能够获取到的图像组合包括：白光彩色图像、白光彩色图像+病变标记图像、窄带光彩色图像、窄带光彩色图像+病变标记图像。
步骤S52：根据输入图像计算输出相应的3D图像。
一种实施例中，当输入图像为白光彩色图像+病变标记图像时，由于病变检测结果是基于窄带光彩色的检测结果，需要根据立体视差图将病变标记图像中的病变检测框和病变掩模映射到白光彩色图像，根据映射结果对白光彩色图像中的病变区域添加病变检测框，并对病变区域进行伪彩色显示，以生成第一白光图像。类似的，再根据立体视差图将第一白光彩色图像映射到窄带光彩色图像，得到另一幅带有病变检测框和伪色彩显示病变区域的第二白光图像。根据第一白光图像和第二白光图像的景深进行第一白光图像和第二白光图像的合成，以输出3D白光病变标记图像。
一种实施例中，当输入图像为窄带光彩色图像时，根据立体视差图将窄带光彩色图像映射到白光彩色图像得到重建的窄带光彩色图像，根据窄带光彩色图像和重建的窄带光彩色图像的景深进行窄带光彩色图像和重建的窄带光彩色图像的合成，以输出3D窄带光图像。
一种实施例中，当输入图像为窄带光彩色图像+病变标记图像时，根据病变检测框和病变区域掩模，根据立体视差图将病变标记图中的病变监测框和病变掩模映射到窄带光彩色图像，以生成带有病变检测框和伪色彩显示病变区域的第一窄带光图像。类似的，再根据立体视差图将第一窄带光图像映射到白光彩色图像，以得到第二窄带光图像。根据第一窄带光图像和第二窄带光图像的景深进行第一窄带光图像和第二窄带光图像的合成，以输出3D窄带光病变标记图像。
步骤S53：根据输出的3D图像进行显示。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (7)

1.一种AI辅助检测的3D内窥镜系统，其特征在于，包括：
光源，用于输出白色光线并射向观察区域；
摄像装置，所述摄像装置包括第一摄像单元和第二摄像单元，所述第一摄像单元获取白色光线，以生成白光图像信号；第二摄像单元获取白色光线中设定波长的光，以生成窄带光图像信号；
处理器，获取所述白光图像信号和窄带光图像信号，以进行病变检测，输出3D图像；
所述处理器获取所述白光图像信号和窄带光图像信号，进行病变检测，输出3D图像，包括：
处理器获取所述白光图像信号和窄带光图像信号，并将所述白光图像信号和窄带光图像信号对应转换为白光图像和窄带光图像；
处理器对所述白光图像和窄带光图像进行处理，并利用AI检测对处理后的白光图像和窄带光图像进行病变检测，合成3D图像；
所述处理器对所述白光图像和窄带光图像进行处理，并利用AI检测对处理后的白光图像和窄带光图像进行病变检测，合成3D图像，包括：
获取白光图像和窄带光图像，以将所述白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像；
计算所述白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图；
响应于用户选择的观察模式，当用户选择的是白光观察模式时，进行3D白光图像的合成；当用户选择的是窄带光观察模式时，利用所述立体视差图将所述白光彩色图像映射到所述窄带光彩色图像对应的相机坐标下得到重建的白光彩色图像，进行AI辅助判断的选择；
当进行AI辅助判断时，对所述重建的白光彩色图像和窄带光彩色图像进行融合，以生成融合图像，利用预存储的AI模型对所述融合图像进行辅助病变检测，以输出病变标记图像；
根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像；
所述根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像，包括：
当输入图像为白光彩色图像和病变标记图像时，根据所述立体视差图将病变标记图像映射到白光彩色图像，以确定第一白光图像；根据所述立体视差图将第一白光彩色图像映射到窄带光彩色，以确定第二白光图像；根据所述第一白光图像和第二白光图像的景深进行第一白光图像和第二白光图像的合成，以输出3D白光病变标记图像；
当输入图像为窄带光彩色图像时，根据所述立体视差图将所述窄带光彩色图像映射到白光彩色图像得到重建的窄带光彩色图像；根据所述窄带光彩色图像和重建的窄带光彩色图像的景深进行窄带光彩色图像和重建的窄带光彩色图像的合成，以输出3D窄带光图像；
当输入图像为窄带光彩色图像和病变标记图像时，根据所述立体视差图将所述病变标记图像映射到窄带光彩色图像，以得到第一窄带光图像；根据所述立体视差图将所述第一窄带光图像映射到白光彩色图像，以得到第二窄带光图像；根据所述第一窄带光图像和第二窄带光图像的景深进行第一窄带光图像和第二窄带光图像的合成，以输出3D窄带光病变标记图像。
2.如权利要求1所述的AI辅助检测的3D内窥镜系统，其特征在于，所述第一摄像单元包括第一光学系统、第一滤色镜和第一感光元件；所述第二摄像单元包括第二光学系统、第二滤色镜和第二感光元件；
所述第一光学系统用于对所述摄像装置中的第一摄像机进行调焦；所述白色光线照射到人体体腔内的反射光经过第一滤色镜照射在第一感光元件上，所述第一感光元件将光信号转换为所述白光图像信号；
所述第二光学系统用于对所述摄像装置中的第二摄像机进行调焦；所述白色光线照射到人体体腔内的反射光中的设定波长的光照射到第二感光元件上，所述设定波长的光包括设定波长的蓝光、设定波长的绿光和设定波长的红光；所述第二感光元件将光信号转换为所述窄带光图像信号。
3.如权利要求1所述的AI辅助检测的3D内窥镜系统，其特征在于，所述内窥镜系统还包括：
镜管，所述镜管包括镜管外壳和信号线缆，所述信号线缆设置在所述镜管外壳内部；所述镜管外壳的第一端安装所述摄像装置；所述信号线缆电连接所述摄像装置，以传输所述白光图像信号和窄带光图像信号；
手柄，所述镜管外壳的第二端连接所述手柄，以利用手柄操作所述镜管，将所述摄像装置插入人体体腔；
监视器，所述监视器连接于所述处理器，以对所述3D图像进行显示。
4.一种AI辅助检测的3D内窥镜的成像方法，其特征在于，所述成像方法应用于所述AI辅助检测的3D内窥镜系统，包括：
获取白光图像和窄带光图像，以将所述白光图像和窄带光图像对应转换为白光彩色图像和窄带光彩色图像；
计算所述白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图；
响应于用户选择的观察模式，当用户选择的是白光观察模式时，进行3D白光图像的合成；当用户选择的是窄带光观察模式时，利用所述立体视差图将所述白光彩色图像映射到所述窄带光彩色图像对应的相机坐标下得到重建的白光彩色图像，进行AI辅助判断的选择；
当进行AI辅助判断时，对所述重建的白光彩色图像和窄带光彩色图像进行融合，以生成融合图像，利用预存储的AI模型对所述融合图像进行辅助病变检测，以输出病变标记图像；
根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像；
所述根据白光彩色图像、窄带光彩色图像和病变标记图像对应合成3D窄带光图像、3D白光病变标记图像和3D窄带光病变标记图像，包括：
当输入图像为白光彩色图像和病变标记图像时，根据所述立体视差图将病变标记图像映射到白光彩色图像，以确定第一白光图像；根据所述立体视差图将第一白光彩色图像映射到窄带光彩色，以确定第二白光图像；根据所述第一白光图像和第二白光图像的景深进行第一白光图像和第二白光图像的合成，以输出3D白光病变标记图像；
当输入图像为窄带光彩色图像时，根据所述立体视差图将所述窄带光彩色图像映射到白光彩色图像得到重建的窄带光彩色图像；根据所述窄带光彩色图像和重建的窄带光彩色图像的景深进行窄带光彩色图像和重建的窄带光彩色图像的合成，以输出3D窄带光图像；
当输入图像为窄带光彩色图像和病变标记图像时，根据所述立体视差图将所述病变标记图像映射到窄带光彩色图像，以得到第一窄带光图像；根据所述立体视差图将所述第一窄带光图像映射到白光彩色图像，以得到第二窄带光图像；根据所述第一窄带光图像和第二窄带光图像的景深进行第一窄带光图像和第二窄带光图像的合成，以输出3D窄带光病变标记图像。
5.如权利要求4所述的AI辅助检测的3D内窥镜的成像方法，其特征在于，所述计算所述白光彩色图像和窄带光彩色图像的立体视差，以确定立体视差图，包括：
获取所述白光彩色图像对应的灰度图像为白光灰度图像；
获取所述窄带光彩色图像对应的灰度图像为窄带光灰度图像；
分别对所述白光灰度图像和窄带光灰度图像进行归一化；
计算归一化后的白光灰度图像和窄带光灰度图像，以确定所述立体视差图。
6.如权利要求5所述的AI辅助检测的3D内窥镜的成像方法，其特征在于，所述当用户选择的是白光观察模式时，进行3D白光图像的合成，包括：
当用户选择的是白光观察模式时，利用所述立体视差图将所述白光彩色图像映射到所述窄带光彩色图像对应的相机坐标系下得到重建的白光彩色图像；
根据所述白光彩色图像和重建的白光彩色图像的景深进行白光彩色图像和重建的白光彩色图像的合成，以合成3D白光图像。
7.如权利要求6中所述的AI辅助检测的3D内窥镜的成像方法，其特征在于，所述利用预存储的AI模型对所述融合图像进行辅助病变检测，以输出病变标记图像，包括：
利用所述立体视差图将所述白光灰度图像映射到所述窄带光彩色图像对应的坐标，以完成白光灰度图像的坐标对齐；
将坐标对齐后的白光灰度图像叠加到窄带光彩色图像的设定通道，以得到融合图像；所述融合图像包括三个通道，所述三个通道分别为白光灰度图像+窄带红光单色图像、窄带绿光单色图像和窄带蓝光单色图像，对所述三个通道分别进行归一化；
调整归一化后的融合图像的尺寸以达到设定固定尺寸；
使用预存储的AI模型对调整尺寸后的融合图像进行辅助病变检测，以输出病变标记图像。
CN202311713164.4A 2023-12-14 2023-12-14 一种ai辅助检测的3d内窥镜系统及成像方法 Active CN117398042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311713164.4A CN117398042B (zh) 2023-12-14 2023-12-14 一种ai辅助检测的3d内窥镜系统及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311713164.4A CN117398042B (zh) 2023-12-14 2023-12-14 一种ai辅助检测的3d内窥镜系统及成像方法

Publications (2)

Publication Number Publication Date
CN117398042A CN117398042A (zh) 2024-01-16
CN117398042B true CN117398042B (zh) 2024-03-19

Family

ID=89492846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311713164.4A Active CN117398042B (zh) 2023-12-14 2023-12-14 一种ai辅助检测的3d内窥镜系统及成像方法

Country Status (1)

Country Link
CN (1) CN117398042B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107306491A (zh) * 2015-01-23 2017-10-31 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN110811498A (zh) * 2019-12-19 2020-02-21 中国科学院长春光学精密机械与物理研究所 可见光和近红外荧光3d融合图像内窥镜系统
CN111803013A (zh) * 2020-07-21 2020-10-23 深圳市博盛医疗科技有限公司 一种内窥镜成像方法和内窥镜成像系统
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
CN112651400A (zh) * 2020-12-31 2021-04-13 重庆西山科技股份有限公司 一种立体内窥镜辅助检测方法、系统、装置及存储介质
CN113116302A (zh) * 2021-04-02 2021-07-16 中国科学院苏州生物医学工程技术研究所 用于癌症早期筛查的内窥拉曼光谱检测系统
CN115018767A (zh) * 2022-05-03 2022-09-06 复旦大学 基于本征表示学习的跨模态内镜图像转换及病灶分割方法
CN115049666A (zh) * 2022-08-16 2022-09-13 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN115243596A (zh) * 2020-03-06 2022-10-25 奥林巴斯株式会社 医疗用观察系统以及医疗用摄像装置
CN116030303A (zh) * 2023-01-09 2023-04-28 深圳市大数据研究院 一种基于半监督孪生网络的视频结直肠病变分型方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109841272A (zh) * 2019-02-18 2019-06-04 广州明医医疗科技有限公司 实时图像识别显示设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107306491A (zh) * 2015-01-23 2017-10-31 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN110811498A (zh) * 2019-12-19 2020-02-21 中国科学院长春光学精密机械与物理研究所 可见光和近红外荧光3d融合图像内窥镜系统
CN115243596A (zh) * 2020-03-06 2022-10-25 奥林巴斯株式会社 医疗用观察系统以及医疗用摄像装置
CN111803013A (zh) * 2020-07-21 2020-10-23 深圳市博盛医疗科技有限公司 一种内窥镜成像方法和内窥镜成像系统
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
CN112651400A (zh) * 2020-12-31 2021-04-13 重庆西山科技股份有限公司 一种立体内窥镜辅助检测方法、系统、装置及存储介质
CN113116302A (zh) * 2021-04-02 2021-07-16 中国科学院苏州生物医学工程技术研究所 用于癌症早期筛查的内窥拉曼光谱检测系统
CN115018767A (zh) * 2022-05-03 2022-09-06 复旦大学 基于本征表示学习的跨模态内镜图像转换及病灶分割方法
CN115049666A (zh) * 2022-08-16 2022-09-13 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN116030303A (zh) * 2023-01-09 2023-04-28 深圳市大数据研究院 一种基于半监督孪生网络的视频结直肠病变分型方法

Also Published As

Publication number Publication date
CN117398042A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
Clancy et al. Surgical spectral imaging
CN105050473B (zh) 图像处理装置、内窥镜装置以及图像处理方法
US10198872B2 (en) 3D reconstruction and registration of endoscopic data
CN105072968A (zh) 图像处理装置、内窥镜装置、程序和图像处理方法
WO2021054360A1 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
CN104883946A (zh) 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
CN104797186B (zh) 内窥镜系统
US8767057B2 (en) Image processing device, image processing method, and program
WO2014119047A1 (ja) 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
CN103356155B (zh) 虚拟内窥镜辅助的腔体病灶检查系统
US9723971B2 (en) Image processing apparatus, method, and program
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
EP3053102B1 (en) System and method for size estimation of in-vivo objects
CN111803013A (zh) 一种内窥镜成像方法和内窥镜成像系统
WO2017057330A1 (ja) 内視鏡システム及び画像処理方法
JP7304951B2 (ja) コンピュータプログラム、内視鏡用プロセッサの作動方法及び内視鏡用プロセッサ
US20150257628A1 (en) Image processing device, information storage device, and image processing method
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN106231986A (zh) 图像处理装置
KR101595962B1 (ko) 대장내시경 수술 시뮬레이션시스템
CN115708658A (zh) 全景内窥镜及其图像处理方法
US20170095136A1 (en) Medical apparatus
CN105007802A (zh) 图像处理装置、内窥镜装置、图像处理方法和图像处理程序
CN117064311B (zh) 一种内窥镜图像的处理方法及内窥镜成像系统
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant