CN111968105A - 一种医学荧光成像中的显著性区域检测方法 - Google Patents

一种医学荧光成像中的显著性区域检测方法 Download PDF

Info

Publication number
CN111968105A
CN111968105A CN202010885098.9A CN202010885098A CN111968105A CN 111968105 A CN111968105 A CN 111968105A CN 202010885098 A CN202010885098 A CN 202010885098A CN 111968105 A CN111968105 A CN 111968105A
Authority
CN
China
Prior art keywords
image
significance
fluorescence
saliency
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010885098.9A
Other languages
English (en)
Inventor
蔡惠明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202010885098.9A priority Critical patent/CN111968105A/zh
Publication of CN111968105A publication Critical patent/CN111968105A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了医学荧光成像的一种医学荧光成像中的显著性区域检测方法。本发明的一种医学荧光成像中的显著性区域检测方法，包括如下步骤：S1、采集荧光成像系统中的荧光区图像和可见光图像；S2、将荧光区图像通过荧光性检测算法进行荧光图像显著性检测，获得显著性图像A，本发明通过将荧光成像系统获取的荧光区图像和可见光区图像根据显著性检测算法分别得到荧光区的显著性图像和可见光区的显著性图像，并且根据图像融合技术，将荧光区的显著性图像和可见光区的显著性图像进行融合后利用Alpha混合进行输出显示，可实现对输出图像显著性区域被准确显示，从而可以辅助医生提升病灶判断能力。

Description

一种医学荧光成像中的显著性区域检测方法
技术领域
本发明涉及医学荧光成像，具体为一种医学荧光成像中的显著性区域检测方法。
背景技术
内窥镜是一种新型的医学成像方法，其能够伸入人体内部腔体实现，微创或者无创的组织观察。其中ICG(吲哚菁绿)的荧光内窥镜系统能够将ICG造影剂提前注射至观察区域，可以实现肿瘤示踪淋巴或血液造影。其优异的荧光能力大大提高了临床诊断和治疗的效果。一般荧光内窥镜其输出两种图像，一种为815nm左右的荧光区图像，一种为400-700nm范围内的可见光区域图像。
现有的荧光成像在进行检测过程中存在以下技术问题：
1、可见光区域图像解剖场景复杂，内部各器官色彩接近，导致目标物极易丢失或被复杂场景淹没；
2、当病灶灰度特征不明显及场景复杂时，医生无法准确找到关键的解剖区域导致误判情况发生。
发明内容
本发明的目的在于提供一种医学荧光成像中的显著性区域检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：包括如下步骤：
S1、采集荧光成像系统中的荧光区图像和可见光图像；
S2、将荧光区图像通过荧光性检测算法进行荧光图像显著性检测，获得显著性图像A；将可见光图像通过可见光显著性算法进行可见光图像显著性检测，获得显著性图像B；
S3、将显著性图像A与显著性图像B进行图像融合后输出显示。
进一步的，所述S2中荧光图像显著性检测包括如下步骤：
建立多级拉布拉斯图像金字塔，并对插值放大至原始荧光图像尺寸，将插值放大后的多级拉布拉斯金字塔进行叠加归一化，获得显著性图像A。
进一步的，所述的多级拉布拉斯金字塔图像为五级金字塔图像。
进一步的，所述S2中的可见光图像显著性检测方法为基于FCN模型的显著性检测方法。
进一步的，所述S3中融合后输出显示包括如下步骤：
将融合后的图像转化为伪彩色图，将伪彩色图与原可见光图像进行Alpha混合，并通过显示器输出。
进一步的，所述S3中图像融合的方法包括有泊松编辑算法。
与现有技术相比，本发明的有益效果是：
本发明通过将荧光成像系统获取的荧光区图像和可见光区图像根据显著性检测算法分别得到荧光区的显著性图像和可见光区的显著性图像，并且根据图像融合技术，将荧光区的显著性图像和可见光区的显著性图像进行融合后利用Alpha混合进行输出显示，可实现对输出图像显著性区域被准确显示，从而可以辅助医生提升病灶判断能力；
本发明通过对荧光区图像的显著性检测，可以提高检测速度以及针对荧光区图像检测的准确性；
本发明利用FCN模型显著性检测放大对可见光图像的检测，可以提高针对可见光区手术区域检测的准确性。
附图说明
图1为本发明检测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请一并参阅图1，本发明提供的一种医学荧光成像中的显著性区域检测方法，包括如下步骤：
S1、采集荧光成像系统中的荧光区图像和可见光图像；
S2、将荧光区图像通过荧光性检测算法进行荧光图像显著性检测，获得显著性图像A；将可见光图像通过可见光显著性算法进行可见光图像显著性检测，获得显著性图像B；
S3、将显著性图像A与显著性图像B进行图像融合后输出显示。
需要说明的是，在利用本发明的医学荧光成像中的显著性区域检测方法进行荧光成像图像检测过程中，先根据建立的荧光成像系统对荧光区域和可见光区域进行标注处理，进而获得荧光区图像和可见光区图像；再将荧光区图像和可见光区图像分别进行不同方式的显著性算法进行各图像的显著性检测处理，同时获得来自荧光区的显著性图像A和来自可见光区的显著性图像B，再将获得的显著性图像A和显著性图像B进行融合处理后输出显示结果，通过此种方式，可实现对色彩接近的各器官进行快速查找，从而便于医生根据病变位置快速治疗，提高了医疗检测水平。
其中，所述S2中荧光图像显著性检测包括如下步骤：
建立多级拉布拉斯图像金字塔，并对插值放大至原始荧光图像尺寸，将插值放大后的多级拉布拉斯金字塔进行叠加归一化，获得显著性图像A；需要解释的是，在本实施例中的拉普拉斯金字塔分解可以得张两组待融合图像的金字塔，对金子塔的每一层的融合，且可以采用的融合策略为取两层中较大值、取两层的平均值、取其中一侧、取两层之和、通过局部特点计算权重加权平均以及自定义融合等，顶层的融合规则决定了图像最后的整体色调，下层的融合规则决定了图像局部细节，并且要得到较好的效果，都采取通过局部特点计算权重加权平均或自定义融合规则，以充分提取不同图像的信息，提高对荧光区图像检测的准确性。
优选的，所述的多级拉布拉斯金字塔图像为五级金字塔图像，通过利用多级的拉布拉斯金字塔，可以有效的提高检测效率，增加对荧光区图像检测的准确性。
进一步的，所述S2中的可见光图像显著性检测方法为基于FCN模型的显著性检测方法；通过FCN模型的显著性检测方法，可以提高针对可见光区域手术检测过程中的准确性。
接着，所述S3中融合后输出显示包括如下步骤：
将融合后的图像转化为伪彩色图，将伪彩色图与原可见光图像进行Alpha混合，并通过显示器输出，通过利用将伪彩色图与原可见光图像进行Alpha混合显示，可以很好的实现输出图像显著性区域被准确指出，辅助医生提升病灶判断能力。
然后，所述S3中图像融合的方法包括有泊松编辑算法；通过优选为泊松编辑算法实现对显著性图像A和显著性图像B进行融合，可以便于实现将显著性图像A和显著性图像B进行无痕融合，能得到非常好的融合效果，也能够对图像进行很自然的编辑。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种医学荧光成像中的显著性区域检测方法，其特征在于，包括如下步骤：
S1、采集荧光成像系统中的荧光区图像和可见光图像；
S2、将荧光区图像通过荧光性检测算法进行荧光图像显著性检测，获得显著性图像A；将可见光图像通过可见光显著性算法进行可见光图像显著性检测，获得显著性图像B；
S3、将显著性图像A与显著性图像B进行图像融合后输出显示。
2.根据权利要求1所述的一种医学荧光成像中的显著性区域检测方法，其特征在于，所述S2中荧光图像显著性检测包括如下步骤：
建立多级拉布拉斯图像金字塔，并对插值放大至原始荧光图像尺寸，将插值放大后的多级拉布拉斯金字塔进行叠加归一化，获得显著性图像A。
3.根据权利要求2所述的一种医学荧光成像中的显著性区域检测方法，其特征在于，所述的多级拉布拉斯金字塔图像为五级金字塔图像。
4.根据权利要求1所述的一种医学荧光成像中的显著性区域检测方法，其特征在于，所述S2中的可见光图像显著性检测方法为基于FCN模型的显著性检测方法。
5.根据权利要求1所述的一种医学荧光成像中的显著性区域检测方法，其特征在于，所述S3中融合后输出显示包括如下步骤：
将融合后的图像转化为伪彩色图，将伪彩色图与原可见光图像进行Alpha混合，并通过显示器输出。
6.根据权利要求1所述的一种医学荧光成像中的显著性区域检测方法，其特征在于，所述S3中图像融合的方法包括有泊松编辑算法。
CN202010885098.9A 2020-08-28 2020-08-28 一种医学荧光成像中的显著性区域检测方法 Withdrawn CN111968105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010885098.9A CN111968105A (zh) 2020-08-28 2020-08-28 一种医学荧光成像中的显著性区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010885098.9A CN111968105A (zh) 2020-08-28 2020-08-28 一种医学荧光成像中的显著性区域检测方法

Publications (1)

Publication Number Publication Date
CN111968105A true CN111968105A (zh) 2020-11-20

Family

ID=73399811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010885098.9A Withdrawn CN111968105A (zh) 2020-08-28 2020-08-28 一种医学荧光成像中的显著性区域检测方法

Country Status (1)

Country Link
CN (1) CN111968105A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113693724A (zh) * 2021-08-19 2021-11-26 南京诺源医疗器械有限公司 适用于荧光影像导航手术的照射方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184557A (zh) * 2011-06-17 2011-09-14 电子科技大学 一种复杂场景的显著区域检测方法
CN102214362A (zh) * 2011-04-27 2011-10-12 天津大学 基于块的快速图像混合方法
CN102426694A (zh) * 2011-08-29 2012-04-25 广州纳斯威尔信息技术有限公司 一种基于Alpha通道位图技术的图像融合方法
US20180042481A1 (en) * 2014-10-22 2018-02-15 Institute Of Automation, Chinese Academy Of Sciences Handheld molecular imaging navigation system
CN108427922A (zh) * 2018-03-06 2018-08-21 深圳市创艺工业技术有限公司 一种高效的室内环境调节系统
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像系统、方法及介质
CN110460832A (zh) * 2019-07-31 2019-11-15 南方医科大学南方医院 双视点视频的处理方法、系统和存储介质
CN110598609A (zh) * 2019-09-02 2019-12-20 北京航空航天大学 一种基于显著性引导的弱监督目标检测方法
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214362A (zh) * 2011-04-27 2011-10-12 天津大学 基于块的快速图像混合方法
CN102184557A (zh) * 2011-06-17 2011-09-14 电子科技大学 一种复杂场景的显著区域检测方法
CN102426694A (zh) * 2011-08-29 2012-04-25 广州纳斯威尔信息技术有限公司 一种基于Alpha通道位图技术的图像融合方法
US20180042481A1 (en) * 2014-10-22 2018-02-15 Institute Of Automation, Chinese Academy Of Sciences Handheld molecular imaging navigation system
CN108427922A (zh) * 2018-03-06 2018-08-21 深圳市创艺工业技术有限公司 一种高效的室内环境调节系统
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像系统、方法及介质
CN110460832A (zh) * 2019-07-31 2019-11-15 南方医科大学南方医院 双视点视频的处理方法、系统和存储介质
CN110598609A (zh) * 2019-09-02 2019-12-20 北京航空航天大学 一种基于显著性引导的弱监督目标检测方法
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙强: "基于谱冗余理论的图像融合质量评估模型的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
颜奇, 冯宝红，张小国: "一种新的基于机器视觉的无人机影像自动拼接模型", 《信息技术与信息化》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113693724A (zh) * 2021-08-19 2021-11-26 南京诺源医疗器械有限公司 适用于荧光影像导航手术的照射方法、装置及存储介质

Similar Documents

Publication Publication Date Title
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
EP1568307B1 (en) Image processing device and image processing method
CN109493325B (zh) 基于ct影像的肿瘤异质性分析系统
CN104644202B (zh) 医用图像数据处理装置、医用图像数据处理方法以及医用图像数据处理程序
CN102085100B (zh) 医用图像处理装置以及医用图像处理方法
JP6831463B2 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
CN112037216B (zh) 一种医学荧光成像系统图像融合方法
JP2002165757A (ja) 診断支援装置
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
JP2011135983A (ja) 画像処理装置、電子機器、プログラム及び画像処理方法
CN103975364B (zh) 针对宫颈的光学检查的图像选择
WO2007119295A1 (ja) 医療用画像処理装置及び医療用画像処理方法
WO2023151280A1 (zh) 双模冠脉血管图像三维融合的方法和融合系统
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
JP2012005512A (ja) 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法
US20040057607A1 (en) Display of image data information
CN113420826A (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN114445316A (zh) 一种内窥镜荧光与可见光图像融合方法
CN111968105A (zh) 一种医学荧光成像中的显著性区域检测方法
JP2018128294A (ja) 関心領域追跡装置
CN115564712A (zh) 基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法
JP2010069208A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
Xu et al. Artificial intelligence assisted identification of therapy history from periapical films for dental root canal
CN113171053A (zh) 一种融合近红外成像的内窥镜手术血管增强检测方法
CN115810083A (zh) 胰十二指肠动脉弓的ct影像处理方法及其应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201120