CN117398043A - 一种3d荧光内窥镜、成像方法、装置及调试方法 - Google Patents
一种3d荧光内窥镜、成像方法、装置及调试方法 Download PDFInfo
- Publication number
- CN117398043A CN117398043A CN202311731133.1A CN202311731133A CN117398043A CN 117398043 A CN117398043 A CN 117398043A CN 202311731133 A CN202311731133 A CN 202311731133A CN 117398043 A CN117398043 A CN 117398043A
- Authority
- CN
- China
- Prior art keywords
- image
- fluorescence
- visible light
- fluorescent
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 238000002073 fluorescence micrograph Methods 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本发明公开了一种3D荧光内窥镜、成像方法、装置及调试方法,属于内窥镜领域,内窥镜包括内窥镜套管、设置在内窥镜套管内的物镜和感光元件,物镜和感光元件之间设置有分光器件,分光器件将穿过物镜的光束分为射至感光元件的左可见光束、左荧光束、右可见光束和右荧光束,分光器件和感光元件之间设置有使左可见光束和左荧光束的光程一致的左调焦镜以及使右可见光束和右荧光束的光程一致的右调焦镜。该内窥镜可使四路光束同时成像于感光元件上,左右图像无时差,可见光图像和荧光图像也无时差,整个内窥镜只用到一个感光元件,可在较小的空间内实现时间、焦面的一致性,有利于实现3D荧光内窥镜的小型化和高灵敏度显示。
Description
技术领域
本发明涉及一种3D荧光内窥镜、成像方法、装置及调试方法,属于内窥镜领域。
背景技术
3D内窥镜成像技术现今在临床手术中应用愈发广泛。相较于传统2D成像,3D内窥镜成像技术通过提供立体图像,强化医生视野上的空间感知,手术视野更清晰、解剖层次更明显,在一定程度上克服了2D内窥镜技术的弊端。基于3D内窥镜成像的三维立体效果,医生学习手术速度更快,学习难度也更低,有利于创新术式推广及大规模应用。
近年来,荧光导航技术是医学影像技术的热点,可为医生在术中实时标记重要解剖结构如淋巴结、肝段、胆管以及肿瘤病灶。
结合3D内窥镜成像技术和荧光导航技术,可为手术操作者提供更加全面、立体的手术影像和目标部位标记信息,可极大地降低生物组织辨识的难度,降低手术操作的门槛,提高手术效率和安全性。
目前3D荧光内窥镜产品主要有两类方案:
一、设置独立的可见光套件和独立的荧光套件,通过不断研发,将各零件小型化,整合到内窥镜中。可见光套件和荧光套件均各自包括物镜、感光元件等零件,同时基于结合3D图像的需要,故可见光套件和荧光套件各自的零件还要分左目光路上的零件和右目光路上的零件。尽管经过长久的小型化,该类方案由于零件众多,导致内窥镜的体积仍然太大,不适用于造口小的微创手术。
二、分时成像方案,可缩小内窥镜的体积。该方案的成像方式例如,第1帧、第3帧、第5帧、第7帧采集可见光图像,第2帧、第4帧、第6帧、第8帧采集荧光图像;最后将实际上不是同一时间采集的图像融合,并同一时间显示。该方案因此可公用感光元件,并且可减少部分透镜的数量,内窥镜的体积较小。但该方案显示帧率低、灵敏度差、画面容易卡顿,实用性不强。
发明内容
为了克服现有技术的不足,本发明提供一种3D荧光内窥镜、成像方法、装置及调试方法,使得内窥镜可以流畅地融合双目图像和荧光图像,并且内窥镜的体积较小。
本发明解决其技术问题所采用的技术方案是:
第一方面,本申请提供一种3D荧光内窥镜,包括内窥镜套管、设置在所述内窥镜套管内的物镜和感光元件,所述物镜分为左物镜和右物镜,所述物镜和所述感光元件之间设置有分光器件,所述分光器件将穿过所述左物镜和穿过所述右物镜的光束分为射至所述感光元件的左可见光束、左荧光束、右可见光束和右荧光束,所述分光器件和所述感光元件之间设置有使所述左可见光束和所述左荧光束的光程一致的左调焦镜以及使所述右可见光束和所述右荧光束的光程一致的右调焦镜。
本申请提供的3D荧光内窥镜可将入射到内窥镜的光分为可见光和荧光,使左可见光束、左荧光束、右可见光束和右荧光束同时成像于感光元件上,左右图像无时差,可见光图像和荧光图像也无时差,整个内窥镜只用到一个感光元件,可在较小的空间内实现时间、焦面的一致性,有利于实现3D荧光内窥镜的小型化和高灵敏度显示。
进一步地,所述分光器件包括二向色镜和反射镜,所述二向色镜允许荧光和可见光中的一者透过形成第一透射光束,并反射另一者形成第一反射光束,所述反射镜将所述第一反射光束继续反射,形成第二反射光束;所述左调焦镜和所述右调焦镜均为凸透镜,位于所述二向色镜和所述感光元件之间,且不与所述反射镜的光路重叠。
如果二向色镜能透过可见光,反射荧光,则第一透射光束为可见光,第一反射光束和第二反射光束均为荧光;如果二向色镜能透过荧光,反射可见光,则第一透射光束为荧光,第一反射光束和第二反射光束均为可见光。第二反射光束所得图像为实物的镜像的镜像,方向与实物一致,便于在成像时进行图像处理操作。
进一步地,所述二向色镜和所述反射镜均与所述内窥镜套管的轴线成45°夹角,有利于使射到感光元件上的光束方向与入射到物镜的光束方向一致,也与内窥镜套管的轴线方向一致,有利于进一步缩小内窥镜套管的管径。
进一步地,所述二向色镜允许荧光通过形成所述左荧光束和所述右荧光束,且反射可见光,所述反射镜将所述二向色镜反射出的可见光再次反射,形成所述左可见光束和所述右可见光束;所述左调焦镜将所述左荧光束的光程调节至与所述左可见光束一致,所述右调焦镜将所述右荧光束的光程调节至与所述右可见光束一致。
为了使荧光束(包括左荧光束和右荧光束)与可见光束的光程一致,需要依靠调焦镜(包括左调焦镜和右调焦镜)调整,经调焦镜调整后的图像会变小,故选用允许荧光通过而反射可见光的二向色镜,在感光元件分辨率有限的情况下,可减少实物图像失真,保留大量实物图像细节。
进一步地,所述荧光为近红外荧光。近红外荧光能够克服传统荧光组织吸收强、散射大、自发荧光存在干扰的问题,在活体成像中可实现更高的组织穿透深度和空间分辨率。
第二方面,本申请提供一种3D荧光内窥镜成像方法,适用于如第一方面所述的3D荧光内窥镜,包括以下步骤:
采集:从所述感光元件获取未融合图像;
裁剪:将所述未融合图像裁剪成左可见光图像、左荧光图像、右可见光图像和右荧光图像;
增采样:对所述左可见光图像和所述左荧光图像中像素较低的一者进行增采样,以使所述左可见光图像和所述左荧光图像的像素一致,得到左图像组;对所述右可见光图像和所述右荧光图像中像素较低的一者进行增采样,以使所述右可见光图像和所述右荧光图像的像素一致,得到右图像组;
融合:对所述左图像组中的所述左荧光图像进行赋色,并与所述左图像组中的所述左可见光图像匹配出荧光标记左图像;对所述右图像组中的所述右荧光图像进行赋色,并与所述右图像组中的所述右可见光图像匹配出荧光标记右图像;
输出:将所述荧光标记左图像和所述荧光标记右图像输出至3D显示器;或者,将所述荧光标记左图像和所述荧光标记右图整合成3D格式再输出至3D显示器。
第一方面的3D荧光内窥镜可在同一感光元件上同时接受到左荧光束、左可见光束、右荧光束、右可见光束的光学信息,本申请的3D荧光内窥镜成像方法可将同一感光元件上的四种图像裁剪、融合,形成可供3D显示器使用的图像信号;其中经过调焦镜调节光程的图像会比直接反射在感光元件上的图像像素更小,经过增采样后,便于后续的图像融合。
进一步地,在所述融合的步骤之前,还包括步骤修正:
以所述左图像组和所述右图像组中像素较低的一组为基准,修正另一组的像素,以使所述左图像组和所述右图像组的像素一致。
由于由一个物镜接收而得,左可见光图像和左荧光图像的视场一致,右可见光图像和右荧光图像的视场一致,而左物镜与右物镜的视场必然不一致,图像大小也可能因为左物镜和右物镜的尺寸误差导致不同,增加修正的步骤有利于左右图像整合成3D图像。
第三方面,本申请提供一种3D荧光内窥镜成像装置,用于与第一方面所述的3D荧光内窥镜中的所述感光元件连接,所述装置包括:
采集模块,用于从所述感光元件获取未融合图像;
裁剪模块,用于将所述未融合图像裁剪成左可见光图像、左荧光图像、右可见光图像和右荧光图像;
增采样模块,用于对所述左可见光图像和所述左荧光图像中像素较低的一者进行增采样,以使所述左可见光图像和所述左荧光图像的像素一致,得到左图像组;对所述右可见光图像和所述右荧光图像中像素较低的一者进行增采样,以使所述右可见光图像和所述右荧光图像的像素一致,得到右图像组;
融合模块,用于对所述左图像组中的所述左荧光图像进行赋色,并与所述左图像组中的所述左可见光图像匹配出荧光标记左图像;对所述右图像组中的所述右荧光图像进行赋色,并与所述右图像组中的所述右可见光图像匹配出荧光标记右图像;
输出模块,用于将所述荧光标记左图像和所述荧光标记右图像输出至3D显示器;或者,将所述荧光标记左图像和所述荧光标记右图整合成3D格式再输出至3D显示器。
进一步地,所述的3D荧光内窥镜成像装置还包括修正模块,用于以所述左图像组和所述右图像组中像素较低的一组为基准,修正另一组的像素,以使所述左图像组和所述右图像组的像素一致。
第四方面,本申请提供一种3D荧光内窥镜调试方法,适用于如第一方面所述的3D荧光内窥镜,包括以下步骤:
将所述物镜和所述感光元件装入所述内窥镜套管内,将所述感光元件连接到显示器;
调节所述感光元件的位置直至在所述显示器上获得一个清晰图像,固定该清晰图像对应的所述物镜,调节另一所述物镜的位置直至在所述显示器上获得两个清晰图像,固定全部所述物镜;
将所述分光器件装入所述内窥镜套管内,调节所述感光元件的位置直至在所述显示器上重新获得两个清晰图像,固定所述感光元件;
将所述左调焦镜和所述右调焦镜装入所述内窥镜套管内,调节所述左调焦镜的位置直至在所述显示器上新增一个清晰图像,固定所述左调焦镜,调节所述右调焦镜的位置直至在所述显示器上新增一个清晰图像,固定所述右调焦镜;
断开所述感光元件与所述显示器的连接,将所述感光元件经如第三方面所述的3D荧光内窥镜成像装置连接至3D显示器。
该调试方法可在第一方面的3D荧光内窥镜安装、维修时确保将各零件固定在合适的位置上,使得左右图像共焦面,荧光图像和可见光图像也共焦面。
本发明的有益效果是:本发明可将入射到内窥镜的光分为可见光和荧光,使左可见光束、左荧光束、右可见光束和右荧光束同时成像于感光元件上,左右图像无时差,可见光图像和荧光图像也无时差,可将同一感光元件上的四种图像裁剪、融合,形成可供3D显示器使用的实时图像信号,整个内窥镜只用到一个感光元件,装配难度得以降低,可在较小的内窥镜套管空间内实现时间、焦面的一致性,有利于实现3D荧光内窥镜的小型化、高帧率显示和高灵敏度显示。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本申请实施例提供的一种3D荧光内窥镜的结构侧视图。
图2是本申请实施例提供的一种3D荧光内窥镜的结构俯视图。
图3是感光元件正面接收到四种图像的示意图。
图4是本申请实施例提供的一种3D荧光内窥镜成像方法的流程图。
图5是本申请实施例提供的一种3D荧光内窥镜成像装置的结构图。
附图标记:1、物镜;11、左物镜;12、右物镜;2、分光器件;21、二向色镜;22、反射镜;3、调焦镜;31、左调焦镜;32、右调焦镜;4、感光元件;41、左荧光图像;42、右荧光图像;43、左可见光图像;44、右可见光图像;5、成像装置;51、采集模块;52、裁剪模块;53、增采样模块;54、融合模块;55、输出模块。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
现有技术中的3D荧光内窥镜产品要么体积大、感光模组多、装调麻烦,要么帧率低、易卡顿、灵敏度差。为此,参照图1和图2,本申请提供一种3D荧光内窥镜,包括内窥镜套管和按光束传递方向依次设置在内窥镜套管内的物镜1、分光器件2、调焦镜3和感光元件4,物镜1分为左物镜11和右物镜12,调焦镜3分为左调焦镜31和右调焦镜32。分光器件2将穿过左物镜11的光束分为左可见光束和左荧光束,并将穿过右物镜12的光束分为右可见光束和右荧光束。左可见光束、左荧光束、右可见光束和右荧光束射向感光元件4。左调焦镜31使左可见光束和左荧光束的光程(起点为物镜,终点为感光元件)一致化,右调焦镜32使右可见光束和右荧光束的光程一致化。
本申请实施例提供的3D荧光内窥镜可将入射到内窥镜的光分为可见光和荧光,使左可见光束、左荧光束、右可见光束和右荧光束同时成像于感光元件4上,经过调焦镜3调节光程后,左可见光束、左荧光束、右可见光束和右荧光束无时差,整个内窥镜只用到一个感光元件,如图3所示,对感光元件4接收的光信号进行分割,可获得实时、同步的左荧光图像41、左可见光图像43、右荧光图像42和右可见光图像44,从而可再继续处理成3D荧光图像。
参照图1,分光器件包括二向色镜21和反射镜22。二向色镜能够允许特定波长的光通过,将其余波长的光进行反射,基于该特点,本申请实施例利用二向色镜21将进入物镜1的光束分为荧光和可见光,再用反射镜22继续反射被二向色镜21反射的光,使直接通过二向色镜21的光(第一透射光束)和经过两次反射的光(第二反射光束)照射在感光元件4的不同位置上。经过两次反射的光在感光元件4上得到的图像为实物的镜像的镜像,方向与直接通过二向色镜21的光一致,便于在成像时进行图像处理操作。
优选地,二向色镜21和反射镜22均与内窥镜套管的轴线成45°夹角,有利于使射到感光元件上的光束方向与入射到物镜的光束方向一致,也与内窥镜套管的轴线方向一致,有利于进一步缩小内窥镜套管的管径。
经过两次反射的光,其光程会大于直接通过二向色镜21的光,为了统一光程,利用调焦镜3调节直接透过二向色镜21的光,得到第二透射光束。同时,受感光元件4的大小制约,为了避免图像过大,调焦镜3应为凸透镜,这就造成了第二透射光束在感光元件4上的图像小于第二反射光束在感光元件4上的图像。而在感光元件4像素有限的情况下,第二透射光束所成的像较小,将丢失部分细节,第二反射光束所成的像较大,保留较多细节。
针对这一问题,在本申请实施例中,二向色镜允许荧光通过形成左荧光束和右荧光束,且反射可见光,反射镜将二向色镜反射出的可见光再次反射,形成左可见光束和右可见光束;左调焦镜将左荧光束的光程调节至与左可见光束一致,右调焦镜将右荧光束的光程调节至与右可见光束一致。在感光元件4上得到的图像如图3所示,左可见光图像43和右可见光图像44较大,左荧光图像41和右荧光图像42较小。荧光在荧光导航术中起到标记和提示边界的作用,最终还需要融合到可见光图像中,修饰可见光图像的局部色彩,像素降低对提示病灶边界的影响较少,而可见光图像因以上结构获得较好的清晰度,保留大量细节。
优选地,荧光为近红外荧光,能够克服传统荧光(400nm-900nm)组织吸收强、散射大、自发荧光存在干扰的问题,在活体成像中可实现更高的组织穿透深度和空间分辨率,相应地,选用允许近红外荧光通过而反射可见光的二向色镜。
参照图4,本申请实施例还提供一种3D荧光内窥镜成像方法,适用于上述的3D荧光内窥镜,包括以下步骤:
S1:从感光元件获取未融合图像;
S2:将未融合图像裁剪成左可见光图像、左荧光图像、右可见光图像和右荧光图像;
S3:对左可见光图像和左荧光图像中像素较低的一者进行增采样,以使左可见光图像和左荧光图像的像素一致,得到左图像组;对右可见光图像和右荧光图像中像素较低的一者进行增采样,以使右可见光图像和右荧光图像的像素一致,得到右图像组;
S4:对左图像组中的左荧光图像进行赋色,并与左图像组中的左可见光图像匹配出荧光标记左图像;对右图像组中的右荧光图像进行赋色,并与右图像组中的右可见光图像匹配出荧光标记右图像;
S5:将荧光标记左图像和荧光标记右图像输出至3D显示器;或者,将荧光标记左图像和荧光标记右图整合成3D格式再输出至3D显示器。
该方法可将同一感光元件上的四种图像裁剪、融合,形成可供3D显示器使用的图像信号;其中经过调焦镜调节光程的图像会比直接反射在感光元件上的图像像素更小,经过增采样后,便于后续的图像融合。
以图3的方向为例,步骤S2中,裁剪的具体方式可以如下:
从上往下地计算(或称遍历)未融合图像每一行的像素均值A,当计算至第m行时A大于预设值(例如0,考虑到可能出现的噪点,可适当调大预设值,例如3),第m行即为左荧光图像41和右荧光图像42的上边界,当计算至第M行时A重新小于预设值,第M-1行即为左荧光图像41和右荧光图像42的下边界;继续往下计算,当计算至第n行时A重新大于预设值,第n行即为左可见光图像43和右可见光图像44的上边界,当计算至第N(当然,感光元件纵向最大像素>N>n>M>m>0)行时A重新小于预设值,第N-1行即为左可见光图像43和右可见光图像44的下边界。再从左往右地计算未融合图像每一列的像素均值B,当计算至第p列时B大于预设值,第p列即为左可见光图像43的左边界,当计算至第P列时B重新小于预设值,第P-1列即为左可见光图像43的右边界,当计算至第q列时B重新大于预设值,第q列即为右可见光图像44的左边界,当计算至第Q列时B再次小于预设值,第Q-1列即为右可见光图像44的右边界。然后只在第m行至第M-1行的范围内,从左往右地计算未融合图像每一列的像素均值C,当计算至第d列时C大于预设值,第d列即为左荧光图像41的左边界,当计算至第D列时C重新小于预设值,第D-1列即为左荧光图像41的右边界,当计算至第e列时C重新大于预设值,第e列即为右荧光图像42的左边界,当计算至第E(当然,感光元件横向最大像素>Q>E>e>q>P>D>d>p>0)列时C再次小于预设值,第E-1列即为右荧光图像42的右边界。到此,左可见光图像、左荧光图像、右可见光图像和右荧光图像的边界都能确定,从而能被裁剪出来。
实际上,对于同一个内窥镜,在其调试完成后,左可见光图像、左荧光图像、右可见光图像和右荧光图像的边界已经不变,因此只需确定一次边界,以后裁剪时都按该边界裁剪即可。
步骤S3中,增采样的方法可以是双线性插值。
如采用近红外荧光的实施例,荧光图像不可被肉眼看到,但能被感光元件4接收,故在步骤S4中对荧光图像进行赋色,通常是与人体组织的粉红色相差较大的青色或绿色,颜色深浅与荧光图像的荧光信号强度正相关。具体匹配(或称融合)的方式例如:若左可见光图像中存在一个像素点Y,其RGB值为[202,23,41],在增采样后的左荧光图像中,y与Y的像素对应,y点无荧光信号,赋色后y的RGB值为[0,0,0],则荧光标记左图像中由Y与y融合形成的像素点,其RGB值为[202,23,41];若左可见光图像中存在一个像素点X,其RGB值为[186,30,35],在增采样后的左荧光图像中,x与X的像素对应,x点有荧光信号,赋色后其RGB值为[0,164,0],则荧光标记左图像中由X与x融合形成的像素点,其RGB值为[186,194,35];若右可见光图像中存在一个像素点Z,其RGB值为[202,46,38],在增采样后的右荧光图像中,z与Z的像素对应,z点有荧光信号,赋色后其RGB值为[0,185,0],则荧光标记右图像中由Z与z融合形成的像素点,其RGB值为[202,231,38]。
步骤S5中,输出时,可以是上下扫描、左右扫描或者逐行扫描。
左可见光束和左荧光束是由透过左物镜的同一束光分光而得,故左可见光图像和左荧光图像的视场一致,同理,右可见光图像和右荧光图像的视场一致,而左物镜与右物镜的视场必然不一致(这也是3D显示的基础),同时,图像大小也可能因为左物镜和右物镜的尺寸误差导致不同。
优选地,在步骤S3和步骤S4之间,还包括步骤S31:
以左图像组和右图像组中像素较低的一组为基准,修正另一组的像素,以使左图像组和右图像组的像素一致。
更具体而言,该修正不是放大或缩小,而是剪去像素较大的一组的外边缘,保证左图像组和右图像组的缩放比例相同。
相应地,参照图5,本申请实施例提供一种3D荧光内窥镜成像装置,用于与第一方面的3D荧光内窥镜中的感光元件连接,装置包括:
采集模块51,用于从感光元件获取未融合图像;
裁剪模块52,用于将未融合图像裁剪成左可见光图像、左荧光图像、右可见光图像和右荧光图像;
增采样模块53,用于对左可见光图像和左荧光图像中像素较低的一者进行增采样,以使左可见光图像和左荧光图像的像素一致,得到左图像组;对右可见光图像和右荧光图像中像素较低的一者进行增采样,以使右可见光图像和右荧光图像的像素一致,得到右图像组;
融合模块54,用于对左图像组中的左荧光图像进行赋色,并与左图像组中的左可见光图像匹配出荧光标记左图像;对右图像组中的右荧光图像进行赋色,并与右图像组中的右可见光图像匹配出荧光标记右图像;
输出模块55,用于将荧光标记左图像和荧光标记右图像输出至3D显示器;或者,将荧光标记左图像和荧光标记右图整合成3D格式再输出至3D显示器。
优选地,该3D荧光内窥镜成像装置还包括修正模块,用于以左图像组和右图像组中像素较低的一组为基准,修正另一组的像素,以使左图像组和右图像组的像素一致。
最后,本申请实施例还提供一种3D荧光内窥镜调试方法,适用于上述的3D荧光内窥镜,包括以下步骤:
将物镜和感光元件装入内窥镜套管内,将感光元件连接到显示器;
调节感光元件的位置直至在显示器上获得一个清晰图像,固定该清晰图像对应的物镜,调节另一物镜的位置直至在显示器上获得两个清晰图像,固定全部物镜;
将分光器件装入内窥镜套管内,调节感光元件的位置直至在显示器上重新获得两个清晰图像,固定感光元件;
将左调焦镜和右调焦镜装入内窥镜套管内,调节左调焦镜的位置直至在显示器上新增一个清晰图像,固定左调焦镜,调节右调焦镜的位置直至在显示器上新增一个清晰图像,固定右调焦镜;
断开感光元件与显示器的连接,将感光元件经上述的3D荧光内窥镜成像装置(以下简称为成像装置)连接至3D显示器。
如此使得近红外荧光成像光路长度和可见光成像光路长度一致,最终四路光信号都能清晰成像于感光元件4。感光元件4把光信号转换成图像信号并传输到成像装置5,成像装置5根据感光元件4的图像分布进行裁剪。再对所得图像进行算法矫正和插值,使得图像解析度一致,最后向3D显示器输出。
本申请实施例使可见光和近红外荧光信号经物镜1聚焦,其中,可见光被分光器件2反射,成像于感光元件4下半(按图1和图3的方位描述)部分。近红外荧光部分透过分光器件2,并由调焦镜3聚焦,成像于感光元件4上半部分。通过在荧光成像光路加入调焦镜3,使得可见光图像和荧光图像同时成像于一个感光元件,再经过成像装置5裁剪合成,可输出带有荧光标记的3D影像。最终实现3D荧光内窥镜成像光路的微型化,四个光路的影像无时差。
在本说明书的描述中,参考术语“一个实施方式”“某些实施方式”“示意性实施方式”“示例”“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种3D荧光内窥镜,包括内窥镜套管、设置在所述内窥镜套管内的物镜和感光元件,其特征在于,所述物镜分为左物镜和右物镜,所述物镜和所述感光元件之间设置有分光器件,所述分光器件将穿过所述左物镜和穿过所述右物镜的光束分为射至所述感光元件的左可见光束、左荧光束、右可见光束和右荧光束,所述分光器件和所述感光元件之间设置有使所述左可见光束和所述左荧光束的光程一致的左调焦镜以及使所述右可见光束和所述右荧光束的光程一致的右调焦镜。
2.根据权利要求1所述的3D荧光内窥镜,其特征在于,所述分光器件包括二向色镜和反射镜,所述二向色镜允许荧光和可见光中的一者透过形成第一透射光束,并反射另一者形成第一反射光束,所述反射镜将所述第一反射光束继续反射,形成第二反射光束;所述左调焦镜和所述右调焦镜均为凸透镜,位于所述二向色镜和所述感光元件之间,且不与所述反射镜的光路重叠。
3.根据权利要求2所述的3D荧光内窥镜,其特征在于,所述二向色镜和所述反射镜均与所述内窥镜套管的轴线成45°夹角。
4.根据权利要求2所述的3D荧光内窥镜,其特征在于,所述二向色镜允许荧光通过形成所述左荧光束和所述右荧光束,且反射可见光,所述反射镜将所述二向色镜反射出的可见光再次反射,形成所述左可见光束和所述右可见光束;所述左调焦镜将所述左荧光束的光程调节至与所述左可见光束一致,所述右调焦镜将所述右荧光束的光程调节至与所述右可见光束一致。
5.根据权利要求4所述的3D荧光内窥镜,其特征在于,所述荧光为近红外荧光。
6.一种3D荧光内窥镜成像方法,其特征在于,适用于如权利要求1至5任一项所述的3D荧光内窥镜,包括以下步骤:
采集:从所述感光元件获取未融合图像;
裁剪:将所述未融合图像裁剪成左可见光图像、左荧光图像、右可见光图像和右荧光图像;
增采样:对所述左可见光图像和所述左荧光图像中像素较低的一者进行增采样,以使所述左可见光图像和所述左荧光图像的像素一致,得到左图像组;对所述右可见光图像和所述右荧光图像中像素较低的一者进行增采样,以使所述右可见光图像和所述右荧光图像的像素一致,得到右图像组;
融合:对所述左图像组中的所述左荧光图像进行赋色,并与所述左图像组中的所述左可见光图像匹配出荧光标记左图像;对所述右图像组中的所述右荧光图像进行赋色,并与所述右图像组中的所述右可见光图像匹配出荧光标记右图像;
输出:将所述荧光标记左图像和所述荧光标记右图像输出至3D显示器;或者,将所述荧光标记左图像和所述荧光标记右图整合成3D格式再输出至3D显示器。
7.根据权利要求6所述的3D荧光内窥镜成像方法,其特征在于,在所述融合的步骤之前,还包括步骤修正:
以所述左图像组和所述右图像组中像素较低的一组为基准,修正另一组的像素,以使所述左图像组和所述右图像组的像素一致。
8.一种3D荧光内窥镜成像装置,其特征在于,用于与权利要求1至5任一项所述的3D荧光内窥镜中的所述感光元件连接,所述装置包括:
采集模块,用于从所述感光元件获取未融合图像;
裁剪模块,用于将所述未融合图像裁剪成左可见光图像、左荧光图像、右可见光图像和右荧光图像;
增采样模块,用于对所述左可见光图像和所述左荧光图像中像素较低的一者进行增采样,以使所述左可见光图像和所述左荧光图像的像素一致,得到左图像组;对所述右可见光图像和所述右荧光图像中像素较低的一者进行增采样,以使所述右可见光图像和所述右荧光图像的像素一致,得到右图像组;
融合模块,用于对所述左图像组中的所述左荧光图像进行赋色,并与所述左图像组中的所述左可见光图像匹配出荧光标记左图像;对所述右图像组中的所述右荧光图像进行赋色,并与所述右图像组中的所述右可见光图像匹配出荧光标记右图像;
输出模块,用于将所述荧光标记左图像和所述荧光标记右图像输出至3D显示器;或者,将所述荧光标记左图像和所述荧光标记右图整合成3D格式再输出至3D显示器。
9.根据权利要求8所述的3D荧光内窥镜成像装置,其特征在于,还包括修正模块,用于以所述左图像组和所述右图像组中像素较低的一组为基准,修正另一组的像素,以使所述左图像组和所述右图像组的像素一致。
10.一种3D荧光内窥镜调试方法,其特征在于,适用于如权利要求1至5任一项所述的3D荧光内窥镜,包括以下步骤:
将所述物镜和所述感光元件装入所述内窥镜套管内,将所述感光元件连接到显示器;
调节所述感光元件的位置直至在所述显示器上获得一个清晰图像,固定该清晰图像对应的所述物镜,调节另一所述物镜的位置直至在所述显示器上获得两个清晰图像,固定全部所述物镜;
将所述分光器件装入所述内窥镜套管内,调节所述感光元件的位置直至在所述显示器上重新获得两个清晰图像,固定所述感光元件;
将所述左调焦镜和所述右调焦镜装入所述内窥镜套管内,调节所述左调焦镜的位置直至在所述显示器上新增一个清晰图像,固定所述左调焦镜,调节所述右调焦镜的位置直至在所述显示器上新增一个清晰图像,固定所述右调焦镜;
断开所述感光元件与所述显示器的连接,将所述感光元件经如权利要求8所述的3D荧光内窥镜成像装置连接至3D显示器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311731133.1A CN117398043B (zh) | 2023-12-15 | 2023-12-15 | 一种3d荧光内窥镜、成像方法、装置及调试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311731133.1A CN117398043B (zh) | 2023-12-15 | 2023-12-15 | 一种3d荧光内窥镜、成像方法、装置及调试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117398043A true CN117398043A (zh) | 2024-01-16 |
CN117398043B CN117398043B (zh) | 2024-07-02 |
Family
ID=89493015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311731133.1A Active CN117398043B (zh) | 2023-12-15 | 2023-12-15 | 一种3d荧光内窥镜、成像方法、装置及调试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117398043B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106094224A (zh) * | 2016-08-04 | 2016-11-09 | 上海凯利泰医疗科技股份有限公司 | 一种转折分光单元及内窥镜光学成像系统、成像方法 |
CN109924938A (zh) * | 2019-03-26 | 2019-06-25 | 华中科技大学苏州脑空间信息研究院 | 外置式双光源阴道镜成像系统 |
CN110840386A (zh) * | 2019-12-19 | 2020-02-28 | 中国科学院长春光学精密机械与物理研究所 | 基于单探测器的可见光和近红外荧光3d共成像内窥镜系统 |
CN114445316A (zh) * | 2022-04-11 | 2022-05-06 | 青岛大学附属医院 | 一种内窥镜荧光与可见光图像融合方法 |
CN218356171U (zh) * | 2022-06-21 | 2023-01-24 | 上海微觅医疗器械有限公司 | 荧光内窥镜成像装置和系统 |
-
2023
- 2023-12-15 CN CN202311731133.1A patent/CN117398043B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106094224A (zh) * | 2016-08-04 | 2016-11-09 | 上海凯利泰医疗科技股份有限公司 | 一种转折分光单元及内窥镜光学成像系统、成像方法 |
CN109924938A (zh) * | 2019-03-26 | 2019-06-25 | 华中科技大学苏州脑空间信息研究院 | 外置式双光源阴道镜成像系统 |
CN110840386A (zh) * | 2019-12-19 | 2020-02-28 | 中国科学院长春光学精密机械与物理研究所 | 基于单探测器的可见光和近红外荧光3d共成像内窥镜系统 |
CN114445316A (zh) * | 2022-04-11 | 2022-05-06 | 青岛大学附属医院 | 一种内窥镜荧光与可见光图像融合方法 |
CN218356171U (zh) * | 2022-06-21 | 2023-01-24 | 上海微觅医疗器械有限公司 | 荧光内窥镜成像装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117398043B (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106236006B (zh) | 3d光学分子影像腹腔镜成像系统 | |
CN107137053B (zh) | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 | |
CN103750814B (zh) | 一种眼底扫描成像装置 | |
US11744439B2 (en) | Micro CMOS scopes for medical imaging | |
JP7449736B2 (ja) | 医療用画像処理装置及び医療用観察システム | |
CN107440669A (zh) | 一种双通道内窥式成像系统 | |
CN104203081A (zh) | 将复数的眼睛影像结合成为多聚焦全光影像的方法 | |
CN110811498A (zh) | 可见光和近红外荧光3d融合图像内窥镜系统 | |
CN105342561B (zh) | 无线声控穿戴式分子影像导航系统 | |
US20230308628A1 (en) | Medical imaging system, medical imaging device, and operation method | |
US20210251570A1 (en) | Surgical video creation system | |
US20170318207A1 (en) | Dual path endoscope | |
CN111579498B (zh) | 基于推扫成像的高光谱内窥成像系统 | |
CN205942116U (zh) | 一种转折分光单元及内窥镜光学成像系统 | |
JP6859554B2 (ja) | 観察補助装置、情報処理方法、およびプログラム | |
CN108601504A (zh) | 一种内窥镜系统及其控制方法 | |
CN117398043B (zh) | 一种3d荧光内窥镜、成像方法、装置及调试方法 | |
CN212326346U (zh) | 一种内窥镜成像系统 | |
CN111772560A (zh) | 一种基于双通道高效传输的荧光内窥镜成像系统及方法 | |
US20110261179A1 (en) | Imaging system for fluorescence guided surgery based on fixed magnification lens and digital zoom | |
WO2017217498A1 (ja) | 内視鏡用拡張装置 | |
CN218356171U (zh) | 荧光内窥镜成像装置和系统 | |
CN110115557B (zh) | 一种高光谱内窥成像装置及成像方法 | |
CN110611779B (zh) | 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法 | |
WO2015194410A1 (ja) | 画像入力装置及び顕微鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |