CN112835192A - 一种面向手术显微镜的立体图像互补增强装置及方法 - Google Patents

一种面向手术显微镜的立体图像互补增强装置及方法 Download PDF

Info

Publication number
CN112835192A
CN112835192A CN202110064705.XA CN202110064705A CN112835192A CN 112835192 A CN112835192 A CN 112835192A CN 202110064705 A CN202110064705 A CN 202110064705A CN 112835192 A CN112835192 A CN 112835192A
Authority
CN
China
Prior art keywords
image
depth
photosensitive element
field
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110064705.XA
Other languages
English (en)
Other versions
CN112835192B (zh
Inventor
刘威
邵航
戴朴
王国建
唐洁
廖家胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze Delta Region Institute of Tsinghua University Zhejiang
Original Assignee
Zhejiang Future Technology Institute (jiaxing)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Future Technology Institute (jiaxing) filed Critical Zhejiang Future Technology Institute (jiaxing)
Priority to CN202110064705.XA priority Critical patent/CN112835192B/zh
Publication of CN112835192A publication Critical patent/CN112835192A/zh
Application granted granted Critical
Publication of CN112835192B publication Critical patent/CN112835192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing

Abstract

一种面向手术显微镜的立体图像互补增强装置及方法，第一感光元件作为第一观测被测物体表面发出的光子，第一感光元件对被测物体在第一观测视角下的像进行呈现；第二感光元件从第二观测视角呈现被测物体；左变倍体改变被测物体在第一感光元件上的放大倍率，右变倍体改变被测物体在第二感光元件上的放大倍率；第一感光元件和第二感光元件均与相机同步触发器连接，相机同步触发器控制第一感光元件和第二感光元件同时对被测物体进行拍摄；计算处理模块与相机同步触发器连接，计算处理模块对第一感光元件和第二感光元件的拍摄图像进行模糊增强处理，本发明可以同时提升显微镜的光学分辨率和景深，解决手术显微镜光学中大景深和高分辨率不兼容问题。

Description

一种面向手术显微镜的立体图像互补增强装置及方法
技术领域
本发明涉及显微成像处理技术领域，具体涉及一种面向手术显微镜的立体图像互补增强装置及方法。
背景技术
手术显微镜的出现给外科手术带来了革命，全球每年约有五千万例手术需要在显微镜下完成。传统的显微外科手术需要在显微镜下完成，医生比较容易疲劳。如今，得益于数字显微成像技术的发展，研究人员借助成像器件采集显微镜下的图像并通过三维显示器进行渲染显示，进而使医生可以在屏前完成一系列显微外科手术，从而缩短了手术时间，提高了患者的生存率。
空间分辨率一直是显微成像领域研究人员所追求的参数指标，然而，受限于显微镜的特殊光学结构，其空间分辨率和景深呈现一种矛盾关系：随着显微镜放大倍率的提高，光学景深将快速下降，成像分辨率却会变高；随着光圈数值的变大，景深会提高，然而成像分辨率却会变低。在显微成像中，高分辨率可以让医生对细节看得更清楚，而大景深可以为医生提供宽视场，两者对显微成像的效果都起着至关重要的作用。
为了解决这个问题，手术显微镜生产厂家徕卡提出了一种非对称的光学结构，其两路成像光路一路提供大景深一路提供高分辨，依赖人脑的特殊生理结构对两路图像进行融合可以得到高分辨和大景深的立体显微图像，从而提升医生的视觉体验。这种方法虽然可以在一定程度上提升成像效果，然而整个融合过程离不开人脑的参与，人脑得到的立体图像也不能输出提供给其他成像环节使用，如重建和测量环节，因此具有很大的使用限制。如何摆脱显微镜光学结构的约束和限制，得到高分辨和大景深的立体显微图像是目前亟待解决的一个技术问题。
发明内容
为此，本发明提供一种面向手术显微镜的立体图像互补增强装置及方法，以同时提升显微镜的光学分辨率和景深，解决传统手术显微镜光学中大景深和高分辨率不能兼容的问题。
为了实现上述目的，本发明提供如下技术方案：一种面向手术显微镜的立体图像互补增强装置，包括：
立体图像采集单元，所述立体图像采集单元设有第一感光元件和第二感光元件，所述第一感光元件用于作为第一观测被测物体表面发出的光子，第一感光元件对被测物体在第一观测视角下的像进行呈现；所述第二感光元件用于作为第二观测视角接收被测物体表面发出的光子，第二感光元件对被测物体在第二观测视角下的像进行呈现；
非对称显微成像单元，所述非对称显微成像单元设有左变倍体、右变倍体、光源、非对称光圈组和物镜；所述左变倍体用于改变被测物体在第一感光元件上的放大倍率，所述右变倍体用于改变被测物体在第二感光元件上的放大倍率；所述光源用于对所述被测物体打光照明；所述非对称光圈组拥有两路光圈值相异的第一光圈和第二光圈，所述第一光圈用于改变第一观测视角的景深和空间分辨率；所述第二光圈用于改变第二观测视角的景深和空间分辨率；所述物镜用于对包括第一观测视角和第二观测视角光路的显微镜工作距离进行配置；
立体图像采集控制处理单元，所述立体图像采集控制处理单元设有相机同步触发器和计算处理模块；所述第一感光元件和第二感光元件均与所述相机同步触发器连接，相机同步触发器用于控制所述第一感光元件和第二感光元件同时对被测物体进行拍摄；所述计算处理模块与所述相机同步触发器连接，计算处理模块用于对第一感光元件和第二感光元件的拍摄图像进行模糊增强处理。
作为面向手术显微镜的立体图像互补增强装置的优选方案，所述光源通过所述物镜对被测物体进行照射，被测物体表面发出的光子通过所述物镜进入所述左变倍体和右变倍体；经过所述左变倍体的光子经第一光圈进入所述第一感光元件，经过所述右变倍体的光子经第二光圈进入所述第二感光元件。
作为面向手术显微镜的立体图像互补增强装置的优选方案，所述第一感光元件的第一观测视角图像经过视频数据线输出到计算处理模块中进行处理，所述第二感光元件的第二观测视角图像经过视频数据线输出到计算处理模块中进行处理。
本发明还提供一种面向手术显微镜的立体图像互补增强方法，用于上述的面向手术显微镜的立体图像互补增强状，包括：。
获取给定场景的高分辨小景深图像数据集和低分辨大景深图像数据集，通过改变显微镜的工作距离获得不同位置的左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}，采用景深融合算法获得左视角的全画幅清晰图像Ilg和右视角的全画幅清晰图像Irg；
构建基于参考视角的互补增强网络，所述互补增强网络包括第一路编解码器ED1、第二路编解码器ED2和基于光流的跨视角映射计算单元，将高分辨小景深图像IHRLD和低分辨大景深图像ILRHD输送到基于光流的跨视角映射计算单元中，计算高分辨小景深图像IHRLD和低分辨大景深图像ILRHD上的运动得到视差图D；再将高分辨小景深图像IHRLD输送到第一路编解码器ED1中，低分辨大景深图像ILRHD输送到第二路编解码器ED2中，经过逐层特征编码获得不同尺度的编码特征，然后通过解码器逐层上采样恢复到输入尺寸；
使用所述高分辨小景深图像数据集和低分辨大景深图像数据集对所述互补增强网络进行训练，对所述互补增强网络进行循环迭代训练使损失函数减小直到完成设定的迭代次数N，并将网络参数进行保存；
将测试数据集输入到训练后的互补增强网络中进行处理，得到增强后的左右视角高分辨大景深图像。
作为面向手术显微镜的立体图像互补增强方法的优选方案，分别选取所述左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}中的第一层作为训练图像输入，将全画幅清晰图像Ilg和Irg作为GroundTruth图像。
作为面向手术显微镜的立体图像互补增强方法的优选方案，所述高分辨小景深图像数据集为所述左视角的全画幅清晰图像Ilg集合，所述低分辨大景深图像数据集为所述右视角的全画幅清晰图像Irg集合。
作为面向手术显微镜的立体图像互补增强方法的优选方案，所述高分辨小景深图像数据集为所述右视角的全画幅清晰图像Irg集合，所述低分辨大景深图像数据集为所述左视角的全画幅清晰图像Ilg集合。
作为面向手术显微镜的立体图像互补增强方法的优选方案，对于高分辨小景深输入管道，在解码器环节的每一层引入经过编码后的同尺寸低分辨大景深图像的编码特征层。
作为面向手术显微镜的立体图像互补增强方法的优选方案，对于低分辨大景深输入管道，在解码器环节的每一层引入经过编码后的同尺寸高分辨小景深图像的编码特征层。
本发明具有如下优点：立体图像采集单元设有第一感光元件和第二感光元件，第一感光元件作为第一观测被测物体表面发出的光子，第一感光元件对被测物体在第一观测视角下的像进行呈现；第二感光元件作为第二观测视角接收被测物体表面发出的光子，第二感光元件对被测物体在第二观测视角下的像进行呈现；非对称显微成像单元设有左变倍体、右变倍体、光源、非对称光圈组和物镜；左变倍体改变被测物体在第一感光元件上的放大倍率，右变倍体改变被测物体在第二感光元件上的放大倍率；光源对被测物体打光照明；非对称光圈组拥有两路光圈值相异的第一光圈和第二光圈，第一光圈改变第一观测视角的景深和空间分辨率；第二光圈改变第二观测视角的景深和空间分辨率；物镜用于对包括第一观测视角和第二观测视角光路的显微镜工作距离进行配置；立体图像采集控制处理单元设有相机同步触发器和计算处理模块；第一感光元件和第二感光元件均与相机同步触发器连接，相机同步触发器控制第一感光元件和第二感光元件同时对被测物体进行拍摄；计算处理模块与相机同步触发器连接，计算处理模块对第一感光元件和第二感光元件的拍摄图像进行模糊增强处理；本发明可以同时提升显微镜的光学分辨率和景深；
本发明获取给定场景的高分辨小景深图像数据集和低分辨大景深图像数据集，通过改变显微镜的工作距离获得不同位置的左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}，采用景深融合算法获得左视角的全画幅清晰图像Ilg和右视角的全画幅清晰图像Irg；构建基于参考视角的互补增强网络，将高分辨小景深图像IHRLD和低分辨大景深图像ILRHD输送到基于光流的跨视角映射计算单元中，计算高分辨小景深图像IHRLD和低分辨大景深图像ILRHD上的运动得到视差图D；再将高分辨小景深图像IHRLD输送到第一路编解码器ED1中，低分辨大景深图像ILRHD输送到第二路编解码器ED2中，经过逐层特征编码获得不同尺度的编码特征，然后通过解码器逐层上采样恢复到输入尺寸；使用高分辨小景深图像数据集和低分辨大景深图像数据集对互补增强网络进行训练，对互补增强网络进行循环迭代训练使损失函数减小直到完成设定的迭代次数N，并将网络参数进行保存；将测试数据集输入到训练后的互补增强网络中进行处理，得到增强后的左右视角高分辨大景深图像。本发明设计互补增强网络对立体图像进行信息融合，通过设计迁移网络对高分辨小景深图像进行去模糊处理，而对大景深低分辨图像进行增强处理，能有效增强传统光学数字成像的清晰度和视场范围，可实施性强。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例中提供的一种面向手术显微镜的立体图像互补增强装置结构示意图；
图2为本发明实施例中提供的一种面向手术显微镜的立体图像互补增强装置架构示意图；
图3为本发明实施例中提供的一种面向手术显微镜的立体图像互补增强方法示意图。
图中：1、立体图像采集单元；2、第一感光元件；3、第二感光元件；4、非对称显微成像单元；5、左变倍体；6、右变倍体；7、光源；8、非对称光圈组；9、物镜；10、立体图像采集控制处理单元；11、相机同步触发器；12、计算处理模块。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，“左”“右”“第一”“第二”只是对技术特征的区分，并不限制左视角和右视角的图像数据集类型，且“高分辨小景深”和“低分辨大景深”是一个相对的概念，在摄像技术领域常用，并不限制高低大小一定是某一个具体值，类似于电学中高压低压的表述形式。
参见图1和图2，提供一种面向手术显微镜的立体图像互补增强装置，包括：
立体图像采集单元1，所述立体图像采集单元1设有第一感光元件2和第二感光元件3，所述第一感光元件2用于作为第一观测被测物体表面发出的光子，第一感光元件2对被测物体在第一观测视角下的像进行呈现；所述第二感光元件3用于作为第二观测视角接收被测物体表面发出的光子，第二感光元件3对被测物体在第二观测视角下的像进行呈现；
非对称显微成像单元4，所述非对称显微成像单元4设有左变倍体5、右变倍体6、光源7、非对称光圈组8和物镜9；所述左变倍体5用于改变被测物体在第一感光元件2上的放大倍率，所述右变倍体6用于改变被测物体在第二感光元件3上的放大倍率；所述光源7用于对所述被测物体打光照明；所述非对称光圈组8拥有两路光圈值相异的第一光圈和第二光圈，所述第一光圈用于改变第一观测视角的景深和空间分辨率；所述第二光圈用于改变第二观测视角的景深和空间分辨率；所述物镜9用于对包括第一观测视角和第二观测视角光路的显微镜工作距离进行配置；
立体图像采集控制处理单元10，所述立体图像采集控制处理单元10设有相机同步触发器11和计算处理模块12；所述第一感光元件2和第二感光元件3均与所述相机同步触发器11连接，相机同步触发器11用于控制所述第一感光元件2和第二感光元件3同时对被测物体进行拍摄；所述计算处理模块12与所述相机同步触发器11连接，计算处理模块12用于对第一感光元件2和第二感光元件3的拍摄图像进行模糊增强处理。
本实施例中，所述光源7通过所述物镜9对被测物体进行照射，被测物体表面发出的光子通过所述物镜9进入所述左变倍体5和右变倍体6；经过所述左变倍体5的光子经第一光圈进入所述第一感光元件2，经过所述右变倍体6的光子经第二光圈进入所述第二感光元件3。所述第一感光元件2的第一观测视角图像经过视频数据线输出到计算处理模块12中进行处理，所述第二感光元件3的第二观测视角图像经过视频数据线输出到计算处理模块12中进行处理。
具体的，相机同步触发器11本身属于现有技术，目前存在多种相机同步触发的技术方案。比如同时向不同相机发送外触发同步信号，以使不同相机根据外触发同步信号进行曝光；在检测到不同相机的帧有效信号和行有效信号均生效时，采集相机输出的像素数据；将采集到的像素数据通过预设的USB发送给计算处理模块12。
本实施例中，非对称光圈组8拥有两路不等的光圈值设置，能够改变左变倍体5和右变倍体6的景深及空间分辨率。光圈可以决定感光元件的进光量，光圈F值＝镜头焦距/镜头有效口径直径，F后面的数值越小，光圈越大，而进光量也就越多；反之，则越小。在快门速度不变的情况下，光圈F数值越小光圈就越大，进光量越多，画面比较亮；光圈F数值越大光圈就越小，画面比较暗。
本实施例中，立体图像采集单元1设有第一感光元件2和第二感光元件3，第一感光元件2作为第一观测被测物体表面发出的光子，第一感光元件2对被测物体在第一观测视角下的像进行呈现；第二感光元件3作为第二观测视角接收被测物体表面发出的光子，第二感光元件3对被测物体在第二观测视角下的像进行呈现；非对称显微成像单元4设有左变倍体5、右变倍体6、光源7、非对称光圈组8和物镜9；左变倍体5改变被测物体在第一感光元件2上的放大倍率，右变倍体6改变被测物体在第二感光元件3上的放大倍率；光源7对被测物体打光照明；非对称光圈组8拥有两路光圈值相异的第一光圈和第二光圈，第一光圈改变第一观测视角的景深和空间分辨率；第二光圈改变第二观测视角的景深和空间分辨率；物镜9用于对包括第一观测视角和第二观测视角光路的显微镜工作距离进行配置；立体图像采集控制处理单元10设有相机同步触发器11和计算处理模块12；第一感光元件2和第二感光元件3均与相机同步触发器11连接，相机同步触发器11控制第一感光元件2和第二感光元件3同时对被测物体进行拍摄；计算处理模块12与相机同步触发器11连接，计算处理模块12对第一感光元件2和第二感光元件3的拍摄图像进行模糊增强处理；本发明可以同时提升显微镜的光学分辨率和景深。
参见图3，本发明还提供一种面向手术显微镜的立体图像互补增强方法，用于上述的面向手术显微镜的立体图像互补增强状，包括：。
获取给定场景的高分辨小景深图像数据集和低分辨大景深图像数据集，通过改变显微镜的工作距离获得不同位置的左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}，采用景深融合算法获得左视角的全画幅清晰图像Ilg和右视角的全画幅清晰图像Irg；分别选取所述左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}中的第一层作为训练图像输入，将全画幅清晰图像Ilg和Irg作为GroundTruth图像；
构建基于参考视角的互补增强网络，所述互补增强网络包括第一路编解码器ED1、第二路编解码器ED2和基于光流的跨视角映射计算单元，将高分辨小景深图像IHRLD和低分辨大景深图像ILRHD输送到基于光流的跨视角映射计算单元中，计算高分辨小景深图像IHRLD和低分辨大景深图像ILRHD上的运动得到视差图D；再将高分辨小景深图像IHRLD输送到第一路编解码器ED1中，低分辨大景深图像ILRHD输送到第二路编解码器ED2中，经过逐层特征编码获得不同尺度的编码特征，然后通过解码器逐层上采样恢复到输入尺寸；
使用所述高分辨小景深图像数据集和低分辨大景深图像数据集对所述互补增强网络进行训练，对所述互补增强网络进行循环迭代训练使损失函数减小直到完成设定的迭代次数N，并将网络参数进行保存；
将测试数据集输入到训练后的互补增强网络中进行处理，得到增强后的左右视角高分辨大景深图像。
本实施例中，所述高分辨小景深图像数据集为所述左视角的全画幅清晰图像Ilg集合，所述低分辨大景深图像数据集为所述右视角的全画幅清晰图像Irg集合。或所述高分辨小景深图像数据集为所述右视角的全画幅清晰图像Irg集合，所述低分辨大景深图像数据集为所述左视角的全画幅清晰图像Ilg集合。
本实施例中，对于高分辨小景深输入管道，在解码器环节的每一层引入经过编码后的同尺寸低分辨大景深图像的编码特征层。对于低分辨大景深输入管道，在解码器环节的每一层引入经过编码后的同尺寸高分辨小景深图像的编码特征层。
具体的，通过前述的面向手术显微镜的立体图像互补增强装置获取立体图像数据集，立体图像的特征是一路为高分辨小景深，一路为低分辨大景深。对于某个给定场景，通过改变显微镜的工作距离获得不同位置的左右图像序列Il{Il1,Il2,…,Iln}和Ir{Ir1,Ir2,…,Irn}。通过景深融合算法可以获得左右视角的全画幅清晰图像Ilg和Irg。分别选取左右图像序列中的第一层作为训练图像输入，将全画幅清晰图像Ilg和Irg作为GroundTruth图像。通过上述方法构建一个高分辨小景深图像数据集和一个低分辨大景深图像数据集，并从中分离出训练数据集和测试数据集。这里景深合成可以使用拉普拉斯金字塔融合的方法。
辅助图3，互补增强网络包括第一路编解码器ED1、第二路编解码器ED2和基于光流的跨视角映射计算单元，将高分辨小景深图像IHRLD和低分辨大景深图像ILRHD输送到基于光流的跨视角映射计算单元中，计算高分辨小景深图像IHRLD和低分辨大景深图像ILRHD上的运动得到视差图D；再将高分辨小景深图像IHRLD输送到第一路编解码器ED1中，低分辨大景深图像ILRHD输送到第二路编解码器ED2中，经过逐层特征编码获得不同尺度的编码特征，然后通过解码器逐层上采样恢复到输入尺寸。为了达到两路网络互补增强的目的，本发明设计了交叉信息迁移机制，对于高分辨小景深输入管道，需要在解码器环节的每一层引入经过编码后的同尺寸低分辨大景深图像的编码特征层，以填补高分辨小景深图像中因景深问题而产生的模糊区域。同理，对于低分辨大景深输入管道，需要在其解码器环节的每一层引入经过编码后的同尺寸高分辨小景深图像的编码特征层。两路输入管道的解码器最终融合来自互补输入管道的编码特征以合成最终的高分辨大景深图像。
具体的，高分辨小景深输入管道和低分辨大景深输入管道通过编码器分别得到特征图谱
Figure BDA0002903701870000091
和
Figure BDA0002903701870000092
基于光流计算的视差结果可以得到两幅原始输入图像各像素之间的位置关系，由于输入图像经各编码层后特征尺寸逐层递减，这里认为两输入管道的各特征层之间的像素关系也只是发生了尺度上变化，进而可知两编码器特征层之间的特征点位置变换函数
Figure BDA0002903701870000101
和
Figure BDA0002903701870000102
交叉映射机制规定解码器融合后的各层结果为：
Figure BDA0002903701870000103
其中，
Figure BDA0002903701870000104
为高分辨小景深输入管道第i层解码器的原始输出，
Figure BDA0002903701870000105
为经过融合后的编码器输出；而
Figure BDA0002903701870000106
为低分辨大景深输入管道第i层解码器的原始输出，
Figure BDA0002903701870000107
为经过融合后的编码器输出。
具体的，训练过程中的损失函数采用以下方式处理获得：
Figure BDA0002903701870000108
式中，N表示训练样本的数量，s∈S表示图像像素，
Figure BDA0002903701870000109
表示训练样本中第i个高分辨小景深图像，
Figure BDA00029037018700001010
为通过景深合成得到的第i个高分辨小景深图像的GroundTruth图像；
Figure BDA00029037018700001011
表示训练样本中第i个低分辨大景深图像，
Figure BDA00029037018700001012
为其GroundTruth图像。
本发明获取给定场景的高分辨小景深图像数据集和低分辨大景深图像数据集，通过改变显微镜的工作距离获得不同位置的左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}，采用景深融合算法获得左视角的全画幅清晰图像Ilg和右视角的全画幅清晰图像Irg；构建基于参考视角的互补增强网络，将高分辨小景深图像IHRLD和低分辨大景深图像ILRHD输送到基于光流的跨视角映射计算单元中，计算高分辨小景深图像IHRLD和低分辨大景深图像ILRHD上的运动得到视差图D；再将高分辨小景深图像IHRLD输送到第一路编解码器ED1中，低分辨大景深图像ILRHD输送到第二路编解码器ED2中，经过逐层特征编码获得不同尺度的编码特征，然后通过解码器逐层上采样恢复到输入尺寸；使用高分辨小景深图像数据集和低分辨大景深图像数据集对互补增强网络进行训练，对互补增强网络进行循环迭代训练使损失函数减小直到完成设定的迭代次数N，并将网络参数进行保存；将测试数据集输入到训练后的互补增强网络中进行处理，得到增强后的左右视角高分辨大景深图像。本发明设计互补增强网络对立体图像进行信息融合，通过设计迁移网络对高分辨小景深图像进行去模糊处理，而对大景深低分辨图像进行增强处理，能有效增强传统光学数字成像的清晰度和视场范围，可实施性强。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种面向手术显微镜的立体图像互补增强装置，其特征在于，包括：
立体图像采集单元(1)，所述立体图像采集单元(1)设有第一感光元件(2)和第二感光元件(3)，所述第一感光元件(2)用于作为第一观测被测物体表面发出的光子，第一感光元件(2)对被测物体在第一观测视角下的像进行呈现；所述第二感光元件(3)用于作为第二观测视角接收被测物体表面发出的光子，第二感光元件(3)对被测物体在第二观测视角下的像进行呈现；
非对称显微成像单元(4)，所述非对称显微成像单元(4)设有左变倍体(5)、右变倍体(6)、光源(7)、非对称光圈组(8)和物镜(9)；所述左变倍体(5)用于改变被测物体在第一感光元件(2)上的放大倍率，所述右变倍体(6)用于改变被测物体在第二感光元件(3)上的放大倍率；所述光源(7)用于对所述被测物体打光照明；所述非对称光圈组(8)拥有两路光圈值相异的第一光圈和第二光圈，所述第一光圈用于改变第一观测视角的景深和空间分辨率；所述第二光圈用于改变第二观测视角的景深和空间分辨率；所述物镜(9)用于对包括第一观测视角和第二观测视角光路的显微镜工作距离进行配置；
立体图像采集控制处理单元(10)，所述立体图像采集控制处理单元(10)设有相机同步触发器(11)和计算处理模块(12)；所述第一感光元件(2)和第二感光元件(3)均与所述相机同步触发器(11)连接，相机同步触发器(11)用于控制所述第一感光元件(2)和第二感光元件(3)同时对被测物体进行拍摄；所述计算处理模块(12)与所述相机同步触发器(11)连接，计算处理模块(12)用于对第一感光元件(2)和第二感光元件(3)的拍摄图像进行模糊增强处理。
2.根据权利要求1所述的一种面向手术显微镜的立体图像互补增强装置，其特征在于，所述光源(7)通过所述物镜(9)对被测物体进行照射，被测物体表面发出的光子通过所述物镜(9)进入所述左变倍体(5)和右变倍体(6)；经过所述左变倍体(5)的光子经第一光圈进入所述第一感光元件(2)，经过所述右变倍体(6)的光子经第二光圈进入所述第二感光元件(3)。
3.根据权利要求1所述的一种面向手术显微镜的立体图像互补增强装置，其特征在于，所述第一感光元件(2)的第一观测视角图像经过视频数据线输出到计算处理模块(12)中进行处理，所述第二感光元件(3)的第二观测视角图像经过视频数据线输出到计算处理模块(12)中进行处理。
4.一种面向手术显微镜的立体图像互补增强方法，用于如权利要求1至3任一项的面向手术显微镜的立体图像互补增强状，其特征在于，包括：
获取给定场景的高分辨小景深图像数据集和低分辨大景深图像数据集，通过改变显微镜的工作距离获得不同位置的左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}，采用景深融合算法获得左视角的全画幅清晰图像Ilg和右视角的全画幅清晰图像Irg；
构建基于参考视角的互补增强网络，所述互补增强网络包括第一路编解码器ED1、第二路编解码器ED2和基于光流的跨视角映射计算单元，将高分辨小景深图像IHRLD和低分辨大景深图像ILRHD输送到基于光流的跨视角映射计算单元中，计算高分辨小景深图像IHRLD和低分辨大景深图像ILRHD上的运动得到视差图D；再将高分辨小景深图像IHRLD输送到第一路编解码器ED1中，低分辨大景深图像ILRHD输送到第二路编解码器ED2中，经过逐层特征编码获得不同尺度的编码特征，然后通过解码器逐层上采样恢复到输入尺寸；
使用所述高分辨小景深图像数据集和低分辨大景深图像数据集对所述互补增强网络进行训练，对所述互补增强网络进行循环迭代训练使损失函数减小直到完成设定的迭代次数N，并将网络参数进行保存；
将测试数据集输入到训练后的互补增强网络中进行处理，得到增强后的左右视角高分辨大景深图像。
5.根据权利要求4所述的一种面向手术显微镜的立体图像互补增强方法，其特征在于，分别选取所述左图像序列Il{Il1,Il2,…,Iln}和右图像序列Ir{Ir1,Ir2,…,Irn}中的第一层作为训练图像输入，将全画幅清晰图像Ilg和Irg作为GroundTruth图像。
6.根据权利要求4所述的一种面向手术显微镜的立体图像互补增强方法，其特征在于，所述高分辨小景深图像数据集为所述左视角的全画幅清晰图像Ilg集合，所述低分辨大景深图像数据集为所述右视角的全画幅清晰图像Irg集合。
7.根据权利要求4所述的一种面向手术显微镜的立体图像互补增强方法，其特征在于，所述高分辨小景深图像数据集为所述右视角的全画幅清晰图像Irg集合，所述低分辨大景深图像数据集为所述左视角的全画幅清晰图像Ilg集合。
8.根据权利要求4所述的一种面向手术显微镜的立体图像互补增强方法，其特征在于，对于高分辨小景深输入管道，在解码器环节的每一层引入经过编码后的同尺寸低分辨大景深图像的编码特征层。
9.根据权利要求8所述的一种面向手术显微镜的立体图像互补增强方法，其特征在于，对于低分辨大景深输入管道，在解码器环节的每一层引入经过编码后的同尺寸高分辨小景深图像的编码特征层。
CN202110064705.XA 2021-01-18 2021-01-18 一种面向手术显微镜的立体图像互补增强装置及方法 Active CN112835192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110064705.XA CN112835192B (zh) 2021-01-18 2021-01-18 一种面向手术显微镜的立体图像互补增强装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110064705.XA CN112835192B (zh) 2021-01-18 2021-01-18 一种面向手术显微镜的立体图像互补增强装置及方法

Publications (2)

Publication Number Publication Date
CN112835192A true CN112835192A (zh) 2021-05-25
CN112835192B CN112835192B (zh) 2023-01-24

Family

ID=75928676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110064705.XA Active CN112835192B (zh) 2021-01-18 2021-01-18 一种面向手术显微镜的立体图像互补增强装置及方法

Country Status (1)

Country Link
CN (1) CN112835192B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116679436A (zh) * 2023-08-04 2023-09-01 杭州安劼医学科技有限公司 大景深3d手术显微系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154098A (ja) * 1999-11-30 2001-06-08 Mitsutoyo Corp 画像プローブ
JP2006122232A (ja) * 2004-10-27 2006-05-18 Olympus Corp 手術用顕微鏡
US20070257902A1 (en) * 2003-04-17 2007-11-08 Sony Corporation Stereoscopic-Vision Image Processing Apparatus, Stereoscopic-Vision Image Providing Method, and Image Display Method
CN101706947A (zh) * 2009-11-26 2010-05-12 大连大学 基于dna序列与多混沌映射的图像融合加密方法
US20120162375A1 (en) * 2009-06-25 2012-06-28 Koninklijke Philips Electronics N.V. Stereoscopic image capturing method, system and camera
WO2014096400A1 (en) * 2012-12-21 2014-06-26 Imcube Labs Gmbh Method, apparatus and computer program usable in synthesizing a stereoscopic image
CN105359029A (zh) * 2013-07-04 2016-02-24 徕卡显微系统(瑞士)股份公司 用于显微镜系统的图像检测方法和相应的显微镜系统
US20160373663A1 (en) * 2015-06-18 2016-12-22 Agilent Technologies, Inc. Full Field Visual-Mid-Infrared Imaging System
CN108682044A (zh) * 2018-05-21 2018-10-19 深圳市唯特视科技有限公司 一种基于双路径风格化网络的立体风格转移模型
CN110308547A (zh) * 2019-08-12 2019-10-08 青岛联合创智科技有限公司 一种基于深度学习的稠密样本无透镜显微成像装置与方法
CN111221118A (zh) * 2020-02-26 2020-06-02 南京理工大学 一种基于相位编码单透镜的显微成像方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154098A (ja) * 1999-11-30 2001-06-08 Mitsutoyo Corp 画像プローブ
US20070257902A1 (en) * 2003-04-17 2007-11-08 Sony Corporation Stereoscopic-Vision Image Processing Apparatus, Stereoscopic-Vision Image Providing Method, and Image Display Method
JP2006122232A (ja) * 2004-10-27 2006-05-18 Olympus Corp 手術用顕微鏡
US20120162375A1 (en) * 2009-06-25 2012-06-28 Koninklijke Philips Electronics N.V. Stereoscopic image capturing method, system and camera
CN101706947A (zh) * 2009-11-26 2010-05-12 大连大学 基于dna序列与多混沌映射的图像融合加密方法
WO2014096400A1 (en) * 2012-12-21 2014-06-26 Imcube Labs Gmbh Method, apparatus and computer program usable in synthesizing a stereoscopic image
CN105359029A (zh) * 2013-07-04 2016-02-24 徕卡显微系统(瑞士)股份公司 用于显微镜系统的图像检测方法和相应的显微镜系统
US20160373663A1 (en) * 2015-06-18 2016-12-22 Agilent Technologies, Inc. Full Field Visual-Mid-Infrared Imaging System
CN108682044A (zh) * 2018-05-21 2018-10-19 深圳市唯特视科技有限公司 一种基于双路径风格化网络的立体风格转移模型
CN110308547A (zh) * 2019-08-12 2019-10-08 青岛联合创智科技有限公司 一种基于深度学习的稠密样本无透镜显微成像装置与方法
CN111221118A (zh) * 2020-02-26 2020-06-02 南京理工大学 一种基于相位编码单透镜的显微成像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116679436A (zh) * 2023-08-04 2023-09-01 杭州安劼医学科技有限公司 大景深3d手术显微系统
CN116679436B (zh) * 2023-08-04 2023-11-28 杭州安劼医学科技有限公司 大景深3d手术显微系统

Also Published As

Publication number Publication date
CN112835192B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
JP6244655B2 (ja) 画像処理装置および画像処理方法
CN111308690B (zh) 一种光场电子内窥设备及其成像方法
CN109413407B (zh) 高空间分辨率光场采集装置与图像生成方法
CN105637428B (zh) 全息三维显示系统和方法
CN108627962B (zh) 具有图像传感器和显示器的手术显微镜、以及操作手术显微镜的方法
WO2016045100A1 (zh) 全息三维信息采集、还原装置及方法
CN108055452A (zh) 图像处理方法、装置及设备
CN104849852A (zh) 基于相机阵列的光场显微成像系统及方法
US9282881B2 (en) 3D image shooting apparatus and endoscope
JP2013009274A (ja) 画像処理装置および画像処理方法、プログラム
CN108024054A (zh) 图像处理方法、装置及设备
CN109310278A (zh) 图像处理装置、图像处理方法、程序和图像处理系统
CN110431465A (zh) 用于拍摄和呈现样品的三维图像的显微镜装置
CN103888641A (zh) 图像处理装置及图像再对焦方法
Mignard-Debise et al. Light-field microscopy with a consumer light-field camera
JP2016225811A (ja) 画像処理装置、画像処理方法およびプログラム
CN112835192B (zh) 一种面向手术显微镜的立体图像互补增强装置及方法
WO2016166871A1 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
CN112068300B (zh) 基于医疗显微影像的快门式自适应3d显示系统
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
CN113436130A (zh) 一种非结构光场智能感知系统与装置
US20180160100A1 (en) Imaging system and method of producing context and focus images
Sánchez-Ortiga et al. Optical sectioning with a Wiener-like filter in Fourier integral imaging microscopy
US8593508B2 (en) Method for composing three dimensional image with long focal length and three dimensional imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240311

Address after: 314050 9F, No. 705, Asia Pacific Road, Nanhu District, Jiaxing City, Zhejiang Province

Patentee after: ZHEJIANG YANGTZE DELTA REGION INSTITUTE OF TSINGHUA University

Country or region after: China

Address before: No.152 Huixin Road, Nanhu District, Jiaxing City, Zhejiang Province 314000

Patentee before: ZHEJIANG FUTURE TECHNOLOGY INSTITUTE (JIAXING)

Country or region before: China