CN113534435B - 一种景深控制型超分辨率显微数字成像方法及系统 - Google Patents
一种景深控制型超分辨率显微数字成像方法及系统 Download PDFInfo
- Publication number
- CN113534435B CN113534435B CN202110771827.2A CN202110771827A CN113534435B CN 113534435 B CN113534435 B CN 113534435B CN 202110771827 A CN202110771827 A CN 202110771827A CN 113534435 B CN113534435 B CN 113534435B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- ultraviolet light
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 230000004304 visual acuity Effects 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 abstract description 12
- 210000004027 cell Anatomy 0.000 description 6
- 239000010410 layer Substances 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
Abstract
本发明涉及一种景深控制型超分辨率显微数字成像方法和系统,在通过标准白光下采集得第一图像的基础上,还包括通过所述显微镜成像传感器采集标本在中紫外光或远紫外光照射下的第二图像,建立关于第二图像的高斯核滤波图像,对所述第二图像中每一像素的Y值进行归一化处理,获得归一化后的Y值,结合第一图像原始参数获得目标图像。该系统包括显微镜成像传感器和标准白光照明组件,还包括紫外光源、控制单元和处理单元。通过本发明中的方法或系统,通过将紫外光环境下图像的Y通道解析力结合到标准白光下的图像中,实现了在不改变物镜数值孔径、不改变光学显微镜基本结构前提下,不仅能够提高其光学解析力,还能保持真彩色图像的色彩还原度。
Description
技术领域
本发明涉及一种显微镜电子图像处理领域,具体涉及一种景深控制型超分辨率显微数字成像方法及系统。
背景技术
光学显微镜的成像分辨力(最小可分辨的物体尺寸)主要受到物镜光学解析力限制。其中,物镜的光学解析力由其数值孔径和光源波长共同决定,数值孔径越高、光源波长越短、解析力越强。但是,数值孔径不仅有物理极限(空气介质下不超过1),而且提高其的成本很高;光源波长受到成像色彩范围限制,如果是典型的彩色图像,则必须选取400~700nm。因此,物镜光学解析力提升是困难的。
目前,提高光学显微镜图像分辨力的方法有CN106104356B、CN212276089U的共聚焦显微镜,本质是结构化光源和成像系统以抑制衍射,从结构、使用方法到成本超出了一般光学显微镜的结构范畴;或者类似CN112200152A的插值法,本质是对超分辨率细节的预测,存在很高的制造伪影、噪声风险,无法用于医学诊断。
另一方面,透射式显微镜(对应于反射式)的成像是样本切片垂直方向上所有物质遮挡光源效果的叠加。极薄的切片(如经由石蜡包埋技术制备,且切片均一度高的病理学切片,厚度10微米以下)可以视为厚度为0,但较厚的切片(如冰冻制片技术制备,可厚达50微米)的厚度不可忽略。当厚度较大,多层样本叠加时,显微镜成像的结果就是其模糊叠加的效果,会遮掩图像中的细节。前述共聚焦显微镜可以解决此问题,但其缺陷已在前文阐述。
发明内容
本发明要解决的技术问题是:提出一种如何既不改变物镜数值孔径,也不改变光学显微镜基本结构的前提下,提高既有显微镜光学解析力的方法及系统。
本发明为解决上述技术问题提出的技术方案(一)是:一种景深控制型超分辨率显微数字成像方法,在通过显微镜成像传感器在标准白光下采集得第一图像的基础上,还包括以下特征步骤:
通过所述显微镜成像传感器采集标本在中紫外光或远紫外光照射下的第二图像,所述中紫外光或远紫外光的光源与所述显微镜成像传感器位于所述标本同一侧;
若所述采集得的所述第一图像为非YUV图像,将第一图像转换为YUV(亦称YCbCr)色域图像,第一图像中任一像素的Y值记为Y1,x,y,所述第一图像中任一像素的U值记为U1,x,y,所述第一图像中任一像素的V值记为V1,x,y;
若所述采集得的所述第二图像为非YUV图像,将第二图像转换为YUV色域图像,第二图像中任一像素的Y值记为Y2,x,y;
建立关于第二图像的高斯核滤波图像,即用二维高斯核矩阵与第二图像进行卷积运算,建立时所采用的高斯核矩阵计算方法为:已知传感器象元尺寸p纳米,物镜的红光解析力为q纳米,预设效正系数u,则高斯核半径r为(uq/p)个像素向上取整,所述高斯核滤波图像中的任一像素的Y值记为YGaussian,x,y;
对所述第二图像中每一像素的Y值进行归一化处理,获得归一化后的Y值Ynorm,x,y;
通过所述Ynorm,x,y、U1,x,y和V1,x,y,获得目标图像。
进一步的,在获取第二图像后,还进行图像相位修正,
在所述图像相位修正时,利用SURF特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配,
在对准匹配后,仅保留第一图像和第二图像均包括的图像像素点信息,并重新统计保留后的所有像素的x轴和y轴位置信息。
进一步的,在对所述第二图像进行所述归一化处理时,Ynorm,x,y=Y2,x,y/YGaussian,x,y*Y1,x,y。
进一步的,在通过所述SURF特征点匹配时,先在第一图像中提取出第一组特征点,再在第二图像中通过相同方法也提取出相同的第二组特征点,通过所述两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息,
并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其X轴和Y轴位置信息。
进一步的,所述特征点提取采用自适应门限策略,所述自适应门限策略进行特征点提取时,
在每幅图像内使用SURF或SIFT特征点处理算法,计算每个像素点的特征点显著性,所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式;
预设特征点数目上限值Kmax以限制计算负荷上限,以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin;
将每幅图像割为若干相互重叠的区域,在每个区域检验是否所有像素特征显著性均小于Tmin,也即是否为空白区域;记空白区域数目在总区域数的比例p,进而计算预期的特征点数目Kexp=(1-p)Kmax;
将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列,取其前Kexp个为此视野最终特征点集合,使用特征点描述向量记录特征点临近像素点的时频域特性。
进一步的,在第二图像转换为YUV色域图像时,将第二图像中任一像素的U值和V值均记为0。
进一步的,所述在标准白光下是指在白光光源的照射或透射下,在前述照射时,所述白光光源与所述显微镜成像传感器位于所述标本同一侧,
在所述透射时,所述白光光源位于所述标本下方,所述显微镜成像传感器位于所述标本上方。
本发明为解决上述技术问题提出的技术方案(二)是:一种景深控制型超分辨率显微数字成像系统,该系统包括显微镜成像传感器和标准白光照明组件,还包括紫外光源、控制单元和处理单元,
所述紫外光源与所述显微镜成像传感器位于标本同一侧,所述紫外光源适于发出中紫外光或远紫外光照射所述标本的表面;
所述控制单元连接到所述标准白光照明组件、紫外光源和显微镜成像传感器的受控端,其控制逻辑包括:控制显微镜成像传感器采集标本在标准白光照射或透射下的第一图像;控制显微镜成像传感器采集标本在中紫外光或远紫外光照射下的第二图像;
所述处理单元包括色域转换模块、高斯核滤波模块、归一化处理模块和目标图像生成模块,
所述色域转换模块,适于在所述第一图像为非YUV图像时,将第一图像转换为YUV色域图像,第一图像中任一像素的Y值记为Y1,x,y,所述第一图像中任一像素的U值记为U1,x,y,所述第一图像中任一像素的V值记为V1,x,y;还适于在所述第二图像为非YUV图像时,将第二图像转换为YUV色域图像,第二图像中任一像素的Y值记为Y2,x,y;
所述高斯核滤波模块,适于建立关于第二图像的高斯核滤波图像,高斯核滤波图像中的任一像素的Y值记为YGaussian,x,y;
所述归一化处理模块,适于对所述第二图像中每一像素的Y值进行归一化处理,获得归一化后的Y值Ynorm,x,y,
所述目标图像生成模块,适于通过所述Ynorm,x,y、U1,x,y和V1,x,y,生成获得目标图像。
进一步的,
所述处理单元还包括图像相位修正模块,
所述图像相位修正模块,适于利用SURF特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配,在对准匹配后,仅保留第一图像和第二图像均包括的图像像素点信息,并重新统计保留后的所有像素的x轴和y轴位置信息。
进一步的,
所述图像相位修正模块在通过所述SURF特征点匹配时,先在第一图像中提取出第一组特征点,再在第二图像中通过相同方法也提取出相同的第二组特征点,通过所述两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息,
并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其X轴和Y轴位置信息。
本发明原理在于:
使用中紫外或远紫外光源(如220nm波长)进行反射式照明,以高分辨率CMOS成像传感器采集高解析力灰度图像(图像2)。这一设计的目的有三:
1).由于深紫外波长远短于彩色光波长(400~700nm),其解析力因此远高(2至3倍)。同时由于波长,其衍射能力低,因而穿透力弱,对于显微镜这样的投射成像系统,多数色彩的样本都会对深紫外光发生反射或吸收,而非透射。
2).少量透射的紫外光会在透射过程中被上层样本吸收(约表面10微米),不会照亮下层样本,即将景深严格控制在表层。
3).对透明/半透明样本,其透明部分更多呈现为供参考的背景,无需丰富细节(如细胞液染色以确定细胞型类),其不透明的结构才包含需仔细观察的细节(如细胞核分裂和细胞颗粒),因此用于提供高解析力的紫外反射图像只需能区分不透明部分即可,透明部分的不成像不影响观察细节。
尽管不同色彩样本的绝对反射率不同,但在局部而言,相邻像素的相对反射率的差异正比于其浓度,即与彩色图像中Y通道的梯度成比例,因而紫外成像中Y通道的梯度可以用来估算彩色成像中Y通道的梯度。对于显微图像中的细节,例如细胞核和极小的颗粒形态,其色彩(即UV或CbCr)在局部变化极小,并且人眼对色彩的敏感性远低于明暗(即Y),因而UV通道较低的解析力没有影响,提高Y通道解析力即可提高画面整体解析力。
本发明的有益效果是:
通过本发明中的方法或系统,通过将紫外光环境下图像的Y通道解析力结合到标准白光下的图像中,实现了在不改变物镜数值孔径、不改变光学显微镜基本结构前提下,不仅能够提高其光学解析力,还能保持真彩色图像的色彩还原度(并且本发明中技术方案可适用于近乎透明的样本)。当样本厚度较大时,只采集表层样本图像,排除了大厚度样本的多层结构对成像的干扰。
附图说明
下面结合附图对本发明的景深控制型超分辨率显微数字成像方法及系统作进一步说明。
图1是本发明中景深控制型超分辨率显微数字成像系统显微镜部的结构示意图(白光反射场景);
图2是本发明中景深控制型超分辨率显微数字成像系统显微镜部的结构示意图(白光透射场景);
图3是本发明中景深控制型超分辨率显微数字成像系统显微镜部的结构示意图(紫外光照射示意场景);
图4是本发明的系统框图。
具体实施方式
根据图1所示,本发明涉及的景深控制型超分辨率显微数字成像系统,包括显微镜成像传感器(图中即摄像头)和标准白光照明组件(即图中RGB光源,其中,RGB光源可以为一组,亦可以为两组甚至多组),系统还包括紫外光源、控制单元和处理单元。
通过前述系统,主要实现本发明的景深控制型超分辨率显微数字成像方法,该方法包括以下步骤(即通过前述控制单元和处理单元亦实现以下步骤):
步骤:在通过显微镜成像传感器在标准白光下采集得第一图像的基础上。可以作为优选的是:前述在标准白光下是指在白光光源的照射或透射下。具体选择时的策略为:对透明/半透明样本,白色光源进行透射式照明;对不透明样本,进行反射式照明。如图1所示,在照射时,白光光源与显微镜成像传感器位于标本同一侧。如图2所示,在透射时,白光光源位于标本下方,显微镜成像传感器位于标本上方。
步骤:通过显微镜成像传感器采集标本在中紫外光或远紫外光(如220nm波长)照射下的第二图像,如图3所示,中紫外光或远紫外光的光源(即图中UV)与显微镜成像传感器位于标本同一侧。
由于深紫外波长远短于彩色光波长(400~700nm),其解析力因此远高于白光照射下照片(2至3倍)。由于深紫外的穿透力弱,对于显微镜这样的投射成像系统,多数色彩的样本都会对深紫外光发生反射。紫外光会被上层样本吸收(约表面10微米),不会照亮下层样本,即将景深严格控制在表层。对透明/半透明样本,其透明部分更多呈现为供参考的背景,无需丰富细节(如细胞液染色以确定细胞型类),其不透明的结构才包含需仔细观察的细节(如细胞核分裂和细胞颗粒),因此用于提供高解析力的紫外反射图像只需能区分不透明部分即可,透明部分的不成像不影响观察细节。
步骤:若采集得的第一图像为非YUV(亦称YCbCr)图像,将第一图像转换为YUV色域图像,第一图像中任一像素的Y值记为Y1,x,y,第一图像中任一像素的U值记为U1,x,y,第一图像中任一像素的V值记为V1,x,y。
若采集得的第二图像为非YUV图像,将第二图像转换为YUV色域图像,第二图像中任一像素的Y值记为Y2,x,y。因为仅关注第二图像的解析力信息,因此可以作为优选的是:在第二图像转换为YUV色域图像时,可以直接将第二图像中任一像素的U值和V值均记为0。
在本方法中,若在第一图像与第二图像的获取过程中,机械系统发生抖动,造成两幅图片在实际内容上存在偏差,那么可以进行的优选步骤是:在获取第二图像后,还进行图像相位修正。在图像相位修正时,利用SURF特征点匹配或最大互信息法(即搜索得到使两幅图像互信息最大化的像素偏移量。每两幅图像互信息的计算方法为:设两幅图像同一坐标处的Y值联合分布为p(x,z),边缘分布为p(x)和p(y),互信息I(X,Z)计算公式为将第一图像与第二图像进行对准匹配,在对准匹配后,仅保留第一图像和第二图像均包括的图像像素点信息,并重新统计保留后的所有像素的x轴和y轴位置信息。
若选用SURF特征点匹配方法进行修正,可以进一步的优选的是:在通过SURF特征点匹配时,先在第一图像中提取出第一组特征点,再在第二图像中通过相同方法也提取出相同的第二组特征点,通过两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息。并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其X轴和Y轴位置信息。
关于特征点提取,具体可以优选的是:特征点提取采用自适应门限策略,自适应门限策略进行特征点提取时,
在每幅图像内使用SURF或SIFT特征点处理算法,计算每个像素点的特征点显著性,显著性的数学含义是这个像素点的Hessian特征矩阵的行列式;
预设特征点数目上限值Kmax以限制计算负荷上限,以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin;
将每幅图像割为若干相互重叠的区域,在每个区域检验是否所有像素特征显著性均小于Tmin,也即是否为空白区域;记空白区域数目在总区域数的比例p,进而计算预期的特征点数目Kexp=(1-p)Kmax;
将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列,取其前Kexp个为此视野最终特征点集合,使用特征点描述向量记录特征点临近像素点的时频域特性。
关于图像匹配修正,此为现有技术,在申请人此前提交的专利申请中亦有对此进行描述,因此在此不再赘述。
步骤:建立关于第二图像的高斯核滤波图像,即用二维高斯核矩阵与第二图像进行卷积运算。建立时所采用的高斯核矩阵计算方法为:已知传感器象元尺寸p纳米,物镜的红光解析力为q纳米(该红光可为波长700纳米),预设效正系数u,则高斯核半径r为(uq/p)个像素向上取整。根据高斯核半径r,可计算高斯方差为σ=r/3,按照标准公式,长宽均为r的二维高斯核矩阵中各个元素的值为exp(-d^2/2/σ^2)/σ/sqrt(2π),其中d是元素到矩阵中心的距离,exp()是自然指数函数,sqrt()是开根号计算。这一计算将短波长的紫外光近似视为理想的无衍射成像(物体上每一个点在传感器上呈现为一个点,各点间互不影响),而长波长的彩色光(以红色为最长)发生了衍射(其物体上每一个点在传感器上呈现为点扩散函数而向周围像素扩散,发生相互干扰),则紫外向彩色图像之间的转换过程就是高斯核滤波。高斯核滤波图像中的任一像素的Y值记为YGaussian,x,y。
步骤:对第二图像中每一像素的Y值进行归一化处理,获得归一化后的Y值Ynorm,x,y。具体可以作为优选的是:在对第二图像进行归一化处理时,Ynorm,x,y=Y2,x,y/YGaussian,x,y*Y1,x,y。
步骤:通过Ynorm,x,y、U1,x,y和V1,x,y,获得目标图像。在获得目标图像时,可以通过Ynorm,x,y、U1,x,y和V1,x,y信息重新生成一幅新的图像,亦可以复制第一图像信息并将其中的Y1,x,y替换成对应的Ynorm,x,y,U1,x,y和V1,x,y信息保持不变。
处理单元主要用于实现上述步骤中的方法,具体处理单元包括:色域转换模块、高斯核滤波模块、归一化处理模块和目标图像生成模块。具体概括如下:
色域转换模块,适于在第一图像为非YUV图像时,将第一图像转换为YUV色域图像,第一图像中任一像素的Y值记为Y1,x,y,第一图像中任一像素的U值记为U1,x,y,第一图像中任一像素的V值记为V1,x,y;还适于在第二图像为非YUV图像时,将第二图像转换为YUV色域图像,第二图像中任一像素的Y值记为Y2,x,y。
高斯核滤波模块,适于建立关于第二图像的高斯核滤波图像,高斯核滤波图像中的任一像素的Y值记为YGaussian,x,y。
归一化处理模块,适于对第二图像中每一像素的Y值进行归一化处理,获得归一化后的Y值Ynorm,x,y,
目标图像生成模块,适于通过Ynorm,x,y、U1,x,y和V1,x,y,生成获得目标图像。
如前所述,为解决可能出现的机械系统抖动影响成像,对于处理单元还可以包括图像相位修正模块,
图像相位修正模块,适于利用SURF特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配,在对准匹配后,仅保留第一图像和第二图像均包括的图像像素点信息,并重新统计保留后的所有像素的x轴和y轴位置信息。
图像相位修正模块在通过SURF特征点匹配时,先在第一图像中提取出第一组特征点,再在第二图像中通过相同方法也提取出相同的第二组特征点,通过两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息,
并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其X轴和Y轴位置信息。
系统框图如图4所示。
本发明的不局限于上述实施例,本发明的上述各个实施例的技术方案彼此可以交叉组合形成新的技术方案,另外凡采用等同替换形成的技术方案,均落在本发明要求的保护范围内。
Claims (10)
1.一种景深控制型超分辨率显微数字成像方法,在通过显微镜成像传感器在标准白光下采集得第一图像的基础上,还包括以下特征步骤:
通过所述显微镜成像传感器采集标本在中紫外光或远紫外光照射下的第二图像,所述中紫外光或远紫外光的光源与所述显微镜成像传感器位于所述标本同一侧;
若所述采集得的所述第一图像为非YUV图像,将第一图像转换为YUV色域图像,第一图像中任一像素的Y值记为Y1,x,y,所述第一图像中任一像素的U值记为U1,x,y,所述第一图像中任一像素的V值记为V1,x,y;
若所述采集得的所述第二图像为非YUV图像,将第二图像转换为YUV色域图像,第二图像中任一像素的Y值记为Y2,x,y;
建立关于第二图像的高斯核滤波图像,即用二维高斯核矩阵与第二图像进行卷积运算,建立时所采用的高斯核矩阵计算方法为:已知传感器象元尺寸p纳米,物镜的红光解析力为q纳米,预设效正系数u,则高斯核半径r为(uq/p)个像素向上取整,所述高斯核滤波图像中的任一像素的Y值记为YGaussian,x,y;
对所述第二图像中每一像素的Y值进行归一化处理,获得归一化后的Y值Ynorm,x,y;
通过所述Ynorm,x,y、U1,x,y和V1,x,y,获得目标图像。
2.根据权利要求1所述景深控制型超分辨率显微数字成像方法,其特征在于:在获取第二图像后,还进行图像相位修正,
在所述图像相位修正时,利用SURF特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配,
在对准匹配后,仅保留第一图像和第二图像均包括的图像像素点信息,并重新统计保留后的所有像素的x轴和y轴位置信息。
3.根据权利要求1所述景深控制型超分辨率显微数字成像方法,其特征在于:在对所述第二图像进行所述归一化处理时,Ynorm,x,y=Y2,x,y/YGaussian,x,y*Y1,x,y。
4.根据权利要求2所述景深控制型超分辨率显微数字成像方法,其特征在于:在通过所述SURF特征点匹配时,先在第一图像中提取出第一组特征点,再在第二图像中通过相同方法也提取出相同的第二组特征点,通过所述两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息,
并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其X轴和Y轴位置信息。
5.根据权利要求4所述景深控制型超分辨率显微数字成像方法,其特征在于:
所述特征点提取采用自适应门限策略,所述自适应门限策略进行特征点提取时,
在每幅图像内使用SURF或SIFT特征点处理算法,计算每个像素点的特征点显著性,所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式;
预设特征点数目上限值Kmax以限制计算负荷上限,以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin;
将每幅图像割为若干相互重叠的区域,在每个区域检验是否所有像素特征显著性均小于Tmin,也即是否为空白区域;记空白区域数目在总区域数的比例p,进而计算预期的特征点数目Kexp=(1-p)Kmax;
将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列,取其前Kexp个为此视野最终特征点集合,使用特征点描述向量记录特征点临近像素点的时频域特性。
6.根据权利要求1所述景深控制型超分辨率显微数字成像方法,其特征在于:在第二图像转换为YUV色域图像时,将第二图像中任一像素的U值和V值均记为0。
7.根据权利要求1所述景深控制型超分辨率显微数字成像方法,其特征在于:所述在标准白光下是指在白光光源的照射或透射下,在前述照射时,所述白光光源与所述显微镜成像传感器位于所述标本同一侧,
在所述透射时,所述白光光源位于所述标本下方,所述显微镜成像传感器位于所述标本上方。
8.一种景深控制型超分辨率显微数字成像系统,该系统包括显微镜成像传感器和标准白光照明组件,其特征在于:还包括紫外光源、控制单元和处理单元,
所述紫外光源与所述显微镜成像传感器位于标本同一侧,所述紫外光源适于发出中紫外光或远紫外光照射所述标本的表面;
所述控制单元连接到所述标准白光照明组件、紫外光源和显微镜成像传感器的受控端,其控制逻辑包括:控制显微镜成像传感器采集标本在标准白光照射或透射下的第一图像;控制显微镜成像传感器采集标本在中紫外光或远紫外光照射下的第二图像;
所述处理单元包括色域转换模块、高斯核滤波模块、归一化处理模块和目标图像生成模块,
所述色域转换模块,适于在所述第一图像为非YUV图像时,将第一图像转换为YUV色域图像,第一图像中任一像素的Y值记为Y1,x,y,所述第一图像中任一像素的U值记为U1,x,y,所述第一图像中任一像素的V值记为V1,x,y;还适于在所述第二图像为非YUV图像时,将第二图像转换为YUV色域图像,第二图像中任一像素的Y值记为Y2,x,y;
所述高斯核滤波模块,适于建立关于第二图像的高斯核滤波图像,高斯核滤波图像中的任一像素的Y值记为YGaussian,x,y;
所述归一化处理模块,适于对所述第二图像中每一像素的Y值进行归一化处理,获得归一化后的Y值Ynorm,x,y,
所述目标图像生成模块,适于通过所述Ynorm,x,y、U1,x,y和V1,x,y,生成获得目标图像。
9.根据权利要求8所述景深控制型超分辨率显微数字成像系统,其特征在于:
所述处理单元还包括图像相位修正模块,
所述图像相位修正模块,适于利用SURF特征点匹配或最大互信息法将第一图像与第二图像进行对准匹配,在对准匹配后,仅保留第一图像和第二图像均包括的图像像素点信息,并重新统计保留后的所有像素的x轴和y轴位置信息。
10.根据权利要求9所述景深控制型超分辨率显微数字成像系统,其特征在于:
所述图像相位修正模块在通过所述SURF特征点匹配时,先在第一图像中提取出第一组特征点,再在第二图像中通过相同方法也提取出相同的第二组特征点,通过所述两组特征点的匹配比较获得第一图像和第二图像之间的相对位移信息,
并以该相对位移信息统计出第一图像和第二图像中均包括的图像像素点及其X轴和Y轴位置信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110771827.2A CN113534435B (zh) | 2021-07-08 | 2021-07-08 | 一种景深控制型超分辨率显微数字成像方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110771827.2A CN113534435B (zh) | 2021-07-08 | 2021-07-08 | 一种景深控制型超分辨率显微数字成像方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113534435A CN113534435A (zh) | 2021-10-22 |
CN113534435B true CN113534435B (zh) | 2024-03-26 |
Family
ID=78127080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110771827.2A Active CN113534435B (zh) | 2021-07-08 | 2021-07-08 | 一种景深控制型超分辨率显微数字成像方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113534435B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3037861A1 (en) * | 2014-12-23 | 2016-06-29 | Commissariat à l'Énergie Atomique et aux Énergies Alternatives | Imaging method, and system, for obtaining an super-resolution image of an object |
WO2017196885A1 (en) * | 2016-05-10 | 2017-11-16 | The Regents Of The University Of California | Method and device for high-resolution color imaging using merged images from holographic and lens-based devices |
CN109752835A (zh) * | 2019-03-25 | 2019-05-14 | 南京泰立瑞信息科技有限公司 | 一种显微镜局部视野的x、y轴定位控制方法及系统 |
CN211626406U (zh) * | 2020-03-30 | 2020-10-02 | 阳宇春 | 计量级3d超景深干涉显微系统 |
-
2021
- 2021-07-08 CN CN202110771827.2A patent/CN113534435B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3037861A1 (en) * | 2014-12-23 | 2016-06-29 | Commissariat à l'Énergie Atomique et aux Énergies Alternatives | Imaging method, and system, for obtaining an super-resolution image of an object |
WO2017196885A1 (en) * | 2016-05-10 | 2017-11-16 | The Regents Of The University Of California | Method and device for high-resolution color imaging using merged images from holographic and lens-based devices |
CN109752835A (zh) * | 2019-03-25 | 2019-05-14 | 南京泰立瑞信息科技有限公司 | 一种显微镜局部视野的x、y轴定位控制方法及系统 |
CN211626406U (zh) * | 2020-03-30 | 2020-10-02 | 阳宇春 | 计量级3d超景深干涉显微系统 |
Non-Patent Citations (1)
Title |
---|
张东玲,贺锋涛,冯晓强,侯洵.高分辨率蓝光光学显微测量系统.应用光学.2005,(第03期),60-62. * |
Also Published As
Publication number | Publication date |
---|---|
CN113534435A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4081932A1 (en) | Method and system for digital staining of microscopy images using deep learning | |
US9881373B2 (en) | Image generating apparatus and image generating method | |
JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
CN110806636B (zh) | 显微镜分析方法 | |
CN105894483B (zh) | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 | |
CN107677216A (zh) | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 | |
CN105472265B (zh) | 一种获取高动态范围图像的装置和方法 | |
EP2926558B1 (en) | A method and system for extended depth of field calculation for microscopic images | |
Shah et al. | Identification of robust focus measure functions for the automated capturing of focused images from Ziehl–Neelsen stained sputum smear microscopy slide | |
CN112330613B (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
CN114424102A (zh) | 用于在自动聚焦系统中使用的图像处理装置和方法 | |
US20220351347A1 (en) | Computational refocusing-assisted deep learning | |
Wang et al. | A novel low rank smooth flat-field correction algorithm for hyperspectral microscopy imaging | |
CN113534435B (zh) | 一种景深控制型超分辨率显微数字成像方法及系统 | |
Shaw et al. | Optical mesoscopy, machine learning, and computational microscopy enable high information content diagnostic imaging of blood films | |
Abraham et al. | Applications of artificial intelligence for image enhancement in pathology | |
Ali et al. | Lidn: a novel light invariant image dehazing network | |
CN113504635B (zh) | 一种透射式超分辨率显微数字成像方法及系统 | |
Kang et al. | Camera model identification using a deep network and a reduced edge dataset | |
Bagui et al. | Red blood cells counting by circular Hough transform using multispectral images | |
Saini et al. | A comparative study of different auto-focus methods for mycobacterium tuberculosis detection from brightfield microscopic images | |
Yang et al. | Multi-scale underwater image enhancement with optimized homomorphic filter and RGB color correction | |
CN113408545B (zh) | 一种基于微光学器件的端到端光电检测系统及方法 | |
Kaur et al. | Underwater images quality improvement techniques for feature extraction based on comparative analysis for species classification | |
CN111489325B (zh) | 一种甲亢疾病即时鉴定装置及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |