CN116152132A - 一种显微镜图像的景深叠加方法、装置及设备 - Google Patents

一种显微镜图像的景深叠加方法、装置及设备 Download PDF

Info

Publication number
CN116152132A
CN116152132A CN202310416255.5A CN202310416255A CN116152132A CN 116152132 A CN116152132 A CN 116152132A CN 202310416255 A CN202310416255 A CN 202310416255A CN 116152132 A CN116152132 A CN 116152132A
Authority
CN
China
Prior art keywords
image
depth
field
layer
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310416255.5A
Other languages
English (en)
Other versions
CN116152132B (zh
Inventor
张平
谢时灵
丹尼什·马苏德
范庆韬
石佳
张静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Stars Bioindustry Co ltd
Shandong Shidasi Medical Technology Co ltd
Original Assignee
Shandong Stars Bioindustry Co ltd
Shandong Shidasi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Stars Bioindustry Co ltd, Shandong Shidasi Medical Technology Co ltd filed Critical Shandong Stars Bioindustry Co ltd
Priority to CN202310416255.5A priority Critical patent/CN116152132B/zh
Publication of CN116152132A publication Critical patent/CN116152132A/zh
Application granted granted Critical
Publication of CN116152132B publication Critical patent/CN116152132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种显微镜图像的景深叠加方法、装置及设备，涉及图像处理技术领域，该方法包括如下操作：S1：采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列；S2：所述图像序列经对齐后，得到对齐图像序列；S3：所述对齐图像序列经第一景深叠加后，得到第一景深叠加图像；S4：所述对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像；S5：所述第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。提高了显微图像中景深叠加后目标物的清晰度、锐利度和色彩饱和度，提高了成像质量。

Description

一种显微镜图像的景深叠加方法、装置及设备
技术领域
本发明涉及图像处理技术领域，具体为一种显微镜图像的景深叠加方法、装置及设备。
背景技术
女性生殖道分泌物标本革兰染色法的普通光学显微镜下的形态学检测是判断妇科生殖道微生态领域的女性生殖道炎症等病症的重要方法。随着计算机视觉技术的进步，获取生物标本玻片显微镜下的更清晰有效的图像成为了医疗行业的重要技术和方法，其中显微镜下不同景深（或称不同焦平面）图像的景深叠加是一个重要的研究领域。
由于由女性生殖道分泌物经革兰染色法的制作的标本玻片在不同焦平面上呈现的细菌、细胞、病原体等形态的完整性和清晰度是不同的，所以将不同景深的图像叠加成一张图片，来同时全面的展示细菌、细胞、病原体的整体形态成为一个重要的课题。对于景深叠加的方法，标准的基于拉普拉斯金字塔的景深叠加是其中经典的方法之一，该方法运行效率高，是常选用的方法，但是在将该方法应用到女性生殖道分泌物革兰氏染色显微图像的景深的叠加上，其结果图中的目标物的锐利度和彩色饱和度较低。
发明内容
本发明的目的是提供一种显微镜图像的景深叠加方法、装置及设备。
本发明提供一种显微镜图像的景深叠加方法，包括如下操作：
S1：采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列；
S2：所述图像序列经对齐后，得到对齐图像序列；
S3：所述对齐图像序列经第一景深叠加后，得到第一景深叠加图像；
S4：所述对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像；
S5：所述第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。
如上所述的景深叠加方法，所述S2的操作具体为：选定所述图像序列中的一个图像，分别计算所述图像序列中其他图像针对选定图像的仿射变换，根据所述仿射变换对其他图像进行转换，获得所述对齐图像序列。
如上所述的景深叠加方法，所述S3的操作具体为：对所述对齐图像序列中的每一张图像进行多层分解，获得多层图像序列；计算所述多层图像序列中，所有多层图像的最后一层子图像相应位置的平均值，得到最后一层图像；接着计算所述多层图像序列中，所有多层图像的其它层子图像相应位置的绝对值最大值，得到其它层多层图像；所述最后一层图像和其它层多层图像经重构后，获得所述第一景深叠加图像。
如上所述的景深叠加方法，其特征在于，所述S4的操作具体为：依据通道的种类，对所述对齐图像序列中的通道进行分离后，进行同种类的通道归类，得到通道组序列；根据像素值大小，对所述通道组序列中的通道进行排序，得到排序通道组序列；提取所述排序通道组序列中不同种类通道组内像素值最小的通道，经合并后，获得所述像素值最小通道的彩色图像。
其中，所述通道的种类依据颜色划分，所述颜色包括蓝色、绿色和红色。
如上所述的景深叠加方法，所述S5的操作具体为：分别对第一景深叠加图像和像素最小值通道的彩色图像进行多层分解，获得第一景深叠加多层图像和像素最小值通道的彩色多层图像；计算所述第一景深叠加多层图像的最后一层子图像，与所述像素最小值通道的彩色多层图像的最后一层子图像相应位置的平均值，获得尾层图像；计算所述第一景深叠加多层图像的其它层子图像，与所述像素最小值通道的彩色多层图像的其他层子图像相应位置的绝对值最大值，得到非尾层多层图像；所述尾层图像和非尾层多层图像经重构后，获得所述第二景深叠加图像。
如上所述的景深叠加方法，所述S1中图像序列中的每个图像的分辨率都相同。
本发明提供一种显微镜图像的景深叠加装置，包括：
图像序列生成模块，用于采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列；
对齐图像序列生成模块，用于实现所述图像序列经对齐后，得到对齐图像序列；
第一景深叠加图像生成模块，用于实现所述对齐图像序列经第一景深叠加后，得到第一景深叠加图像；
像素最小值通道的彩色图像生成模块，用于实现所述对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像；
第二景深叠加图像生成模块，用于实现所述第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。
本发明提供一种显微镜图像的景深叠加设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的一种显微镜图像的景深叠加方法。
本发明提供一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的一种显微镜图像的景深叠加方法。
本发明的有益效果在于：本发明提供的一种显微镜图像的景深叠加方法，对齐处理含有不同景深（焦平面）图像的图像序列后，分别经第一景深叠加处理和通道提取处理后获得第一景深叠加图像与像素最小值通道的彩色图像后，然后再第二景深叠加处理第一景深叠加图像与像素最小值通道的彩色图像，可获得了最终想要得到的第二景深叠加图像，该方法来提高了显微图像中景深叠加后图像中目标物的清晰度、锐利度和色彩饱和度，提高了成像质量，对后续的目标物特征的提取和观察、目标物的分割和检测提供重要的保障。
附图说明
通过阅读下文优选实施方式的详细描述，本发明的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为实施例中景深叠加方法的流程示意图；
图2为实施例中将对齐图像序列分离通道并组成蓝色通道组、绿色通道组、红色通道组的过程示意图；
图3为实施例中形成像素值最小通道的彩色图像的过程示意图；
图4为实施例中革兰氏染色较浅的图像序列效果图；
图5为实施例中针对图4得到的对齐图像序列的效果图；
图6为实施例中针对图5进行标准的基于拉普拉斯金字塔的景深叠加后，得到的第一景深叠加图像的效果图；
图7为实施例中针对图5所示的对齐图像序列组成蓝色通道组、绿色通道组、红色通道组的过程示意图；
图8为实施例中针对图5得到的像素值最小通道的彩色图像的过程示意图；
图9为实施例中针对图5得到的像素值最小通道的彩色图像的效果图；
图10为实施例中图6和图9经第二景深叠加的过程示意图；
图11为实施例中针对图4得到的第二景深叠加图像的效果图；
图12为实施例中以图6为底图，在图上选取a和b两处细节的效果图；
图13为实施例中以图11为底图，在图上选取a和b两处细节的效果图；
图14为实施例中图12和图13的a处细节的放大图的效果图，m图为图12的a处细节的放大图，n图为图13的a处细节的放大图；
图15为实施例中图12和图13的b处细节的放大图的效果图，m图为图12的b处细节的放大图，n图为图13的b处细节的放大图；
图16实施例中景深叠加装置的结构示意图；
图17实施例中景深叠加设备的结构示意图。
具体实施方式
下面将结合附图更详细地描述本公开的示例性实施方式。
本发明提供一种显微镜图像的景深叠加方法，参见图1，包括如下操作：
S1：采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列；
S2：所述图像序列经对齐后，得到对齐图像序列；
S3：所述对齐图像序列经第一景深叠加后，得到第一景深叠加图像；
S4：所述对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像；
S5：所述第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。
S1 采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列。
具体为，在同一视野下，微调焦距，采集
Figure SMS_1
张显微镜下生殖道分泌物标本不同景深（焦平面）的图像，在不同的焦平面上可以看到不同清晰度的目标物，组成含有/>
Figure SMS_2
张图像的图像序列，记为/>
Figure SMS_3
。/>
图像序列中的每个图像的分辨率都相同。分辨率为高1200，宽1600。
S2 图像序列经对齐后，得到对齐图像序列。
在微调焦距采集图像序列的过程中，不同图像之间会有相应的一个仿射变换，需要根据该仿射变换对图像进行变换，完成图像序列的对齐操作。
选定图像序列中的一个图像，分别计算图像序列中其他图像针对选定图像的仿射变换，根据仿射变换对其他图像进行转换，获得对齐图像序列。
具体为，选定图像序列
Figure SMS_4
中任意一个图像，利用最大化增强相关性系数算法（Enhanced Correlation Coefficient Maximization），计算图像序列中其他图像针对选定图像的仿射变换，接着根据仿射变换对对应的其他图像进行转换，获得对齐图像序列，记为/>
Figure SMS_5
，其中/>
Figure SMS_6
代表对齐图像序列中的第/>
Figure SMS_7
张图像。
S3 对齐图像序列经第一景深叠加后，得到第一景深叠加图像。
S31 对对齐图像序列中的每一张图像进行多层分解，获得多层图像序列。
具体为，对对齐图像序列
Figure SMS_8
中的每一张图像进行/>
Figure SMS_9
层的拉普拉斯金字塔分解，获得的多层图像序列，多层图像序列中的每一张图像都有/>
Figure SMS_10
层。
S32 计算多层图像序列中，所有多层图像的最后一层子图像相应位置的平均值，得到最后一层图像。
具体为，针对最后一层第
Figure SMS_11
层，计算所有多层图像的最后一层子图像中相应位置的平均值，基于平均值，构建一个新的一层图像，即最后一层图像。
S33 接着计算多层图像序列中，所有多层图像的其它层子图像相应位置的绝对值最大值，得到其它层多层图像。
具体为，针对第
Figure SMS_12
至/>
Figure SMS_13
层，计算所有多层图像的其它层子图像相应位置的绝对值最大值，基于/>
Figure SMS_14
个绝对值最大值，构建出了一个新的/>
Figure SMS_15
至/>
Figure SMS_16
层的多层图像，即其它层多层图像。
S34 最后一层图像和其它层多层图像经重构后，获得第一景深叠加图像。
将其它层多层图像与最后一层图像结合，构建出了一个新的含有
Figure SMS_17
层的拉普拉斯金字塔，经重构后，即得第一景深叠加图像，该第一景深叠加图像综合了不同焦平面上的清晰目标物。
S4 对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像。
S41 依据通道的种类，对对齐图像序列中的通道进行分离后，进行同种类的通道归类，得到通道组序列。
通道的种类依据颜色划分，颜色包括蓝色、绿色和红色。
具体为，根据通道颜色（蓝色、绿色和红色），将对齐图像序列
Figure SMS_18
中的通道进行分离，然后根据通道颜色将通道进行同种颜色归类，得到通道组序列，通道组序列由3种不同颜色通道组组成，即蓝色通道组/>
Figure SMS_19
，绿色通道组
Figure SMS_20
，红色通道组/>
Figure SMS_21
，该过程的的大体示意图如图2所示。/>
S42 根据像素值大小，对通道组序列中的通道进行排序，得到排序通道组序列。
具体为，依据通道对应位置的像素值大小，分别对通道组序列中的蓝色通道组
Figure SMS_22
，绿色通道组/>
Figure SMS_23
，红色通道组
Figure SMS_24
内的通道进行像素值从小到大的降序排序，得到排序通道组序列，排序通道组序列中由排序蓝色通道组、排序绿色通道组和排序红色通道组组成。
即对任意的像素位置
Figure SMS_25
，对/>
Figure SMS_27
进行降序排序，排序后结果记为排序蓝色通道组/>
Figure SMS_30
，所以，/>
Figure SMS_31
，同样，对/>
Figure SMS_32
进行降序排序，排序后结果记为排序绿色通道组/>
Figure SMS_33
，所以，/>
Figure SMS_34
，对/>
Figure SMS_26
进行降序排序，排序后结果记为排序红色通道组/>
Figure SMS_28
，所以/>
Figure SMS_29
。
S43 提取排序通道组序列中不同种类通道组内像素值最小的通道，经合并后，获得像素值最小通道的彩色图像。
分别抽取排序通道组序列中排序蓝色通道组、排序绿色通道组和排序红色通道组内像素值最小的通道
Figure SMS_36
、/>
Figure SMS_38
和/>
Figure SMS_40
，/>
Figure SMS_41
为蓝色组像素值最小通道，/>
Figure SMS_42
为绿色组像素值最小通道，/>
Figure SMS_43
记为红色组像素值最小通道；将/>
Figure SMS_44
、/>
Figure SMS_35
和/>
Figure SMS_37
这三个通道合并为一幅新的三通道彩色图像，生成了像素值最小通道的彩色图像，记为/>
Figure SMS_39
，该过程的大体示意图如图3所示。
S5 第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。
S51 分别对第一景深叠加图像和像素最小值通道的彩色图像进行多层分解，获得第一景深叠加多层图像和像素最小值通道的彩色多层图像。
具体为，对第一景深叠加图像和像素最小值通道的彩色图像进行L层拉普拉斯金字塔分解，获得第一景深叠加多层图像和像素最小值通道的彩色多层图像。
S52 计算第一景深叠加多层图像的最后一层子图像，与像素最小值通道的彩色多层图像的最后一层子图像相应位置的平均值，获得尾层图像。
具体为，针对第
Figure SMS_45
层，计算第一景深叠加多层图像的第/>
Figure SMS_46
层子图像，与像素最小值通道的彩色多层图像的第/>
Figure SMS_47
层子图像相应位置的平均值，基于平均值，构建一个新的一层图像，即尾层图像。
S53 计算第一景深叠加多层图像的其它层子图像，与像素最小值通道的彩色多层图像的其他层子图像相应位置的绝对值最大值，得到非尾层多层图像。
具体为，针对第
Figure SMS_49
至/>
Figure SMS_50
层，分别计算第一景深叠加多层图像的/>
Figure SMS_51
至/>
Figure SMS_52
层的子图像，与像素最小值通道的彩色多层图像的/>
Figure SMS_53
至/>
Figure SMS_54
层的子图像相应位置的绝对值最大值，基于/>
Figure SMS_55
个绝对值最大值，构建一个新的/>
Figure SMS_48
层多层图像，即非尾层多层图像。
S54 尾层图像和非尾层多层图像经重构后，获得第二景深叠加图像。
将
Figure SMS_56
至/>
Figure SMS_57
层的非尾层多层图像与第/>
Figure SMS_58
层的尾层图像结合，构建出了一个新的含有/>
Figure SMS_59
层的拉普拉斯金字塔，经重构后，即得第二景深叠加图像。
下面结合具体实施例来对本发明提供的一种显微镜图像的景深叠加方法的过程进行详细说明。
实施例1。
为了清楚的展现本发明的具体提升效果，采集了两组不同的图像序列进行验证，采集经革兰氏染色的女性妇科下生殖道分泌物标本的显微图像，在同一视野下，微调焦距，采集
Figure SMS_60
张不同景深焦平面的相同分辨率高/>
Figure SMS_61
宽/>
Figure SMS_62
的图像，在不同的焦平面上可以更清晰的看到不同的目标物，3张原图像组成了1个图像序列，记为/>
Figure SMS_63
，如图4所示，图4是革兰氏染色较浅3张不同景深图像的图像序列。
利用最大化增强相关性系数算法，分别计算
Figure SMS_64
和/>
Figure SMS_65
针对/>
Figure SMS_66
的仿射变换，经过变换后，得到3张对齐的图像组成的对齐图像序列，记为/>
Figure SMS_67
，图4的图像序列对齐后的结果，如图5所示。
在本实施例中，对对齐图像序列
Figure SMS_69
进行基于标准的拉普拉斯金字塔的景深叠加处理，可以得到第一景深叠加图像。具体为，将对齐图像序列/>
Figure SMS_70
中的每一张图像进行/>
Figure SMS_73
层的拉普拉斯金字塔分解，针对第/>
Figure SMS_75
层，对/>
Figure SMS_77
个拉普拉斯金字塔图像的最后一层计算出对应位置的平均值，基于平均值，构建第3层的最后一层图像。针对第/>
Figure SMS_78
至/>
Figure SMS_79
层，分别计算对应层的相同对应位置的绝对值最大值，基于2个绝对值最大值，构建出了新的/>
Figure SMS_68
至/>
Figure SMS_71
层的两层图像-其它层多层图像；将第3层图像与/>
Figure SMS_72
至/>
Figure SMS_74
层的两层图像结合，构建出了一个新的/>
Figure SMS_76
层的拉普拉斯金字塔，经重构后，即得第一景深叠加图像。如图4所示的对齐图像序列经过基于标准的拉普拉斯金字塔的景深叠加处理后，如图6所示。
同时，根据通道颜色（蓝色、绿色和红色），对对齐图像序列
Figure SMS_92
进行通道分离，然后根据通道颜色对通道进行归类，得到蓝色通道组/>
Figure SMS_94
，绿色通道组/>
Figure SMS_96
，红色通道组
Figure SMS_97
，然后，分别将蓝色通道组，绿色通道组，红色通道组内每个通道依据对应位置的像素值大小进行从小到大的降序排序，即对任意的像素位置/>
Figure SMS_98
，对/>
Figure SMS_99
进行降序排序，排序后结果记为排序蓝色通道组/>
Figure SMS_100
，即
Figure SMS_80
；同样，对/>
Figure SMS_83
进行降序排序，排序后结果记为排序绿色通道组/>
Figure SMS_85
，即/>
Figure SMS_87
；对/>
Figure SMS_89
进行降序排序，排序后结果记为排序红色通道组/>
Figure SMS_91
，即
Figure SMS_93
。最后，分别抽取排序蓝色通道组、排序绿色通道组、排序红色通道组内的像素值最小的通道/>
Figure SMS_95
、/>
Figure SMS_81
和/>
Figure SMS_82
，/>
Figure SMS_84
记为蓝色组像素值最小通道，/>
Figure SMS_86
记为绿色组像素值最小通道，/>
Figure SMS_88
记为红色组像素值最小通道，将这三个通道合并为一幅新的三通道彩色图像，得到像素值最小通道的彩色图像，记为/>
Figure SMS_90
。针对图5所示的对齐图像序列利用该步骤获取像素值最小通道的彩色图像的过程如图7和图8所示，最终的像素值最小通道的彩色图像如图9所示。
对得到的第一景深叠加图像和像素值最小通道的彩色图像，进行基于标准的拉普拉斯金字塔的景深叠加处理，可以得到最终的第二景深叠加图像。具体为，将第一景深叠加图像和像素值最小通道的彩色图像分别进行3层的拉普拉斯金字塔分解，得到3层的第一景深叠加多层图像和3层像素值最小通道的彩色多层图像；计算第一景深叠加多层图像和像素值最小通道的彩色多层图像中第3层的对应位置的平均值，并基于平均值，构建尾层图像；计算其它层（第1层和第2层）对应层的对应位置的绝对值最大值，并基于这两层的绝对值最大值构建非尾层图像；然后将尾层图像和非尾层图像合并，重新构建一个3层的拉普拉斯金字塔，经重构后，即得第二景深叠加图像。
针对图5所示的对齐图像序列，即将第一景深叠加图像图6和像素值最小通道的彩色图像图9进行基于标准的拉普拉斯金字塔的景深叠加操作，大体示意图如图10所示，其最终的结果图-第二景深叠加图像如图11。其中，图10中白色虚线框分别为在3张不同景深图像的图像序列中选定的清晰区域，经标准的拉普拉斯金字塔景深叠加后得到的第一景深叠加图中，每个相同区域位置处的图像均较清晰展现。
针对图4的图像序列，对比图6和图11，从整体来看，本发明提供的方法最终获得的图11的清晰度、目标物的锐利度和色彩饱和度更高。对比图6和图11的两处同一位置的细节，分别如图12和图13的a和b的细节，放大这两处细节如图14和图15所示，可以看出图11中，目标物的边缘的锐利度更高和目标物的颜色饱和度更高。
本实施例提供一种显微镜图像的景深叠加装置，参见图16，包括：
图像序列生成模块，用于采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列；
对齐图像序列生成模块，用于实现图像序列经对齐后，得到对齐图像序列；
第一景深叠加图像生成模块，用于实现对齐图像序列经第一景深叠加后，得到第一景深叠加图像；
像素最小值通道的彩色图像生成模块，用于实现对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像；
第二景深叠加图像生成模块，用于实现第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。
本实施例提供一种显微镜图像的景深叠加设备，参见图17，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现上述的一种显微镜图像的景深叠加方法。
本实施例提供一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现上述的一种显微镜图像的景深叠加方法。
本发明提供的一种显微镜图像的景深叠加方法，对齐处理含有不同景深（焦平面）图像的图像序列后，分别经第一景深叠加处理和通道提取处理后获得第一景深叠加图像与像素最小值通道的彩色图像后，然后再第二景深叠加处理第一景深叠加图像与像素最小值通道的彩色图像，可获得了最终想要得到的第二景深叠加图像，该方法来提高了显微图像中景深叠加后图像中目标物的清晰度、锐利度和色彩饱和度，提高了成像质量，对后续的目标物特征的提取和观察、目标物的分割和检测提供重要的保障。

Claims (10)

1.一种显微镜图像的景深叠加方法，其特征在于，包括如下操作：
S1：采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列；
S2：所述图像序列经对齐后，得到对齐图像序列；
S3：所述对齐图像序列经第一景深叠加后，得到第一景深叠加图像；
S4：所述对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像；
S5：所述第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。
2.根据权利要求1所述的景深叠加方法，其特征在于，所述S2的操作具体为：
选定所述图像序列中的一个图像，分别计算所述图像序列中其他图像针对选定图像的仿射变换，根据所述仿射变换对其他图像进行转换，获得所述对齐图像序列。
3.根据权利要求1所述的景深叠加方法，其特征在于，所述S3的操作具体为：
对所述对齐图像序列中的每一张图像进行多层分解，获得多层图像序列；
计算所述多层图像序列中，所有多层图像的最后一层子图像相应位置的平均值，得到最后一层图像；
计算所述多层图像序列中，所有多层图像的其它层子图像相应位置的绝对值最大值，得到其它层多层图像；
所述最后一层图像和其它层多层图像经重构后，获得所述第一景深叠加图像。
4.根据权利要求1所述的景深叠加方法，其特征在于，所述S4的操作具体为：
依据通道的种类，对所述对齐图像序列中的通道进行分离后，进行同种类的通道归类，得到通道组序列；
根据像素值大小，对所述通道组序列中的通道进行排序，得到排序通道组序列；
提取所述排序通道组序列中不同种类通道组内像素值最小的通道，经合并后，获得所述像素值最小通道的彩色图像。
5.根据权利要求4所述的景深叠加方法，其特征在于，所述通道的种类依据颜色划分，所述颜色包括蓝色、绿色和红色。
6.根据权利要求1所述的景深叠加方法，其特征在于，所述S5的操作具体为：
分别对第一景深叠加图像和像素最小值通道的彩色图像进行多层分解，获得第一景深叠加多层图像和像素最小值通道的彩色多层图像；
计算所述第一景深叠加多层图像的最后一层子图像，与所述像素最小值通道的彩色多层图像的最后一层子图像相应位置的平均值，获得尾层图像；
计算所述第一景深叠加多层图像的其它层子图像，与所述像素最小值通道的彩色多层图像的其他层子图像相应位置的绝对值最大值，得到非尾层多层图像；
所述尾层图像和非尾层多层图像经重构后，获得所述第二景深叠加图像。
7.根据权利要求1所述的景深叠加方法，其特征在于，所述S1中图像序列中的每个图像的分辨率都相同。
8.一种显微镜图像的景深叠加装置，其特征在于，包括：
图像序列生成模块，用于采集显微镜下生殖道分泌物标本同一视野若干个不同景深的图像，得到图像序列；
对齐图像序列生成模块，用于实现所述图像序列经对齐后，得到对齐图像序列；
第一景深叠加图像生成模块，用于实现所述对齐图像序列经第一景深叠加后，得到第一景深叠加图像；
像素最小值通道的彩色图像生成模块，用于实现所述对齐图像序列中的图像经通道分离，提取不同通道中像素值最小的通道，经合并后，得到像素最小值通道的彩色图像；
第二景深叠加图像生成模块，用于实现所述第一景深叠加图像与像素最小值通道的彩色图像经第二景深叠加后，获得第二景深叠加图像。
9.一种显微镜图像的景深叠加设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现所述权利要求1-7中任一项所述的一种显微镜图像的景深叠加方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1-7中任一项所述的一种显微镜图像的景深叠加方法。
CN202310416255.5A 2023-04-19 2023-04-19 一种显微镜图像的景深叠加方法、装置及设备 Active CN116152132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310416255.5A CN116152132B (zh) 2023-04-19 2023-04-19 一种显微镜图像的景深叠加方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310416255.5A CN116152132B (zh) 2023-04-19 2023-04-19 一种显微镜图像的景深叠加方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116152132A true CN116152132A (zh) 2023-05-23
CN116152132B CN116152132B (zh) 2023-08-04

Family

ID=86350977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310416255.5A Active CN116152132B (zh) 2023-04-19 2023-04-19 一种显微镜图像的景深叠加方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116152132B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN110517213A (zh) * 2019-08-22 2019-11-29 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN111242880A (zh) * 2019-12-30 2020-06-05 广州市明美光电技术有限公司 一种用于显微镜的多景深图像叠加方法、设备及介质
CN112184606A (zh) * 2020-09-24 2021-01-05 南京晓庄学院 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法
CN112529775A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理的方法和装置
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质
WO2022103427A1 (en) * 2020-11-12 2022-05-19 Innopeak Technology, Inc. Color correction of image fusion in radiance domain
CN115775210A (zh) * 2022-09-08 2023-03-10 南京瞳芯慧图医疗技术有限公司 一种广域眼底相机图像融合方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN110517213A (zh) * 2019-08-22 2019-11-29 杭州图谱光电科技有限公司 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
CN112529775A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理的方法和装置
CN111242880A (zh) * 2019-12-30 2020-06-05 广州市明美光电技术有限公司 一种用于显微镜的多景深图像叠加方法、设备及介质
CN112184606A (zh) * 2020-09-24 2021-01-05 南京晓庄学院 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法
WO2022103427A1 (en) * 2020-11-12 2022-05-19 Innopeak Technology, Inc. Color correction of image fusion in radiance domain
CN113674193A (zh) * 2021-09-03 2021-11-19 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质
CN115775210A (zh) * 2022-09-08 2023-03-10 南京瞳芯慧图医疗技术有限公司 一种广域眼底相机图像融合方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SIMRANDEEP SINGH等: "Multifocus Image Fusion Based on Multiresolution Pyramid and Bilateral Filter", 《IETE JOURNAL OF RESEARCH》, pages 1 - 13 *
王佳慧等: "用于 HVS 的拉普拉斯金字塔变换图像融合研究", 《电光与控制》, vol. 26, no. 1, pages 77 - 91 *

Also Published As

Publication number Publication date
CN116152132B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
US9897792B2 (en) Method and system for extended depth of field calculation for microscopic images
CN107767339B (zh) 一种双目立体图像拼接方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN106960414A (zh) 一种多视角ldr图像生成高分辨率hdr图像的方法
CN109146799B (zh) 基于多张图的摩尔纹去除方法
WO2014183385A1 (zh) 一种终端及其实现图像处理的方法
Zou et al. Malaria cell counting diagnosis within large field of view
CN112184604A (zh) 一种基于图像融合的彩色图像增强方法
CN111179170B (zh) 一种显微血细胞图像快速全景拼接方法
CN106846383A (zh) 基于3d数字显微成像系统的高动态范围图像成像方法
EP2926558B1 (en) A method and system for extended depth of field calculation for microscopic images
Li et al. Identifying photorealistic computer graphics using second-order difference statistics
CN106023170B (zh) 一种基于gpu处理器的双目3d畸变矫正方法
CN116152132B (zh) 一种显微镜图像的景深叠加方法、装置及设备
CN105608674B (zh) 一种基于图像配准、插值和去噪的图像增强方法
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
Chen et al. New stereo high dynamic range imaging method using generative adversarial networks
Bagui et al. Red blood cells counting by circular Hough transform using multispectral images
CN113628125B (zh) 基于空间视差先验网络的多幅红外图像增强方法
CN108364273B (zh) 一种空间域下的多聚焦图像融合的方法
CN109993782B (zh) 一种环形生成对抗网络的异源遥感图像配准方法及装置
Xu et al. Direction-aware video demoireing with temporal-guided bilateral learning
Go et al. An image fusion scheme for single-shot high dynamic range imaging with spatially varying exposures
Wang et al. Single Image Super-Resolution Based on Cascaded Recursive Residual Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant