CN114815207A - 显微成像自动对焦的图像景深融合方法及相关设备 - Google Patents
显微成像自动对焦的图像景深融合方法及相关设备 Download PDFInfo
- Publication number
- CN114815207A CN114815207A CN202210570448.1A CN202210570448A CN114815207A CN 114815207 A CN114815207 A CN 114815207A CN 202210570448 A CN202210570448 A CN 202210570448A CN 114815207 A CN114815207 A CN 114815207A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- images
- sample image
- computer system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 67
- 230000003287 optical effect Effects 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000006073 displacement reaction Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 30
- 230000001174 ascending effect Effects 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 21
- 238000003708 edge detection Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 239000007850 fluorescent dye Substances 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000012757 fluorescence staining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/242—Devices for focusing with coarse and fine adjustment mechanism
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明实施例公开了一种显微成像自动对焦的图像景深融合方法。方法应用于图像景深融合系统，该系统包括显微镜系统与工业相机等，方法包括：光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，通过工业相机采集样本图像；通过计算机系统判断样本图像间是否存在位移、亮度变化是否大于预设值；并计算每个样本图像的清晰度得分；若样本图像间不存在位移且亮度变化不大于预设值，且样本图像的清晰度得分呈先上升后下降的情况时，将清晰度得分最高的图像确定为中心图像；提取与中心图像相邻的多帧图像作为待处理图像，将中心图像以及待处理图像做景深融合，得到目标图像。本方案可以提高目标图像的清晰度，并使用传感器采集通道信息，减少人工参与。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种显微成像自动对焦的图像景深融合方法及相关设备。
背景技术
近年来，随着生命奥秘被逐步揭开，医学研究的技术日益趋精密、复杂。显微成像技术在生物医学领域的应用日渐广泛。其中荧光显微镜是一种非常灵敏和有效的技术，几乎所有的有机分子都能够直接或经过适当的化学处理后发出荧光被观测分析。在医学上，通过荧光染色标记出病变部分组织与细胞再通过相机拍摄获得清晰完整的病变组织荧光染色图，将其提供给病理医生做后期诊断是当下医疗诊断广泛采用的一种方法。
为了采集病变组织或细胞的有效信息，采用荧光染色的方法来处理样本。主要是因为它具有灵敏度高、特异性强的特点。为了观察不同种类细胞或特异蛋白通常会使用多色荧光染剂，这也引入了多通道采集的问题，大大增加了操作者的劳动时长。
在显微成像的中，普遍采用光学显微镜+工业镜头的方案。其中工业镜头大部分是独立的，而且以定焦镜头居多，操作人员需要手动对焦调节才能拍摄出清晰的图像。在手动调焦的过程中当前焦面是否清晰完全由操作人员主观判断，且需要在确定清晰后才能做下一步操作。所以判断标准因人而异，画面清晰与否也无法形成统一的标准，人工的大量参与也增加了显微成像采集的整体耗时，因而整体来讲这种方案效率低下且准确度难以把控。
通常为了解决这些问题，需要为机器添加自动对焦功能。在自动对焦领域，目前有两类方案：主动对焦和被动对焦。主动对焦通过测量镜头与被拍摄目标之间的距离来实现自动对焦。被动对焦利用相机图像的清晰度作为评价标准进行自动对焦。
在医疗显微成像研究领域的传统的过程中，操作人员先调试好显微镜并将待观察玻片固定于显微镜载物台。然后通过显微镜目镜一边观察一边调节显微镜的粗准焦螺旋，待画面较为清晰后开始调节显微镜的细准焦螺旋，在调节的过程中寻找最为清晰的画面并使用相机拍摄下来。因为样本的厚度不均匀，不同组织在不同焦面下呈现局部最清晰的图像，需要采集多帧图像做景深融合(如FISH荧光等)。在这个过程中，由于操作人员无法确定最清晰的图像是什么样子，所以需要不断的来回调节细准焦螺旋来寻找最佳焦面。经过多次观察找到一个清晰的焦面还要离开目镜在计算机系统上操作采集图像。这样反复多次操作才能找到最清晰的几帧图像用于最终的景深融合。同时，因为人工操作存在一定的误差，所以在调节细准焦螺旋时每次调节的步长也可能不一样。在这些因素共同作用下最终可能导致采集的图像并不是最清晰的几帧，且耗时良久，采集图像的质量和效率都不高。这也就造成了最后以采集的图像做景深融合得到的最终结果不够准确。
综上，现有技术存在以下的缺陷和不足：
1、现有技术需要通过操作人员的主观判断来确定当前视野下的画面是否清晰，没有统一的判定标准，不同的操作人员判定的结果可能不一致，由此造成最终输出的结果不稳定且不准确。
2、操作人员在调节显微镜细准焦螺旋的过程中，需要多次来回调焦判断当前画面是否清晰，每次转动的步长可能不同。所以找出的最清晰的几帧没有稳定的梯度变化，且可能略过了最清晰的帧，由此造成结果的不准确且耗时较长。
3、通过人工识别来找不同焦面下的图片做景深融合，可能无法找到某一部分最佳图片，使得最终景深融合的结果也存在一部分的失焦，不利于医务人员判断病理情况。
4、人工多次调节细准焦螺旋并判断所抓取帧的清晰度，长时间操作中可能产生误触使得画面移动，引发前后采集的画面不在一个位置上。使得采集的图像无法用做景深融合，需要重新采图，容错率低。
5、人工操作需要依次调节细准焦螺旋、判断当前帧清晰度、采图，多通道的情况下还需要多次重复。
发明内容
本发明实施例提供了一种显微成像自动对焦的图像景深融合方法，可以解决现有技术的上述缺陷和不足。
第一方面，本发明实施例提供了一种显微成像自动对焦的图像景深融合方法，所述方法应用于图像景深融合系统，所述图像景深融合系统包括显微镜系统以及计算机系统，所述显微镜系统包括光学显微镜与工业相机，所述光学显微镜的显微镜载物台放置并固定样本，所述方法包括：
当所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像；
将所述样本图像发送至所述计算机系统；
判断所述样本图像之间是否存在位移；
判断所述样本图像之间的亮度变化是否大于预设值；
根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；
将所述运算结果的方差确定为对应样本图像的清晰度得分；
若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；
若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；
提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n以及所述m为大于1的整数；
将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
在一些实施例中，所述图像边缘检测算法包括拉普拉斯算子，所述根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果，包括：
根据预设的锐化公式对获取到的每一帧样本图像的每个像素做卷积运算，得到所述运算结果；
对于样本图像的每个像素f＝(x,y)，所述锐化公式为：
所述g(x,y)为像素f＝(x,y)的运算结果，所述c为系数；
所述
根据二阶微分公式与拉普拉斯算子的公式相结合得到，其中：
二阶微分公式为：
拉普拉斯算子的公式为：
将二阶微分公式与拉普拉斯算子的公式相结合得到：
在一些实施例中，所述判断所述样本图像之间是否存在位移，包括：
通过所述计算机系统确定所述样本图像的特征点；
判断前后两帧所述样本图像中的所述特征点是否移动；
若所述特征点移动，则确定所述样本图像之间存在位移；
若所述特征点没有移动，则确定所述样本图像之间不存在位移。
在一些实施例中，所述判断所述样本图像之间的亮度变化是否大于预设值，包括：
通过所述计算机系统对所述样本图像进行灰度处理，得到处理后样本图像；
计算所述处理后样本图像的亮度值；
计算所述亮度值之间的差值；
根据所述差值判断所述亮度值的变化是否大于所述预设值。
在一些实施例中，所述将所述样本图像发送至所述计算机系统之后，所述方法还包括：
基于先进先出原则，根据预设的图像数量保存新的样本图像，及删除旧的样本图像。
在一些实施例中，所述图像景深融合系统还包括荧光通道传感器，所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像之前，所述方法还包括：
通过所述荧光通道传感器获取光学显微镜的荧光通道的颜色信息；
将所述颜色信息发送至所述计算机系统；
所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道；
所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像，包括：
将所述将所述中心图像以及所述待处理图像做景深融合，得到所述颜色通道对应的目标图像。
在一些实施例中，所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道之后，所述方法还包括：
根据所述颜色信息确定所述颜色通道是否被切换；
若所述颜色通道被切换，则返回执行所述转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像的步骤；
当得到各颜色通道分别对应的目标图像之后，将各颜色通道分别对应的目标图像融合成所述样本的最终扫描结果。
第二方面，本发明实施例还提供了一种图像景深融合系统，所述图像景深融合系统包括显微镜系统以及计算机系统，所述显微镜系统包括光学显微镜与工业相机，其中：
所述光学显微镜，用于通过所述光学显微镜上的显微镜载物台放置并固定样本，并在所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋；
所述工业相机用于，在转动所述细准焦螺旋的过程中，根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像，并将所述样本图像发送至所述计算机系统；
所述计算机系统用于判断所述样本图像之间是否存在位移；判断所述样本图像之间的亮度变化是否大于预设值；根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；将所述运算结果的方差确定为对应样本图像的清晰度得分；若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n以及所述m为大于1的整数；将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
本发明实施例提供了一种显微成像自动对焦的图像景深融合方法及相关设备。其中，所述方法应用于图像景深融合系统，所述图像景深融合系统包括显微镜系统以及计算机系统，所述显微镜系统包括光学显微镜与工业相机，所述光学显微镜的显微镜载物台放置并固定样本，当所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像；将所述样本图像发送至所述计算机系统；判断所述样本图像之间是否存在位移；判断所述样本图像之间的亮度变化是否大于预设值；根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；将所述运算结果的方差确定为对应样本图像的清晰度得分；若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n为大于1的整数；将所述中心图像以及所述待处理图像做景深融合，得到目标图像。可见，本方案可以通过计算机系统自动确定采集到的最清晰的样本图像作为中心图像，由于样本厚度可能不均，所以不同位置的组织在取得的中心图像以及中心图像附近的几帧图像中分别呈现最清晰的状态，这时使用这几帧图像做景深融合，得到当前通道下各部分都最清晰的图像，不需要操作人员主观判断当前视野下的画面是否清晰，并且保证图像样本之间不存在位移，亮度变化不大预设值，提高了目标图像的清晰度以及获取效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的显微成像自动对焦的图像景深融合方法的流程示意图；
图2为本发明实施例提供的清晰度得分处于先上升后下降的情况的一示意图；
图3为本发明实施例提供的图像景深融合系统的示意性框图；
图4为本发明另一实施例提供的图像景深融合系统的示意性框图；
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本发明实施例提供了一种显微成像自动对焦的图像景深融合方法及相关设备。其中，该方法应用于图像景深融合系统，所述图像景深融合系统包括显微镜系统以及计算机系统，所述显微镜系统包括光学显微镜与工业相机，所述光学显微镜的显微镜载物台放置并固定样本，该光学显微镜用来呈现样本的显微图像，工业相机用来采集实时显微镜成像，两者使用特定的机械结构来连接。工业相机通过通信线缆与计算机系统连接。
该显微成像自动对焦的图像景深融合方法的执行主体可以是本发明实施例提供的图像景深融合系统，或者集成了该图像景深融合系统的计算机设备，其中，该图像景深融合系统可以采用硬件或者软件的方式实现，该计算机设备可以为终端或服务器。
在一些实施例中，计算机系统中的算法软件提供运行所需的计算与内存资源等，并做软件的输入与输出、向用户做出提示。算法软件通过与工业相机连接的线缆获取相机内存中的数据并将数据存储到计算机系统的内存中，并按照“先进先出”的原则使得内存中图像的帧数在一定的范围内，防止内存溢出。并通过软件算法完成画面的清晰度评估、亮度评估、位移评估，评估完成后确定需要使用的几帧并做景深融合得到当前通道最终的结果，在多通道光学显微镜的图像采集中，还需要通过荧光通道传感器采集光学显微镜的通道信息，计算机系统需与荧光通道传感器采集的通道信息绑定。
图像景深融合系统在扫描完当前通道后，针对每一个通道多次重复操作最终将各个通道获取的图片做最终的合成，将结果保存在本地，并通过计算机系统展示给操作人员。
以下对本发明实施例提供的显微成像自动对焦的图像景深融合方法进行详细的描述。
请参阅图1，图1是本发明实施例提供的显微成像自动对焦的图像景深融合方法的流程示意图。
如图1所示，该方法包括以下步骤S110-1100。
S110、当所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像。
具体地，当所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像。
其中，该预设的采集频率大于15帧/秒。
在一些实施例中，光学显微镜单通道荧光或无荧光显微镜，此时，该样本可以为单荧光或无荧光标记的组织切片样本。
在另一些实施例中，该光学显微镜为多通道光学显微镜，当该光学显微镜为三通道光学显微镜时，该样本可以为红绿蓝三色荧光标记的组织切片样本。
需要说明的是，细准焦螺旋可以通过系统进行自动调节，也可以通过操作人员进行手动调节。
S120、将所述样本图像发送至计算机系统。
本实施例中，在编写工业相机的驱动时，设定相机曝光、增益等参数在合理范围，采集到样本图像后将图像从工业相机的内存中复制到计算机系统的内存。
工业相机继续采集样本图像，并覆盖相机内存中的样本图像，使得工业相机内的图像始终为最新的。计算机系统复制工业相机内存中的数据后，将使用队列结构存储，按照“先进先出”的原则存储并保证计算机内存中图像数量在设定的范围内，防止内存溢出。
具体地，计算机系统在获取样本图像的时候，基于先进先出原则，根据预设的图像数量保存新的样本图像，及删除旧的样本图像，例如，计算机系统内存保留100帧的图像并按照“先进先出”的原则，在抓取帧长度大于100帧后丢弃初始帧，以此类推保证内存中帧数量不大于100。
在一些实施例中，还需要将计算机系统内存中的图像实时显示在计算机系统的屏幕上，展示给操作人员。
需要说明的是，步骤S130、步骤S140、步骤S150-160的执行顺序无先后关系。
S130、判断所述样本图像之间是否存在位移，若是，则执行步骤S1110，若否，则执行步骤S140。
具体地，步骤S130包括：通过所述计算机系统确定所述样本图像的特征点；判断前后两帧所述样本图像中的所述特征点是否移动；若所述特征点移动，则确定所述样本图像之间存在位移；若所述特征点没有移动，则确定所述样本图像之间不存在位移。
S140、判断所述样本图像之间的亮度变化是否大于预设值，则执行步骤S1110，若否，则执行步骤S150。
具体地，步骤S130包括：通过所述计算机系统对所述样本图像进行灰度处理，得到处理后样本图像；计算所述处理后样本图像的亮度值；计算所述亮度值之间的差值；根据所述差值判断所述亮度值的变化是否大于所述预设值。
S150、根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果。
在一些实施例中所述图像边缘检测算法包括拉普拉斯算子，此时，步骤S150包括：根据预设的锐化公式对获取到的每一帧样本图像的每个像素做卷积运算，得到所述运算结果；
对于样本图像的每个像素f＝(x,y)，所述锐化公式为：
所述g(x,y)为像素f＝(x,y)的运算结果，所述c为系数；
所述
根据二阶微分公式与拉普拉斯算子的公式相结合得到，其中：
任意阶微分算子都是线性算子，所以一阶和二阶微分算子都可以用生成模版卷积的方式得出结果。比起一阶微分算子，二阶微分算子的边缘定位能力更强，锐化效果更好。二阶微分公式为：
拉普拉斯算子的公式为：
将二阶微分公式与拉普拉斯算子的公式相结合得到：
也就是说：一个点的拉普拉斯的算子计算结果是上下左右的灰度和减去本身灰度的四倍。同样可以根据二阶微分的不同定义，所有符号取反相反，公式中常量取-1，-1，-1，-1，4。这样得到四临接的拉普拉斯算子，将这个算子旋转45度后与原算子相加，就变成了八邻域的算子了，也就是一个像素周围一圈8个像素的和与中间像素8倍的差，作为拉普拉斯计算结果。
因为要强调图像中突变(细节)，所以平滑灰度的区域，无响应，即模版系数的和为0，也是二阶微分的必备条件。最后得到公式(1)。
S160、将所述运算结果的方差确定为对应样本图像的清晰度得分。
具体地，得到样本图像中每个像素的运算结果之后，将该运算结果的方差确定为对应样本图像的清晰度得分。方差越大则表示图像越清晰。
S170、检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况。
本实施例中，计算机系统保存的样本图像之间不存在位移，并且样本图像之间的亮度变化不大于预设值时，需检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况，若是，则执行下一个步骤，若还没检测到清晰度得分呈先上升后下降的情况，此时继续进行样本图像的采集以及对应清晰度得分的计算。
在一些实施例中，可以通过操作人员辅助系统找到相对清晰的画面之后，然后前后转动细准焦螺旋，当出现连续多帧图像清晰度得分呈现先上升达到最高后下降且不再有其他变化时，此时，确定清晰度得分处于先上升后下降的情况。
在另一些实施例中，系统自动转动细准焦螺旋，然后通过采集到的图像的清晰度评分，自动确认图像的清晰度，并通过采集到的图像的清晰度评分自动检测采集到的样本图像的清晰度得分是否处于先上升后下降的情况。
请参阅图2，图2为本发明实施例提供的清晰度得分处于先上升后下降的情况的一示意图。
S180、若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的定点对应的样本图像确定为中心图像。
即，将清晰度得分最高的样本图像作为中心图像。
S190、提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像。
由于样本厚度可能不均，所以不同位置的组织在取得的中心图像以及中心图像附近的几帧图像中分别呈现最清晰的状态，本实施例中，n以及所述m为大于1的整数，例如5，具体数目此处不做限定。
S1100、将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
这时使用中心图像以及中心图像相邻的n帧及后m帧图像做做景深融合，得到当前通道下各部分都最清晰的图像。
在一些实施例中，所述图像景深融合系统还包括荧光通道传感器，此时，在步骤S1100之前，方法还包括：通过所述荧光通道传感器获取光学显微镜的荧光通道的颜色信息；将所述颜色信息发送至所述计算机系统；所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道；
具体地，当光学显微镜为多通道光学显微镜时，此时，通过荧光通道传感器获取当前通道的颜色信息，荧光通道传感器将该颜色信息转换成计算机系统可识别的信息之后，将该信息传递给计算机系统，使计算机系统能够实时的监控通道信息。
此时，步骤S1100包括：将所述将所述中心图像以及所述待处理图像做景深融合，得到所述颜色通道对应的目标图像。
S1110、给出错误提示。
如果采集到的样本图像之间存在位移，则计算机系统给出错误提示，以提示操作人员，此时，系统还需要返回到初始步骤重新操作，或提示操作人员返回到初始步骤重新操作。
或者，如果采集到的样本图像之间的亮度变化大于预设值，即亮度变化不在给定的范围区间内时，则计算机系统给出错误提示，以提示操作人员，此时，系统还需要返回到初始步骤重新操作，或提示操作人员返回到初始步骤重新操作。
在一些实施例中，所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道之后，方法还包括：根据所述颜色信息确定所述颜色通道是否被切换；若所述颜色通道被切换，则返回执行所述转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像的步骤；当得到各颜色通道分别对应的目标图像之后，将各颜色通道分别对应的目标图像融合成所述样本的最终扫描结果。
具体地，当计算机系统确定已经得到各颜色通道分别对应的目标图像之后，将各颜色通道分别对应的目标图像融合成所述样本的最终扫描结果，否则，切换通道，继续对下一个通道进行样本图像的采集以及目标图像的计算。
即，针对不同的颜色通道(例如红、绿、蓝通道)，本发明均通过步骤S110至步骤S1100来获取不同通道的目标图像，获取各通道最清晰的图像，然后再将各通道下最清晰的画面合为一张图片，得到最终的扫描结果。
其中，得到目标图像之后，计算机系统将会将该目标图像展示给操作人员，若操作人员对某通道的目标图像的清晰度不满意，可使用细准焦螺旋触发计算机系统重新采集该通道下的样本图像，并重新确定目标图像。计算机系统可自动调整细准焦螺旋以重新采集该通道下的样本图像，或者手动进行细准焦螺旋的调整，通过人工辅助先转动细准焦螺旋使图像不清晰，再转动到清晰的位置，然后继续转动，实现样本图像的重新采集。
其中，如果已经采集了绿色通道的目标图像，此时将通道切换到蓝色，再切换回绿色。这时，系统将会根据通道的变换操作再次采集绿色通道下最清晰的图像(目标图像)，并覆盖掉前一次的目标图像，将新采集的图像作为绿色通道下的输出。这个操作可以随时、多次使用。
综上所述，相对于现有技术，本发明至少包括以下优点：
1、本发明通过算法判定抓取的每一帧图像的清晰度，具有统一的标准，能够快速地给出每一帧图像的清晰度评估得分。与传统方式相比，取消了人工判断图像清晰度的步骤，提升了图像清晰度判定的准确性与效率。
2、本发明可以在操作人员辅助调节细准焦螺旋时按相同变化梯度连续采集多帧画面并做清晰度评分与其他判定，保证了判读的连续性与实时性，避免了人工判定下可能错过最清晰图像的情况。能够准确快速的找到最清晰的图像，并在出现画面移动等错误后及时的提示操作人员，增强了获取清晰图像的准确性，有利于最终的景深融合。
3、本发明通过动态监测图像清晰度来判断焦面位置，自动识别景生融合所需要采集的多帧图像，有效降低了操作者的劳动时长，效率高。
4、本发明极大的提升了多通道下，采集图像的效率。例如，在三通道的情况下，人工完成取图步骤需要2～3分钟，而使用本方法，只需15秒左右，速度提升了约10倍。且采集的图像清晰度高、质量稳定，极大地提升了操作人员的工作效率。
5、本发明采用工业摄像头感知图像判定清晰度，相较于传统方法的人工判定而言，受外界环境干扰小，成像质量稳定、判定标准不会因操作人员的改变而变化，提升了系统整体输出的稳定性。
6、本发明极大的减少了人工参与的步骤，减少了可能出错的环节，使得整个操作的错误率有效降低。
7、可人工辅助转动细准焦螺旋到肉眼可见的清晰焦面之后，再前后转动一次，算法计算每一帧的画面，自动抓拍最清晰的几帧，减少了寻找最佳焦面和多次操作电脑取图的步骤
图3是本发明实施例提供的一种图像景深融合系统的示意性框图。如图3所示，对应于以上显微成像自动对焦的图像景深融合方法，本发明还提供一种图像景深融合系统。该图像景深融合系统包括用于执行上述显微成像自动对焦的图像景深融合方法的单元。具体地，请参阅图3，该图像景深融合系统包括显微镜系统1以及计算机系统2，所述显微镜系统1包括光学显微镜11与工业相机12，其中：
所述光学显微镜11，用于通过所述光学显微镜11上的显微镜载物台放置并固定样本，并在所述光学显微镜11的粗准焦螺旋调节好之后，转动细准焦螺旋；
所述工业相机12用于，在转动所述细准焦螺旋的过程中，根据预设的采集频率，采集所述光学显微镜11呈现的所述样本的样本图像，并将所述样本图像发送至所述计算机系统2；
所述计算机系统2用于判断所述样本图像之间是否存在位移；判断所述样本图像之间的亮度变化是否大于预设值；根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；将所述运算结果的方差确定为对应样本图像的清晰度得分；若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n以及所述m为大于1的整数；将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
在一些实施例中，所述图像边缘检测算法包括拉普拉斯算子，所述计算机系统2在实现所述根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果步骤时，具体用于：
根据预设的锐化公式对获取到的每一帧样本图像的每个像素做卷积运算，得到所述运算结果；
对于样本图像的每个像素f＝(x,y)，所述锐化公式为：
所述g(x,y)为像素f＝(x,y)的运算结果，所述c为系数；
所述
根据二阶微分公式与拉普拉斯算子的公式相结合得到，其中：
二阶微分公式为：
拉普拉斯算子的公式为：
将二阶微分公式与拉普拉斯算子的公式相结合得到：
在一些实施例中，所述计算机系统2在实现所述判断所述样本图像之间是否存在位移步骤时，具体用于：
通过所述计算机系统确定所述样本图像的特征点；
判断前后两帧所述样本图像中的所述特征点是否移动；
若所述特征点移动，则确定所述样本图像之间存在位移；
若所述特征点没有移动，则确定所述样本图像之间不存在位移。
在一些实施例中，所述计算机系统2在实现所述判断所述样本图像之间的亮度变化是否大于预设值步骤时，具体用于：
通过所述计算机系统2对所述样本图像进行灰度处理，得到处理后样本图像；
计算所述处理后样本图像的亮度值；
计算所述亮度值之间的差值；
根据所述差值判断所述亮度值的变化是否大于所述预设值。
在一些实施例中，将所述样本图像发送至所述计算机系统2之后，所述计算机系统2还用于：
基于先进先出原则，根据预设的图像数量保存新的样本图像，及删除旧的样本图像。
图4是本发明另一实施例提供的一种图像景深融合系统的示意性框图。如图4所示，本实施例的图像景深融合系统是上述实施例的基础上增加了荧光通道传感器3，所述荧光通道传感器3设置在在所述光学显微镜11的荧光光路上；
所述荧光通道传感器3用于：获取光学显微镜的荧光通道的颜色信息；并将所述颜色信息发送至所述计算机系统2；
所述计算机系统2根据所述颜色信息确定所述样本图像对应的颜色通道；
此时，所述计算机系统2在实现所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像步骤时，具体用于：
将所述将所述中心图像以及所述待处理图像做景深融合，得到所述颜色通道对应的目标图像。
在一些实施例中，所述计算机系统2在实现所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道之后，具体还用于：
根据所述颜色信息确定所述颜色通道是否被切换；若所述颜色通道被切换，则返回执行所述转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像的步骤；当得到各颜色通道分别对应的目标图像之后，将各颜色通道分别对应的目标图像融合成所述样本的最终扫描结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述图像景深融合系统和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述图像景深融合系统可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图5，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种显微成像自动对焦的图像景深融合方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种显微成像自动对焦的图像景深融合方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
当所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像；
将所述样本图像发送至所述计算机系统；
判断所述样本图像之间是否存在位移；
判断所述样本图像之间的亮度变化是否大于预设值；
根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；
将所述运算结果的方差确定为对应样本图像的清晰度得分；
若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；
若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；
提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n以及所述m为大于1的整数；
将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
在一些实施例中，处理器502在实现所述图像边缘检测算法包括拉普拉斯算子，所述根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果步骤时，具体实现如下步骤：
根据预设的锐化公式对获取到的每一帧样本图像的每个像素做卷积运算，得到所述运算结果；
对于样本图像的每个像素f＝(x,y)，所述锐化公式为：
所述g(x,y)为像素f＝(x,y)的运算结果，所述c为系数；
所述
根据二阶微分公式与拉普拉斯算子的公式相结合得到，其中：
二阶微分公式为：
拉普拉斯算子的公式为：
将二阶微分公式与拉普拉斯算子的公式相结合得到：
在一些实施例中，处理器502在实现所述判断所述样本图像之间是否存在位移步骤时，具体实现如下步骤：
通过所述计算机系统确定所述样本图像的特征点；
判断前后两帧所述样本图像中的所述特征点是否移动；
若所述特征点移动，则确定所述样本图像之间存在位移；
若所述特征点没有移动，则确定所述样本图像之间不存在位移。
在一些实施例中，处理器502在实现所述判断所述样本图像之间的亮度变化是否大于预设值步骤时，具体实现如下步骤：
通过所述计算机系统对所述样本图像进行灰度处理，得到处理后样本图像；
计算所述处理后样本图像的亮度值；
计算所述亮度值之间的差值；
根据所述差值判断所述亮度值的变化是否大于所述预设值。
在一些实施例中，处理器502在实现所述将所述样本图像发送至所述计算机系统步骤之后，还实现如下步骤：
基于先进先出原则，根据预设的图像数量保存新的样本图像，及删除旧的样本图像。
在一些实施例中，所述图像景深融合系统还包括荧光通道传感器，处理器502在实现所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像步骤之前，还实现如下步骤：
通过所述荧光通道传感器获取光学显微镜的荧光通道的颜色信息；
将所述颜色信息发送至所述计算机系统；
所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道；
此时，处理器502在实现所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像步骤时，具体实现如下步骤：
将所述将所述中心图像以及所述待处理图像做景深融合，得到所述颜色通道对应的目标图像。
在一些实施例中，处理器502在实现所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道步骤之后，还实现如下步骤：
根据所述颜色信息确定所述颜色通道是否被切换；
若所述颜色通道被切换，则返回执行所述转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像的步骤；
当得到各颜色通道分别对应的目标图像之后，将各颜色通道分别对应的目标图像融合成所述样本的最终扫描结果。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
当所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像；
将所述样本图像发送至所述计算机系统；
判断所述样本图像之间是否存在位移；
判断所述样本图像之间的亮度变化是否大于预设值；
根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；
将所述运算结果的方差确定为对应样本图像的清晰度得分；
若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；
若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；
提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n以及所述m为大于1的整数；
将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
在一些实施例中，所述图像边缘检测算法包括拉普拉斯算子，所述处理器在执行所述程序指令而实现所述根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果步骤时，具体实现如下步骤：
根据预设的锐化公式对获取到的每一帧样本图像的每个像素做卷积运算，得到所述运算结果；
对于样本图像的每个像素f＝(x,y)，所述锐化公式为：
所述g(x,y)为像素f＝(x,y)的运算结果，所述c为系数；
所述
根据二阶微分公式与拉普拉斯算子的公式相结合得到，其中：
二阶微分公式为：
拉普拉斯算子的公式为：
将二阶微分公式与拉普拉斯算子的公式相结合得到：
在一些实施例中，所述处理器在执行所述程序指令而实现所述判断所述样本图像之间是否存在位移步骤时，具体实现如下步骤：
通过所述计算机系统确定所述样本图像的特征点；
判断前后两帧所述样本图像中的所述特征点是否移动；
若所述特征点移动，则确定所述样本图像之间存在位移；
若所述特征点没有移动，则确定所述样本图像之间不存在位移。
在一些实施例中，所述处理器在执行所述程序指令而实现所述判断所述样本图像之间的亮度变化是否大于预设值步骤时，具体实现如下步骤：
通过所述计算机系统对所述样本图像进行灰度处理，得到处理后样本图像；
计算所述处理后样本图像的亮度值；
计算所述亮度值之间的差值；
根据所述差值判断所述亮度值的变化是否大于所述预设值。
在一些实施例中，所述处理器在执行所述程序指令而实现所述将所述样本图像发送至所述计算机系统步骤之后，还实现如下步骤：
基于先进先出原则，根据预设的图像数量保存新的样本图像，及删除旧的样本图像。
在一些实施例中，所述图像景深融合系统还包括荧光通道传感器，所述处理器在执行所述程序指令而实现所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像步骤之前，还实现如下步骤：
通过所述荧光通道传感器获取光学显微镜的荧光通道的颜色信息；
将所述颜色信息发送至所述计算机系统；
所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道；
此时，所述处理器在执行所述程序指令而实现所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像步骤时，具体实现如下步骤：
将所述将所述中心图像以及所述待处理图像做景深融合，得到所述颜色通道对应的目标图像。
在一些实施例中，所述处理器在执行所述程序指令而实现所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道步骤之后，还实现如下步骤：根据所述颜色信息确定所述颜色通道是否被切换；
若所述颜色通道被切换，则返回执行所述转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像的步骤；
当得到各颜色通道分别对应的目标图像之后，将各颜色通道分别对应的目标图像融合成所述样本的最终扫描结果。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种显微成像自动对焦的图像景深融合方法，其特征在于，所述方法应用于图像景深融合系统，所述图像景深融合系统包括显微镜系统以及计算机系统，所述显微镜系统包括光学显微镜与工业相机，所述光学显微镜的显微镜载物台放置并固定样本，所述方法包括：
当所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像；
将所述样本图像发送至所述计算机系统；
判断所述样本图像之间是否存在位移；
判断所述样本图像之间的亮度变化是否大于预设值；
根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；
将所述运算结果的方差确定为对应样本图像的清晰度得分；
若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；
若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；
提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n以及所述m为大于1的整数；
将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述图像边缘检测算法包括拉普拉斯算子，所述根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果，包括：
根据预设的锐化公式对获取到的每一帧样本图像的每个像素做卷积运算，得到所述运算结果；
对于样本图像的每个像素f＝(x,y)，所述锐化公式为：
所述g(x,y)为像素f＝(x,y)的运算结果，所述c为系数；
所述
根据二阶微分公式与拉普拉斯算子的公式相结合得到，其中：
二阶微分公式为：
拉普拉斯算子的公式为：
将二阶微分公式与拉普拉斯算子的公式相结合得到：
3.根据权利要求1所述的方法，其特征在于，所述判断所述样本图像之间是否存在位移，包括：
通过所述计算机系统确定所述样本图像的特征点；
判断前后两帧所述样本图像中的所述特征点是否移动；
若所述特征点移动，则确定所述样本图像之间存在位移；
若所述特征点没有移动，则确定所述样本图像之间不存在位移。
4.根据权利要求1所述的方法，其特征在于，所述判断所述样本图像之间的亮度变化是否大于预设值，包括：
通过所述计算机系统对所述样本图像进行灰度处理，得到处理后样本图像；
计算所述处理后样本图像的亮度值；
计算所述亮度值之间的差值；
根据所述差值判断所述亮度值的变化是否大于所述预设值。
5.根据权利要求1所述的方法，其特征在于，所述将所述样本图像发送至所述计算机系统之后，所述方法还包括：
基于先进先出原则，根据预设的图像数量保存新的样本图像，及删除旧的样本图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述图像景深融合系统还包括荧光通道传感器，所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像之前，所述方法还包括：
通过所述荧光通道传感器获取光学显微镜的荧光通道的颜色信息；
将所述颜色信息发送至所述计算机系统；
所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道；
所述将所述中心图像以及所述待处理图像做景深融合，得到目标图像，包括：
将所述将所述中心图像以及所述待处理图像做景深融合，得到所述颜色通道对应的目标图像。
7.根据权利要求6所述的方法，其特征在于，所述计算机系统根据所述颜色信息确定所述样本图像对应的颜色通道之后，所述方法还包括：
根据所述颜色信息确定所述颜色通道是否被切换；
若所述颜色通道被切换，则返回执行所述转动细准焦螺旋，且在转动所述细准焦螺旋的过程中，通过所述工业相机根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像的步骤；
当得到各颜色通道分别对应的目标图像之后，将各颜色通道分别对应的目标图像融合成所述样本的最终扫描结果。
8.一种图像景深融合系统，其特征在于，所述图像景深融合系统包括显微镜系统以及计算机系统，所述显微镜系统包括光学显微镜与工业相机，其中：
所述光学显微镜，用于通过所述光学显微镜上的显微镜载物台放置并固定样本，并在所述光学显微镜的粗准焦螺旋调节好之后，转动细准焦螺旋；
所述工业相机用于，在转动所述细准焦螺旋的过程中，根据预设的采集频率，采集所述光学显微镜呈现的所述样本的样本图像，并将所述样本图像发送至所述计算机系统；
所述计算机系统,用于判断所述样本图像之间是否存在位移；判断所述样本图像之间的亮度变化是否大于预设值；根据预设的图像边缘检测算法对获取到的每一帧样本图像的每个像素做卷积运算，得到运算结果；将所述运算结果的方差确定为对应样本图像的清晰度得分；若所述样本图像之间不存在位移，且所述样本图像之间的亮度变化不大于所述预设值，则检测采集到的样本图像的所述清晰度得分是否处于先上升后下降的情况；若所述清晰度得分处于先上升后下降的情况，则将所述先上升后下降的顶点对应的样本图像确定为中心图像；提取与所述中心图像相邻的前n帧及后m帧图像作为待处理图像，所述n以及所述m为大于1的整数；将所述中心图像以及所述待处理图像做景深融合，得到目标图像。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210570448.1A CN114815207B (zh) | 2022-05-24 | 2022-05-24 | 显微成像自动对焦的图像景深融合方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210570448.1A CN114815207B (zh) | 2022-05-24 | 2022-05-24 | 显微成像自动对焦的图像景深融合方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114815207A true CN114815207A (zh) | 2022-07-29 |
| CN114815207B CN114815207B (zh) | 2024-07-26 |
Family
ID=82518266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210570448.1A Active CN114815207B (zh) | 2022-05-24 | 2022-05-24 | 显微成像自动对焦的图像景深融合方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114815207B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630061A (zh) * | 2009-08-17 | 2010-01-20 | 公安部物证鉴定中心 | 工具痕迹光学共聚焦三维数据采集系统及其采集方法 |
| CN102609931A (zh) * | 2012-02-01 | 2012-07-25 | 广州市明美光电技术有限公司 | 一种显微图像的景深扩展方法及装置 |
| CN104423027A (zh) * | 2013-08-19 | 2015-03-18 | 卡尔蔡司显微镜有限公司 | 显微镜 |
| CN105701782A (zh) * | 2016-01-13 | 2016-06-22 | 无锡北邮感知技术产业研究院有限公司 | 纹理效果显著的人脸简约图生成方法 |
| CN107481213A (zh) * | 2017-08-28 | 2017-12-15 | 湖南友哲科技有限公司 | 显微镜下图像多层聚焦融合方法 |
| CN107492086A (zh) * | 2017-09-20 | 2017-12-19 | 华中科技大学 | 一种图像的融合方法和融合系统 |
| JP2019204009A (ja) * | 2018-05-24 | 2019-11-28 | オリンパス株式会社 | 顕微鏡システム |
| CN111256616A (zh) * | 2020-03-30 | 2020-06-09 | 阳宇春 | 计量级3d超景深显微系统及检测方法 |
| CN113933981A (zh) * | 2020-06-29 | 2022-01-14 | 深圳辉煌耀强科技有限公司 | 基于光学图像清晰度的自动对焦方法及相关设备 |
| CN114049330A (zh) * | 2021-11-16 | 2022-02-15 | 长春理工大学 | 一种荧光原位杂交图像中荧光特征融合方法及系统 |
| CN114185164A (zh) * | 2021-12-17 | 2022-03-15 | 重庆切克威科技有限公司 | 显微镜的快速自动对焦方法 |
-
2022
- 2022-05-24 CN CN202210570448.1A patent/CN114815207B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630061A (zh) * | 2009-08-17 | 2010-01-20 | 公安部物证鉴定中心 | 工具痕迹光学共聚焦三维数据采集系统及其采集方法 |
| CN102609931A (zh) * | 2012-02-01 | 2012-07-25 | 广州市明美光电技术有限公司 | 一种显微图像的景深扩展方法及装置 |
| CN104423027A (zh) * | 2013-08-19 | 2015-03-18 | 卡尔蔡司显微镜有限公司 | 显微镜 |
| CN105701782A (zh) * | 2016-01-13 | 2016-06-22 | 无锡北邮感知技术产业研究院有限公司 | 纹理效果显著的人脸简约图生成方法 |
| CN107481213A (zh) * | 2017-08-28 | 2017-12-15 | 湖南友哲科技有限公司 | 显微镜下图像多层聚焦融合方法 |
| CN107492086A (zh) * | 2017-09-20 | 2017-12-19 | 华中科技大学 | 一种图像的融合方法和融合系统 |
| JP2019204009A (ja) * | 2018-05-24 | 2019-11-28 | オリンパス株式会社 | 顕微鏡システム |
| CN111256616A (zh) * | 2020-03-30 | 2020-06-09 | 阳宇春 | 计量级3d超景深显微系统及检测方法 |
| WO2021196419A1 (zh) * | 2020-03-30 | 2021-10-07 | 孙亮 | 计量级3d超景深显微系统及检测方法 |
| CN113933981A (zh) * | 2020-06-29 | 2022-01-14 | 深圳辉煌耀强科技有限公司 | 基于光学图像清晰度的自动对焦方法及相关设备 |
| CN114049330A (zh) * | 2021-11-16 | 2022-02-15 | 长春理工大学 | 一种荧光原位杂交图像中荧光特征融合方法及系统 |
| CN114185164A (zh) * | 2021-12-17 | 2022-03-15 | 重庆切克威科技有限公司 | 显微镜的快速自动对焦方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114815207B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6576921B2 (ja) | マルチスペクトル撮像のための自動焦点方法およびシステム | |
| US9069179B2 (en) | Creating and viewing three dimensional virtual slides | |
| US10444486B2 (en) | Systems and methods for detection of blank fields in digital microscopes | |
| KR101891364B1 (ko) | 현미경 이미징에서의 빠른 오토-포커스 | |
| JP5075648B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
| US10613313B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
| CN109612992B (zh) | 一种宫颈脱落细胞涂片的快速扫描方法及其系统 | |
| CN113237881B (zh) | 一种特定细胞的检测方法、装置和病理切片检测系统 | |
| CN110517213A (zh) | 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法 | |
| JP2011072446A (ja) | 充血度算出プログラム及び充血度算出方法、並びに充血度算出装置 | |
| CN109001902A (zh) | 基于图像融合的显微镜聚焦方法 | |
| Gherardi et al. | Illumination field estimation through background detection in optical microscopy | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| CN114815207B (zh) | 显微成像自动对焦的图像景深融合方法及相关设备 | |
| JP2014149381A (ja) | 画像取得装置および画像取得方法 | |
| CN115242979A (zh) | 应用于血液拍摄的对焦方法及系统、智能设备及存储介质 | |
| KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 | |
| CN114967093A (zh) | 一种基于显微高光谱成像平台的自动对焦方法及系统 | |
| JP7090171B2 (ja) | 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム | |
| JP5648366B2 (ja) | 顕微鏡制御装置及び領域判定方法 | |
| Windisch et al. | Image sharpness metrics for digital microscopy | |
| CN112903675B (zh) | 样本分析仪和样本分析仪的细胞图像处理方法 | |
| Chen et al. | Development of an Auto Focusing Stacker for Photomicrography of Marine Microorganisms | |
| JP2012168641A (ja) | 画像判断装置、画像処理装置、カメラ及び画像判断プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |