CN112415733A - 控制显微镜拍摄试样图像的方法、系统、设备及介质 - Google Patents
控制显微镜拍摄试样图像的方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112415733A CN112415733A CN202011441077.4A CN202011441077A CN112415733A CN 112415733 A CN112415733 A CN 112415733A CN 202011441077 A CN202011441077 A CN 202011441077A CN 112415733 A CN112415733 A CN 112415733A
- Authority
- CN
- China
- Prior art keywords
- microscope
- imaging
- objective lens
- sample
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003384 imaging method Methods 0.000 claims abstract description 191
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims description 37
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000013592 cell lysate Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 239000006228 supernatant Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本申请涉及一种控制显微镜拍摄试样图像的方法,包括,生成控制命令,以控制显微镜的物镜扫描成像区域中的多个成像子区,其中,成像区域为显微镜的物镜对试样进行扫描的区域,多个成像子区是通过将成像区域划分得到的;并控制显微镜的物镜在扫描至多个成像子区中的每个成像子区时,使显微镜的物镜以预设的参考高度为基准相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在每个成像子区中的部分拍摄多个图像;以及将控制命令发送给显微镜。本申请能够在快速拍摄的同时得到更多的试样信息。此外本申请还提供了一种数字显微镜系统、设备及介质。
Description
技术领域
本申请涉及一种显微镜拍摄试样图像的方法、系统、设备及介质,属于显微成像领域。
背景技术
随着计算机视觉技术的发展,显微镜已成为现代科学技术中不可缺少的重要工具。目前,由于光学显微镜的景深限制,在拍摄试样时并不能得到丰富的细节信息,特别是在物体表面高低不同时,取任何一个焦距都难以得到全清晰的图像。在需要快速拍摄试样全图的情况下,更无法照顾到试样的各个细节。
发明内容
本申请的目的在于提供一种在显微镜快速拍摄时能够得到更多的试样信息的方案。
本申请的第一方面提供了一种显微镜拍摄试样图像的方法,包括,
生成控制命令,以控制显微镜的物镜扫描成像区域中的多个成像子区,其中,成像区域为显微镜的物镜对试样进行扫描的区域,多个成像子区是通过将成像区域划分得到的;并控制显微镜的物镜在扫描至多个成像子区中的每个成像子区时,使显微镜的物镜以预设的参考高度为基准相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在每个成像子区中的部分拍摄多个图像;以及将控制命令发送给显微镜。
与现有技术相比,本申请能够在快速拍摄的同时得到不同拍摄高度的图像,尽可能的保留更多信息。
在上述第一方面的一种可能实现中,控制命令还包括显微镜的物镜应扫描的成像子区的位置和/或上下移动过程中的多个移动位置。
在上述第一方面的一种可能实现中,控制命令控制显微镜的载物台和/或显微镜的物镜水平移动,使显微镜的物镜扫描成像区域中的多个成像子区。
在上述第一方面的一种可能实现中,控制命令控制显微镜的载物台和/或显微镜的物镜上下移动,使显微镜的物镜相对于试样上下移动。
在上述第一方面的一种可能实现中,还包括:接收拍摄的试样的图像,从拍摄的每个成像子区的多个图像中选择清晰度在预设阈值以上的图像,并将所选的对应于各个成像子区的图像拼合成完整图像。
在上述第一方面的一种可能实现中,还包括:接收拍摄的试样的图像,从拍摄的每个成像子区的多个图像,以一个或多个像素点的清晰度为基准,进行各个成像子区的图像的拼合,并利用各个成像子区的图像形成完整图像。
在上述第一方面的一种可能实现中,以一个或多个像素的清晰度为基准,进行各个成像子区的图像的拼合,包括:拼合后的成像子区的图像中,各个像素点的清晰度是拍摄的每个成像子区的多个图像中,相同的位置上的各个像素点的清晰度中最高的。
在上述第一方面的一种可能实现中,从拍摄的每个成像子区的多个图像中选择清晰度满足要求的图像包括:确定成像子区中的感兴趣区域;根据感兴趣区域的清晰度,选择出感兴趣区域的清晰度满足要求的图像。
在上述第一方面的一种可能实现中,从拍摄的每个成像子区的多个图像中选择清晰度满足要求的图像时,采用无参考清晰度评估算法。
在上述第一方面的一种可能实现中,预设的参考高度通过以下方式得到:控制显微镜的物镜在起始成像子区相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在起始成像子区中的部分拍摄多个图像,将拍摄的起始成像子区的多个图像中最清晰的图像所对应的物镜高度标记为参考高度。
本申请的第二方面提供了一种数字显微镜系统,包括控制设备和显微镜,控制设备和显微镜之间建立通信连接,
控制设备,用于生成控制命令,发送给显微镜;
显微镜,用于接收控制命令,并使显微镜的物镜扫描成像区域中的多个成像子区,其中,成像区域为显微镜的物镜对试样进行扫描的区域,多个成像子区是通过将成像区域划分得到的;并在显微镜的物镜扫描至多个成像子区中的每个成像子区时,使显微镜的物镜以预设的参考高度为基准相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在每个成像子区中的部分拍摄多个图像。
在上述第二方面的一种可能实现中,控制设备,用于接收针对每个成像子区拍摄的多张图像,并保存。
在上述第二方面的一种可能实现中,控制设备,还用于从拍摄的每个成像子区的多个图像中选择清晰度满足要求的图像,并将所选的对应于各个成像子区的图像拼合成完整图像。
本申请的第三方面提供了一种用显微镜拍摄试样图像的方法,包括:
由显微镜的物镜,扫描成像区域中的多个成像子区,其中,成像区域为显微镜的物镜对试样进行扫描的区域,多个成像子区是通过将成像区域划分得到的;在显微镜的物镜扫描至多个成像子区中的每个成像子区时,使显微镜的物镜以预设的参考高度为基准相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在每个成像子区中的部分拍摄多个图像。
在上述第三方面的一种可能实现中,显微镜的载物台和/或显微镜的物镜水平移动,使显微镜的物镜扫描成像区域中的多个成像子区。
在上述第三方面的一种可能实现中,显微镜的载物台和/或显微镜的物镜上下移动,使显微镜的物镜相对于试样上下移动。
本申请的第四方面提供了一种试样拍摄方法,分别在多种倍率下多次拍摄试样,其中至少一次拍摄可以采用前述第一方面或第一方面的任一实现方式提供的成像方法。
本申请的第五方面提供了一种设备,该设备包括处理器、存储器,处理器与存储器建立通信连接;处理器,用于读取存储器中的程序,以执行前述第一方面或第一方面的任一实现方式提供的方法。
本申请的第六方面提供了一种机器可读介质,该机器可读介质中存储了程序,该程序被电子设备运行时,电子设备执行前述第一方面或第一方面的任一实现方式提供的方法。
本申请的第七方面提供了一种机器可读介质,机器可读介质中存储了程序,该程序被机器运行时,机器执行以下操作:生成控制命令,以控制显微镜的物镜扫描成像区域中的多个成像子区,其中,成像区域为显微镜的物镜对试样进行扫描的区域,多个成像子区是通过将成像区域划分得到的;并控制显微镜的物镜在扫描至多个成像子区中的每个成像子区时,使显微镜的物镜以预设的参考高度为基准相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在每个成像子区中的部分拍摄多个图像;以及将控制命令发送给显微镜。
本申请的第八方面提供了一种设备,该设备包括处理器、存储器,处理器与存储器建立通信连接;处理器,用于读取存储器中的程序,以执行:生成控制命令,以控制显微镜的物镜扫描成像区域中的多个成像子区,其中,成像区域为显微镜的物镜对试样进行扫描的区域,多个成像子区是通过将成像区域划分得到的;并控制显微镜的物镜在扫描至多个成像子区中的每个成像子区时,使显微镜的物镜以预设的参考高度为基准相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在每个成像子区中的部分拍摄多个图像;以及将控制命令发送给显微镜。
本申请显著提高了显微镜在拍摄图像序列时的成像清晰度,特别是在物体表面高低不同时,能够在快速批量扫描的同时充分照顾到试样的各个细节,使得通过显微镜所获得的整体图像更为清晰。
附图说明
图1是根据本申请的实施例的显微镜拍摄试样图像的方法的流程图。
图2是根据本申请的实施例的数字显微镜系统的架构示意图。
图3是根据本申请的实施例的电子设备的硬件装置示意图。
具体实施方式
下面结合具体实施例和附图对本申请做进一步说明。可以理解的是,此处描述的具体实施例仅仅是为了解释本申请,而非对本申请的限定。此外,为了便于描述,附图中仅示出了与本申请相关的部分而非全部的结构或过程。
另外,在以下的说明中所使用的“上”、“下”、“左”、“右”等等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
应注意的是,在本说明书中,相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
术语“试样”涵盖临床样品,例如包括培养的细胞、细胞上清液、细胞溶解产物、血清、血浆、生物流体、和组织样品等,还涵盖各种精密器件,例如光学晶体、半导体器件、精密机械器件等。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
在显微镜对试样进行扫描成像的过程中,通常在调制焦距找到清晰的图像后,批量扫描,拼合后得到完整图像,或者,为了得到更为清晰的图像,每次都对不同位置的试样图像分别调制焦距而后分别成像,再拼合成完整图像。前者在物体表面高低不同时,难以得到全清晰的图像,而后者则会在调制焦距上耗费大量的时间,导致采集时间很长,工作效率较低。
本申请致力于提供一种在对试样进行快速扫描成像的同时能够得到更多的试样信息的成像方案。如图2所示,根据本申请的一个实施例,提供一种数字显微镜系统,该系统中包括控制设备10和显微镜20,二者之间建立通信连接,控制设备10可以向显微镜20发送各种控制命令,以控制显微镜20执行各种操作,而显微镜20可以向控制设备10反馈信息。
其中,显微镜20包括高精度载物台和可在z方向上竖直移动或x、y、z三个方向均可移动的成像系统。在一个示例中,载物台可在x、y方向上平移,在另一示例中,载物台为多向运动台,可在包括x、y平移方向上的多个方向上进行运动,例如,旋转运动、平移运动、俯仰运动和滚转运动等。成像系统对放置在载物台上的一个或多个试样进行成像。成像系统包括诸如电荷耦合器件(CCD)的图像传感器、自动对焦系统、和多个显微镜组件,每个显微镜组件可以具有不同的光学分辨率和分辨率范围,可选地,显微镜组件的放大倍率为1倍至20倍可调。作为一个示例,显微镜组件可以包括各种物镜,例如,具有2倍、5倍、10倍、15倍等放大倍率的无限远校准类型,这些物镜可以互换,也可以按照需要替换其他物镜或添加更多的物镜。作为另一个示例,成像系统还可以包括超/广角成像组件,该成像组件装备小型图像传感器和广角镜头,具有比显微镜组件更大的成像区域,可实现对大部分或全部的载物台进行成像的功能。显微镜20根据控制设备10输出的命令移动载物台和/或物镜。现有的CCD传感器根据分辨率的不同具有数百万至数亿的感光单元(像素),对于一般的传感器,典型的像素大小一般在5微米×5微米左右。在光学系统中,物镜的不同放大倍率可以标定在图像中的像素的大小,例如,在1倍至20倍的倍率下,像素的大小可以表示为约5微米/1X至5微米/20X,即,标定系数为5微米至250纳米,例如,放大倍率为2时,像素大小的标定系数为2.5微米,放大倍率为10时,像素大小的标定系数为500纳米。可选地,载物台可以是在x、y方向上行程范围为800mm的电动高精度位移台。
控制设备10中可以包括试样成像装置,具体包括:成像子区划分模块101、控制命令生成模块102和图像保存模块103。其中,成像子区划分模块101可以被配置为将显微镜20的可成像区域按照水平坐标划分为多个成像子区,其中,成像区域指的是显微镜的物镜水平方向上扫描的范围。控制命令生成模块102被配置为生成第一控制命令、第二控制命令和拍摄控制命令,控制设备10可以将这些命令发送给显微镜20,以控制显微镜20的动作。其中第一控制命令用于控制显微镜20的物镜从预设的起始成像子区开始,以预设的方向遍历所有成像子区;第二控制命令用于控制显微镜20的物镜在每个成像子区上方,以预设的参考高度Z0为中心上下移动;而拍摄控制命令用于控制显微镜20的相机在物镜上下移动的同时拍摄多张试样的图像。图像保存模块103被配置为保存针对每个成像子区拍摄的所述多张试样的图像。
在一种实施方式中,该成像装置还可以包括图像选择模块104和图像合成模块105。其中,图像选择模块104被配置为对于每个成像子区,从拍摄的多个图像中选择清晰度满足要求的图像并保存。图像合成模块105被配置为将选择的各个成像子区的清晰度满足要求的图像按照水平坐标合成为完整图像。
下面结合图1详细说明利用上述系统进行试样成像的方法。根据本申请的一个实施例,显微镜拍摄试样图像的方法可以包括:
步骤S101,控制设备将显微镜的可成像区域按照水平坐标划分为多个成像子区,一般来说,在不同放大倍率下,划分的成像子区数量不同,拍摄越精细,倍率越高,则划分的拍摄子区越多,拍摄时间也会越长。根据本申请的一些实施例,该步骤可以省略,或者,也可以其他设备来执行。
具体而言,根据图像传感器的规格,可成像区域一般为多边形区域,成像子区的形状和尺寸可根据需要任意设置,例如,正方形、矩形等。此外,根据上述的标定系数可知可成像区域在不同放大倍率下的大小。例如,以正方形成像区域为例,当成像系统通过广角镜头或物镜实时对载物台进行成像时,成像区域中的一个成像子区可以实时显示在显示器中,该成像区域的尺寸是固定的,根据成像区域任意顶点的坐标和已知的标定系数,成像区域内任意点或像素的坐标都可基于顶点的坐标推算出来。
随后,步骤S102,控制设备生成第一控制命令,发送给显微镜,第一控制命令控制显微镜的物镜从预设的起始成像子区开始,以预设的方向遍历所有成像子区。例如,在一种实施方式中,可以以可成像区域的左上角作为坐标0点,将最左上角的子区作为起始成像子区,随后控制显微镜的物镜按照从左到右,从上到下的方向依次扫描所有子区;或者,在一些实施方式中,也可以以可成像区域的中心点作为坐标0点,将中心点所在的子区作为起始子区,控制物镜水平移动,使显微镜的物镜可以沿预设方向依次向外扫描过所有子区等。
在一些实施方式中,可以控制物镜在水平方向不发生位移,而是使显微镜的载物台沿X轴、Y轴运动,同样可以使显微镜的物镜能够依次扫过所有子区;或者,也可以同时移动物镜及载物台,使物镜相对成像区产生水平位移等。在本申请中,并不对上述物镜相对于载物台的水平位移的具体的方向、起始位置或者位移等做出具体限制。换句话说,无论物镜相对于载物台的进行怎样的方式的水平位移,都适用于本申请所说明的成像过程。
随后,步骤S103-S104,控制设备生成第二控制命令和拍摄控制命令,发送给显微镜,以控制显微镜的物镜在每个成像子区上方,以参考高度Z0为中心上下移动,并控制显微镜的相机在物镜上下移动的同时拍摄多张试样的图像并保存。通过这种方式,本申请能够在快速拍摄的同时得到不同拍摄高度的图像,从而尽可能的保留更多的试样信息。
与步骤S102类似,在一些实施方式中,可以控制物镜在竖直方向不发生位移,而是使显微镜的载物台沿Z轴运动,同样可以使显微镜的物镜能够相对于载物台上的试样上下移动;或者,也可以同时移动物镜及载物台,使物镜相对成像区产生竖直方向的位移等。
其中,参考高度Z0可以预先设置,例如,可以通过以下方式设置:在控制所述显微镜的相机拍摄前,调整所述显微镜的物镜高度使得所述起始成像子区的试样图像清晰,将对应的物镜高度标记为Z0。随后,控制显微镜的Z轴使物镜以固定的运动步长在同一成像子区上下运动,同时拍摄多个图像。其中,拍摄步长与拍摄张数可以是默认项,也可以根据不同的试样特点来预先设置,若试样表面起伏较大,则可以将步长设置的较大,反之,则可以设置一个较小的步长。
以上第一控制命令、第二控制命令及拍摄控制命令仅仅是为了区分控制设备控制显微镜进行的各种操作,在一些情况下,这三个命令也可以理解为一个控制命令,包括多个移动参数,分别控制显微镜的物镜执行相应的遍历成像子区、上下移动和拍摄等操作。此外,虽然在这里使用了词语“第一”、“第二”等来描述特征,但是这些特征不应当受这些词语的限制。使用这些词语仅仅是为了将一个特征与另一个特征进行区分,词语第一、第二等的使用不表示任何顺序。
由此,对于凹凸不平的试样表面,通过在每个子区上方的不同高度拍摄多个图像,可以有效避免在同一高度拍摄导致的不同子区间的清晰度差异,通过合理设置上下移动的步长,可以尽可能地保证不同子区都可以拍摄到清晰图像。
随后,可选择地,本申请还可以包括步骤S105,对于每个成像子区,从拍摄的多个图像中选择清晰度满足要求的图像。例如,清晰度满足要求的图像可以是最清晰的图像,或者清晰度大于预设阈值的图像中的一张。
从上下移动拍摄的多个图像中选择清晰度满足要求的图像时,可以采用无参考清晰度评估算法。
例如,在一个实施例中,可以采用Brenner梯度函数来计算相邻两个像素灰度差的平方,得到清晰度D(f):
D(f)=∑y∑x|f(x+2,y)-f(x,y)|2
其中:f(x,y)表示图像f对应像素点(x,y)的灰度值。
或者,在另一个实施例中,可以采用Tenengrad梯度函数,利用采用Sobel算子分别提取水平和垂直方向的梯度值:
D(f)=∑y∑x|G(x,y)| (G(x,y)>T)
其中,G(x,y)的形式如下:
其中:T是给定的边缘检测阈值,Gx和Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积,可以使用以下的Sobel算子模板来检测边缘:
或者,在另一实施例中,也可以利用SMD(灰度方差)函数,当完全聚焦时,图像最清晰,图像中的高频分量也最多,故可将灰度变化作为聚焦评价的依据,灰度方差法的公式如下:
D(f)=∑y∑x(|f(x,y)-f(x,y-1)|+|f(x,y)-f(x+1,y)|)
以上清晰度评估算法仅仅是举例说明,并不作为对本申请的限制,在不同实施例中,可以采用各种已有或将来会有的算法来得到清晰度满足要求的图像。
最后,在步骤S106中,将选择的各个成像子区的清晰度满足要求的图像按照水平坐标合成为完整图像,从而得到完整的清晰试样全图。在不同实施例中,每个成像子区的清晰度满足要求的图像可能有多个,此时,可以根据不同需求来挑选一张用于合成完整图像,例如,随机选一张,或者选最清晰的一张。
与现有技术相比,本申请能够在快速批量扫描的同时充分照顾到试样的各个细节,使得通过显微镜所获得的整体图像更为清晰。
此外,在另外一些实施例中,由于试样中可能只有部分区域是值得关注的重点,具体到每个子区,也可能只会对某些特定区域更感兴趣,例如某些颜色、形状、纹理等特征区域,而对于其他区域不太重视,此时,如果对照整个子区选择清晰度满足要求的图像,那么得到的图像中的感兴趣的区域可能并不是最佳效果。因此,在一些实施例中,在图像中存在感兴趣区域(region of interest,简称ROI)时,在从上下移动过程中拍摄的多个图像中选择清晰图像并保存时,可以先确定多个图像中每一张图像中的感兴趣区域,随后根据多个感兴趣区域的清晰度,选择出所述感兴趣区域的清晰度满足要求的图像,并保存,并将ROI清晰度满足要求的图像保存下来用于合成完整图像。
根据本申请的另一个实施例,在步骤S106中,与以上实施例介绍的以各个成像子区为基准,用于选择适合于最终的图像拼合的对象,以进行用于合成图像的拼合的手段不同,还可以以成像子区中的一个像素或若干个像素为基准,用于选择适合于最终的图像拼合的对象。以下以一个像素为单位作为实例进行说明。
对于一张由多个成像子区构成的成像区域,每个成像子区最后会获得多张成像子区的图像,各张成像子区的图像分别对应不同的成像高度,即物镜与载物台之间的高度。以成像子区中的一个像素或若干个像素为基准,用于选择适合于最终的图像拼合的对象是指,在所获得这多张成像子区的图像中,对于同样位置的一个像素的像素点,选择这多张成像子区的图像中最清晰的一个像素。以此类推,遍历这多张成像子区的图像中的全部像素,最后拼合得到一张最终的成像子区的图像,其中所包括的各个像素点的清晰度是所有的多张成像子区的图像中相同位置处的各相应像素点中最高的。
具体而言,假设对于成像子区a,获得a1至a5共计五张成像子区a的图像A1~A5。对于每张图像(A1~A5)共有500*500个像素。从图像A1的左上角第一个像素开始,确定该像素点的清晰度。并且,确认其他4张图像中左上角第一个像素的清晰度。从中选择清晰度最高的像素点,作为拼合最终的成像子区a的图像Ax的对象点。此后,用同样的方法,以逐行或逐列方式对所有的其他像素点进行同样的操作,最后获得500*500个最终挑选出的像素点,拼合成最后的图像Ax。对于每个成像子区获得的最终图像,再依序拼合成最终的成像区域的图像。
当然,以“一个像素”为基准进行用于拼合的图像的选择只是示例性说明。为了节省计算量,可以以多个像素,例如4个、9个等数量的相邻像素阵列作为基准。也可以以选定像素范围内(例如ROI区域)的各个像素为基准。
通过以预设的参考高度Z0为中心上下移动,在面对试样的凹凸不平表面时,可以在不论是高点还是低点都尽可能的保证能够采集到清晰的图像。然而,在一些实施例中,试样表面可能具有较大面积的斜坡,此时,利用同一预设的参考高度Z0作为参考可能会逐渐偏离焦平面而导致上下移动拍摄的图像无法满足清晰度要求。此时,本申请提供另一种方案,使物镜的高度随着拍摄过程实时调整。
根据本申请的另一个实施例,在步骤S103中,控制显微镜的物镜在每个成像子区上方,以参考高度Z0为中心上下移动时,除了起始成像子区外,可以实时记录拍摄上一个成像子区时记录的清晰度满足要求的图像所对应的物镜高度,并将该高度作为当前成像子区的参考高度Z0。这样,参考高度Z0可以随着试样表面实时调整,尤其是在出现连续缓坡时,Z0能够随着坡度实时改变,使得可以尽可能的保证拍摄到清晰的图像。在以上描述中,一些示例性实施例参考流程图描绘对相关处理或方法进行了详细说明。虽然在流程图将各项操作描述成顺序的处理,但是,其中的许多操作可以被并行地、并发地或者同时实施,此外,各项操作的顺序也可以被重新安排,以与示出的顺序不同的其他顺序来执行上述方法。此外,在不同实施方式中,还可以具有未包括在附图中的其他附加步骤。例如,在一种试样拍摄方法中,可以分别在多种倍率下多次拍摄试样,以得到不同精细程度的图像,其中可以至少有一次拍摄采用如图1所示的成像方法。
根据本申请的另一个实施例,如图3所示,还提供了一种电子设备30,包括处理器301和存储器302,处理器301和存储器302建立通信连接,存储器302中存储有计算机程序命令,在该计算机程序命令被处理器301运行时,使得处理器301执行图1中所示的显微镜拍摄试样图像的方法。
进一步地,如图3所示,电子设备还包括网络接口303、输入设备304、硬盘305、和显示设备306。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器301代表的一个或者多个中央处理器(CPU),以及由存储器302代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解,总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外,还包括电源总线、控制总线和状态信号总线,这些都是本领域所公知的,因此本文不再对其进行详细描述。
所述网络接口303,可以连接至网络(如因特网、局域网等),从网络中获取相关数据,并可以保存在硬盘305中。
所述输入设备304,可以接收操作人员输入的各种命令,并发送给处理器301以供执行。所述输入设备304可以包括键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备306,可以将处理器301执行命令获得的结果进行显示。
所述存储器302,用于存储操作系统运行所必须的程序和数据,以及处理器301计算过程中的中间结果等数据。
可以理解,本申请实施例中的存储器302可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM),其用作外部高速缓存。本文描述的装置和方法的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器302存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统3021和应用程序3014。
其中,操作系统3021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序3014,包含各种应用程序,例如浏览器(Browser)等,用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序3014中。
上述处理器301,当调用并执行存储器302中所存储的应用程序和数据,具体的,可以是应用程序3014中存储的程序或命令时,可以执行图1中所示的显微镜拍摄试样图像的方法。
本申请上述实施例揭示的方法可以应用于处理器301中,或者由处理器301实现。处理器301可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的命令完成。上述的处理器301可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302,处理器301读取存储器302中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地,处理器301还用于读取所述计算机程序,执行如下步骤:
生成控制命令,以控制显微镜的物镜扫描成像区域中的多个成像子区,其中,成像区域为显微镜的物镜对试样进行扫描的区域,多个成像子区是通过将成像区域划分得到的;并控制显微镜的物镜在扫描至多个成像子区中的每个成像子区时,使显微镜的物镜以预设的参考高度为基准相对于试样上下移动,并在上下移动过程中的多个移动位置处对试样在每个成像子区中的部分拍摄多个图像;以及将控制命令发送给显微镜。
根据本申请的另一个实施例,还提供了一种机器可读介质,所述机器可读介质中存储了程序,该程序被电子设备运行时,所述电子设备执行图1中的成像方法。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干命令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例做了详细说明,但本申请技术方案的使用不仅仅局限于本专利实施例中提及的各种应用,各种结构和变型都可以参考本申请技术方案轻易地实施,以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内,在不脱离本申请宗旨的前提下做出的各种变化,均应归属于本申请专利涵盖范围。
Claims (10)
1.一种控制显微镜拍摄试样图像的方法,用于电子设备,所述电子设备与显微镜通信连接,其特征在于,包括:
生成控制命令,以控制所述显微镜的物镜扫描成像区域中的多个成像子区,其中,所述成像区域为所述显微镜的物镜对所述试样进行扫描的区域,所述多个成像子区是通过将所述成像区域划分得到的;并控制所述显微镜的物镜在扫描至所述多个成像子区中的每个成像子区时,使所述显微镜的物镜以预设的参考高度为基准相对于所述试样上下移动,并在所述上下移动过程中的多个移动位置处对所述试样在所述每个成像子区中的部分拍摄多个图像;以及
将所述控制命令发送给所述显微镜。
2.根据权利要求1所述的控制显微镜拍摄试样图像的方法,其特征在于,所述控制命令还包括所述显微镜的物镜应扫描的所述成像子区的位置和/或所述上下移动过程中的多个所述移动位置。
3.一种控制显微镜拍摄试样图像的方法,其特征在于,分别在多种倍率下多次拍摄试样,其中至少一次拍摄采用如权利要求1-2中任意一项所述的方法。
4.一种数字显微镜系统,包括控制设备和显微镜,所述控制设备和所述显微镜之间建立通信连接,其特征在于,
所述控制设备,用于生成控制命令,发送给所述显微镜;
所述显微镜,用于接收所述控制命令,并使所述显微镜的物镜扫描所述成像区域中的多个成像子区,其中,所述成像区域为所述显微镜的物镜对所述试样进行扫描的区域,所述多个成像子区是通过将所述成像区域划分得到的;并在所述显微镜的所述物镜扫描至所述多个成像子区中的每个成像子区时,使所述显微镜的物镜以预设的参考高度为基准相对于所述试样上下移动,并在所述上下移动过程中的多个移动位置处对所述试样在所述每个成像子区中的部分拍摄多个图像。
5.根据权利要求4所述的数字显微镜系统,其特征在于,
所述控制设备,用于接收针对每个成像子区拍摄的多张图像,并保存。
6.根据权利要求5所述的数字显微镜系统,其特征在于,
所述控制设备,还用于从拍摄的每个成像子区的多个图像中选择清晰度满足要求的图像,并将所选的对应于各个成像子区的图像拼合成完整图像。
7.一种用显微镜拍摄试样图像的方法,其特征在于,包括:
由所述显微镜的物镜,扫描成像区域中的多个成像子区,其中,所述成像区域为所述显微镜的物镜对所述试样进行扫描的区域,所述多个成像子区是通过将所述成像区域划分得到的;
在所述显微镜的所述物镜扫描至所述多个成像子区中的每个成像子区时,使所述显微镜的物镜以预设的参考高度为基准相对于所述试样上下移动,并在所述上下移动过程中的多个移动位置处对所述试样在所述每个成像子区中的部分拍摄多个图像。
8.根据权利要求7所述的用显微镜拍摄试样图像的方法,其特征在于,所述显微镜的载物台和/或所述显微镜的物镜水平移动,使所述显微镜的物镜扫描所述成像区域中的多个成像子区。
9.一种机器可读介质,其特征在于,所述机器可读介质中存储了程序,该程序被机器运行时,所述机器执行以下操作:
生成控制命令,以控制所述显微镜的物镜扫描成像区域中的多个成像子区,其中,所述成像区域为所述显微镜的物镜对所述试样进行扫描的区域,所述多个成像子区是通过将所述成像区域划分得到的;并控制所述显微镜的物镜在扫描至所述多个成像子区中的每个成像子区时,使所述显微镜的物镜以预设的参考高度为基准相对于所述试样上下移动,并在所述上下移动过程中的多个移动位置处对所述试样在所述每个成像子区中的部分拍摄多个图像;以及
将所述控制命令发送给所述显微镜。
10.一种设备,其特征在于,包括处理器、存储器,所述处理器与所述存储器建立通信连接;
所述处理器,用于读取所述存储器中的程序,以执行:
生成控制命令,以控制所述显微镜的物镜扫描成像区域中的多个成像子区,其中,所述成像区域为所述显微镜的物镜对所述试样进行扫描的区域,所述多个成像子区是通过将所述成像区域划分得到的;并控制所述显微镜的物镜在扫描至所述多个成像子区中的每个成像子区时,使所述显微镜的物镜以预设的参考高度为基准相对于所述试样上下移动,并在所述上下移动过程中的多个移动位置处对所述试样在所述每个成像子区中的部分拍摄多个图像;以及
将所述控制命令发送给所述显微镜。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011441077.4A CN112415733B (zh) | 2020-12-11 | 2020-12-11 | 控制显微镜拍摄试样图像的方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011441077.4A CN112415733B (zh) | 2020-12-11 | 2020-12-11 | 控制显微镜拍摄试样图像的方法、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112415733A true CN112415733A (zh) | 2021-02-26 |
CN112415733B CN112415733B (zh) | 2024-01-09 |
Family
ID=74775055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011441077.4A Active CN112415733B (zh) | 2020-12-11 | 2020-12-11 | 控制显微镜拍摄试样图像的方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112415733B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259591A (zh) * | 2021-06-07 | 2021-08-13 | 上海聚跃检测技术有限公司 | 一种用于芯片失效分析的图像采集方法及系统 |
CN113470167A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
CN113472984A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 图像获取方法、装置、系统、存储介质和设备 |
CN113469865A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种获取显微图像的方法与设备 |
CN114326080A (zh) * | 2022-01-11 | 2022-04-12 | 上海察微电子技术有限公司 | 一种用于显微镜的超大景深和防震防抖图像处理方法 |
CN115047610A (zh) * | 2022-08-17 | 2022-09-13 | 杭州德适生物科技有限公司 | 一种自动拟合显微对焦平面的染色体核型分析装置及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1793860A (zh) * | 2005-12-31 | 2006-06-28 | 浙江大学 | 激光共焦扫描结合图像拼接的生物芯片成像方法及其装置 |
CN102854615A (zh) * | 2012-04-27 | 2013-01-02 | 麦克奥迪实业集团有限公司 | 一种对显微切片的全自动扫描系统及方法 |
CN104853086A (zh) * | 2014-02-17 | 2015-08-19 | 佳能株式会社 | 成像系统、成像装置和图像处理装置 |
CN204795288U (zh) * | 2015-06-30 | 2015-11-18 | 中国人民解放军南京军区福州总医院 | 一种精密数控实验动物图像采集装置 |
CN109001902A (zh) * | 2018-09-05 | 2018-12-14 | 哈尔滨理工大学 | 基于图像融合的显微镜聚焦方法 |
CN110235045A (zh) * | 2017-01-23 | 2019-09-13 | 卡尔蔡司显微镜有限责任公司 | 用于对样品进行显微检查的显微镜和方法 |
CN110488481A (zh) * | 2019-09-19 | 2019-11-22 | 广东工业大学 | 一种显微镜对焦方法、显微镜及相关设备 |
-
2020
- 2020-12-11 CN CN202011441077.4A patent/CN112415733B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1793860A (zh) * | 2005-12-31 | 2006-06-28 | 浙江大学 | 激光共焦扫描结合图像拼接的生物芯片成像方法及其装置 |
CN102854615A (zh) * | 2012-04-27 | 2013-01-02 | 麦克奥迪实业集团有限公司 | 一种对显微切片的全自动扫描系统及方法 |
CN104853086A (zh) * | 2014-02-17 | 2015-08-19 | 佳能株式会社 | 成像系统、成像装置和图像处理装置 |
CN204795288U (zh) * | 2015-06-30 | 2015-11-18 | 中国人民解放军南京军区福州总医院 | 一种精密数控实验动物图像采集装置 |
CN110235045A (zh) * | 2017-01-23 | 2019-09-13 | 卡尔蔡司显微镜有限责任公司 | 用于对样品进行显微检查的显微镜和方法 |
CN109001902A (zh) * | 2018-09-05 | 2018-12-14 | 哈尔滨理工大学 | 基于图像融合的显微镜聚焦方法 |
CN110488481A (zh) * | 2019-09-19 | 2019-11-22 | 广东工业大学 | 一种显微镜对焦方法、显微镜及相关设备 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259591A (zh) * | 2021-06-07 | 2021-08-13 | 上海聚跃检测技术有限公司 | 一种用于芯片失效分析的图像采集方法及系统 |
CN113259591B (zh) * | 2021-06-07 | 2021-11-05 | 上海聚跃检测技术有限公司 | 一种用于芯片失效分析的图像采集方法及系统 |
CN113470167A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
CN113472984A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 图像获取方法、装置、系统、存储介质和设备 |
CN113469865A (zh) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | 一种获取显微图像的方法与设备 |
CN113472984B (zh) * | 2021-06-28 | 2023-10-20 | 平湖莱顿光学仪器制造有限公司 | 图像获取方法、装置、系统、存储介质和设备 |
CN113470167B (zh) * | 2021-06-28 | 2024-04-19 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
CN113469865B (zh) * | 2021-06-28 | 2024-04-19 | 平湖莱顿光学仪器制造有限公司 | 一种获取显微图像的方法与设备 |
CN114326080A (zh) * | 2022-01-11 | 2022-04-12 | 上海察微电子技术有限公司 | 一种用于显微镜的超大景深和防震防抖图像处理方法 |
CN115047610A (zh) * | 2022-08-17 | 2022-09-13 | 杭州德适生物科技有限公司 | 一种自动拟合显微对焦平面的染色体核型分析装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112415733B (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112415733B (zh) | 控制显微镜拍摄试样图像的方法、系统、设备及介质 | |
CN112505910B (zh) | 用显微镜拍摄试样图像的方法、系统、设备及介质 | |
US6816606B2 (en) | Method for maintaining high-quality focus during high-throughput, microscopic digital montage imaging | |
US6519359B1 (en) | Range camera controller for acquiring 3D models | |
US7155049B2 (en) | System for creating microscopic digital montage images | |
US7778485B2 (en) | Systems and methods for stitching image blocks to create seamless magnified images of a microscope slide | |
CN101630061B (zh) | 工具痕迹光学共聚焦三维数据采集方法 | |
CN109417602B (zh) | 图像处理方法、图像处理装置、摄像装置及摄像方法 | |
US8000511B2 (en) | System for and method of focusing in automated microscope systems | |
US20060038144A1 (en) | Method and apparatus for providing optimal images of a microscope specimen | |
JP6274794B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び画像測定装置 | |
JP2012003214A (ja) | 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 | |
JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
WO2018042786A1 (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
JP4158750B2 (ja) | オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置 | |
KR101677822B1 (ko) | 주사형 전자 현미경의 화상 처리 장치 및 주사 방법 | |
JP4653041B2 (ja) | イメージ・ブロックを合成し顕微鏡スライドのシームレスな拡大イメージを作成するシステム及び方法 | |
CN113472984B (zh) | 图像获取方法、装置、系统、存储介质和设备 | |
JP6802636B2 (ja) | 顕微鏡システムおよび標本観察方法 | |
CN105651699B (zh) | 一种基于面阵相机的动态跟焦方法 | |
CN116313710A (zh) | 一种聚焦控制方法、装置、扫描电子显微镜和存储介质 | |
RU2647645C1 (ru) | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени | |
CN113204107B (zh) | 一种具有双物镜的三维扫描显微镜及三维扫描方法 | |
JP6263589B1 (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
CN113933984B (zh) | 用于生成由多个显微子图像合成的图像的方法和显微镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |