CN111665617A - 一种对焦方法及系统 - Google Patents

一种对焦方法及系统 Download PDF

Info

Publication number
CN111665617A
CN111665617A CN202010586041.9A CN202010586041A CN111665617A CN 111665617 A CN111665617 A CN 111665617A CN 202010586041 A CN202010586041 A CN 202010586041A CN 111665617 A CN111665617 A CN 111665617A
Authority
CN
China
Prior art keywords
image
focusing
evaluation
sampling
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010586041.9A
Other languages
English (en)
Inventor
张珺
梅春明
狄媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongji Biotechnology Co ltd
Original Assignee
Wuhan Zhongji Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongji Biotechnology Co ltd filed Critical Wuhan Zhongji Biotechnology Co ltd
Priority to CN202010586041.9A priority Critical patent/CN111665617A/zh
Publication of CN111665617A publication Critical patent/CN111665617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data

Abstract

本发明属于对焦技术领域,涉及一种对焦方法及系统。将图像采集系统采集到的样品图像进行图像清晰度评价以及目标内容含量的评价;将高于阈值的目标内容含量评价得分对应的图像视野继续评价;以找到图像清晰度评价曲线的峰为目的,根据图像清晰度曲线的走向趋势确定下一个采样位移,重复图像采集和评价,直至找到各视野下图像对焦曲线的峰,根据峰对应的采样位移确定各视野下当前对焦精度下的对焦位置。该对焦方法能够在确保较大的搜索范围、较高的对焦准确度和对焦位置精确度的情况下迅速对焦。

Description

一种对焦方法及系统
技术领域
本发明属于对焦技术领域,更具体地,涉及一种对焦方法及系统。
背景技术
医院病理科主要通过由患者组织制成的生物玻片进行诊断。由于科室信息化、数字化、智能化的需求,需要将生物玻片转化为数字图像,即数字扫描。图2为传统的病理玻片结构及与物镜关系示意图,其中:
A:载玻片,是组织样本的载体,常用的载玻片规格为76mm(长)X26mm(宽),厚度为1.1±0.04mm;
B:组织样本,在制片环节从样本取下的组织薄片。对于常规病理组织玻片,使用切片机手动从组织块上切取组织样本,厚度应控制在2um左右;对于其它类型玻片,厚度变化较大,在1um(细胞或组织量少,在切片上均匀分布)到40um(细胞或组织量大形成成团堆积)之间。该组织样本经过染色环节被染色,以便于镜下观察;
C:封片剂,用于封存组织样本,并将载玻片与盖玻片粘连在一起的透明胶体,常用的封片剂为中性树胶。在制片中由于无法精确控制封片剂的用量,对封片剂的厚度未作精确要求;制片完成后,生物组织被固定在封片剂中;
D:盖玻片,覆盖在组织上的薄玻片,用于保护下面的组织不被损坏,常用的盖玻片厚度约为0.17±0.02mm;对于部分类型的玻片(如骨髓涂片、外周血涂片),由于诊断阅片要求,在制片环节不会加盖玻片。
E:显微镜物镜,不同组织的玻片根据病理诊断要求,需要使用不同倍数的物镜进行观察,常用的物镜包括:10倍,20倍,40倍,60倍,100倍。
F:准确对焦后物镜到组织的距离。对某一个固定的物镜,准确对焦后物镜到组织的距离是一个定值。CCD像机一次成像的图像称之为视野,一个40倍物镜视野对玻片上约500umX500um的矩形区域进行成像。对于任一视野,在固定物镜情况下,由于组织高度的差异,故需要调整载物台(显微镜上承载玻片的平台)进行上下移动,以确保物镜到待观察组织的距离为此距离F,此过程即为对焦过程。由于玻片上组织较大,在微米度量水平上,玻片并不平整,在手动显微镜观察时,每个视野均需要对焦。
数字扫描仪一般由显微镜位移平台(即载物台)、CCD像机、对焦控制算法、扫描控制算法组成。对焦控制算法控制显微镜位移平台上的玻片相对物镜进行移动,控制CCD像机进行图像成像采样,直至对某一视野找到对焦位置。将各视野找到的对焦位置交由扫描控制算法使用,由扫描控制算法实现玻片的数字扫描。对焦控制算法是玻片数字化扫描的基础。
对玻片进行对焦的实际过程中,会遇到以下几个主要问题:
1>.由于制片环节的非标准化(载玻片厚度固有误差,组织样本薄片及封片剂的厚薄不匀,盖玻片厚度固有误差)制得的玻片厚度存在误差。在对焦环节具体表现就是:不同的玻片对焦位置不同,且变化范围较大(有的两个玻片对焦位置会相差500um);同一玻片不同视野对焦位置也不相同。
2>.不同组织类型、不同制片方法的病理玻片,其图像形态表现有明显差异,如宫颈细胞玻片、常规组织玻片、免疫组化玻片、骨髓涂片、外周血涂片、荧光玻片,需要对焦控制算法能适应这种差异。
3>.不同的视野,其组织样本随机分布,存在整个视野中只有少量区域有组织样本的情况,对此类视野,需要对焦控制算法准确地选取可供对焦的视野,避免对焦不准确。
4>.不同类型的病理玻片,临床诊断时要求数字扫描时使用的物镜倍数各不相同,要求对焦控制算法支持所有的物镜规格。
5>.按显微观察时使用光源的不同,病理玻片又可分为明场玻片(即白光光源成像,如宫颈细胞玻片、常规组织玻片、免疫组化玻片、骨髓涂片、外周血涂片)和暗场玻片(即荧光光源成像,如组织荧光玻片、血液荧光玻片)。临床诊断时要求数据字扫描可对焦扫描明场玻片,也可扫描暗场玻片。
6>.由于玻片一般会存在一定的倾斜度(由载物台与物镜的垂直度误差、载物台平整度误差、玻片本身厚度误差、样本组织厚度等因素累加所致,其坡度一般在千分之5左右且无法消除),如果无法对每个对焦点准确对焦,则无法得到良好的整片拟合平面,则需要在扫描过程中多次对焦以确保大部分图像的清晰度。且由于多次对焦位置的差异导至各图像边缘存在明显差异,进而导致图像拼接时存在明显的裂缝。
7>.对于高倍物镜,如60倍物镜、100倍物镜,为避免物镜与玻片的误触(误触会损坏物镜及玻片),会从较远处开始对焦,但实际对焦后,物镜到玻片的距离非常小(如100倍物镜时仅为120um左右),如何确保在快速的对焦扫描过程中不会误触玻片,对对焦控制算法也是一个巨大的挑战。
现有技术中,通常有两种对焦控制方法。
一种方法是遍历控制法,即对一个待对焦视野,将显微镜物镜由远到近逐步等间距移动并采样,以最小精度为步进遍历所有可能对焦的位置并评价,找到最优对焦位置。
另一种方法是激光反射控制法,即在物镜旁边安装一个激光发射和接收装置。该装置发射激光到玻片上,由盖玻片(有盖玻片的玻片类型)或组织样本(无盖玻片的玻片类型)反射激光,接收器接收到反射的激光后根据激光强度判断发射器到盖玻片或组织样本的距离,以此确定盖玻片(有盖玻片的玻片类型)或组织样本(无盖玻片的玻片类型)的位置。对有盖玻片的玻片类型,需要再加上一个平均厚度(即盖玻片厚度与封片剂厚度之和,为一经验值)。即得到物镜到组织的距离,即此视野的对焦位置。
对于遍历控制法,其控制算法易于实现。但在对焦精度要求较高的场景(如40倍物镜对焦,其对焦精度要求达到0.5um),为减小采样量,会限定对焦搜索范围,如限定在120um范围甚至更小的范围。即便如此,单个视野的对焦仍需要采样120um/0.5um=240次。此技术的主要不足之处就是在可接受的对焦采样次数情况下,无法实现较大范围的对焦搜索,无法达到实现更高的精度要求(如对于荧光玻片,对焦精度要求达到0.1um,则如在600um范围内对焦,则单个视野需要采样6000次)。目前市场上匈牙利3DHistechPannoramic系列病理切片扫描仪即基于此原理,在其操作界面上提供由用户手动调整对焦搜索范围的功能,作为在默认的对焦搜索范围无法对焦时的一种补救措施。在大批量无人值守的场景下,其优片率(优片率=图像质量满足要求的玻片数量/所有扫描玻片数量)难以保障。
对于激光反射控制法,由于激光的发射及反射光强判断均为电子元器件,不需要进行图像成像,其采样、控制回路较短,可以快速确定对焦位置。但是存在明显的局限性:1>.对于有盖玻片的玻片,只能确定盖玻片上表面位置,无法确定下面组织的具体位置,如前文所述,组织样本及封片剂厚度无法统一,且存在较大偏差,所以得到的对焦位置是一个经验近似值,对于精度要求较高的物镜,如40及以上倍数的物镜,或制片质量不佳的玻片,无法保证对焦精度;2>.对于无盖玻片的玻片(如骨髓涂片,外周血涂片),此方法只能得到激光反射位置的平均距离。但对于一个视野,由于玻片一般会存在倾斜(坡度一般在千分之5左右且无法消除),这个距离并不准确;3>.此方法依赖激光的反射,但对于荧光玻片(其基本原理是使用可被激发的荧光信号标示细胞NDA片段位点信息,需要在暗室下使用荧光光源显微观察),激光的照射会使组织内荧光信号淬灭且不可恢复。目前此种方法是只是一种辅助对焦技术,市场上无仅使用此技术进行对焦的扫描仪。
因此,寻找一种高准确性(可以根据需求获得理想对焦精度)、高效性(确保以尽量少的采样点得到对焦位置)、高适应性(适应玻片的制片差异及组织差异,支持各中类型的玻片,支持各种物镜倍数,支持明/暗场)的玻片对焦方法,对于实现医院病理科数字扫描信息化、数字化、智能化至关重要。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种对焦方法及系统,其通过采用搜索控制法,基于已有的位移平台和图像采集系统,从任一位置对位移平台上的样品进行采样,并对采样结果进行评价,根据评价结果构成的曲线的走向趋势控制下一次采样位置,持续此过程直至在最小步进下搜索到对焦位置,由此解决现有技术的对焦方法采样次数多、对焦速度慢、搜索范围小、适应性不强等的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种对焦方法,包括如下步骤:
(1)对图像采集系统采集到的不同视野下、不同采样位移处的样品图像进行图像清晰度以及图像中目标内容含量的评价,得到每个图像的图像清晰度以及图像目标内容含量评价得分;
(2)将同一视野下不同采样位移处的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野,并执行步骤(3);
(3)对任意一个继续评价的视野,以找到图像清晰度评价曲线在目标对焦精度下的峰为目的,根据图像清晰度评价曲线的走向趋势确定下一个采样位移,其中,所述图像清晰度评价曲线为由该视野下采样位移数据集与各采样位移对应的图像的清晰度评价得分数据集构成的曲线;
(4)根据确定的下一个采样位移按照步骤(1)的方法进行该视野的图像采集以及图像清晰度的评价,将获得的采样位移数据以及图像清晰度评价得分数据补充至所述采样位移数据集以及评价得分数据集中,并根据新的曲线走向趋势确定下一个采样位移;
(5)重复步骤(4),直至找到该视野清晰度评价曲线在目标对焦精度下的峰,根据该峰对应的采样位移确定该视野下该对焦精度下的对焦位置。
优选地,步骤(1)不同采样位移处的样品图像至少为两个不同采样位移处采集得到的两张样品图像。
优选地,采用评价方法对所述图像的图像清晰度进行评价以及图像中目标内容含量分别进行评价;
用于评价图像清晰度的评价方法其评价得分越高,则图像越清晰;
用于评价图像中目标内容含量的评价方法其评价得分越高,则该图像的目标内容含量越高。
优选地,对于同一个图像,其图像清晰度评价得分为一个或多个。
优选地,步骤(3)根据图像清晰度评价曲线的走向趋势确定下一个采样位移,具体为:
以所述图像的采样位移为横坐标,以各采样位移对应的图像的清晰度评价得分为纵坐标,以横坐标对应的坐标轴的正方向定义为从左至右的方向,从左向右看:
如果所述图像清晰度评价曲线上没有峰且曲线走向持续向上,表明该曲线的峰在右侧,则下一个采样位移对应的横坐标位于曲线右侧;且采样步进为当前步进;
如果所述图像清晰度评价曲线没有峰且曲线走向为持续向下,表明该曲线的峰在左侧,则下一个采样位移对应的横坐标位于曲线左侧;且采样步进为当前步进;
如果所述图像清晰度评价曲线已经存在峰,以所述峰对应的采样位移为中心采样位移,在该中心采样位移两侧采样,并且采样步进较上一个采样步进有所减小。
优选地,在已经找到的图像清晰度评价曲线的峰的两侧以更小的步进分别采样2-4个,以寻找更小步进下、更高对焦精度下的峰位置;然后再以新找到的峰对应的采样位移为中心采样位移,在该中心采样位移两侧以更小的采样步进采样2-4个,获得新的对焦精度下的峰位置,如此重复,直至找到目标对焦精度下的对焦峰和对焦位置。
优选地,所述样品为生物组织玻片、芯片或材料学固体表面。
优选地,对其它继续评价的视野重复步骤(3)至步骤(5),获得所有继续评价的视野的对焦位置的集合。
按照本发明的另一个方面,提供了一种所述的对焦方法的对焦控制系统,包括图像采集模块、图像评价模块、位移平台和对焦控制模块;
所述图像采集模块用于采集位于位移平台上的样品表面的不同视野下、不同采样位移处的图像;
所述图像评价模块用于对图像采集系统采集到的图像进行图像清晰度评价以及目标内容含量评价;并且用于将同一视野下不同采样位移对应的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野;
所述对焦控制模块用于驱动所述位移平台或所述图像采集系统移动到达指定采样位移、驱动所述图像采集模块在该采样位移处进行图像采样、驱动所述图像评价模块对采集到的图像进行评价;
所述位移平台用于根据对焦控制模块的处理结果调整位移平台和所述图像采集系统的相对距离,便于图像采集模块对位于位移平台上的样品的目标视野图像在新的采样位移下进行再采集;
工作时,所述图像评价模块对图像采集模块采集到的某视野下的图像进行评价,所述对焦控制模块根据所述图像评价模块的评价结果,控制所述位移平台或所述图像采集系统调整到指定采样位移;所述图像采集模块在新的采样位移下再次采集图像,所述图像评价模块对图像采集模块再次采集到的图像进行评价;所述对焦控制模块再次根据所述图像评价模块的评价结果调整采样位移、驱动图像采集模块采集、驱动图像评价模块评价,然后再调整、再采集、再评价和再控制,如此循环,直至所述对焦控制模块根据所述图像评价模块的评价结果判断当前的采样位移即为当前视野下的对焦位置。
按照本发明的另一个方面,提供了一种玻片扫描仪,包括所述的对焦控制系统。
按照本发明的另一个方面,提供了一种用于生物组织玻片扫描的对焦方法,包括如下步骤:
(1)对图像采集系统采集到的不同视野下、不同采样位移处的生物组织玻片样品图像进行图像清晰度以及图像中目标内容含量的评价,得到每个图像的图像清晰度以及图像目标内容含量评价得分;所述图像目标内容含量为所述图像中有效生物组织含量;
(2)将同一视野下不同采样位移处的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野,并执行步骤(3);
(3)对任意一个继续评价的视野,以找到图像清晰度评价曲线在目标对焦精度下的峰为目的,根据图像清晰度评价曲线的走向趋势确定下一个采样位移,其中,所述图像清晰度评价曲线为由该视野下采样位移数据集与各采样位移对应的图像的清晰度评价得分数据集构成的曲线;
(4)根据确定的下一个采样位移按照步骤(1)的方法进行该视野的图像采集以及图像清晰度的评价,将获得的采样位移数据以及图像清晰度评价得分数据补充至所述采样位移数据集以及评价得分数据集中,并根据新的曲线走向趋势确定下一个采样位移;
(5)重复步骤(4),直至找到该视野清晰度评价曲线在目标对焦精度下的峰,根据该峰对应的采样位移确定该视野下该对焦精度下的对焦位置。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明提出的对焦方法将每个对焦视野在对焦过程中逐步累计采样图像,生成评价曲线,通过评价曲线实时控制下一步的采样动作,在确保较大的搜索范围、确保对焦准确度、确保对焦位置精确度的情况下,需要采样的点数较少,可以迅速对焦。
(2)本发明的对焦方法支持足够大的对焦搜索范围(搜索范围可扩大至600um及以上),以确保良好的玻片适应性。基于本对焦方法实现的扫描仪,对玻片平整度、制片质量无特殊要求。确保了扫描仪的高度适应性,确保了后续高通量扫描仪的可靠性,为科室真正实现数字化打下基础。
(3)准确的对焦结果,以确保玻片扫描的优片率。由于本发明采用了多评价曲线、综合评价等措施,本对焦方法具有良好的对焦准确率。本公司基于此对焦方法的玻片扫描仪,具有99%以上的扫描优片率。美国Hologic公司ThinPrep型宫颈细胞玻片扫描分析系统,在其说明书中明确表示其优片率仅为92.9%,且仅支持宫颈细胞玻片对焦扫描。
(4)本发明优选实施例中提出的对焦方法基于已有的显微镜位移平台和CCD像机成像进行采样,适用于常规玻片明场对焦和荧光玻片暗场对焦;目前市场上有的扫描仪均分为明场扫描仪型号与暗场扫描仪型号,增加了科室采购成本。基于本发明对焦方法实现的扫描仪,可同时支持明场对焦扫描与暗场对焦扫描。
(5)可适应不同的物镜倍数。由于本发明对焦方法能够确保在很宽的对焦搜索范围的前提下,迅速收敛到任意对焦精度。本发明基于此对焦控制算法实现的玻片扫描仪,可支持10倍、20倍、40倍、60倍、100倍物镜的对焦扫描,真正地支持玻片全倍数扫描。其中基于100倍物镜的荧光层叠扫描,对焦精度达0.025um。目前市场上的通用扫描仪(如匈牙利3DHistech Pannoramic系列病理切片扫描仪)一般只支持20倍和40倍物镜。
(6)由于采用了逐步逼近法确定对焦位置,由远及近对焦,确保不物镜不会误触盖玻片或组织样本(会损坏玻片或物镜)。100倍物镜开始对焦时物镜到盖玻片或组织样本的距离约为600um,对焦后仅约为120um,即只允许120um的过采样。
(7)本发明在确保较大的搜索范围、确保对焦准确度、确保对焦位置精确度的情况下,需要采样的点数较少,可以迅速对焦。在40倍物镜下,在600um范围内,对焦精度为0.5um的情况下,平均只需要40次采样,减少视野对焦时间。数学上,对于600um范围搜索到0.5um的精度,需要13次采样,但考虑到每个峰附近需要多次密集采样以确保精度,40次采样已接近理论最少采样次数。
(8)由于确保了较大的搜索范围、确保了对焦准确度、确保了对焦位置精确度,对整张玻片,只需要极少的几个点,即可以得到良好的拟合平面,避免其它厂家常用的边扫描边对焦的做法。在保证图像清晰度的前提下,最大程度减少对焦用时。
(9)本发明提出的对焦方法不仅适用于有盖玻片或无盖玻片的生物组织玻片的对焦,原则上该对焦方法可适用于所有通过调整成像系统与被成像对象的相对距离而进行对焦成像的系统。
附图说明
图1是本发明采用的对焦方法流程图;
图2为实施例1采用的生物玻片扫描仪结构示意图;
图3是本发明实施例1中宫颈细胞玻片视野1在20倍物镜下三个不同采样位移处采集到的图像;
图4为本发明实施例1中宫颈细胞玻片视野2在20倍物镜下三个不同采样位移处采集到的图像;
图5为本发明实施例1中宫颈细胞玻片视野2在20倍物镜下的对焦曲线。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的一种对焦方法,如图1所示,包括如下步骤:
(1)对图像采集系统采集到的不同视野下、不同采样位移处的样品图像进行图像清晰度以及图像中目标内容含量的评价,得到每个图像的图像清晰度以及图像目标内容含量评价得分;
(2)将同一视野下不同采样位移处的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野,并执行步骤(3);
(3)对任意一个继续评价的视野,以找到图像清晰度评价曲线在目标对焦精度下的峰为目的,根据图像清晰度评价曲线的走向趋势确定下一个采样位移,其中,所述图像清晰度评价曲线为由该视野下采样位移数据集与各采样位移对应的图像的清晰度评价得分数据集构成的曲线;
(4)根据确定的下一个采样位移按照步骤(1)的方法进行该视野的图像采集以及图像清晰度的评价,将获得的采样位移数据以及图像清晰度评价得分数据补充至所述采样位移数据集以及评价得分数据集中,并根据新的曲线走向趋势确定下一个采样位移;
(5)重复步骤(4),直至找到该视野清晰度评价曲线在目标对焦精度下的峰,根据该峰对应的采样位移确定该视野下该对焦精度下的对焦位置。
为了提高对焦效率,本发明一些实施例中步骤(1)不同采样位移处的样品图像至少为两个不同采样位移处采集得到的两张样品图像。
本发明图像采集系统(也称图像成像系统)包含数字相机、光学镜头以及其他辅助部件。位移平台包括承载样品的平台。其中可调控采样位移的运动部件,可以和图像成像系统绑定,也可以和位移平台绑定。本发明所述采样位移即图像采集系统进行样品图像采集时,样品所在的位移平台相对于图像采集系统的距离,所述采样位移的调整即为所述位移平台和所述图像成像系统二者在图像成像系统的成像方向上的相对移动带来的位移调整。
本发明采样位移的调整,取决于机械运动部件安装的位置。可以为位移平台移动,图像成像系统固定;或者位移平台固定,图像成像系统移动。
本发明根据采用的图像采集系统本身的特性以及当前应用场景,确定最初的搜索对焦范围,进而确定步骤(1)初始的采样位置。
本发明所述对焦方法可适用于各种通过调整图像成像系统和被成像样品之间的相对距离而进行对焦成像的情形,其中样品可以为各种透明或不透明的待成像样品,包括但不限于生物组织玻片的对焦成像(比如动植物的切片、滴片、涂片等)、芯片缺陷检测的对焦成像、材料学固体表面检测成像等。
生物组织玻片比如生物组织病理玻片,包括白光光源成像的明场玻片,例如宫颈细胞玻片、常规组织切片、免疫组化切片、骨髓涂片、外周血涂片、水生样本滴片等,也可包括荧光光源成像的暗场玻片,如组织荧光玻片、血液荧光玻片等。对于生物组织样品,其对应的图像中目标内容含量即为图像中有效组织含量。
芯片缺陷检测成像,比如半导体芯片生产过程中或生产后对芯片表面进行图像对焦成像。
本发明一些实施例中,采用评价方法对所述图像的图像清晰度以及图像中目标内容含量分别进行评价。
用于评价图像清晰度的评价方法其评价得分越高,则图像越清晰;该评价方法包括但不限于图像处理领域通常采用的灰度方差评价、灰度梯度评价、灰度信息熵评价、Brenner评价、拉普拉斯评价、能量方差评价等中的一种或多种。
用于评价图像中目标内容含量的评价方法其评价得分越高,则该图像的目标内容含量越高。一些实施例中通过评价所述图像中非背景内容的面积占图像总面积的比例来评价所述图像中目标内容含量。在一些应用场景中,非背景内容即为非背景颜色,可通过首先定义背景颜色,然后图像中不属于背景颜色的部分即为非背景颜色区域。
本发明一些实施例中,步骤(2)所述给定的阈值为百分之二,该阈值表示:目标内容对应的图像部分占整个图像的面积百分比,该阈值可根据有效图像(目标内容图像)在整个图像中的平均分布进一步调整(可适当降低或提高)。
本发明步骤(2)将低于或等于给定的阈值的目标成分含量评价得分对应的图像视作目标内容含量较少的图像,将对应的视野排除在需要对焦的视野之外。
本发明步骤(3)所述的曲线包括,以继续评价的视野的各图像的采样位移为横坐标,以各采样位移对应的图像的清晰度评价得分为纵坐标,得到该视野下各图像的清晰度曲线。
为了提高对焦准确度,本发明对于同一个视野下个图像的同一评价指标,比如图像清晰度评价指标或图像目标内容含量评价指标,可通过采用不同的评价方法进行评价,从而使得同一个图像其图像清晰度评价得分可以为一个或多个,其图像中目标内容含量评价得分也可以为一个或多个。由于本发明可采用多种评价方法对图像的清晰度进行评价,每一种评价方法即可得到一种清晰度曲线,因此该方法步骤对应得到的同一视野下的清晰度曲线可以有多条。
对于图像清晰度或目标内容含量的评价,不同的评价方法之间可以相互佐证,比如同样对于图像清晰度的评价方法,对于同一视野下的同一个图像,如果不同的评价方法之间对其进行评价得到的评价得分较为一致,表明该视野图像对焦评价得分准确度较高。另一方面,也可以根据不同应用场景从多种评价方法中选择适合当前应用场景的评价方法。
一些实施例中,步骤(3)根据图像清晰度评价曲线的走向趋势确定下一个采样位移,具体为:
以所述图像的采样位移为横坐标,以各采样位移对应的图像的清晰度评价得分为纵坐标,以横坐标对应的坐标轴的正方向定义为从左至右的方向,从左向右看:
如果所述图像清晰度评价曲线上没有峰且曲线走向持续向上,表明该曲线的峰在右侧,则下一个采样位移对应的横坐标位于曲线右侧;且采样步进为当前步进;
如果所述图像清晰度评价曲线上没有峰且曲线走向为持续向下,表明该曲线的峰在左侧,则下一个采样位移对应的横坐标位于曲线左侧;且采样步进为当前步进;
如果所述图像清晰度评价曲线已经存在峰,以所述峰对应的采样位移为中心采样位移,在该中心采样位移两侧采样,并且采样步进较上一个采样步进有所减小。
一些实施例中,在已经找到的图像清晰度评价曲线的峰两侧以更小的步进分别采样2-4个,以确定更小步进下、更高对焦精度下的峰位置,进一步地,再以新找到的峰对应的采样位移为中心采样位移,在该中心采样位移两侧以更小的采样步进采样2-4个,获得新的对焦精度下的峰位置,如此重复,直至找到目标对焦精度下的对焦峰和对焦位置。
本发明对焦方法中,通过减小采样步进以达到对焦精度,在对焦精度步进下获得目标视野的对焦位置。对焦精度取决于多个方面,不仅包括图像采集系统的分辨率,而且也取决于显微镜位移平台的机械精度。
本发明通过减小采样步进以达到对焦精度,下一个采样位移调整的步进数值依据搜索范围而定,使用逐步逼近法确定对焦位置,在大的搜索范围内,使用大的步进进行采样;在大步进采样确定的对焦位置附近,缩小搜索范围使用小步进一步搜索,持续此步骤,直至在最小步进即对焦精度时确定对焦位置,即为此图像视野的精确对焦位置。
本发明使用逐步逼近法确定对焦位置。比如一些实施例中,在采样刚开始,在大的搜索范围内,使用大的步进进行采样(如在600um范围内搜索时,使用64um步进)。在大步进采样确定的对焦位置附近,缩小搜索范围使用小步进进一步搜索(如在100um范围内搜索时,使用8um步进)。持续此步骤,直至在最小步进(即对焦精度,如0.5um)时确定对焦位置,即为此视野的精确对焦位置。本发明一些实施例中在初次找到组织峰以后在组织峰附近密集采样以确保对焦精度。
按照本发明的方法可以对样品表面任意位置的图像视野进行对焦,从而获得样品表面各图像视野的对焦位置集合,然后利用这些对焦位置集合对所述样品进行对焦扫描成像,获得高准确率的样品的扫描图像。
一些实施例中,样品为生物组织病理玻片,本发明提供的对焦方法此时即为一种生物组织病理玻片对焦方法。
本发明还提供了使用所述的对焦方法的对焦控制系统,包括图像采集模块、图像评价模块、位移平台和对焦控制模块;
所述图像采集模块用于采集位于位移平台上的样品表面的不同视野下、不同采样位移处的图像;
所述图像评价模块用于对图像采集系统采集到的图像进行图像清晰度评价以及目标内容含量评价;并且用于将同一视野下不同采样位移对应的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野;
所述对焦控制模块用于驱动所述位移平台或所述图像采集系统移动到达指定采样位移、驱动所述图像采集模块在该采样位移处进行图像采样、驱动所述图像评价模块对采集到的图像进行评价;
所述位移平台用于根据对焦控制模块的处理结果调整位移平台和所述图像采集系统的相对距离,便于图像采集模块对位于位移平台上的样品的目标视野图像在新的采样位移下进行再采集;
工作时,所述图像评价模块对图像采集模块采集到的某视野下的图像进行评价,所述对焦控制模块根据所述图像评价模块的评价结果,控制所述位移平台或所述图像采集系统调整到指定采样位移;所述图像采集模块在新的采样位移下再次采集图像,所述图像评价模块对图像采集模块再次采集到的图像进行评价;所述对焦控制模块再次根据所述图像评价模块的评价结果调整采样位移、驱动图像采集模块采集、驱动图像评价模块评价,然后再调整、再采集、再评价和再控制,如此循环,直至所述对焦控制模块根据所述图像评价模块的评价结果判断当前的采样位移即为当前视野下的对焦位置。
本发明还提供了一种玻片扫描仪,该玻片扫描仪包括如上所述的对焦控制系统。
以下为实施例:
本实施例的玻片扫描仪,如图2所示,包括对焦控制系统,其中图像采集模块为包含CCD相机的图像成像系统,对焦控制模块和图像处理模块通过软件集成于图像成像系统中,位移平台为显微镜位移平台,样品为宫颈细胞玻片。
基于已有的显微镜位移平台和CCD像机成像进行采样,宫颈细胞玻片置于显微镜位移平台上,采用CCD相机使用20倍物镜对其进行图像采集和对焦。
图3和图4分别为该宫颈细胞玻片中两个视野(视野1和视野2)在20倍物镜下在三个不同的采样位移下采集到的图像,对每一个图像采用能量方差评价方法(EnergVariance)、灰度方差评价方法(GrayVariance)和灰度梯度评价方法(GrayTeneGrade)分别评价图像的清晰度,得到图像清晰度评价得分;通过评价图像中非背景内容的面积占图像总面积的比例来评价图像中目标内容含量,这里非背景内容即为非背景颜色,图像中不属于背景颜色的部分即为非背景颜色区域,得到每个图像的目标内容评价得分,目标内容评价得分阈值设定为2%,其中视野1三个图像中最高的目标内容含量评价得分低于2%,视野2三个图像中最高的目标内容含量评价得分大于2%,由于视野1图像中最高目标内容含量评价得分低于阈值,因此仅对视野2进行对焦。
以视野2各图像的采样位移为横坐标,以各采样位移对应的图像的清晰度评价得分为纵坐标,以横坐标对应的坐标轴的正方向定义为从左至右的方向,从左向右看,该图像清晰度评价曲线上没有峰且曲线走向持续向上,表明该曲线的峰在右侧,下一个采样位移对应的横坐标位于曲线右侧,且采样步进保持不变。如果图像清晰度评价曲线没有峰且曲线走向为持续向下,表明该曲线的峰在左侧,则下一个采样位移对应的横坐标位于曲线左侧;且采样步进保持不变。如果图像清晰度评价曲线已经存在峰,以该峰对应的采样位移为中心采样位移,在该中心采样位移两侧采样,并且采样步进较上一个采样步进有所减小。本实施例使用逐步逼近法确定对焦位置。在采样刚开始,在大的搜索范围内,使用大的步进进行采样,在600um范围内搜索时,使用64um步进。在大步进采样确定的对焦位置附近,缩小搜索范围使用小步进一步搜索,在100um范围内搜索时,使用8um步进。持续此步骤,直至在最小步进即对焦精度0.5um时确定对焦位置,即为此视野的精确对焦位置。按照该方法获得的视野2的对焦曲线如图5所示。可以看到,分别采用三种图像清晰度评价方法获得的对焦位置基本重合,表明本发明的对焦方法对焦位置准确,且本方法在组织峰附近密集采样以确保对焦精度。
该实施例基于此对焦方法的玻片扫描仪,具有99%以上的扫描优片率。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种对焦方法,其特征在于,包括如下步骤:
(1)对图像采集系统采集到的不同视野下、不同采样位移处的样品图像进行图像清晰度以及图像中目标内容含量的评价,得到每个图像的图像清晰度以及图像目标内容含量评价得分;
(2)将同一视野下不同采样位移处的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野,并执行步骤(3);
(3)对任意一个继续评价的视野,以找到图像清晰度评价曲线在目标对焦精度下的峰为目的,根据图像清晰度评价曲线的走向趋势确定下一个采样位移,其中,所述图像清晰度评价曲线为由该视野下采样位移数据集与各采样位移对应的图像的清晰度评价得分数据集构成的曲线;
(4)根据确定的下一个采样位移按照步骤(1)的方法进行该视野的图像采集以及图像清晰度的评价,将获得的采样位移数据以及图像清晰度评价得分数据补充至所述采样位移数据集以及评价得分数据集中,并根据新的曲线走向趋势确定下一个采样位移;
(5)重复步骤(4),直至找到该视野清晰度评价曲线在目标对焦精度下的峰,根据该峰对应的采样位移确定该视野下该对焦精度下的对焦位置。
2.如权利要求1所述的对焦方法,其特征在于,采用评价方法对所述图像的图像清晰度进行评价以及图像中目标内容含量分别进行评价;
用于评价图像清晰度的评价方法其评价得分越高,则图像越清晰;
用于评价图像中目标内容含量的评价方法其评价得分越高,则该图像的目标内容含量越高。
3.如权利要求1所述的对焦方法,其特征在于,对于同一个图像,其图像清晰度评价得分为一个或多个。
4.如权利要求1所述的对焦方法,其特征在于,步骤(3)根据图像清晰度评价曲线的走向趋势确定下一个采样位移,具体为:
以所述图像的采样位移为横坐标,以各采样位移对应的图像的清晰度评价得分为纵坐标,以横坐标对应的坐标轴的正方向定义为从左至右的方向,从左向右看:
如果所述图像清晰度评价曲线上没有峰且曲线走向持续向上,表明该曲线的峰在右侧,则下一个采样位移对应的横坐标位于曲线右侧;且采样步进为当前步进;
如果所述图像清晰度评价曲线没有峰且曲线走向为持续向下,表明该曲线的峰在左侧,则下一个采样位移对应的横坐标位于曲线左侧;且采样步进为当前步进;
如果所述图像清晰度评价曲线已经存在峰,以所述峰对应的采样位移为中心采样位移,在该中心采样位移两侧采样,并且采样步进较上一个采样步进有所减小。
5.如权利要求4所述的对焦方法,其特征在于,在已经找到的图像清晰度评价曲线的峰的两侧以更小的步进分别采样2-4个,以寻找更小步进下、更高对焦精度下的峰位置;然后再以新找到的峰对应的采样位移为中心采样位移,在该中心采样位移两侧以更小的采样步进采样2-4个,获得新的对焦精度下的峰位置,如此重复,直至找到目标对焦精度下的对焦峰和对焦位置。
6.如权利要求1所述的对焦方法,其特征在于,所述样品为生物组织玻片、芯片或材料学固体表面。
7.如权利要求1所述的对焦方法,其特征在于,对其它继续评价的视野重复步骤(3)至步骤(5),获得所有继续评价的视野的对焦位置的集合。
8.一种利用如权利要求1至7任一项所述的对焦方法的对焦控制系统,其特征在于,包括图像采集模块、图像评价模块、位移平台和对焦控制模块;
所述图像采集模块用于采集位于位移平台上的样品表面的不同视野下、不同采样位移处的图像;
所述图像评价模块用于对图像采集系统采集到的图像进行图像清晰度评价以及目标内容含量评价;并且用于将同一视野下不同采样位移对应的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野;
所述对焦控制模块用于驱动所述位移平台或所述图像采集系统移动到达指定采样位移、驱动所述图像采集模块在该采样位移处进行图像采样、驱动所述图像评价模块对采集到的图像进行评价;
所述位移平台用于根据对焦控制模块的处理结果调整位移平台和所述图像采集系统的相对距离,便于图像采集模块对位于位移平台上的样品的目标视野图像在新的采样位移下进行再采集;
工作时,所述图像评价模块对图像采集模块采集到的某视野下的图像进行评价,所述对焦控制模块根据所述图像评价模块的评价结果,控制所述位移平台或所述图像采集系统调整到指定采样位移;所述图像采集模块在新的采样位移下再次采集图像,所述图像评价模块对图像采集模块再次采集到的图像进行评价;所述对焦控制模块再次根据所述图像评价模块的评价结果调整采样位移、驱动图像采集模块采集、驱动图像评价模块评价,然后再调整、再采集、再评价和再控制,如此循环,直至所述对焦控制模块根据所述图像评价模块的评价结果判断当前的采样位移即为当前视野下的对焦位置。
9.一种玻片扫描仪,其特征在于,包括如权利要求8所述的对焦控制系统。
10.一种用于生物组织玻片扫描的对焦方法,其特征在于,包括如下步骤:
(1)对图像采集系统采集到的不同视野下、不同采样位移处的生物组织玻片样品图像进行图像清晰度以及图像中目标内容含量的评价,得到每个图像的图像清晰度以及图像目标内容含量评价得分;所述图像目标内容含量为所述图像中有效生物组织含量;
(2)将同一视野下不同采样位移处的样品图像的图像目标内容含量评价得分的最大值与给定的阈值进行比较,将高于该阈值的目标内容含量评价得分对应的视野保留,作为继续评价的视野,并执行步骤(3);
(3)对任意一个继续评价的视野,以找到图像清晰度评价曲线在目标对焦精度下的峰为目的,根据图像清晰度评价曲线的走向趋势确定下一个采样位移,其中,所述图像清晰度评价曲线为由该视野下采样位移数据集与各采样位移对应的图像的清晰度评价得分数据集构成的曲线;
(4)根据确定的下一个采样位移按照步骤(1)的方法进行该视野的图像采集以及图像清晰度的评价,将获得的采样位移数据以及图像清晰度评价得分数据补充至所述采样位移数据集以及评价得分数据集中,并根据新的曲线走向趋势确定下一个采样位移;
(5)重复步骤(4),直至找到该视野清晰度评价曲线在目标对焦精度下的峰,根据该峰对应的采样位移确定该视野下该对焦精度下的对焦位置。
CN202010586041.9A 2020-06-24 2020-06-24 一种对焦方法及系统 Pending CN111665617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010586041.9A CN111665617A (zh) 2020-06-24 2020-06-24 一种对焦方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010586041.9A CN111665617A (zh) 2020-06-24 2020-06-24 一种对焦方法及系统

Publications (1)

Publication Number Publication Date
CN111665617A true CN111665617A (zh) 2020-09-15

Family

ID=72389634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586041.9A Pending CN111665617A (zh) 2020-06-24 2020-06-24 一种对焦方法及系统

Country Status (1)

Country Link
CN (1) CN111665617A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132647A (zh) * 2021-04-25 2021-07-16 京东方科技集团股份有限公司 数据处理方法、装置、存储介质及电子设备
CN114252971A (zh) * 2021-12-31 2022-03-29 杭州智微信息科技有限公司 一种用于骨髓涂片的自动对焦方法
CN114578540A (zh) * 2022-02-28 2022-06-03 北京毅能博科技有限公司 基于图像技术的显微扫描载物台与物镜垂直度的调整方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1715987A (zh) * 2005-06-16 2006-01-04 武汉理工大学 显微镜下全景深大幅图片的拼接方法
CN101914620A (zh) * 2004-09-17 2010-12-15 加利福尼亚太平洋生命科学公司 分子分析的装置和方法
CN105120149A (zh) * 2015-08-14 2015-12-02 深圳市金立通信设备有限公司 一种自动聚焦的方法以及终端
CN106303242A (zh) * 2016-08-18 2017-01-04 上海交通大学 多光谱显微成像的快速主动对焦系统及方法
CN106990518A (zh) * 2017-04-17 2017-07-28 深圳大学 一种血涂片自聚焦显微成像方法
CN107797262A (zh) * 2017-11-03 2018-03-13 华东师范大学 基于图像纹理的显微镜不同倍数镜头联合聚焦方法
CN108156371B (zh) * 2017-12-08 2020-06-05 北京航天计量测试技术研究所 一种红外自动对焦快速搜索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101914620A (zh) * 2004-09-17 2010-12-15 加利福尼亚太平洋生命科学公司 分子分析的装置和方法
CN1715987A (zh) * 2005-06-16 2006-01-04 武汉理工大学 显微镜下全景深大幅图片的拼接方法
CN105120149A (zh) * 2015-08-14 2015-12-02 深圳市金立通信设备有限公司 一种自动聚焦的方法以及终端
CN106303242A (zh) * 2016-08-18 2017-01-04 上海交通大学 多光谱显微成像的快速主动对焦系统及方法
CN106990518A (zh) * 2017-04-17 2017-07-28 深圳大学 一种血涂片自聚焦显微成像方法
CN107797262A (zh) * 2017-11-03 2018-03-13 华东师范大学 基于图像纹理的显微镜不同倍数镜头联合聚焦方法
CN108156371B (zh) * 2017-12-08 2020-06-05 北京航天计量测试技术研究所 一种红外自动对焦快速搜索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈华 等: "《数字共焦显微技术》", 31 August 2018, 北京理工大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132647A (zh) * 2021-04-25 2021-07-16 京东方科技集团股份有限公司 数据处理方法、装置、存储介质及电子设备
CN113132647B (zh) * 2021-04-25 2023-01-20 京东方科技集团股份有限公司 数据处理方法、装置、存储介质及电子设备
CN114252971A (zh) * 2021-12-31 2022-03-29 杭州智微信息科技有限公司 一种用于骨髓涂片的自动对焦方法
CN114252971B (zh) * 2021-12-31 2023-09-05 杭州智微信息科技有限公司 一种用于骨髓涂片的自动对焦方法
CN114578540A (zh) * 2022-02-28 2022-06-03 北京毅能博科技有限公司 基于图像技术的显微扫描载物台与物镜垂直度的调整方法
CN114578540B (zh) * 2022-02-28 2024-03-08 北京毅能博科技有限公司 基于图像技术的显微扫描载物台与物镜垂直度的调整方法

Similar Documents

Publication Publication Date Title
CN111665617A (zh) 一种对焦方法及系统
US20210018743A1 (en) Digital microscopy systems, methods and computer program products
JP6437947B2 (ja) 全自動迅速顕微鏡用スライドスキャナ
US7177454B2 (en) Automated detection of objects in a biological sample
EP2577602B1 (en) System and method to determine slide quality of a digitized microscope slide
US6718053B1 (en) Method and apparatus for automated image analysis of biological specimens
RU2522123C2 (ru) Система и способ улучшенной автофокусировки с предсказанием
US8923568B2 (en) Standardizing fluorescence microscopy systems
US6900426B2 (en) Reverse focusing methods and systems
JP2003504627A (ja) 生物試料中の物体の自動検出
US20220276463A1 (en) Digital imaging system and method
JP6869434B2 (ja) スライドラッククランプ装置
CN111220615A (zh) 一种倾斜式三维扫描显微成像系统及方法
JP4938428B2 (ja) 標本画像作成方法及び装置
KR20210084602A (ko) 디지털 이미징 시스템 및 방법
US11356593B2 (en) Methods and systems for single frame autofocusing based on color- multiplexed illumination
JP2004524577A (ja) デジタル顕微鏡
CN115278087B (zh) 样本图像拍摄方法以及样本图像拍摄设备
SE2250140A1 (en) Imaging apparatus and method for determning a focal point of a well-plate
CN117434042A (zh) 一种融合光学显微成像与大样本组织切片的自动化断层扫描成像系统
CN116184648A (zh) 一种载玻片扫描装置
CN115529410A (zh) 细胞图像拍摄系统和细胞图像拍摄方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200915