CN109003228A - 一种暗场显微大视场自动拼接成像方法 - Google Patents

一种暗场显微大视场自动拼接成像方法 Download PDF

Info

Publication number
CN109003228A
CN109003228A CN201810780945.8A CN201810780945A CN109003228A CN 109003228 A CN109003228 A CN 109003228A CN 201810780945 A CN201810780945 A CN 201810780945A CN 109003228 A CN109003228 A CN 109003228A
Authority
CN
China
Prior art keywords
imaging
image
sub
aperture
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810780945.8A
Other languages
English (en)
Other versions
CN109003228B (zh
Inventor
赵巨峰
叶晓杰
吴超
崔光茫
华玮平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810780945.8A priority Critical patent/CN109003228B/zh
Publication of CN109003228A publication Critical patent/CN109003228A/zh
Application granted granted Critical
Publication of CN109003228B publication Critical patent/CN109003228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Abstract

本发明公开了一种暗场显微大视场自动拼接成像方法,在获取图像的方法上面创新性的提出了采用二次成像的方法,第一次成像采用恒定光源,恒定曝光及光圈以获得背景均匀的子孔径图像,第二次成像自适应曝光,结合带通滤波器的理论推导,对第二次成像使用潜在目标检测分析,检测图像中的目标物并对其进行合理一致的拉伸,对两次成像融合构建新的背景和目标图像;通过图像算法自动拼接。本发明提出的二次成像方法,对于第一次成像能够获得背景均匀的子孔径图像,能够稳定的保证拼接时子孔径背景的均匀性和弱化拼接的缝隙,对于第二次成像能有效凸显不同尺寸的样品瑕疵,稳定且高效。

Description

一种暗场显微大视场自动拼接成像方法
技术领域
本发明涉及光学成像与图像处理技术,尤其涉及一种暗场显微大视场自动拼接成像方法。
背景技术
当前,图像拼接在军事,医学,天文等各个领域都有着越来越重要的作用。然而,由于技术发展以及对于子孔径图像的获取方面的限制,所得到的拼接图像不可避免的存在一定的灰度差和拼接缝隙。毫无疑问,对于子孔径图像获取装置的改善以及对于图像的一些均衡化处理是一种可以有效提高拼接图像质量的方法。
目前,在光学成像领域,基于对整个成像链路的研究,已经有了一定的研究。杨甬英教授提出一套暗场显微成像装置,分析确立了一个基于暗场的光学元件表面疵病的光学显微成像体系,此体系的光源采取的是可调卤素灯,此光源契合国际对疵病检测请求的尺度光源,同时采取了光纤冷光源照明手艺避免光学元件的表象热形变。采集图像时,照射在光学系统仪器表面的光经过表面的反光从另一端口出射,这些因为仪器表面的疵病所形成的散射光则最终会进入成像系统中,并经过显微放大系统收集并成像在CCD上,最后得到的图像是一个在暗背景下的亮像。
该装置对于暗场疵病的检测有着重大的意义,但是仍旧存在着问题。对于光照问题,装置采用的是光直接照射到整个元件表面,这就导致了对于所获取的子孔径图像会存在着灰度差的问题,导致在拼接过程中会出现明显的痕迹;同时在移动镜头过程中会造成一些偏移,导致在图像拼接配准过程中造成竖直方向上的匹配错误。
发明内容
本发明提供一种暗场显微大视场自动拼接成像方法及装置,能有效凸显不同尺寸的样品瑕疵,消除子孔径之间的拼接缝隙与拼接后的背景不均匀性。
为解决上述问题,本发明通过采用光学成像的手段,配合计算机的潜在目标检测分析,实现图像的融合拼接。具体技术方案如下:
一种暗场显微大视场自动拼接成像方法,包括如下步骤:
步骤一、设计一个暗场显微成像装置,装置主要由光学显微镜,标准光源以及红外激光装置构成;
步骤二、在设计完成的成像装置上进行二次成像,所获的子孔径图像分别为Mi和Ni(i=1,2,3...n);
步骤三、针对于第二次成像,采用潜在目标检测分析的方法,找出潜在目标的位置并对其进行合理的拉伸操作;
步骤四、将两次成像后处理的图像进行加权融合,获得新的明暗凸显,背景均匀的子孔径图像Pi
步骤五、将新获得的子孔径图像Pi(i=1,2,3...n)进行直接拼接。
进一步的,步骤二中,保持标准光源与光学显微镜一起移动,以保证对于每次成像所给定的光照一致。
进一步的,步骤二中,第一次成像给定其恒定光源,恒定的曝光时间以及光圈,获得背景均匀的子孔径图像Mi,以保证在拼接时能够保证子孔径图像均匀过渡;第二次成像设定自定义曝光时间,以获得明亮凸显的子孔径图像Ni
进一步的,步骤三中,采用带通滤波器理论推导,假设输入子孔径图像为O,对于其中任意像素(x,y),将其通过带通滤波器处理后的绝对值作为对应像素处为显著性值:
H(x,y)=|O(x,y)*G(r,σ12)|
G(r,σ1,σ2)=g(r,σ1)-g(r,σ2)
*即为卷积符号,其中H为最终所要得到的显著性图,g(r,σ)为高斯函数。
G(r,σ12)为带通函数,具有低截止频率flow,高截止频率fhigh,这里σ1>σ2。其中g(r,σ)为高斯函数,r2=x2+y2,σ是高斯函数的标准差。flow与fhigh分别由σ1与σ2决定。因此H也可以表示为
H(x,y)=|O(x,y)*g(r,σ1)-O(x,y)*g(r,σ2)|
显著性图H表征图像的潜在目标存在于不同像素与区域的分布权重,其灰度范围[0,1],值越大则越可能为目标区域,值越小则可能为背景区域。
进一步的,步骤四中,基于两次成像的各自优势,通过提取出第二次成像的目标来替换第一次成像中相应的区域,以得到明亮凸显,背景均匀子孔径图像Pi,保证最后的拼接图像能够得到背景均匀无缝的大视场图像。
与现有技术相比,本技术方案具有以下优点:
现有的显著性提取方法都是基于图像的一些计算机算法,本发明提出的采用二次成像方法,能有效凸显不同尺寸的样品瑕疵,消除子孔径之间的拼接缝隙与拼接后的背景不均匀性,稳定且高效。稳定是由于第一次成像采用同一光照,同一曝光时间,能够获得均匀的图像背景;第二次成像后的潜在目标检测能够很好的将不同尺寸的目标凸显出来,保证在拼接时消除拼接缝隙。高效是由于运用光学成像方法从而能够实时的获得暗场显微图像,第二次成像采用自适应曝光,所获得图像明亮凸显,大大的提高了显著性提取算法的运算速度。
附图说明
图1为本发明方法的具体操作流程图;
图2为该方法的实验装置的简单示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
以下结合附图实施例对本发明的实施作进一步说明。
如图1所示,本发明的暗场显微大视场自动拼接成像方法,包括以下步骤:
1.暗场显微光学平台的搭建。如图2所示,主要包括目标景物,光学显微镜,恒定光源。待拍摄物体水平放置在装置台上,采用恒定光源对其进行照射,光学显微镜对着恒定光源所照射的部位进行扫描成像,恒定光源随着光学显微镜一起移动,为保证移动过程的稳定,采用激光束来保证其对齐。
2.二次成像。在保证步骤1完成的条件下,采用二次成像方法,两次成像分别主要是提取出背景以及目标物。第一次成像采用恒定光源以及恒定的曝光时间,以获得所有背景均匀的子孔径图像Mi(i=1,2,3...n)。第二次成像采用恒定光源,自适应曝光,以获得明亮凸显的子孔径图像Ni
3.潜在目标检测分析。对第二次成像的图像进行视觉显著性提取与分析。这种显著性方法从带通滤波器的理论推导,假设该带通滤波器低截止频率为flow,高截止频率为fhigh。那么这个模型能够用两个级联的高斯函数表示:
G(r,σ1,σ2)=g(r,σ1)-g(r,σ2)
这里σ1>σ2。其中g(r,σ)为高斯函数,r2=x2+y2,σ是高斯函数的标准差。flow与fhigh分别由σ1与σ2决定。
假设输入子孔径图像为O,对于其中任意像素(x,y),将其带通滤波器处理后的绝对值作为对应像素处为显著性值。
对于显著性图H中的任意像素(x,y)的值,是在局部t×t窗口内计算,随着局部窗口逐个像素遍历整幅图像,从而获得H。
在子孔径成像中,目标区域通常具有较大的中心周围对比度。而局部频率调谐的方法就是为了利用亮度特征估计中心周围对比度的大小。那些具有较大中心周围对比度的区域就被用来作为判别目标存在的准则。另外,局部频率调谐的方法能够均匀地提取小目标物体,这是由于这个方法尽可能的保留了低频信息。
这种局部频率调谐的方法,设定较小的局部窗口尺寸t,可以有效将较小物体作为显著性物体提取,克服了普通频率调谐法只提取大块物体的劣势,实现可选择可控制的潜在目标提取。
将潜在目标提取出来后分析其灰度范围以及灰度值,并对其进行合理的指数拉伸,保证目标物能够完美的凸显出。
4.图像融合。
图像融合处理。将两次成像处理后的图像进行加权融合处理,第一次成像提供背景,第二次成像提供潜在目标。
Pi(x,y)=(1-Hi(x,y))×Mi(x,y)+Hi(x,y)×Ni(x,y)
其中Pi代表最终所获得图像,Mi代表第一次所成的图像,其中每个点的权重为(1-Hi),Ni代表第二次所成的图像,其对应的的权值为Hi
所获得的新图像为Pi(i=1,2,3...n)。
加权融合方法:
1.根据步骤3中潜在目标的提取,确认其在图像中目标矩阵Sj(j=1,2,3...m)。
2.在第一次成像中找出对应的矩阵区域,将这一范围内的像素用矩阵Sj替换。
这样保证了最后获得图像能够背景均匀,目标凸显的子孔径图像,以保证在拼接过程中能够使得子孔径图像能够完美过渡。
5.图像拼接。采用直接拼接法进行拼接。

Claims (5)

1.一种暗场显微大视场自动拼接成像方法,包括如下步骤:
步骤一、设计一个暗场显微成像装置,装置主要由光学显微镜,标准光源以及红外激光装置构成;
步骤二、在设计完成的成像装置上进行二次成像,所获的子孔径图像分别为Mi和Ni(i=1,2,3...n);
步骤三、针对于第二次成像,采用潜在目标检测分析的方法,找出潜在目标的位置并对其进行合理的拉伸操作;
步骤四、将两次成像后处理的图像进行加权融合,获得新的明暗凸显,背景均匀的子孔径图像Pi
步骤五、将新获得的子孔径图像Pi(i=1,2,3...n)进行直接拼接。
2.如权利要求1所述的暗场显微大视场自动拼接成像方法,其特征在于:步骤二中,保持标准光源与光学显微镜一起移动,以保证对于每次成像所给定的光照一致。
3.如权利要求1所述的的暗场显微大视场自动拼接成像方法,其特征在于:步骤二中,第一次成像给定其恒定光源,恒定的曝光时间以及光圈,获得背景均匀的子孔径图像Mi,以保证在拼接时能够保证子孔径图像均匀过渡;第二次成像设定自定义曝光时间,以获得明亮凸显的子孔径图像Ni
4.如权利要求1所述的的暗场显微大视场自动拼接成像方法,其特征在于:步骤三中,假设输入子孔径图像为O,对于其中任意像素(x,y),将其通过带通滤波器处理后的绝对值作为对应像素处为显著性值:
H(x,y)=|O(x,y)*G(r,σ12)|
G(r,σ1,σ2)=g(r,σ1)-g(r,σ2)
*即为卷积符号,其中H为最终所要得到的显著性图,g(r,σ)为高斯函数。
G(r,σ12)为带通函数,具有低截止频率flow,高截止频率fhigh,这里σ1>σ2。其中g(r,σ)为高斯函数,r2=x2+y2,σ是高斯函数的标准差;flow与fhigh分别由σ1与σ2决定;因此H也可以表示为
H(x,y)=|O(x,y)*g(r,σ1)-O(x,y)*g(r,σ2)|
显著性图H表征图像的潜在目标存在于不同像素与区域的分布权重,其灰度范围[0,1],值越大则越可能为目标区域,值越小则可能为背景区域。
5.如权利要求1所述的的暗场显微大视场自动拼接成像方法,其特征在于:步骤四中,基于两次成像的各自优势,通过提取出第二次成像的目标来替换第一次成像中相应的区域,以得到明亮凸显,背景均匀子孔径图像Pi,保证最后的拼接图像能够得到背景均匀无缝的大视场图像。
CN201810780945.8A 2018-07-16 2018-07-16 一种暗场显微大视场自动拼接成像方法 Active CN109003228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810780945.8A CN109003228B (zh) 2018-07-16 2018-07-16 一种暗场显微大视场自动拼接成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810780945.8A CN109003228B (zh) 2018-07-16 2018-07-16 一种暗场显微大视场自动拼接成像方法

Publications (2)

Publication Number Publication Date
CN109003228A true CN109003228A (zh) 2018-12-14
CN109003228B CN109003228B (zh) 2023-06-13

Family

ID=64599414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810780945.8A Active CN109003228B (zh) 2018-07-16 2018-07-16 一种暗场显微大视场自动拼接成像方法

Country Status (1)

Country Link
CN (1) CN109003228B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084773A (zh) * 2019-03-25 2019-08-02 西北工业大学 一种基于深度卷积自编码网络的图像融合方法
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN112714244A (zh) * 2019-10-25 2021-04-27 保定市天河电子技术有限公司 一种基于线阵相机的图像采集方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327158A (ja) * 1994-06-02 1995-12-12 Toshiba Corp 撮影装置
US20050128584A1 (en) * 2003-08-09 2005-06-16 Alan Shulman Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques
JP2005284194A (ja) * 2004-03-31 2005-10-13 Olympus Corp 光学装置及び画像作成方法
US20090040364A1 (en) * 2005-08-08 2009-02-12 Joseph Rubner Adaptive Exposure Control
CN101673396A (zh) * 2009-09-07 2010-03-17 南京理工大学 基于动态目标检测的图像融合方法
CN102158653A (zh) * 2011-05-03 2011-08-17 东华大学 一种实时高动态范围数字图像获取装置及方法
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法
US20120183210A1 (en) * 2011-01-18 2012-07-19 Agency For Science, Technology And Research Method and a Device for Merging a Plurality of Digital Pictures
DE102011054106A1 (de) * 2011-09-30 2013-04-04 Jörg Piper Vorrichtung zur Erzeugung einer variablen Phasenkontrast-/Dunkelfeld-Beleuchtung
CN103312942A (zh) * 2012-03-12 2013-09-18 华晶科技股份有限公司 动态范围图像的噪声处理方法及其图像捕捉装置
US20140126046A1 (en) * 2011-03-04 2014-05-08 The Government of the America, as represented by the Secretary, Department of Health Optomechanical module for converting a microscope to provide selective plane illumination microscopy
CN103858002A (zh) * 2011-07-28 2014-06-11 保罗·谢勒学院 基于主成分分析的图像融合方法
CN104050638A (zh) * 2014-06-12 2014-09-17 杭州电子科技大学 一种结合尺度优选的显著法红外小目标增强方法
CN104597061A (zh) * 2015-01-28 2015-05-06 中国工程物理研究院应用电子学研究所 基于虚拟探测器的大视场锥束ct成像方法
US20150154468A1 (en) * 2012-01-18 2015-06-04 Agency For Science, Technology And Research Method and device for image processing
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327158A (ja) * 1994-06-02 1995-12-12 Toshiba Corp 撮影装置
US20050128584A1 (en) * 2003-08-09 2005-06-16 Alan Shulman Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques
JP2005284194A (ja) * 2004-03-31 2005-10-13 Olympus Corp 光学装置及び画像作成方法
US20090040364A1 (en) * 2005-08-08 2009-02-12 Joseph Rubner Adaptive Exposure Control
CN101673396A (zh) * 2009-09-07 2010-03-17 南京理工大学 基于动态目标检测的图像融合方法
US20120183210A1 (en) * 2011-01-18 2012-07-19 Agency For Science, Technology And Research Method and a Device for Merging a Plurality of Digital Pictures
US20140126046A1 (en) * 2011-03-04 2014-05-08 The Government of the America, as represented by the Secretary, Department of Health Optomechanical module for converting a microscope to provide selective plane illumination microscopy
CN102158653A (zh) * 2011-05-03 2011-08-17 东华大学 一种实时高动态范围数字图像获取装置及方法
CN103858002A (zh) * 2011-07-28 2014-06-11 保罗·谢勒学院 基于主成分分析的图像融合方法
DE102011054106A1 (de) * 2011-09-30 2013-04-04 Jörg Piper Vorrichtung zur Erzeugung einer variablen Phasenkontrast-/Dunkelfeld-Beleuchtung
CN102592275A (zh) * 2011-12-16 2012-07-18 天津大学 虚拟视点绘制方法
US20150154468A1 (en) * 2012-01-18 2015-06-04 Agency For Science, Technology And Research Method and device for image processing
CN103312942A (zh) * 2012-03-12 2013-09-18 华晶科技股份有限公司 动态范围图像的噪声处理方法及其图像捕捉装置
CN104050638A (zh) * 2014-06-12 2014-09-17 杭州电子科技大学 一种结合尺度优选的显著法红外小目标增强方法
CN104597061A (zh) * 2015-01-28 2015-05-06 中国工程物理研究院应用电子学研究所 基于虚拟探测器的大视场锥束ct成像方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN105631811A (zh) * 2016-02-25 2016-06-01 科盾科技股份有限公司 一种用于图像拼接的方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
付争方、朱虹: "多尺度细节融合的多曝光高动态图像重建", 《计算机工程与应用》 *
付争方、朱虹: "多尺度细节融合的多曝光高动态图像重建", 《计算机工程与应用》, 8 April 2018 (2018-04-08), pages 182 - 187 *
段康容等: "基于梯度域的多曝光灰度图像融合研究", 科技视界 *
汪小威: "基于Retinex亮度校正与感知对比度的图像增强算法", 《电子测量与仪器学报》 *
汪小威: "基于Retinex亮度校正与感知对比度的图像增强算法", 《电子测量与仪器学报》, no. 06, 15 June 2018 (2018-06-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084773A (zh) * 2019-03-25 2019-08-02 西北工业大学 一种基于深度卷积自编码网络的图像融合方法
CN112714244A (zh) * 2019-10-25 2021-04-27 保定市天河电子技术有限公司 一种基于线阵相机的图像采集方法及系统
CN112714244B (zh) * 2019-10-25 2022-01-21 保定市天河电子技术有限公司 一种基于线阵相机的图像采集方法及系统
CN112581371A (zh) * 2021-01-27 2021-03-30 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法
CN112581371B (zh) * 2021-01-27 2022-03-22 仲恺农业工程学院 基于四路摄像头新型结构的全景实时成像拼接方法

Also Published As

Publication number Publication date
CN109003228B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
US10444486B2 (en) Systems and methods for detection of blank fields in digital microscopes
CA2826372C (en) Fast auto-focus in microscopic imaging
CN109030495A (zh) 一种基于机器视觉技术的光学元件缺陷检测方法
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
EP3124967B1 (en) Image-processing device and image-processing program
CN109003228A (zh) 一种暗场显微大视场自动拼接成像方法
JP2015192238A (ja) 画像データ生成装置および画像データ生成方法
CN115032196B (zh) 一种全划片高通量彩色病理成像分析仪器及方法
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
CN107782744A (zh) 一种光栅调制的镜片疵病自动检测装置
CN111062961A (zh) 一种基于深度学习的隐形眼镜边缘缺陷检测方法
US20070237415A1 (en) Local Processing (LP) of regions of arbitrary shape in images including LP based image capture
JP6362062B2 (ja) 画像生成装置および画像生成方法
CN103168265A (zh) 成像系统和其关联的方法
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CN112992336A (zh) 一种病理智能诊断系统
CN111912854B (zh) 基于振镜快速扫描的大面积表面缺陷光学检测系统及方法
US11256078B2 (en) Continuous scanning for localization microscopy
JP2015191362A (ja) 画像データ生成装置および画像データ生成方法
JPH10506710A (ja) 映像面の変調パターンを認識するための方法および装置
KR102608709B1 (ko) 하전 입자선 장치
JP2014142213A (ja) 撮影パラメータ決定装置及びその制御方法
Gerton et al. A novel method for optical distortion quantification
US20230194346A1 (en) Auto-focus for Spectrometers
JP2004108902A (ja) カラー表示画面の欠陥分類方法およびその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant