CN115713475B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115713475B
CN115713475B CN202310035581.1A CN202310035581A CN115713475B CN 115713475 B CN115713475 B CN 115713475B CN 202310035581 A CN202310035581 A CN 202310035581A CN 115713475 B CN115713475 B CN 115713475B
Authority
CN
China
Prior art keywords
image
spectrum
spectrum information
information
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310035581.1A
Other languages
English (en)
Other versions
CN115713475A (zh
Inventor
于波
张华�
杨延竹
张旭堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Geling Jingrui Vision Co ltd
Original Assignee
Shenzhen Geling Jingrui Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Geling Jingrui Vision Co ltd filed Critical Shenzhen Geling Jingrui Vision Co ltd
Priority to CN202310035581.1A priority Critical patent/CN115713475B/zh
Publication of CN115713475A publication Critical patent/CN115713475A/zh
Application granted granted Critical
Publication of CN115713475B publication Critical patent/CN115713475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种图像处理方法、装置、设备及存储介质,图像处理方法包括获取待处理图像集,其中,待处理图像集包括斜对称照明得到的至少一组待处理图像,对每组待处理图像进行差分计算,得到差分照明图像,对差分照明图像进行傅里叶变换,得到图像频谱信息,获取任意一个的图像频谱信息,得到初始频谱信息,根据图像频谱信息、初始频谱信息和预设的频谱滤波窗进行迭代更新,直至迭代收敛,得到目标频谱信息,对目标频谱信息进行逆傅里叶变换,得到目标图像。本发明能够提高差分相衬显微术的成像分辨率,进而提升对样品细小结构的成像效果。

Description

图像处理方法、装置、设备及存储介质
技术领域
本发明涉及显微成像技术领域,尤其是涉及一种图像处理方法、装置、设备及存储介质。
背景技术
相关技术中,差分相衬显微术采用的照明光路和差分计算方法进行样品成像,但会导致样品的成像分辨率下降,从而影响对样品细小结构的成像效果。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种图像处理方法,能够提高差分相衬显微术的成像分辨率,并提升对样品细小结构的成像效果。
本发明还提出一种图像处理装置。
本发明还提出一种图像处理设备。
本发明还提出一种计算机可读存储介质。
第一方面,本发明的一个实施例提供了图像处理方法,包括:
获取待处理图像集;其中,所述待处理图像集包括斜对称照明得到的至少一组待处理图像;
对每组所述待处理图像进行差分计算,得到差分照明图像;
对所述差分照明图像进行傅里叶变换,得到图像频谱信息;
获取任意一个的所述图像频谱信息,得到初始频谱信息;
根据所述图像频谱信息、所述初始频谱信息和预设的频谱滤波窗进行迭代更新,直至所述迭代收敛,得到目标频谱信息;
对所述目标频谱信息进行逆傅里叶变换,得到目标图像。
本发明实施例的图像处理方法至少具有如下有益效果:通过斜对称照明照射得到至少一组待处理图像,将这些待处理图像集合得到待处理图像集,分别对每组待处理图像进行差分计算,得到多个差分照明图像,分别对每个差分照明图像进行傅里叶变换,得到多个图像频谱信息,获取多个图像频谱信息其中任意一个,得到初始频谱信息,根据初始频谱信息和预设的频谱滤波窗对每个图像频谱信息进行迭代更新,迭代更新持续至迭代收敛,得到多组目标频谱信息,分别对每组目标频谱信息进行逆傅里叶变换,得到多个目标图像,能够提高差分相衬显微术的成像分辨率,进而提升对样品细小结构的成像效果。
根据本发明的另一些实施例的图像处理方法,每组所述待处理图像包括第一待处理图像和第二待处理图像,所述对每组所述待处理图像进行差分计算,得到差分照明图像,包括:
获取所述第一待处理图像的平面坐标,得到第一平面坐标信息;
获取所述第二待处理图像的平面坐标,得到第二平面坐标信息;
将所述第一平面坐标信息和所述第二平面坐标信息进行差值计算,得到图像坐标差值;
将所述第一平面坐标信息和所述第二平面坐标信息进行和值计算,得到图像坐标和值;
将所述图像坐标差值和所述图像坐标和值进行差分计算,得到坐标差分信息;
根据所述坐标差分信息生成所述差分照明图像。
根据本发明的另一些实施例的图像处理方法,所述根据所述图像频谱信息、所述初始频谱信息和预设的频谱滤波窗进行迭代更新,直至所述迭代收敛,得到目标频谱信息,包括:
获取当前的所述图像频谱信息,得到当前频谱信息;
根据所述当前频谱信息、所述频谱滤波窗和所述初始频谱信息进行频谱差值计算,得到目标频谱差值;
根据所述初始频谱信息、预设迭代系数和所述目标频谱差值进行迭代计算,得到所述更新频谱信息;
获取迭代收敛对应的所述更新频谱信息,得到所述目标频谱信息。
根据本发明的另一些实施例的图像处理方法,所述根据所述当前频谱信息、所述频谱滤波窗和所述初始频谱信息进行频谱差值计算,得到目标频谱差值,包括:
对所述频谱滤波窗进行共轭计算,得到共轭滤波窗;
将所述初始频谱信息和所述频谱滤波窗进行滤波处理,得到滤波频谱信息;
将所述当前频谱信息和所述滤波频谱信息进行差值计算,得到差值信息;
将所述差值信息和所述共轭滤波窗进行频谱计算,得到所述目标频谱差值。
根据本发明的另一些实施例的图像处理方法,所述根据所述初始频谱信息、预设迭代系数和所述目标频谱差值进行迭代计算,得到所述更新频谱信息,包括:
将所述预设迭代系数和所述目标频谱差值进行更新差值计算,得到更新频谱差值;
将所述初始频谱信息和所述更新频谱差值进行更新计算,得到所述更新频谱信息。
根据本发明的另一些实施例的图像处理方法,所述获取迭代收敛对应的所述更新频谱信息,得到所述目标频谱信息,包括:
将所述更新频谱信息和所述初始频谱信息进行差值计算,得到迭代误差;
若所述迭代误差小于预设误差阈值,将所述更新频谱信息作为所述目标频谱信息。
根据本发明的另一些实施例的图像处理方法,所述方法还包括:
若所述迭代误差大于所述预设误差阈值,根据所述更新频谱信息对所述初始频谱信息进行替换,以更新所述初始频谱信息。
第二方面,本发明的一个实施例提供了图像处理装置,包括:
初始图像获取模块,用于获取待处理图像集;其中,所述待处理图像集包括斜对称照明得到的至少一组待处理图像;
差分图像计算模块,用于对每组所述待处理图像进行差分计算,得到差分照明图像;
图像频谱计算模块,用于对所述差分照明图像进行傅里叶变换,得到图像频谱信息;
初始频谱获取模块,用于获取任意一个的所述图像频谱信息,得到初始频谱信息;
迭代更新模块,用于根据所述图像频谱信息、所述初始频谱信息和预设的频谱滤波窗进行迭代更新,直至所述迭代收敛,得到目标频谱信息;
目标图像获取模块,用于对所述目标频谱信息进行逆傅里叶变换,得到目标图像。
本发明实施例的图像处理装置至少具有如下有益效果:初始图像获取模块通过斜对称照明照射得到至少一组待处理图像,将这些待处理图像集合得到待处理图像集,差分图像计算模块分别对每组待处理图像进行差分计算,得到多个差分照明图像,图像频谱计算模块分别对每个差分照明图像进行傅里叶变换,得到多个图像频谱信息,初始频谱获取模块获取多个图像频谱信息其中任意一个,得到初始频谱信息,迭代更新模块根据初始频谱信息和预设的频谱滤波窗对每个图像频谱信息进行迭代更新,迭代更新持续至迭代收敛,得到多组目标频谱信息,目标图像获取模块分别对每组目标频谱信息进行逆傅里叶变换,得到多个目标图像,能够提高差分相衬显微术的成像分辨率,进而提升对样品细小结构的成像效果。
第三方面,本发明的一个实施例提供了图像处理设备,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的图像处理方法。
第四方面,本发明的一个实施例提供了计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的图像处理方法。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施例中图像处理方法的一具体实施例流程示意图;
图2是图1中步骤S102的一具体实施例流程示意图;
图3是图1中步骤S105的一具体实施例流程示意图;
图4是图3中步骤S302的一具体实施例流程示意图;
图5是图3中步骤S303的一具体实施例流程示意图;
图6是图3中步骤S304的一具体实施例流程示意图;
图7是图3中步骤S304的另一具体实施例流程示意图;
图8是本发明实施例中图像处理装置的一具体实施例模块框图。
附图标记说明:
初始图像获取模块801、差分图像计算模块802、图像频谱计算模块803、初始频谱获取模块804、迭代更新模块805、目标图像获取模块806。
具体实施方式
以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。
在为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,虽然在系统示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于系统中的模块划分,或流程图中的顺序执行所示出或描述的步骤。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
在本发明实施例的描述中,如果涉及到“若干”,其含义是一个以上,如果涉及到“多个”,其含义是两个以上,如果涉及到“大于”、“小于”、“超过”,均应理解为不包括本数,如果涉及到“以上”、“以下”、“以内”,均应理解为包括本数。如果涉及到“第一”、“第二”,应当理解为用于区分技术特征,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
许多工业材料或生物样品在普通光学明场显微镜下获得的图像对比度低,不利于对其形貌及结构进行观察和分析。为了提高成像对比度通常需要对样品进行染色或进行荧光标记,然而染色和荧光标记增加了样品制备的难度,且都不可避免地会对样品本身的性质和结构产生影响,导致观察到的不再是原本的形貌结构,很难用于活体生物样品成像、工业生产在线实时监测。采用相位成像技术,例如相衬显微术、微分干涉相衬显微术,可以实现无标记高对比度成像,但光路较为复杂,且分辨率较低。差分相衬显微术光路简单,采用对称方位角离轴斜照明,拍摄样品图像再进行差分计算,可以得到对比度增强的图像。且差分相衬显微术采用反射式光路时,非常微小的样品表面凹凸形貌也会由于差分计算对比度得到加强,获得类似浮雕效果,因此差分相衬二维图像也可以反应样品表面三维形貌变化,可广泛用于工业产品表面粗糙情况的非定量检测,还可实现对一些缺陷的分类,例如在半导体晶圆检测中,用于区分镀层变色、表面脏污,以及区分划伤等。然而一般的差分相衬显微术采用的照明光路和差分计算方法会导致分辨率下降,影响对样品细小结构的成像效果。
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种图像处理方法,能够提高差分相衬显微术的成像分辨率,并提升对样品细小结构的成像效果。
请参照图1,图1示出了本发明实施例中图像处理方法的流程示意图。在一些实施例中,其具体包括但不限于包括步骤S101至步骤S106。
步骤S101,获取待处理图像集;其中,待处理图像集包括斜对称照明得到的至少一组待处理图像;
步骤S102,对每组待处理图像进行差分计算,得到差分照明图像;
步骤S103,对差分照明图像进行傅里叶变换,得到图像频谱信息;
步骤S104,获取任意一个的图像频谱信息,得到初始频谱信息;
步骤S105,根据图像频谱信息、初始频谱信息和预设的频谱滤波窗进行迭代更新,直至迭代收敛,得到目标频谱信息;
步骤S106,对目标频谱信息进行逆傅里叶变换,得到目标图像。
通过执行步骤S101至步骤S106,通过斜对称照明照射得到至少一组待处理图像,将这些待处理图像集合得到待处理图像集,分别对每组待处理图像进行差分计算,得到多个差分照明图像,分别对每个差分照明图像进行傅里叶变换,得到多个图像频谱信息,获取多个图像频谱信息其中任意一个,得到初始频谱信息,根据初始频谱信息和预设的频谱滤波窗对每个图像频谱信息进行迭代更新,迭代更新持续至迭代收敛,得到多组目标频谱信息,分别对每组目标频谱信息进行逆傅里叶变换,得到多个目标图像,能够提高差分相衬显微术的成像分辨率,进而提升对样品细小结构的成像效果。
在一些实施例的步骤S101中,通过拍摄获取至少一组斜照明灯照射的图像,得到至少一组待处理图像。
请参照图2,图2示出了本发明实施例中图像处理方法的流程示意图。在一些实施例中,每组待处理图像包括第一待处理图像和第二待处理图像,步骤S102包括但不限于包括步骤S201至步骤S206。
步骤S201,获取第一待处理图像的平面坐标,得到第一平面坐标信息;
步骤S202,获取第二待处理图像的平面坐标,得到第二平面坐标信息;
步骤S203,将第一平面坐标信息和第二平面坐标信息进行差值计算,得到图像坐标差值;
步骤S204,将第一平面坐标信息和第二平面坐标信息进行和值计算,得到图像坐标和值;
步骤S205,将图像坐标差值和图像坐标和值进行差分计算,得到坐标差分信息;
步骤S206,根据坐标差分信息生成差分照明图像。
通过执行步骤S201至步骤S206,获取第一待处理图像中每个像素点的平面坐标,并将每个像素点的平面坐标集合得到第一平面坐标信息,获取第二待处理图像中每个像素点的平面坐标,并将每个像素点的平面坐标集合得到第二平面坐标信息。将第一平面坐标信息减去第二平面坐标信息,得到图像坐标差值,将第一平面坐标信息加上第二平面坐标信息,得到图像坐标和值。其中,和值是指两个数的和。将图像坐标差值除以图像坐标和值实现差分计算,得到坐标差分信息,根据坐标差分信息生成相应的图像,得到差分照明图像,能够减少图像受到的干扰,进一步提高图像的精确度。
需要说明的是,第一平面坐标信息表示为,第二平面坐标信息表示为,其中,表示图像平面坐标,即像素点的坐标。
将第一平面坐标信息和第二平面坐标信息代入差分计算公式进行计算,以执行步骤S203至步骤S205,其中,差分计算公式如公式(1)所示:
(1)
例如,设待处理图像集中有i组待处理图像,第n组待处理图像的平面坐标包括:第一平面坐标信息和第二平面坐标信息。其中,n=0,1,2,...,i-1。将第一平面坐标信息和第二平面坐标信息代入差分计算公式进行计算,得到第n组待处理图像对应的坐标差分信息。依次对i组待处理图像执行步骤S201至步骤S206,得到对应的i个差分照明图像,i个差分照明图像的坐标差分信息分别表示为:。其中,一组待处理图像对应得到一个差分照明图像。
在一些实施例的步骤S103中,依次对每个差分照明图像进行傅里叶变换,得到对应的图像频谱信息。其中,每个差分照明图像对应得到一个图像频谱信息。
例如,由上述例子得到:i个差分照明图像,第n个差分照明图像的坐标差分信息,对坐标差分信息进行傅里叶变换,得到第n个差分照明图像对应的图像频谱信息。依次根据i个差分照明图像的坐标差分信息执行步骤S103,得到对应的i个图像频谱信息,i个图像频谱信息分别表示为:。其中,一个差分照明图像对应得到一个图像频谱信息。
在一些实施例的步骤S104中,用户将i个图像频谱信息中的任意一个设置为第一次迭代的初始频谱信息。
例如,第一次迭代则得到n=0且迭代的轮数也为0,设第一次迭代的初始频谱信息表示为,第一次迭代的初始频谱信息可以是i个图像频谱信息中的任意一个图像频谱信息。其中,表示图像频谱坐标。
请参照图3,图3示出了本发明实施例中图像处理方法的流程示意图。在一些实施例中,步骤S105包括但不限于包括步骤S301至步骤S304。
步骤S301,获取当前的图像频谱信息,得到当前频谱信息;
步骤S302,根据当前频谱信息、频谱滤波窗和初始频谱信息进行频谱差值计算,得到目标频谱差值;
步骤S303,根据初始频谱信息、预设迭代系数和目标频谱差值进行迭代计算,得到更新频谱信息;
步骤S304,获取迭代收敛对应的更新频谱信息,得到目标频谱信息。
通过执行步骤S301至步骤S304,根据当前迭代的轮数获取当前迭代的图像频谱信息,得到当前频谱信息,将当前频谱信息、频谱滤波窗和初始频谱信息代入预设的频谱差值计算公式进行频谱差值计算,得到目标频谱差值。将初始频谱信息、预设迭代系数和目标频谱差值代入预设的迭代计算公式进行迭代计算,得到更新频谱信息,当迭代收敛后,将当前的更新频谱信息作为目标频谱信息,能够优化图像频谱,以提高图像频谱的准确性。
需要说明的是,迭代更新包括:重复执行步骤S301至步骤S304,直至迭代收敛,停止迭代更新。
在一些实施例的步骤S301中,例如,由上述例子得到:i个图像频谱信息,设需要进行迭代的轮数为L轮,每轮迭代分别根据i个图像频谱信息进行i次迭代,其中,一次迭代根据一个图像频谱信息进行。设当前迭代的轮数为第l轮,当前迭代的图像频谱信息为第n个,即第n次迭代,则当前频谱信息为,初始频谱信息为。其中,表示为:第l轮迭代中,使用第n个图像频谱信息更新后得到的新的图像频谱信息,第n个图像频谱信息为
请参照图4,图4示出了本发明实施例中图像处理方法的流程示意图。在一些实施例中,步骤S302包括但不限于包括步骤S401至步骤S404。
步骤S401,对频谱滤波窗进行共轭计算,得到共轭滤波窗;
步骤S402,将初始频谱信息和频谱滤波窗进行滤波处理,得到滤波频谱信息;
步骤S403,将当前频谱信息和滤波频谱信息进行差值计算,得到差值信息;
步骤S404,将差值信息和共轭滤波窗进行频谱计算,得到目标频谱差值。
通过执行步骤S401至步骤S404,对频谱滤波窗进行共轭计算,求出频谱滤波窗的共轭值得到共轭滤波窗。将初始频谱信息和频谱滤波窗相乘,以实现对初始频谱信息进行滤波处理,得到滤波频谱信息。将当前频谱信息减去滤波频谱信息,以计算当前频谱信息和滤波频谱信息直接的差值,得到差值信息,将差值信息和共轭滤波窗相乘,以计算当前频谱信息和初始频谱信息之间的误差,得到目标频谱差值。
需要说明的是,频谱差值计算包括:执行步骤S402至步骤S404,或者,将当前频谱信息、频谱滤波窗、共轭滤波窗和初始频谱信息代入频谱差值计算公式进行计算。其中,频谱差值计算公式为:
在一些实施例的步骤S401中,频谱滤波窗设为,则频谱滤波窗经过共轭计算后得到的共轭滤波窗表示为:。其中,频谱滤波窗的计算公式如公式(2)所示:
(2)
式中,是现有技术中的圆形低通滤波窗,半径小于的区域为1,的其余区域为0,
在一些实施例的步骤S402中,滤波处理包括:将初始频谱信息和频谱滤波窗进行相乘计算。
在一些实施例的步骤S404中,频谱计算包括:将差值信息和共轭滤波窗进行相乘计算。
例如,由上述例子得到:当前迭代的轮数为第l轮,当前迭代的图像频谱信息为第n个,则当前频谱信息为,初始频谱信息为,将当前频谱信息、初始频谱信息、频谱滤波窗和共轭滤波窗代入频谱差值计算公式,得到当前的目标频谱差值为
请参照图5,图5示出了本发明实施例中图像处理方法的流程示意图。在一些实施例中,步骤S303包括但不限于包括步骤S501至步骤S502。
步骤S501,将预设迭代系数和目标频谱差值进行更新差值计算,得到更新频谱差值;
步骤S502,将初始频谱信息和更新频谱差值进行更新计算,得到更新频谱信息。
通过执行步骤S501至步骤S502,将预设迭代系数和目标频谱差值相乘,以计算迭代更新的差值,得到更新频谱差值,将初始频谱信息和更新频谱差值相加,以更新初始频谱信息,得到更新频谱信息。
需要说明的是,迭代计算包括:执行步骤S501至步骤S502,或者,将初始频谱信息、预设迭代系数和目标频谱差值代入迭代计算公式进行计算。其中,迭代计算公式如公式(3)所示:
(3)
在一些实施例的步骤S501中,更新差值计算包括:将预设迭代系数和目标频谱差值进行相乘计算。预设迭代系数是迭代更新步长系数,预设迭代系数的取值范围包括:0.01到1之间,预设迭代系数的值越小迭代更新的速度越慢,但稳定性越好。其中,在本申请不对预设迭代系数的取值进行具体限定。
在一些实施例的步骤S502中,更新计算包括:将初始频谱信息和更新频谱差值进行相加计算。
例如,由上述例子得到:当前迭代的轮数为第l轮,当前迭代的图像频谱信息为第n个,则初始频谱信息为,当前的目标频谱差值为,将预设迭代系数、初始频谱信息和目标频谱差值代入迭代计算公式,得到初始频谱信息更新后的更新频谱信息
请参照图6,图6示出了本发明实施例中图像处理方法的流程示意图。在一些实施例中,步骤S304包括但不限于包括步骤S601至步骤S602。
步骤S601,将更新频谱信息和初始频谱信息进行差值计算,得到迭代误差;
步骤S602,若迭代误差小于预设误差阈值,将更新频谱信息作为目标频谱信息。
通过执行步骤S601至步骤S602,将更新频谱信息和初始频谱信息相减,以计算更新频谱信息和初始频谱信息的误差,得到迭代误差,将迭代误差与预设误差阈值进行比较,若迭代误差小于预设误差阈值,将当前的更新频谱信息作为目标频谱信息。
在一些实施例的步骤S601中,迭代误差表示:图像迭代前后像素取值。
在一些实施例的步骤S602中,迭代误差小于预设误差阈值表示:迭代收敛。其中,预设误差阈值在本申请优选为1%,在本申请不对预设误差阈值进行具体限定。
例如,由上述例子得到:需要进行迭代的轮数为L轮,每轮迭代分别根据i个图像频谱信息进行i次迭代,其中,一次迭代根据一个图像频谱信息进行。初始频谱信息经过L轮迭代后迭代收敛,得到最终高分辨的差分相衬显微图像频谱,即目标频谱信息。其中,迭代的轮数在本申请优选值为[5,10],在本申请不对迭代的轮数进行具体限定。
请参照图7,图7示出了本发明实施例中图像处理方法的流程示意图。在一些实施例中,步骤S304还包括但不限于包括步骤S701。
步骤S701,若迭代误差大于预设误差阈值,根据更新频谱信息对初始频谱信息进行替换,以更新初始频谱信息。
在一些实施例的步骤S701中,若迭代误差大于预设误差阈值,则迭代不收敛,将更新频谱信息替换初始频谱信息,以更新初始频谱信息,并将更新后的初始频谱信息作为下一次迭代的初始频谱信息进行迭代更新。
上述图像处理方法应用于一种高分辨率的差分相衬显微成像系统,高分辨率的差分相衬显微成像系统依次由环形斜照明光源、样品台、物镜、管镜和相机构成。样品置于样品台上,通过移动样品台,调节样品的一个薄层与物镜前焦面重合,物镜与管镜同光轴。
环形斜照明光源包括个可单独控制的斜照明灯,斜照明灯照射的光的入射角均为,且照明方位角等间距分布,方位角分别为;其中的取取值范围为:0~180°,通过的不同取值,可以获取不同方位角的待处理图像。并且,通过控制每个不同照明方位角的斜照明灯单独照射样品,同时控制相机采集待处理图像,并为待处理图像进行编号,以用于将待处理图像进行迭代计算。
在本申请的一实施例中,一种高分辨率的差分相衬显微成像系统,物镜和管镜构成无限远校正成像系统,样品位于样品台上,通过移动样品台使样品的一个薄层与物镜前焦面重合。环形斜照明光源由2N个LED灯珠组成,LED灯珠等间隔分布在环形区域内,环形半径为R,环形斜照明光源所在平面与光轴垂直,光轴穿过环形斜照明光源中心。环形斜照明光源中,每颗LED灯珠亮度发光单独可控,发射的光均以相同的入射角均为指向样品,其中,入射角刚好等于物镜孔径角一半。环形斜照明光源位于样品一侧与物镜相对,样品与物镜的距离为,相邻LED灯珠照明方位角相差,在每个LED灯珠单独照明时拍摄待处理图像,并记录待处理图像与LED方位角间关系。
在本申请的一实施例中,一种高分辨率的差分相衬显微成像系统,由100倍数值且孔径为1.25的物镜和1倍数值的管镜构成无限远校正成像系统,样品位于样品台上,通过移动样品台使样品的一个薄层与物镜前焦面重合。环形斜照明光源由60个LED灯珠组成,相邻LED灯珠照明方位角相差6°,半径为70mm,总发光功率24W。每个LED灯珠的中心波长为520nm,发光带宽10nm,单个LED灯珠发光功率0.4V,辐射角约17°。其中,LED灯珠发光中心的光束与环形斜照明光源的环平面形成的夹角为15°,LED灯珠均发射入射角75°的光束指向样品。环形斜照明光源位于样品一侧与物镜相对,环形斜照明光源的平面与样品的距离为18.75mm,在每个LED灯珠单独照明时拍摄图像,并记录图像与LED方位角间关系,再根据迭代算法得到目标图像,能够使图像中的图案边界更加清晰锐利,以提高成像分辨率。
在本申请的一实施例中,一种高分辨率的差分相衬显微成像系统,物镜和管镜构成无限远校正成像系统,样品位于样品台上,通过移动样品台使样品的一个薄层与物镜前焦面重合。环形斜照明光源由2个LED灯珠组成,两个LED灯珠位置关于光轴旋转对称,两个LED灯珠之间的距离为2R,照明样品的入射角相同均为,其中,入射角刚好等于物镜孔径角一半。并且,两个LED灯珠固定在同一个架子上,可以绕着光轴旋转。两个LED灯珠位于样品一侧,与物镜相对,两个LED灯珠的连线与样品间的距离为。其中,每颗LED灯珠亮度发光单独可控,每颗LED灯珠发射光束指向样品。将两个LED灯珠当前的位置定义为照明方位角0°,在电机带动下,两个LED灯珠一起绕着光轴旋转,每旋转拍摄一次的待处理图像,并记录待处理图像的LED方位角,直到旋转N次后,完成待处理图像的采集。
在本申请的一实施例中,一种高分辨率的差分相衬显微成像系统,物镜和管镜构成无限远校正成像系统,样品位于样品台上,通过移动样品台使样品的一个薄层与物镜前焦面重合。环形斜照明光源由2N个LED灯珠组成,LED灯珠等间隔分布在环形区域内,环形斜照明光源的平面与光轴垂直,光轴穿过环形中心。在环形斜照明光源中,每颗LED灯珠亮度发光单独可控,发光方向与光轴平行。通过透镜组和半反半透的分光镜将光轴旋转90°,使LED灯珠照射的光路光轴与物镜和管镜之间的光路光轴重合。其中,当使用辐射角小,接近准直的光源时,可以不使用透镜组。相邻LED灯珠照明方位角相差,在每个LED灯珠单独照明时拍摄待处理图像,并记录待处理图像与LED方位角间关系。
另外,本申请实施例还公开了图像处理装置,请参照图8,图8是本发明的一个实施例公开了图像处理装置的模块框图。且,可以实现上述图像处理方法,图像处理装置包括:初始图像获取模块801、差分图像计算模块802、图像频谱计算模块803、初始频谱获取模块804、迭代更新模块805和目标图像获取模块806。初始图像获取模块801、差分图像计算模块802、图像频谱计算模块803、初始频谱获取模块804、迭代更新模块805和目标图像获取模块806均为通信连接。
初始图像获取模块801获取待处理图像集;其中,待处理图像集包括斜对称照明得到的至少一组待处理图像。差分图像计算模块802对每组待处理图像进行差分计算,得到差分照明图像。图像频谱计算模块803对差分照明图像进行傅里叶变换,得到图像频谱信息。初始频谱获取模块804获取任意一个的图像频谱信息,得到初始频谱信息。迭代更新模块805根据图像频谱信息、初始频谱信息和预设的频谱滤波窗进行迭代更新,直至迭代收敛,得到目标频谱信息。目标图像获取模块806对目标频谱信息进行逆傅里叶变换,得到目标图像。
初始图像获取模块801通过斜对称照明照射得到至少一组待处理图像,将这些待处理图像集合得到待处理图像集。差分图像计算模块802分别对每组待处理图像进行差分计算,得到多个差分照明图像。图像频谱计算模块803分别对每个差分照明图像进行傅里叶变换,得到多个图像频谱信息。初始频谱获取模块804获取多个图像频谱信息其中任意一个,得到初始频谱信息。迭代更新模块805根据初始频谱信息和预设的频谱滤波窗对每个图像频谱信息进行迭代更新,迭代更新持续至迭代收敛,得到多组目标频谱信息。目标图像获取模块806分别对每组目标频谱信息进行逆傅里叶变换,得到多个目标图像,能够提高差分相衬显微术的成像分辨率,进而提升对样品细小结构的成像效果。
其中,本实施例的图像处理装置的操作过程具体参照如上描述图1、图2、图3、图4、图5、图6和图7中的图像处理方法步骤S101至步骤S106、步骤S201至步骤S206、步骤S301至步骤S304、步骤S401至步骤S404、步骤S501和步骤S502、步骤S601和步骤S602和步骤S701,此处不再赘述。
本发明的另一个实施例公开了一种图像处理设备,包括:至少一个处理器,以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如图1中的控制方法步骤S101至步骤S106、图2中的控制方法步骤S201至步骤S206、图3中的控制方法步骤S301至步骤S304、图4中的控制方法步骤S401至步骤S404、图5中的控制方法步骤S501和步骤S502、图6中的控制方法步骤S601和步骤S602以及图7中的控制方法步骤S701的图像处理方法。
本发明的另一个实施例公开了一种存储介质,存储介质包括:存储介质存储有计算机可执行指令,计算机可执行指令用于使计算机执行图1中的控制方法步骤S101至步骤S106、图2中的控制方法步骤S201至步骤S206、图3中的控制方法步骤S301至步骤S304、图4中的控制方法步骤S401至步骤S404、图5中的控制方法步骤S501和步骤S502、图6中的控制方法步骤S601和步骤S602以及图7中的控制方法步骤S701的图像处理方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。此外,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

Claims (8)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像集;其中,所述待处理图像集包括斜对称照明得到的至少一组待处理图像;
对每组所述待处理图像进行差分计算,得到差分照明图像;
对所述差分照明图像进行傅里叶变换,得到图像频谱信息;
获取任意一个的所述图像频谱信息,得到初始频谱信息;
根据所述图像频谱信息、所述初始频谱信息和预设的频谱滤波窗进行迭代更新,直至所述迭代收敛,得到目标频谱信息,包括:
获取当前的所述图像频谱信息,得到当前频谱信息;
根据所述当前频谱信息、所述频谱滤波窗和所述初始频谱信息进行频谱差值计算,得到目标频谱差值,包括:对所述频谱滤波窗进行共轭计算,得到共轭滤波窗;将所述初始频谱信息和所述频谱滤波窗进行滤波处理,得到滤波频谱信息;将所述当前频谱信息和所述滤波频谱信息进行差值计算,得到差值信息;将所述差值信息和所述共轭滤波窗进行频谱计算,得到所述目标频谱差值;
根据所述初始频谱信息、预设迭代系数和所述目标频谱差值进行迭代计算,得到更新频谱信息;
获取迭代收敛对应的所述更新频谱信息,得到所述目标频谱信息;
对所述目标频谱信息进行逆傅里叶变换,得到目标图像。
2.根据权利要求1所述的图像处理方法,其特征在于,每组所述待处理图像包括第一待处理图像和第二待处理图像,所述对每组所述待处理图像进行差分计算,得到差分照明图像,包括:
获取所述第一待处理图像的平面坐标,得到第一平面坐标信息;
获取所述第二待处理图像的平面坐标,得到第二平面坐标信息;
将所述第一平面坐标信息和所述第二平面坐标信息进行差值计算,得到图像坐标差值;
将所述第一平面坐标信息和所述第二平面坐标信息进行和值计算,得到图像坐标和值;
将所述图像坐标差值和所述图像坐标和值进行差分计算,得到坐标差分信息;
根据所述坐标差分信息生成所述差分照明图像。
3.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述初始频谱信息、预设迭代系数和所述目标频谱差值进行迭代计算,得到所述更新频谱信息,包括:
将所述预设迭代系数和所述目标频谱差值进行更新差值计算,得到更新频谱差值;
将所述初始频谱信息和所述更新频谱差值进行更新计算,得到所述更新频谱信息。
4.根据权利要求3所述的图像处理方法,其特征在于,所述获取迭代收敛对应的所述更新频谱信息,得到所述目标频谱信息,包括:
将所述更新频谱信息和所述初始频谱信息进行差值计算,得到迭代误差;
若所述迭代误差小于预设误差阈值,将所述更新频谱信息作为所述目标频谱信息。
5.根据权利要求4所述的图像处理方法,其特征在于,所述方法还包括:
若所述迭代误差大于所述预设误差阈值,根据所述更新频谱信息对所述初始频谱信息进行替换,以更新所述初始频谱信息。
6.一种图像处理装置,其特征在于,包括:
初始图像获取模块,用于获取待处理图像集;其中,所述待处理图像集包括斜对称照明得到的至少一组待处理图像;
差分图像计算模块,用于对每组所述待处理图像进行差分计算,得到差分照明图像;
图像频谱计算模块,用于对所述差分照明图像进行傅里叶变换,得到图像频谱信息;
初始频谱获取模块,用于获取任意一个的所述图像频谱信息,得到初始频谱信息;
迭代更新模块,用于根据所述图像频谱信息、所述初始频谱信息和预设的频谱滤波窗进行迭代更新,直至所述迭代收敛,得到目标频谱信息,包括:
获取当前的所述图像频谱信息,得到当前频谱信息;
根据所述当前频谱信息、所述频谱滤波窗和所述初始频谱信息进行频谱差值计算,得到目标频谱差值,包括:对所述频谱滤波窗进行共轭计算,得到共轭滤波窗;将所述初始频谱信息和所述频谱滤波窗进行滤波处理,得到滤波频谱信息;将所述当前频谱信息和所述滤波频谱信息进行差值计算,得到差值信息;将所述差值信息和所述共轭滤波窗进行频谱计算,得到所述目标频谱差值;
根据所述初始频谱信息、预设迭代系数和所述目标频谱差值进行迭代计算,得到更新频谱信息;
获取迭代收敛对应的所述更新频谱信息,得到所述目标频谱信息;
目标图像获取模块,用于对所述目标频谱信息进行逆傅里叶变换,得到目标图像。
7.一种图像处理设备,其特征在于,包括:
至少一个处理器,以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至5任一项所述的图像处理方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的图像处理方法。
CN202310035581.1A 2023-01-10 2023-01-10 图像处理方法、装置、设备及存储介质 Active CN115713475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310035581.1A CN115713475B (zh) 2023-01-10 2023-01-10 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310035581.1A CN115713475B (zh) 2023-01-10 2023-01-10 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115713475A CN115713475A (zh) 2023-02-24
CN115713475B true CN115713475B (zh) 2023-05-05

Family

ID=85236229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310035581.1A Active CN115713475B (zh) 2023-01-10 2023-01-10 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115713475B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170343A (zh) * 2021-12-29 2022-03-11 中国联合网络通信集团有限公司 一种图像重建方法、装置及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015205174A (ja) * 2014-04-10 2015-11-19 キヤノン株式会社 画像処理装置および画像処理装置の制御方法
CN108051184A (zh) * 2017-11-30 2018-05-18 中国兵器科学研究院宁波分院 一种扩束准直光检测方法
JP2019169000A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN111080636B (zh) * 2019-12-23 2023-08-25 山东安亚金属科技有限公司 彩钢瓦表面缺陷的cnn语义分割自学习检测方法
CN114429549A (zh) * 2020-10-28 2022-05-03 北京小米移动软件有限公司 图像边缘提取方法、图像边缘提取装置及存储介质
CN114638863A (zh) * 2022-03-14 2022-06-17 华南师范大学 基于fpga的差分动态显微图像处理方法、装置及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170343A (zh) * 2021-12-29 2022-03-11 中国联合网络通信集团有限公司 一种图像重建方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN115713475A (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
US9784987B2 (en) Apodization for pupil imaging scatterometry
JP5764455B2 (ja) 顕微鏡照明システム、顕微鏡および傾斜入射照明方法
US9773641B2 (en) Method and apparatus for observing defects
CN105929560B (zh) 一种宽带远场超分辨成像装置
CN108982452B (zh) 基于双螺旋点扩散函数的多焦点扫描三维成像方法及系统
JP5976654B2 (ja) 顕微鏡画像化用の較正目標
US20210325654A1 (en) A quantitative phase imaging method based on differential phase contrast with optimal lighting pattern design
EP1941313A2 (en) An optical system for illumination of an evanescent field
US20110075255A1 (en) Low Numerical Aperture Exclusion Imaging
WO2020258434A1 (zh) 一种基于tie的相位成像方法、装置及可读存储介质
CN112255776B (zh) 一种点光源扫描照明方法及检测装置
CN112005100A (zh) 用于荧光显微镜的光盘显微术
CN111505817B (zh) 基于偏振编码的相衬显微系统及其成像方法
CN115713475B (zh) 图像处理方法、装置、设备及存储介质
CN111239992A (zh) 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法
JPH10513268A (ja) センター・マスキング照明システムおよび方法
EP3583459A1 (en) Structured illumination scanning microscopy
CN113160212B (zh) 基于led阵列位置误差快速校正的傅里叶叠层成像系统及方法
CN111239081B (zh) 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法
CN114740008A (zh) 一种超分辨晶圆缺陷检测系统
CN114509869B (zh) 一种基于多半径环形照明的显微成像装置及反卷积方法
JPH10214587A (ja) 立体観察用走査透過電子顕微鏡及び立体画像形成システム
JPH01136002A (ja) 透明導電膜の位置検出方法ならびにその装置
Cheng et al. Recent advances in contact imaging of biological materials
CN110132999B (zh) 一种检测fpd基板的成像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Image processing methods, devices, devices, and storage media

Effective date of registration: 20230721

Granted publication date: 20230505

Pledgee: Shenzhen SME financing Company limited by guarantee

Pledgor: Shenzhen Geling Jingrui vision Co.,Ltd.

Registration number: Y2023980049494