CN113284222A - 相差显微成像方法、装置、电子设备及存储介质 - Google Patents

相差显微成像方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113284222A
CN113284222A CN202110528499.3A CN202110528499A CN113284222A CN 113284222 A CN113284222 A CN 113284222A CN 202110528499 A CN202110528499 A CN 202110528499A CN 113284222 A CN113284222 A CN 113284222A
Authority
CN
China
Prior art keywords
image
relief
target image
microscope
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110528499.3A
Other languages
English (en)
Other versions
CN113284222B (zh
Inventor
张冀聪
王海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Innovation Research Institute of Beihang University
Original Assignee
Hefei Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Innovation Research Institute of Beihang University filed Critical Hefei Innovation Research Institute of Beihang University
Priority to CN202110528499.3A priority Critical patent/CN113284222B/zh
Publication of CN113284222A publication Critical patent/CN113284222A/zh
Application granted granted Critical
Publication of CN113284222B publication Critical patent/CN113284222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Abstract

本发明实施例公开了一种相差显微成像方法、装置、电子设备及存储介质。所述方法包括:获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像;确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕;依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。采用申请提供的技术方案,针对普通相差显微镜的样本成像难以获得类似微分干涉相差显微镜DIC或者霍夫曼显微镜层次感浮雕效果,不需要改变普通相差显微镜的光路设计,充分挖掘通过普通相差显微镜拍摄的包括目标对象的目标图像中的相位差异信息,向图像细节信息中添加浮雕效果使得目标图像具有立体感浮雕效果。

Description

相差显微成像方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及显微成像技术领域,尤其涉及一种相差显微成像方法、装置、电子设备及存储介质。
背景技术
相差显微技术能用于观察未染色标本,因细胞各部细微结构的折射率和厚度的不同,光波通过时,波长和振幅并不发生变化,仅相位发生变化,这种相位差人眼无法观察。而相差显微镜通过改变这种相位差,并利用光的衍射和干涉现象,把相差变为振幅差来观察活细胞和未染色的标本。
相关技术中,普通相差显微镜只能观察出明暗,没有层次感或立体感,不能反映细胞内部的结构变化,而以微分干涉相差显微镜(DIC)和霍夫曼调制相差显微镜为代表的相差显微镜却能利用斜照明与偏振光光技术去获得具有立体感的浮雕效果。但是,上述微分干涉相差显微镜与霍夫曼调制相差显微镜存在结构较为复杂、体积较大且价格较贵等缺点,导致浮雕成像实用性较低。
发明内容
本发明实施例中提供了一种相差显微成像方法、装置、电子设备及存储介质,以实现采用普通的相差显微镜就进行具有立体感浮雕效果的成像。
第一方面,本发明实施例中提供了一种相差显微成像方法,所述方法包括:
获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像;
确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕;
依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
第二方面,本发明实施例中还提供了一种相差显微成像装置,该装置包括:
目标图像获取模块,用于获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像;
图像细节处理模块,用于确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕;
浮雕图像确定模块,用于依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
第三方面,本发明实施例中还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例中所提供的相差显微成像方法。
第四方面,本发明实施例中还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例中所提供的相差显微成像方法。
本发明实施例中提供了一种相差显微成像方法,获取使用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像,并向目标图像的图像细节信息中添加浮雕效果得到图像细节浮雕,进而依据图像细节浮雕生成目标图像的浮雕效果图像实现浮雕效果的相差显微成像。采用申请提供的技术方案,针对普通相差显微镜的样本成像难以获得类似微分干涉相差显微镜DIC或者霍夫曼显微镜层次感浮雕效果,不需要改变普通相差显微镜的光路设计,充分挖掘通过普通相差显微镜拍摄的包括目标对象的目标图像中的相位差异信息,向图像细节信息中添加浮雕效果使得目标图像具有立体感浮雕效果,在浮雕成像中具有成像设备体积小、结构简单以及成本低的优点。
上述发明内容仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例中提供的一种相差显微成像方法的流程图;
图2是本发明实施例中提供的一种普通相差成像系统的结构示意图;
图3是本发明实施例中提供的另一种相差显微成像方法的流程图;
图4是本发明实施例中提供的不同加权系数k下生成的浮雕对比图;
图5是本发明实施例中提供的一种不同算法生成浮雕效果对比图;
图6是本发明实施例中提供的另一种不同算法生成浮雕效果对比图;
图7是本发明实施例中提供的一种相差显微成像装置的结构图;
图8是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前,应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面针对本发明实施例中提供的相差显微成像方法、装置、电子设备及存储介质,通过各实施例进行详细阐述。
图1是本发明实施例中提供的一种相差显微成像方法的流程图。本实施例可适用于使用普通相差显微镜观察得到浮雕效果图像的情况。该方法可以由相差显微成像装置执行,该装置可以采用软件和/或硬件的方式实现,并可集成在任何具有网络通信功能的电子设备上。如图1所示,本发明实施例中提供的相差显微成像方法,可包括以下步骤:
S110、获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像。
辅助生殖技术IVF是指利用现代医学的最新成果通过人工手段代替自然生殖过程的一部分或全部的技术。在辅助生殖技术IVF实施过程中,无论是卵母细胞还是胚胎都是透明的且需要活体观察不能染色。目标对象可为活细胞或者未染色的生物样本等相位物体,对于这样一类相位物体因细微结构的折射率和厚度的不同,光波通过时波长和振幅并不发生变化仅相位发生变化,基于波长或者振幅变化检测的显微镜难以观察,而相差显微镜通过改变这种相位差,并利用光的衍射和干涉现象,把相差变为振幅差来观察活细胞和未染色的标本。
相差显微镜可包括普通相差显微镜、微分干涉相差显微镜DIC和霍夫曼调制相差显微镜。从设备成本与体积角度看,普通相差显微镜可以观测相位物体且结构简单、体积小,而微分干涉相差显微镜DIC和霍夫曼调制相差显微镜存在结构较为复杂、体积较大且价格较贵等缺点。例如,参见图2,普通相差显微镜+拍摄设备,只需包括以下部件:光源、带有环形光阑的聚光镜、放置样品的载物台、带有相板的物镜、平面镜、管镜以及照相机等。
但是,从设备使用效果来看,普通相差显微镜虽然能观测相位物体,却无法像微分干涉相差或者霍夫曼相差显微镜那样成像具有立体感浮雕效果,而通过普通相差显微镜能观察出相位物体的明暗差异,即观察到相位差异,很难观察出相位物体的层次感或立体感,不能反映细胞内部结构变化,也不适合IVF领域操作层面,比如精子卵母细胞注入,Time-Lapse培养等。
S120、确定目标图像的图像细节信息,并向图像细节信息中添加浮雕效果得到图像细节浮雕。
S130、依据图像细节浮雕生成目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
通过普通相差显微镜观察目标对象所得的目标图像中仅能体现出目标对象的明显未能体现出层次感或立体感的浮雕效果。对于目标对象,通过普通相差显微镜观察获得的图像虽然没有类似DIC或者霍夫曼的浮雕效果,但是其图像本身含有丰富的相位信息。为此,可对通过普通相差显微镜观察获取的目标图像进行图像细节提取,这样就可针对图像细节信息生成对应的浮雕效果,让图像细节具备层次感和立体感。这样,通过图像处理技术去优化普通相差显微镜成像照片,使得最终成像照片在完备保真度前提下同时具备立体感浮雕效果明显,能够满足类似辅助生殖技术IVF的一些特殊场景需求,比如精子卵母细胞注入,Time-Lapse培养等。
需要说明的是,对目标图像生成浮雕的设备位置可以固化,例如可以设置在相机ISP内部,在ISP流程最后一步加上浮雕生成过程,直接对观察的目标图像进行浮雕生成;或者,通过外部设备读取相机图片进行浮雕生成。
在本实施例的一种可选方案中,确定采用普通相差显微镜观察获得的目标图像的图像细节信息,可包括以下步骤:
若获得的目标图像属于RGB色彩域图像,则通过将获得的目标图像从RGB色彩域转换到LAB色彩域,分离出亮度分量信息与色度分量信息,并将分离出的亮度分量信息作为图像细节信息。
采用普通相差显微镜观察获得的目标图像可为使用电荷藕合器件图像传感器获取的CCD图像。读入采用普通相差显微镜观察得到CCD图像,如果目标图像属于RGB色彩域图像,可先将RGB色彩域格式的目标图像转换成LAB色彩域格式的目标图像,此时目标图像的细节信息可为从RGB色彩域转换到LAB色彩域后所获得的取亮度分量信息L。
同时,还可对从LAB色彩域格式的目标图像中分离出的两个色度分量信息A颜色分量和B颜色分量进行保留并对其保存备用。其中,A颜色分量的颜色是从绿色(低亮度值)到灰色(中亮度值)再到洋红色(高亮度值);B颜色分量的颜色则是从蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)。
作为一种可选方案,若获得的目标图像属于灰度图像,细节信息就是灰度图像本身,则可直接将目标图像本身作为目标图像的图像细节信息。
根据本发明实施例中提供的相差显微成像方法,针对普通相差显微镜的样本成像难以获得类似微分干涉相差显微镜DIC或者霍夫曼显微镜层次感浮雕效果,不需要改变普通相差显微镜的光路设计,充分挖掘通过普通相差显微镜拍摄的包括目标对象的目标图像中的相位差异信息,向图像细节信息中添加浮雕效果使得目标图像具有立体感浮雕效果,实现在浮雕成像中具有成像设备体积小、结构简单以及成本低的优点。
图3是本发明实施例中提供的另一种相差显微成像方法的流程图。本实施例在上述实施例的基础上进行优化,本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图3所示,本发明实施例中提供的相差显微成像方法,可包括以下步骤:
S310、获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像。
S320、确定采用普通相差显微镜观察获得的目标图像的图像细节信息。
可选地,确定目标图像的图像细节信息,可包括以下操作:
若目标图像属于RGB色彩域图像,则通过将目标图像从RGB色彩域转换到LAB色彩域分离出亮度分量信息与色度分量信息,并将分离出的亮度分量信息作为图像细节信息。
若目标图像属于灰度图像,则将目标图像本身作为图像细节信息。
S330、对图像细节信息进行快速傅里叶变换,将傅里叶变换结果的零频分量移动到频谱中心重新排列傅里叶变换。
以微分干涉相差显微镜DIC和霍夫曼调制相差显微镜为代表的相差显微镜利用斜照明+偏振光光技术去获得具有立体感浮雕效果;例如,采用偏振光加带有狭缝的检偏镜获得特定方向的偏振光(聚光镜尺寸难以缩小)。以微分干涉相差显微镜DIC和霍夫曼为例,DIC的浮雕效果要比霍夫曼好,因为DIC是一组正交偏振光,射入样品后可以获取了两个方向的相位梯度信息,而霍夫曼则是任意方向的单一偏振光,只能提供单一方向的相位梯度信息,因此浮雕效果不如DIC。微分干涉相差显微镜和霍夫曼等具有浮雕效果的相称显微镜和相差显微镜的区别在于前者将相位梯度转化成幅度,后者将相位差异转化成梯度。
基于上述分析可知,微分干涉相差显微镜DIC和霍夫曼可认为是采用光学系统获得了相位梯度,只不过这种相位梯度二者方向不一样,对于微分干涉相差显微镜DIC来说,相当于在一组互相正交方向获得相位梯度,而霍夫曼调制相差显微镜则任意方向梯度,这和起偏器选择留下偏振光的方向有关。
立足于分析普通相差显微镜分别与DIC相差或则霍夫曼相差之间成像原理差异,可用一种计算光学形式替代物理光学成像。以霍夫曼调制相差显微镜为例,霍夫曼是任意方向的单一偏振光,只能提供单一方向的相位梯度信息,在其物镜后焦平面(也称为共轭傅里叶平面)处有一个光密度调节器扮演着微分滤波器角色,可以理解为用光学系统将样品相位梯度转换成图像。因此,可采用更加符合光学原理本身的傅里叶变换将相位差异的图像变换得到相位梯度图像,体现出图像中相位物体的层次感或立体感浮雕效果。
在确定目标图像的图像细节信息L后,可对图像细节信息进行2D快速傅里叶变换fft2D(L),在此基础上将图像细节信息的零频分量移动到频谱中心重新排列得到一个新的傅里叶变换结果f=fftshift(fft2D(L))。采用快速傅里叶变换的好处在于,通过快速傅里叶变换实现将相位差异的图像变换得到相位梯度图像,实时性不存在任何问题,既可以实现视频观测又能支持时差观测。
S340、基于重新排列的傅里叶变换结果在各浮雕方向进行时域差分处理,并依据各浮雕方向的时域差分结果计算得到加权差分结果。
在重新排列得到一个新的傅里叶变换结果f=fftshift(fft2D(L))后,可根据预先配置的时域差分公式时域上计算在横向x与纵向y两个浮雕方向的时域差分结果dx与dy。其中,时域差分公式可采用以下公式:
dy=f.*(1-exp(-fy))
dx=(1-exp(-fx)).*f
其中,上式中符号.*表示对应原色点乘,fx,fy由以下公式得到:
Figure BDA0003066256670000091
Figure BDA0003066256670000092
其中,上式中h,w分别表示图像细节信息L的高度和宽度,i表示虚数单位;[.]+表示“.”将其中的每个元素四舍五入到小于或等于该元素的最接近整数。函数linspace([a,b],c)表示在区间[a,b]等间隔取c个点。
S350、将加权差分结果的零频分量移动到原始位置,并通过傅里叶反变换添加浮雕效果得到图像细节浮雕。
对加权差分结果df的零频分量移动原来的位置得到ifftshift(df),再在此基础上进行傅里叶反变换得到图像细节的浮雕L'=ifft2D(ifftshift(df)),实现向图像细节中生成立体感或层次感的浮雕效果。
在本实施例的一种可选方案中,依据各浮雕方向的时域差分结果计算得到加权差分结果,可包括以下操作:
依据目标图像所需浮雕类型和所在浮雕方向的浮雕强度,对加权差分计算模型的各个浮雕方向的加权系数大小进行调整。
基于各浮雕方向的时域差分结果,通过调整加权系数的加权差分计算模型计算得到对应的加权差分结果。
对于预先配置的加权差分计算模型,可包括以下:df=dx+kdy与df=kdx+dy两个公式。上述两个公式中通过调整k的大小可控制浮雕类型和强度的。当调整公式中加权系数k大于0时,生成的是凹浮雕,且越大越明显;当调整公式中加权系数k小于0时,生成的是凸浮雕,且越小越明显。进而,基于各浮雕方向的时域差分结果,采用调整加权系数k的加权差分计算模型可计算得到在横向x与纵向y两个浮雕方向的时域差分结果dx与dy的加权差分结果,能保证浮雕效果根据需求进行动态调整。
作为一种可选方案,根据预先配置的加权差分计算模型可知,k的取值实际控制浮雕类型和浮雕方向的强度。若要使得目标图像在dx对应浮雕方向上的浮雕效果增加,可以选择使用公式df=kdx+dy并在公式中控制加权系数k的取值变大;同理,若要使得目标图像在dy对应浮雕方向的浮雕效果增加,可以选择使用df=dx+kdy并在公式中控制加权系数k的取值变大。参见图4,示出了不同加权系数k下生成的浮雕对比图。
作为一种可选方案,在使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜中聚光镜斜射出光线投影到目标对象时,可以采用公式df=dx+kdy将加权差分计算模型中横向加权系数设置为固定值和将纵向加权系数设置为可调值,实现使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜将聚光镜射出光线投影到相位物体的方向为从左到右或者从右到左。
作为另一种可选方案,在使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜中聚光镜垂直射出光线投影到目标对象时,可以采用公式df=kdx+dy将加权差分计算模型中横向加权系数设置为可调值和将纵向加权系数设置为固定值,实现使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜将聚光镜射出光线投影到相位物体的方向为从上到下或者从下到上。
S360、依据图像细节浮雕生成目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
在本实施例的一种可选方案中,依据图像细节浮雕生成目标图像的浮雕效果图像,可包括以下操作:
若目标图像属于RGB色彩域图像,则将图像细节浮雕和从目标图像中分离出色度分量信息合并形成新的LAB色彩域图像,并通过将新的LAB色彩域图像转换到RGB色彩域获得目标图像的浮雕效果图像。
若目标图像属于灰度图像,则将图像细节浮雕本身直接作为目标图像的浮雕效果图像。
将得到的图像细节浮雕L'生成最终图像,如果目标图像是RGB色彩域的图像,需要将图像细节浮雕L'和两个颜色分量信息A和B合并形成新的LAB色彩域的图像后再转换到RGB色彩域得到最后具有浮雕效果的图像。通过加入两个颜色分量信息A和B保留相位物体的颜色信息,使浮雕效果实现最佳成像。如果目标图像是灰度图像,则图像细节浮雕L'直接是最终具有浮雕效果的图像。
参见图5,普通相差图只能反映出相位物体的明暗特点,不能看出来相位梯度变化细节,DIC相差图则反映出更多变化细节,而本申请的浮雕生成相差图(k=-1)与浮雕生成相差图(k=1)生成了凹凸浮雕,浮雕效果一样,但是浮雕方向相反,整体取得了类似于DIC相差图中的效果,保证度没有损失。需要说明的是,浮雕生成相差图(k=-1)与浮雕生成相差图(k=1)出现颜色上差异原因在于两个显微镜的光源采用了不一样的光源。
选用傅里叶变换生成浮雕更加符合光学原理本身,本申请和现有一种常见的浮雕算法对比,选用以下方法进行对比。相关实验结果如图6所示,通过对比可以发现,本申请的方案不论在颜色和内容方面保证度更好,且细节信息更加丰富。对比方法描述:采用锐化算子去实现浮雕效果,根据公式f=I⊙k对图像普通相差图做锐化生成浮雕效果。式中k=[[1,0,0],[0,0,0],[0,0,-1]]。
根据本发明实施例中提供的相差显微成像方法,针对普通相差显微镜的样本成像难以获得类似微分干涉相差显微镜DIC或者霍夫曼显微镜层次感浮雕效果,不需要改变普通相差显微镜的光路设计,充分挖掘通过普通相差显微镜拍摄的包括目标对象的目标图像中的相位差异信息,向图像细节信息中添加浮雕效果使得目标图像具有立体感浮雕效果,实现在浮雕成像中具有成像设备体积小、结构简单以及成本低的优点。且,浮雕生成过程主要通过快速傅里叶变换实现,实时性不存在任何问题,既可以实现视频观测又能支持时差观测。
图7是本发明实施例中提供的一种相差显微成像装置的结构图。本实施例可适用于使用普通相差显微镜观察得到浮雕效果图像的情况。该装置可采用软件和/或硬件的方式实现,并可集成在任何具有网络通信功能的电子设备上。如图7所示,本发明实施例中提供的相差显微成像装置,可包括:目标图像获取模块710、图像细节处理模720和浮雕图像确定模块730。其中:
目标图像获取模块710,用于获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像。
图像细节处理模块720,用于确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕。
浮雕图像确定模块730,用于依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
在上述实施例的基础上,可选地,所述目标图像中仅能体现出目标对象的明显未能体现出层次感或立体感的浮雕效果。
在上述实施例的基础上,可选地,图像细节处理模块720包括:
若所述目标图像属于RGB色彩域图像,则通过将所述目标图像转换到LAB色彩域分离出亮度分量信息与色度分量信息,并将分离出的亮度分量信息作为图像细节信息。
若所述目标图像属于灰度图像,则将所述目标图像本身作为图像细节信息。
在上述实施例的基础上,可选地,图像细节处理模块720包括:
对所述图像细节信息进行快速傅里叶变换,将傅里叶变换结果的零频分量移动到频谱中心重新排列傅里叶变换。
基于重新排列的傅里叶变换结果在各浮雕方向进行时域差分处理,并依据各浮雕方向的时域差分结果计算得到加权差分结果。
将加权差分结果的零频分量移动到原始位置,并通过傅里叶反变换添加浮雕效果得到图像细节浮雕。
在上述实施例的基础上,可选地,依据各浮雕方向的时域差分结果计算得到加权差分结果,包括:
依据所述目标图像所需浮雕类型和所在浮雕方向的浮雕强度,对加权差分计算模型的各个浮雕方向的加权系数大小进行调整。
基于各浮雕方向的时域差分结果,通过调整加权系数的加权差分计算模型计算得到对应的加权差分结果。
在上述实施例的基础上,可选地,在使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜中聚光镜斜射出光线投影到目标对象时,将加权差分计算模型中横向加权系数设置为固定值和将纵向加权系数设置为可调值。
在上述实施例的基础上,可选地,在使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜中聚光镜垂直射出光线投影到目标对象时,将加权差分计算模型中横向加权系数设置为可调值和将纵向加权系数设置为固定值。
在上述实施例的基础上,可选地,浮雕图像确定模块730包括:
若所述目标图像属于RGB色彩域图像,则将所述图像细节浮雕和从所述目标图像中分离出色度分量信息合并形成新的LAB色彩域图像,并通过将新的LAB色彩域图像转换到RGB色彩域获得所述目标图像的浮雕效果图像;
若所述目标图像属于灰度图像,则将所述图像细节浮雕本身直接作为所述目标图像的浮雕效果图像。
本发明实施例中所提供的相差显微成像装置可执行上述本发明任意实施例中所提供的相差显微成像方法,具备执行该相差显微成像方法相应的功能和有益效果,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例中所提供的相差显微成像方法。
图8是本发明实施例中提供的一种电子设备的结构示意图。如图8所示结构,本发明实施例中提供的电子设备包括:一个或多个处理器810和存储装置820;该电子设备中的处理器810可以是一个或多个,图8中以一个处理器810为例;存储装置820用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器810执行,使得所述一个或多个处理器810实现如本发明实施例中任一项所述的相差显微成像方法。
该电子设备还可以包括:输入装置830和输出装置840。
该电子设备中的处理器810、存储装置820、输入装置830和输出装置840可以通过总线或其他方式连接,图8中以通过总线连接为例。
该电子设备中的存储装置820作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中所提供的相差显微成像方法对应的程序指令/模块。处理器810通过运行存储在存储装置820中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中相差显微成像方法。
存储装置820可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储装置820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置820可进一步包括相对于处理器810远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
并且,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时,程序进行如下操作:
获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像;
确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕;
依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
当然,本领域技术人员可以理解,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器810执行时,程序还可以进行本发明任意实施例中所提供的相差显微成像方法中的相关操作。
本发明实施例中提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行相差显微成像方法,该方法包括:
获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像;
确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕;
依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
可选的,该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的相差显微成像方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(RadioFrequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种相差显微成像方法,其特征在于,所述方法包括:
获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像;
确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕;
依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
2.根据权利要求1所述的方法,其特征在于,所述目标图像中仅能体现出目标对象的明显未能体现出层次感或立体感的浮雕效果。
3.根据权利要求1所述的方法,其特征在于,确定所述目标图像的图像细节信息,包括:
若所述目标图像属于RGB色彩域图像,则通过将所述目标图像转换到LAB色彩域分离出亮度分量信息与色度分量信息,并将分离出的亮度分量信息作为图像细节信息;
若所述目标图像属于灰度图像,则将所述目标图像本身作为图像细节信息。
4.根据权利要求1所述的方法,其特征在于,向所述图像细节信息中添加浮雕效果得到图像细节浮雕,包括:
对所述图像细节信息进行快速傅里叶变换,将傅里叶变换结果的零频分量移动到频谱中心重新排列傅里叶变换;
基于重新排列的傅里叶变换结果在各浮雕方向进行时域差分处理,并依据各浮雕方向的时域差分结果计算得到加权差分结果;
将加权差分结果的零频分量移动到原始位置,并通过傅里叶反变换添加浮雕效果得到图像细节浮雕。
5.根据权利要求4所述的方法,其特征在于,依据各浮雕方向的时域差分结果计算得到加权差分结果,包括:
依据所述目标图像所需浮雕类型和所在浮雕方向的浮雕强度,对加权差分计算模型的各个浮雕方向的加权系数大小进行调整;
基于各浮雕方向的时域差分结果,通过调整加权系数的加权差分计算模型计算得到对应的加权差分结果。
6.根据权利要求5所述的方法,其特征在于,
在使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜中聚光镜斜射出光线投影到目标对象时,将加权差分计算模型中横向加权系数设置为固定值和将纵向加权系数设置为可调值;
在使用普通相差显微镜模拟微分干涉相差显微镜或霍夫曼调制相差显微镜中聚光镜垂直射出光线投影到目标对象时,将加权差分计算模型中横向加权系数设置为可调值和将纵向加权系数设置为固定值。
7.根据权利要求1所述的方法,其特征在于,依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,包括:
若所述目标图像属于RGB色彩域图像,则将所述图像细节浮雕和从所述目标图像中分离出色度分量信息合并形成新的LAB色彩域图像,并通过将新的LAB色彩域图像转换到RGB色彩域获得所述目标图像的浮雕效果图像;
若所述目标图像属于灰度图像,则将所述图像细节浮雕本身直接作为所述目标图像的浮雕效果图像。
8.一种相差显微成像装置,其特征在于,所述装置包括:
目标图像获取模块,用于获取采用普通相差显微镜观察目标对象所得的具有明暗差异的目标图像;
图像细节处理模块,用于确定所述目标图像的图像细节信息,并向所述图像细节信息中添加浮雕效果得到图像细节浮雕;
浮雕图像确定模块,用于依据所述图像细节浮雕生成所述目标图像的浮雕效果图像,以实现浮雕效果的相差显微成像。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现权利要求1-7中任一所述的相差显微成像方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一所述的相差显微成像方法。
CN202110528499.3A 2021-05-14 2021-05-14 相差显微成像方法、装置、电子设备及存储介质 Active CN113284222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110528499.3A CN113284222B (zh) 2021-05-14 2021-05-14 相差显微成像方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110528499.3A CN113284222B (zh) 2021-05-14 2021-05-14 相差显微成像方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113284222A true CN113284222A (zh) 2021-08-20
CN113284222B CN113284222B (zh) 2023-09-26

Family

ID=77279103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110528499.3A Active CN113284222B (zh) 2021-05-14 2021-05-14 相差显微成像方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113284222B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1456918A (zh) * 2003-06-03 2003-11-19 暨南大学 可产生三维立体图像的光学空间滤波方法
US20110254943A1 (en) * 2010-04-06 2011-10-20 Institute For Systems Biology Automated analysis of images using bright field microscopy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1456918A (zh) * 2003-06-03 2003-11-19 暨南大学 可产生三维立体图像的光学空间滤波方法
US20110254943A1 (en) * 2010-04-06 2011-10-20 Institute For Systems Biology Automated analysis of images using bright field microscopy

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴德邦, 邹利元: "相差显微镜与干涉显微镜的比较", 泸州医学院学报, no. 02, pages 110 - 112 *

Also Published As

Publication number Publication date
CN113284222B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
JP7203287B1 (ja) 画像処理のためのシステム及び方法
JP3191928B2 (ja) 画像入出力装置
CN108665411B (zh) 一种图像重建的方法和系统
CN102057397A (zh) 使用结构和均匀照明产生光学截面图像的系统和方法
CN107390379B (zh) 一种近眼全息三维显示系统和显示方法
US20210144278A1 (en) Compressed sensing based object imaging system and imaging method therefor
CN106097269A (zh) 基于计算鬼成像的高分辨率微视觉系统及获取图像的方法
CN108446596A (zh) 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法
JP2014137558A (ja) 撮像装置、撮像システム、および画像処理方法
Wan et al. Parallel phase-shifting self-interference digital holography with faithful reconstruction using compressive sensing
EP4131145A1 (en) Model generation method and apparatus, image perspective determining method and apparatus, device, and medium
CN107421640B (zh) 基于色差扩大原理的多光谱光场成像系统及方法
Li et al. Fast quantitative phase imaging based on Kramers-Kronig relations in space domain
CN116183568A (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
Shi et al. Rapid all-in-focus imaging via physical neural network optical encoding
CN113917677B (zh) 一种三维超分辨率光片显微成像方法和显微镜
CN103168265A (zh) 成像系统和其关联的方法
CN113284222B (zh) 相差显微成像方法、装置、电子设备及存储介质
CN208766385U (zh) 基于多角度照明以及傅立叶域编码调制的层叠成像系统
CN108205191A (zh) 基于多角度照明以及傅立叶域编码调制的傅立叶层叠成像系统
Wang et al. Microscopic image enhancement based on Fourier ptychography technique
Jing et al. A feature attention dehazing network based on U-net and dense connection
CN208766383U (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
CN206224605U (zh) 基于计算鬼成像的高分辨率微视觉系统
Inochkin et al. Increasing the space-time product of super-resolution structured illumination microscopy by means of two-pattern illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant