CN112067136B - 用于光热反射显微热成像的漂移修正方法及装置 - Google Patents
用于光热反射显微热成像的漂移修正方法及装置 Download PDFInfo
- Publication number
- CN112067136B CN112067136B CN202010870967.0A CN202010870967A CN112067136B CN 112067136 B CN112067136 B CN 112067136B CN 202010870967 A CN202010870967 A CN 202010870967A CN 112067136 B CN112067136 B CN 112067136B
- Authority
- CN
- China
- Prior art keywords
- image
- corrected
- sheet
- temperature
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 82
- 238000001931 thermography Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000000386 microscopy Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 5
- 238000009529 body temperature measurement Methods 0.000 abstract description 10
- 230000003068 static effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- HTIQEAQVCYTUBX-UHFFFAOYSA-N amlodipine Chemical compound CCOC(=O)C1=C(COCCN)NC(C)=C(C(=O)OC)C1C1=CC=CC=C1Cl HTIQEAQVCYTUBX-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0803—Arrangements for time-dependent attenuation of radiation signals
- G01J5/0804—Shutters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明适用于图像处理领域和显微成像领域，提供了一种用于光热反射显微热成像的漂移修正方法及装置，该方法包括：对获取遮断物镜侧光路采集的第一图像去除直流分量后进行高通滤波，得到第二图像；采集参考图像和待修正图像并确定温度升高发生的区域；在温度未发生变化的区域内，根据第二图像、参考图像和待修正图像计算修正系数；根据修正系数修正待修正图像的所有像素。本发明采用的光热反射显微热成像装置中增加了调制片和调光装置，并对遮断物镜侧光路后采集的第一图像去除直流分量后进行高通滤波，可以有效抑制光源强度漂移和相机响应度漂移对参考图像和待修正图像的采集，并且不需要对被测物温度进行调制，即可实现对静态目标的温度测量。
Description
技术领域
本发明属于图像处理领域和显微成像领域，尤其涉及一种用于光热反射显微热成像的漂移修正方法及装置。
背景技术
光热反射测温技术是一种非接触测温技术，其基础是光热反射现象，光热反射现象基本的特征是物体的反射率会随物体的温度变化而变化。基于光热反射进行测温时，利用光学显微镜的照明系统提供探测光，使用高性能相机记录显微成像，输出的相机读数作为测量值。但是测温过程中，探测光强度会有随机变化，相机的响应度也会随之变化，从而影响测温结果的准确性。
目前应对探测光强度漂移和相机的响应度漂移现象的主要手段是对被测施加调制，令其温度在参考温度和待测温度之间循环变化，每次循环计算一次温度变化，多次循环得到的温度变化平均值作为最终的测量结果。由于每次循环耗时相对较短，从而能够在一定程度上抑制漂移的影响。然而，上述抑制漂移的方法中必须对被测施加调制，令其温度循环变化，并且相机的图像采集也需要同步控制，操作复杂。
发明内容
有鉴于此，本发明实施例提供了一种用于光热反射显微热成像的漂移修正方法及装置，旨在解决现有技术中抑制漂移时需要对被测施加调制，操作复杂的问题。
为实现上述目的，本发明实施例的第一方面提供了一种用于光热反射显微热成像的漂移修正方法，采用改进的光热反射显微热成像装置，所述改进的光热反射显微热成像装置包括：在原光热反射显微热成像装置上增加调制片和调光装置；所述调制片设置在所述原光热反射显微热成像装置中的散射片和分束器之间，且位于所述原光热反射显微热成像装置中的准直透镜的焦面上；所述调光装置设置在所述原光热反射显微热成像装置的光路上，用于使经所述调制片调制后的照明光不经被测样品表面直接在像面成像；
所述用于光热反射显微热成像的漂移修正方法，包括：
获取遮断物镜侧光路采集的第一图像；
对所述第一图像去除直流分量后进行高通滤波，得到第二图像；
去掉物镜侧光路上的遮挡，采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像，并根据所述参考图像和所述待修正图像，确定温度升高发生的区域；
根据所述温度升高发生的区域确定温度未发生变化的区域，在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数；
根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像。
作为本申请另一实施例，所述调光装置包括：衰减片和反射镜；
所述衰减片和所述反射镜分别设置在所述分束器直通路上，且所述衰减片位于所述反射镜前面。
作为本申请另一实施例，所述对所述第一图像去除直流分量后进行高通滤波，得到第二图像，包括：
根据
对所述第一图像去除直流分量；
根据h'(x,y)＝HPF{h(x,y)}进行高通滤波，得到第二图像；
其中，h(x,y)表示去除直流分量后的第一图像，c0(x,y)表示第一图像，L表示遮断物镜侧光路采集的被测物的图像的全画面，N表示L内的像素总数，h'(x,y)表示第二图像。
作为本申请另一实施例，当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，所述根据所述参考图像和所述待修正图像，确定温度升高发生的区域，包括：
根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素，并根据所述温度升高的像素确定温度升高发生的区域。
作为本申请另一实施例，当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，所述根据所述参考图像和所述待修正图像，确定温度升高发生的区域，包括：
根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素；根据所述温度升高的像素进行傅里叶变换，得到所述温度升高的像素对应的频率分布，根据所述频率分布确定温度升高发生的频率区域。
作为本申请另一实施例，当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，所述在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数，包括：
根据
计算修正系数；
其中，f表示修正系数，cr(x,y)表示参考图像，cx(x,y)表示待修正图像，P表示温度未发生变化的区域。
作为本申请另一实施例，当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，所述在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数，包括：
在所述温度未发生变化的区域，对所述第二图像、所述参考图像和所述待修正图像进行傅里叶变换，得到变换后的第二图像、变换后的参考图像和变换后的待修正图像；
根据
计算修正系数；
其中，f表示修正系数，H(u,v)表示进行傅里叶变换后的第二光场强度，
表示进行傅里叶变换后的参考图像，
表示进行傅里叶变换后的待修正图像，Q表示温度未发生变化的频率区域。
作为本申请另一实施例，所述根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像，包括：
根据cx'(x,y)＝fcx(x,y)得到修正后的图像；
其中，cx'(x,y)表示修正后的图像。
本发明实施例的第二方面提供了一种用于光热反射显微热成像的漂移修正装置，包括：
获取模块，用于获取遮断物镜侧光路采集的第一图像；
处理模块，用于对所述第一图像去除直流分量后进行高通滤波，得到第二图像；
所述获取模块，还用于去掉物镜侧光路上的遮挡，采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像；
所述处理模块，还用于根据所述参考图像和所述待修正图像，确定温度升高发生的区域；
计算模块，用于根据所述温度升高发生的区域确定温度未发生变化的区域，在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数；
所述处理模块，还用于根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像。
本发明实施例的第三方面提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的用于光热反射显微热成像的漂移修正方法所述的步骤。
本发明实施例与现有技术相比存在的有益效果是：与现有技术相比，本发明由于采用的光热反射显微热成像装置中增加了调制片和调光装置，并对遮断物镜侧光路后采集的第一图像去除直流分量后进行高通滤波，根据处理后的第二图像、采集的参考图像和待修正图像计算修正系数，直接采用修正系统对待修正图像进行修正，可以有效抑制光源强度漂移和相机响应度漂移对参考图像和待修正图像的采集，并且不需要对被测物温度进行调制，即可实现对静态目标的温度测量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的光热反射显微热成像装置的示意图；
图2是本发明另一实施例提供的光热反射显微热成像装置的示意图；
图3是本发明另一实施例提供的光热反射显微热成像装置的示意图；
图4是本发明实施例提供的一种用于光热反射显微热成像的漂移修正方法的实现流程示意图；
图5是本发明实施例提供的一种用于光热反射显微热成像的漂移修正装置的示意图；
图6是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
本发明实施例提供一种光热反射显微热成像装置，如图1所示，包括：在原光热反射显微热成像装置上增加调制片1和调光装置2；
所述调制片1设置在所述原光热反射显微热成像装置中的散射片3和分束器4之间，且位于所述原光热反射显微热成像装置中的准直透镜5的焦面上；调制片1对光源射出的照明光施加弱调制。
所述调光装置2设置在所述原光热反射显微热成像装置的光路上，用于使经所述调制片调制后的照明光不经被测样品表面直接在像面成像。
如图1所示，原光热反射显微热成像装置采用落射式照明和无限远校正的显微成像系统，包括光源6、散射片3、准直透镜5、分束器4、检测台7、被测物8、物镜9、结像透镜10和相机传感器11；
光源6置于散射片3前面，用于发出照明光，散射片3用于对光源6发出的照明光进行散射，可以提高照明的均匀性。然后通过置于散射片3后的准直透镜5进行准直处理，使照明光平行照射，形成光路。
分束器4位于所述原光热反射显微热成像装置的光路和成像通路的交点上，所述分束器4位于所述调制片1后面、所述原光热反射显微热成像装置中的物镜9和结像透镜10之间，且与水平面成预设角度倾斜设置。
检测台7、被测物8、物镜9、结像透镜10和相机传感器11构成成像通路，与光路垂直，被测物8置于检测台7上方，物镜9设置在被测物8上方，结像透镜置于物镜10上方，相机传感器11置于结像透镜10上方，物镜9和结像透镜10配合形成一个倒立放大的像。
可选的，如图2或图3所示，调制片1设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间，或者设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间。
可选的，如图2或图3所示，本实施例提供的光热反射显微热成像装置中，所述调光装置2，包括：衰减片21和反射镜22；
所述衰减片21和所述反射镜22分别设置在所述分束器直通路上，且所述衰减片21位于所述反射镜22前面。
衰减片的作用是调节光强，过强会影响对样品的成像以及温度测量，过弱则影响强度漂移修正的精度。反射镜可以使增加的光路在位于准直透镜焦面上的调制片能够在相机传感器上成像，且光路不经过被测物表面，因而不影响被测物的反射率，不会引起被测物的反射率的变化，从而使监测强度漂移成为可能。
采用上述任一实施例提供的光热反射显微热成像装置，图4为本发明实施例提供的用于光热反射显微热成像的漂移修正方法的实现流程示意图，详述如下。
步骤401，获取遮断物镜侧光路采集的第一图像。
可选的，本步骤可以遮断物镜侧光路，采集光热反射显微热成像装置中像面处的相机传感器的第一图像。
步骤402，对所述第一图像去除直流分量后进行高通滤波，得到第二图像。
在本实施例中，调制片所在的准直透镜焦面、被测物所在的物面、相机传感器所在的像面这三者互为共轭面，三处光场强度分别记为m(x,y)、s(x,y)、c(x,y)。
在本实施例中，m(x,y)为光源射出的照明光经散射片和调制片调制的结果，经过准直透镜和物镜投在物面的图像可以为
其中fc为准直透镜焦距，fo为物镜焦距，
为m(x,y)投射到s(x,y)的放大倍率，α1为光强衰减。
被测物反射记为r(x,y)，则经被测物反射后的光场强度s(x,y)为
s(x,y)经物镜和结像透镜投在像面的光场强度为
其中ft为结像透镜焦距，
为s(x,y)投射到c(x,y)的放大倍率，α2为光强衰减。
另一路c(x,y)由经准直透镜、反射镜、结像透镜投射在像面的光场强度为
其中
为m(x,y)投射到c(x,y)的放大倍率，α3为光强衰减。
从而，像面处光场强度
整理得到：
第一项是样品与调制相乘，第二项是调制的翻转(亦即中心对称或空间反演)。
下面加入漂移的影响，即在m(x,y)处乘系数ds反映光源强度漂移，在c(x,y)处乘系数dc反映相机响应度漂移，则
令D＝dsdc；
考虑到D随时间随机变化，c(x,y)与D均增加下标k，表示两者对应关系：
由于r(x,y)随温度变化，因此可以进一步拆分成参考时刻的r0和后续变化分量Δr。
构造h(x,y)，令
其中L为采集的被测物的图像的全画面。h(x,y)和Δrk(x,y)的傅里叶变换记为H(u,v)和ΔRk(u,v)，L对应变换域范围记为T，则上式等效于
考虑到Δrk(x,y)对应与温度变化，其空间频率应集中于低频部分，因此设计h(x,y)时使其具有较多高频成分，并去除低频分量。为此，可以一方面应使调制片具有丰富的高频成分，另一方应在构造h(x,y)时进行适当处理，去除低频成分。
因此，本步骤可以将第一条图像表示为：
其中，c0(x,y)表示第一图像，α3表示光强衰减，
表示所述第三图像，fc表示准直透镜焦距，ft表示结像透镜焦距。将得到的第一光场强度去除直流分量，以便得到高频成分更多的h(x,y)，用于后续修正系数的计算。
可选的，根据
对所述第一图像去除直流分量；
根据h'(x,y)＝HPF{h(x,y)}进行高通滤波，得到第二图像；
其中，h(x,y)表示去除直流分量后的第一图像，c0(x,y)表示第一图像，L表示遮断物镜侧光路采集的被测物的图像的全画面，N表示L内的像素总数，h'(x,y)表示第二图像。
步骤403，去掉物镜侧光路上的遮挡，采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像，并根据所述参考图像和所述待修正图像，确定温度升高发生的区域。
在本步骤中，采用上述任一实施例中记载的光热反射显微热成像装置采集参考图像和待修正图像，参考图像记为cr(x,y)，待修正图像记为cx(x,y)。
可选的，当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，与当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时分为不同的处理方式，具体如下所述。
当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，本步骤可以为根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素，并根据所述温度升高的像素确定温度升高发生的区域。
当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素；根据所述温度升高的像素进行傅里叶变换，得到所述温度升高的像素对应的频率分布，根据所述频率分布确定温度升高发生的频率区域。
步骤404，根据所述温度升高发生的区域确定温度未发生变化的区域，在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数。
可选的，在计算修正系数时，也根据调制片位置的不同进行不同的计算。
当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，即在空域时，根据
计算修正系数；
其中，f表示修正系数，cr(x,y)表示参考图像，cx(x,y)表示待修正图像，P表示温度未发生变化的区域。
当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，在所述温度未发生变化的区域，对所述第二图像、所述参考图像和所述待修正图像进行傅里叶变换，得到变换后的第二图像、变换后的参考图像和变换后的待修正图像；
根据
计算修正系数；
其中，f表示修正系数，H(u,v)表示进行傅里叶变换后的第二光场强度，
表示进行傅里叶变换后的参考图像，
表示进行傅里叶变换后的待修正图像，Q表示温度未发生变化的区域。
本步骤通过选取温度无变化的位置或频率，以提取漂移引起的c变化，从而得到f来进行漂移修正。
步骤405，根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像。
可选的，根据cx'(x,y)＝fcx(x,y)得到修正后的图像；其中，cx'(x,y)表示修正后的图像。
上述用于光热反射显微热成像的漂移修正方法，通过获取遮断物镜侧光路采集的第一图像；对所述第一图像去除直流分量后进行高通滤波，得到第二图像；采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像，并根据所述参考图像和所述待修正图像，确定温度升高发生的区域；在所述温度未发生变化的区域内，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数；根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像。采用的光热反射显微热成像装置中增加了调制片和调光装置，并对遮断物镜侧光路后采集的第一图像去除直流分量后进行高通滤波，根据处理后的第二图像、采集的参考图像和待修正图像计算修正系数，直接采用修正系统对待修正图像进行修正，可以有效抑制光源强度漂移和相机响应度漂移对参考图像和待修正图像的采集，并且不需要对被测物温度进行调制，即可实现对静态目标的温度测量。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的用于光热反射显微热成像的漂移修正方法，图5示出了本发明实施例提供的用于光热反射显微热成像的漂移修正装置的示例图。如图5所示，该装置可以包括：获取模块501、处理模块502和计算模块503。
获取模块501，用于获取遮断物镜侧光路采集的第一图像；
处理模块502，用于对所述第一图像去除直流分量后进行高通滤波，得到第二图像；
所述获取模块501，还用于去掉物镜侧光路上的遮挡，采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像；
所述处理模块502，还用于根据所述参考图像和所述待修正图像，确定温度升高发生的区域；
计算模块503，用于根据所述温度升高发生的区域确定温度未发生变化的区域，在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数；
所述处理模块502，还用于根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像。
可选的，所述处理模块502对所述第一图像去除直流分量后进行高通滤波，得到第二图像时，可以用于：
根据
对所述第一图像去除直流分量；
根据h'(x,y)＝HPF{h(x,y)}进行高通滤波，得到第二图像；
其中，h(x,y)表示去除直流分量后的第一图像，c0(x,y)表示第一图像，L表示遮断物镜侧光路采集的被测物的图像的全画面，N表示L内的像素总数，h'(x,y)表示第二图像。
可选的，当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，所述处理模块502根据所述参考图像和所述待修正图像，确定温度升高发生的区域时，可以用于：
根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素，并根据所述温度升高的像素确定温度升高发生的区域。
可选的，当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，所述处理模块502根据所述参考图像和所述待修正图像，确定温度升高发生的区域时，可以用于：
根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素；根据所述温度升高的像素进行傅里叶变换，得到所述温度升高的像素对应的频率分布，根据所述频率分布确定温度升高发生的频率区域。
可选的，当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，所述计算模块503在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数时，可以用于：
根据
计算修正系数；
其中，f表示修正系数，cr(x,y)表示参考图像，cx(x,y)表示待修正图像，P表示温度未发生变化的区域。
可选的，当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，所述计算模块503在所述温度未发生变化的区域内，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数时，可以用于：
在所述温度未发生变化的区域内，对所述第二图像、所述参考图像和所述待修正图像进行傅里叶变换，得到变换后的第二图像、变换后的参考图像和变换后的待修正图像；
根据
计算修正系数；
其中，f表示修正系数，H(u,v)表示进行傅里叶变换后的第二光场强度，
表示进行傅里叶变换后的参考图像，
表示进行傅里叶变换后的待修正图像，Q表示温度未发生变化的频率区域。
可选的，所述处理模块502根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像时，可以用于：
根据cx'(x,y)＝fcx(x,y)得到修正后的图像；
其中，cx'(x,y)表示修正后的图像。
上述用于光热反射显微热成像的漂移修正装置，通过处理模块对获取模块获取遮断物镜侧光路采集的第一图像去除直流分量后进行高通滤波，得到第二图像；获取模块采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像，并根据所述参考图像和所述待修正图像，处理模块确定温度升高发生的区域；在所述温度未发生变化的区域内，根据所述第二图像、所述参考图像和所述待修正图像计算模块计算修正系数；根据所述修正系数修正所述待修正图像的所有像素，处理模块得到修正后的图像。采用的光热反射显微热成像装置中增加了调制片和调光装置，并对遮断物镜侧光路后采集的第一图像去除直流分量后进行高通滤波，根据处理后的第二图像、采集的参考图像和待修正图像计算修正系数，直接采用修正系统对待修正图像进行修正，可以有效抑制光源强度漂移和相机响应度漂移对参考图像和待修正图像的采集，并且不需要对被测物温度进行调制，即可实现对静态目标的温度测量。
图6是本发明一实施例提供的终端设备的示意图。如图6所示，该实施例的终端设备600包括：处理器601、存储器602以及存储在所述存储器602中并可在所述处理器601上运行的计算机程序603，例如用于光热反射显微热成像的漂移修正程序。所述处理器601执行所述计算机程序603时实现上述用于光热反射显微热成像的漂移修正方法实施例中的步骤，例如图4所示的步骤401至405，所述处理器601执行所述计算机程序603时实现上述各装置实施例中各模块的功能，例如图5所示模块501至503的功能。
示例性的，所述计算机程序603可以被分割成一个或多个程序模块，所述一个或者多个程序模块被存储在所述存储器602中，并由所述处理器601执行，以完成本发明。所述一个或多个程序模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序603在所述用于光热反射显微热成像的漂移修正装置或者终端设备600中的执行过程。例如，所述计算机程序603可以被分割成获取模块501、处理模块502和计算模块503，各模块具体功能如图5所示，在此不再一一赘述。
所述终端设备600可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器601、存储器602。本领域技术人员可以理解，图6仅仅是终端设备600的示例，并不构成对终端设备600的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器602可以是所述终端设备600的内部存储单元，例如终端设备600的硬盘或内存。所述存储器602也可以是所述终端设备600的外部存储设备，例如所述终端设备600上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器602还可以既包括所述终端设备600的内部存储单元也包括外部存储设备。所述存储器602用于存储所述计算机程序以及所述终端设备600所需的其他程序和数据。所述存储器602还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于光热反射显微热成像的漂移修正方法，其特征在于，采用改进的光热反射显微热成像装置，所述改进的光热反射显微热成像装置包括：在原光热反射显微热成像装置上增加调制片和调光装置；所述调制片设置在所述原光热反射显微热成像装置中的散射片和分束器之间，且位于所述原光热反射显微热成像装置中的准直透镜的焦面上；所述调光装置设置在所述原光热反射显微热成像装置的光路上，用于使经所述调制片调制后的照明光不经被测样品表面直接在像面成像；所述原光热反射显微热成像装置包括：光源、散射片、准直透镜、分束器、检测台、被测物、物镜、结像透镜和相机传感器，光源置于散射片前面，置于散射片后的准直透镜进行准直处理，形成光路，检测台、被测物、物镜、结像透镜和相机传感器构成成像通路，与光路垂直，分束器位于所述光路和成像通路的交点上，所述分束器位于所述调制片后面、所述原光热反射显微热成像装置中的物镜和结像透镜之间，且与水平面成预设角度倾斜设置，被测物置于检测台上方，物镜设置在被测物上方，结像透镜置于物镜上方，相机传感器置于结像透镜上方，物镜和结像透镜配合形成一个倒立放大的像；
所述用于光热反射显微热成像的漂移修正方法，包括：
获取遮断物镜侧光路采集的第一图像；
对所述第一图像去除直流分量后进行高通滤波，得到第二图像；
去掉物镜侧光路上的遮挡，采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像，并根据所述参考图像和所述待修正图像，确定温度升高发生的区域；
根据所述温度升高发生的区域确定温度未发生变化的区域，在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数；
根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像。
2.如权利要求1所述的用于光热反射显微热成像的漂移修正方法，其特征在于，所述调光装置包括：衰减片和反射镜；
所述衰减片和所述反射镜分别设置在所述分束器直通路上，且所述衰减片位于所述反射镜前面。
3.如权利要求2所述的用于光热反射显微热成像的漂移修正方法，其特征在于，所述对所述第一图像去除直流分量后进行高通滤波，得到第二图像，包括：
根据
对所述第一图像去除直流分量；
根据h'(x,y)＝HPF{h(x,y)}进行高通滤波，得到第二图像；
其中，h(x,y)表示去除直流分量后的第一图像，c0(x,y)表示第一图像，L表示遮断物镜侧光路采集的被测物的图像的全画面，N表示L内的像素总数，h'(x,y)表示第二图像。
4.如权利要求3所述的用于光热反射显微热成像的漂移修正方法，其特征在于，
当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，所述根据所述参考图像和所述待修正图像，确定温度升高发生的区域，包括：
根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素，并根据所述温度升高的像素确定温度升高发生的区域。
5.如权利要求3所述的用于光热反射显微热成像的漂移修正方法，其特征在于，
当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，所述根据所述参考图像和所述待修正图像，确定温度升高发生的区域，包括：
根据所述参考图像和所述待修正图像的相同位置对应的像素，确定温度升高的像素；根据所述温度升高的像素进行傅里叶变换，得到所述温度升高的像素对应的频率分布，根据所述频率分布确定温度升高发生的频率区域。
6.如权利要求4所述的用于光热反射显微热成像的漂移修正方法，其特征在于，当所述调制片设置在所述原光热反射显微热成像装置中的散射片和准直透镜之间时，所述在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数，包括：
根据
计算修正系数；
其中，f表示修正系数，cr(x,y)表示参考图像，cx(x,y)表示待修正图像，P表示温度未发生变化的区域。
7.如权利要求5所述的用于光热反射显微热成像的漂移修正方法，其特征在于，当所述调制片设置在所述原光热反射显微热成像装置中的准直透镜和分束器之间时，所述在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数，包括：
在所述温度未发生变化的区域，对所述第二图像、所述参考图像和所述待修正图像进行傅里叶变换，得到变换后的第二图像、变换后的参考图像和变换后的待修正图像；
根据
计算修正系数；
其中，f表示修正系数，H(u,v)表示进行傅里叶变换后的第二光场强度，
表示进行傅里叶变换后的参考图像，
表示进行傅里叶变换后的待修正图像，Q表示温度未发生变化的频率区域。
8.如权利要求6或7所述的用于光热反射显微热成像的漂移修正方法，其特征在于，所述根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像，包括：
根据cx'(x,y)＝fcx(x,y)得到修正后的图像；
其中，cx'(x,y)表示修正后的图像。
9.一种用于光热反射显微热成像的漂移修正装置，其特征在于，采用改进的光热反射显微热成像装置，所述改进的光热反射显微热成像装置包括：在原光热反射显微热成像装置上增加调制片和调光装置；所述调制片设置在所述原光热反射显微热成像装置中的散射片和分束器之间，且位于所述原光热反射显微热成像装置中的准直透镜的焦面上；所述调光装置设置在所述原光热反射显微热成像装置的光路上，用于使经所述调制片调制后的照明光不经被测样品表面直接在像面成像；所述原光热反射显微热成像装置包括：光源、散射片、准直透镜、分束器、检测台、被测物、物镜、结像透镜和相机传感器，光源置于散射片前面，置于散射片后的准直透镜进行准直处理，形成光路，检测台、被测物、物镜、结像透镜和相机传感器构成成像通路，与光路垂直，分束器位于所述光路和成像通路的交点上，所述分束器位于所述调制片后面、所述原光热反射显微热成像装置中的物镜和结像透镜之间，且与水平面成预设角度倾斜设置，被测物置于检测台上方，物镜设置在被测物上方，结像透镜置于物镜上方，相机传感器置于结像透镜上方，物镜和结像透镜配合形成一个倒立放大的像；所述用于光热反射显微热成像的漂移修正装置包括：
获取模块，用于获取遮断物镜侧光路采集的第一图像；
处理模块，用于对所述第一图像去除直流分量后进行高通滤波，得到第二图像；
所述获取模块，还用于去掉物镜侧光路上的遮挡，采集被测物分别在参考时刻的参考图像和除所述参考时刻之外的任意时刻的待修正图像；
所述处理模块，还用于根据所述参考图像和所述待修正图像，确定温度升高发生的区域；
计算模块，用于根据所述温度升高发生的区域确定温度未发生变化的区域，在所述温度未发生变化的区域，根据所述第二图像、所述参考图像和所述待修正图像计算修正系数；
所述处理模块，还用于根据所述修正系数修正所述待修正图像的所有像素，得到修正后的图像。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010870967.0A CN112067136B (zh) | 2020-08-26 | 2020-08-26 | 用于光热反射显微热成像的漂移修正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010870967.0A CN112067136B (zh) | 2020-08-26 | 2020-08-26 | 用于光热反射显微热成像的漂移修正方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112067136A CN112067136A (zh) | 2020-12-11 |
| CN112067136B true CN112067136B (zh) | 2021-09-28 |
Family
ID=73660060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010870967.0A Active CN112067136B (zh) | 2020-08-26 | 2020-08-26 | 用于光热反射显微热成像的漂移修正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112067136B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113624358B (zh) * | 2021-07-14 | 2023-09-26 | 中国电子科技集团公司第十三研究所 | 用于光热反射显微热成像的三维位移补偿方法及控制装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1940713A (zh) * | 2005-09-30 | 2007-04-04 | 陈宇 | 基于光读出的成像系统 |
| CN109813435A (zh) * | 2018-12-29 | 2019-05-28 | 中国电子科技集团公司第十三研究所 | 静态光反射显微热成像方法、装置及终端设备 |
| CN110298870A (zh) * | 2019-07-02 | 2019-10-01 | 中国电子科技集团公司第十三研究所 | 图像的处理方法、处理装置及终端 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006308513A (ja) * | 2005-05-02 | 2006-11-09 | Nec Electronics Corp | 検査装置及び方法 |
| US10128864B2 (en) * | 2016-01-15 | 2018-11-13 | Psemi Corporation | Non-linear converter to linearize the non-linear output of measurement devices |
| US20190017878A1 (en) * | 2017-07-12 | 2019-01-17 | Radiant Innovation Inc. | Non-contact temperature measuring device |
| CN107976263B (zh) * | 2017-11-16 | 2020-10-09 | 中国电子科技集团公司第十三研究所 | 光热反射测温方法及系统 |
| CN108732133B (zh) * | 2018-04-12 | 2020-10-16 | 杭州电子科技大学 | 一种基于光学成像技术的植物病害在体无损检测系统 |
| CN110243759B (zh) * | 2019-06-13 | 2021-07-09 | 中国科学院电工研究所 | 可见光热反射测温装置 |
-
2020
- 2020-08-26 CN CN202010870967.0A patent/CN112067136B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1940713A (zh) * | 2005-09-30 | 2007-04-04 | 陈宇 | 基于光读出的成像系统 |
| CN109813435A (zh) * | 2018-12-29 | 2019-05-28 | 中国电子科技集团公司第十三研究所 | 静态光反射显微热成像方法、装置及终端设备 |
| CN110298870A (zh) * | 2019-07-02 | 2019-10-01 | 中国电子科技集团公司第十三研究所 | 图像的处理方法、处理装置及终端 |
Non-Patent Citations (2)
| Title |
|---|
| Research on thermal effects of beam-splitter mirror in high-power laser system;Sun quan 等;《Proc. of SPIE Vol. 9513》;20151231;全文 * |
| 激光光热反射技术对薄膜热物性的表征;陈赵江 等;《中国激光》;20060331;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112067136A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4309602A (en) | Wavefront sensing by phase retrieval | |
| US5959726A (en) | Modulation transfer function test compensation for test pattern duty cycle | |
| WO2019024491A1 (zh) | 基于环状可编程led照明的高效率定量相位显微成像方法 | |
| CN109813435B (zh) | 静态光反射显微热成像方法、装置及终端设备 | |
| CN108227187A (zh) | 一种扩展光学成像景深的方法及系统 | |
| CN109916522B (zh) | 一种基于全息图延拓的像差补偿方法及其实现装置 | |
| JPH10506460A (ja) | 細胞学的システムの映像収集の統合性をチェックするための装置 | |
| CN114062331A (zh) | 调整在显微镜中使用的估计器的方法、计算机程序和装置 | |
| JPH10267636A (ja) | 表面検査方法および表面検査装置 | |
| CN112067136B (zh) | 用于光热反射显微热成像的漂移修正方法及装置 | |
| KR20160132778A (ko) | 계측 장치, 계측 방법 및 기억 매체 | |
| CN112097952B (zh) | 光热反射显微热成像装置、漂移修正方法及漂移修正装置 | |
| Zhu et al. | Three-dimensional measurement of fringe projection based on the camera response function of the polarization system | |
| US7518712B2 (en) | Tilted edge for optical-transfer-function measurement | |
| US5692066A (en) | Method and apparatus for image plane modulation pattern recognition | |
| CN113624358B (zh) | 用于光热反射显微热成像的三维位移补偿方法及控制装置 | |
| Baer | Circular-edge spatial frequency response test | |
| KR102278782B1 (ko) | 능동 가변 스펙클 조명 대면적 고해상도 영상 기기 및 이를 이용한 이미징 방법 | |
| CN110006795B (zh) | 颗粒检测装置、方法及fpga | |
| CN112097951B (zh) | 光热反射显微热成像装置及漂移修正方法 | |
| CN112985269B (zh) | 狭缝宽度均匀性测量系统、方法及图像处理装置 | |
| Necsoiu et al. | Rezults on the Optical Transfer Functionof the Optical Systems Evaluation by Slanted Edge Method | |
| Yin et al. | Microscopy image formation, restoration, and segmentation | |
| CN114383668B (zh) | 一种基于可变背景的流场测量装置及方法 | |
| Zhou et al. | Application of an image fusion algorithm in measuring the laser beam far-field divergence angle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |