CN103217220A - 红外显微系统及其实现图像融合的方法 - Google Patents

红外显微系统及其实现图像融合的方法 Download PDF

Info

Publication number
CN103217220A
CN103217220A CN201210017015XA CN201210017015A CN103217220A CN 103217220 A CN103217220 A CN 103217220A CN 201210017015X A CN201210017015X A CN 201210017015XA CN 201210017015 A CN201210017015 A CN 201210017015A CN 103217220 A CN103217220 A CN 103217220A
Authority
CN
China
Prior art keywords
camera
infrared
image
visible
infrared image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210017015XA
Other languages
English (en)
Other versions
CN103217220B (zh
Inventor
焦斌斌
孔延梅
程腾
高杰
李庆
吴健雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Microelectronics of CAS
Original Assignee
KUNSHAN MICROOPTICS ELECTRONIC CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUNSHAN MICROOPTICS ELECTRONIC CO Ltd filed Critical KUNSHAN MICROOPTICS ELECTRONIC CO Ltd
Priority to CN201210017015.XA priority Critical patent/CN103217220B/zh
Publication of CN103217220A publication Critical patent/CN103217220A/zh
Application granted granted Critical
Publication of CN103217220B publication Critical patent/CN103217220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种红外显微系统及其实现图像融合的方法，该方法先对可见光图像进行旋转，然后再对红外图像进行相应的旋转，再对旋转后的红外图像进行拉伸变换，拉伸变换时以可见光图像上的特征点为参考坐标，将红外图像上的参考点的坐标以该参考点的坐标与与之对应的特征点的坐标的比值为比例分别做拉伸变换，得到变换后的红外图像，然后将该变换后的红外图像与所述可见光图像重合，最后将该重合的变换后的红外图像与可见光图像进行和红外图像相反方向的旋转使之回复到红外图像的初始状态，从而得到红外图像和可见光图像的叠加融合图像。该系统和方法可同时满足微器件及微结构的清晰成像及细节分析需求，又能够实现红外热分布的成像。

Description

红外显微系统及其实现图像融合的方法
技术领域
本发明涉及一种红外显微系统及其实现图像融合的方法。
背景技术
红外成像在半导体功率器件的设计、集成电路的可靠性检测、激光二极管的实效分析、MEMS器件的热分布分析、材料热性能的分析以及生物标本温度分析等微观领域具有相当广泛的应用，因此红外显微镜系统应运而生。但是由于红外热像仪通常只对单一波长或某个特定波段敏感，比如7-14μm波段、3-5μm波段等，导致其对场景的亮度变化不敏感，成像清晰度低，对图像的细节捕捉远没有可见光丰富。而可见光成像显微镜敏感于目标物体的反射，与热对比度无关，能够获取高清晰度的图像，并能够提供目标物体的细节信息，但无法提供目标物体的热谱信息，因此，在诸多需要热谱分析的检测应用中受到限制。
发明内容
为了克服上述缺陷，本发明提供了一种红外显微系统及其实现图像融合的方法，可同时满足微器件及微结构的清晰成像及细节分析需求，又能够实现红外热分布的成像。
本发明为了解决其技术问题所采用的技术方案是：一种红外显微系统，包括支架、载物台、目标物体、可见显微相机和红外显微相机，所述目标物体置于所述载物台上；所述可见显微相机和红外显微相机分别置于所述支架上并位于所述载物台上方，所述可见显微相机和红外显微相机的光轴相互平行且垂直于所述载物台上侧面，所述可见显微相机和红外显微相机能够同时相对所述载物台沿所述支架上下移动并定位，且所述可见显微相机和红外显微相机能够分别沿其所在的水平面内左右移动并使其镜头正对置于所述载物台上的目标物体。
作为本发明的进一步改进，所述可见显微相机和红外显微相机能够同时相对所述载物台沿所述支架上下移动并定位，且所述可见显微相机和红外显微相机能够分别沿其所在的水平内左右移动并使其镜头正对置于所述载物台上的目标物体的结构为：在所述载物台正上方设置Z向导杆，另设有横向支架，所述横向支架通过螺纹啮合于所述Z向导杆上，且所述横向支架可沿Z向导杆上下移动并定位；所述可见显微相机和红外显微相机分别滑动定位于所述横向支架上，且所述可见显微相机和红外显微相机能够分别相对所述横向支架左右移动并定位。
本发明还提供一种利用上述的红外显微系统实现图像融合的方法，其特征在于包括以下步骤：
①首先将所述红外显微相机对准目标物体，并调节到合适的放大倍率，然后对目标物体成像得到其红外图像并保存，然后从该红外图像中提取目标区域；
②移开所述红外显微相机并使所述可见显微相机对准所述目标物体，然后将该可见显微相机调节到与上述步骤①中红外显微相机相同的放大倍率下，使所述可见显微相机对所述目标物体成像得到其可见光图像并保存；
③在上述步骤中保存的可见光图像上且对应所述红外图像中的目标区域处选择若干个特征点；
④移开所述可见显微相机使所述红外显微相机重新对准所述目标物体，在与步骤①中红外显微相机相同的放大倍率下得到的目标物体的实时观测图像上对应上述可见光图像上的若干个特征点处分别选取与之对应的参考点；
⑤先对所述可见光图像进行旋转，然后再对所述红外图像进行相应的旋转，再对旋转后的红外图像进行拉伸变换，拉伸变换时以上述可见光图像上的特征点为参考坐标，将上述红外图像上的参考点的坐标以该参考点的坐标与与之对应的特征点的坐标的比值为比例分别做拉伸变换，得到变换后的红外图像，然后将该变换后的红外图像与所述可见光图像重合，最后将该重合的变换后的红外图像与所述可见光图像进行和所述红外图像相反方向的旋转使之回复到所述红外图像的初始状态，从而得到红外图像和可见光图像的叠加融合图像。
本发明的有益效果是：该系统和方法能够同时将目标物体的可见光与红外静态或动态图像信息提供给使用者，既满足了微器件及微结构的清晰成像及细节分析需求，又能够实现红外热分布的成像，从而实现结构特征与性能特征的同时采集，有利于同时分析其性能及效能。
附图说明
图1为本发明所述红外显微系统结构示意图；
图2为本发明实施例所述红外图像及其特征点选取结构示意图；
图3为本发明实施例所述可见光图像及其参考点选取结构示意图；
图4为发明实施例所述无任何处理的红外图像和可见光图像的叠加结构示意图；
图5为本发明实施例所述红外图像和可见光图像的叠加融合图像结构示意图。
结合附图，作以下说明：
7——横向支架      2——载物台
3——目标物        4——可见显微相机
5——红外显微相机  6——Z向导杆
具体实施方式
一种红外显微系统，包括支架、载物台2、目标物体3、可见显微相机4和红外显微相机5，所述目标物体置于所述载物台上；所述可见显微相机和红外显微相机分别置于所述支架上并位于所述载物台上方，所述可见显微相机和红外显微相机的光轴相互平行且垂直于所述载物台上侧面，所述可见显微相机和红外显微相机能够同时相对所述载物台沿所述支架上下移动并定位，且所述可见显微相机和红外显微相机能够分别沿其所在的水平面内左右移动并使其镜头正对置于所述载物台上的目标物体。
优选的，上述可见显微相机和红外显微相机能够同时相对所述载物台沿所述支架上下移动并定位，且所述可见显微相机和红外显微相机能够分别沿其所在的水平内左右移动并使其镜头正对置于所述载物台上的目标物体的结构为：在所述载物台正上方设置Z向导杆6，另设有横向支架7，所述横向支架通过螺纹啮合于所述Z向导杆上，且所述横向支架可沿Z向导杆上下移动并定位；所述可见显微相机和红外显微相机分别滑动定位于所述横向支架上，且所述可见显微相机和红外显微相机能够分别相对所述横向支架左右移动并定位。
一种利用上述的红外显微系统实现图像融合的方法，包括以下步骤：
①首先将所述红外显微相机对准目标物体，并调节到合适的放大倍率，然后对目标物体成像得到其红外图像并保存，然后从该红外图像中提取目标区域；
②移开所述红外显微相机并使所述可见显微相机对准所述目标物体，然后将该可见显微相机调节到与上述步骤①中红外显微相机相同的放大倍率下，使所述可见显微相机对所述目标物体成像得到其可见光图像并保存；
③在上述步骤中保存的可见光图像上且对应所述红外图像中的目标区域处选择若干个特征点：如图2所示，在可见光显微图像上选择三个特征点A(X1，Y1)、B(X2，Y2)、C(X3，Y3)；
④移开所述可见显微相机使所述红外显微相机重新对准所述目标物体，在与步骤①中红外显微相机相同的放大倍率下得到的目标物体的实时观测图像上对应上述可见光图像上的若干个特征点处分别选取与之对应的参考点：如图3所示，在红外图像对应上述图2中的三个特征点A(X1，Y1)、B(X2，Y2)、C(X3，Y3)处分别选择与之对应的参考点A’(X1’，Y1’)、B’(X2’，Y2’)、C’(X3’，Y3’)；
⑤先对所述可见光图像进行旋转，然后再对所述红外图像进行相应的旋转，再对旋转后的红外图像进行拉伸变换，拉伸变换时以上述可见光图像上的特征点为参考坐标，将上述红外图像上的参考点的坐标以该参考点的坐标与与之对应的特征点的坐标的比值为比例分别做拉伸变换，得到变换后的红外图像，然后将该变换后的红外图像与所述可见光图像重合，最后将该重合的变换后的红外图像与所述可见光图像进行和所述红外图像相反方向的旋转使之回复到所述红外图像的初始状态，从而得到红外图像和可见光图像的叠加融合图像，如图5所示，其中，图4为无任何处理的红外图像与可见光图像的叠加。具体叠加过程为：
①将图2中可见光图像进行旋转某一角度，保证其图像中的线段BC与X轴平行；
②将红外图像旋转角度为
Figure BDA0000132300260000061
保证此时图3中的B’C’线段与X轴是平行的；
③将B’C’线段在X轴方向上做拉伸，其拉伸比例为使得拉伸之后B’C’的长度与BC段的长度相同，并做坐标平移使得B、C点坐标与B’、C’点坐标重合；
④分别从两幅图中计点A，A’的高度，将A’的高度拉伸变换，其拉伸比例为此时实现两幅图的重合；
⑤将合成后的图像再做与计算步骤①方向相反的的旋转，以确保BC与初始状态的倾角相同。
该方法只是一个示例，用其他的计算步骤与方法实现相同目的的计算方法也在保护范围之内。

Claims (3)

1.一种红外显微系统，其特征在于：其包括支架、载物台(2)、目标物体(3)、可见显微相机(4)和红外显微相机(5)，所述目标物体置于所述载物台上；所述可见显微相机和红外显微相机分别置于所述支架上并位于所述载物台上方，所述可见显微相机和红外显微相机的光轴相互平行且垂直于所述载物台上侧面，所述可见显微相机和红外显微相机能够同时相对所述载物台沿所述支架上下移动并定位，且所述可见显微相机和红外显微相机能够分别沿其所在的水平面内左右移动并使其镜头正对置于所述载物台上的目标物体。
2.根据权利要求1所述的红外显微系统，其特征在于：所述可见显微相机和红外显微相机能够同时相对所述载物台沿所述支架上下移动并定位，且所述可见显微相机和红外显微相机能够分别沿其所在的水平内左右移动并使其镜头正对置于所述载物台上的目标物体的结构为：在所述载物台正上方设置Z向导杆(6)，另设有横向支架(7)，所述横向支架通过螺纹啮合于所述Z向导杆上，且所述横向支架可沿Z向导杆上下移动并定位；所述可见显微相机和红外显微相机分别滑动定位于所述横向支架上，且所述可见显微相机和红外显微相机能够分别相对所述横向支架左右移动并定位。
3.一种利用权利要求1或2所述的红外显微系统实现图像融合的方法，其特征在于包括以下步骤：
①首先将所述红外显微相机对准目标物体，并调节到合适的放大倍率，然后对目标物体成像得到其红外图像并保存，然后从该红外图像中提取目标区域；
②移开所述红外显微相机并使所述可见显微相机对准所述目标物体，然后将该可见显微相机调节到与上述步骤①中红外显微相机相同的放大倍率下，使所述可见显微相机对所述目标物体成像得到其可见光图像并保存；
③在上述步骤中保存的可见光图像上且对应所述红外图像中的目标区域处选择若干个特征点；
④移开所述可见显微相机使所述红外显微相机重新对准所述目标物体，在与步骤①中红外显微相机相同的放大倍率下得到的目标物体的实时观测图像上对应上述可见光图像上的若干个特征点处分别选取与之对应的参考点；
⑤先对所述可见光图像进行旋转，然后再对所述红外图像进行相应的旋转，再对旋转后的红外图像进行拉伸变换，拉伸变换时以上述可见光图像上的特征点为参考坐标，将上述红外图像上的参考点的坐标以该参考点的坐标与与之对应的特征点的坐标的比值为比例分别做拉伸变换，得到变换后的红外图像，然后将该变换后的红外图像与所述可见光图像重合，最后将该重合的变换后的红外图像与所述可见光图像进行和所述红外图像相反方向的旋转使之回复到所述红外图像的初始状态，从而得到红外图像和可见光图像的叠加融合图像。
CN201210017015.XA 2012-01-19 2012-01-19 红外显微系统及其实现图像融合的方法 Active CN103217220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210017015.XA CN103217220B (zh) 2012-01-19 2012-01-19 红外显微系统及其实现图像融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210017015.XA CN103217220B (zh) 2012-01-19 2012-01-19 红外显微系统及其实现图像融合的方法

Publications (2)

Publication Number Publication Date
CN103217220A true CN103217220A (zh) 2013-07-24
CN103217220B CN103217220B (zh) 2015-06-10

Family

ID=48815214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210017015.XA Active CN103217220B (zh) 2012-01-19 2012-01-19 红外显微系统及其实现图像融合的方法

Country Status (1)

Country Link
CN (1) CN103217220B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104655283A (zh) * 2014-03-03 2015-05-27 上海膺芙光电科技有限公司 共光路红外光/可见光双波段显微系统
CN105783732A (zh) * 2016-03-15 2016-07-20 武汉华海创智科技有限公司 一种基于计算机视觉的水下激光基准线测量系统
CN107976257A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种红外热成像仪的图像显示方法、装置及红外热成像仪
CN108805848A (zh) * 2018-04-04 2018-11-13 国网浙江省电力有限公司温州供电公司 用于紫外光和可见光成像的图像融合方法
CN109596222A (zh) * 2018-12-06 2019-04-09 广东金鉴实验室科技有限公司 一种显微热分布测试方法及系统
CN111879414A (zh) * 2020-08-04 2020-11-03 银河水滴科技（北京）有限公司 一种红外测温的方法、装置、计算机设备和介质
CN111951205A (zh) * 2020-08-18 2020-11-17 燕山大学 一种红外与可见光的双光显微成像系统及其图像融合方法
CN114916899A (zh) * 2022-07-19 2022-08-19 珠海维尔康生物科技有限公司 一种光学设计的荧光摄像头及其成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2363861A (en) * 2000-06-19 2002-01-09 Robotic Technology Systems Plc Processing an object, eg a workpiece, by a tool
CN201003982Y (zh) * 2007-02-15 2008-01-09 梅全亭 多功能红外热成像检测仪
CN201643434U (zh) * 2009-07-08 2010-11-24 南一 立体包围圈光疗机
CN201854353U (zh) * 2010-10-13 2011-06-01 山东神戎电子股份有限公司 多光谱图像融合摄像机
CN202442791U (zh) * 2012-01-19 2012-09-19 昆山光微电子有限公司 红外显微系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2363861A (en) * 2000-06-19 2002-01-09 Robotic Technology Systems Plc Processing an object, eg a workpiece, by a tool
CN201003982Y (zh) * 2007-02-15 2008-01-09 梅全亭 多功能红外热成像检测仪
CN201643434U (zh) * 2009-07-08 2010-11-24 南一 立体包围圈光疗机
CN201854353U (zh) * 2010-10-13 2011-06-01 山东神戎电子股份有限公司 多光谱图像融合摄像机
CN202442791U (zh) * 2012-01-19 2012-09-19 昆山光微电子有限公司 红外显微系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104655283A (zh) * 2014-03-03 2015-05-27 上海膺芙光电科技有限公司 共光路红外光/可见光双波段显微系统
CN105783732A (zh) * 2016-03-15 2016-07-20 武汉华海创智科技有限公司 一种基于计算机视觉的水下激光基准线测量系统
CN107976257A (zh) * 2016-10-21 2018-05-01 杭州海康威视数字技术股份有限公司 一种红外热成像仪的图像显示方法、装置及红外热成像仪
CN107976257B (zh) * 2016-10-21 2019-03-22 杭州海康威视数字技术股份有限公司 一种红外热成像仪的图像显示方法、装置及红外热成像仪
CN108805848A (zh) * 2018-04-04 2018-11-13 国网浙江省电力有限公司温州供电公司 用于紫外光和可见光成像的图像融合方法
CN109596222A (zh) * 2018-12-06 2019-04-09 广东金鉴实验室科技有限公司 一种显微热分布测试方法及系统
CN111879414A (zh) * 2020-08-04 2020-11-03 银河水滴科技（北京）有限公司 一种红外测温的方法、装置、计算机设备和介质
CN111951205A (zh) * 2020-08-18 2020-11-17 燕山大学 一种红外与可见光的双光显微成像系统及其图像融合方法
CN114916899A (zh) * 2022-07-19 2022-08-19 珠海维尔康生物科技有限公司 一种光学设计的荧光摄像头及其成像方法

Also Published As

Publication number Publication date
CN103217220B (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
CN103217220B (zh) 红外显微系统及其实现图像融合的方法
US11156823B2 (en) Digital microscope apparatus, method of searching for in-focus position thereof, and program
US20180373016A1 (en) Microscope having a refractive index matching material
BR102012020775B1 (pt) aparelho de captura de imagem, aparelho de processamento de imagem e método para processamento de imagem para geração de informação auxiliar para a imagem capturada
CN111947894B (zh) 测量方法、系统、装置及终端设备
Wang et al. Out-of-focus color camera calibration with one normal-sized color-coded pattern
US11112952B2 (en) Interface for display of multi-layer images in digital microscopy
CN105791691A (zh) 一种自动聚焦装置及其实时自动聚焦方法
CN202442791U (zh) 红外显微系统
CN205622736U (zh) 一种自动聚焦装置
Wang et al. Combining compound eyes and human eye: a hybrid bionic imaging method for FOV extension and foveated vision
Shen et al. Local zoom system for agricultural pest detection and recognition
Sueishi et al. Mirror-based high-speed gaze controller calibration with optics and illumination control
Wu et al. Research on vehicle tracking method based on UAV video
Ma et al. Improvement on object detection accuracy by using two compound eye systems
JPH0658212B2 (ja) ３次元座標計測装置
Ikeoka et al. Accuracy improvement of depth estimation with tilted optics by optimizing neural network
CN206095984U (zh) 一种基于图像处理的晶圆检测装置
Chao et al. Remote focusing multifocal plane microscopy for the imaging of 3D single molecule dynamics with cellular context
Wang et al. Depth of field extended imaging method based on intensification of time and spatial expansion
Wu et al. Design of microcamera for field curvature and distortion correction in monocentric multiscale foveated imaging system
Zeng et al. High dynamic range image acquisition based on multiplex cameras
CN108415144A (zh) 一种偏振成像前置镜头
Song et al. An automatic chip structure optical inspection system for electronic components
Wang et al. Image-based autofocusing algorithm applied in image fusion process for optical microscope

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 100029 Beijing city Chaoyang District Beitucheng West Road No. 3

Patentee after: Institute of Microelectronics, Chinese Academy of Sciences

Address before: 215325 No. 145, Daqiao Road, Zhouzhuang Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee before: KUNSHAN MICROOPTIC ELECTRONIC CO.,LTD.