CN113747143A - 被动式红外热成像3d摄像机及摄像方法 - Google Patents

被动式红外热成像3d摄像机及摄像方法 Download PDF

Info

Publication number
CN113747143A
CN113747143A CN202110938456.2A CN202110938456A CN113747143A CN 113747143 A CN113747143 A CN 113747143A CN 202110938456 A CN202110938456 A CN 202110938456A CN 113747143 A CN113747143 A CN 113747143A
Authority
CN
China
Prior art keywords
image
camera
infrared
infrared polarization
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110938456.2A
Other languages
English (en)
Inventor
赵照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Xinfoo Sensor Technology Co ltd
Original Assignee
Hefei Xinfoo Sensor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Xinfoo Sensor Technology Co ltd filed Critical Hefei Xinfoo Sensor Technology Co ltd
Priority to CN202110938456.2A priority Critical patent/CN113747143A/zh
Publication of CN113747143A publication Critical patent/CN113747143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种被动式红外热成像3D摄像机及摄像方法,通过偏振光热成像传感器在不同焦距下获得多个红外偏振图像对应的原始数据,图像处理器对原始数据进行图像重建,获得多个含有空间信息的红外偏振图像,对红外偏振图像进行特征点匹配,根据焦距和像点向量计算深度信息,获得3D图像。本申请提供的被动式红外热成像3D摄像机及摄像方法无需采用大功率光源,对于人体无任何影响,而且采用偏振光热成像传感器可以全天候工作,检测距离长达200米以上,满足自动驾驶、智能机器人或无人机等高端应用领域要求。

Description

被动式红外热成像3D摄像机及摄像方法
技术领域
本申请涉及红外热成像领域,尤其涉及一种被动式红外热成像3D摄像机。
背景技术
3D成像技术是近年来较为热门的研究方向之一,3D相机也在许多领域得到了应用,比如手势识别、机器人等。
双镜头摄像机可以实现立体效果,但是结构体系复杂,算法也非常复杂,多年来没有大规模普及应用,只是在3D电影等特定场合有应用;
主动式结构光摄像机也可以实现立体效果,主要应用于距离非常短的场合,而且在算法和硬件结构上都有特定的要求,所以随着主动式TOF摄像机的出现,逐步有被替代的趋势。
主动式TOF(Time of Flight,飞行时间)摄像机是现在主要的3D成像摄像机,主要有线扫描和面阵列两种产品,主动式TOF相机采用飞行时间法进行非接触式测距,通过给目标连续发送发射光波,然后利用传感器接收从物体返回的光,通过探测光波的飞行时间来得到目标物的距离,能够快速完成对目标的识别和追踪,深度信息可以完成对目标图像的分割、标记、识别、跟踪等应用,经过进一步深化处理,可以完成三维建模等应用,并且无需扫描设备辅助工作,由于可以采用LED、激光等作为光源,分辨率也可以更高,得到了用户的普遍认可,受到广泛关注。
但是由于主动发射的激光光源的功率和人眼防护等问题,特别是大功率光源的成本较高,在应用方面主要集中在手机、平板电脑、物联网或其他智能硬件等应用,对于在自动驾驶、智能机器人、无人机等高端应用领域,还有一定的难度。
发明内容
有鉴于此,本申请提供了一种被动式红外热成像3D摄像机及摄像方法。
为了解决上述技术问题,本申请采用了如下技术方案:
第一方面,提供一种被动式红外热成像3D摄像机,其特征在于,所述摄像机包括:
光学系统,被配置为用于传输热辐射和调节焦距;
偏振光热成像传感器,包括多个含有偏振装置的像元,每个像元被配置为响应于检测到热辐射而生成电信号;读出电路,被配置为读出电信号;ADC,被配置为将电信号转化为红外偏振图像原始数据;接口电路,被配置为将红外偏振图像原始数据传输到图像处理器;
图像处理器,被配置为对红外偏振图像原始数据进行重建获得红外偏振图像,对红外偏振图像进行深度计算,获取3D图像。
优选地,所述多个含有偏振装置的像元按照菱形错位阵列方式排布。
优选地,所述多个含有偏振装置的像元中每四个互相邻近的像元对应的偏振装置具有各不相同的偏振角度。
优选地,所述偏振装置的偏振角度为0°、45°、90°或135°。
优选地,所述偏振装置是通过MEMS工艺集成在像元上。
优选地,像元热敏材料包括铁电材料、氧化钒、石墨烯、碲镉汞、量子阱或二类超晶格或量子点
第二方面,提供一种摄像方法,其特征在于,所述方法包括:
在第一焦距下获取第一红外偏振图像原始数据;
在第二焦距下获取第二红外偏振图像原始数据;其中,第一焦距小于第二焦距;
对第一红外偏振图像原始数据和第二红外偏振图像原始数据分别进行重建,获得第一红外偏振图像和第二红外偏振图像;
对第一红外偏振图像和第二红外偏振图像进行特征匹配,计算深度信息,获取3D图像。
优选地,所述计算深度信息具体为:
Figure 100002_DEST_PATH_IMAGE001
;
其中,Z为摄像机到物点所在平面的距离值,f1和f2分别代表第一焦距和第二焦距,l1和l2分别代表垂直光轴的平面空间内两物点分别在第二焦距和第一焦距下两像点向量大小。
相较于现有技术,本申请具有以下有益效果:
基于以上技术方案可知,本申请提供的被动式红外热成像3D摄像机及摄像方法,通过偏振光热成像传感器在不同焦距下获得多个红外偏振图像对应的原始数据,图像处理器对原始数据进行重建,获得多个含有空间信息的红外偏振图像,对红外偏振图像进行特征点匹配,根据焦距和像点向量计算深度信息,获得3D图像。本申请提供的被动式红外热成像3D摄像机及摄像方法无需采用大功率光源,对于人体无任何影响,而且采用偏振光热成像传感器可以全天候工作,检测距离长达200米以上,满足自动驾驶、智能机器人或无人机等高端应用领域要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种被动式红外热成像3D摄像机结构框图。
图2是本申请实施例提供的一种含有偏振装置的像元的排布方式。
图3是本申请实施例提供的一种双焦成像示意图。
图4是本申请实施例提供的一种摄像方法。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
图1是本申请实施例提供的被动式红外热成像3D摄像机结构框图。
参考图1,本申请实施例提供的被动式红外热成像3D摄像机包括光学系统,偏振光热成像传感器和图像处理器。
光学系统包括一个或多个用于汇聚光线的透镜,摄像机的焦距可以通过调节透镜的物理位置而改变。
偏振光热成像传感器包括多个含有偏振装置的像元、读出电路、ADC和接口电路。
像元可以接收来自环境物体反射来的与热辐射对应的光谱范围内的电磁辐射,例如,波长为3.5微米至14微米的电磁波。
像元为通过MEMS工艺制备的多层结构,其中,主要用于探测红外热辐射的部件为热敏薄膜层。当热敏薄膜层受到红外线照射时,其电阻会产生变化从而可以产生电信号,即红外热成像的原始数据。热敏薄膜层的组分可以包括但不限于铁电材料、氧化钒VOx、石墨烯、碲镉汞HgCdTe、量子阱QWIP、新型二类超晶格或量子点QDIP。
在一个实施方式中,多个含有偏振装置的像元按照菱形错位阵列方式排布。
自然光照射后,反射光中电矢量垂直分量和平行分量的振幅发生了变化,因此,反射光不再是各向同性的自然光,而成为部分偏振光或线偏振光,物体反射和电磁辐射的过程中都会产生由自身性质决定的偏振特性,不同物体或同一物体的不同状态(例如,粗糙度、含水量、材料理化特性等)在热红外波段往往具有不同的偏振状态,利用目标表明辐射或反射偏振信息的红外偏振成像技术,可以综合获得目标的强度、偏振和图像等多维特征信息,有效提高目标与背景的对比度,突出目标的细节特征,增强目标识别效果,更全面、深入地了解目标的属性和行为。
含有偏振装置的像元可以接收到外界物体反射的偏振特性信息,偏振装置可以是摄像机前段加装的可调偏振元件,也可以是在像元上采用MEMS工艺制作光栅阵列,将偏振装置集成到像元上。
在一个实施方式中,参考图2,多个含有偏振装置的像元中每四个互相邻近的像元构成一个像元组,该像元组内的四个独立像元对应的偏振装置具有各不相同的偏振角度。一个像元组内的四个独立像元的偏振角度可以分别为0°、45°、90°和135°。
读出电路由多列组成,每一列读出电路与该列所有像元电连接,像元接收物体向外辐射的红外线波后,电阻发生变化,每次接通相邻两行像元的行选开关,将相邻两行的像元变化的电阻以读出,此时读出的信号为模拟信号格式。
每一列读出电路可以包括:偏置电压,辅助电阻,偏执电压和,晶体管和,积分器,采样电容,行选开关和像元等效电阻。
在读出电路输出像素模拟信号后,将其发送到模拟数字转换电路(ADC),ADC将模拟信号转换为数字信号并经由接口电路向图像处理器输出。
接口电路用于将ADC输出的红外偏振图像数字信号传输至图像处理器,方便后续进行图像分析处理。
接口电路可以包括AER接口、移动工业处理器接口(MIPI)和并行接口中的一种。
图像处理器包括图像重建模块和深度计算模块。
图像处理器可以更具体地包括但不限于图形处理器(GPU)、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器(DSP)、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。
图像重建模块用于将含有偏振信息的原始数据转化为红外偏振图像,该红外偏振图像具有空间信息。
在一个实施方式中,重建的过程中将具有不同偏振角度的相邻的四个像元重建成一个像素。具体地,在图像重建模块,将像元获取的原始数据进行多次平移,使得重建像素位置包含有多个偏振角度的原始数据。采用斯托克斯公式,根据该四个像元获取的原始数据信息重建目标的斯托克斯矢量,根据斯托克斯矢量计算待重建像素的偏振度,随后,利用偏振度计算重建像素对应目标表面入射方位角和入射天顶角,根据入射方位角和入射天顶角可以计算重建目标表面法线,随后,根据表面法线计算待重建目标空间信息,通过表面积分Frankot-Chellappa算法计算出真实的待重建目标的结构的空间信息,得到具有空间信息的红外偏振图像。经过如此重建图像的过程,将第一红外偏振图像原始数据和第二红外偏振图像原始数据重建分别为第一红外偏振图像和第二红外偏振图像,得到红外偏振图像后,将第一红外偏振图像和第二红外偏振图像传输到深度计算模块,进行后续深度信息计算。
深度计算模块用于对红外偏振图像中一个或多个物点的深度信息进行计算。
在一个实施方式中,首先对图像进行特征匹配。可采用基于SIFT及其改进算法PCA-SIFT和SURF特征匹配的算法进行图像匹配。进一步地,还可采用简化SURF算法,首先基于兴趣点圆形邻域内信息固定的方向迭代,然后为对应所选择的方向构建一个正方形区域,并且以此提取SURF描述子。单目双焦视觉条件下的图像近似为无旋转变换的理想条件,该简化SURF算法可改善算法运算效率,增强算子实用性。
采用两步匹配法,首先选取小焦距的第一红外偏振图像作为参考图像,以大焦距的第二红外偏振图像作为待匹配图像获取匹配特征点集,然后交换参考图像和待匹配图像顺序获取匹配特征点集,最后取前两次匹配特征点的交作为最后的匹配特征点集。
进行特征点匹配后,再利用几何关系计算空间物点的距离。
图3是本申请实施例提供的一种双焦成像示意图。
参考图3,假定垂直光轴平面空间内存在至少2个物点M和N,在小焦距下成像分别对应像点M1和N1,在大焦距下成像对应的像点为M0和N0。Z为原点到物点所在平面的距离值,即深度。f1和f2分别代表较小焦距和较大焦距,令l1=M0N0,l2=M1N1,分别代表对应焦距下像点向量大小,依据几何模型的关系可以推导出深度Z的计算式:
Figure 679974DEST_PATH_IMAGE002
然后选取两次图像匹配获取的特征点的交集,进行单目立体视觉深度估计,将特征点交集带入方程,并利用摄像机标定获取内部参数求得特征点对的深度值,该深度值基本符合理想深度值,能够反映出空间物点的深度情况,结合前序的偏振图像重建过程,最终得到3D图像。
图4是本申请实施例提供的一种摄像方法。
参考图4,该方法包括:S401在第一焦距下获取第一红外偏振图像原始数据;S402在第二焦距下获取第二红外偏振图像原始数据,其中,第一焦距小于第二焦距;S403对第一红外偏振图像原始数据和第二红外偏振图像原始数据分别进行重建,获得第一红外偏振图像和第二红外偏振图像;S404对第一红外偏振图像和第二红外偏振图像进行特征匹配,计算深度信息,获取3D图像。
本申请提供的被动式红外热成像3D摄像机及摄像方法可以安装在具有图像感测功能和/或光感测功能的电子设备中。例如,该被动式红外热成像3D摄像机可以安装在例如智能手机、相机、物联网(IoT)设备、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、无人机和高级驾驶员辅助系统(ADAS)等的电子设备中。另外,被动式红外热成像3D摄像机可以提供作为交通工具、家具、制造设备、各种测量设备等中的元件。
以上所述仅是本发明的优选实施方式,虽然本发明已以较佳实施例披露如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (8)

1.一种被动式红外热成像3D摄像机,其特征在于,所述摄像机包括:
光学系统,被配置为用于汇聚热辐射和调节焦距;
偏振光热成像传感器,包括多个含有偏振装置的像元,每个像元被配置为响应于检测到热辐射而生成电信号;读出电路,被配置为读出电信号;ADC,被配置为将电信号转化为红外偏振图像原始数据;接口电路,被配置为将红外偏振图像原始数据传输到图像处理器;
图像处理器,被配置为对红外偏振图像原始数据进行重建获得红外偏振图像,对红外偏振图像进行深度计算,获取3D图像。
2.根据权利要求1所述的摄像机,其特征在于,所述多个含有偏振装置的像元按照菱形错位阵列方式排布。
3.根据权利要求1所述的摄像机,其特征在于,所述多个含有偏振装置的像元中每四个互相邻近的像元对应的偏振装置具有各不相同的偏振角度。
4.根据权利要求3所述的摄像机,其特征在于,所述偏振装置的偏振角度为0°、45°、90°或135°。
5.根据权利要求1所述的摄像机,其特征在于,所述偏振装置是通过MEMS工艺集成在像元上。
6.根据权利要求1所述的摄像机,其特征在于,所述像元热敏材料包括铁电材料、氧化钒、石墨烯、碲镉汞、量子阱或二类超晶格或量子点。
7.一种摄像方法,其特征在于,所述方法包括:
在第一焦距下获取第一红外偏振图像原始数据;
在第二焦距下获取第二红外偏振图像原始数据;其中,第一焦距小于第二焦距;
对第一红外偏振图像原始数据和第二红外偏振图像原始数据分别进行重建,获得第一红外偏振图像和第二红外偏振图像;
对第一红外偏振图像和第二红外偏振图像进行特征匹配,计算深度信息,获取3D图像。
8.根据权利要求7所述的方法,其特征在于,所述计算深度信息具体为:
Figure DEST_PATH_IMAGE001
;
其中,Z为摄像机到物点所在平面的距离值,f1和f2分别代表第一焦距和第二焦距,l1和l2分别代表垂直光轴的平面空间内两物点分别在第二焦距和第一焦距下两像点向量大小。
CN202110938456.2A 2021-08-16 2021-08-16 被动式红外热成像3d摄像机及摄像方法 Pending CN113747143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110938456.2A CN113747143A (zh) 2021-08-16 2021-08-16 被动式红外热成像3d摄像机及摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110938456.2A CN113747143A (zh) 2021-08-16 2021-08-16 被动式红外热成像3d摄像机及摄像方法

Publications (1)

Publication Number Publication Date
CN113747143A true CN113747143A (zh) 2021-12-03

Family

ID=78731240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110938456.2A Pending CN113747143A (zh) 2021-08-16 2021-08-16 被动式红外热成像3d摄像机及摄像方法

Country Status (1)

Country Link
CN (1) CN113747143A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029726A (zh) * 2018-05-25 2018-12-18 西北工业大学 一种窗口集成式光谱/偏振成像系统
CN109147029A (zh) * 2018-06-25 2019-01-04 西安电子科技大学 一种单目偏振三维重建方法
CN110425983A (zh) * 2019-07-26 2019-11-08 杭州电子科技大学 一种基于偏振多光谱的单目视觉三维重建测距方法
CN111932615A (zh) * 2020-07-10 2020-11-13 中国电子科技集团公司第十一研究所 一种偏振测距方法、装置及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029726A (zh) * 2018-05-25 2018-12-18 西北工业大学 一种窗口集成式光谱/偏振成像系统
CN109147029A (zh) * 2018-06-25 2019-01-04 西安电子科技大学 一种单目偏振三维重建方法
CN110425983A (zh) * 2019-07-26 2019-11-08 杭州电子科技大学 一种基于偏振多光谱的单目视觉三维重建测距方法
CN111932615A (zh) * 2020-07-10 2020-11-13 中国电子科技集团公司第十一研究所 一种偏振测距方法、装置及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柳?;史浩东;姜会林;李英超;王超;刘壮;李冠霖;: "粗糙目标表面红外偏振特性研究", 中国光学, no. 03 *
陈伟力;王霞;金伟其;李福文;曹扬;: "采用中波红外偏振成像的目标探测实验", 红外与激光工程, no. 01 *

Similar Documents

Publication Publication Date Title
Qiu et al. Deeplidar: Deep surface normal guided depth prediction for outdoor scene from sparse lidar data and single color image
Yin et al. Virtual normal: Enforcing geometric constraints for accurate and robust depth prediction
JP2020016654A (ja) グレイスケールイメージングのための時間分解イメージセンサ及びイメージングユニット並びにグレイスケールイメージ生成方法
Sinha et al. Deltas: Depth estimation by learning triangulation and densification of sparse points
Du et al. Stereo vision-based object recognition and manipulation by regions with convolutional neural network
Huo et al. Underwater target detection and 3D reconstruction system based on binocular vision
Mahmoud Utilizing radiation for smart robotic applications using visible, thermal, and polarization images.
EP3398161B1 (en) A method and an apparatus for generating data representative of a pixel beam
Do et al. Infrared range sensor array for 3D sensing in robotic applications
Campione et al. 3D thermal imaging system with decoupled acquisition for industrial and cultural heritage applications
Chen et al. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera
Zhou et al. Review on millimeter-wave radar and camera fusion technology
Lu et al. Real-time imaging orientation determination system to verify imaging polarization navigation algorithm
Sun et al. A multimodal vision sensor for autonomous driving
Lin et al. Development of an image processing module for autonomous underwater vehicles through integration of visual recognition with stereoscopic image reconstruction
Yao et al. A high spatial resolution depth sensing method based on binocular structured light
Tang et al. Design of vertically aligned binocular omnistereo vision sensor
Hu et al. Non‐linear calibration optimisation based on the Levenberg–Marquardt algorithm
Li et al. Polarization 3D imaging technology: a review
Gill et al. Lensless smart sensors: Optical and thermal sensing for the Internet of Things
Li et al. Biomimetic Polarized Light Navigation Sensor: A Review
CN113747143A (zh) 被动式红外热成像3d摄像机及摄像方法
Choi et al. CMOS image sensor for extracting depth information using offset pixel aperture technique
Li et al. A calibration and real-time object matching method for heterogeneous multi-camera system
Xiang et al. The camera itself as a calibration pattern: A novel self-calibration method for non-central catadioptric cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211203

WD01 Invention patent application deemed withdrawn after publication