CN112581545A - 多模态热源识别及三维空间定位系统、方法及存储介质 - Google Patents
多模态热源识别及三维空间定位系统、方法及存储介质 Download PDFInfo
- Publication number
- CN112581545A CN112581545A CN202011612452.7A CN202011612452A CN112581545A CN 112581545 A CN112581545 A CN 112581545A CN 202011612452 A CN202011612452 A CN 202011612452A CN 112581545 A CN112581545 A CN 112581545A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- visible light
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000001931 thermography Methods 0.000 claims description 19
- 230000004807 localization Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000001429 visible spectrum Methods 0.000 claims 3
- 238000004590 computer program Methods 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000036760 body temperature Effects 0.000 abstract description 3
- 238000009529 body temperature measurement Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000004141 dimensional analysis Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种多模态热源识别及三维空间定位系统、方法及存储介质,对输入的可见光图像、热像、深度点云获取各自的信息;将所述的输入装置中的可见光特征图像、热像、以及深度信息三者进行标定,不同景深的彩色图像与热像图像的标定对应,消除双光融合后的信息错位;热像图像坐标上的温度数据与深度信息对应,矫正检测的温度偏差,最后得到传感器内外参数的标定方法与装置,并生成融合后的完整数据集/关系,从而获得空间上对应的多维数据;本发明在移动中的火源识别与位置定位,移动中的无接触式人体体温检测,在更大距离区间内热像数据与图像数据的精确对齐、动态距离变化中的物体测温准确性等方面提高性能。
Description
技术领域
本发明涉及热源追踪、热成像、视觉感知、图像识别、图像定位领域,更具体地涉及一种多模态光谱信息识别及三维空间定位方法。
背景技术
当前以热成像为主热源图像识别、已经有较多的应用,比如火灾检测、热源检测、热红外夜视等,但是少有能够将热成像、可见光、深度信息精确融合的技术。
现有的纯热成像图像识别技术,具有信息不完整,可实现的业务应用场景小,只有温度信息,缺少可见光信息,不便判断对象,如人脸,车牌等信息。
现有的可见光(包括普通红外光)的对象识别技术,难以实现对一些特定物体的准确识别,比如火,但是热像却能够通过温度识别快速做出判断。
现有的可见光与热红外的双光融合技术,缺少距离信息,特别是热像与可见光摄像头重叠视角范围内的深度信息,导致热像数据与可见光像素的匹配、热像数据的温度数值随着距离变化存在较大的测量误差。
发明内容
1、本发明的目的
本发明为解决三维空间内实时可见光/近红外、热成像、点云等深度信息的实时同步采集与融合;提升相关数据信息的融合采集能力与准确性,为后端处理提供一种多模态融合的数据信息,提升业务应用的可能性与准确性,而提出了一种多模态火源识别及三维空间定位系统及方法。
2、本发明所采用的技术方案
一种多模态热源识别及三维空间定位系统,包括:
对输入的可见光图像、热像、深度信息获取各自的信息;
将所述的输入装置中的可见光特征图像、热像、以及深度信息三者进行标定,不同深度的彩色图像与热像图像的标定对应,消除双光融合后的信息错位;热像图像坐标上的温度数据与深度信息对应,矫正检测的温度偏差,并同时标定传感器内外参数,生成融合后的完整数据集或关系,从而获得空间上对应关联的多维数据集;
在标定三种传感器的位置关系时,标定装置同时集成可见光图案特征、热红外特征(温度特征)、以及深度特征信息,并以任意一种为基准,另外两种数据以其基准进行矫正和标定,得到以其中某一个数据源的空间位置作为基准的内外参数标定关系,用于数据矫正与融合。
优选的,获取深度信息和可见光特征图像的设备为集成装置或分体装置。
优选的,获取深度信息和可见光特征图像的设备为集成装置,可输出内置标定的彩色图像与深度信息;
可见光摄像头与热像摄像头所覆盖的可视区域内,标定板移动范围内其所有特征至少被可见光摄像头与热像摄像头中的一种完全采集;且采集的部分数据可被可见光摄像头与热像摄像头的视角重叠区域同时完整采集;
内参参数通过标定板采集的数据以及经典的相机内参外参校准方法获得;外参参数,分别求出同一标定板位置相对于可见光摄像头与热像摄像头的相对位置后,获取多组不同标定板位置的数据进行误差校正得到可见光摄像头与热成像摄像头的相对空间位置信息以及以其中一个摄像头所在坐标系为准的xyz相对位置关系和3轴旋转角度差;从而深度传感器所采集的信息对应的可见光摄像头位置关系,获得可见光特征图像、热像、以及深度信息在同一空间内的位置关系;将热像图像和可见光图像上所采集的像素点,通过透视关系映射到深度信息的坐标上。
优选的,映射到深度点云的坐标上时,将深度信息变化映射到热像上,从而为深度信息中的每一个坐标匹配相应的温度数据,深度坐标与热像图像上的坐标通过包括插值法、就近法等数学方法获取相应的数据信息;可见光数据同样用此方法进行处理。
优选的,获取深度信息和可见光特征图像的设备为分体装置,获取深度信息的设备包括测距点传感器、线传感器、面阵列传感器中的一种。
优选的,获取深度信息的设备为测距点传感器、线传感器、面阵列传感器:在标定板上的不同位置,具有高低不平的特征,测距点传感器、线传感器、面阵列传感器在测量到不同位置时分辨其高度差;将设备固定于某一支架上,通过支架旋转调整,通过距离读数确定其是否对准目标,对准后采集一组传感器数据,通过提取标定板上的特征,计算或测量产生距离差位置的特征在图像上的坐标位置,通过图像内参参数和坐标位置,利用三角函数求得特征与相机中轴线的水平/垂直夹角,再测量测距点传感器、线传感器、面阵列传感器与图像探测器安装位置关系,通过三角函数,求得相机与距离传感器间的xyz及三轴俯仰关系;取多次不同位置的测量数据通过包括平均,方差方法等数学方法消除误差,完成标定。
优选的,获取深度信息的设备为测距点传感器,在标定板位置突出或凹陷或者镂空一个比点状测距范围略大的物体,标定板与点状激光传感器垂直放置,基本放置于点状激光传感器摄像头正中心,从近处到能清晰识别图案特征的极限距离之间间隔采集多组数据。
优选的,采用测距线传感器、面传感器,在线/面距离数据中提取标定板上高度差特征物体在水平激光线上的位置,利用标定板上的高度特征确定线激光在标定板上的准确位置,在标定板上存在至少两处特征,标定时,使线激光同时扫描到两处或更多出处特征;通过至少两处特征关系或连续变化的一组特征关系,求得标定板相对于线传感器、面传感器中心的偏转角,图像特征数据中相比测距点传感器多计距离算传感器自身的滚转角,在求传感器与图像标定数据时将上述数据带入计算。
优选的,还包括硬件帧同步步骤,获取对应的可见光特征图像、热像、以及深度信息的传感器通过信号控制同步采集数据。
优选的,还包括时间戳同步步骤,异步获取对应的可见光图像、热像、以及深度信息的传感器各自采集数据,通过时间戳进行数据同步,融合后数据帧率以最小的那个设备帧率为准,用其数据时间戳匹配其它两个设备的最相邻时间戳数据进行融合。
本发明公开了一种多模态热源识别及三维空间定位系统,热成像摄像头替换为其它不可见光谱的相机,其他部件与所述的多模态热源识别及三维空间定位系统相同,并在标定板上的温差特征替换为相应光谱特征,完成非可见光光谱相机与可见光相机、深度传感器的数据融合,亦可将可见光相机替换为非可见光光谱相机。
优选的,同时设置两种或两种以上光谱相机。
一种多模态热源识别及三维空间定位方法,使用所述的多模态热源识别及三维空间定位系统识别获取空间位置及其多模态数据。
3、本发明所采用的有益效果
(1)本发明关键在于在不同距离上多种图像信息与深度信息的自动矫正与融合,可在距离很近,比如几十厘米甚至十几厘米到上百米间都取得良好的对齐效果。传统方法只能在一个特定距离范围内或以外,超出这个范围,误差就很大。当物距变化较大时,其数据结果的准确性就会有较大偏差;本发明特别适合于传感器体积较大、传感器与传感器间安装布局间距较大,在不同物距距离上数据对齐距较高的场合。
(2)本发明在移动中的火源识别与位置定位,移动中的无接触式人体体温检测,在更大距离区间内热像数据与图像数据的精确对齐、动态距离变化中的物体测温准确性等方面提高性能。
(3)本发明将热成像数据、可见光数据、深度信息作为完整的一个目标对象进行处理,能够帮助同步完成对目标对象的可见光、热成像、深度信息等不同属性的融合检测与分析。
(4)本发明融合可见光、热成像与深度信息,将三者通过一定的组合与标定关系自动融合为统一的数据,使得处理一帧图像,能够在每个像素点坐标上,获取对应的比较精确的彩色数据、温度数据、以及距离或/和方位数据。
(5)本发明通过这些数据的融合,可以起到数据相互映射对齐与修正的作用:
a、不同景深rgb图像与热像数据的精确对齐,解决传统双光融合后的在不同距离上的对齐错位问题,特别远距离和近距离无法同时对齐的问题;
b、热像图像坐标上的温度数据与距离信息对应后可矫正因距离产生检测温度偏差;
c、为深度信息(空间位置坐标集合),赋予更多的数据属性,帮助进行三维空间的信息多维度分析与判断;
通过这3点的数据矫正与融合,形成数据的关联关系,便于进行进一步的图像信息处理,准确的像素级的操作。
附图说明
图1为本发明实施例流程图一;
图2为本发明实施例流程图二;
图3为本发明实施例流程图三;
图4为本发明系统框图。
具体实施方式
下面结合本发明实例中的附图,对本发明实例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
本发明为了解决当前以热成像为主热源图像识别不能将其与可见光和深度信息融合的问题,也不能解决动态矫正融合的问题,而提出了一种多模态火源识别及三维空间定位系统和方法,包括输入装置101、标定装置102。
本发明将热成像数据、可见光数据、深度信息作为完整的一个目标对象进行处理,能够帮助同步完成对目标对象的可见光、热成像、深度信息等不同属性的融合检测与分析;融合可见光、热像与深度信息,将三者通过一定的组合与标定关系融合为统一的数据,使得在处理一帧图像,能够在每个像素点坐标上,获取对应的比较精确的彩色数据、温度数据、以及距离或/和方位数据,通过这些数据的融合,可以起到数据相互映射对齐与修正的作用。
热像与可见光校准,采用特殊的标定板,其标定板上的标定特征,同时存在热红外(温差)及颜色的色差,以便彩色相机和热像可以同时看到在物理空间上的关联的一组特征。当需要图像数据与深度信息标定时,标定板上除了温度或/和颜色的区别外,还要具备可识别的凹凸高度信息。以便将深度与其它两种数据源标定对齐。
特别的,获取深度信息和可见光特征图像的设备为集成装置,可以使用集成装置内部的标定参数,省略空间信息与其它图像数据的标定过程。
通过标定,可以知道各传感器的外参和内参,将这些信息带入解算,即可得到相关的以其中某一个数据源的位置作为基准的融合数据信息。
本发明通过至少一个可见光摄像头(包括普通近红外摄像头),一个面阵热红外摄像头(可输出每个像素点的温度信息),一个深度传感器构成,当使用RGBD(带有深度信息的彩色图像)传感器时,可不独立使用深度信息传感器。传感器数据需要相互标定,标定时可采用任意一种传感器作为主传感器,另外两个传感器以其坐标系为基准,进行标定和矫正;从而,最终可以将彩色图像数据与温度信息校准后映射到统一的三维空间。特别的,将热像与可见光先进行矫正,再将其中一个与深度信息进行标定校准是首选的方案,热像与可见光校准,采用特殊的标定板,其标定板上的标定参考信息,同时存在热量(温差)及颜色的色差,通过同时采集多组不同角度距离以及标定板姿态的数据,通过已知的不用特征间的位置关系,使得程序可以将热像数据与可见光数据用统一的图像内外参数标定法标定,并保证了两种特征在空间上的统一性,方便计算出两个摄像头的内参参数,以及外参的相互关系。当需要图像数据与深度信息标定时,标定板上除了温度或/和颜色的区别外,还要具备可识别的凹凸高度差信息或易于分割的外形,以便将深度与其它两种数据源标定对齐。特别的,当采用双目或多目三维摄像头进行标定时,可以省略空间信息重新标定的过程。
通过标定,可以知道各传感器的外参和内参,将这些信息带入解算,即可得到相关的以其中某一个数据源的空间位置作为基准的融合数据信息。
如图1所示,融合可见光、热成像与深度信息,将三者通过一定的组合与标定关系融合为统一的数据,使得在处理数据时,获取对应的比较精确的彩色数据、温度数据、以及空间位置数据。
通过这些数据的融合,可以起到数据相互映射对齐与修正的作用,1、不同景深RGB图像与热像数据的精确对齐,解决传统双光融合后的在不同距离上的对齐错位问题,特别是近距离错位较大的问题。2、热像图像坐标上的温度数据与距离信息对应后可矫正因距离产生检测温度偏差,3、为深度信息(离散的三维坐标数据集),赋予更多的数据属性,帮助进行三维空间的信息多维度分析与判断。通过这3点的数据矫正与融合,数据集形成统一的整体,便于进行进一步的图像信息处理,准确的像素级的操作。如图2-3所示,为了达到在移动中数据的有效性和位置准确性,还可以对三个传感器数据进行同步采集,有两种方案;其一,采用帧同步方案,三个传感器通过外同步信号同步采集数据,达到精准的同步效果,适用于移动较快的目标对象。其二,时间戳方案,三个设备各自采集数据,通过时间戳进行数据同步,将相邻时间数据进行融合,融合后数据帧率以最小的那个设备帧率为准,用其数据时间戳匹配其它两个设备的相邻时间数据,这种方案硬件实现更简单,适合于移动较慢的探测对象场合。
本发明在移动中的火源识别与位置定位,移动中的无接触式人体体温检测,在更大距离区间内热像数据与图像数据的对齐、动态距离变化中的物体测温准确性等方面提供保障。本发明将热成像数据、可见光数据、深度信息作为完整的一个目标对象进行处理,能够帮助同步完成对目标对象的可见光、热成像、深度信息等不同属性的融合检测与分析。
实施例1
采用一台热像仪与一套RGBD带深度信息的图像传感器(可以是一个集成装置,或两/多个独立的摄像头+后台算法的装置,可以输出对齐的彩色图像与点云数据)。
由于深度信息与彩色图像信息的关系事先已经进行过标定,所以只需要再与热成像摄像头进行标定即可。
标定方法采用的是特殊设置的标定板,板上有温差区域,有可见光特征图案,优选的,可见光特征图案自身是与其它区域带有温差的。
可见光摄像头与热像摄像头被固定在同一钢性支架上,保证两者之间的相对稳固,在可见光摄像头与热像摄像头所覆盖的可视区域内,前、后、左、右,旋转,倾斜放置标定板,但要保证标定板上的所有特征可至少被可见光摄像头与热像摄像头两种摄像头中的一种完全采集。优选的,在可见光摄像头与热像摄像头两种摄像头的重叠区域,应当采集至少6张不同位置的标定板样张。在视角更大的那个摄像头,再采集至少6张不同位置的标板样张。采集重叠区域数据时,需保证采集是可见光摄像头与热像摄像头的之间的位置,可见光摄像头与热像摄像头分别与标定板的位置不变,一般来说采用可见光摄像头与热像摄像头同步采集的方案,保证采集数据的精确度;通过标定板采集的数据以及经典的摄像头内参外参校准方法,可以求得可见光摄像头与热像摄像头两个摄像头各自的内参参数与外参参数。同时,在重叠视场区域,分别求出同一标定板位置相对于可见光摄像头与热像摄像头两种不同摄像头的相对位置,通过上述的至少6组数据,用平均法、中位数法、最佳拟合法、均方根法等误差矫正算法,得到两个摄像头的相对空间位置信息(以其中一个摄像头所在坐标系为基准的xyz相对距离和3轴旋转角度度差)。
因为深度信息已经通过RGBD带深度信息的图像传感器进行过标定,通过换算就可以得到热像、可见光、深度信息在统一空间内的位置关系(各传感器的外参)。
这样,每一个在热像图像和可见光图像上所采集的像素点,都可以映射到深度点云的坐标上,数据映射时,优选方案是将深度信息变化映射到热像图像上,从而为深度信息中的每一个坐标匹配相应的温度数据,深度坐标与热像图像上的坐标并非一一对应,可以通过插值法,就近法等方式,获取相应的数据信息。部分数据可能因为视差重叠,深度缺失等原因造成最终输出的数据的色彩信息、维度信息以及深度信息中的一种或多种存在缺失,缺失的信息的处理方式视需求而定,可通过多种方式处理,一般有,仅保留有三个属性都完整的数据,保留带有深度的数据,保留带有色彩的数据,以及保留带有温度的数据,保留所有至少有一个属性的数据等多种方式。
实施例2
实施例2与实施例1的区别在于,实施例2带有独立的深度信息传感器,可以为激光点/线传感器、面传感器。
首先进行热像与可见光标定,参考实施例1.
深度信息传感器优选的是和可见光传感器进行标定,在标定板上的不同位置,具有高低不平的特征,以便激光测距仪在测量到不同位置的时候能够分辨其高度差。
深度信息传感器,可见光传感器,热像传感器固定在一个钢性支架上,且深度信息传感器至少覆盖可见光与热像传感器重叠区域的一部分;
当采用点状激光传感器时,可在标定板位置突出,或凹陷,或者镂空一个比点状测距光斑略大的物体(不同距离可能要用孔径不等的标定板,因为一般越远,光斑越大,惬当的大小可以控制误差),标定板垂直与摄像头放置,基本放置于摄像头正中心,从近处到(至少让摄像头能够看到整个标定板)距离尽量远(摄像头能清晰识别图案特征的极限距离)若干位置采集数据。采用方式为,通过支架旋转调整,使得深度信息传感器能够对准标定板上的特殊物体,通过距离读数确定其是否对准目标,固定住设备位置,采集一个数据图像,通过提取标定板上的特征,计算或测量产生距离差位置的特征在图像上的坐标位置,通过图像内参参数和坐标位置,通过三角函数求得特征与摄像头中轴线的水平/垂直夹角,再测量激光探测器与图像探测器安装配置通过三角函数,求得摄像头与深度信息传感器间的xyz及三轴俯仰关系。取多次不同位置的测量数据通过平均,方差等手段尽量消除误差,完成标定。
后续操作同案例1。
另一种情况下,深度信息传感器采用线距离传感器时,可同样基于上述方案标定,唯一的不同在于,高度差特征物体在水平激光线上的位置,需要在线激光数据中提取测试,以便求得其先对于传感器中心的偏角,图像特征数据中需要多计算一个旋转角度,在求传感器与图像标定数据时将上述数据带入计算。其它同上述方案。
另一种情况下,深度信息传感器采用面阵势距离传感器时,需要在线激光基础上计算相对与传感器自身的xy两轴夹角及在xy平面上的旋转夹角,其它同线距离传感器方案。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (14)
1.一种多模态热源识别及三维空间定位系统,其特征在于包括:
输入装置,用于获取输入数据的可见光特征图像、热像、深度信息;
标定装置,用于将所述可见光特征图像、热像以及深度信息三者进行标定,不同深度图像与热像的标定对应;热像图像坐标上的温度数据与深度信息对应,同时计算获得传感器内外参数,生成融合后的完整数据集或关系,获得空间上对应关联的多维数据集;
在标定三种传感器的位置关系时,标定装置同时集成可见光图案特征、温度特征、以及深度特征信息,并以任一种特征信息为基准,任一种特征信息外的两种数据以其基准进行矫正和标定,得到以其中某一个数据源的空间位置作为基准的内外参数标定关系,用于数据矫正与融合。
2.根据权利要求1所述的多模态热源识别及三维空间定位系统,其特征在于:获取深度信息和可见光特征图像的设备为集成装置或分体装置。
3.根据权利要求2所述的多模态热源识别及三维空间定位系统,其特征在于,获取深度信息和可见光特征图像的设备为集成装置,还包括热像摄像头;
可见光摄像头与热像摄像头所覆盖的可视区域内,标定板移动范围内其所有特征至少被可见光摄像头与热像摄像头中的一种完全采集;且采集的部分数据可被可见光摄像头与热像摄像头的视角重叠区域同时完整采集;
内参参数通过标定板采集的数据以及经典的相机内参外参校准方法获得;外参参数,分别求出同一标定板位置相对于可见光摄像头与热像摄像头的相对位置后,获取多组不同标定板位置的数据进行误差校正得到可见光摄像头与热成像摄像头的相对空间位置信息以及以其中一个摄像头所在坐标系为准的xyz相对位置关系和3轴旋转角度差;从而深度传感器所采集的信息对应的可见光摄像头位置关系,获得可见光特征图像、热像、以及深度信息在同一空间内的位置关系;将热像图像和可见光图像上所采集的像素点,通过透视关系映射到深度信息的坐标上。
4.根据权利要求3所述的多模态热源识别及三维空间定位系统,其特征在于:映射到深度点云的坐标上时,将深度信息变化映射到热像、可见光图像上,从而为深度信息中的每一个坐标匹配相应的温度数据、可见光数据,深度坐标与热像、可见光图像上的坐标通过包括插值法、就近法,获取相应的数据信息;。
5.根据权利要求2所述的多模态热源识别及三维空间定位系统,其特征在于:获取深度信息和可见光特征图像的设备为分体装置,获取深度信息的设备包括测距点传感器、线传感器、面阵列传感器中的一种。
6.根据权利要求5所述的多模态热源识别及三维空间定位系统,其特征在于,获取深度信息的设备为测距点传感器、线传感器、面阵列传感器:在标定板上的不同位置,具有高低不平的特征,测距点传感器、线传感器、面阵列传感器在测量到不同位置时分辨其高度差;将设备固定于某一支架上,通过支架旋转调整,通过距离读数确定其是否对准目标,对准后采集一组传感器数据,通过提取标定板上的特征,计算或测量产生距离差位置的特征在图像上的坐标位置,通过图像内参参数和坐标位置,利用三角函数求得特征与相机中轴线的水平、垂直夹角,再测量测距点传感器、线传感器、面阵列传感器与图像探测器安装位置关系,通过三角函数,求得相机与距离传感器间的xyz及三轴俯仰关系;取多次不同位置的测量数据通过包括平均,方差方法消除误差,完成标定。
7.根据权利要求6所述的多模态热源识别及三维空间定位系统,其特征在于:获取深度信息的设备为测距点传感器,在标定板位置突出或凹陷或者镂空一个比点状测距范围略大的物体,标定板与点状激光传感器垂直放置,基本放置于点状激光传感器摄像头正中心,从近处到能清晰识别图案特征的极限距离之间间隔采集多组数据。
8.根据权利要求6所述的多模态热源识别及三维空间定位系统,其特征在于:采用测距线传感器、面传感器,在线、面距离数据中提取标定板上高度差特征物体在水平激光线上的位置,利用标定板上的高度特征确定线激光在标定板上的准确位置,在标定板上存在至少两处特征,标定时,使线激光同时扫描到两处或更多出处特征;通过至少两处特征关系或连续变化的一组特征关系,求得标定板相对于线传感器、面传感器中心的偏转角,图像特征数据中相比测距点传感器多计距离算传感器自身的滚转角,在求传感器与图像标定数据时将上述数据带入计算。
9.根据权利要求1所述的多模态热源识别及三维空间定位系统,其特征在于:
还包括硬件帧同步步骤,获取对应的可见光特征图像、热像、以及深度信息的传感器通过信号控制同步采集数据。
10.根据权利要求1所述的多模态热源识别及三维空间定位系统,其特征在于:还包括时间戳同步步骤,异步获取对应的可见光图像、热像、以及深度信息的传感器各自采集数据,通过时间戳进行数据同步,融合后数据帧率以最小的那个设备帧率为准,用其数据时间戳匹配其它两个设备的最相邻时间戳数据进行融合。
11.一种多模态热源识别及三维空间定位系统,其特征在于:热成像摄像头替换为不可见光谱的相机,其他部件与权利要求1-10任一所述的多模态热源识别及三维空间定位系统相同,并在标定板上的温差特征替换为相应光谱特征,完成非可见光光谱相机与可见光相机、深度传感器的数据融合,亦将可见光相机替换为非可见光光谱相机。
12.根据权利要求11所述的多模态热源识别及三维空间定位系统,其特征在于:同时设置两种或两种以上光谱相机。
13.一种多模态热源识别及三维空间定位方法,其特征在于:使用如权利要求1-13任一所述的多模态热源识别及三维空间定位系统识别获取空间位置及其多模态数据。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述的计算机程序被处理器执行时实现如权利要求13所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011612452.7A CN112581545B (zh) | 2020-12-30 | 2020-12-30 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011612452.7A CN112581545B (zh) | 2020-12-30 | 2020-12-30 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112581545A true CN112581545A (zh) | 2021-03-30 |
CN112581545B CN112581545B (zh) | 2023-08-29 |
Family
ID=75144650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011612452.7A Active CN112581545B (zh) | 2020-12-30 | 2020-12-30 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112581545B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327290A (zh) * | 2021-06-07 | 2021-08-31 | 深圳市商汤科技有限公司 | 双目模组标定方法、装置、存储介质及电子设备 |
CN113420702A (zh) * | 2021-07-03 | 2021-09-21 | 深圳市迈斯泰克电子有限公司 | 基于人脸进行温度检测的方法、装置、系统以及存储介质 |
CN113495493A (zh) * | 2021-07-30 | 2021-10-12 | 青岛海尔空调器有限总公司 | 用于识别人体高度的方法及装置、家电设备、可读存储介质 |
CN113848234A (zh) * | 2021-09-16 | 2021-12-28 | 南京航空航天大学 | 一种基于多模态信息的航空复合材料的检测方法 |
CN114509776A (zh) * | 2022-04-08 | 2022-05-17 | 探维科技(北京)有限公司 | 硬件级图像融合系统的同步测量装置、方法、设备及介质 |
CN117824624A (zh) * | 2024-03-05 | 2024-04-05 | 深圳市瀚晖威视科技有限公司 | 一种基于人脸识别的室内追踪定位方法、系统及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103149556A (zh) * | 2013-01-29 | 2013-06-12 | 北京理工大学 | 一种用于特征点标定算法的热像仪与3d激光雷达温控标定靶 |
CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
WO2018225007A1 (en) * | 2017-06-09 | 2018-12-13 | Mectho S.R.L. | Method and system for object detection and classification |
EP3605393A1 (en) * | 2018-08-01 | 2020-02-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image correction due to deviations caused by temperature changes of camera light emitter |
CN211602174U (zh) * | 2020-03-24 | 2020-09-29 | 广州尚衡信息科技有限公司 | 一种红外热成像系统 |
-
2020
- 2020-12-30 CN CN202011612452.7A patent/CN112581545B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103149556A (zh) * | 2013-01-29 | 2013-06-12 | 北京理工大学 | 一种用于特征点标定算法的热像仪与3d激光雷达温控标定靶 |
CN107067470A (zh) * | 2017-04-05 | 2017-08-18 | 东北大学 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
WO2018225007A1 (en) * | 2017-06-09 | 2018-12-13 | Mectho S.R.L. | Method and system for object detection and classification |
CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
EP3605393A1 (en) * | 2018-08-01 | 2020-02-05 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image correction due to deviations caused by temperature changes of camera light emitter |
CN211602174U (zh) * | 2020-03-24 | 2020-09-29 | 广州尚衡信息科技有限公司 | 一种红外热成像系统 |
Non-Patent Citations (3)
Title |
---|
LGNACIO ROCCO ET AL: "RGB-D and Thermal Sensor Fusion", 《RESEARCHGATE》 * |
刘雨: "服务机器人室内三维环境热场建模及感知技术研究", 《中国优秀硕士论文全文数据库》 * |
曹彦鹏等: "红外热成像信号处理技术的研究进展", 《振动.测试与诊断》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327290A (zh) * | 2021-06-07 | 2021-08-31 | 深圳市商汤科技有限公司 | 双目模组标定方法、装置、存储介质及电子设备 |
CN113327290B (zh) * | 2021-06-07 | 2022-11-11 | 深圳市商汤科技有限公司 | 双目模组标定方法、装置、存储介质及电子设备 |
CN113420702A (zh) * | 2021-07-03 | 2021-09-21 | 深圳市迈斯泰克电子有限公司 | 基于人脸进行温度检测的方法、装置、系统以及存储介质 |
CN113495493A (zh) * | 2021-07-30 | 2021-10-12 | 青岛海尔空调器有限总公司 | 用于识别人体高度的方法及装置、家电设备、可读存储介质 |
CN113848234A (zh) * | 2021-09-16 | 2021-12-28 | 南京航空航天大学 | 一种基于多模态信息的航空复合材料的检测方法 |
CN114509776A (zh) * | 2022-04-08 | 2022-05-17 | 探维科技(北京)有限公司 | 硬件级图像融合系统的同步测量装置、方法、设备及介质 |
CN114509776B (zh) * | 2022-04-08 | 2022-07-29 | 探维科技(北京)有限公司 | 硬件级图像融合系统的同步测量装置、方法、设备及介质 |
CN117824624A (zh) * | 2024-03-05 | 2024-04-05 | 深圳市瀚晖威视科技有限公司 | 一种基于人脸识别的室内追踪定位方法、系统及存储介质 |
CN117824624B (zh) * | 2024-03-05 | 2024-05-14 | 深圳市瀚晖威视科技有限公司 | 一种基于人脸识别的室内追踪定位方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112581545B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112581545B (zh) | 多模态热源识别及三维空间定位系统、方法及存储介质 | |
Luhmann et al. | Sensor modelling and camera calibration for close-range photogrammetry | |
KR101070591B1 (ko) | 듀얼 스테레오 카메라를 구비한 거리 측정 장치 | |
US9710919B2 (en) | Image-based surface tracking | |
US9443308B2 (en) | Position and orientation determination in 6-DOF | |
US8153972B2 (en) | Infrared camera for locating a target using at least one shaped light source | |
EP2313737B1 (en) | System for adaptive three-dimensional scanning of surface characteristics | |
CN104272717B (zh) | 用于执行投影图像到检测到的红外线(ir)辐射信息的对准的方法和系统 | |
EP2111530B1 (en) | Automatic stereo measurement of a point of interest in a scene | |
EP3441788A1 (en) | Apparatus and method for generating a representation of a scene | |
CN103782232A (zh) | 投影仪及其控制方法 | |
CN110208771B (zh) | 一种移动二维激光雷达的点云强度改正方法 | |
CN112070841A (zh) | 一种毫米波雷达与摄像头快速联合标定方法 | |
US20060126923A1 (en) | Method for preparing stereo image and three-dimensional data preparation system | |
US9857232B2 (en) | Device for non-contact temperature measurement and temperature measurement method | |
CN107729893A (zh) | 一种合模机的视觉定位方法、系统和存储介质 | |
US11259000B2 (en) | Spatiotemporal calibration of RGB-D and displacement sensors | |
Crispel et al. | All-sky photogrammetry techniques to georeference a cloud field | |
CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
Li et al. | Application of 3D-LiDAR & camera extrinsic calibration in urban rail transit | |
CN112525161A (zh) | 一种旋转轴标定方法 | |
Weinmann et al. | Semi-automatic image-based co-registration of range imaging data with different characteristics | |
CN114663486A (zh) | 一种基于双目视觉的建筑物测高方法及系统 | |
Hrabar et al. | PTZ camera pose estimation by tracking a 3D target | |
US20240077310A1 (en) | Laser scanner with stereo camera vision for improved selective feature scanning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240514 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: Unit 1001, 369 Weining Road, Changning District, Shanghai, 200336 (9th floor of actual floor) Patentee before: DEEPBLUE TECHNOLOGY (SHANGHAI) Co.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |