CN107067470A - 基于红外热像仪与深度相机的便携式三维温度场重建系统 - Google Patents
基于红外热像仪与深度相机的便携式三维温度场重建系统 Download PDFInfo
- Publication number
- CN107067470A CN107067470A CN201710218682.7A CN201710218682A CN107067470A CN 107067470 A CN107067470 A CN 107067470A CN 201710218682 A CN201710218682 A CN 201710218682A CN 107067470 A CN107067470 A CN 107067470A
- Authority
- CN
- China
- Prior art keywords
- mtd
- msub
- mtr
- mrow
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Abstract
本发明涉及一种基于红外热像仪与深度相机的便携式三维温度场重建系统，包括：主处理单元、温度信息采集单元以及三维点云信息采集单元；其中主处理单元利用所包含的GPU器件实现对数据的处理与软件的运行；温度信息采集模块实现对物体表面温度信息的采集；三维点云信息采集模块实现对物体表面三维空间信息的采集，物体表面温度信息和物体表面三维空间信息传输至主处理单元进行处理，将处理后的信息通过可视化上位机进行显示。本发明能够实时在线的对场景进行三维建模，能够将红外温度场信息与三维模型融合，重建效果相比单方面使用RGB‑D深度摄像机或者红外热像仪有了明显的提高。
Description
技术领域
本发明涉及一种三维重建技术，具体的说是一种基于红外热像仪与深度相机的便携式三维温度场重建系统。
背景技术
三维重建技术可以在计算机中逼真地建立客观世界的虚拟信息空间，生成具有重要价值的三维形状信息。通过对这些三维形状信息分析、挖掘、检索和高效利用，可以满足例如数字工厂、数字城市、数字矿山、文物重建、灾情预警等许多重大应用的需求。而三维模型如果能够包含除了肉眼可识别的信息外还能包含更多的不可见信息，对于数字化工厂的应用，例如对设备运行状态进行检测等更有应用价值。而对于不可见光信息，目前最容易获得并包含大量信息的首先想到的就是红外温度场信息。因为许多设备常用于高温、高压和高速运转状态，应用红外热成像仪对这些设备进行检测和监控，既能保证设备的安全运转，又能发现异常情况以便及时排除隐患。
但一方面，由于当前的红外热像仪镜头范围有限，并且光学镜头的平面成像特点导致得到的红外热像图信息只能以二维图片的形式显示。所以，仅用红外热成像仪对于工厂生产过程的监控与检测方法仅仅停留在小范围环境下，并不能对整个工厂的设备运行情况进行监控。另一方面，虽然利用三维重建可以建立整个数字化工厂的三维模型，但这个过程实际上也仅仅使用了可见光的数据，在三维几何建模的过程也受工厂复杂生产环境(例如浓烟、粉尘)的干扰。
发明内容
针对现有技术中利用三维重建仅仅使用可见光数据，在三维几何建模的过程受工厂复杂生产环境的干扰、不能对整个工厂的设备运行情况进行监控等不足，本发明要解决的问题是提供一种能够将红外温度场信息与三维模型融合的基于红外热像仪与深度相机的便携式三维温度场重建系统。
为解决上述技术问题，本发明采用的技术方案是：
本发明一种基于红外热像仪与深度相机的便携式三维温度场重建系统，主处理单元、温度信息采集单元以及三维点云信息采集单元；其中主处理单元利用所包含的GPU器件实现对数据的处理与软件的运行；温度信息采集模块实现对物体表面温度信息的采集；三维点云信息采集模块实现对物体表面三维空间信息的采集，物体表面温度信息和物体表面三维空间信息传输至主处理单元进行处理，将处理后的信息通过可视化上位机进行显示。
主处理单元为附带GPU的PC机。
温度信息采集单元为红外热像仪(热红外相机)和深度摄像机，二者通过框架刚性的连接在一起，并安装在一手柄上。
三维点云信息采集单元为深度摄像头。
本发明一种基于红外热像仪与深度相机的便携式三维温度场重建系统，包括以下步骤：
信息采集单元参数标定：把信息采集单元采集到的初始数据进行预处理即时空标定；
位姿估计算法：将颜色信息与深度信息进行处理，得到传感器相对于目标物体的位置和方向即位姿；
数据存储算法：将信息采集单元采集到的海量数据，通过TSDF体集成算法把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的距离信息；
模型表面提取：将隐含表示物体表面的距离数据转换为能进一步处理的三维点云数据；
表面重建算法：通过提取出的物体表面的三维点云数据，利用PCL点云库下的表面重建算法进行三维温度场模块重建。
所述信息采集单元参数标定，是对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正，即建立其相机成像物理模型所对应的数学模型：
其中，u，v表示的是图像坐标系(u,v)，dx、dy为转换因子，ZC表示的是相机坐标系(XC,YC,ZC)中的Z轴，XW，YW，ZW表示的是世界坐标系(XW,YW,ZW)，fx、fy、R、T、α、β为待标定参数，M1为内参数矩阵，M2为外参数矩阵，为？矩阵[XW,YW,ZW]T，u0,v0为像素平面坐标系(u,v)的中心，0T为0矩阵的转置，旋转矩阵R和平移矩阵，t为相机的外部参数，R为3*3矩阵，t为3*1矩阵，0为(0，0，0)。
位姿估计算法中颜色信息是将加权后的RGB图像信息和红外图像信息与深度信息进行处理，具体为：将时空标定后的RGB图像和时空标定后的红外图像进行加权处理；
加权处理后的图像再与标定后深度图像通过ICP算法对相近的两幅深度图像进行迭代变换估计，得到前一帧图像和后一帧图像颜色信息的权值ω和深度信息的距离d；
时空标定后的红外图像与位姿和深度信息经过一系列的坐标变换，放到TSDF体中。
模型表面提取是通过TSDF体集成算法把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的隐式的距离信息；将目标物体表面在TSDF空间的隐式的距离信息转换成显式的、计算机可识别的点云信息，具体为：
从第一个体素点开始，依次判断前后两个体素中所存储的TSDF值的变号情况，当遇到变号，则保存当前体素的坐标值，并取得当前体素坐标对应的RGB体数据的值与红外体数据的值；
对于已经保存的坐标值(x,y,z)，根据预先设定的分辨率以及体数据的大小求得这个体素坐标对应的现实世界的顶点坐标(Vx,Vy,Vz),然后保存该体素中的TSDF值Fn，再按照当前帧实现方向，分别取得体素坐标的顶点坐标以及该体素给所存储的TSDF值；
对于已经得到的体素利用如下公式做三线性插值求得x、y、z方向的坐标即为提取得到的表面的三维点云坐标信息(px,py,pz)：
表面重建算法是通过提取出的物体表面的三维点云数据，利用PCL点云库下的表面重建算法进行三维温度场模块重建，将目标物体表面的点云信息转换成可以用于可视化软件显示的致密的网格表面，最终输出目标物体表面的ply格式的网格模型，具体为：
对于已得到的三维点云坐标，根据其对应体素的RGB值与红外温度值对其进行赋值即可以得到颜色点值，最后将所有的体素都进行遍历处理就可以得到物体表面的颜色点云数据，并最终将这些数据用于物体致密模型的表面重建过程；
表面重建算法中曲面重建的过程随着物体表面点云的提取不断的增量时进行，利用贪婪投影三角化算法实现，即：
先将有向点云投影到某一局部二维坐标平面内，再在坐标平面内进行平面内的三角化，再根据平面内三位点的拓扑连接关系获得一个三角网格曲面模型，从而得到各点之间的连接关系；
基于Delaunay的空间区域增长算法，通过选取某个样本三角片作为初始曲面，不断扩张曲面边界，最后形成一张完整的三角网格曲面；
最后根据投影点云的连接关系得到原始三维点间的拓扑关系，所得三角网格即为重建得到的曲面模型。
本发明具有以下有益效果及优点：
1.本发明实现了基于红外热像仪与深度摄像机的便携式三维温度场模型重建系统，该系统能够实时在线的对场景进行三维建模，能够将红外温度场信息与三维模型融合，重建效果相比单方面使用RGB-D深度摄像机或者红外热像仪有了明显的提高，证明了系统设计的有效性。
2.本发明硬件装置构成合理、简洁，可以手持，也可以搭载在其他硬件平台(例如机器人或四旋翼飞机)上；上位机平台操作使用方便，操作快捷，成本低廉，同时不受可见光影响可以快速地进行温度场的三维扫描与模型重建。
附图说明
图1为本发明基于红外热像仪与深度摄像机的便携式三维温度场模型重建系统的总结构框图；
图2为本发明基于红外热像仪与深度摄像机的便携式三维温度场模型重建系统的相机标定算法示意图；
图3为本发明基于红外热像仪与深度摄像机的便携式三维温度场模型重建系统的位姿估计算法示意图；
图4为本发明基于红外热像仪与深度摄像机的便携式三维温度场模型重建系统的数据存储与表面重建算法示意图；
图5为本发明基于红外热像仪与深度摄像机的便携式三维温度场模型重建系统的上位机可视化界面示意图。
具体实施方式
下面结合说明书附图对本发明作进一步阐述。
如图1所示，基于红外热像仪与深度相机的便携式三维温度场重建系统包括：主处理单元、温度信息采集单元以及三维点云信息采集单元；其中主处理单元利用所包含的GPU器件实现对数据的处理与软件的运行；温度信息采集模块实现对物体表面温度信息的采集；三维点云信息采集模块实现对物体表面三维空间信息的采集，物体表面温度信息和物体表面三维空间信息传输至主处理单元进行处理，将处理后的信息通过可视化上位机进行显示。
温度信息采集单元为红外热像仪(热红外相机)和深度摄像机，二者通过框架刚性的连接在一起，并安装在一手柄上。三维点云信息采集单元为深度摄像头。
本实施例中，整个系统包括硬件平台、软件算法、上位机界面三部分。
红外热像仪和深度摄像机负责采集目标物体的红外、深度和RGB信息，通过USB数据线连接计算机，并把采集到的信息传输到计算机中，计算机通过GPU的加速技术，对采集到的信息运用现有的软件算法进行处理，把处理完毕的信息用可视化上位机平台显示。
系统的硬件平台包括：信息采集模块以及附带GPU的PC机。
信息采集模块由一个轻重量(小于500克)热红外相机Optris PI450和一个深度摄像机ASUS Xtion利用3D打印快速成型技术构建轻质高强度框架将两者刚性的连接在一起，并安装在了一个符合人体工程学的手柄上。作为操作者只需要手持该装置平稳地在场景中进行移动，并将传感器朝向被测量物体，传感器从场景捕获的实时几何信息便可以通过算法与软件产生精确的三维模型。并且可以估计出相对于该模型的装置的位置和方向(即位姿)，同时将从摄像机得到的颜色外观的信息和热红外相机得到的温度分布叠加在三维模型上，生成场景的一个单一的完整的温度光谱模型。
所述信息采集模块包括：红外热像仪、深度摄像机、手持硬件框架、USB数据线。
红外热像仪为温度信息采集单元，用于实时采集目标物体的温度场信息，并将信息发送至计算机。
本实施方式中，红外热像仪采用的是Optris PI450热红外相机。其技术参数如表1所示。
表1Optris PI450技术参数
深度摄像机三维点云信息的采集单元，实现对物体表面三维空间信息的采集，是可以获取到颜色信息RGB图像与深度信息(depth)的摄像机。
本实施方式中，RGB-D传感器选择ASUS Xtion传感器。它分布了三个传感器，分别是红外线发射器、彩色摄像头、红外接受器。红外发射器仪结构光的形式将红外线均匀的打到场景中，在通过红外接收器对每个像素的接收时间进行记录，通过光线的运行时间计算出每个像素到物体表面的距离值，由此得到一幅“深度”图像。RGB-D传感器ASUS Xtion的技术参数如表2所示。
表2ASUS Xtion传感器技术参数
手持硬件框架，用于连接并支撑红外热像仪和深度相机，利用3D打印技术快速生成轻质高强度的硬件结构。利用模型绘制软件绘制出的支架的模型，然后通过移动设备将它输入到3D打印机中，对其进行设置后，打印机就可以把整个模型打印出来。
USB数据线，作为传感器与计算机之间的信息传输媒介，用于把采集到的信息实时传输到计算机中。
本实施方式中，USB数据线用的是传输速度可达到每秒百兆的3.0接口数据线。
PC机为主处理器，用于获取红外热像仪和深度摄像机采集到的基本信息，将传感器采集到的红外信息、RGB信息和深度信息通过计算机软件和相应算法进行处理，最后把处理完毕的信息通过可视化软件显示出来。
本实施方式中，PC机为东北大学流程工业综合自动化国家重点实验室配备的DELL工作站。
GPU作为图形处理单元，对整个系统进行加速以达到实时性。由于传感器的输入分辨率高达640×480，因此每一帧的数据量(RGB数据和点云数据)都将十分巨大，如果仅仅使用CPU进行顺序操作，那将耗费巨大的运算时间和内存在海量数据的处理与分析上，对于系统高效实时的运行十分不利。而系统输入的数据是以像素为单位，它们由相机坐标系下的像素坐标进行索引，互相之间并没有相互联系，因此可以以每一个像素为单位对数据的坐标变换等运算，然后再将这些运算整合到一起进行下一步处理。由于算法执行可以满足的这个特性，因此可以利用GPU的并行计算进行加速。对于每一帧输入的图像数据从坐标原点开始依次提取出像素坐标，根据图像的分辨率得到需要的GPU线程数，根据提取出的像素坐标赋予对应的线程号，在线程中对每一个线程的像素点，提取出深度值、RGB值等，对其进行坐标变换等操作，最后将所有线程得到的运算结果再赋给图像对应坐标中，完成并行加速计算。
本实施方式中，GPU的型号为nvidia tesla k40。
本发明基于红外热像仪与深度相机的便携式三维温度场重建系统的重建步骤如下：
信息采集单元参数标定：把信息采集单元采集到的初始数据进行预处理即时空标定；
位姿估计算法：将颜色信息(加权后的RGB图像和红外图像)与深度信息进行处理，得到传感器相对于目标物体的位置和方向即位姿；
数据存储算法：将信息采集单元采集到的海量数据，通过TSDF体集成算法把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的距离信息；
模型表面提取：将隐含表示物体表面的距离数据转换为能进一步处理的三维点云数据；
表面重建算法：通过提取出的物体表面的三维点云数据，利用PCL点云库下的表面重建算法进行三维温度场模块重建。
本发明所有算法以基于SLAM(simultaneous localization and mapping)算法领域中来自伦敦帝国理工学院Thomas Whelan开发的开源算法Kintinuous为基础，应用大量的开源算法包对此算法进行改进，并且对算法的软件实现进行改写并将其移植到Linux操作系统下的ROS机器人操作系统平台上，实现自己的含有附加温度场信息的三维手持实时重建系统。
相机参数的标定，在本发明中用于实现对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正，即把传感器采集到的初始数据进行预处理(时空标定)。在图像识别领域以及机器视觉成像的测量过程中，为了使得空间中的某个点对应于各个坐标系下的三维坐标能与其在成像平面下图像中相对应像素点的联系，首先要做的是必须建立其相机成像物理模型所对应的数学模型，而这些模型的建立过程中不可或缺的参数就是相机参数。由于不同的相机结构工艺各有不同，因此这些参数必须要通过进行一些实验的测试才能获得，而这种利用实验计算求解这些相机数学模型参数的过程就被称为相机标定(如图2所示)。
相机数学模型为：
其中，u，v表示的是图像坐标系(u,v)，dx、dy为转换因子，ZC表示的是相机坐标系(XC,YC,ZC)中的Z轴，XW，YW，ZW表示的是世界坐标系(XW,YW,ZW)，fx、fy、R、T、α、β为待标定参数，M1为内参数矩阵，M2为外参数矩阵，为矩阵[XW,YW,ZW]T，u0,v0为像素平面坐标系(u,v)的中心，0T为0矩阵的转置，旋转矩阵R和平移矩阵，t为相机的外部参数，R为3*3矩阵，t为3*1矩阵，0为(0，0，0)。
选择合适的方法对于相机标定结果的准确性和稳定性有着重要意义，同时也会直接的影响到相机在整个系统工作时所产生结果的准确性。相机的标定包括确定内参数的内部标定，确定外参数的外部标定，由于将两种传感器采集的数据作为输入量，因此还应包含确定两者输入信息时间一致性的时间同步标定。
本实施方式中，采用的相机标定方法为图2所示的国际上最常用的“张正友棋盘标定法”。
如图3所示，位姿估计算法中颜色信息是将加权后的RGB图像信息和红外图像信息与深度信息进行处理，具体为：
将时空标定后的RGB图像和时空标定后的红外图像进行加权处理；
加权处理后的图像再与标定后深度图像通过ICP算法对相近的两幅深度图像进行迭代变换估计，得到前一帧图像和后一帧图像颜色信息的权值ω和深度信息的距离d；
时空标定后的红外图像与位姿和深度信息经过一系列的坐标变换，放到一开始定义的TSDF体中。
位姿估计算法，用于把颜色信息(加权后的RGB图像和红外图像)与深度信息进行处理，得到传感器相对于目标物体的位置和方向(即位姿)。
本实施方式中，用到了位姿估计中最为经典的ICP算法对位姿进行估计的同时，加入了RGB信息与红外温度信息，通过这两种附加的信息来增加位姿估计的准确性。其算法流程如图3所示。同时，由于引进了不可见信息，因此可以保证系统在浓雾环境甚至在完全黑暗的环境中也可以正常运行。
本实施方式中，ICP算法实现对相近的两幅深度图像进行迭代变换估计，得到前一帧图像和后一帧图像颜色信息的权值ω和深度信息的距离d。
数据存储模块，用于合理组织得到的海量数据，通过TSDF体集成算法(KinectFusion的核心算法)把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的距离信息(-1,1)。本系统的数据存储与更新算法如图4所示。
本实施方式中，TSDF是截断符号距离函数(Truncated Signed DistanceFunctions)的简称。利用体数据表示整个三维模型，并在体素中存储TSDF数据来实现模型的增量式建立，并且获得较为精细的三维模型。而对于传感器对同一物体的不同角度进行扫描过程中，应用何种方式结合已有数据和新得到的数据，去除掉不准确或重复的信息，融合新的有用的信息变得十分重要。根据TSDF的特性，通过多个不同的观察视角下传感器所获得的信息，可以在一个TSDF体数据中整合这些来自不同视点的信息，通过这种动态更新的方法以不断提高数据的精度同时添加表面中在上一个视场范围中的缺失的表面部分。这一部分需要通过加权求和来完成，通常通过TSDF的迭代进行体数据更新。这个更新过程按照如下公式进行：
Wi+1(x)＝Wi(x)+wi+1(x)
本实施方式中，TSDFi+1(x)表示所有观察值tsdf+1i(x)与1≤j≤i的积分。Wi+1(x)评估TSDFi+1(x)的不确定性。
本实施方式中，在体数据更新过程中通过对光线投射的方向ray与每一个包含表面的体素中的表面法向量的角度对wi(x)进行赋值，角度越小权重越大，角度大于一定阈值权值赋0。这与大多数体数据更新方法对于所有更新的体素将不确定性权重都设置为wi(x)＝1，对于相机视野外的所有体素将wi(x)设置为0是截然不同的。
本实施方式中，为了实现实时性，对TSDF体数据的更新同样采用GPU来实现。完整的3D体素网格在GPU上被分配为对齐的线性存储器。内存分配时体数据为5123分辨率，且每个体素包含32bit的数据，因此总共需要512MB的内存空间。为了提高运行效率，给定内存对齐，使得来自并行线程的访问可以合并，以增加内存存储量。该算法确保了对体素网格的合并访问，同时积累深度数据，可以满足对于大型场景的实时重建过程。
模型表面提取是通过TSDF体集成算法(KinectFusion的核心算法)把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的隐式的距离信息；将目标物体表面在TSDF空间的隐式的距离信息转换成显式的、计算机可识别的点云信息。
三维模型的表面提取与重建算法，实际包含着两个步骤：表面提取和表面重建，其算法流程如图4所示。
表面提取算法，用于把目标物体表面在TSDF空间的隐式的距离信息转换成显式的、计算机可识别的点云信息。
本实施方式中，表面提取算法从第一个体素点开始，依次判断前后两个体素中所存储的TSDF值的变号情况，当遇到变号，则保存当前体素的坐标值，并取得当前体素坐标对应的RGB体数据的值与红外体数据的值。对于已经保存的坐标值(x,y,z)，根据预先设定的分辨率以及体数据的大小求得这个体素坐标对应的现实世界的顶点坐标(Vx,Vy,Vz),然后保存这个体素中的TSDF值Fn，然后按照当前帧实现方向，以x方向为例，分别取得体素坐标(x+1,y,z)的顶点坐标(Vx+1,Vy,Vz)以及这个体素只能给所存储的TSDF值Fx，Fy、Fz方向同理可得。对于已经得到的体素利用如下公式做三线性插值求得x、y、z方向的坐标即为提取得到的表面的三维点云坐标信息(px,py,pz)。
表面重建算法，用于把目标物体表面的点云信息转换成可以用于可视化软件显示的致密的网格表面，最终输出目标物体表面的ply格式的网格模型。
本实施方式中，对于已得到的三维点云坐标，根据其对应体素的RGB值与红外温度值对其进行赋值即可以得到颜色点值，最后将所有的体素都进行遍历处理就可以得到物体表面的颜色点云数据，并最终将这些数据用于物体致密模型的表面重建过程。
本实施方式中，希望的是曲面重建的过程可以随着物体表面点云的提取不断的增量时进行。而基于这个要求，现有的贪婪投影三角化算法是最为理想的方法。
贪婪投影三角化算法是对有向点云进行三角化的一种算法。具体方法是先将有向点云投影到某一局部二维坐标平面内，再在坐标平面内进行平面内的三角化，再根据平面内三位点的拓扑连接关系获得一个三角网格曲面模型，从而得到个点之间的连接关系。早平面区域的三角化过程中用到了基于Delaunay的空间区域增长算法，这个方法通过选取某个样本三角片作为初始曲面，不断扩张曲面边界，最后形成一张完整的三角网格曲面。最后根据投影点云的连接关系去顶个原始三维点间的拓扑关系，所得三角网格即为重建得到的曲面模型。
上位机可视化界面作为基于红外热像仪与深度摄像机的三维温度场模型重建系统的可视化软件。其在线运行界面的设计实现最主要的在于对当前图像信息的对比显示以及对整个重建过程的显示与切换过程，并且将整个传感器的移动位姿曲线显示窗口上。可视化窗口将当前的图像数据固定的显示在界面上，而重建过程利用用户手动做选择。
本实施方式中，主显示窗口用来显示当前进行的某些重建过程，例如当前帧点云，同时也可以用来显示当前数据在全局模型中递增式重建生成模型显示的过程，这些过程的显示与用户在人机交互栏的操作一一对应。辅助显示栏用来实时显示当前帧下的三个传感器所获得的图像，同时也将系统运算得到的渲染的三维模型实时在线的显示出来。如图5所示。图的下半部分，从左往右窗口依次显示的是RGB传感器获得的当前RGB图像，红外热像仪获得的红外温度图像，深度摄像机获得的当前深度图像，模型通过raycasting渲染得到的对应当前帧视角下的模型，当前帧视角下的三维模型的法向量值。通过这个固定的窗口可以观察输入图像的数据的正确性，同时通过右边两个窗口的显示值来判断系统是否运行正常。
本实施方式中，上位机界面应用了跨平台的C++图形用户界面应用程序开发框架QT来开发。QT的优点在于：优良的跨平台性、可面向对象、丰富的API。
Claims (10)
1.一种基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于包括：主处理单元、温度信息采集单元以及三维点云信息采集单元；其中主处理单元利用所包含的GPU器件实现对数据的处理与软件的运行；温度信息采集模块实现对物体表面温度信息的采集；三维点云信息采集模块实现对物体表面三维空间信息的采集，物体表面温度信息和物体表面三维空间信息传输至主处理单元进行处理，将处理后的信息通过可视化上位机进行显示。
2.按权利要求1所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：主处理单元为附带GPU的PC机。
3.按权利要求1所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：温度信息采集单元为红外热像仪(热红外相机)和深度摄像机，二者通过框架刚性的连接在一起，并安装在一手柄上。
4.按权利要求1所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：三维点云信息采集单元为深度摄像头。
5.按权利要求1所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于包括以下步骤：
信息采集单元参数标定：把信息采集单元采集到的初始数据进行预处理即时空标定；
位姿估计算法：将颜色信息与深度信息进行处理，得到传感器相对于目标物体的位置和方向即位姿；
数据存储算法：将信息采集单元采集到的海量数据，通过TSDF体集成算法把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的距离信息；
模型表面提取：将隐含表示物体表面的距离数据转换为能进一步处理的三维点云数据；
表面重建算法：通过提取出的物体表面的三维点云数据，利用PCL点云库下的表面重建算法进行三维温度场模块重建。
6.按权利要求5所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：所述信息采集单元参数标定，是对相机传感器内在误差、硬件系统外部误差以及数据采集的时间误差的校正，即建立其相机成像物理模型所对应的数学模型：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Z</mi>
<mi>C</mi>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>/</mo>
<mi>d</mi>
<mi>x</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mn>1</mn>
<mo>/</mo>
<mi>d</mi>
<mi>y</mi>
</mrow>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mn>0</mn>
<mi>T</mi>
</msup>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>W</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>W</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>&alpha;</mi>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mi>&beta;</mi>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mn>0</mn>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>R</mi>
</mtd>
<mtd>
<mi>t</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mn>0</mn>
<mi>T</mi>
</msup>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>W</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>W</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>M</mi>
<mn>1</mn>
</msub>
<msub>
<mi>M</mi>
<mn>2</mn>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Y</mi>
<mi>W</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>Z</mi>
<mi>W</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>M</mi>
<mn>1</mn>
</msub>
<msub>
<mi>M</mi>
<mn>2</mn>
</msub>
<mover>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mi>M</mi>
<mover>
<msub>
<mi>X</mi>
<mi>w</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，u，v表示的是图像坐标系(u,v)，dx、dy为转换因子，ZC表示的是相机坐标系(XC,YC,ZC)中的Z轴，XW，YW，ZW表示的是世界坐标系(XW,YW,ZW)，fx、fy、R、T、α、β为待标定参数，M1为内参数矩阵，M2为外参数矩阵，为？矩阵[XW,YW,ZW]T，u0,v0为像素平面坐标系(u,v)的中心，0T为0矩阵的转置，旋转矩阵R和平移矩阵，t为相机的外部参数，R为3*3矩阵，t为3*1矩阵，0为(0，0，0)。
7.按权利要求5所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：位姿估计算法中颜色信息是将加权后的RGB图像信息和红外图像信息与深度信息进行处理，具体为：将时空标定后的RGB图像和时空标定后的红外图像进行加权处理；
加权处理后的图像再与标定后深度图像通过ICP算法对相近的两幅深度图像进行迭代变换估计，得到前一帧图像和后一帧图像颜色信息的权值ω和深度信息的距离d；
时空标定后的红外图像与位姿和深度信息经过一系列的坐标变换，放到TSDF体中。
8.按权利要求5所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于模型表面提取是通过TSDF体集成算法把图像的深度信息和位姿进行结合，得到目标物体表面在TSDF空间的隐式的距离信息；将目标物体表面在TSDF空间的隐式的距离信息转换成显式的、计算机可识别的点云信息，具体为：
从第一个体素点开始，依次判断前后两个体素中所存储的TSDF值的变号情况，当遇到变号，则保存当前体素的坐标值，并取得当前体素坐标对应的RGB体数据的值与红外体数据的值；
对于已经保存的坐标值(x,y,z)，根据预先设定的分辨率以及体数据的大小求得这个体素坐标对应的现实世界的顶点坐标(Vx,Vy,Vz),然后保存该体素中的TSDF值Fn，再按照当前帧实现方向，分别取得体素坐标的顶点坐标以及该体素给所存储的TSDF值；
对于已经得到的体素利用如下公式做三线性插值求得x、y、z方向的坐标即为提取得到的表面的三维点云坐标信息(px,py,pz)：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>p</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mi>x</mi>
</msub>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>x</mi>
</msub>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>x</mi>
</msub>
<mo>|</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>p</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mi>y</mi>
</msub>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>y</mi>
</msub>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>y</mi>
</msub>
<mo>|</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>p</mi>
<mi>z</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>V</mi>
<mi>z</mi>
</msub>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>z</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>z</mi>
</msub>
<mo>|</mo>
<mo>)</mo>
</mrow>
<mrow>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>|</mo>
<msub>
<mi>F</mi>
<mi>z</mi>
</msub>
<mo>|</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
9.按权利要求5所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：表面重建算法是通过提取出的物体表面的三维点云数据，利用PCL点云库下的表面重建算法进行三维温度场模块重建，将目标物体表面的点云信息转换成可以用于可视化软件显示的致密的网格表面，最终输出目标物体表面的ply格式的网格模型，具体为：
对于已得到的三维点云坐标，根据其对应体素的RGB值与红外温度值对其进行赋值即可以得到颜色点值，最后将所有的体素都进行遍历处理就可以得到物体表面的颜色点云数据，并最终将这些数据用于物体致密模型的表面重建过程；
10.按权利要求5所述的基于红外热像仪与深度相机的便携式三维温度场重建系统，其特征在于：表面重建算法中曲面重建的过程随着物体表面点云的提取不断的增量时进行，利用贪婪投影三角化算法实现，即：
先将有向点云投影到某一局部二维坐标平面内，再在坐标平面内进行平面内的三角化，再根据平面内三位点的拓扑连接关系获得一个三角网格曲面模型，从而得到各点之间的连接关系；
基于Delaunay的空间区域增长算法，通过选取某个样本三角片作为初始曲面，不断扩张曲面边界，最后形成一张完整的三角网格曲面；
最后根据投影点云的连接关系得到原始三维点间的拓扑关系，所得三角网格即为重建得到的曲面模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710218682.7A CN107067470B (zh) | 2017-04-05 | 2017-04-05 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710218682.7A CN107067470B (zh) | 2017-04-05 | 2017-04-05 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107067470A true CN107067470A (zh) | 2017-08-18 |
| CN107067470B CN107067470B (zh) | 2019-09-06 |
Family
ID=59603279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710218682.7A Expired - Fee Related CN107067470B (zh) | 2017-04-05 | 2017-04-05 | 基于红外热像仪与深度相机的便携式三维温度场重建系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107067470B (zh) |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808412A (zh) * | 2017-11-16 | 2018-03-16 | 北京航空航天大学 | 一种基于低成本的三维热源环境模型确定环境信息方法 |
| CN108376186A (zh) * | 2018-01-17 | 2018-08-07 | 北京大学 | 一种基于迁移学习的仓储粮食温度场估计方法 |
| CN108447096A (zh) * | 2018-02-09 | 2018-08-24 | 西南科技大学 | kinect深度相机与热红外相机的信息融合方法 |
| CN108535321A (zh) * | 2018-03-30 | 2018-09-14 | 吉林建筑大学 | 一种基于三维红外热成像技术的建筑热工性能检测方法 |
| CN108606782A (zh) * | 2018-04-28 | 2018-10-02 | 泰州市榕兴医疗用品股份有限公司 | 一种创面成像系统 |
| CN108734772A (zh) * | 2018-05-18 | 2018-11-02 | 宁波古德软件技术有限公司 | 基于Kinect fusion的高精度深度图像获取方法 |
| CN108759673A (zh) * | 2018-06-20 | 2018-11-06 | 北京惠风联合防务科技有限公司 | 光学3d与红外双模复合视频精确测量监视系统 |
| CN109115347A (zh) * | 2018-07-23 | 2019-01-01 | 深圳供电局有限公司 | 一种电缆沟热点检测方法及系统 |
| CN109118564A (zh) * | 2018-08-01 | 2019-01-01 | 湖南拓视觉信息技术有限公司 | 一种基于融合体素的三维点云标记方法和装置 |
| CN109480788A (zh) * | 2018-09-11 | 2019-03-19 | 广州市妇女儿童医疗中心 | 一种人体皮肤表皮与皮下肌肉层三维红外热成像检测方法 |
| CN109613558A (zh) * | 2018-12-12 | 2019-04-12 | 北京华科博创科技有限公司 | 一种全固态激光雷达系统的数据融合并行处理方法及系统 |
| CN109754426A (zh) * | 2017-11-01 | 2019-05-14 | 虹软科技股份有限公司 | 一种用于验证的方法和装置 |
| CN109816731A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种rgb和深度信息精确配准的方法 |
| CN110096144A (zh) * | 2019-04-08 | 2019-08-06 | 汕头大学 | 一种基于三维重建的交互全息投影方法及系统 |
| CN110554864A (zh) * | 2019-09-05 | 2019-12-10 | 熵智科技(深圳)有限公司 | 一种面向3d视觉物体识别的图形化编程装置 |
| CN110672212A (zh) * | 2019-09-19 | 2020-01-10 | 珠海格力电器股份有限公司 | 一种空间三维温度场检测方法、计算机可读存储介质及智能家电 |
| CN110717987A (zh) * | 2019-10-11 | 2020-01-21 | 徐州中矿奥特麦科技有限公司 | 一种基于料场模型和温度模型的数据融合方法 |
| CN110880229A (zh) * | 2019-12-02 | 2020-03-13 | 北京深测科技有限公司 | 一种地质灾害监测预警方法和系统 |
| CN111083310A (zh) * | 2019-12-26 | 2020-04-28 | 广东弓叶科技有限公司 | 2d线阵相机和3d线阵相机数据同步的处理方法及系统 |
| CN111144169A (zh) * | 2018-11-02 | 2020-05-12 | 深圳比亚迪微电子有限公司 | 人脸识别方法、装置和电子设备 |
| CN111323125A (zh) * | 2020-02-28 | 2020-06-23 | 北京格灵深瞳信息技术有限公司 | 一种测温方法、装置及计算机存储介质、电子设备 |
| CN111652973A (zh) * | 2020-06-12 | 2020-09-11 | 深圳市人工智能与机器人研究院 | 一种基于混合现实的监控方法、系统及相关设备 |
| CN111693175A (zh) * | 2020-07-22 | 2020-09-22 | 广州大学 | 基于光纤光栅串测量空间温度场的方法、系统、装置及介质 |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像系统 |
| CN111714362A (zh) * | 2020-06-15 | 2020-09-29 | 宿迁市宿城区人民医院 | 一种经络穴位温度热成像采集拟合方法 |
| CN112132972A (zh) * | 2020-09-29 | 2020-12-25 | 凌美芯（北京）科技有限责任公司 | 一种激光与图像数据融合的三维重建方法及系统 |
| CN112284291A (zh) * | 2020-10-22 | 2021-01-29 | 华中科技大学鄂州工业技术研究院 | 一种可获取物理纹理的三维扫描方法及装置 |
| CN112581545A (zh) * | 2020-12-30 | 2021-03-30 | 深兰科技（上海）有限公司 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
| CN112614215A (zh) * | 2020-11-27 | 2021-04-06 | 南京航空航天大学 | 一种三维测量表面温度场重建方法 |
| CN112944562A (zh) * | 2021-02-18 | 2021-06-11 | 格力电器（武汉）有限公司 | 一种空调控制方法、装置、存储介质及空调 |
| CN113409450A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种包含rgbdt信息的鸡只三维重建方法 |
| CN113432734A (zh) * | 2021-06-16 | 2021-09-24 | 南京江行联加智能科技有限公司 | 智能开关柜温度监测方法、装置、设备及存储介质 |
| CN113591251A (zh) * | 2021-08-17 | 2021-11-02 | 中冶北方（大连）工程技术有限公司 | 设备故障温度分析诊断方法 |
| CN113643436A (zh) * | 2021-08-24 | 2021-11-12 | 凌云光技术股份有限公司 | 一种深度数据拼接融合方法及装置 |
| CN113834571A (zh) * | 2020-06-24 | 2021-12-24 | 杭州海康威视数字技术股份有限公司 | 一种目标测温方法、装置及测温系统 |
| CN113920240A (zh) * | 2021-05-19 | 2022-01-11 | 珠海市精实测控技术有限公司 | 一种实验室温度场三维成像方法 |
| TWI756932B (zh) * | 2020-11-20 | 2022-03-01 | 財團法人工業技術研究院 | 熱像設備及熱像儀之溫度校正方法 |
| CN114325274A (zh) * | 2022-01-10 | 2022-04-12 | 西南交通大学 | 一种换流变阀侧套管局部放电检测系统及方法 |
| CN114913293A (zh) * | 2022-07-18 | 2022-08-16 | 南方科技大学 | 三维热像模型生成方法、装置、系统及电子设备 |
| CN116090094A (zh) * | 2022-12-27 | 2023-05-09 | 武汉理工大学 | 一种基于红外热成像的船体热模型建立方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104568157A (zh) * | 2014-12-25 | 2015-04-29 | 北京农业信息技术研究中心 | 一种提高热红外成像测温精度的装置及方法 |
| CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
| CN106105192A (zh) * | 2014-01-03 | 2016-11-09 | 英特尔公司 | 通过深度相机的实时3d重建 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
-
2017
- 2017-04-05 CN CN201710218682.7A patent/CN107067470B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106105192A (zh) * | 2014-01-03 | 2016-11-09 | 英特尔公司 | 通过深度相机的实时3d重建 |
| CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
| CN104568157A (zh) * | 2014-12-25 | 2015-04-29 | 北京农业信息技术研究中心 | 一种提高热红外成像测温精度的装置及方法 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| ZHUOLIANG KANG 等: "Fast dense 3D reconstruction using an adaptive multiscale discrete-continuous variational method", 《IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 * |
| 刘波: "基于多源图像的生猪体表温度和步态特征提取方法的研究", 《中国博士学位论文全文数据库信息科技辑（月刊）》 * |
| 李诗锐等: "基于Kinect v2的实时精确三维重建系统", 《软件学报》 * |
| 王会: "应用于三维温度场重建的红外热像仪标定技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑（月刊 )》 * |
| 邓念晨 等: "多Kinect实时室内动态场景三维重建", 《东华大学学报（自然科学版）》 * |
| 郭连朋 等: "基于Kinect传感器多深度图像融合的物体三维重建", 《应用光学》 * |
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109754426B (zh) * | 2017-11-01 | 2021-04-23 | 虹软科技股份有限公司 | 一种用于摄像标定参数验证的方法、系统和装置 |
| CN109754426A (zh) * | 2017-11-01 | 2019-05-14 | 虹软科技股份有限公司 | 一种用于验证的方法和装置 |
| CN107808412A (zh) * | 2017-11-16 | 2018-03-16 | 北京航空航天大学 | 一种基于低成本的三维热源环境模型确定环境信息方法 |
| CN109816731A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种rgb和深度信息精确配准的方法 |
| CN109816731B (zh) * | 2017-11-21 | 2021-08-27 | 西安交通大学 | 一种rgb和深度信息精确配准的方法 |
| CN108376186A (zh) * | 2018-01-17 | 2018-08-07 | 北京大学 | 一种基于迁移学习的仓储粮食温度场估计方法 |
| CN108376186B (zh) * | 2018-01-17 | 2020-06-26 | 北京大学 | 一种基于迁移学习的仓储粮食温度场估计方法 |
| CN108447096A (zh) * | 2018-02-09 | 2018-08-24 | 西南科技大学 | kinect深度相机与热红外相机的信息融合方法 |
| CN108535321A (zh) * | 2018-03-30 | 2018-09-14 | 吉林建筑大学 | 一种基于三维红外热成像技术的建筑热工性能检测方法 |
| CN108535321B (zh) * | 2018-03-30 | 2021-04-02 | 吉林建筑大学 | 一种基于三维红外热成像技术的建筑热工性能检测方法 |
| CN108606782A (zh) * | 2018-04-28 | 2018-10-02 | 泰州市榕兴医疗用品股份有限公司 | 一种创面成像系统 |
| CN108734772A (zh) * | 2018-05-18 | 2018-11-02 | 宁波古德软件技术有限公司 | 基于Kinect fusion的高精度深度图像获取方法 |
| CN108759673A (zh) * | 2018-06-20 | 2018-11-06 | 北京惠风联合防务科技有限公司 | 光学3d与红外双模复合视频精确测量监视系统 |
| CN109115347A (zh) * | 2018-07-23 | 2019-01-01 | 深圳供电局有限公司 | 一种电缆沟热点检测方法及系统 |
| CN109118564A (zh) * | 2018-08-01 | 2019-01-01 | 湖南拓视觉信息技术有限公司 | 一种基于融合体素的三维点云标记方法和装置 |
| CN109118564B (zh) * | 2018-08-01 | 2023-09-19 | 山东佳音信息科技有限公司 | 一种基于融合体素的三维点云标记方法和装置 |
| CN109480788A (zh) * | 2018-09-11 | 2019-03-19 | 广州市妇女儿童医疗中心 | 一种人体皮肤表皮与皮下肌肉层三维红外热成像检测方法 |
| CN111144169A (zh) * | 2018-11-02 | 2020-05-12 | 深圳比亚迪微电子有限公司 | 人脸识别方法、装置和电子设备 |
| CN109613558A (zh) * | 2018-12-12 | 2019-04-12 | 北京华科博创科技有限公司 | 一种全固态激光雷达系统的数据融合并行处理方法及系统 |
| CN110096144B (zh) * | 2019-04-08 | 2022-11-15 | 汕头大学 | 一种基于三维重建的交互全息投影方法及系统 |
| CN110096144A (zh) * | 2019-04-08 | 2019-08-06 | 汕头大学 | 一种基于三维重建的交互全息投影方法及系统 |
| CN110554864A (zh) * | 2019-09-05 | 2019-12-10 | 熵智科技(深圳)有限公司 | 一种面向3d视觉物体识别的图形化编程装置 |
| CN110672212A (zh) * | 2019-09-19 | 2020-01-10 | 珠海格力电器股份有限公司 | 一种空间三维温度场检测方法、计算机可读存储介质及智能家电 |
| CN110717987B (zh) * | 2019-10-11 | 2023-03-14 | 徐州中矿奥特麦科技有限公司 | 一种基于料场模型和温度模型的数据融合方法 |
| CN110717987A (zh) * | 2019-10-11 | 2020-01-21 | 徐州中矿奥特麦科技有限公司 | 一种基于料场模型和温度模型的数据融合方法 |
| CN110880229A (zh) * | 2019-12-02 | 2020-03-13 | 北京深测科技有限公司 | 一种地质灾害监测预警方法和系统 |
| CN111083310B (zh) * | 2019-12-26 | 2022-03-08 | 广东弓叶科技有限公司 | 2d线阵相机和3d线阵相机数据同步的处理方法及系统 |
| CN111083310A (zh) * | 2019-12-26 | 2020-04-28 | 广东弓叶科技有限公司 | 2d线阵相机和3d线阵相机数据同步的处理方法及系统 |
| CN111323125B (zh) * | 2020-02-28 | 2021-10-22 | 北京格灵深瞳信息技术有限公司 | 一种测温方法、装置及计算机存储介质、电子设备 |
| CN111323125A (zh) * | 2020-02-28 | 2020-06-23 | 北京格灵深瞳信息技术有限公司 | 一种测温方法、装置及计算机存储介质、电子设备 |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像系统 |
| CN111652973A (zh) * | 2020-06-12 | 2020-09-11 | 深圳市人工智能与机器人研究院 | 一种基于混合现实的监控方法、系统及相关设备 |
| CN111714362A (zh) * | 2020-06-15 | 2020-09-29 | 宿迁市宿城区人民医院 | 一种经络穴位温度热成像采集拟合方法 |
| CN113834571A (zh) * | 2020-06-24 | 2021-12-24 | 杭州海康威视数字技术股份有限公司 | 一种目标测温方法、装置及测温系统 |
| CN111693175A (zh) * | 2020-07-22 | 2020-09-22 | 广州大学 | 基于光纤光栅串测量空间温度场的方法、系统、装置及介质 |
| CN112132972B (zh) * | 2020-09-29 | 2024-03-22 | 凌美芯（北京）科技有限责任公司 | 一种激光与图像数据融合的三维重建方法及系统 |
| CN112132972A (zh) * | 2020-09-29 | 2020-12-25 | 凌美芯（北京）科技有限责任公司 | 一种激光与图像数据融合的三维重建方法及系统 |
| CN112284291A (zh) * | 2020-10-22 | 2021-01-29 | 华中科技大学鄂州工业技术研究院 | 一种可获取物理纹理的三维扫描方法及装置 |
| TWI756932B (zh) * | 2020-11-20 | 2022-03-01 | 財團法人工業技術研究院 | 熱像設備及熱像儀之溫度校正方法 |
| US11754446B2 (en) | 2020-11-20 | 2023-09-12 | Industrial Technology Research Institute | Thermal imaging apparatus and temperature calibration method of thermal imaging apparatus |
| CN112614215B (zh) * | 2020-11-27 | 2024-02-20 | 南京航空航天大学 | 一种三维测量表面温度场重建方法 |
| CN112614215A (zh) * | 2020-11-27 | 2021-04-06 | 南京航空航天大学 | 一种三维测量表面温度场重建方法 |
| CN112581545A (zh) * | 2020-12-30 | 2021-03-30 | 深兰科技（上海）有限公司 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
| CN112581545B (zh) * | 2020-12-30 | 2023-08-29 | 深兰科技（上海）有限公司 | 多模态热源识别及三维空间定位系统、方法及存储介质 |
| CN112944562A (zh) * | 2021-02-18 | 2021-06-11 | 格力电器（武汉）有限公司 | 一种空调控制方法、装置、存储介质及空调 |
| CN113920240B (zh) * | 2021-05-19 | 2022-12-13 | 珠海精实测控技术股份有限公司 | 一种实验室温度场三维成像方法 |
| CN113920240A (zh) * | 2021-05-19 | 2022-01-11 | 珠海市精实测控技术有限公司 | 一种实验室温度场三维成像方法 |
| CN113432734A (zh) * | 2021-06-16 | 2021-09-24 | 南京江行联加智能科技有限公司 | 智能开关柜温度监测方法、装置、设备及存储介质 |
| CN113409450A (zh) * | 2021-07-09 | 2021-09-17 | 浙江大学 | 一种包含rgbdt信息的鸡只三维重建方法 |
| CN113591251A (zh) * | 2021-08-17 | 2021-11-02 | 中冶北方（大连）工程技术有限公司 | 设备故障温度分析诊断方法 |
| CN113591251B (zh) * | 2021-08-17 | 2024-04-23 | 中冶北方（大连）工程技术有限公司 | 设备故障温度分析诊断方法 |
| CN113643436A (zh) * | 2021-08-24 | 2021-11-12 | 凌云光技术股份有限公司 | 一种深度数据拼接融合方法及装置 |
| CN113643436B (zh) * | 2021-08-24 | 2024-04-05 | 凌云光技术股份有限公司 | 一种深度数据拼接融合方法及装置 |
| CN114325274A (zh) * | 2022-01-10 | 2022-04-12 | 西南交通大学 | 一种换流变阀侧套管局部放电检测系统及方法 |
| CN114913293A (zh) * | 2022-07-18 | 2022-08-16 | 南方科技大学 | 三维热像模型生成方法、装置、系统及电子设备 |
| CN116090094A (zh) * | 2022-12-27 | 2023-05-09 | 武汉理工大学 | 一种基于红外热成像的船体热模型建立方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107067470B (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107067470B (zh) | 基于红外热像仪与深度相机的便携式三维温度场重建系统 | |
| CN100388319C (zh) | 三维主动视觉传感器的多视点姿态估计和自标定方法 | |
| JP6635690B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN108038902A (zh) | 一种面向深度相机的高精度三维重建方法和系统 | |
| EP1886281B1 (en) | Image processing method and image processing apparatus | |
| AU2011312140B2 (en) | Rapid 3D modeling | |
| US9058647B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| Gallego et al. | A variational stereo method for the three-dimensional reconstruction of ocean waves | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| WO2010095107A1 (en) | System and method for geometric modeling using multiple data acquisition means | |
| CN107657659A (zh) | 基于长方体拟合扫描三维点云的曼哈顿结构建筑物自动建模方法 | |
| CN107796370B (zh) | 用于获取转换参数的方法、装置及移动测图系统 | |
| CN105354819A (zh) | 深度数据测量系统、深度数据确定方法和装置 | |
| JP7182976B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN104616348A (zh) | 基于多目立体视觉的织物外观重建方法 | |
| Abdul-Rahman et al. | Innovations in 3D geo information systems | |
| CN101221041A (zh) | 三维数字化测量中的一种颜色渲染方法 | |
| CN113034571A (zh) | 一种基于视觉—惯性的物体三维尺寸测量方法 | |
| JP4354708B2 (ja) | 多視点カメラシステム | |
| CN105678833A (zh) | 一种基于多视点图像三维建模的点云几何数据的自动拼接算法 | |
| CN111627100A (zh) | 一种用于评价摄影测量精度的数值模拟方法 | |
| CN107504917A (zh) | 一种三维尺寸测量方法及装置 | |
| CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位系统及方法 | |
| CN113269860B (zh) | 一种高精度三维数据实时渐进式渲染方法和系统 | |
| CN113850860A (zh) | 一种遥操作姿态跟踪估计系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190906 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |