CN116977418A - 一种基于双目的远距离火焰定位方法、装置 - Google Patents

一种基于双目的远距离火焰定位方法、装置 Download PDF

Info

Publication number
CN116977418A
CN116977418A CN202310819831.0A CN202310819831A CN116977418A CN 116977418 A CN116977418 A CN 116977418A CN 202310819831 A CN202310819831 A CN 202310819831A CN 116977418 A CN116977418 A CN 116977418A
Authority
CN
China
Prior art keywords
flame
resolution
camera
dual
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310819831.0A
Other languages
English (en)
Inventor
王昊
张启兴
单志林
王冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Guotan Intelligent Technology Co ltd
Original Assignee
Hefei Zhongke Guotan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Guotan Intelligent Technology Co ltd filed Critical Hefei Zhongke Guotan Intelligent Technology Co ltd
Priority to CN202310819831.0A priority Critical patent/CN116977418A/zh
Publication of CN116977418A publication Critical patent/CN116977418A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及火焰检测技术领域，特别是涉及一种基于双目的远距离火焰定位方法、该定位方法应用于的远距离火焰定位装置。本发明采用高分辨率的双目相机，并增大两个相机的基线，使在观测远距离火焰时保证左右视图的目标仍然具有一定的视差，减小坐标误差。本发明先采用对高分辨率图片进行粗定位确定大致范围，再对高分辨率图片进行截取，在降低计算数据量的情况进行细定位，从而减少计算开销、并保证计算精度。

Description

一种基于双目的远距离火焰定位方法、装置
技术领域
本发明涉及火焰检测技术领域，特别是涉及一种基于双目的远距离火焰定位方法、使用了该定位方法的远距离火焰定位装置。
背景技术
现阶段的大部分基于双目的火焰定位研究是小于十米的近距场景，在实际应用中具有局限性——应用到远距离(大于100米)时会出现较大误差。这是因为，深度估计的距离与视差成反比，所以在定位远距离目标时，由于目标物体在左右两幅图片的视差就会很小，映射到三维空间计算世界坐标时，图像匹配产生的一个较小误差就会被放大变成一个很大的世界坐标误差。
若要减小误差，就需要增大目标物体的视差，而要增大视差就需要扩大基线长度、提高图像分辨率、增大相机焦距。但大视差又会使得立体匹配的搜索空间过大，使立体匹配的计算开销显著增加，甚至超过立体匹配模型视差搜索范围上限(目前主流模型的视差上限是192像素)出现无法正确匹配的问题，同时大视差依赖于图像也具有较大的分辨率，这样又进一步增加了计算开销。
发明内容
基于此，有必要针对现有双目火焰定位方法在定位远距离火焰时计算开销大的问题，提供了一种基于双目的远距离火焰定位方法、装置。
本发明采用以下技术方案实现：
第一方面，本发明公开了基于双目的远距离火焰定位方法，其通过作用于相同目标火焰的双目相机进行远距离火焰定位。双目相机包括位于左侧的高分辨率相机一、位于右侧的高分辨率相机二。
基于双目的远距离火焰定位方法包括以下步骤：
步骤一，对双目相机进行标定；再对双目相机进行对齐校正，使两个相机输出的图像平行；
步骤二，获取高分辨率相机一、高分辨率相机二同时刻拍摄的图像PL_0、PR_0，组成高分辨率图片对；其中，PL_0、PR_0的尺寸均为W*H，W表示PL_0、PR_0的长度，H表示PL_0、PR_0的宽度；
对高分辨率相机一的图像PL_0进行初步火焰识别，得到火焰在PL_0中的大致像素坐标区域A；其中，A左至u1、右至u2、上至v2、下至v1；
步骤三，对高分辨率图片对进行下采样，得到PL_1、PR_1，组成低分辨率图片对；其中，PL_1、PR_1的尺寸均为w*h，w表示PL_1、PR_1的长度，h表示PL_1、PR_1的宽度；
再将低分辨率图片对进行立体匹配，计算出火焰的低分辨率视差disp1；
步骤四，计算A的中心点(u0，v0)，其中u0＝(u1+u2)/2，v0＝(v1+v2)/2；再以(u0，v0)为中心，截取PL_0中B的区域，截取PR_0中C的区域；
其中，B左至u0-w/2、右至u0+w/2、上至v0+h/2、下至v0-h/2；
C左至u0-w/2-(N-M)*disp1、右至u0+w/2-(N-M)*disp1、上至v0+h/2、下至v0-h/2；式中，N为长度方向的下采样倍数，N＝W/w；M为补偿系数；
再将B、C进行立体匹配，计算出火焰的高分辨率视差信息disp2；
步骤五，计算火焰的精确定位视差disp3＝(N-M)*disp1+disp2，再依据disp3计算出火焰深度，进而计算出火焰的精确坐标。
该种基于双目的远距离火焰定位方法的实现根据本公开的实施例的方法或过程。
本发明采用高分辨率的双目相机，并增大两个相机的基线，使在观测远距离火焰时保证左右视图的目标仍然具有一定的视差，减小坐标误差；本发明先采用对高分辨率图片进行粗定位确定大致范围，再对高分辨率图片进行截取，在降低计算数据量的情况进行细定位，从而减少计算开销、并保证计算精度，解决了现有双目火焰定位方法在定位远距离火焰时计算开销大的问题。
第二方面，本发明公开了一种基于双目的远距离火焰定位装置，包括火焰图像摄取部、数据处理计算部。
火焰图像摄取部包括载台、作用于相同目标火焰的双目相机；双目相机包括高分辨率相机一、高分辨率相机二，高分辨率相机一位于载台左侧，高分辨率相机二位于载台右侧。
数据处理计算部用于依据第一方面公开的基于双目的远距离火焰定位方法对火焰图像摄取部采集的图像进行处理得到火焰的精确坐标。
该种基于双目的远距离火焰定位装置的实现根据本公开的实施例的方法或过程。
第三方面，本发明公开了一种可读存储介质。该种可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行如第一方面公开的基于双目的远距离火焰定位方法。
与现有技术相比，本发明具备如下有益效果：
本发明采用高分辨率的双目相机，并增大两个相机的基线，使在观测远距离火焰时保证左右视图的目标仍然具有一定的视差，减小坐标误差；本发明先采用对高分辨率图片进行粗定位确定大致范围，再对高分辨率图片进行截取，在降低计算数据量的情况进行细定位，从而减少计算开销、并保证计算精度。
附图说明
图1为本发明实施例1提出的基于双目的远距离火焰定位装置的结构图；
图2为本发明实施例1提供的基于双目的远距离火焰定位方法的流程图；
图3为本发明实施例2实验得到的PL_1图。
图4为本发明实施例2实验得到的低分辨率视差图；
图5为本发明实施例2实验得到的B图。
图6为本发明实施例2实验得到的高分辨率视差图；
图7为本发明实施例2实验的最终结果图；
图8为图7的局部放大图。
附图中，各标号所代表的部件列表如下：
1、高分辨率相机一，2、高分辨率相机二，3、载台，4、服务器，5、外接屏幕。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“安装于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。当一个组件被认为是“固定于”另一个组件，它可以是直接固定在另一个组件上或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例1
参看图1，为本实施例1提出的基于双目的远距离火焰定位装置的结构图，包括：火焰图像摄取部、数据处理计算部。
火焰图像摄取部包括载台3、作用于相同目标火焰的双目相机。双目相机包括高分辨率相机一1、高分辨率相机二2，高分辨率相机一1位于载台3左侧，高分辨率相机二2位于载台3右侧。
处于要进行远距离火焰定位的要求，在火焰距离双目相机超过100m时，双目相机之间的基线至少要大于60cm。一般的，基线建议设置为大于1m。
高分辨率相机一1、高分辨率相机二2的分辨率相同，一般的，分辨率不小于20.2MP。本实施例1中，两个相机均采用海康机器人CE-200-10UV工业阵面相机，另外配有可调节焦距的镜头MVL-KF5028-12MP，最高分辨率为5472*3648。载台3的平直度要求较高，要尽可能保证安装的两个相机平行。本实施例1中载台3采用2.5m长的平直导轨，导轨上设置有两个带有可调节俯仰角标尺的滑块，两个相机分别装在两个滑块上，可通过俯仰角调节使其姿态一致。
数据处理计算部用于依据基于双目的远距离火焰定位方法对火焰图像摄取部采集的图像进行处理得到火焰的精确坐标。本实施例1中，数据处理计算部采用搭建的GPU服务器4，可以内置运行基于双目的远距离火焰定位方法的软件，也可以内置若干个功能模块。考虑到双目相机的高分辨率，其采集的图像长宽也是以最高分辨率为标准——5472*3648，文件体积可达60MB，因此双目相机与GPU服务器4要保证足够的通信带宽——可采用RJ45网线连接、或USB3.0数据连接。
若GPU服务器4内置运行基于双目的远距离火焰定位方法的软件，参看图2，为基于双目的远距离火焰定位方法的流程图，其就是通过作用于相同目标火焰的双目相机进行远距离火焰定位。
即本实施例1还同步公开了基于双目的远距离火焰定位方法，包括以下步骤：
步骤一，对双目相机进行标定；再对双目相机进行对齐校正，使两个相机输出的图像平行。
需要说明的是，双目相机包括位于左侧的高分辨率相机一1、位于右侧的高分辨率相机二2，两者作用于相同目标火焰。
对双目相机进行标定，例如采用张正友法等通用相机标定流程，可以得到双目相机的内外参等参数，用于后续根据得到的精确定位视差disp3计算出火焰的精确坐标。
对双目相机进行对齐校正，可以修正左右相机的空间关系误差，使双目相机拍摄的图片实现平行，即在水平方向是对齐的。
可以选择高精度铝制棋盘标定板，在不同距离进行同步拍摄，通过改变标定板的倾角拍摄多组双目图片对，使用双目图片对进行双目相机的标定和对齐校正。
步骤二，获取高分辨率相机一1、高分辨率相机二2同时刻拍摄的图像PL_0、PR_0，组成高分辨率图片对。其中，PL_0、PR_0的尺寸均为W*H，W表示PL_0、PR_0的长度，H表示PL_0、PR_0的宽度。本实施例1中，W＝5472，H＝3648。
这里是要获取双目相机同时刻拍摄的图像，可以采用相机硬件厂商提供的SDK进行开发同步逻辑使用信号量机制，保证取帧的过程中双目相机的同步误差在毫秒级。
对高分辨率相机一1的图像PL_0进行初步火焰识别，得到火焰在PL_0中的大致像素坐标区域A；其中，A左至u1、右至u2、上至v2、下至v1。即，A呈矩形，其四角的坐标分别为(u1，v1)、(u1，v2)、(u2，v1)、(u2，v2)。
换个说法就是，A＝(uA,vA)，u1＜uA＜u2，v1＜vA＜v2；u1为A在PL_0中u方向的最小值，u2为A在PL_0中u方向的最大值，v1为A在PL_0中v方向的最小值，v2为A在PL_0中v方向的最大值。
其中，进行初步火焰识别的方法有很多，例如采用基于颜色空间的火焰检测方法、基于深度学习的火焰检测方法、基于多特征融合的火焰检测方法等，可以根据实际需要进行选择。
需要说明的是，初步火焰识别可以设置在GPU服务器4处理，也可以设置在火焰图像摄取部、由双目相机执行。因为双目相机拍摄需要有调试过程，初期并不一定会拍摄到火焰。而由于PL_0、PR_0的文件体积较大，若未检测到火焰，还对高分辨率图片对进行后续操作就没有意义。因此，可以设置为，若识别到当前次获取的PL_0没有火焰，则将该次的高分辨率图片对舍弃，再进行下一次获取及识别；若识别到当前次获取的PL_0有火焰，则将该次的高分辨率图片对进行步骤三操作。
步骤三，对高分辨率图片对进行下采样，得到PL_1、PR_1，组成低分辨率图片对；其中，PL_1、PR_1的尺寸均为w*h，w表示PL_1、PR_1的长度，h表示PL_1、PR_1的宽度。
再将低分辨率图片对进行立体匹配，计算出火焰的低分辨率视差disp1。
本步骤是将高分辨率图片对降低分辨率，从而减轻立体匹配的计算开销，这里得到disp1是低分辨率下时的视差，存储较大误差。
一般的，低分辨率图片对的尺寸要适配所采用的立体匹配模型要求。本实施例1中，采用的立体匹配模型为IGEV-Stereo模型，该模型所处理的图片大小可以为640*480(即w＝640，h＝480)。
这样长度方向的下采样倍数N＝W/w，对应设置为8.55；宽度方向的下采样倍数Q＝H/h，对应设置为7.6。
当然，若采用其他模型：如ACVnet模型、CREStereo模型等，其要求的低分辨率图片尺寸也会不同，N、Q也应当相应进行调整。
步骤五，计算A的中心点(u0，v0)，其中u0＝(u1+u2)/2，v0＝(v1+v2)/2；再以(u0，v0)为中心，截取PL_0中B的区域，截取PR_0中C的区域；
其中，B左至u0-w/2、右至u0+w/2、上至v0+h/2、下至v0-h/2。即，B呈矩形，其在PL_0的四角的坐标分别为(u0-w/2，v0-h/2)、(u0-w/2，v0+h/2)、(u0+w/2，v0-h/2)、(u0+w/2，v0+h/2)。
C左至u0-w/2-(N-M)*disp1、右至u0+w/2-(N-M)*disp1、上至v0+h/2、下至v0-h/2。即C呈矩形，其在PR_0四角的坐标分别为(u0-w/2-(N-M)*disp1，v0-h/2)、(u0+w/2-(N-M)*disp1，v0+h/2)、(u0-w/2-(N-M)*disp1，v0-h/2)、(u0+w/2-(N-M)*disp1，v0+h/2)。
换个说法就是，B＝(uB,vB)，u0-w/2＜uB＜u0+w/2，v0-h/2＜vB＜v0+h/2；C＝(uC,vC)，u0-w/2-(N-M)*disp1＜uC＜u0+w/2-(N-M)*disp1，v0-h/2＜vC＜v0+h/2。
再将B、C进行立体匹配，计算出火焰的高分辨率视差信息disp2。
本步骤就是依据大致像素坐标区域A，从高分辨率图片对截取出火焰所处的部分，从而保留火焰信息的情况下，降低图片尺寸，从而减轻立体匹配的计算开销。
需要说明的是，由于下采样可能会导致视差偏差，因此，在对PR_0的偏移量有(N-M)*disp1，其中，N*disp1即是恢复下采样造成的影响，而M*disp1为补偿视差，用于防止出现右图比左图更靠左、从而产生负数视差的情形。(N-M)*disp1构成步骤五导致的视差。其中，M为补偿系数，取值依据实际情况调整，推荐取1。
步骤六，计算火焰的精确定位视差disp3＝(N-M)*disp1+disp2，再依据disp3计算出火焰深度，进而计算出火焰的精确坐标。
本步骤六先根据(N-M)*disp1、disp2计算得到火焰的精确定位视差disp3。
由于视差与深度存在如下关系：
式中，b表示双目相机的基线长度，ΔX表示视差，f表示相机的焦距，D为观测目标的深度。
那么依据disp3，可得到火焰深度
由于相机拍摄照片与真实世界存在投影关系，通过照片像素坐标可以计算出观测目标的世界坐标，数学关系可表示为：
式中，D为观测目标的深度，u、v表示观测目标在照片空间的像素坐标；表示相机的内参参数，/>表示相机的外参参数，X、Y、Z表示观测目标的世界坐标。
那么依据火焰深度Dfire、步骤一获得的高分辨率相机一1的内外参数、以及区域A中火焰像素坐标(u，v)，代入上式即求得火焰的精确坐标。需要说明的，区域A中火焰像素坐标(u，v)取区域A中心偏下的位置，对应于火焰的焰心。
若GPU服务器4内置若干个功能模块，则功能模块包括：相机标定模块、相机校正模块、高分辨率图片对获取模块、初步火焰识别模块、低分辨率图片对获取模块、火焰区域截取模块、立体匹配模块、坐标计算模块。
其中，相机标定模块用于对双目相机进行标定。相机校正模块用于对双目相机进行对齐校正，使两个相机输出的图像平行。
高分辨率图片对获取模块用于获取高分辨率相机一1、高分辨率相机二2同时刻拍摄的图像PL_0、PR_0，组成高分辨率图片对。其中，PL_0、PR_0的尺寸均为W*H，W表示PL_0、PR_0的长度，H表示PL_0、PR_0的宽度。
初步火焰识别模块用于对高分辨率相机一1的图像PL_0进行初步火焰识别，得到火焰在PL_0中的大致像素坐标区域A。其中，A左至u1、右至u2、上至v2、下至v1。
低分辨率图片对获取模块用于对高分辨率图片对进行下采样，得到PL_1、PR_1，组成低分辨率图片对。其中，PL_1、PR_1的尺寸均为w*h，w表示PL_1、PR_1的长度，h表示PL_1、PR_1的宽度。
火焰区域截取模块用于计算A的中心点(u0，v0)，其中u0＝(u1+u2)/2，v0＝(v1+v2)/2；再以(u0，v0)为中心，截取PL_0中B的区域，截取PR_0中C的区域。其中，B左至u0-w/2、右至u0+w/2、上至v0+h/2、下至v0-h/2；
C左至u0-w/2-(N-M)*disp1、右至u0+w/2-(N-M)*disp1、上至v0+h/2、下至v0-h/2；N＝W/w。
立体匹配模块用于将低分辨率图片对进行立体匹配，计算出火焰的低分辨率视差disp1；还用于将B、C进行立体匹配，计算出火焰的高分辨率视差信息disp2。
坐标计算模块用于计算火焰的精确定位视差disp3＝(N-M)*disp1+disp2；再依据disp3计算出火焰深度，进而计算出火焰的精确坐标。
当然，还可以设置外接屏幕5，用于坐标计算模块将火焰的精确坐标输出到外接屏幕5上。坐标计算模块还可以将火焰的精确坐标保存为可读的日志文件，方便数据整理。
实施例2
本实施例2公开了一种可读存储介质，该种可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行实施例1公开的基于双目的远距离火焰定位方法。
实施例1的方法在应用时，可以软件的形式进行应用，如设计成计算机可读存储介质可独立运行的程序，计算机可读存储介质可以是U盘，通过U盘设计成通过外在触发启动整个方法的程序。
实施例3
发明人对实施例1的方法进行了实验验证，在某日的晚间架设了基于双目的远距离火焰定位装置。高分辨率相机一1、高分辨率相机二2均采用海康机器人CE-200-10UV工业阵面相机，另外配有可调节焦距的镜头MVL-KF5028-12MP，分辨率为5472*3648。载台3采用2.5m长的平直导轨，双目相机的基线为1m。
火焰距离左相机150m，真实坐标[X’，Y’，Z’]采用激光测定为[-7758.1192，3932.8852，142752]，坐标单位为mm。
使用基于双目的远距离火焰定位装置依照实施例1的对齐方法实施：
先对高分辨率相机一1、高分辨率相机二2进行了标定和对齐校正，使双目相机拍摄的图片在水平方向上是对齐的。
对高分辨率相机一1的图像PL_0进行初步火焰识别，得到A＝(u1,v1)。然后将对高分辨率图片对进行下采样，得到低分辨率图片对，如图3所示(图3只展示了PL_1)。再将低分辨率图片对使用IGEV-Stereo模型进行立体匹配，得到如图4所示的低分辨率视差图，计算出火焰的低分辨率视差disp1。
接着，截取PL_0中B的区域，截取PR_0中C的区域，得到B、C，如图5所示(图5只展示了B)。其中，M取1。再将B、C进行立体匹配，得到如图6所示的高分辨率视差图，计算出火焰的高分辨率视差信息disp2。
最后，计算火焰的精确定位视差disp3，并逐步计算，具体过程不再赘述。参看图7、图8，最终得到火焰计算坐标[X，Y，Z]为[-7735.61，3921.4745，142337.8228]，坐标单位mm。
计算坐标与真实坐标相比，两者的误差 说明实施例1的方法可达到较佳的计算准确度。
需要说明的是，申请人同步提交了彩色图作为其他证明文件。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于双目的远距离火焰定位方法，其通过作用于相同目标火焰的双目相机进行远距离火焰定位；所述双目相机包括位于左侧的高分辨率相机一、位于右侧的高分辨率相机二，其特征在于，所述火焰距离双目相机超过100m时，双目相机之间的基线大于60cm；
所述基于双目的远距离火焰定位方法包括以下步骤：
步骤一，对所述双目相机进行标定；再对所述双目相机进行对齐校正，使两个相机输出的图像平行；
步骤二，获取高分辨率相机一、高分辨率相机二同时刻拍摄的图像PL_0、PR_0，组成高分辨率图片对；其中，PL_0、PR_0的尺寸均为W*H，W表示PL_0、PR_0的长度，H表示PL_0、PR_0的宽度；
对高分辨率相机一的图像PL_0进行初步火焰识别，得到火焰在PL_0中的大致像素坐标区域A；其中，A左至u1、右至u2、上至v2、下至v1；
步骤三，对高分辨率图片对进行下采样，得到PL_1、PR_1，组成低分辨率图片对；其中，PL_1、PR_1的尺寸均为w*h，w表示PL_1、PR_1的长度，h表示PL_1、PR_1的宽度；
再将低分辨率图片对进行立体匹配，计算出火焰的低分辨率视差disp1；
步骤四，计算A的中心点(u0，v0)，其中u0＝(u1+u2)/2，v0＝(v1+v2)/2；再以(u0，v0)为中心，截取PL_0中B的区域，截取PR_0中C的区域；
其中，B左至u0-w/2、右至u0+w/2、上至v0+h/2、下至v0-h/2；
C左至u0-w/2-(N-M)*disp1、右至u0+w/2-(N-M)*disp1、上至v0+h/2、下至v0-h/2；式中，N为长度方向的下采样倍数，N＝W/w；M为补偿系数；
再将B、C进行立体匹配，计算出火焰的高分辨率视差信息disp2；
步骤五，计算火焰的精确定位视差disp3＝(N-M)*disp1+disp2，再依据disp3计算出火焰深度，进而计算出火焰的精确坐标。
2.根据权利要求1所述的基于双目的远距离火焰定位方法，其特征在于，高分辨率相机一、高分辨率相机二的分辨率相同。
3.根据权利要求1所述的基于双目的远距离火焰定位方法，其特征在于，步骤一中使用通用相机标定流程获取两个相机的内外参。
4.根据权利要求1所述的基于双目的远距离火焰定位方法，其特征在于，步骤二中进行初步火焰识别的方法包括但不限于采用基于RGB空间的火焰检测方法、基于深度学习的火焰检测方法、基于多特征融合的火焰检测方法。
5.根据权利要求1所述的基于双目的远距离火焰定位方法，其特征在于，步骤三、步骤四均采用立体匹配模型进行立体匹配；
所述立体匹配模型包括但不限于IGEV-Stereo模型、ACVnet模型、CREStereo模型。
6.根据权利要求1所述的基于双目的远距离火焰定位方法，其特征在于，M＝1。
7.一种基于双目的远距离火焰定位装置，其特征在于，包括：
火焰图像摄取部，其包括载台、作用于相同目标火焰的双目相机；所述双目相机包括高分辨率相机一、高分辨率相机二，高分辨率相机一位于载台左侧，高分辨率相机二位于载台右侧；以及
数据处理计算部，其用于依据权利要求1-6中任一项所述的基于双目的远距离火焰定位方法对火焰图像摄取部采集的图像进行处理得到火焰的精确坐标。
8.根据权利要求7所述的基于双目的远距离火焰定位装置，其特征在于，所述数据处理计算部包括：
相机标定模块，其用于对所述双目相机进行标定；
相机校正模块，其用于对所述双目相机进行对齐校正，使两个相机输出的图像平行；
高分辨率图片对获取模块，其用于获取高分辨率相机一、高分辨率相机二同时刻拍摄的图像PL_0、PR_0，组成高分辨率图片对；其中，PL_0、PR_0的尺寸均为W*H，W表示PL_0、PR_0的长度，H表示PL_0、PR_0的宽度；
初步火焰识别模块，其用于对高分辨率相机一的图像PL_0进行初步火焰识别，得到火焰在PL_0中的大致像素坐标区域A；其中，A左至u1、右至u2、上至v2、下至v1；
低分辨率图片对获取模块，其用于对高分辨率图片对进行下采样，得到PL_1、PR_1，组成低分辨率图片对；其中，PL_1、PR_1的尺寸均为w*h，w表示PL_1、PR_1的长度，h表示PL_1、PR_1的宽度；
火焰区域截取模块，其用于计算A的中心点(u0，v0)，其中u0＝(u1+u2)/2，v0＝(v1+v2)/2；再以(u0，v0)为中心，截取PL_0中B的区域，截取PR_0中C的区域；
其中，B左至u0-w/2、右至u0+w/2、上至v0+h/2、下至v0-h/2；
C左至u0-w/2-(N-M)*disp1、右至u0+w/2-(N-M)*disp1、上至v0+h/2、下至v0-h/2；式中，N为长度方向的下采样倍数，N＝W/w；M为补偿系数；
立体匹配模块，其用于将低分辨率图片对进行立体匹配，计算出火焰的低分辨率视差disp1；还用于将B、C进行立体匹配，计算出火焰的高分辨率视差信息disp2；以及
坐标计算模块，其用于计算火焰的精确定位视差disp3＝(N-M)*disp1+disp2，再依据disp3计算出火焰深度，进而计算出火焰的精确坐标。
9.根据权利要求8所述的基于双目的远距离火焰定位装置，其特征在于，所述坐标计算模块将火焰的精确坐标输出到外接屏幕上，并保存为可读的日志文件。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行如权利要求1-7任一项所述的基于双目的远距离火焰定位方法。
CN202310819831.0A 2023-07-06 2023-07-06 一种基于双目的远距离火焰定位方法、装置 Pending CN116977418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310819831.0A CN116977418A (zh) 2023-07-06 2023-07-06 一种基于双目的远距离火焰定位方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310819831.0A CN116977418A (zh) 2023-07-06 2023-07-06 一种基于双目的远距离火焰定位方法、装置

Publications (1)

Publication Number Publication Date
CN116977418A true CN116977418A (zh) 2023-10-31

Family

ID=88482473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310819831.0A Pending CN116977418A (zh) 2023-07-06 2023-07-06 一种基于双目的远距离火焰定位方法、装置

Country Status (1)

Country Link
CN (1) CN116977418A (zh)

Similar Documents

Publication Publication Date Title
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
WO2022127918A1 (zh) 双目相机的立体标定方法、装置、系统及双目相机
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
WO2012039043A1 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
JPWO2011115142A1 (ja) 画像処理装置、方法、プログラム及び記録媒体
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
US10904512B2 (en) Combined stereoscopic and phase detection depth mapping in a dual aperture camera
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN107084680A (zh) 一种基于机器单目视觉的目标深度测量方法
CN110763140B (zh) 一种非平行光轴高精度双目测距方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
CN111854636A (zh) 一种多相机阵列三维检测系统和方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
BR112021008558A2 (pt) aparelho, método de estimativa de disparidade, e produto de programa de computador
EP3832600A1 (en) Image processing device and three-dimensional measuring system
KR101995344B1 (ko) 사각지역이 없는 듀얼 깊이 카메라 모듈
CN116929290A (zh) 一种双目视角差立体深度测量方法、系统及存储介质
KR101165810B1 (ko) 스테레오 카메라에 의한 영상 깊이정보 추출방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination