CN109636851B - 基于双目视觉的危化品事故处理剂投送靶向定位方法 - Google Patents

基于双目视觉的危化品事故处理剂投送靶向定位方法 Download PDF

Info

Publication number
CN109636851B
CN109636851B CN201811344632.4A CN201811344632A CN109636851B CN 109636851 B CN109636851 B CN 109636851B CN 201811344632 A CN201811344632 A CN 201811344632A CN 109636851 B CN109636851 B CN 109636851B
Authority
CN
China
Prior art keywords
chemical substance
hazardous chemical
coordinates
coordinate system
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811344632.4A
Other languages
English (en)
Other versions
CN109636851A (zh
Inventor
赵二虎
王守中
徐勇军
张统
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing special engineering design and research institute
Institute of Computing Technology of CAS
Original Assignee
Beijing special engineering design and research institute
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing special engineering design and research institute, Institute of Computing Technology of CAS filed Critical Beijing special engineering design and research institute
Priority to CN201811344632.4A priority Critical patent/CN109636851B/zh
Publication of CN109636851A publication Critical patent/CN109636851A/zh
Application granted granted Critical
Publication of CN109636851B publication Critical patent/CN109636851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于双目视觉的危化品事故处理剂投送靶向定位方法。该方法包括:对于已检测出的从不同角度拍摄的两幅图像的危化品泄漏目标区域,基于动量守恒定理获取所述危化品泄漏目标区域的质点位置的像素坐标;基于所述危化品泄漏目标区域的质点位置的像素坐标计算所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标;基于所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标计算所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标;将所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标转换为危化品事故处理剂投送的靶向坐标。本发明的方法能够准确高效地确定危化品事故处理剂投送的靶向坐标。

Description

基于双目视觉的危化品事故处理剂投送靶向定位方法
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于双目视觉的危化品事故处理剂投送靶向定位方法。
背景技术
在危化品仓库、发射场塔架、特种燃动力试验场中存在大量危化品试剂和燃料,如果发生危化品泄漏且未及时获取其准确位置,将对关键任务的实施产生严重负面影响。因此,当发生危化品泄漏时,需要对危化品泄漏区域进行快速定位,获取其世界坐标系下的绝对坐标,作为事故处理剂投送靶向。
然而,现有的基于双目视觉的目标定位方法,均建立在目标轮廓被清晰检测的前提下,未考虑轮廓边缘噪声干扰因素导致的边缘模糊现象,并且最终计算出的目标位置很少作为靶向目标去施加精准作用力。此外,基于双目视觉的危化品事故处理剂投送靶向定位算法的设计,面临以下技术难题:
1)、危化品泄漏属液体目标,液体区域扩散后无明显边缘界限,导致准确检测出危化品泄漏区域的边缘较为困难;
2)、由于受噪声影响,双目视觉系统的左右两个相机检测出的危化品泄漏目标区域的几何形状不一致,导致两幅图像中的特征匹配点选择较为困难;
3)、事故处理剂的精准投送需要建立在获取到危化品泄漏区域的精确绝对坐标基础上,然而双目视觉系统各自检测出的目标均建立在相机自身的像素坐标下,实现从双目双坐标系到统一世界坐标系的转换较为困难。
因此,需要对现有技术进行改进,以提供精确的危化品事故处理剂投送方法。
发明内容
本发明的目的在于克服上述现有技术的缺陷,提供一种基于双目视觉的危化品事故处理剂投放靶向定位方法。
根据本发明的第一方面,提供了一种基于双目视觉的危化品事故处理剂投送靶向定位方法,该方法包括以下步骤:
步骤1:对于已检测出的从不同角度拍摄的两幅图像的危化品泄漏目标区域,基于动量守恒定理获取所述危化品泄漏目标区域的质点位置的像素坐标;
步骤2:基于所述危化品泄漏目标区域的质点位置的像素坐标计算所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标;
步骤3:基于所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标计算所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标;
步骤4:将所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标转换为危化品事故处理剂投送的靶向坐标。
在一个实施例中,步骤1包括以下子步骤:
步骤11:对于所述危化品泄漏目标区域中的像素点,按照亮度特征从大到小排序,提取前n个像素点作为质量点,表示为m1,m2,…,mn,并计算各质量点的位置矢量,表示为
Figure BDA0001863443200000021
其中n为大于等于2的任意整数;
步骤12:基于各质量点的位置矢量,计算危化品泄漏目标区域质点的位置矢量
Figure BDA0001863443200000022
计算公式为:
Figure BDA0001863443200000023
步骤13:计算危化品泄漏目标区域质点的像素坐标(u,v),计算公式为:
Figure BDA0001863443200000024
在一个实施例中,在步骤2中,根据以下公式计算所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标(x,y):
Figure BDA0001863443200000031
其中,(u,v)表示危化品泄漏目标区域质点的像素坐标,dx、dy分别是每个像素点的横纵物理尺寸,单位mm/p,(u0,v0)是图像坐标系原点在像素坐标系下的坐标值。
在一个实施例中,在步骤3,采用以下公式计算所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标(X,Y,Z):
Figure BDA0001863443200000032
其中,f表示相机的焦距,(x,y)表示危化品泄漏目标区域的质点位置在图像坐标系下的坐标。
在一个实施例中,步骤4包括:
步骤41:采用以下公式计算将第一幅图像危化品泄漏目标区域的质点位置在相机坐标系下的坐标转换为危化品事故处理剂投送的靶向坐标(Xl′Yl′Zl′):
Figure BDA0001863443200000033
步骤42:采用以下公式将第二幅图像危化品泄漏目标区域的质点位置在相机坐标系下的坐标转换为危化品事故处理剂投送的靶向坐标(Xr′Yr′Zr′):
Figure BDA0001863443200000034
步骤43:采用以下公式获得危化品事故处理剂投送的靶向坐标(X′Y′Z′):
Figure BDA0001863443200000041
其中,Zl和Zr分别是两幅图像中危化品泄漏目标区域的质点位置在相机坐标系下的坐标,Hl和Hr分别是拍摄两幅图像的相机的标定矩阵,(xl,yl)和(xr,yr)表示两幅图像的危化品泄漏目标区域的质点位置在图像坐标系下的坐标。
在一个实施例中,在步骤1中,对于从不同角度拍摄的两幅危化品图像,根据以下步骤检测危化品泄漏目标区域:
步骤11-1:基于危化品液面的亮度特征获得第一危化品液面区域;
步骤11-2:基于危化品液面的纹理特征获得第二危化品液面区域;
步骤11-3:将所述第一危化品液面区域和所述第二危化品液面区域进行融合,获得所述危化品泄漏目标区域。
在一个实施例中,在步骤11-1中,根据以下子步骤获得所述第一危化品液面区域:
步骤S1:通过将所述两幅危化品图像的灰度图中每一个像素值与灰度阈值进行比较获得亮度分割图;
步骤S2:根据危化品图像和背景图像的亮度特征从所述亮度分割图剔除背景区域,从而获得所述第一危化品液面区域。
在一个实施例中,步骤S1包括:
将两幅危化品图像的灰度图中每一个像素值和灰度阈值G0进行比较,利用聚类法得到大于G0和小于G0的两个分割区域;
计算该两个分割区域的中心灰度值G1,并重复进行聚类直到前后两次聚类结果得到的中心灰度值的比值小于预定阈值,从而获得所述亮度分割图。
在一个实施例中,步骤S2包括:
从所述亮度分割图的最上面的一行像素中检测出大于亮度阈值的高亮度值的像素点;
以该高亮度值的像素点为出发点,运用区域生长扩散方法逐行扫描每行像素点,获得与该高亮度值的像素点相连通的区域并将该区域剔除,获得所述第一危化品液面区域。
与现有技术相比,本发明的优点在于:针对危化品泄漏后的危化品事故处理剂投送靶向定位需求,实现了对危化品泄漏区域的精准坐标定位,增强了危化品事故处理剂投送准确度,提高了危化品泄漏事故的处置效率。
附图说明
以下附图仅对本发明作示意性的说明和解释,并不用于限定本发明的范围,其中:
图1示出了根据本发明一个实施例的基于双目视觉的危化品事故处理剂投送靶向定位方法的流程图;
图2示出了的基于动量守恒定理的计算危化品泄漏目标区域的质点的示意图;
图3示出了基于三角相似原理的计算危化品泄漏目标区域质点坐标的示意图。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
本发明的研究的目标是对泄漏的危化品目标区域进行空间定位,以准确的投放事故处理剂,其中,泄漏的危化品目标区域可通过相机采集危化品图像进行检测,以可通过对已采集到的危化品图像进行一定的处理获得更精确的危化品目标区域。
在本发明中,以双目相机采集危化品图像为例进行介绍,基于以下假设:双目相机已完成标定,并获取到两个相机的内参矩阵M、外参矩阵W,其中,内参矩阵M用于描述相机光轴在图像坐标系中的偏移量以及焦距信息,能够反映相机坐标系到图像坐标系之间的投影关系,外参矩阵W用于描述如何把点从世界坐标系转换到相机坐标系,能够反映相机坐标系和世界坐标系之间的旋转和平移关系;通过双目相机与危化品事故处理剂投送机械系统的空间校准,获取了双目相机的基线坐标系到危化品事故处理剂投送系统的靶向坐标系的旋转矩阵R、转移矩阵T;双目相机的图像采集完全同步;双目相机的基线距离d、焦距f均固定不变。
在实际过程中,可采用通用的平面黑白棋盘图对双目相机进行标定,获取双目相机的内参矩阵M和外参矩阵W,则左右相机的标定矩阵可以表示为Hl=MlWl和Hr=MrWr。通过双目相机与危化品消防药剂投送机械系统的空间校准,获取双目相机的相机坐标系到危化品消防药剂投送系统的靶向坐标系的旋转矩阵为Rl和Rr,转移矩阵为Tl和Tr
应理解的是,在本文中,世界坐标系、相机坐标系和图像坐标系具有现有技术的通常定义,其中,世界坐标系也称为空间坐标系,用于表示客观世界的绝对坐标,可以用该坐标系准确的描述空间场景中相机和任何物体的位置坐标;相机坐标系是以相机为中心的坐标系,相机坐标系和世界坐标系之间存在一一对应的映射转换关系;图像坐标系是以相机投影出的图像平面坐标系,其原点是相机光轴与图像平面的交点。
根据本发明的一个实施例,提供了一种危化品事故处理剂投放靶向定位方法,该方法通过的已知的危化品泄漏目标区域进行处理来定位危化品事故处理剂的靶向坐标。
在实际过程中,可采用多种方法来确定危化品泄漏的目标区域。例如,将双目相机已经采集了两幅危化品图像直接作为危化品泄漏的目标区域。
在一个优选实施例中,在双目相机已经采集了两幅危化品图像的情况下,通过进一步处理,获得较精确的泄漏的危化品的目标区域。具体地,包括以下步骤:
步骤S101,基于危化品液面和周围背景的亮度特征提取危化品液面区域。
在一个实施例中。采用以下步骤提取危化品液面区域:
步骤S101-a,确定用于区分危化品液面和周围背景图像的灰度阈值。
可通过对已知危化品泄漏液面的样本图像进行分析获得灰度阈值的经验值。例如,采集一定数量的危化品泄漏灰度图片,用固定大小的窗口将拍到的危化品泄漏灰度图片进行框定,并逐一分割出周围的背景物和危化品液面;从所采集的灰度图片库中统计出危化品泄漏液面和周围背景的图像灰度值的范围,找出这两类灰度的中心值的区间,从而获得经验阈值G0
步骤S101-b,基于灰度阈值确定双目相机拍摄的左右两幅图像的亮度分隔图。
在一个实施例中,将双目相机实时拍摄的危化品泄漏灰度图中每一个像素点和阈值G0进行比较,利用例如近邻聚类算法获取到两类分割区域,即大于G0的亮度区域和小于G0的亮度区域;然后,计算新的两个分割区域的中心灰度值G1,并重复进行聚类;随着聚类次数的增多,中心灰度值的变化将趋于稳定,当稳定到一定程度时,停止计算。例如,当前后两次聚类结果得到的中心灰度值的比值满足
Figure BDA0001863443200000071
时,停止迭代聚类,获得精确的亮度分割图。
步骤S101-c,根据获得的亮度分割图剔除周围背景区域,获得危化品液面区域。
以周围背景是天空为例,为了剔除背景中的天空高亮区域,需检测实时拍摄的图像最上面的一行像素,如果其中存在高亮度值的像素点(例如大于预定的亮度阈值的像素点),那么就以该像素点为出发点,运用区域生长扩散的方法逐行扫描每行像素点,直到最终得到与第一行高亮度像素相连通的所有高亮度区域,该区域即为要删除的天空区域。在去除天空区域后,剩下的区域即为危化品液面区域,在本文中,为便于说明,将基于亮度特征提取的危化品液面区域也称为第一危化品液面区域。
应理解的是,对于其它类型的周围背景,例如,发射塔架、塔架周围地面等,也可以根据亮度特征,采用上述类似的算法提取危化品液面区域。
步骤S102,基于危化品液面和周围背景的纹理特征提取危化品液面区域。
在一个实施例中,采用以下步骤获得基于纹理特征提取的危化品液面区域:
步骤S102-a,确定用于区分危化品液面和周围背景图像的纹理特征阈值。
与步骤S101-a类似,可通过对已知危化品泄漏液面的纹理特征进行分析获得危化品液面及周围背景的纹理特征区分阈值T0
例如,可通过滑动窗口方式获得区域纹理特征值,具体地,计算滑动窗口内所有像素灰度值的方差,计算公式为
Figure BDA0001863443200000072
其中n×n表示滑动窗口大小,Xi表示第i个像素的灰度值,
Figure BDA0001863443200000073
表示滑动窗口内各个像素的灰度的期望值,n可取大于等于2的任意整数。
在实际应用中,滑动窗口不能太小,以避免反映不出具体的纹理特征,窗口也不能太大,以避免造成划分太粗。优选地,窗口值n设置为6~9。通过计算样本图像的纹理特征,最终确定危化品液面纹理特征值的范围在4~6,而周围背景(以背景是天空为例)纹理较强的值在7~10,有相对明显的区分度,因此可将T=5和T=7分别设置为危化品液面纹理特征的初始阈值及周围背景纹理特征的初始阈值,即相比之下,危化品液面属于较弱纹理特征区域,而天空背景属于较强的纹理特征区域。
步骤S102-b,基于纹理特征剔除周围背景区域,获得危化品液面区域。
仍以周围背景是天空为例,可采用滑动窗口方式来计算实际采集的危化品图像区域纹理特征值,并通过聚类的方法找到较弱纹理特征区域,即危化品液面区域。由于危化品液面和天空背景的纹理特征的区别,可采用与步骤S101-c类似的方法,利用运用区域生长扩散的方法,通过从上至下逐区域扫描找出天空区域。在去除天空区域后,剩下的区域即为危化品液面区域,在本文中,将基于纹理特征提取的危化品液面区域也称为第二危化品液面区域。
综上,在此实施例中,基于已有的液面图像生成危化品液面纹理特征库,并以不同的纹理特征值将危化品液面与周围背景(例如,发射塔架、天空、塔架周围地面等)加以区分。再通过聚类的方法找到危化品图片中的周围背景区域。对于天空背景,由于纹理特征较小,但多居于图像上方,因此采用自上而下扫描将天空从图像中快速分割出去。
步骤S103,将基于亮度特征提取的危化品液面区域和基于纹理特征提取的危化品液面区域进行融合,获得危化品泄漏的目标区域。
在此步骤中,将基于亮度特征获得的危化品液面区域和基于纹理特征获得的危化品液面区域进行叠加,将两者的共同像素作为核心原点,采用油滴扩散的方法(或称膨胀算法),将与核心原点连通的亮度特征区域和纹理特征区域作为危化品泄漏的目标区域。
在此实施例中,对亮度特征和纹理特征融合过程中,采用的是最小集合膨胀算法,即将已经提取的液面亮度特征和纹理特征的交集作为最小集合,然后通过膨胀算法,逐次获得与最小交集相连通的亮度部分和纹理部分作为最终的危化品泄漏的目标区域。
在确定了危化品泄漏目标区域的情况(包括左右两幅图像),图1示出了根据本发明的一个实施例的危化品事故处理剂投放靶向定位方法,该方法包括以下步骤:
步骤S110,基于动量守恒定理获取左右两幅图像的目标区域的质点位置的像素坐标。
在一个实施例中,基于动量守恒定理计算双目左右两幅图像的目标区域质点ml和mr,结合图2所示,包括以下步骤:
步骤S111,对于已经检测出的危化品泄漏目标区域中的像素点,按照亮度特征的大小排序,提取前n个像素点作为质量点,表示为m1,m2,…,mn,计算各个质量点的位置矢量,表示为
Figure BDA0001863443200000091
所选择的像素点数目n是大于等于2的任意整数,可根据危化品泄漏目标区域的大小选择适当值,例如,n取5至10等。
在实际应用中,可采用勾股定理计算各个质量点的位置矢量,如图2所示。
步骤S112,基于各质量点的位置矢量计算危化品泄漏目标区域的质点像素坐标。
根据上述获得的各质量点的位置矢量,可利用公式
Figure BDA0001863443200000092
计算得到危化品泄漏目标区域质点的位置矢量,对应到左右两幅图像分别表示为
Figure BDA0001863443200000093
利用公式
Figure BDA0001863443200000094
(
Figure BDA0001863443200000095
为角矢量)可得出左右两幅图像中泄漏目标的质点像素坐标,分别表示为(ul,vl)和(ur,vr)。
参见图2是以一副图像为例示出的基于动量守恒定理已检测出的目标区域和实际的危化品泄漏目标区域的对比,其中黑色曲线圈定的部分为检测后的标定区域,灰色曲线圈定的部分为实际的危化品泄漏区域。由图2可知,本发明采用动量守恒定理检测出的目标区域与实际的泄漏区域高度匹配,仅边缘部分包含少量的噪声。
步骤S120,计算两幅图像的目标区域的质点位置在图像坐标系下的坐标。
在此步骤中,分别计算左右两幅图像的目标区域的质点位置在左右两侧图像坐标系下的坐标Ogl→(xl,yl,zl)和Ogr→(xr,yr,zr),计算公式为:
Figure BDA0001863443200000101
其中dx、dy分别是每个像素点的横纵物理尺寸,单位mm/p,(u0,v0)是图像坐标系原点在像素坐标系下的坐标值,(u,v)是上述步骤S110中计算得出的质点像素坐标。
步骤S130,计算两幅图像的目标区域的质点在相机坐标系下的坐标。
计算左右两侧质点在相机坐标系下的坐标Ocl→(Xl,Yl,Zl)和Ocr→(Xr,Yr,Zr)。
如图3所示,根据三角相似原理,左右两侧质点在相机坐标系下的坐标计算公式统一表示为
Figure BDA0001863443200000102
则左右两侧质点在相机坐标系下的坐标计算公式分别为:
Figure BDA0001863443200000103
其中,f表示相机的焦距。
在此步骤中,从像素坐标到相机坐标变换的目的是实现检出的目标区域的质点位置的坐标变换,通过上述公式可分别获得左右两侧质点在相机坐标系下坐标,分别表示为(Xl,Yl,Zl)和(Xr,Yr,Zr)。
在获取危化品泄漏目标区域的相机坐标之后,后续可进一步向世界坐标系变换。
步骤S140,将两幅图像的目标区域的质点在相机坐标系下的坐标转换为事故处理剂投送的靶向坐标。
在此步骤中,基于相机标定参数将左右两侧质点在相机坐标系下的坐标转换为事故处理剂投送的靶向坐标系。
具体地,左侧质点在相机坐标系中的坐标转换到事故处理剂投送系统的靶向坐标系中的坐标计算方法为:
Figure BDA0001863443200000111
右侧质点在相机坐标系中的坐标转换到事故处理剂投送系统的靶向坐标系中的坐标计算方法为:
Figure BDA0001863443200000112
其中,双目相机的内参矩阵为M、外参矩阵为W,双目相机的基线坐标系到危化品事故处理剂投送系统的靶向坐标系的旋转矩阵为R、转移矩阵为T,这些均是在相机标定时获得的已知参数。
然后,对左右两个质点的靶向坐标求平均,得到:
Figure BDA0001863443200000113
其中,(X′Y′Z′)T即为危化品泄漏的目标区域的质点在事故处理剂投送靶向坐标系中的坐标。
综上所述,本发明的基于双目视觉的危化品事故处理剂投送靶向定位算法,采用动量守恒定律获得双目图像的质点位置的像素坐标,并通过空间坐标变化实现从质点的像素坐标到世界坐标系的映射,最终获得危化品事故处理剂投送的精确靶向坐标。本发明在危化品泄漏区域的边缘模糊条件下,采用动量守恒定理能够准确计算出双目图像中泄漏区域的匹配特征点位置;解决了双目视觉系统的非奇异双坐标系到归一化世界坐标系的转换问题,为危化品事故处理剂精准投送提供了技术支撑。
本发明采用基于双目视觉的危化品事故处理剂投送靶向定位算法,针对危化品泄露后的危化品事故处理剂投送靶向定位需求,实现了对危化品泄露区域的精准坐标定位,增强了危化品事故处理剂投送准确度,提高了危化品泄露事故的处置效率。基于双目视觉的危化品事故处理剂投送靶向定位算法具有如下优点:在危化品泄露区域的边缘模糊条件下,采用动量守恒定理依然可以准确计算出双目图像中泄露区域的匹配特征点位置;解决了双目视觉系统的非奇异双坐标系到归一化世界坐标系的转换问题,为危化品事故处理剂精准投送提供了技术支撑。
在本文中,所述的“左右两幅图像”或“双目图像”仅用于指示是从不同角度拍摄的同一物体(即泄漏的危化品)的两幅图像,而于拍摄图像的摄像机的位置无关。
需要说明的是,虽然上文按照特定顺序描述了各个步骤,但是并不意味着必须按照上述特定顺序来执行各个步骤,实际上,这些步骤中的一些可以并发执行,甚至改变顺序,只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于双目视觉的危化品事故处理剂投送靶向定位方法,包括以下步骤:
步骤1:对于已检测出的从不同角度拍摄的两幅图像的危化品泄漏目标区域,基于动量守恒定理获取所述危化品泄漏目标区域的质点位置的像素坐标,包括:
步骤11:对于所述危化品泄漏目标区域中的像素点,按照亮度特征从大到小排序,提取前n个像素点作为质量点,表示为m1,m2,…,mn,并计算各质量点的位置矢量,表示为
Figure FDA0002572543930000011
其中n为大于等于2的任意整数;
步骤12:基于各质量点的位置矢量,计算危化品泄漏目标区域质点的位置矢量
Figure FDA0002572543930000012
计算公式为:
Figure FDA0002572543930000013
步骤13:计算危化品泄漏目标区域质点的像素坐标(u,v),计算公式为:
Figure FDA0002572543930000014
步骤2:基于所述危化品泄漏目标区域的质点位置的像素坐标计算所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标;
步骤3:基于所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标计算所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标;
步骤4:将所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标转换为危化品事故处理剂投送的靶向坐标。
2.根据权利要求1所述的方法,其中,在步骤2中,根据以下公式计算所述危化品泄漏目标区域的质点位置在图像坐标系下的坐标(x,y):
Figure FDA0002572543930000015
其中,(u,v)表示危化品泄漏目标区域质点的像素坐标,dx、dy分别是每个像素点的横纵物理尺寸,单位mm/p,(u0,v0)是图像坐标系原点在像素坐标系下的坐标值。
3.根据权利要求1所述的方法,其中,在步骤3,采用以下公式计算所述危化品泄漏目标区域的质点位置在相机坐标系下的坐标(X,Y,Z):
Figure FDA0002572543930000021
其中,f表示相机的焦距,(x,y)表示危化品泄漏目标区域的质点位置在图像坐标系下的坐标。
4.根据权利要求1所述的方法,其中,步骤4包括:
步骤41:采用以下公式计算将第一幅图像危化品泄漏目标区域的质点位置在相机坐标系下的坐标转换为危化品事故处理剂投送的靶向坐标(X′l Y′l Z′l):
Figure FDA0002572543930000022
步骤42:采用以下公式将第二幅图像危化品泄漏目标区域的质点位置在相机坐标系下的坐标转换为危化品事故处理剂投送的靶向坐标(X′r Y′r Z′r):
Figure FDA0002572543930000023
步骤43:采用以下公式获得危化品事故处理剂投送的靶向坐标(X′ Y′ Z′):
Figure FDA0002572543930000024
其中,Zl和Zr分别是两幅图像中危化品泄漏目标区域的质点位置在相机坐标系下的坐标,Hl和Hr分别是拍摄两幅图像的相机的标定矩阵,(xl,yl)和(xr,yr)表示两幅图像的危化品泄漏目标区域的质点位置在图像坐标系下的坐标。
5.根据权利要求1所述的方法,其中,在步骤1中,对于从不同角度拍摄的两幅危化品图像,根据以下步骤检测危化品泄漏目标区域:
步骤11-1:基于危化品液面的亮度特征获得第一危化品液面区域;
步骤11-2:基于危化品液面的纹理特征获得第二危化品液面区域;
步骤11-3:将所述第一危化品液面区域和所述第二危化品液面区域进行融合,获得所述危化品泄漏目标区域。
6.根据权利要求5所述的方法,其中,在步骤11-1中,根据以下子步骤获得所述第一危化品液面区域:
步骤S1:通过将所述两幅危化品图像的灰度图中每一个像素值与灰度阈值进行比较获得亮度分割图;
步骤S2:根据危化品图像和背景图像的亮度特征从所述亮度分割图剔除背景区域,从而获得所述第一危化品液面区域。
7.根据权利要求6所述的方法,其中,在步骤S1中,包括以下子步骤:
将两幅危化品图像的灰度图中每一个像素值和灰度阈值G0进行比较,利用聚类法得到大于G0和小于G0的两个分割区域;
计算该两个分割区域的中心灰度值G1,并重复进行聚类直到前后两次聚类结果得到的中心灰度值的比值小于预定阈值,从而获得所述亮度分割图。
8.根据权利要求7所述的方法,其中,在步骤S2中,包括以下子步骤:
从所述亮度分割图的最上面的一行像素中检测出大于亮度阈值的高亮度值的像素点;
以该高亮度值的像素点为出发点,运用区域生长扩散方法逐行扫描每行像素点,获得与该高亮度值的像素点相连通的区域并将该区域剔除,获得所述第一危化品液面区域。
9.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,在所述存储器上存储有能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。
CN201811344632.4A 2018-11-13 2018-11-13 基于双目视觉的危化品事故处理剂投送靶向定位方法 Active CN109636851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811344632.4A CN109636851B (zh) 2018-11-13 2018-11-13 基于双目视觉的危化品事故处理剂投送靶向定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811344632.4A CN109636851B (zh) 2018-11-13 2018-11-13 基于双目视觉的危化品事故处理剂投送靶向定位方法

Publications (2)

Publication Number Publication Date
CN109636851A CN109636851A (zh) 2019-04-16
CN109636851B true CN109636851B (zh) 2020-12-29

Family

ID=66067806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811344632.4A Active CN109636851B (zh) 2018-11-13 2018-11-13 基于双目视觉的危化品事故处理剂投送靶向定位方法

Country Status (1)

Country Link
CN (1) CN109636851B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114963025B (zh) * 2022-04-19 2024-03-26 深圳市城市公共安全技术研究院有限公司 泄漏点定位方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413395A (zh) * 2013-08-15 2013-11-27 北京声迅电子股份有限公司 烟气智能检测预警方法及装置
CN103942814A (zh) * 2014-04-04 2014-07-23 浙江大学 一种面向异步双目视觉系统的快速运动物体轨迹估计方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN107677372A (zh) * 2017-09-11 2018-02-09 华中科技大学 一种基于双目视觉的隧道检测方法
CN107958461A (zh) * 2017-11-14 2018-04-24 中国航空工业集团公司西安飞机设计研究所 一种基于双目视觉的载机目标跟踪方法
CN108171753A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
CN108399630A (zh) * 2018-01-22 2018-08-14 北京理工雷科电子信息技术有限公司 一种复杂场景下感兴趣区域内目标快速测距方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745458B (zh) * 2013-12-26 2015-07-29 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
CN104182985B (zh) * 2014-09-01 2017-02-01 西安电子科技大学 遥感图像变化检测方法
CN108182706B (zh) * 2017-12-08 2021-09-28 重庆广睿达科技有限公司 一种焚烧物的监控方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413395A (zh) * 2013-08-15 2013-11-27 北京声迅电子股份有限公司 烟气智能检测预警方法及装置
CN103942814A (zh) * 2014-04-04 2014-07-23 浙江大学 一种面向异步双目视觉系统的快速运动物体轨迹估计方法
CN108171753A (zh) * 2016-12-07 2018-06-15 广州映博智能科技有限公司 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN107677372A (zh) * 2017-09-11 2018-02-09 华中科技大学 一种基于双目视觉的隧道检测方法
CN107958461A (zh) * 2017-11-14 2018-04-24 中国航空工业集团公司西安飞机设计研究所 一种基于双目视觉的载机目标跟踪方法
CN108399630A (zh) * 2018-01-22 2018-08-14 北京理工雷科电子信息技术有限公司 一种复杂场景下感兴趣区域内目标快速测距方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A survey on gas leak detection and localization techniques;Pal-Stefan Murvay etc;《Journal of Loss Prevention in the Process Industries》;20121130;第25卷(第6期);第966-973页 *
基于视频图像的火灾识别研究;李玲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130115(第2013年01期);第I138-1496页 *
隧道火灾红外双目视觉定位系统研究;高荣;《中国优秀硕士学位论文全文数据 信息科技辑》;20150315(第2015年03期);第I138-2040页 *
高荣.隧道火灾红外双目视觉定位系统研究.《中国优秀硕士学位论文全文数据 信息科技辑》.2015,(第2015年03期),第I138-2040页. *

Also Published As

Publication number Publication date
CN109636851A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN111243032B (zh) 一种棋盘格角点全自动检测方法
Shan et al. A stereovision-based crack width detection approach for concrete surface assessment
Bae et al. A method for automated registration of unorganised point clouds
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN105934757B (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
CN112435252B (zh) 一种战斗部破片穿孔和凹坑检测方法
CN109636851B (zh) 基于双目视觉的危化品事故处理剂投送靶向定位方法
CN109598755B (zh) 基于双目视觉的危化品泄漏检测方法
Zhao et al. Metric calibration of unfocused plenoptic cameras for three-dimensional shape measurement
Li et al. Towards automated extraction for terrestrial laser scanning data of building components based on panorama and deep learning
CN113674220A (zh) 一种图像差异检测方法、检测装置和存储介质
CN113658279A (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN104484647B (zh) 一种高分辨率遥感图像云高度检测方法
CN115222789A (zh) 实例深度估计模型的训练方法、装置及设备
Inzerillo Super-resolution images on mobile smartphone aimed at 3D modeling
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
Seo Edge modeling by two blur parameters in varying contrasts
CN106709942A (zh) 一种基于特征方位角的全景图像误匹配消除方法
CN110300991A (zh) 表面图形确定方法和装置
Xiong et al. Research on positioning algorithm of binocular camera based on multi-media
CN111145268A (zh) 一种视频注册方法及装置
Ma et al. An improved method of corner point extraction used in grating projection phase measurement
CN114821325B (zh) 基于模型提取植被冠层孔隙度的方法、装置、设备及介质
CN110163147B (zh) 堆垛“五距”检测的二值化方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant