CN112014393B - 一种基于目标视觉效果的介质能见度识别方法 - Google Patents

一种基于目标视觉效果的介质能见度识别方法 Download PDF

Info

Publication number
CN112014393B
CN112014393B CN202010868565.7A CN202010868565A CN112014393B CN 112014393 B CN112014393 B CN 112014393B CN 202010868565 A CN202010868565 A CN 202010868565A CN 112014393 B CN112014393 B CN 112014393B
Authority
CN
China
Prior art keywords
visibility
target
algorithm
visual effect
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010868565.7A
Other languages
English (en)
Other versions
CN112014393A (zh
Inventor
王锡纲
李杨
赵育慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Xinwei Technology Co ltd
Original Assignee
Dalian Xinwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Xinwei Technology Co ltd filed Critical Dalian Xinwei Technology Co ltd
Priority to CN202010868565.7A priority Critical patent/CN112014393B/zh
Publication of CN112014393A publication Critical patent/CN112014393A/zh
Application granted granted Critical
Publication of CN112014393B publication Critical patent/CN112014393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及能见度识别技术领域,提供一种基于目标视觉效果的介质能见度识别方法,包括:通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号;利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置;对得到目标物的提取结果,进行特征匹配;利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差;利用目标视觉效果预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行目标视觉效果能见度预测,预测得到的能见度区间;利用能见度平衡算法,进行最终的能见度预测。本发明能够提高介质能见度识别的准确性以及适应各种环境。

Description

一种基于目标视觉效果的介质能见度识别方法
技术领域
本发明涉及能见度识别技术领域,尤其涉及一种基于目标视觉效果的介质能见度识别方法。
背景技术
能见度识别在航空航海、交通运输等方面具有重要意义,恶劣的天气状况、海洋环境会造成各种安全隐患,关系着人民群众的生命财产安全,如若相关部门能准确发布对应的能见度状况,就能帮助各行各业提高管理质量。
常用的能见度识别方法有人工目测法和器测法等。人工目测法通过在每个站点布置专门的观测站来判断能见度,目测法由于只凭人眼分辨和主观判断,导致规范性和客观性较差;器测法通过透射式能见度仪和激光雷达能见度测量仪等设备测量透射率、消光系数等来计算能见度,这些设备价格昂贵,场地要求高,局限性大,因此不能广泛使用。
发明内容
本发明主要解决现有技术的介质能见度识别价格昂贵、适用范围小和识别准确率低等技术问题,提出一种基于目标视觉效果的介质能见度识别方法,以达到提高介质能见度识别的准确性以及适应各种环境的目的。
本发明提供了一种基于目标视觉效果的介质能见度识别方法,包括以下过程:
步骤100,通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号;
步骤200,利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置,得到目标物的提取结果;
步骤300,对得到目标物的提取结果,进行特征匹配;
步骤400,利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差;
步骤500,利用目标视觉效果预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行目标视觉效果能见度预测,预测得到的能见度区间;
步骤600,利用能见度平衡算法,进行最终的能见度预测。
进一步的,步骤200包括以下过程:
步骤201,对视频两路视频信号中的每一帧图像,进行卷积神经网络提取特征;
步骤202,利用区域提取网络进行初步分类与回归;
步骤203,对候选框特征图进行对齐操作;
步骤204,利用卷积神经网络对目标进行分类、回归、分割,得到目标物的提取结果。
进一步的,步骤300包括以下过程:
步骤301,对两个目标物轮廓,进行提取关键点;
步骤302,对得到的关键点,进行定位关键点;
步骤303,根据定位的关键点,确定关键点的特征向量;
步骤304,通过各关键点的特征向量,关键点匹配。
进一步的,步骤400包括以下过程:
步骤401,对双目摄像头进行标定;
步骤402,对双目摄像头进行双目校正;
步骤403,对双目摄像头采集的图像进行双目匹配;
步骤404,计算双目匹配后的图像的深度信息,得到图像中目标物的距离信息。
进一步的,步骤500包括以下过程:
步骤501,构建目标视觉效果预测能见度算法网络结构;
步骤502,将步骤200得到的得到目标物的提取结果,输入目标视觉效果预测能见度算法网络结构,得到多尺度的特征图;
步骤503,经过目标视觉效果预测能见度算法网络结构对图像进行分类,得到目标图像分类结果,实现预测得到的能见度区间。
进一步的,所述目标视觉效果预测能见度算法网络结构包括:输入层、卷积层、第一个提取特征模块、合并通道、第二个提取特征模块、合并通道、全连接层、分类结构输出层;其中,每个提取特征模块包括5个卷积核。
进一步的,步骤600包括以下过程:
步骤601,构建能见度平衡算法网络结构,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层;
步骤602,将能见度依次输入循环神经网络,得到考虑时间序列的结果;
步骤603,将循环神经网络的输出连接一个全连接层,得到该时间序列所对应的能见度区间值。
本发明提供的一种基于目标视觉效果的介质能见度识别方法,利用双目摄像头,全天候捕捉视频影像,利用测距算法得到的目标物检测距离与实际距离的偏差,利用目标视觉效果预测能见度算法得到的能见度区间,并根据以上结果利用能见度平衡算法,进行最终的能见度预测。本发明能够识别当前的介质能见度,对介质能见度识别的准确率高、稳定性高,对常见各种情况的适应性强,不依赖于特定的视频采集设备。本发明的每个点位使用双目摄像头进行视频数据采集。双目摄像头的使用起到了一举多得的效果。两个镜头既可以独立使用,把每个镜头可以当作一个独立的视频信号源,两路信号进行交叉验证,又可以结合使用增加对距离的敏感性。
本发明可以应用在海底能见度识别、港区的大气能见度识别,以及其他需要进行介质能见度识别的场景。在港区的大气能见度识别时,通过对港区应用场景的分析,可以发现,港区面积大、作业区域分布广,因此,识别点位需要根据作业区域进行多点部署。港区内建设相对成熟,地形地貌特征和建筑外观相对稳定。便于在每个点位设定检测参照点,更有利于提高识别的稳定性和准确率。双目摄像头在港区内是多点部署,通过系统的时间戳控制,可以得到同一时间,各个点位的视频数据。同时,视频数据是时间维度上的图像序列,因此,通过本发明的方法可以得到不同时段,不同地点的大气能见度数据,供港口业务人员使用。
附图说明
图1是本发明提供的基于目标视觉效果的介质能见度识别方法的实现流程图;
图2是特征金字塔网络结构的示意图;
图3是自底向上结构的示意图;
图4a-e是自底向上结构中每个阶段产生特征图的原理示意图;
图5是区域提取网络结构的示意图;
图6是对特征图进行对齐操作的效果图;
图7是分类、回归、分割网络结构的示意图;
图8是双目测距算法的原理示意图;
图9是双目测距的基本原理示意图;
图10是目标视觉效果预测能见度算法网络结构的示意图;
图11是能见度平衡算法网络结构的示意图;
图12a-b是循环神经网络结构的示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
图1是本发明提供的基于目标视觉效果的介质能见度识别方法的实现流程图。如图1所示,本发明实施例提供的基于目标视觉效果的介质能见度识别方法,包括:
步骤100,通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号。
由于本发明能见度识别的输出为离散值,即数字区间,如“500米以下”、“500米到1000米”的描述。因此,为了提高检测精度,利用测距算法得到的连续值,即检测距离,如“245.87米”、“1835.64米”的描述,来对其他算法检测出的离散值进行校正。因此需要设置目标参照物。目标参照物的选定原则:位置不变的固定物体;能见度良好的情况下,白天夜晚都能清晰辨认的物体;双目摄像头和目标物之间无遮挡;目标物与双目摄像头之间的距离符合能见度区间的分布,且分布均匀。距离差值100米左右为宜。
步骤200,利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置,得到目标物的提取结果。
从双目摄像头两路视频信号中分别提取目标物的位置,目的是防止单路检测出现错误导致后续计算失败。本步骤采用精确的目标分割算法,得到目标物的精确轮廓,能够提取目标物的准确位置,为后续处理做准备。
考虑到双目摄像头的视野(视角和焦距等)不会轻易变化,因此,理论上目标物出现在成像中的位置是固定不变的。但是在实际中,必须考虑到摄像头在风、海浪等作用下会产生晃动,或者其他外力作用下,导致视野发生轻微改变,甚至飞鸟、鱼群等干扰物会出现在视野中等因素,为了增加检测的准确性,在目标分割算法进行处理的时候,会根据先验条件设置视野中的热点区域,并提高热点区域内检测到的目标物的权值。
经过目标分割算法,在双目摄像头的两路视频帧信号中,理论上可以得到两个目标物的“精确轮廓”。此处所说的“精确轮廓”,会受到介质中不同情况的干扰,不同能见度情况下,检测到的“精确轮廓”可能不相同。我们在这个环节容忍这种干扰,因为干扰恰恰是包含了能见度的信息。如果此处没有得到两个“精确轮廓”,则说明该帧数据识别有误,或者由于某些原因导致识别无法正常进行,如某一录视频信号采集异常,或者某个镜头被遮挡。
没有满足上述条件的情况,该帧数据将被丢弃,等待下一帧数据的输入,重新识别。本方法在实际应用时,如果发生多帧连续出现上述情况,则需要进行报警,将视频信号保存,留待业务人员检查。
本步骤的目标分割是图像分析的第一步,是计算机视觉的基础,是图像理解的重要组成部分,同时也是图像处理中最困难的问题之一。所谓图像分割是指根据灰度、颜色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域,使得这些特征在同一区域内表现出一致性或相似性,而在不同区域间表现出明显的不同。简单的说就是在一副图像中,把目标从背景中分离出来。图像分割使得其后的图像分析,目标识别等高级处理阶段所要处理的数据量大大减少,同时又保留有关图像结构特征的信息。
目标分割算法主要分为:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于深度学习的分割方法等。本步骤采用的目标分割算法的主要过程包括:
步骤201,对视频两路视频信号中的每一帧图像,进行卷积神经网络提取特征。
本步骤考虑图像的清晰度会随着摄像头参数不同而变化,所以采用多尺度特征提取方案,即特征金字塔网络。特征金字塔网络结构如图2所示。
特征金字塔网络分为两部分结构。左侧结构叫自底向上结构,该结构产出不同尺度的特征图,如图上C1到C5。C1到C5分别为不同尺度的特征图,从下至上,特征图尺寸不断变小,也意味着提取的特征维度越来越高。形状呈金字塔型,因此成为特征金字塔网络。右侧结构叫自顶向下结构,分别对应特征金字塔的每一层特征,两个结构间,相同级别的特征处理连接的箭头是横向连接。
这样做的目的是因为尺寸较小的高层特征具有较多语义信息,尺寸较大的低层特征语义信息少但位置信息多,通过这样的连接,每一层的特征图都融合了不同分辨率和不同语义强度的特征,因此在对不同分辨率的物体进行检测时,检测效果可以得到提升。
自底向上结构如图3所示,该网络结构中包含五个阶段,每个阶段用来计算不同尺寸的特征图,其缩放步长为2。每个阶段产生特征图的原理如图4a-e所示。我们使用每个阶段输出的C1、C2、C3、C4、C5特征图用于构建特征金字塔网络结构。
自顶向下结构如图2中金字塔网络结构右侧所示。首先对具有更强语义信息的高层特征图进行上采样,得到和低层特征图相同的尺寸。然后,将具有相同尺寸的自底向上和自顶向下结构中的特征图进行横向连接。按元素相加的方式,将两个特征图映射合并。最后,为了减少上采样带来的混叠效应,在每个合并的特征图上附加一个卷积层得到最终的特征图,即P2、P3、P4、P5。
步骤202,利用区域提取网络进行初步分类与回归。
区域提取网络结构如图5所示。基于上述特征金字塔网络得到的特征图P2、P3、P4、P5,首先根据锚框生成规则生成特征图上每个点对应原图的锚框,然后将P2、P3、P4、P5特征图输入到区域提取网络,区域提取网络包含一个卷积层和一个全连接层,最终得到每个锚框的分类、回归结果,具体包含每个锚框的前景、背景分类得分及每个锚框的边界框坐标修正信息。最后根据阈值选取出符合前景得分条件的锚框并进行边界框修正,修正之后的锚框称为候选框。
步骤203,对候选框特征图进行对齐操作。
通过区域提取网络,得到符合得分要求的候选框,并将这些候选框映射回特征图上。根据以下公式得到候选框所对应的特征图层数:
其中,w表示候选框的宽度,h表示候选框的高度,k表示这个候选框所对应的特征层层数,k0是w,h=224时映射的层数,一般取4,即对应着P4层。然后,通过双线性内插的方法获得候选框所对应的特征图,所得到的特征图尺寸是一致的。对特征图进行对齐操作效果如图6所示。
步骤204,利用卷积神经网络对目标进行分类、回归、分割,得到目标物的提取结果。
分类、回归、分割网络结构如图7所示。基于上述所得固定尺寸的候选框特征图,经过分类、回归网络,计算候选框的分类得分和坐标偏移量并对候选框进行边界框修正。经过分割网络,对候选框内的目标进行分割。最终,经过目标分割算法可以得到图像中目标的分类、边界框回归及分割结果,进而得到目标物的提取结果。
步骤300,对得到目标物的提取结果,进行特征匹配。
通过步骤200的目标分割算法,得到了两个目标物轮廓,但是这两个目标物轮廓在不同的视频帧中的位置和角度是不一样的,这一步需要将两个目标物轮廓进行特征匹配。特征匹配算法需要对两个目标物轮廓进行特征比对,找到成像中不同位置的同一物体的同一个点。因为后续的测距算法,必须要根据某个确定的像素点进行计算。在这一环节,为了尽可能保证提取到的是同一个点,会进行多次采样取均值的方法确定最后结果。并记录该点在不同的成像中的像素位置。具体包括以下过程:
步骤301,对两个目标物轮廓,进行提取关键点。
关键点是一些十分突出的不会因光照、尺度、旋转等因素而消失的点,比如角点、边缘点、暗区域的亮点以及亮区域的暗点。本步骤是搜索所有尺度空间上的图像位置。通过高斯微分函数来识别潜在的具有尺度和旋转不变的兴趣点。
步骤302,对得到的关键点,进行定位关键点。
在每个候选的位置上,通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
步骤303,根据定位的关键点,确定关键点的特征向量。
基于图像局部的梯度方向,分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性。
步骤304,通过各关键点的特征向量,关键点匹配。
通过各关键点的特征向量,进行两两比较找出相互匹配的若干对特征点,建立物体间特征的对应关系。最终,可通过对应关系计算出关键点之间的距离。
步骤400,利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差。
双目测距算法的原理图如图8所示。由图8可见,测距算法的误差会受到左右两个相机间距的测量误差、相机焦距的测量误差、相机与目标物的垂直高度差的测量误差等因素的影响。这些误差是不可避免的。但本步骤并不是要测量目标物的精确距离,只是建立实际距离与不同能见度情况影响下的检测距离的关联关系。并且,由于后续由神经网络的存在,可以将本步骤产生的误差通过后续神经网络减少影响。测距算法的输出值为检测距离值(连续值)。双目测距的基本原理如图9所示。本步骤具体包括以下过程:
步骤401,对双目摄像头进行标定。
摄像头由于光学透镜的特性使得成像存在着径向畸变,可由三个参数k1、k2、k3确定,径向畸变公式为:Xdr=X(1+k1×r2+k2×r4+k3×r6),Ydr=Y(1+k1×r2+k2×r4+k3×r6),r2=X2+Y2,式中,(X,Y)是无畸变的图像像素点坐标,(Xdr,Ydr)是畸变后图像像素点坐标;由于装配方面的误差,摄像头的传感器与光学镜头之间并非完全平行,因此成像存在切向畸变,可由两个参数p1、p2确定,切向畸变公式为:Xdt=2p1×X×Y+p2(r2+2×X2)+1,Ydt=2p1(r2+2×Y2)+2p2×X×Y+1,式中,(X,Y)是无畸变的图像像素点坐标,(Xdt,Ydt)是畸变后图像像素点坐标。单个摄像头的定标主要是计算出摄像头的内参(焦距f和成像原点cx、cy,五个畸变参数(一般只需要计算出k1、k2、p1、p2,对于鱼眼镜头等径向畸变特别大的才需要计算k3))以及外参(标定物的世界坐标)。双目摄像头定标不仅要得出每个摄像头的内部参数,还需要通过标定来测量两个摄像头之间的相对位置(即右摄像头相对于左摄像头的旋转矩阵R、平移向量t)。
步骤402,对双目摄像头进行双目校正。
双目校正是根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量),分别对左右视图进行消除畸变和行对准,使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,只需在该行进行一维搜索即可匹配到对应点。
步骤403,对双目摄像头采集的图像进行双目匹配。
双目匹配的作用是把同一场景在左右视图上对应的像点匹配起来,这样做的目的是为了得到视差数据。
步骤404,计算双目匹配后的图像的深度信息,得到图像中目标物的距离信息。
P是待测物体上的某一点,L和R分别是左右相机的光心,点P在两个相机感光器上的成像点分别为p和p′(相机的成像平面经过旋转后放在了镜头前方),f表示相机焦距,b表示两个相机中心距,z表示所求目标物的距离,设p和p′的距离为dis,则
dis=b-(XR-XL)
根据三角形相似原理:
可得:
公式中,焦距f和摄像头中心距b可以通过标定得到,所以只要获得了XR-XL(即,视差d)的值即可得到深度信息。视差值可根据第二个特征匹配算法中的匹配关键点计算得出。最终,经过双目测距算法可以得到图像中目标物的距离信息,进而得到目标物检测距离与实际距离的偏差。
步骤500,利用目标视觉效果预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行目标视觉效果能见度预测,预测得到的能见度区间。
目标视觉效果预测能见度算法是一种利用图像微观信息来预测能见度的方法,主要是基于目标物的轮廓梯度、轮廓完整程度、以及其颜色的饱和度来预测能见度。本环节算法的输入为步骤200的目标分割算法的输出。为了使本发明能够适应白天和夜晚,并且提高在不同情况下的预测准确率,在该算法的训练过程,需要提供大量视频数据,以及相同时间戳的能见度检测仪的检测数据。本步骤的输出为能见度的区间值(离散值)。步骤500具体包括以下过程:
步骤501,构建目标视觉效果预测能见度算法网络结构。
目标视觉效果预测能见度算法网络结构如图10所示。所述目标视觉效果预测能见度算法网络结构包括:输入层、卷积层、第一个提取特征模块、合并通道、第二个提取特征模块、合并通道、全连接层、分类结构输出层;每个提取特征模块包括5个卷积核。基于步骤200的目标分割算法,可得到含有目标的图像。由于目标图像中的环境噪声干扰较少,因此本步骤构建的网络结构中包含了两个提取特征模块,每个提取特征模块都使用三种不同的卷积核,用来提取图像不同尺度的特征,增加了特征多样性,提高了分类准确率。
步骤502,将步骤200得到的得到目标物的提取结果,输入目标视觉效果预测能见度算法网络结构,得到多尺度的特征图。
本步骤具体的,在每个模块的输出端将提取到的各种特征在通道维度上进行拼接合并,得到多尺度的特征图。
步骤503,经过目标视觉效果预测能见度算法网络结构对图像进行分类,得到目标图像分类结果,实现预测得到的能见度区间。
本步骤具体的,经过全连接层对图像进行分类,得到目标图像分类结果。
步骤600,利用能见度平衡算法,进行最终的能见度预测。
经过步骤200-步骤500的处理过程,在一帧视频数据中得到了三个与能见度相关的结果:(1)步骤400中利用测距算法得到的目标物检测距离与实际距离的偏差(连续值)。这个偏差的产生跟能见度有很大且直接的关联。(2)步骤500中利用目标视觉效果预测能见度算法得到的能见度区间(离散值)。
对于多个计算结果的平衡策略,传统上通常采用直接取均值,或者排除异常值后取均值的方法。为了进一步提高检测准确率,在本步骤采取多帧结果循环校验的方法。在与能见度变化速度相比的短时间内(如1分钟),按照一定时间间隔(如5秒),取得多帧数据进行计算,按照时间顺序,将每帧的检测结果输入能见度平衡算法,得到最终的能见度区间值。步骤600包括以下过程:
步骤601,构建能见度平衡算法网络结构,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层。
能见度平衡算法网络结构如图11所示。如图11所示,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层。能见度平衡算法网络按照时间顺序输入能见度,每个时间节点输入的能见度特征长度为3,分别为步骤400中测距算法得到的目标物检测距离与实际距离的偏差、步骤500中目标视觉效果预测能见度算法得到的能见度区间。
步骤602,将能见度依次输入循环神经网络,得到考虑时间序列的结果。
本发明利用能见度平衡算法,能够在时间维度上,对于多次计算结果进行平衡,能够减少单帧计算错误的影响。但是在不同时间戳取得的结果,前后具有一定关联性,即短时间内,能见度的变化不会很剧烈。所以可以利用时间维度,对多个检测数值进行校正。所以能见度平衡首先采用循环神经网络来进行处理。循环神经网络的特点是每一次计算,需要考虑上一次计算的结果,作为先验输入,可实现对后续的计算进行校正的效果。在校正后,得到了不同时间戳的计算结果,再后接一个全连接神经网络,对多次计算结果进行整合,得到最终结果。循环神经网络结构如图12a-b所示。所述循环神经网络结构包括:输入层、循环层和输出层。
循环神经网络具有按照输入数据顺序递归学习的特性,因此可用来处理和序列相关的数据。从网络结构可以看出,循环神经网络会记忆之前的信息,并利用之前的信息影响后面结点的输出。也就是说,循环神经网络的隐藏层之间的结点是有连接的,隐藏层的输入不仅包括输入层的输出,还包括上时刻隐藏层的输出。
给定按序列输入的数据X={X1,X2,…,Xt},X的特征长度为c,展开长度为t。循环神经网络的输出ht计算公式为:
ht=tanh(W*Xt+W*ht-1)
其中,W为隐藏层参数,tanh为激活函数。由公式可以看出,t时刻的输出不仅取决于当前时刻的输入Xt,还取决于前一时刻的输出ht-1
步骤603,将循环神经网络的输出连接一个全连接层,得到该时间序列所对应的能见度区间值。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于目标视觉效果的介质能见度识别方法,其特征在于,包括以下过程:
步骤100,通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号;
步骤200,利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置,得到目标物的提取结果;
步骤300,对得到目标物的提取结果,进行特征匹配;
步骤400,利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差;
步骤500,利用目标视觉效果预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行目标视觉效果能见度预测,预测得到的能见度区间;
步骤500包括以下步骤501至步骤503:
步骤501,构建目标视觉效果预测能见度算法网络结构;其中,所述目标视觉效果预测能见度算法网络结构包括:输入层、卷积层、第一个提取特征模块、合并通道、第二个提取特征模块、合并通道、全连接层、分类结构输出层;其中,每个提取特征模块包括5个卷积核;
步骤502,将步骤200得到的目标物的提取结果,输入目标视觉效果预测能见度算法网络结构,得到多尺度的特征图;
步骤503,经过目标视觉效果预测能见度算法网络结构对图像进行分类,得到目标图像分类结果,实现预测得到的能见度区间;
步骤600,利用能见度平衡算法,进行最终的能见度预测;步骤600包括以下过程:
步骤601,构建能见度平衡算法网络结构,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层;
步骤602,将能见度依次输入循环神经网络,得到考虑时间序列的结果;
步骤603,将循环神经网络的输出连接一个全连接层,得到该时间序列所对应的能见度区间值。
2.根据权利要求1所述的基于目标视觉效果的介质能见度识别方法,其特征在于,步骤200包括以下过程:
步骤201,对两路视频信号中的每一帧图像,进行卷积神经网络提取特征;
步骤202,利用区域提取网络进行初步分类与回归;
步骤203,对候选框特征图进行对齐操作;
步骤204,利用卷积神经网络对目标进行分类、回归、分割,得到目标物的提取结果。
3.根据权利要求1所述的基于目标视觉效果的介质能见度识别方法,其特征在于,步骤300包括以下过程:
步骤301,对两个目标物轮廓,进行提取关键点;
步骤302,对得到的关键点,进行定位关键点;
步骤303,根据定位的关键点,确定关键点的特征向量;
步骤304,通过各关键点的特征向量,关键点匹配。
4.根据权利要求1所述的基于目标视觉效果的介质能见度识别方法,其特征在于,步骤400包括以下过程:
步骤401,对双目摄像头进行标定;
步骤402,对双目摄像头进行双目校正;
步骤403,对双目摄像头采集的图像进行双目匹配;
步骤404,计算双目匹配后的图像的深度信息,得到图像中目标物的距离信息。
CN202010868565.7A 2020-08-26 2020-08-26 一种基于目标视觉效果的介质能见度识别方法 Active CN112014393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010868565.7A CN112014393B (zh) 2020-08-26 2020-08-26 一种基于目标视觉效果的介质能见度识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010868565.7A CN112014393B (zh) 2020-08-26 2020-08-26 一种基于目标视觉效果的介质能见度识别方法

Publications (2)

Publication Number Publication Date
CN112014393A CN112014393A (zh) 2020-12-01
CN112014393B true CN112014393B (zh) 2023-12-19

Family

ID=73502201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010868565.7A Active CN112014393B (zh) 2020-08-26 2020-08-26 一种基于目标视觉效果的介质能见度识别方法

Country Status (1)

Country Link
CN (1) CN112014393B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003270357A (ja) * 2002-03-13 2003-09-25 Mitsubishi Electric Corp 視程学習装置
CN101382497A (zh) * 2008-10-06 2009-03-11 南京大学 基于路况监控视频的能见度检测方法
CN103630496A (zh) * 2013-12-12 2014-03-12 南京大学 基于路面视亮度和最小二乘法的交通视频能见度检测方法
CN104677330A (zh) * 2013-11-29 2015-06-03 哈尔滨智晟天诚科技开发有限公司 一种小型双目立体视觉测距系统
CN107886049A (zh) * 2017-10-16 2018-04-06 江苏省气象服务中心 一种基于摄像探头的能见度识别预警方法
CN108732178A (zh) * 2017-04-24 2018-11-02 中兴通讯股份有限公司 一种大气能见度检测方法和装置
CN108875794A (zh) * 2018-05-25 2018-11-23 中国人民解放军国防科技大学 一种基于迁移学习的图像能见度检测方法
CN109214331A (zh) * 2018-08-30 2019-01-15 南京邮电大学 一种基于图像频谱的交通雾霾能见度检测方法
CN109919889A (zh) * 2019-02-28 2019-06-21 温州大学 一种基于双目视差的能见度检测算法
CN109978842A (zh) * 2019-03-14 2019-07-05 藏龙信息科技(苏州)有限公司 一种基于摄像头图像的能见度解析方法
CN110020642A (zh) * 2019-05-14 2019-07-16 江苏省气象服务中心 一种基于车辆检测的能见度识别方法
CN110889398A (zh) * 2019-12-19 2020-03-17 南通大学 一种基于相似度网络的多模态图像能见度检测方法
CN110910378A (zh) * 2019-11-29 2020-03-24 南通大学 一种基于深度融合网络的双模态图像能见度检测方法
CN111028295A (zh) * 2019-10-23 2020-04-17 武汉纺织大学 一种基于编码结构光和双目的3d成像方法
CN111191629A (zh) * 2020-01-07 2020-05-22 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003270357A (ja) * 2002-03-13 2003-09-25 Mitsubishi Electric Corp 視程学習装置
CN101382497A (zh) * 2008-10-06 2009-03-11 南京大学 基于路况监控视频的能见度检测方法
CN104677330A (zh) * 2013-11-29 2015-06-03 哈尔滨智晟天诚科技开发有限公司 一种小型双目立体视觉测距系统
CN103630496A (zh) * 2013-12-12 2014-03-12 南京大学 基于路面视亮度和最小二乘法的交通视频能见度检测方法
CN108732178A (zh) * 2017-04-24 2018-11-02 中兴通讯股份有限公司 一种大气能见度检测方法和装置
CN107886049A (zh) * 2017-10-16 2018-04-06 江苏省气象服务中心 一种基于摄像探头的能见度识别预警方法
CN108875794A (zh) * 2018-05-25 2018-11-23 中国人民解放军国防科技大学 一种基于迁移学习的图像能见度检测方法
CN109214331A (zh) * 2018-08-30 2019-01-15 南京邮电大学 一种基于图像频谱的交通雾霾能见度检测方法
CN109919889A (zh) * 2019-02-28 2019-06-21 温州大学 一种基于双目视差的能见度检测算法
CN109978842A (zh) * 2019-03-14 2019-07-05 藏龙信息科技(苏州)有限公司 一种基于摄像头图像的能见度解析方法
CN110020642A (zh) * 2019-05-14 2019-07-16 江苏省气象服务中心 一种基于车辆检测的能见度识别方法
CN111028295A (zh) * 2019-10-23 2020-04-17 武汉纺织大学 一种基于编码结构光和双目的3d成像方法
CN110910378A (zh) * 2019-11-29 2020-03-24 南通大学 一种基于深度融合网络的双模态图像能见度检测方法
CN110889398A (zh) * 2019-12-19 2020-03-17 南通大学 一种基于相似度网络的多模态图像能见度检测方法
CN111191629A (zh) * 2020-01-07 2020-05-22 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法

Also Published As

Publication number Publication date
CN112014393A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CN112017243B (zh) 一种介质能见度识别方法
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN108981672A (zh) 基于单目机器人与测距传感器结合的舱门实时定位方法
CN109253722B (zh) 融合语义分割的单目测距系统、方法、设备及存储介质
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN108731587A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
JP6858415B2 (ja) 海面計測システム、海面計測方法および海面計測プログラム
CN112016558B (zh) 一种基于图像质量的介质能见度识别方法
CN109657717A (zh) 一种基于多尺度密集结构特征提取的异源图像匹配方法
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN106296708B (zh) 车辆追踪方法和装置
CN105787870A (zh) 一种图形图像拼接融合系统
CN110929782B (zh) 一种基于正射影像图对比的河道异常检测方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
Guo et al. Visibility detection approach to road scene foggy images
CN109784229B (zh) 一种地面建筑物数据融合的复合识别方法
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN103688289A (zh) 用于估计两幅二进制图像之间相似性的方法和系统
CN112014393B (zh) 一种基于目标视觉效果的介质能见度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant