CN111179334B - 基于多传感融合的海面小面积溢油区域检测系统及检测方法 - Google Patents

基于多传感融合的海面小面积溢油区域检测系统及检测方法 Download PDF

Info

Publication number
CN111179334B
CN111179334B CN201911114572.1A CN201911114572A CN111179334B CN 111179334 B CN111179334 B CN 111179334B CN 201911114572 A CN201911114572 A CN 201911114572A CN 111179334 B CN111179334 B CN 111179334B
Authority
CN
China
Prior art keywords
area
image
oil
infrared
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911114572.1A
Other languages
English (en)
Other versions
CN111179334A (zh
Inventor
辛丽平
王利锋
周玉国
林旭梅
唐永红
李兆涛
马兆兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201911114572.1A priority Critical patent/CN111179334B/zh
Priority to PCT/CN2020/088808 priority patent/WO2021093283A1/zh
Publication of CN111179334A publication Critical patent/CN111179334A/zh
Application granted granted Critical
Publication of CN111179334B publication Critical patent/CN111179334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/20—Controlling water pollution; Waste water treatment
    • Y02A20/204—Keeping clear the surface of open water from oil spills

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及海洋生态保护的技术领域，更具体地，涉及基于多传感融合的海面小面积溢油区域检测系统及检测方法，使用红外热像仪获取原始红外图像，利用图像处理技术对原始红外图像进行处理，使用中值滤波消除红外图像噪声，根据图像灰度特征对溢油区域进行分割，利用数学形态学二次去噪，提取图像特征，结合像素面积法计算溢油区域的溢油面积。本发明的检测系统及检测方法，有效排除低光照度、夜间、海面波浪、暗流等外界环境的影响，在各种条件下分离水面背景与真实溢油区域的能力强，计算获取准确的水面真实溢油面积，且适用于不同种类的溢油面积的计算，在海上小面积溢油检测与海洋环境保护等领域具有良好的应用前景。

Description

基于多传感融合的海面小面积溢油区域检测系统及检测方法
技术领域
本发明涉及海洋生态保护的技术领域，更具体地，涉及基于多传感融合的海面小面积溢油区域检测系统及检测方法。
背景技术
海面溢油事故是当今对海洋生态危害最大的人为事故，海面溢油事故通常具有突发性，除了加强操作人员的操作水平和安全意识，在溢油事故发生时，如何快速检测溢油区域，对海面溢油情况进行实时检测与反馈对保护海洋生态环境具有重要意义。目前检测海面溢油主要是利用远距离遥感成像，虽然能在大范围水域内实现溢油区域与水面区域的分割，但是其监测方式受到卫星过境时间、飞行器循环拍摄限制、重复观测周期较长，通常都是在事故已经造成严重后果后，使用检测技术进行溢油事故的善后处理，往往无法在溢油发生初期及时发现并报警。可见，远距离遥感由于其分辨率与距离的限制，对小范围溢油污染的监测不具备实时性与准确性。
中国专利CN109241976A公开了一种基于图像处理和激光测距溢油面积估计的方法，虽在监测过程融合了多种传感方式，但其在成像时采用光学摄像机，无法排除光学成像中不均匀光照、太阳耀斑及海面波浪带来的干扰；在计算溢油区域面积时采用边缘检测技术进行检测，无法对边缘不明显或未拍摄到整体边缘的图像进行处理，且无法排除边缘明显的干扰物体带来的干扰。中国专利CN102680111B公开了一种可测量物体发热面积的红外热像仪及其测量方法，虽采用了热红外成像技术，但其在处理数据时直接在拍摄图像的基础上结合传感器数据估算面积，且计算过程中仅利用数据数学关系，未准确分割出计算区域，导致其计算准确度无法满足准确监测的要求。
发明内容
本发明的目的在于克服现有技术的不足，提供基于多传感融合的海面小面积溢油区域检测系统及检测方法，利用红外热像仪获取海面溢油图像，成像稳定，受光学与天气条件影响小、可日夜连续监测；引入图像处理技术和像素面积法，能够准确地计算出区域面积。
为解决上述技术问题，本发明采用的技术方案是：
提供基于多传感融合的海面小面积溢油区域检测系统，包括红外热像仪、计算终端、用于测量拍摄物体与红外热像仪之间距离的位移传感器及用于测量红外热像仪对地倾角的倾角传感器，所述红外热像仪与计算终端双向信号连接，所述位移传感器、倾角传感器信号连接于计算终端的输入端，且所述位移传感器、倾角传感器均固定于红外热像仪的外部。
本发明的基于多传感融合的海面小面积溢油区域检测系统，通过红外热像仪拍摄海面溢油图像并将光信号转换为电信号传输至计算终端；通过位移传感器和倾角传感器记录红外热像仪拍摄时的位置信息，并将所记录的模拟量转换为数字量传输到计算终端；在计算终端使用图像处理技术实时观察并处理红外图像，结合像素面积计算算法可快速计算溢油区域真实面积，有效解决传统海面小面积溢油检测肉眼观察不准确与难以计算溢油区域真实面积的问题，在溢油检测与海洋环境保护领域具有较好的应用前景。
优选地，所述红外热像仪包括壳体及内置于壳体的红外镜头、红外探测器、驱动电路、信号处理与接口电路及相机接口，所述红外镜头、红外探测器、驱动电路、信号处理与接口电路及相机接口顺次连接，所述相机接口信号连接于计算终端。红外镜头可通过螺纹与壳体连接以便于红外镜头的装卸，红外图像的光信号通过红外探测器转换为电信号，再通过驱动电路、信号处理与接口电路对电信号进行处理与放大，并通过相机接口连接至计算终端，相机接口可根据应用场合设计为USB3.0接口或者以太网接口。
优选地，所述红外镜头为定焦广角镜头且红外镜头的成像波段为8μm～14μm，所述红外探测器采用非制冷型焦平面阵列。8μm～14μm中长波红外在大气中不会产生明显衰减，距离对测量精度影响很小且测温范围比较宽；非制冷型红外探测器相较于制冷型红外探测器，其灵敏度更高、误差更小、测量范围更大，且不需要进行制冷，成本更低。
优选地，所述红外热像仪的空间分辨率为0.68mrad，像元间距为0.17μm，噪声等效温差NETD≤30mk@20℃。
本发明还提供基于多传感融合的海面小面积溢油区域检测方法，包括以下步骤：
S10.使用红外热像仪拍摄海面溢油得到原始红外图像，传输至计算终端；使用位移传感器、倾角传感器检测红外热像仪拍摄时的位置信息，传输至计算终端；
S20.对步骤S10所述的原始红外图像进行灰度化处理、滤波处理和锐化处理，得到包含溢油信息的锐化图像；
S30.对步骤S20所述的锐化图像进行阈值分割操作得到二值图像，其中，0代表背景区域，1代表溢油区域；
S40.对步骤S30所述的二值图像进行形态学处理与特征提取，消除二值图像中的噪声干扰并对区域特征进行提取；
S50.结合红外热像仪参数与位置信息，使用像素面积法对溢油区域的面积进行计算，得到包含溢油区域面积信息的二值图像；
S60.基于红外热像仪的位置信息，对步骤S50中包含溢油区域面积信息的二值图像进行面积校准得到最终的面积计算二值图像，并计算真实溢油区域面积。
本发明的基于多传感融合的海面小面积溢油区域检测方法，红外热像仪获得原始红外图像，成像稳定，受光学与天气条件影响小、可日夜连续监测；对位移传感器与倾角传感器的数据进行整合得到红外热像仪的位置信息，热像仪进行倾斜校正或使用校正算法对拍摄的图像进行倾斜校正，可得到最终准确的面积计算二值图像，从而有效解决传统海面小面积溢油检测肉眼观察不准确与难以计算溢油区域真实面积的问题，在溢油检测与海洋环境保护领域具有较好的应用前景。
优选地，步骤S20中，所述灰度化处理按以下步骤进行：对原始红外图像提取三个颜色通道的分量并获取各通道分量的灰度直方图，选取灰度分布最为均匀的图像作为灰度图像。三个颜色通道的分量分别表示为R分量、G分量及B分量，灰度分布最为均匀的图像对比度较高，利于后续计算。
优选地，步骤S20中，所述滤波处理采用中值滤波处理方式，按以下步骤进行：取一个窗口内所有像素的灰度值并进行排序，所述窗口记为W，若W内像素数目为奇数，则排序后的中间值作为中值取代W中心位置像素的原灰度值；若W内像素数目为偶数，则将中间两个值的平均值作为中值取代W中心位置像素的原灰度值。在红外图像获取过程中，由于现场温度的变化，红外热像仪内部电子电路一系列影响等，图像通常会包含比较多的噪声，经中值滤波处理可实现后续溢油目标与背景的分离，消除图像中的噪声干扰。
优选地，步骤S20中，采用复合拉普拉斯算子对图像进行锐化。对于热红外图像，能量主要集中在低频部分，噪声所在的频段主要在高频段，同时图像边缘信息也主要集中在高频部分，将导致原始红外图像在平滑处理之后，图像边缘和图像轮廓模糊的情况出现，利用图像锐化技术，可使图像的边缘变的清晰。
优选地，步骤S40中，所述形态学处理包括填充步骤、膨胀步骤和腐蚀步骤：
所述填充步骤为：以连通区域的某个点为起始点，对连通区域内的各个像素进行遍历，将整个连通区域都填充为1；
所述膨胀步骤包括：创造一个结构元素作为模板，对图像中的每一个像素进行遍历；根据模板的大小，遍历所有被模板覆盖的其他像素，修改像素的值为所有像素中最大的值，将图像外围的突出点连接并向外延伸；
所述腐蚀步骤为：创造一个结构元素作为模板，对图像中的每一个像素进行遍历；根据模板的大小，遍历所有被模板覆盖的其他像素，修改像素的值为所有像素中最小的值，将图像外围的突出点加以腐蚀。
由于阈值分割后的二值图像存在噪声，在连通区域内会存在小的孔洞，故须进行填充处理；膨胀操作会使得图像外围的突出点连接并向外延伸；腐蚀操作与膨胀操作类似，将图像外围的突出点加以腐蚀；经填充、膨胀、腐蚀处理后的能够获得更能反映真实溢油区域面积的二值图像。
优选地，所述真实溢油区域面积按以下步骤进行：
S61.以红外镜头的光心O为原点建立坐标系，O点距离热像仪感光靶面的垂直距离为f，距离物体成像平面的垂直距离为H，设红外热像仪感光靶面的长度与宽度分别为u和v，红外图像的分辨率为m×n，则感光靶面上单个像素的长度为ωu＝u/m，单个像素的宽度为ωv＝v/n；
S62.在成像平面X轴方向上单个像素的实际长度Wu满足：
在成像平面Y轴方向上单个像素的实际宽度Wv满足：
则在成像平面单个像素的实际面积为σ＝Wu×Wv；
S63.经过图像处理后，测得溢油区域像素数为A，则溢油区域所代表的真实面积S为：
式中，roi为感兴趣区域，x(i,j)为感应区区域内任意一点的坐标。
与现有技术相比，本发明的有益效果是：
本发明基于多传感融合的海面小面积溢油区域检测系统及检测方法，可有效排除低光照度、夜间、海面波浪、暗流等外界环境的影响，在各种条件下分离水面背景与真实溢油区域的能力强，真实溢油面积计算准确，且适用于不同种类的溢油面积的计算。
附图说明
图1为基于多传感融合的海面小面积溢油区域检测系统的结构示意图；
图2为对原始红外图像进行图像处理的流程示意图；
图3为原始红外图像RGB图像各通道分量及灰度直方图；
图4为原始红外图像及经灰度化处理、滤波处理及锐化处理后的图像示意图；
图5为锐化图像及经阈值分割、填充处理、膨胀和腐蚀处理后的图像示意图；
图6为真实溢油区域面积计算方法的原理示意图；
图7为实施例三中20g石油原油在各环境下的处理结果示意图；
图8为实施例三中20mL 85W-140重油在各环境下的处理结果示意图；
图9为实施例三中20mL 0W-20轻油在各环境下的处理结果示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例一
如图1所示为本发明的基于多传感融合的海面小面积溢油区域检测系统的实施例，包括红外热像仪、计算终端、用于测量拍摄物体与红外热像仪之间距离的位移传感器及用于测量红外热像仪对地倾角的倾角传感器，红外热像仪与计算终端双向信号连接，位移传感器、倾角传感器信号连接于计算终端的输入端，且位移传感器、倾角传感器均固定于红外热像仪的外部。本实施例在位移传感器、倾角传感器与计算终端之间连接有信号转换电路，信号转换电路用于将模拟信号转换为数字信号。
本实施例在实施时，通过红外热像仪拍摄海面溢油图像并将光信号转换为电信号传输至计算终端；通过位移传感器和倾角传感器记录红外热像仪拍摄时的位置信息，并将所记录的模拟量转换为数字量传输到计算终端；在计算终端使用图像处理技术在计算终端实时观察并处理红外图像，结合像素面积计算算法可快速计算溢油区域真实面积。
如图1所示，红外热像仪包括壳体及内置于壳体的红外镜头、红外探测器、驱动电路、信号处理与接口电路及相机接口，红外镜头、红外探测器、驱动电路、信号处理与接口电路及相机接口顺次连接，相机接口信号连接于计算终端。红外镜头可通过螺纹与壳体连接以便于红外镜头的装卸，红外图像的光信号通过红外探测器转换为电信号，再通过驱动电路、信号处理与接口电路对电信号进行处理与放大，并通过相机接口连接至计算终端，相机接口可根据应用场合设计为USB3.0接口或者以太网接口。本实施例中的驱动电路包括FPA驱动电路和热像仪驱动电路，信号处理与接口电路包括热像仪处理器、热像仪控制电路及信号转换电路，热像仪处理器采用Snapdragon处理器。本实施例中的壳体可采用轻量化的铝合金或镁合金，但不作为限制性的规定。
本实施例中红外镜头为定焦广角镜头且红外镜头的成像波段为8μm～14μm，红外探测器采用非制冷型焦平面阵列。8μm～14μm中长波红外在大气中不会产生明显衰减，距离对测量精度影响很小且测温范围比较宽；非制冷型红外探测器相较于制冷型红外探测器，其灵敏度更高、误差更小、测量范围更大，且不需要进行制冷，成本更低；由于红外热像仪的拍摄距离为1.5m～2m，本实施例选用12mm的定焦广角镜头。
本实施例中红外热像仪的空间分辨率为0.68mrad，像元间距为0.17μm，噪声等效温差NETD≤30mk@20℃。NETD参数值越小，温度分辨率越高，检测物体热差异效果越好。空间分辨率越高图像像素越多，计算结果越准确；像元间距为成像最小单元的尺寸大小，直接影响到图像面积计算的准确度，过大的像元间距会增大计算误差；但是另一方面，NETD越大，空间分辨率越低，成像质量越差，因此需要在温度分辨率与空间分辨率之间做出平衡。综合考虑红外热像仪的设计成本与成像质量，选择NETD参数为≤30mk@20℃。
但需要说明的是，本实施例中红外热像仪的上述参数设置是为了获得更好的成像效果而做出的优选，并不作为限制性的规定。
实施例二
如图2至图3所示为本发明的基于多传感融合的海面小面积溢油区域检测方法的具体实施例，包括以下步骤：
S10.使用红外热像仪拍摄海面溢油得到原始红外图像，传输至计算终端；使用位移传感器、倾角传感器检测红外热像仪拍摄时位置信息，传输至计算终端；
S20.对步骤S10的原始红外图像进行灰度化处理、滤波处理和锐化处理，得到包含溢油信息的锐化图像；
S30.对步骤S20的锐化图像进行阈值分割操作得到二值图像，0代表背景区域，1代表溢油区域；
S40.对步骤S30的二值图像进行形态学处理与特征提取，消除二值图像中的噪声干扰并对区域特征进行提取；
S50.结合红外热像仪参数与位置信息，使用像素面积法对溢油区域的面积进行计算，得到包含溢油区域面积信息的二值图像；
S60.基于红外热像仪的位置信息，对步骤S50中包含溢油区域面积信息的二值图像进行面积校准得到最终的面积计算二值图像，并计算真实溢油区域面积。
步骤S20中，灰度化处理按以下步骤进行：对原始红外图像提取三个颜色通道的分量并获取各通道分量的灰度直方图，选取灰度分布最为均匀的图像作为灰度图像。本实施例中三个颜色通道的分量分别表示为R分量、G分量及B分量，灰度分布最为均匀的图像对比度较高，利于后续计算。RGB图像的各通道分量及灰度直方图如图3所示。
步骤S20中，滤波处理采用中值滤波处理方式，按以下步骤进行：取一个窗口内所有像素的灰度值并进行排序，窗口记为W，若W内像素数目为奇数，则排序后的中间值作为中值取代W中心位置像素的原灰度值；若W内像素数目为偶数，则将中间两个值的平均值作为中值取代W中心位置像素的原灰度值。在红外图像获取过程中，由于现场温度的变化，红外热像仪内部电子电路一系列影响等，图像通常会包含比较多的噪声，经中值滤波处理可实现后续溢油目标与背景的分离，消除图像中的噪声干扰。
步骤S20中，采用复合拉普拉斯算子对图像进行锐化。对于热红外图像，能量主要集中在低频部分，噪声所在的频段主要在高频段，同时图像边缘信息也主要集中在高频部分，将导致原始红外图像在平滑处理之后，图像边缘和图像轮廓模糊的情况出现，利用图像锐化技术，可使图像的边缘变的清晰。
如图4所示，原始红外图像如图4(a)所示，经灰度化处理后的图像如图4(b)所示，经中值滤波处理后的图像如图4(c)所示，经锐化处理后的锐化图像如图4(d)所示。
步骤S30中，在对热红外图像预处理后，需要从图像中提取出有用的信息，即是否存在溢油。通过对图像中的目标物进行检测和特征参数测量，把图像分成有意义的区域，接着从有意义区域中提取感兴趣的目标，从而将图像分为感兴趣区域与背景区域的二值图像。在分割的过程中，根据不同的图像分布直方图确定一个合适的阈值T，将图像分割为大于T的目标像素群与小于T的背景像素群两部分，而该两部分属于图像的两类区域，从而实现了依据阈值来分割图像的目的。设输入图像是g(x,y)，输出图像是h(x,y)，则：
分割后的图像为二值图像，其中溢油区域为ROI区域，数值为1，在图像中表示为白色；背景区域数值为0，在图像中表示为黑色。
步骤S40中，形态学处理包括填充步骤、膨胀步骤和腐蚀步骤，由于阈值分割后的二值图像存在噪声，在连通区域内会存在小的孔洞，故须进行填充处理；膨胀操作会使得图像外围的突出点连接并向外延伸；腐蚀操作与膨胀操作类似，将图像外围的突出点加以腐蚀；经填充、膨胀、腐蚀处理后的能够获得更能反映真实溢油区域面积的二值图像。其中：
填充步骤为：以连通区域的某个点为起始点，对连通区域内的各个像素进行遍历，将整个连通区域都填充为1；
膨胀步骤为：创造一个结构元素作为模板，对图像中的每一个像素进行遍历；根据模板的大小，遍历所有被模板覆盖的其他像素，修改像素的值为所有像素中最大的值，将图像外围的突出点连接并向外延伸；
腐蚀步骤为：创造一个结构元素作为模板，对图像中的每一个像素进行遍历；根据模板的大小，遍历所有被模板覆盖的其他像素，修改像素的值为所有像素中最小的值，将图像外围的突出点加以腐蚀。
如图5所示，锐化图像如图5(a)所示，阈值分割图像如图5(b)所示，填充图像如图5(c)所示，膨胀和腐蚀处理后图像如图5(d)所示，可见，经阈值分割、填充、膨胀、腐蚀处理后能够获得内部充盈、边界清晰的二值图像。
步骤S60中，真实溢油区域面积按以下步骤进行：
S61.以红外镜头的光心O为原点建立坐标系，如图6所示，O点距离热像仪感光靶面的垂直距离为f，距离物体成像平面的垂直距离为H，设红外热像仪感光靶面的长度与宽度分别为u和v，红外图像的分辨率为m×n，则感光靶面上单个像素的长度为ωu＝u/m，单个像素的宽度为ωv＝v/n；
S62.在成像平面X轴方向上单个像素的实际长度Wu满足：
在成像平面Y轴方向上单个像素的实际宽度Wv满足：
则在成像平面单个像素的实际面积为σ＝Wu×Wv；
S63.经过图像处理后，测得溢油区域像素数为A，则溢油区域所代表的真实面积S为：
式中，roi为感兴趣区域，x(i,j)为感应区区域内任意一点的坐标。
实施例三
本实施例为实施例二中检测方法的应用实施例，在国家海洋局北海分局实验室内模拟了真实海面的溢油概况，使用红外热像仪采集海面图像，通过控制实验光照、空气湿度、水面风速、波浪宽度、水面流速等变量，模拟真实海面的晴天、阴天、夜晚等环境下的海风、海雾、海面波浪、海底暗流等真实变量。为了验证试验对不同种类溢油的有效性，选取了不同粘稠度与密度的三种油类样品：20g石油原油、20ml 85W-140重油、20ml 0W-20轻油，采用实施例二中方法计算三种溢油在不同环境下的面积计算结果。其中：
图7给出了石油原油在各种环境配置下的原始热红外图像与面积计算图像。从原始红外图像可以看出，捕获的热红外图像较好的反应了水面的热辐射特性，其中的溢油区域辐射特性与水面有较为明显的区别，水面的有机物与漂浮物也未在图像中形成明显干扰。原油在刚加入水面时温度比水面高，与水面的温度差异比较明显，溢油较水面呈明显的“热”特性；随着时间不断推移，水面对溢油起冷却作用，油温与水温不断接近，在加入雾气后，凝结水汽进一步加快了溢油的冷却速度，油渐渐地出现“冷”特性。此外，加入光斑干扰后水面没有出现在可见光图像中出现的光斑，在夜晚极低可见度与阴天低可见度的条件下依然能较好的观测到溢油。可见，光照不均与低光照度并不会在热红外图像引入干扰，海浪与风也未在图像中形成明显干扰。从面积计算图像可以看出，分割出的溢油区域与实际溢油区域较为吻合，由于原油的粘度较高，其在水面的面积保持较为稳定，未发生较大面积的扩散，各种条件计算出的实际面积均稳定在8-10cm2区间。在有光斑干扰及低光照条件下依然能较好的计算出溢油区域面积。
图8给出了85W-140重油在各种环境配置下的原始热红外图像与面积计算图像。从原始红外图像可以看出，溢油区域辐射特性与水面有存在较为明显的差别，溢油在刚加入水面时轮廓较为明显，随着溢油的逐渐扩散，其与水面的边界逐渐变得模糊，油温与水温的差异也逐渐减小，在加入雾气前溢油较水面整体呈现“热特性”，加入雾气干扰后溢油温度逐渐下降较为明显，出现“冷”特性。加入光斑干扰后水面依然没有出现在可见光图像中出现的光斑，在夜晚极低可见度与阴天低可见度的条件下依然能较好的观测到溢油。在加入波浪干扰后，热图像没有出现较为明显的干扰；加入风的干扰后成像依然保持稳定，可见风和波浪的外界条件对红外图像干扰不大。从面积计算图像可以看出，分割出的溢油区域与实际溢油区域较为吻合，溢油在水面呈逐渐扩散的趋势，初始面积保持较为稳定，加入干扰后溢油逐渐扩散，其面积也不断增大。由于油类粘稠度与密度的差异，与原油相比，85W-140重油所占面积扩大了一倍以上，并呈不断扩散的趋势。在有光斑干扰及低光照条件下依然能较好的计算出溢油区域面积。在引入波浪与风干扰的情况下同样干扰较小，能得到较好的计算结果。
图9给出了0w-20轻油在各种环境配置下的原始热红外图像与面积计算图像。从原始红外图像可以看出，溢油区域辐射特性与水面有较为明显的区别，水面的有机物与漂浮物也未在图像中形成明显干扰。溢油在刚加入水面时“热”特性明显，随后逐渐冷却。此加入光斑干扰后水面没有出现在可见光图像中出现的光斑。由于0W-20轻油的粘稠度与密度在三种溢油样品中最小，其在水面的扩散面积也最大，在主溢油区域外分别还存在两个小片的扩散区域。从面积计算图像可以看出，分割出的溢油区域与实际溢油区域较为吻合，溢油在水面扩散比较明显，比前两种试验用油的真实面积大。在有光斑干扰的条件下依然能较好的计算出溢油区域面积。
可见，红外热像仪获取的原始红外图像，使用中值滤波消除红外图像噪声，根据图像灰度特征对溢油区域进行分割，利用数学形态学二次去噪，提取图像特征，结合像素面积法计算溢油区域的溢油面积，可以排除低光照度、夜间、海面波浪、暗流等外界环境的影响，在各种条件下分离水面背景与真实溢油区域的能力强；水面真实溢油面积计算准确，在各种干扰下均能计算出溢油区域的真实面积，误差小；且该方法对不同种类的溢油均有较好的处理结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.基于多传感融合的海面小面积溢油区域检测方法，其特征在于，采用基于多传感融合的海面小面积溢油区域检测系统，所述检测系统包括红外热像仪、计算终端、用于测量拍摄物体与红外热像仪之间距离的位移传感器及用于测量红外热像仪对地倾角的倾角传感器，所述红外热像仪与计算终端双向信号连接，所述位移传感器、倾角传感器信号连接于计算终端的输入端，且所述位移传感器、倾角传感器均固定于红外热像仪的外部；
检测方法包括以下步骤：
S10.使用红外热像仪拍摄海面溢油得到原始红外图像，传输至计算终端；使用位移传感器、倾角传感器检测红外热像仪拍摄时的位置信息，传输至计算终端；
S20.对步骤S10所述的原始红外图像进行灰度化处理、滤波处理和锐化处理，得到包含溢油信息的锐化图像；
所述步骤S20中，所述灰度化处理按以下步骤进行：对原始红外图像提取三个颜色通道的分量并获取各通道分量的灰度直方图，所述通道分量包括R分量、G分量和B分量，选取灰度分布最为均匀的图像作为灰度图像；
S30.对步骤S20所述的锐化图像进行阈值分割操作得到二值图像，0代表背景区域，1代表溢油区域；
S40.对步骤S30所述的二值图像进行形态学处理与特征提取，消除二值图像中的噪声干扰并对区域特征进行提取；
S50.结合红外热像仪参数与位置信息，使用像素面积法对溢油区域的面积进行计算，得到包含溢油区域面积信息的二值图像；
S60.基于红外热像仪的位置信息，对步骤S50中包含溢油区域面积信息的二值图像进行面积校准得到最终的面积计算二值图像，并计算真实溢油区域面积；
所述真实溢油区域面积按以下步骤进行：
S61.以红外镜头的光心O为原点建立坐标系，O点距离热像仪感光靶面的垂直距离为f，距离物体成像平面的垂直距离为H，设红外热像仪感光靶面的长度与宽度分别为u和v，红外图像的分辨率为m×n，则感光靶面上单个像素的长度为ωu＝u/m，单个像素的宽度为ωv＝v/n；
S62.在成像平面X轴方向上单个像素的实际长度Wu满足：
在成像平面Y轴方向上单个像素的实际宽度Wv满足：
则在成像平面单个像素的实际面积为σ＝Wu×Wv；
S63.经过图像处理后，测得溢油区域像素数为A，则溢油区域所代表的真实面积S为：
式中，roi为感兴趣区域，x(i,j)为感应区区域内任意一点的坐标。
2.根据权利要求1所述的基于多传感融合的海面小面积溢油区域检测方法，其特征在于，步骤S20中，所述滤波处理采用中值滤波处理方式，按以下步骤进行：取一个窗口内所有像素的灰度值并进行排序，所述窗口记为W，若W内像素数目为奇数，则排序后的中间值作为中值取代W中心位置像素的原灰度值；若W内像素数目为偶数，则将中间两个值的平均值作为中值取代W中心位置像素的原灰度值。
3.根据权利要求2所述的基于多传感融合的海面小面积溢油区域检测方法，其特征在于，步骤S20中，采用复合拉普拉斯算子对图像进行锐化。
4.根据权利要求1所述的基于多传感融合的海面小面积溢油区域检测方法，其特征在于，步骤S40中，所述形态学处理包括填充步骤、膨胀步骤和腐蚀步骤：
所述填充步骤为：以连通区域的某个点为起始点，对连通区域内的各个像素进行遍历，将整个连通区域都填充为1；
所述膨胀步骤包括：创造一个结构元素作为模板，对图像中的每一个像素进行遍历；根据模板的大小，遍历所有被模板覆盖的其他像素，修改像素的值为所有像素中最大的值，将图像外围的突出点连接并向外延伸；
所述腐蚀步骤为：创造一个结构元素作为模板，对图像中的每一个像素进行遍历；根据模板的大小，遍历所有被模板覆盖的其他像素，修改像素的值为所有像素中最小的值，将图像外围的突出点加以腐蚀。
5.根据权利要求1所述的基于多传感融合的海面小面积溢油区域检测方法，其特征在于，所述红外热像仪包括壳体及内置于壳体的红外镜头、红外探测器、驱动电路、信号处理与接口电路及相机接口，所述红外镜头、红外探测器、驱动电路、信号处理与接口电路及相机接口顺次连接，所述相机接口信号连接于计算终端。
6.根据权利要求5所述的基于多传感融合的海面小面积溢油区域检测方法，其特征在于，所述红外镜头为定焦广角镜头且红外镜头的成像波段为8μm～14μm，所述红外探测器采用非制冷型焦平面阵列。
7.根据权利要求6所述的基于多传感融合的海面小面积溢油区域检测方法，其特征在于，所述红外热像仪的空间分辨率为0.68mrad，像元间距为0.17μm，噪声等效温差NETD≤30mk@20℃。
CN201911114572.1A 2019-11-14 2019-11-14 基于多传感融合的海面小面积溢油区域检测系统及检测方法 Active CN111179334B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911114572.1A CN111179334B (zh) 2019-11-14 2019-11-14 基于多传感融合的海面小面积溢油区域检测系统及检测方法
PCT/CN2020/088808 WO2021093283A1 (zh) 2019-11-14 2020-05-06 基于多传感融合的海面小面积溢油区域检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114572.1A CN111179334B (zh) 2019-11-14 2019-11-14 基于多传感融合的海面小面积溢油区域检测系统及检测方法

Publications (2)

Publication Number Publication Date
CN111179334A CN111179334A (zh) 2020-05-19
CN111179334B true CN111179334B (zh) 2024-03-19

Family

ID=70647344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114572.1A Active CN111179334B (zh) 2019-11-14 2019-11-14 基于多传感融合的海面小面积溢油区域检测系统及检测方法

Country Status (2)

Country Link
CN (1) CN111179334B (zh)
WO (1) WO2021093283A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861220A (zh) * 2020-07-22 2020-10-30 泰州市金海运船用设备有限责任公司 海洋油污泄露面积探测警报系统
CN112184796A (zh) * 2020-09-23 2021-01-05 泰州市金海运船用设备有限责任公司 基于信号传输的海面油污区域实时监测及计算系统
CN112560929B (zh) * 2020-12-09 2022-06-10 中国石油大学(华东) 溢油区域确定方法及装置、存储介质
CN113221818B (zh) * 2021-05-27 2024-03-29 大连海事大学 一种海面溢油特征智能检测方法及系统
CN113222963B (zh) * 2021-05-27 2024-03-26 大连海事大学 一种非正射红外监测海面溢油面积估算方法及系统
CN113706569A (zh) * 2021-08-09 2021-11-26 贵州电网有限责任公司 一种基于自适应Hough变换的导线覆冰程度计算方法
CN113793299B (zh) * 2021-08-18 2023-11-17 武汉工程大学 一种巷道岩爆风险监测方法及监测装置
CN113884464B (zh) * 2021-09-27 2024-04-26 西安空天能源动力智能制造研究院有限公司 一种基于红外热像仪的涂层波段发射率外场测量方法
CN113982808A (zh) * 2021-10-25 2022-01-28 安康水力发电厂 一种用于混流式水轮发电机运行状态监测的系统和方法
CN114136458B (zh) * 2021-11-09 2024-04-23 中南大学 一种熔融金属流体温度多态在线检测方法及系统
CN114049326B (zh) * 2021-11-16 2024-06-25 中科芯集成电路有限公司 一种基于视觉的电子元器件大批量计数方法与装置
CN114383736B (zh) * 2021-12-23 2023-10-24 北京市遥感信息研究所 一种基于交叉的红外遥感卫星温度分辨率评定方法及装置
CN114414503B (zh) * 2022-01-10 2024-05-07 武汉华信联创技术工程有限公司 潜在气体排放源检测方法、装置、设备及可读存储介质
CN114861837B (zh) * 2022-07-06 2022-09-13 西安石油大学 基于特征融合的原油凝结识别方法、装置、设备
CN116012769A (zh) * 2022-09-07 2023-04-25 广东海洋大学 一种基于GLCM与K-means聚类算法的船载雷达图像溢油识别方法
CN115457276B (zh) * 2022-09-20 2023-05-30 哈尔滨理工大学 基于视觉检测的输配电变压器高压绕组缠绕角度检测方法
CN116128794B (zh) * 2022-10-14 2023-09-01 淄博威世能净油设备有限公司 一种基于机器视觉和图像处理的油品检验分析系统
CN115861359B (zh) * 2022-12-16 2023-07-21 兰州交通大学 一种水面漂浮垃圾图像自适应分割提取方法
CN115979972B (zh) * 2023-02-22 2023-06-09 中海油能源发展股份有限公司采油服务分公司 海面原油油膜高光谱实时监测方法和系统
CN116479718B (zh) * 2023-05-06 2023-09-19 宁波中海建材有限公司 基于面积检测的混凝土智能化加工系统
CN116310354B (zh) * 2023-05-24 2023-08-01 青岛海关技术中心 基于红外图像处理的漂浮危化品识别方法
CN117031258B (zh) * 2023-06-27 2024-06-07 三门三友科技股份有限公司 基于温度的电解电路故障检测系统实现方法及其监测方法
CN116542893B (zh) * 2023-07-03 2023-10-10 杭州微影软件有限公司 一种水面溢油检测方法、装置、电子设备及存储介质
CN116702047B (zh) * 2023-08-07 2023-11-17 北京建工环境修复股份有限公司 一种地下水实时监测方法、系统及介质
CN117422685B (zh) * 2023-10-30 2024-06-11 天津东泉石油技术开发有限公司 海上平台溢油围控方法、系统、电子设备及存储介质
CN117635610B (zh) * 2024-01-25 2024-04-09 青岛正大正电力环保设备有限公司 一种液压张紧机构油管漏油视觉检测方法
CN117745799B (zh) * 2024-02-08 2024-04-30 广东海洋大学 近海海域油污染面积遥测方法及装置
CN117853932B (zh) * 2024-03-05 2024-05-14 华中科技大学 一种基于光电吊舱的海面目标检测方法、检测平台及系统
CN118172276B (zh) * 2024-03-13 2024-08-09 南京补天科技实业有限公司 基于图像大数据的交通环境状态误判校准系统
CN117952856B (zh) * 2024-03-15 2024-06-07 深圳市星能计算机有限公司 基于红外热成像的服务器通风散热状态监控方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101915924A (zh) * 2010-04-14 2010-12-15 清华大学 一种常温红外内卫星成像探测器
CN105181638A (zh) * 2015-09-16 2015-12-23 湖北久之洋红外系统股份有限公司 一种红外溢油监测装置及其监测方法
CN105509899A (zh) * 2016-01-26 2016-04-20 云南电网有限责任公司电力科学研究院 一种红外图像测温校准方法及系统
CN106198443A (zh) * 2016-06-24 2016-12-07 湖北久之洋红外系统股份有限公司 机载高光谱红外溢油监测方法及系统
CN107941342A (zh) * 2017-10-19 2018-04-20 上海电力学院 综合距离及视角的电力巡检机器人红外测温装置及方法
CN109241976A (zh) * 2018-07-26 2019-01-18 中国船舶工业系统工程研究院 一种基于图像处理和激光测距溢油面积估计的方法
CN109978926A (zh) * 2018-12-29 2019-07-05 深圳市行知达科技有限公司 一种图像自动融合方法、装置及终端设备
CN110097569A (zh) * 2019-04-04 2019-08-06 北京航空航天大学 基于颜色马尔科夫链显著性模型的油罐目标检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732111B1 (ko) * 2016-06-30 2017-05-02 서울시립대학교 산학협력단 위성영상을 이용한 기름유출 탐지장치 및 방법
CN108042955A (zh) * 2017-12-13 2018-05-18 柳州上丰自动化设备有限公司 一种具有定位功能的消防炮
CN109299655A (zh) * 2018-08-09 2019-02-01 大连海事大学 一种基于无人机的海上溢油在线快速识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101915924A (zh) * 2010-04-14 2010-12-15 清华大学 一种常温红外内卫星成像探测器
CN105181638A (zh) * 2015-09-16 2015-12-23 湖北久之洋红外系统股份有限公司 一种红外溢油监测装置及其监测方法
CN105509899A (zh) * 2016-01-26 2016-04-20 云南电网有限责任公司电力科学研究院 一种红外图像测温校准方法及系统
CN106198443A (zh) * 2016-06-24 2016-12-07 湖北久之洋红外系统股份有限公司 机载高光谱红外溢油监测方法及系统
CN107941342A (zh) * 2017-10-19 2018-04-20 上海电力学院 综合距离及视角的电力巡检机器人红外测温装置及方法
CN109241976A (zh) * 2018-07-26 2019-01-18 中国船舶工业系统工程研究院 一种基于图像处理和激光测距溢油面积估计的方法
CN109978926A (zh) * 2018-12-29 2019-07-05 深圳市行知达科技有限公司 一种图像自动融合方法、装置及终端设备
CN110097569A (zh) * 2019-04-04 2019-08-06 北京航空航天大学 基于颜色马尔科夫链显著性模型的油罐目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
余阳.基于红外热成像的山火识别技术研究.《现代电子技术》.2017,第77-79页. *
徐贵力.《光电检测技术与系统设计》.北京国防工业出版社,2013,第272-274页. *
阮沁馨 等.基于纹理特征的红外图像溢油检测算法研究.《计算机与数字工程》.2018,摘要，第1-4节. *

Also Published As

Publication number Publication date
WO2021093283A1 (zh) 2021-05-20
CN111179334A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179334B (zh) 基于多传感融合的海面小面积溢油区域检测系统及检测方法
CN106022288B (zh) 基于sar图像的海洋溢油信息识别与提取方法
CN111222395B (zh) 目标检测方法、装置与电子设备
EP2294811B1 (en) Method of searching for a thermal target
CN111709968B (zh) 一种基于图像处理的低空目标探测跟踪方法
GB2569751A (en) Static infrared thermal image processing-based underground pipe leakage detection method
CN110517280B (zh) 基于红外识别船舶尾气监测系统
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN110889327B (zh) 一种基于热红外图像的水域周边排污口智能检测方法
CN108921803B (zh) 一种基于毫米波与可见光图像融合的去雾方法
CN106096604A (zh) 基于无人平台的多波段融合探测方法
CN110660065B (zh) 一种红外故障检测识别算法
CN113066050B (zh) 一种基于视觉的空投货台航向姿态解算方法
WO2020112184A1 (en) Projectile detection system and method
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN113763261B (zh) 一种海雾气象条件下的远小目标实时检测方法
CN113989260A (zh) 一种基于无人机红外图像的光伏板边缘分割方法
CN118115900A (zh) 一种基于无人机遥感红外热图像颜色距离的堤坝渗漏区域识别方法和装置
CN112991246B (zh) 一种可见光与红外视频图像融合方法及装置
CN118018862A (zh) 基于微光夜视产品的降低传输延时的方法
CN117671033A (zh) 一种基于夜间灯光追踪的相机像主点快速定标方法和系统
CN111353959B (zh) 一种高效的适用于大规模光学遥感影像雾霾去除的方法
CN116343054A (zh) 遥感图像的云检测方法、装置、电子设备和存储介质
CN111583315A (zh) 一种新的可见光图像和红外图像配准方法及装置
CN115760790A (zh) 机场路面异物检测方法、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant