CN113822217A - 基于ais和视频图像分析的船舶尾气监测方法 - Google Patents

Abstract

本发明涉及基于AIS和视频图像分析的船舶尾气监测方法，包括：S1、获取船舶的船舶信息以及变焦摄像机的经纬度坐标；S2、计算船舶与变焦摄像机的距离；S3、判断船舶与变焦摄像机的距离是否在有效探测距离之内；若是，则转至步骤S4；若否，则转至步骤S1；S4、计算变焦摄像机在水平面上的垂直投影位置至船舶的航向与变焦摄像机中线的交点之间的距离及船舶航行至交点的到达时间；S5、根据到达时间的优先级以及距离进行焦距粗调，待船舶进入变焦摄像机的视场角范围内，基于调焦评价函数进行焦距微调，采集视频图像；S6、对视频图像中的黑烟船舶进行识别，以获取船名及其对应的林格曼黑度等级。本发明提升了黑烟船舶识别的精度。

Description

基于AIS和视频图像分析的船舶尾气监测方法

技术领域

本发明属于尾气监测技术领域，具体涉及基于AIS和视频图像分析的船舶尾气监测方法。

背景技术

船舶尾气治理是当前水上蓝天保卫行动的主要治理对象。目前，抓拍船舶黑烟排放的方法是执法人员通过录制一定时长的一段视频，通过比对携带的林格曼黑度板，判断是否为黑烟船。另外，也有一些智能监测手段正在不断被开发，例如，公开号为CN112037251B的专利文献公开了一种利用智能手机实现海船尾气排放监测的方法，通过执法人员手机录制的疑似违规排放船舶的视频，提取多帧图片进行算法分析，以确认林格曼黑度等级；再如，公开号为CN113408367A的专利文献公开了一种黑烟船舶的识别方法，包括：按照预设的视野坐标控制摄像机进行区域巡航及检测船体信息；若在区域巡航过程中检测到船体信息，则对船体信息进行跟踪，得到跟踪视频；对跟踪视频中的船体信息进行黑烟识别，获取黑烟船舶；提取黑烟船舶的船体编码，实现对黑烟船舶的自动化识别。但是，现有的上述方法无法根据船舶的位置对摄像机焦距进行自动调整，影响船舶识别的精度。

发明内容

基于现有技术中存在的上述不足，本发明的目的是提供基于AIS和视频图像分析的船舶尾气监测方法及系统。

为了达到上述发明目的，本发明采用以下技术方案：

基于AIS和视频图像分析的船舶尾气监测方法，包括以下步骤：

S1、获取AIS接收的船舶S _i 的船舶信息，S _i 为第i艘船舶，i为正整数；其中，船舶信息包括船舶经纬度坐标、船速、航向和船舶MMSI；

获取变焦摄像机的经纬度坐标；

S2、根据船舶经纬度坐标和变焦摄像机的经纬度坐标计算得到船舶S _i 与变焦摄像机的距离；

S3、判断船舶S _i 与变焦摄像机的距离是否在变焦摄像机的有效探测距离之内；若是，则转至步骤S4；若否，则转至步骤S1；

S4、根据船舶S _i 的船速、航向，计算变焦摄像机在水平面上的垂直投影位置至船舶S _i 的航向与变焦摄像机中线的交点F _i 之间的距离L _i ，以及船舶S _i 航行至交点F _i 的到达时间T _i ；

S5、根据到达时间T _i 的优先级以及距离L _i 匹配预设的焦距与探测距离匹配集，对变焦摄像机的焦距进行粗调；待船舶S _i 进入变焦摄像机的视场角范围内，基于调焦评价函数对变焦摄像机的焦距进行微调，之后采集视频图像；

S6、对视频图像中的黑烟船舶进行识别，以获取船名及其对应的林格曼黑度等级。

作为优选方案，所述步骤S2中，根据Haversine公式计算得到船舶S _i 与变焦摄像机的距离D _i 为：

其中，R为地球半径，lat _i 、lon _i 分别为船舶S _i 的纬度和经度，lat ₀、lon ₀分别为变焦摄像机的纬度和经度。

作为优选方案，所述步骤S3中，变焦摄像机的有效探测距离为500～3000m。

作为优选方案，所述步骤S4具体包括：

根据Haversine公式，变焦摄像机在水平面上的垂直投影位置C与船舶S _i 之间的经度水平距离E _i 为：

变焦摄像机中线与摄像机垂直投影地面的垂直线的夹角为ω；

变焦摄像机位置和船舶S _i 位置的连线与摄像机垂直投影地面的垂直线的夹角ω _i 为：

其中，H为变焦摄像机距离水平面的高度；

变焦摄像机中线在水平面上投影与正北方向的夹角为φ，垂直投影位置C和船舶S _i 位置的连线与正北方向的夹角φ _i 为：

根据垂直投影位置C、船舶S _i 位置及交点F _i 构成的三角形，计算得到垂直投影位置C与交点F _i 之间的距离L _i 以及船舶S _i 位置与交点F _i 之间的距离K _i 分别为：

则计算得到船舶S _i 航行至交点F _i 的到达时间T _i 为：

其中，V _i 为船舶S _i 的船速。

作为优选方案，步骤S5中，预设的焦距与探测距离匹配集为：

其中，d _k 是摄像机的第k个焦距f _{visible_k} 在可见光下高清成像对应的探测距离，Δd ₁为预设的容差，k为可见光下预设的焦距数量；d _n 是摄像机的第n个焦距f _{IR_n} 在红外光下高清成像对应的探测距离，Δd ₂为预设的容差，n为红外光下预设的焦距数量。

作为优选方案，所述变焦摄像机为双目摄像机。

作为优选方案，所述步骤S5中，调焦评价函数为：

其中，G _x (x，y)和G _y (x，y)为像素点水平方向和垂直方向的梯度值，U和V表示图像的水平方向和垂直方向的分辨率，α、β分别为加权因子，L ₀为图像暗通道范数。

作为优选方案，所述步骤S5与步骤S6之间，还包括：

建立AIS接收的船舶经纬度坐标与视频图像的画面坐标之间的映射关系，以定位视频图像中各船舶的位置，并以船舶进入变焦摄像机的视场角范围内的时间添加流水号作为标记符，与船舶信息进行关联；

其中，映射关系为：

假设变焦摄像机的图像分辨率为X*Y，X为图像像素宽度，Y为图像像素高度，则船舶经纬度坐标转换为画面坐标（x _i ，y _i ）为：

其中，ω _x 和ω _y 分别为变焦摄像机的水平视场角度和垂直视场角度。

作为优选方案，所述步骤S6之后，还包括以下步骤：

S7、根据步骤S6获取的船名及其对应的林格曼黑度等级，与标记符及船舶信息进行二次关联，并发送至监管端。

作为优选方案，所述步骤S6中，利用网络训练模型识别视频图像中各船舶的尾气排放以及船名，并根据船舶的尾气排放确定林格曼黑度等级；

其中，网络训练模型为YOLO V5、R-CNN、faster R-CNN或SSD。

本发明与现有技术相比，有益效果是：

（1）本发明的基于AIS和视频图像分析的船舶尾气监测方法，利用AIS接收的船舶信息，通过对变焦摄像机自动调焦，录制高质量的视频图像，提升了黑烟船舶识别的精度。

（2）本发明建立AIS接收的船舶经纬度坐标与视频图像的画面坐标之间的映射关系，能准确定位各艘船舶的位置；

（3）本发明通过机器学习的网络训练模型，可适应不同现场环境影响下，识别船名和黑烟船舶，以便进行信息关联形成船舶黑烟排放的完整证据链。

发明内容

图1是本发明实施例1的基于AIS和视频图像分析的船舶尾气监测方法的流程图；

图2是本发明实施例1的变焦摄像机与船舶的垂直方向示意图；

图3是本发明实施例1的变焦摄像机与船舶的水平方向示意图；

图4是本发明实施例1的港口船舶尾气黑烟识别结果示意图。

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

实施例1：

如图1所示，本实施例的基于AIS和视频图像分析的船舶尾气监测方法，包括以下步骤：

S1、获取AIS接收的船舶S _i 的船舶信息，S _i 为第i艘船舶，i为正整数；其中，船舶信息包括船舶经纬度坐标（lat _i 、lon _i ）、船速V _i 、航向W _i 、船舶MMSI和船名；另外，还获取变焦摄像机的经纬度坐标（lat ₀、lon ₀）。

S2、根据船舶经纬度坐标和变焦摄像机的经纬度坐标计算得到船舶S _i 与变焦摄像机的距离；

具体地，根据Haversine公式（即半正矢公式）计算得到船舶S _i 与变焦摄像机的距 离D _i 为：

其中，R为地球半径，lat _i 、lon _i 分别为船舶S _i 的纬度和经度，lat ₀、lon ₀分别为变焦摄像机的纬度和经度。

S3、判断船舶S _i 与变焦摄像机的距离D _i 是否在变焦摄像机的有效探测距离之内；若是，则转至步骤S4；若否，则等待接收下一次AIS信号，转至步骤S1；

具体地，船舶的有效分析距离取决于变焦摄像机的有效探测距离，一般在500～3000m，变焦摄像机采用双目摄像机，可实现日夜高清检测。

S4、根据船舶S _i 的船速、航向，计算变焦摄像机在水平面上的垂直投影位置至船舶S _i 的航向与变焦摄像机中线的交点F _i 之间的距离L _i ，以及船舶S _i 航行至交点F _i 的到达时间T _i ；

具体地，上述步骤S4包括：

如图2所示，变焦摄像机在水平面上的垂直投影位置C，其经纬度坐标与变焦摄像机的经纬度坐标之间的差异可忽略不计，即垂直投影位置C的经纬度坐标（lat _i 、lon _i ）。

根据Haversine公式，变焦摄像机在水平面上的垂直投影位置C与船舶S _i 之间的经度水平距离E _i 为：

假设变焦摄像机中线与摄像机垂直投影地面的垂直线的夹角为ω；

变焦摄像机位置和船舶S _i 位置的连线与摄像机垂直投影地面的垂直线的夹角ω _i 为：

其中，H为变焦摄像机距离水平面的高度；

如图3所示，变焦摄像机中线在水平面上投影与正北方向的夹角为φ，垂直投影位置C和船舶S _i 位置的连线与正北方向的夹角φ _i 为：

根据垂直投影位置C、船舶S _i 位置及交点F _i 构成的三角形，利用正弦定理，计算得到垂直投影位置C与交点F _i 之间的距离L _i 以及船舶S _i 位置与交点F _i 之间的距离K _i 分别为：

则能计算得到船舶S _i 航行至交点F _i 的到达时间T _i 为：

其中，V _i 为船舶S _i 的船速。

S5、根据到达时间T _i 的优先级以及距离L _i 匹配预设的焦距与探测距离匹配集，对变焦摄像机的焦距进行粗调；待船舶S _i 进入变焦摄像机的视场角范围内，基于调焦评价函数对变焦摄像机的焦距进行微调，之后采集视频图像；

具体地，到达时间T _i 的前后顺序进行排序得到到达时间T _i 的优先级，从而实现对各船舶有序调整摄像机的焦距，提升各船舶的视频图像的清晰度。

上述预设的焦距与探测距离匹配集包括白天使用的可见光下对应的集合和夜间使用的红外光下对应的集合，分别为：

其中，d _k 是摄像机的第k个焦距f _{visible_k} 在可见光下高清成像对应的探测距离，Δd ₁为预设的容差，k为可见光下预设的焦距数量；d _n 是摄像机的第n个焦距f _{IR_n} 在红外光下高清成像对应的探测距离，Δd ₂为预设的容差，n为红外光下预设的焦距数量。

首先，根据垂直投影位置C与交点F _i 之间的距离L _i 匹配预设的焦距与探测距离匹配集中的探测距离，找到对应的焦距，从而对变焦摄像机的焦距进行粗调；然后，待船舶进入摄像机视场角（ω _x ，ω _y ）范围内，基于调焦评价函数Q对变焦摄像机的焦距进行微调；

具体地，调焦评价函数Q为：

其中，G _x (x，y)和G _y (x，y)为像素点水平方向和垂直方向的梯度值，U和V表示图像的水平方向和垂直方向的分辨率，α、β分别为加权因子，取值均为（0，1）；L ₀为图像暗通道范数。

当调焦评价函数Q取得最大值，其对应的焦距作为焦距微调的目标值。

最后，根据调整之后的焦距进行视频图像的采集。

S6、建立AIS接收的船舶经纬度坐标与视频图像的画面坐标之间的映射关系，以定位视频图像中各船舶的位置和大小，并以船舶进入变焦摄像机的视场角范围内的时间添加流水号作为标记符，与船舶信息的船舶MMSI、船名、船舶经纬度坐标进行关联；

本实施例为了准确定位视频图像中的船舶，故建立AIS接收的船舶经纬度坐标与视频图像的画面坐标之间的映射关系如下：

假设变焦摄像机的图像分辨率为X*Y，X为图像像素宽度，Y为图像像素高度，则船舶S _i 的船舶经纬度坐标（lat _i 、lon _i ）转换为视频图像的画面坐标（x _i ，y _i ）为：

其中，ω _x 和ω _y 分别为变焦摄像机的水平视场角度和垂直视场角度。

S7、对视频图像中的黑烟船舶进行识别，以获取船名及其对应的林格曼黑度等级。

具体地，采用增量训练方法YOLO V5训练模型对视频图像中标记的各船舶尾气排放情况和船名进行分析，识别出黑烟船舶的船名及其对应的林格曼黑度等级。另外，基于视频图像数据的增加，不断优化训练模型，具体的网络训练可参考现有网络训练模型的训练，在此不赘述。另外，训练模型还可采用R-CNN、faster R-CNN、SSD、以及其他系列的YOLO目标检测算法，也能实现船舶黑烟排放情况识别和船名识别。通过本实施例的识别方法，实现黑烟排放以及船名的识别，如图4所示的矩形方框。

S8、证据链的建立。

具体地，将步骤S7识别得到的黑烟船舶的船名以及林格曼黑度等级等信息，根据船名与步骤S6得到的船舶的标记符关联的AIS接收的船舶信息的船舶MMSI、船名、船舶经纬度坐标进行二次关联，形成完整的执法证据链，推送至违规船舶执法平台。

实施例2：

本实施例的基于AIS和视频图像分析的船舶尾气监测方法与实施例1的不同之处在于：

省略上述实施例1的步骤S6，即直接对步骤S5采集得到的视频图像进行网络训练以进行黑烟船舶的识别；简化了流程，但尾气排放的精度有所降低，满足不同应用场合的需求。

其他步骤可以参考实施例1。

实施例3：

本实施例的基于AIS和视频图像分析的船舶尾气监测方法与实施例1的不同之处在于：

省略上述实施例1的步骤S8，即实现船舶黑烟排放情况识别和船名识别即可；简化了流程，但黑烟船舶信息的分享不同步，满足不同应用场合的需求。

其他步骤可以参考实施例1。

实施例4：

本实施例的基于AIS和视频图像分析的船舶尾气监测方法与实施例1的不同之处在于：

摄像机为可见光摄像机，相应地，预设的焦距与探测距离匹配集只需保留白天使用的可见光下对应的集合即可，满足白天船舶尾气监测即可，适应不同应用的需求。

其他步骤可以参考实施例1。

实施例5：

本实施例的基于AIS和视频图像分析的船舶尾气监测方法与实施例1的不同之处在于：

摄像机为红外光摄像机，相应地，预设的焦距与探测距离匹配集只需保留夜间使用的红外光下对应的集合即可，满足夜间船舶尾气监测即可，适应不同应用的需求。

其他步骤可以参考实施例1。

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (10)

1.基于AIS和视频图像分析的船舶尾气监测方法，其特征在于，包括以下步骤：

S1、获取AIS接收的船舶S _i 的船舶信息，S _i 为第i艘船舶，i为正整数；其中，船舶信息包括船舶经纬度坐标、船速、航向和船舶MMSI；

获取变焦摄像机的经纬度坐标；

S2、根据船舶经纬度坐标和变焦摄像机的经纬度坐标计算得到船舶S _i 与变焦摄像机的距离；

S3、判断船舶S _i 与变焦摄像机的距离是否在变焦摄像机的有效探测距离之内；若是，则转至步骤S4；若否，则转至步骤S1；

S4、根据船舶S _i 的船速、航向，计算变焦摄像机在水平面上的垂直投影位置至船舶S _i 的航向与变焦摄像机中线的交点F _i 之间的距离L _i ，以及船舶S _i 航行至交点F _i 的到达时间T _i ；

S5、根据到达时间T _i 的优先级以及距离L _i 匹配预设的焦距与探测距离匹配集，对变焦摄像机的焦距进行粗调；待船舶S _i 进入变焦摄像机的视场角范围内，基于调焦评价函数对变焦摄像机的焦距进行微调，之后采集视频图像；

S6、对视频图像中的黑烟船舶进行识别，以获取船名及其对应的林格曼黑度等级。

2.根据权利要求1所述的船舶尾气监测方法，其特征在于，所述步骤S2中，根据Haversine公式计算得到船舶S _i 与变焦摄像机的距离D _i 为：

其中，R为地球半径，lat _i 、lon _i 分别为船舶S _i 的纬度和经度，lat ₀、lon ₀分别为变焦摄像机的纬度和经度。

3.根据权利要求2所述的船舶尾气监测方法，其特征在于，所述步骤S3中，变焦摄像机的有效探测距离为500～3000m。

4.根据权利要求2所述的船舶尾气监测方法，其特征在于，所述步骤S4具体包括：

根据Haversine公式，变焦摄像机在水平面上的垂直投影位置C与船舶S _i 之间的经度水平距离E _i 为：

变焦摄像机中线与摄像机垂直投影地面的垂直线的夹角为ω；

变焦摄像机位置和船舶S _i 位置的连线与摄像机垂直投影地面的垂直线的夹角ω _i 为：

其中，H为变焦摄像机距离水平面的高度；

变焦摄像机中线在水平面上投影与正北方向的夹角为φ，垂直投影位置C和船舶S _i 位置的连线与正北方向的夹角φ _i 为：

根据垂直投影位置C、船舶S _i 位置及交点F _i 构成的三角形，计算得到垂直投影位置C与交点F _i 之间的距离L _i 以及船舶S _i 位置与交点F _i 之间的距离K _i 分别为：

则计算得到船舶S _i 航行至交点F _i 的到达时间T _i 为：

其中，V _i 为船舶S _i 的船速。

5.根据权利要求1-4任一项所述的船舶尾气监测方法，其特征在于，步骤S5中，预设的焦距与探测距离匹配集为：

其中，d _k 是摄像机的第k个焦距f _{visible_k} 在可见光下高清成像对应的探测距离，Δd ₁为预设的容差，k为可见光下预设的焦距数量；d _n 是摄像机的第n个焦距f _{IR_n} 在红外光下高清成像对应的探测距离，Δd ₂为预设的容差，n为红外光下预设的焦距数量。

6.根据权利要求5所述的船舶尾气监测方法，其特征在于，所述变焦摄像机为双目摄像机。

7.根据权利要求5所述的船舶尾气监测方法，其特征在于，所述步骤S5中，调焦评价函数为：

其中，G _x (x，y)和G _y (x，y)为像素点水平方向和垂直方向的梯度值，U和V表示图像的水平方向和垂直方向的分辨率，α、β分别为加权因子，L ₀为图像暗通道范数。

8.根据权利要求4所述的船舶尾气监测方法，其特征在于，所述步骤S5与步骤S6之间，还包括：

建立AIS接收的船舶经纬度坐标与视频图像的画面坐标之间的映射关系，以定位视频图像中各船舶的位置，并以船舶进入变焦摄像机的视场角范围内的时间添加流水号作为标记符，与船舶信息进行关联；

其中，映射关系为：

假设变焦摄像机的图像分辨率为X*Y，X为图像像素宽度，Y为图像像素高度，则船舶经纬度坐标转换为画面坐标（x _i ，y _i ）为：

其中，ω _x 和ω _y 分别为变焦摄像机的水平视场角度和垂直视场角度。

9.根据权利要求8所述的船舶尾气监测方法，其特征在于，所述步骤S6之后，还包括以下步骤：

S7、根据步骤S6获取的船名及其对应的林格曼黑度等级，与标记符及船舶信息进行二次关联，并发送至监管端。

10.根据权利要求1所述的船舶尾气监测方法，其特征在于，所述步骤S6中，利用网络训练模型识别视频图像中各船舶的尾气排放以及船名，并根据船舶的尾气排放确定林格曼黑度等级；

其中，网络训练模型为YOLO V5、R-CNN、faster R-CNN或SSD。

Images