CN110570537B - 基于视频识别的航标监测方法及船载航标智能巡检设备 - Google Patents

Abstract

本发明公开了一种基于视频识别的航标监测方法及船载航标智能巡检设备，其通过采集各种航标类型的标准图像信息，对标准图像信息设置对应的航标类型标签，并提取标准图像信息对应的标准涂色信息、标准结构信息；根据该标准图像信息、标准涂色信息、标准结构信息进行创建航标识别模型；通过提取当前航标的视频信息中的关键图像帧，将该关键图像帧输入航标识别模型，实现航标类型、航标涂色状态、航标结构状态的智能化识别，从而自动获取准确的航标状态，便于对褪色航标或结构损坏航标进行及时维护，及时修复失常航标，提高航标可用性，确保航标效能持续稳定，促进航标的巡检、维护、管理由信息化向智能化转变，极大提高了航标巡检质量和效率。

Description

基于视频识别的航标监测方法及船载航标智能巡检设备

技术领域

本发明涉及航标管理及监控技术领域，特别是一种基于视频识别的航标监测方法及其应用该方法的设备。

背景技术

航标是助航标志的简称，指标示航道方向、界限与碍航物的标志，包括过河标、沿岸标、导标、过渡导标、首尾导标、侧面标、左右通航标、示位标、泛滥标和桥涵标等。航标设置在通航水域及其附近，用以表示航道、锚地、碍航物、浅滩等，或作为定位、转向的标志等等，也用以传送信号，如标示水深，预告风情，指挥狭窄水道交通等。

航标系统是海上交通安全保障体系的重要组成部分，其信息的准确性和可靠性对船舶的航行安全至关重要，而且其运行状态的好坏，将直接影响到船舶的正常运行甚至船员的人身安全。

我国传统的航标维护和管理方式大多数是采用人工模式，即重点航标专人值守(如大型灯塔)、小型航标定时巡检、值班和维护人员定时人工记录航标工作状态的管理模式。显然这种被动、滞后的信息传递方式，难以做到及时、准确地掌握航标的运行状态，势必增大航标管理的难度和管理成本，制约了航标管理效能的进一步提高，难以满足现代海运业对航标服务水平的要求。

发明内容

本发明为解决上述问题，提供了一种基于视频识别的航标监测方法及船载航标智能巡检设备，其通过采集航标的视频信息以及对视频信息进行识别分析，从而自动获取准确的航标状态，促进航标的巡检、维护、管理由信息化向智能化转变，极大提高了航标巡检质量和效率。

为实现上述目的，本发明采用的技术方案为：

一种基于视频识别的航标监测方法，其包括以下步骤：

采集各种航标类型的标准图像信息，对所述标准图像信息设置对应的航标类型标签，并提取所述标准图像信息对应的标准涂色信息、标准结构信息；

根据该标准图像信息、标准涂色信息、标准结构信息进行创建航标识别模型；

通过提取当前航标的视频信息中的关键图像帧，将该关键图像帧输入所述航标识别模型，得到当前航标所属的航标类型。

优选的，根据当前航标所属的航标类型得到当前航标对应的标准涂色信息；提取当前航标的涂色信息；将当前航标的涂色信息与所述标准涂色信息进行比对，判断当前航标是否褪色。

进一步的，判断当前航标是否褪色，是通过计算当前航标的涂色信息中的指定位置的颜色值与所述标准涂色信息中的对应位置的标准颜色值之间的差值，判断所述差值的绝对值是否超过异常临界值，若是，则判定当前航标褪色。

优选的，根据当前航标所属的航标类型得到当前航标对应的标准结构信息；提取当前航标的结构信息；将当前航标的结构信息与所述标准结构信息进行比对，判断当前航标是否损坏或倾斜。

进一步的，判断当前航标是否损坏，是根据当前航标的结构信息与所述标准结构信息，将当前航标的关键图像帧与所述标准图像信息进行对齐处理，根据对齐处理结果判断当前航标的缺损部位。

进一步的，判断当前航标是否倾斜，是通过计算当前航标的结构信息中的顶标、浮身、浮体之间的相对位置，并与所述标准结构信息中的顶标、浮身、浮体之间的标准相对位置进行比对，根据比对结果判断当前航标的顶标、浮身、浮体的任一部件是否倾斜。

优选的，通过巡检获取航标的视频信息；获取所述视频信息的拍摄角度和拍摄焦距；根据所述拍摄角度和所述拍摄焦距计算所述视频信息中的航标位置与所述视频信息的拍摄位置之间的偏距；获取拍摄位置的经纬度信息；根据所述偏距和所述拍摄位置的经纬度信息，计算得到所述航标的经纬度信息。

优选的，还包括对所述视频信息进行实时显示，以及在实时显示的拍摄画面中标注所述航标的显示位置。

与所述航标监测方法相对应的，本发明还提供一种基于视频识别的船载航标智能巡检设备，其包括：

航标数据中心，其通过采集各种航标类型的标准图像信息，对所述标准图像信息设置对应的航标类型标签，并提取所述标准图像信息对应的标准涂色信息、标准结构信息；根据该标准图像信息、标准涂色信息、标准结构信息进行创建航标识别模型；

分析设备，通过提取当前航标的视频信息中的关键图像帧，将该关键图像帧输入所述航标识别模型，得到当前航标所属的航标类型；并对视频识别结果进行分析并形成航标状态的巡检报告；

可视化设备，用于对所述视频信息进行实时显示，以及在实时显示的拍摄画面中标注所述航标的显示位置。

优选的，还包括：

摄像机，其通过巡检获取航标的视频信息；

方位传感器，用于获取所述视频信息的拍摄角度和拍摄焦距；根据所述拍摄角度和所述拍摄焦距计算所述视频信息中的航标位置与所述视频信息的拍摄位置之间的偏距；

GPS定位装置，用于获取拍摄位置的经纬度信息；根据所述偏距和所述拍摄位置的经纬度信息，计算得到所述航标的经纬度信息。

本发明的有益效果是：

(1)本发明根据各种航标类型对应的标准图像信息、标准涂色信息、标准结构信息等建立航标识别模型，从而能够实现航标类型、航标涂色状态、航标结构状态的智能化识别，便于对褪色航标或结构损坏航标进行及时维护，及时修复失常航标，提高航标可用性，确保航标效能持续稳定。

(2)本发明通过采集航标的视频信息以及对视频信息进行识别分析，从而自动获取准确的航标状态，促进航标的巡检、维护、管理由信息化向智能化转变，极大提高了航标巡检质量和效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种基于视频识别的船载航标智能巡检设备示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及具体实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的一种基于视频识别的航标监测方法，其通过采集各种航标类型的标准图像信息，对所述标准图像信息设置对应的航标类型标签，并提取所述标准图像信息对应的标准涂色信息、标准结构信息；根据该标准图像信息、标准涂色信息、标准结构信息进行创建航标识别模型。本发明基于深度学习的图像特征提取和分析，对摄像机拍摄的视频信息(图像序列)进行自动分析，实现对场景中的目标(航标)进行提取、识别；基于学习的视频行为分析技术综合感知机器学习和计算机视觉，利用对人类大脑学习和记忆过程研究的成果并将此过程应用到视觉数据的分析。

本实施例通过所述航标识别模型实现以下功能：

(1)航标类型判断：

通过提取当前航标的视频信息中的关键图像帧，将该关键图像帧输入所述航标识别模型，得到当前航标所属的航标类型。本实施例通过视频图像识别核心算法的研究和机器学习技术，对航标进行标体识别，将当前的视频信息中的关键图像帧与航标的标准图像信息相对比，判断识别出航标类别，并标注出航标在视频图像中的相对位置。

(2)航标涂色判断：

根据当前航标所属的航标类型得到当前航标对应的标准涂色信息；提取当前航标的涂色信息；将当前航标的涂色信息与所述标准涂色信息进行比对，判断当前航标是否褪色。其中，判断当前航标是否褪色，是通过计算当前航标的涂色信息中的指定位置的颜色值与所述标准涂色信息中的对应位置的标准颜色值之间的差值，判断所述差值的绝对值是否超过异常临界值，若是，则判定当前航标褪色。即，通过视频图像识别核心算法的研究和机器学习技术，识别出航标类别后，通过与对应航标涂色异常临界值相比，检测出航标涂色是否鲜亮。

(3)航标缺损判断：

根据当前航标所属的航标类型得到当前航标对应的标准结构信息；提取当前航标的结构信息；将当前航标的结构信息与所述标准结构信息进行比对，判断当前航标是否损坏或倾斜。其中，判断当前航标是否损坏，是根据当前航标的结构信息与所述标准结构信息，将当前航标的关键图像帧与所述标准图像信息进行对齐处理，根据对齐处理结果判断当前航标的缺损部位。即，通过视频图像识别核心算法的研究和机器学习技术，对航标结构进行分析，与预设航标的标准图像信息相对比，判断航标顶标、浮身、浮体结构是否损坏或者缺失。

(4)航标倾斜判断：

判断当前航标是否倾斜，是通过计算当前航标的结构信息中的顶标、浮身、浮体之间的相对位置，并与所述标准结构信息中的顶标、浮身、浮体之间的标准相对位置进行比对，根据比对结果判断当前航标的顶标、浮身、浮体的任一部件是否倾斜。

本实施例中，通过巡检获取航标的视频信息；获取所述视频信息的拍摄角度和拍摄焦距；根据所述拍摄角度和所述拍摄焦距计算所述视频信息中的航标位置与所述视频信息的拍摄位置之间的偏距；获取拍摄位置的经纬度信息；根据所述偏距和所述拍摄位置的经纬度信息，计算得到所述航标的经纬度信息，从而能够实现航标位置是否偏离的判断。并且，还包括对所述视频信息进行实时显示，以及在实时显示的拍摄画面中标注所述航标的显示位置。

如图1所示，与所述航标监测方法相对应的，本发明还提供一种基于视频识别的船载航标智能巡检设备，其包括：

摄像机(本实施例采用高分辨率宽动态摄像机云台)，其通过巡检获取航标的视频信息；

方位传感器(设置于船载端)，用于获取所述视频信息的拍摄角度和拍摄焦距；根据所述拍摄角度和所述拍摄焦距计算所述视频信息中的航标位置与所述视频信息的拍摄位置之间的偏距；

GPS定位装置(设置于船载端)，用于获取拍摄位置的经纬度信息；根据所述偏距和所述拍摄位置的经纬度信息，计算得到所述航标的经纬度信息；

航标数据中心(可设置于船载端或者云服务器端)，其通过采集各种航标类型的标准图像信息，对所述标准图像信息设置对应的航标类型标签，并提取所述标准图像信息对应的标准涂色信息、标准结构信息；根据该标准图像信息、标准涂色信息、标准结构信息进行创建航标识别模型；

分析设备(可设置于船载端或者云服务器端)，通过提取当前航标的视频信息中的关键图像帧，将该关键图像帧输入所述航标识别模型，得到当前航标所属的航标类型；并且，分析设备进一步对视频识别结果进行分析并形成航标状态的巡检报告；

可视化设备(本实施例采用船载显示器)，用于对所述视频信息进行实时显示，以及在实时显示的拍摄画面中标注所述航标的显示位置。

为保证摄像头单元采集视频信息的清晰度和完整度，摄像机要满足高分辨率、高颜色辨识度、低照度、宽动态、自动对焦等产品参数要求；同时摄像机要能够在不同的环境条件下进行正常作业。

所述方位传感器与摄像机结合使用，对摄像机拍摄状态进行调整。可以调整摄像机拍摄角度以及拍摄焦距大小等。

所述GPS定位装置与摄像机结合使用，使用北斗精准定位摄像机当前拍摄位置的经纬度信息。

所述可视化设备将摄像机采集视频图像在船载显示器上实时显示拍摄画面，同时结合视频图像识别算法在显示屏中直观标注出航标在视频图像中位置，便于巡检人员在第一时间查看拍摄效果，发现拍摄质量不佳时快速对摄像机做调整，保证视频图像拍摄质量。并且，所述分析设备识别视频图像中航标的类别，航标结构损坏的情况，浮身和浮体涂色褪色状态，将识别结果输出。

所述分析设备输出航标状态判断结果后，对巡检的结果做分析并形成航标状态的巡检报告，智能巡检报告通过系统提交给值班室由值班室对巡检结果报告异常项进行处理，并记录下处理结果。以处理结果为准，对巡检结果报告进行再分析，评估船载智能巡检设备输出的巡检报告准确率，待系统正常稳定运行后，将巡检结果直接对接于航标业务系统运行，实现巡检结果失常信息智能处置。

通过智能巡检设备记录整个智能巡检过程，包括巡检路线、巡检航标记录、巡检船舶与作业人员等信息，形成智能巡检日志。通过所述可视化设备对巡检日志做地图可视化，在地图上直观展示出智能巡检路线及沿巡检路线上摄像范围内能够辐射到的航标，直接查看航标的巡检状态与历史巡检日志等信息。

本实施例中，还包括设备固定装置；所述设备固定装置除了保证巡检设备在船舶上的安装固定之外，还包括防抖动装置、防水雾装置和防腐蚀功能等，保证摄像头在摄像过程中最大程度减少镜头抖动、被浪花打湿、水雾干扰等情况出现，为视频质量的达标以及设备安全与稳定运行提供保障。

本发明通过在巡检船舶上搭载视频智能巡检设备，在船舶行驶过程中自动进行DGPS定位信息采集、视频信息采集等，将信息传输到分析设备，进行视频信息的识别，即可自动进行航标技术状态识别。白天时，可以通过与航标标准图像信息进行对比，识别出航标类别，同时对航标结构是否良好、涂色是否鲜亮进行判断。对上述判断的航标失常信息，提交相对应的航标业务系统运行，及时修复失常航标，提高航标可用性，确保航标效能持续稳定。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于设备实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于视频识别的航标监测方法，其特征在于，包括以下步骤：

采集各种航标类型的标准图像信息，对所述标准图像信息设置对应的航标类型标签，并提取所述标准图像信息对应的标准涂色信息、标准结构信息；

根据该标准图像信息、标准涂色信息、标准结构信息进行创建航标识别模型；

通过提取当前航标的视频信息中的关键图像帧，将该关键图像帧输入所述航标识别模型，得到当前航标所属的航标类型；

根据当前航标所属的航标类型得到当前航标对应的标准涂色信息；提取当前航标的涂色信息；将当前航标的涂色信息与所述标准涂色信息进行比对，判断当前航标是否褪色；和/或，

根据当前航标所属的航标类型得到当前航标对应的标准结构信息；提取当前航标的结构信息；将当前航标的结构信息与所述标准结构信息进行比对，判断当前航标是否损坏或倾斜。

2.根据权利要求1所述的一种基于视频识别的航标监测方法，其特征在于：判断当前航标是否褪色，是通过计算当前航标的涂色信息中的指定位置的颜色值与所述标准涂色信息中的对应位置的标准颜色值之间的差值，判断所述差值的绝对值是否超过异常临界值，若是，则判定当前航标褪色。

3.根据权利要求1所述的一种基于视频识别的航标监测方法，其特征在于：判断当前航标是否损坏，是根据当前航标的结构信息与所述标准结构信息，将当前航标的关键图像帧与所述标准图像信息进行对齐处理，根据对齐处理结果判断当前航标的缺损部位。

4.根据权利要求1所述的一种基于视频识别的航标监测方法，其特征在于：判断当前航标是否倾斜，是通过计算当前航标的结构信息中的顶标、浮身、浮体之间的相对位置，并与所述标准结构信息中的顶标、浮身、浮体之间的标准相对位置进行比对，根据比对结果判断当前航标的顶标、浮身、浮体的任一部件是否倾斜。

5.根据权利要求1所述的一种基于视频识别的航标监测方法，其特征在于：通过巡检获取航标的视频信息；获取所述视频信息的拍摄角度和拍摄焦距；根据所述拍摄角度和所述拍摄焦距计算所述视频信息中的航标位置与所述视频信息的拍摄位置之间的偏距；获取拍摄位置的经纬度信息；根据所述偏距和所述拍摄位置的经纬度信息，计算得到所述航标的经纬度信息。

6.根据权利要求5所述的一种基于视频识别的航标监测方法，其特征在于：还包括对所述视频信息进行实时显示，以及在实时显示的拍摄画面中标注所述航标的显示位置。

7.一种基于视频识别的船载航标智能巡检设备，其特征在于，包括：

航标数据中心，其通过采集各种航标类型的标准图像信息，对所述标准图像信息设置对应的航标类型标签，并提取所述标准图像信息对应的标准涂色信息、标准结构信息；根据该标准图像信息、标准涂色信息、标准结构信息进行创建航标识别模型；

分析设备，通过提取当前航标的视频信息中的关键图像帧，将该关键图像帧输入所述航标识别模型，得到当前航标所属的航标类型；并对视频识别结果进行分析并形成航标状态的巡检报告；

可视化设备，用于对所述视频信息进行实时显示，以及在实时显示的拍摄画面中标注所述航标的显示位置；

其中，所述分析设备进一步包括：

根据当前航标所属的航标类型得到当前航标对应的标准涂色信息；提取当前航标的涂色信息；将当前航标的涂色信息与所述标准涂色信息进行比对，判断当前航标是否褪色；和/或，

根据当前航标所属的航标类型得到当前航标对应的标准结构信息；提取当前航标的结构信息；将当前航标的结构信息与所述标准结构信息进行比对，判断当前航标是否损坏或倾斜。

8.根据权利要求7所述的一种基于视频识别的船载航标智能巡检设备，其特征在于，还包括：

摄像机，其通过巡检获取航标的视频信息；

方位传感器，用于获取所述视频信息的拍摄角度和拍摄焦距；根据所述拍摄角度和所述拍摄焦距计算所述视频信息中的航标位置与所述视频信息的拍摄位置之间的偏距；

GPS定位装置，用于获取拍摄位置的经纬度信息；根据所述偏距和所述拍摄位置的经纬度信息，计算得到所述航标的经纬度信息。

Images