CN115265382A - 一种基于视频图像的船舶高度测量识别方法 - Google Patents

Abstract

本发明公开了一种基于视频图像的船舶高度测量识别方法，包括如下步骤：S1、获取船舶的视频信息；S2、视频结构化，所述视频结构化服务用于计算实现视频画面中每个像素点对应的高度的比例及视频结构化处理；S3、图像量化；S4、视频测高标签叠加，实现视频背景和动态目标的坐标映射和标注显示，使背景信息中的物标可定位、跟踪。本发明采用实时动态视频的船舶高度计算方法，即在视频发现船舶的同时进行船舶高度计算，实现视频监管和船舶测高的实时计算效果；同时，通过采用实时动态视频的船舶高度计算方法提高船舶高度测量计算速度，并且降低了由于外在因素导致的对同个船舶测高偏差过大的情况。

Description

一种基于视频图像的船舶高度测量识别方法

技术领域

本发明涉及船舶高度测量技术领域，具体涉及一种基于视频图像的船舶高度测量识别方法。

背景技术

目前对船舶高进行实际测量时，系统会将船舶所处位置的瞬时数据记录下来（抓拍），包括船舶所处位置、所在距离以及对应像素比例的长度。工作人员通过人工量算或系统视频框选，实现船长测量；

上述方式的主要缺陷为：

（1）计算速度慢。每次测量均需要视频抓拍后再进行人工标定操作，需要数分钟测量时间，严重影响对船高船舶的监管时效；

（2）误差大，基于人工标定的船舶高度测量的，测量精度不仅取决于操作员的能力，还取决于抓拍图像的清晰度和周边环境条件，如雨、雾和雾霾（特别是距离较大的情况下），这些条件影响极易导致对同个船舶测高偏差过大的情况。

基于上述，本申请提出一种基于视频图像的船舶高度测量识别方法。

发明内容

本发明的目的在于提供一种基于视频图像的船舶高度测量识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于视频图像的船舶高度测量识别方法，包括如下步骤：

S1、获取船舶的视频信息；

S2、视频结构化，所述视频结构化服务用于计算实现视频画面中每个像素点对应的高度的比例及视频结构化处理，实现AIS/VTS船舶目标、通航要素目标与视频画面的融合及展示；

S3、图像量化，通过获取视频与海平面所处高度信息、视频距离船舶的距离，通过数据计算，根据像素点的比例结果和目标的经纬度信息，计算出每个像素点表达的实际高度；

S4、视频测高标签叠加，将视频背景信息与摄像机所处坐标、时间进行关联，实现视频背景和动态目标的坐标映射和标注显示，使背景信息中的物标可定位、跟踪。

优选的，步骤S1所述的获取船舶的视频信息通过SDK处理模块登录视频设备，获取视频数据，所述SDK处理模块包括：

视频数据获取模块，用于获取不同前端视频设备的视频数据；

视频数据处理模块，与所述视频数据获取模块连接，用于将所述视频数据转码成统一编码格式；

视频数据输出模块，与所述视频数据处理模块连接，用于输出所述统一编码格式的视频数据。

优选的，所述SDK处理模块获取船舶的视频信息的具体方式为：

1）视频数据以SDK 方式登录视频设备，获取视频数据；

2）视频数据缓存，通过TCP或UDP或 RTP协议获取网络上的视频数据；通过网络组包，将接收到的数据做完整性验证，并存入缓存；

3）视频数据分析及组包，对接收到的网络数据包进行码流分析；将数据包按视频帧结构划分后将船舶和通航环境的数据包括：AR信息、物标信息、水文气象数据进行组包保存；

4）接收访问请求，接收客户端的视频数据请求；判断客户端的来源，判断客户端请求的视频资源；视频数据存在性判断；判断请求的视频是否在缓存中，如果已经存在就准备进行数据转发，如果不存在，则向设备请求该视频数据；

5）将数据按视频帧发送到请求方，与客户端建立 TCP 链，将客户端请求的视频数据以视频帧为单位向客户端传输；如果是国标网关的请求，则向国标网关发送数据；

6）多路视频转发线程池，视频转发过程中，往往存在着多路视频并发请求的情况，系统中采用线程池技术实现多并发处理，并通过线程循环使用避免频繁开启线程和关闭线程带来的额外成本。

优选的，步骤S2所述的视频结构化，还包括：

将海量视频图像资源转化为计算机和人易于理解的文本信息进行存储；

同时利用图像分析识别技术将图像中每一像素点对应的高度的比例，融合外部数据源，为图像与信息的结合提供图像数据基础，方便视频数据提取、映射和适配分析同时也具有空间位置、姿态感知能力。

优选的，步骤S3中对目标船舶所处图像尽量实时量化，具体为：

通过处置船舶图像处置，将像素点位信息转换成实际的标准船高数据，实现视频上的动态船高计算结果显示。

优选的，步骤S4中，监控人员视频巡航的时候可以实时查看对应的船舶的基础信息和根据历史的动态高度筛选出较为准确的实际高度，在视频上的叠加显示，掌握船舶动态。

优选的，所述的视频测高标签叠加，通过分析识别的视频画面中各类元素信息与摄像机所处坐标、时间进行关联，实现视频背景和动态目标的坐标映射和标注显示。

优选的，所述的视频测高标签叠加，还包括：

对船舶目标、通航环境进行提取，并与原始视频画面进行标注关联，建立视频画面与船舶目标、通航环境一一对应的关联关系，自动将船舶名称、船舶高度计算结果信息叠加显示在视频画面中的船舶对应位置；

在船舶行驶过程中、或操作云台转动或镜头缩放时，叠加的信息应可自动调整位置，保证时刻与视频画面中的船舶位置对应。

优选的，所述步骤S2中所述的视频结构化采用视频结构化系统进行处理，所述视频结构化系统进行处理包括：

视频读取模块，用于读取视频图像；

目标识别模块，与所述视频读取模块相连，用于基于深度神经元网络从所述视频图像中的图像帧中识别目标对象；

运动检测和轨迹跟踪模块，与所述目标识别模块相连，用于对所述目标对象进行运动检测和轨迹跟踪确定所述目标对象的运动轨迹；

视频结构化模块，与所述运动检测和轨迹跟踪模块相连，基于所述目标对象和所述目标对象的运动轨迹构建视频结构化信息；

检索模块，与所述视频结构化模块相连，用于基于所述视频结构化信息对所述目标对象进行检索。

综上所述，由于采用了上述技术，本发明的有益效果是：

本发明中，采用实时动态视频的船舶高度计算方法，即在视频发现船舶的同时进行船舶高度计算，实现视频监管和船舶测高的实时计算效果；

同时，通过采用实时动态视频的船舶高度计算方法提高船舶高度测量计算速度，并且降低了由于外在因素导致的对同个船舶测高偏差过大的情况。

附图说明

图1为本发明基于视频图像的船舶高度测量识别方法的流程图；

图2为本发明船舶目标识别模型图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本发明提供了如图1-2所示的一种基于视频图像的船舶高度测量识别方法，包括如下步骤：

S1、获取船舶的视频信息；

S2、视频结构化，所述视频结构化服务用于计算实现视频画面中每个像素点对应的高度的比例及视频结构化处理，实现AIS/VTS船舶目标、通航要素目标与视频画面的融合及展示；

S指的说明的是，步骤S1的获取船舶的视频信息通过SDK处理模块登录视频设备，获取视频数据，SDK处理模块包括：

视频数据获取模块，用于获取不同前端视频设备的视频数据；

视频数据处理模块，与视频数据获取模块连接，用于将视频数据转码成统一编码格式；

视频数据输出模块，与视频数据处理模块连接，用于输出统一编码格式的视频数据；

其中，SDK处理模块获取船舶的视频信息的具体方式为：

1）视频数据以SDK 方式登录视频设备，获取视频数据；

2）视频数据缓存，通过TCP或UDP或 RTP协议获取网络上的视频数据；通过网络组包，将接收到的数据做完整性验证，并存入缓存；

3）视频数据分析及组包，对接收到的网络数据包进行码流分析；将数据包按视频帧结构划分后将船舶和通航环境的数据包括：AR信息、物标信息、水文气象数据进行组包保存；

4）接收访问请求，接收客户端的视频数据请求；判断客户端的来源，判断客户端请求的视频资源；视频数据存在性判断；判断请求的视频是否在缓存中，如果已经存在就准备进行数据转发，如果不存在，则向设备请求该视频数据；

5）将数据按视频帧发送到请求方，与客户端建立 TCP 链，将客户端请求的视频数据以视频帧为单位向客户端传输；如果是国标网关的请求，则向国标网关发送数据；

6）多路视频转发线程池，视频转发过程中，往往存在着多路视频并发请求的情况，系统中采用线程池技术实现多并发处理，并通过线程循环使用避免频繁开启线程和关闭线程带来的额外成本。

还包括：

将海量视频图像资源转化为计算机和人易于理解的文本信息进行存储；

同时利用图像分析识别技术将图像中每一像素点对应的高度的比例，融合外部数据源，为图像与信息的结合提供图像数据基础，方便视频数据提取、映射和适配分析同时也具有空间位置、姿态感知能力；

步骤S2中的视频结构化采用视频结构化系统进行处理，视频结构化系统进行处理包括：

视频读取模块，用于读取视频图像；

目标识别模块，与视频读取模块相连，用于基于深度神经元网络从视频图像中的图像帧中识别目标对象；

运动检测和轨迹跟踪模块，与目标识别模块相连，用于对目标对象进行运动检测和轨迹跟踪确定目标对象的运动轨迹；

视频结构化模块，与运动检测和轨迹跟踪模块相连，基于目标对象和目标对象的运动轨迹构建视频结构化信息；

检索模块，与视频结构化模块相连，用于基于视频结构化信息对目标对象进行检索；具体方法为：

1）读取视频图像；基于深度神经元网络从视频图像中的图像帧中识别目标对象；

2）对目标对象进行运动检测和轨迹跟踪确定目标对象的运动轨迹；

3）基于目标对象和目标对象的运动轨迹构建视频结构化信息；

4）基于视频结构化信息对目标对象进行检索；

S3、图像量化，通过获取视频与海平面所处高度信息、视频距离船舶的距离，通过数据计算，根据像素点的比例结果和目标的经纬度信息，计算出每个像素点表达的实际高度；

步骤S3中对目标船舶所处图像尽量实时量化，具体为：

通过处置船舶图像处置，将像素点位信息转换成实际的标准船高数据，实现视频上的动态船高计算结果显示；

S4、视频测高标签叠加，将视频背景信息与摄像机所处坐标、时间进行关联，实现视频背景和动态目标的坐标映射和标注显示，使背景信息中的物标可定位、跟踪；

步骤S4中，监控人员视频巡航的时候可以实时查看对应的船舶的基础信息和根据历史的动态高度筛选出较为准确的实际高度，在视频上的叠加显示，掌握船舶动态；

所述的视频测高标签叠加，通过分析识别的视频画面中各类元素信息与摄像机所处坐标、时间进行关联，实现视频背景和动态目标的坐标映射和标注显示，所述的视频测高标签叠加，还包括：

对船舶目标、通航环境进行提取，并与原始视频画面进行标注关联，建立视频画面与船舶目标、通航环境一一对应的关联关系，自动将船舶名称、船舶高度计算结果信息叠加显示在视频画面中的船舶对应位置；

在船舶行驶过程中、或操作云台转动或镜头缩放时，叠加的信息应可自动调整位置，保证时刻与视频画面中的船舶位置对应。

上述方法采用实时动态视频的船舶高度计算方法，即在视频发现船舶的同时进行船舶高度计算，实现视频监管和船舶测高的实时计算效果；同时，通过采用实时动态视频的船舶高度计算方法提高船舶高度测量计算速度，并且降低了由于外在因素导致的对同个船舶测高偏差过大的情况。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

Claims (9)

1.一种基于视频图像的船舶高度测量识别方法，其特征在于，包括如下步骤：

S1、获取船舶的视频信息；

S2、视频结构化，所述视频结构化服务用于计算实现视频画面中每个像素点对应的高度的比例及视频结构化处理，实现AIS/VTS船舶目标、通航要素目标与视频画面的融合及展示；

S3、图像量化，通过获取视频与海平面所处高度信息、视频距离船舶的距离，通过数据计算，根据像素点的比例结果和目标的经纬度信息，计算出每个像素点表达的实际高度；

S4、视频测高标签叠加，将视频背景信息与摄像机所处坐标、时间进行关联，实现视频背景和动态目标的坐标映射和标注显示，使背景信息中的物标可定位、跟踪。

2.根据权利要求1所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：步骤S1所述的获取船舶的视频信息通过SDK处理模块登录视频设备，获取视频数据，所述SDK处理模块包括：

视频数据获取模块，用于获取不同前端视频设备的视频数据；

视频数据处理模块，与所述视频数据获取模块连接，用于将所述视频数据转码成统一编码格式；

视频数据输出模块，与所述视频数据处理模块连接，用于输出所述统一编码格式的视频数据。

3.根据权利要求2所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：所述SDK处理模块获取船舶的视频信息的具体方式为：

1）视频数据以SDK 方式登录视频设备，获取视频数据；

2）视频数据缓存，通过TCP或UDP或 RTP协议获取网络上的视频数据；通过网络组包，将接收到的数据做完整性验证，并存入缓存；

3）视频数据分析及组包，对接收到的网络数据包进行码流分析；将数据包按视频帧结构划分后将船舶和通航环境的数据包括：AR信息、物标信息、水文气象数据进行组包保存；

4）接收访问请求，接收客户端的视频数据请求；判断客户端的来源，判断客户端请求的视频资源；视频数据存在性判断；判断请求的视频是否在缓存中，如果已经存在就准备进行数据转发，如果不存在，则向设备请求该视频数据；

5）将数据按视频帧发送到请求方，与客户端建立 TCP 链，将客户端请求的视频数据以视频帧为单位向客户端传输；如果是国标网关的请求，则向国标网关发送数据；

6）多路视频转发线程池，视频转发过程中，往往存在着多路视频并发请求的情况，系统中采用线程池技术实现多并发处理，并通过线程循环使用避免频繁开启线程和关闭线程带来的额外成本。

4.根据权利要求1所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：步骤S2所述的视频结构化，还包括：

将海量视频图像资源转化为计算机和人易于理解的文本信息进行存储；

同时利用图像分析识别技术将图像中每一像素点对应的高度的比例，融合外部数据源，为图像与信息的结合提供图像数据基础，方便视频数据提取、映射和适配分析同时也具有空间位置、姿态感知能力。

5.根据权利要求1所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：步骤S3中对目标船舶所处图像尽量实时量化，具体为：

通过处置船舶图像处置，将像素点位信息转换成实际的标准船高数据，实现视频上的动态船高计算结果显示。

6.根据权利要求1所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：步骤S4中，监控人员视频巡航的时候可以实时查看对应的船舶的基础信息和根据历史的动态高度筛选出较为准确的实际高度，在视频上的叠加显示，掌握船舶动态。

7.根据权利要求6所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：所述的视频测高标签叠加，通过分析识别的视频画面中各类元素信息与摄像机所处坐标、时间进行关联，实现视频背景和动态目标的坐标映射和标注显示。

8.根据权利要求7所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：所述的视频测高标签叠加，还包括：

对船舶目标、通航环境进行提取，并与原始视频画面进行标注关联，建立视频画面与船舶目标、通航环境一一对应的关联关系，自动将船舶名称、船舶高度计算结果信息叠加显示在视频画面中的船舶对应位置；

在船舶行驶过程中、或操作云台转动或镜头缩放时，叠加的信息应可自动调整位置，保证时刻与视频画面中的船舶位置对应。

9.根据权利要求1所述的一种基于视频图像的船舶高度测量识别方法，其特征在于：所述步骤S2中所述的视频结构化采用视频结构化系统进行处理，所述视频结构化系统进行处理包括：

视频读取模块，用于读取视频图像；

目标识别模块，与所述视频读取模块相连，用于基于深度神经元网络从所述视频图像中的图像帧中识别目标对象；

运动检测和轨迹跟踪模块，与所述目标识别模块相连，用于对所述目标对象进行运动检测和轨迹跟踪确定所述目标对象的运动轨迹；

视频结构化模块，与所述运动检测和轨迹跟踪模块相连，基于所述目标对象和所述目标对象的运动轨迹构建视频结构化信息；

检索模块，与所述视频结构化模块相连，用于基于所述视频结构化信息对所述目标对象进行检索。

Images