CN116246205B - 一种船只跟踪及文字识别的优化方法及系统 - Google Patents

一种船只跟踪及文字识别的优化方法及系统 Download PDF

Info

Publication number
CN116246205B
CN116246205B CN202310165341.3A CN202310165341A CN116246205B CN 116246205 B CN116246205 B CN 116246205B CN 202310165341 A CN202310165341 A CN 202310165341A CN 116246205 B CN116246205 B CN 116246205B
Authority
CN
China
Prior art keywords
target
ship
tracking
time
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310165341.3A
Other languages
English (en)
Other versions
CN116246205A (zh
Inventor
傅清新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Soar Security Technology Co ltd
Original Assignee
Hangzhou Soar Security Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Soar Security Technology Co ltd filed Critical Hangzhou Soar Security Technology Co ltd
Priority to CN202310165341.3A priority Critical patent/CN116246205B/zh
Publication of CN116246205A publication Critical patent/CN116246205A/zh
Application granted granted Critical
Publication of CN116246205B publication Critical patent/CN116246205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明公开了一种船只跟踪及文字识别的优化方法及系统,涉及人工智能领域,所述方法包括:获得目标海域的目标监测视频,通过检测模型划分得到多个视频片段;提取目标视频片段中的目标图像帧;得到目标船只的目标船只特征并存储至跟踪模型;跟踪模型得到目标实时轨迹;轨迹预测模型得到实时轨迹预测;跟踪采集得到目标船只跟踪信息;文字识别模型分析得到目标船舷号。解决了现有基于目标检测算法进行船只跟踪时存在漏检和误检情况,而模板匹配跟踪存在模板漂移的问题。通过对目标船只实时跟踪得到目标船只跟踪信息,实现了全面、准确跟踪船只的目标,达到了为船只船舷号的识别提供有效的跟踪信息,进而提高船舷号识别效率和准确率的效果。

Description

一种船只跟踪及文字识别的优化方法及系统
技术领域
本发明涉及人工智能领域,尤其涉及一种船只跟踪及文字识别的优化方法及系统。
背景技术
现有技术中在对目标船只进行追踪时通常使用目标检测算法来对船只进行检测,进而通过分析连续帧的检测实现船只追踪效果,示范性的如YOLO系列、FASTER-CRNN系列的检测算法,该跟踪方法受限于模型结构、训练集及部署时的损失精度等,存在检测不到船只或者误检的问题,导致追踪系统无法正常稳定工作。此外,现有技术中还通过一种基于模板匹配的方案对船只进行跟踪,示范性的如KCF、Siam系列等跟踪算法,然而该方法需要一个被追物体的起始坐标,同时存在容易发生模板漂移的问题。因此,亟需通过计算机科学技术对船只的跟踪进行优化,从而提高船只跟踪及时性和准确性。
然而,现有技术中基于目标检测算法进行船只跟踪时存在漏检和误检的情况,导致跟踪系统无法正常、稳定工作,而通过模板匹配进行船只跟踪时存在模板漂移的问题。
发明内容
本发明的目的是提供一种船只跟踪及文字识别的优化方法及系统,用以解决现有技术中基于目标检测算法进行船只跟踪时存在漏检和误检的情况,导致跟踪系统无法正常、稳定工作,而通过模板匹配进行船只跟踪时存在模板漂移的问题。
鉴于上述问题,本发明提供了一种船只跟踪及文字识别的优化方法及系统。
第一方面,本发明提供了一种船只跟踪及文字识别的优化方法,所述方法通过一种船只跟踪及文字识别的优化系统实现,其中,所述方法包括:获得目标海域的目标监测视频,并通过检测模型划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至跟踪模型;所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;所述文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号。
第二方面,本发明还提供了一种船只跟踪及文字识别的优化系统,用于执行如第一方面所述的一种船只跟踪及文字识别的优化方法,其中,所述系统包括:智能监测模块,其用于获得目标海域的目标监测视频,并通过检测模型划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;智能分析模块,其用于基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;智能得到模块,其用于分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至跟踪模型;跟踪得到模块,其用于所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;预测得到模块,其用于轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;采集得到模块,其用于基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;识别得到模块,其用于文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号。
本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:
获得目标海域的目标监测视频,并通过检测模型划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至跟踪模型;所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;所述文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号。通过对目标船只进行实时跟踪得到目标船只跟踪信息,实现了对船只的全面、准确跟踪目标,达到了为船只船舷号的识别提供有效的跟踪信息,进而提高船舷号识别效率和准确率的技术效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明一种船只跟踪及文字识别的优化方法的流程示意图;
图2为本发明一种船只跟踪及文字识别的优化方法中得到所述目标划分结果的流程示意图;
图3为本发明一种船只跟踪及文字识别的优化方法中生成所述目标实时轨迹的流程示意图;
图4为本发明一种船只跟踪及文字识别的优化方法中将所述目标相似轨迹作为所述实时轨迹预测的流程示意图;
图5为本发明一种船只跟踪及文字识别的优化方法中将所述最优检测算法作为所述检测模型的检测算法的流程示意图;
图6为本发明一种船只跟踪及文字识别的优化系统的结构示意图。
附图标记说明:
智能监测模块10,智能分析模块20,智能得到模块30,跟踪得到模块40,预测得到模块50,采集得到模块60,识别得到模块70。
具体实施方式
本发明通过提供一种船只跟踪及文字识别的优化方法及系统,解决了现有技术中基于目标检测算法进行船只跟踪时存在漏检和误检的情况,导致跟踪系统无法正常、稳定工作,而通过模板匹配进行船只跟踪时存在模板漂移的问题。通过对目标船只进行实时跟踪得到目标船只跟踪信息,实现了对船只的全面、准确跟踪目标,达到了为船只船舷号的识别提供有效的跟踪信息,进而提高船舷号识别效率和准确率的技术效果。
本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
下面,将参考附图对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部。
实施例一
请参阅附图1,本发明提供了一种船只跟踪及文字识别的优化方法,其中,所述方法应用于一种船只跟踪及文字识别的优化系统,所述方法具体包括如下步骤:
步骤S100:获得目标海域的目标监测视频,并通过所述检测模型划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;
进一步的,如附图2所示,本发明步骤S100包括:
步骤S110:压缩所述目标监测视频得到目标压缩结果,其中,所述目标压缩结果包括多帧监测图像;
步骤S120:基于所述多帧监测图像计算得到目标特征差值曲线,并分析确定目标划分帧;
进一步的,本发明包括如下步骤:
步骤S121:获取预设筛选方案;
步骤S122:基于所述预设筛选方案对所述多帧监测图像进行筛选,得到多帧监测图像筛选结果;
步骤S123:提取所述多帧监测图像筛选结果中的第一帧和第二帧,其中,所述第一帧和所述第二帧为相邻图像帧;
步骤S124:依次分析得到所述第一帧的第一特征值和所述第二帧的第二特征值;
步骤S125:计算所述第一特征值和所述第二特征值的第一特征差值;
步骤S126:基于所述第一特征差值绘制所述目标特征差值曲线。
步骤S130:以所述目标划分帧为界对所述目标监测视频进行划分,得到所述目标划分结果;
步骤S140:其中,所述目标划分结果包括多个视频片段。
具体而言,所述一种船只跟踪及文字识别的优化方法应用于一种船只跟踪及文字识别的优化系统,且所述优化系统包括检测模型、跟踪模型、轨迹预测模型和文字识别模型四个智能模型。其中,所述检测模型用于对智能监测到的视频信息进行分析,从而实现对目标船只的智能化检测。所述目标船只是指任意一个待使用所述优化系统进行其航行跟踪和船舷号识别优化的船只,举例如谋片海域中正常航行的可疑船只A。所述跟踪模型用于对所述检测模型智能化检测到的所述目标船只进行动态跟踪信息采集和分析,示范性的如船只航行方向、速度等。所述轨迹预测模型用于对所述跟踪模型智能化跟踪采集到的目标船只的相关航行数据进行分析,从而对所述目标船只未来航行的轨迹情况进行智能化预测。所述文字识别模型用于在所述轨迹预测模型预测到所述目标船只的预测轨迹之后,对目标船只的航行信息进行全面的跟踪和采集,进而对其跟踪采集的信息进行分析,并识别确定所述目标船只的目标船舷号。
首先通过与系统通信连接的高清摄像头等智能设备对目标海域进行实时视频采集,得到目标监测视频,并将采集到的所述目标监测视频实时传输给系统中的所述检测模型。接着,通过所述检测模型对目标海域的目标监测视频进行分析,并划分所述目标监测视频得到目标监测视频的目标划分结果,其中,所述目标划分结果包括划分后的多个视频片段。所述目标海域是指当前要监管的海面区域范围。具体来说,通过高清摄像头等智能设备对目标海域进行全景信息采集得到所述目标监测视频,进而对所述目标监测视频进行分析并识别不同时间下是否有船只驶入该片海域,此时为了提高视频分析和船只驶入判断的效率,对所述目标监测视频进行压缩处理,即得到所述目标压缩结果。其中,所述目标压缩结果包括多帧监测图像,且所述多帧监测图像具有时间标识。通过压缩目标监测视频得到目标压缩结果,实现了减小后续监测数据分析的数据量,从而提高数据分析效率的技术目标。
接下来,获取预设筛选方案,所述预设筛选方案是指基于各帧监测图像的来源对其进行剔除或者保留,其中,监测图像为高清摄像头等智能设备实际监测到的图像则保留,而监测图像为在对所述目标监测视频进行压缩处理过程中,基于压缩算法思想智能化生成的虚拟图像帧则进行剔除。示范性的如利用动态图像专家组进行视频压缩时会产生插值帧图像。然后基于所述预设筛选方案对所述多帧监测图像进行筛选,得到实际监测采集得到的图像集合,即所述多帧监测图像筛选结果。通过依次判断分析各个监测图像是否为真实采集监测到的实际图像帧,进而将实际采集到的图像帧作为后续绘制曲线的基础,达到了为后续曲线绘制提供准确的图像基础,提高曲线准确性,进而提高视频分割可靠性的技术效果。
接下来,随机提取所述多帧监测图像筛选结果中的任意一帧图像,即记作第一帧,并同时采集所述第一帧的相邻监测图像,即记作所述第二帧,并依次分析得到所述第一帧的第一特征值和所述第二帧的第二特征值。将所述第一特征值和所述第二特征值进行差值计算,得到的计算结果即所述第一特征差值。最后基于所述第一特征差值绘制得到所述目标特征差值曲线。进一步的,对所述目标特征差值曲线进行分析得到曲线的峰值点和谷值点,并匹配各个峰值点和谷值点对应的前后两帧监测图像,并将该前后两帧监测图像的中间作为对所述目标监测视频进行划分的一个划分界线,从而得到所述目标划分结果,其中,所述目标划分结果包括多个视频片段。其中,所述多个视频片段的数量比所述目标特征差值曲线中的峰值点和谷值点的总和大1。通过对目标压缩结果中的各帧监测图像进行分析实现对压缩结果的准确划分,从而为后续分析提供针对性的视频片段,提高系统分析效率,保障系统性能。
步骤S200:基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;
步骤S300:分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至所述跟踪模型;
具体而言,对所述多个视频片段依次进行分析,并将视频画面中存在船只航行的视频片段进行对应标记,进而从标记了有船只航行的视频片段中随机提取一个片段,将其作为目标视频片段,并提取所述目标视频片段中的目标图像帧。接下来,对所述目标图像帧中的船只进行多维度特征采集,示范性的如通过HOG特征法对目标图像帧进行分析,即把目标图像帧分割为若干个像素的单元,把梯度方向平均划分为多个区间,在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计,得到一个多维的特征向量,每相邻的单元构成一个区间,把一个区间内的特征向量联起来得到多维的特征向量,用区间对目标图像帧进行扫描,扫描步长为一个单元。最后将所有块的特征串联起来,就得到了对应船只的特征。具体来说,先将目标图像帧分为很多个小区域,通过统计每个区域中每个像素的梯度,形成一个灰度的梯度直方图,再将多个区域合成一个block,再将block内的特征进行归一化,至此即得到一个block的特征,接着对目标图像帧进行遍历,每次移动一个小区域大小,就有了很多个block的特征,最终将所有block的特征串联起来就是目标图像帧的特征。进一步的,判断确定其是否为目标船只,并保留属于所述目标船只的目标船只特征,将所述目标船只特征存储至所述跟踪模型。通过对存在船只航行的监测视频片段依次进行分析,确定各个视频片段中的船只特征,并进一步分析其是否为目标船只,接着仅保留目标船只的特征至跟踪模型中,达到了为跟踪模型的智能化准确跟踪提供特征基础,提高跟踪准确性的技术效果。
步骤S400:所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;
进一步的,如附图3所示,本发明步骤S400包括:
步骤S410:获得所述跟踪模型中的跟踪监测设备;
步骤S420:通过所述跟踪监测设备对所述目标船只进行实时监测,得到实时位置序列;
进一步的,本发明包括如下步骤:
步骤S421:获得所述跟踪监测设备中的距离监测设备;
步骤S422:获取所述距离监测设备的第一监测位置,并将所述第一监测位置作为距离监测基准;
步骤S423:所述距离监测设备基于所述距离监测基准得到所述目标船只的实时距离;
步骤S424:获得所述跟踪监测设备中的角度监测设备;
步骤S425:将正北方向作为角度监测基准,并通过所述角度监测设备得到所述目标船只的实时偏移角度;
步骤S426:基于所述实时速度和所述实时偏移角度确定实时位置,并基于所述实时位置生成所述实时位置序列。
步骤S430:其中,所述实时位置序列包括多个具备时序特征的位置;
步骤S440:基于所述多个具备时序特征的位置生成所述目标实时轨迹。
具体而言,在分析确定所述目标船只的目标船只特征之后,所述跟踪模型基于所述目标船只特征对所述目标船只进行实时跟踪,并得到目标船只的目标实时轨迹。具体来说,通过所述跟踪模型中的跟踪监测设备,对所述目标船只的实时航行数据进行实时监测,从而得到目标船只的实时位置序列,其中,所述实时位置序列包括多个具备时序特征的位置。最后基于所述多个具备时序特征的位置生成所述目标实时轨迹。在通过所述跟踪模型中的跟踪监测设备对所述目标船只的实时航行数据进行实时监测时,首先获取所述距离监测设备的第一监测位置,并将所述第一监测位置作为距离监测基准,接着通过所述跟踪监测设备中的距离监测设备得到所述目标船只距离所述距离监测基准的实时距离。接下来将正北方向作为角度监测基准,并通过所述跟踪监测设备中的角度监测设备对所述目标船只的实时偏移角度进行监测,最后基于所述实时速度和所述实时偏移角度确定所述目标船只的实时位置,最终将各个时刻监测到的实时位置组成所述实时位置序列,从而形成所述目标船只的所述目标实时轨迹。
通过对目标船只进行实时监测得到其实际航行的轨迹路线,从而为后续预测其未来的航行轨迹提供准确有效的路线基础,提高轨迹预测的准确性的技术效果。
步骤S500:所述轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;
进一步的,如附图4所示,本发明步骤S500包括:
步骤S510:建立历史航行轨迹库,其中,所述历史航行轨迹库包括多条历史轨迹;
步骤S520:获取所述多条历史轨迹中的第一历史轨迹;
步骤S530:计算所述目标实时轨迹与所述第一历史轨迹的第一轨迹相似度;
步骤S540:基于所述第一轨迹相似度确定目标相似轨迹,并将所述目标相似轨迹作为所述实时轨迹预测。
具体而言,所述轨迹预测模型在对所述目标实时轨迹进行分析并预测其未来的轨迹情况前,首先基于对所述目标海域进行历史船只航行监测到的航行轨迹情况历史航行轨迹库,其中,所述历史航行轨迹库包括多条历史轨迹。然后将所述目标实时轨迹依次与所述多条历史轨迹中的各条历史轨迹分别进行对比,得到与历史各条轨迹之间的重合程度,记作轨迹相似度,如所述目标实时轨迹与所述第一历史轨迹的重合程度即为第一轨迹相似度。最后对各个轨迹相似度进行对比,筛选相似程度最高的历史轨迹作为与所述目标实时轨迹最相近的轨迹,同时将其作为所述实时轨迹预测。通过对目标船只的航行轨迹进行预测,进而基于预测到的轨迹对其轨迹周围智能设备进度预先调度,从而为后续及时采集分析目标船只的航行数据,对其智能跟踪提供基础。
步骤S600:基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;
步骤S700:所述文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号。
具体而言,基于所述实时轨迹预测进行所述目标船只的跟踪采集,并得到目标船只跟踪信息。示范性的如船只航行过程中各个角度的视频和图像信息等。接下来,通过所述优化系统中的所述文字识别模型对所述目标船只跟踪信息进行分析。现有在对船只上的船舷号进行智能识别时,存在识别准确性不高的问题,这是由于船身与竖直面有一定倾角,船的行驶方向与相机透镜轴线不垂直,字体本身不正的问题,导致了船舷号的文字扭曲程度较大。此外,由于船舷号通常是两个字词的组合如“港盛”等,其特征与我们日常对话如“你吃中午饭了吗”,“今天要下雨”等有较大差别。举例填空如果为“今天要下__”,则很容易联想到要填“雨,雪”,填空如果为“你吃中午__了吗”,则容易联想到“餐,饭”等,但“港__”后面的词是比较难联想的,也就是语义信息较弱。此外,现有技术基于RNN,存在不能并行运算导致计算效率较低的问题。具体来说,提取目标船只船舷号部位的监测图像,进而通过图像处理识别得到所述目标船只的目标船舷号。也就是说,在所述跟踪模型对目标船只进行跟踪后,分别对目标船只的船头与船尾图像进行放大,并将得到的图像发送至DBnet检测文字坐标,再将文字坐标发送至TPS+仿射变换+CRNN一体的网络进行校正和识别。其中,针对文字扭曲严重的情形使用先TPS变换再仿射变换的形式。也就是说,当斜着看平面上的字时,原本一样大的字会变得不一样大,离观察者近的会变大、远的会变小,TPS变换可以先把纵坐标不同的文字映射到同一纵坐标下,也就是调整字的大小,但是由于TPS对于船舷号文字左右方向的矫正效果较差,因此结合仿射变换再次进行处理。其中,TPS是一个6层的卷积网络加上两层全连接网络,最终输出控制点的坐标,再根据控制点的坐标解非线性方程求得变换矩阵,再根据变换矩阵求出新图的点在原图的坐标,再根据那个坐标进行一个插值得到新图点像素值。
基于船舷号语义信息不明显,提取困难的问题,本申请通过采用弱化语义信息、强化图像信息的策略,使用经典的resnet50去提取图像信息,相比原来的几层卷积深度加深了不少,提取能力更强,并且将灰度图输入更改为彩色图输入,最终达到了提高船舷号识别准确性的技术效果。
进一步的,如附图5所示,本发明还包括步骤S800:
步骤S810:组建预设检测算法集,其中包括第一检测算法和第二检测算法;
步骤S820:基于所述第一检测算法对所述检测模型进行检测仿真,统计第一仿真数据,其中包括第一仿真时间、第一仿真精度;
步骤S830:基于所述第二检测算法对所述检测模型进行检测仿真,统计第二仿真数据,其中包括第二仿真时间、第二仿真精度;
步骤S840:基于所述第一仿真时间和所述第一仿真精度得到第一仿真指数,基于所述第二仿真时间和所述第二仿真精度得到第二仿真指数;
步骤S850:对比所述第一仿真指数和所述第二仿真指数得到最优仿真指数,并反向匹配最优检测算法;
步骤S860:将所述最优检测算法作为所述检测模型的检测算法。
具体而言,在基于检测模型进行目标海域的目标检测视频的分析时,为了提高模型的智能检测准确性,对其实际检测分析时的算法原理进行优化。
首先组建预设检测算法集,其中包括第一检测算法和第二检测算法,示范性的如Faster-crnn、yolov5算法。然后分别基于所述第一检测算法对所述检测模型进行检测仿真,统计第一仿真数据,其中包括第一仿真时间、第一仿真精度,进而基于所述第二检测算法对所述检测模型进行检测仿真,统计第二仿真数据,其中包括第二仿真时间、第二仿真精度,接下来加权计算所述第一仿真时间和所述第一仿真精度得到第一仿真指数,同时加权计算所述第二仿真时间和所述第二仿真精度得到第二仿真指数。进一步的,将所述第一仿真指数和所述第二仿真指数进行对比分析,并将仿真指数高的作为最优仿真指数,进而反向匹配最优仿真指数对应的算法,并记作所述最优检测算法。最终将所述最优检测算法作为所述检测模型的检测算法。
进一步的,组建跟踪模型的预设跟踪算法集,举例如KCF、SIAM算法。然后对预设跟踪算法集中各跟踪算法进行仿真分析,统计并分析仿真过程后,确定最佳的跟踪算法。接下来组建轨迹预测模型的预设轨迹预测算法集,举例如卡尔曼滤波、粒子滤波算法。也就是说,轨迹预测模型可容纳多种算法,因此仿真对比不同算法效果,从而确定最佳算法。然后对预设轨迹预测算法集中各轨迹预测算法进行仿真分析,统计并分析仿真过程后,确定最佳的轨迹预测算法。通过对各个模型的算法原理进行对比实现对各个模型的优化,最终达到了提高系统跟踪性能,为船舷号识别提供基础的技术效果。
综上所述,本发明所提供的一种船只跟踪及文字识别的优化方法具有如下技术效果:
通过检测模型获得目标海域的目标监测视频,并划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至跟踪模型;所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;所述文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号。通过对目标船只进行实时跟踪得到目标船只跟踪信息,实现了对船只的全面、准确跟踪目标,达到了为船只船舷号的识别提供有效的跟踪信息,进而提高船舷号识别效率和准确率的技术效果。
实施例二
基于与前述实施例中一种船只跟踪及文字识别的优化方法,同样发明构思,本发明还提供了一种船只跟踪及文字识别的优化系统,请参阅附图6,所述优化系统包括:
智能监测模块10,其用于获得目标海域的目标监测视频,并通过检测模型划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;
智能分析模块20,其用于基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;
智能得到模块30,其用于分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至跟踪模型;
跟踪得到模块40,其用于所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;
预测得到模块50,其用于轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;
采集得到模块60,其用于基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;
识别得到模块70,其用于文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号。
进一步的,所述系统中的所述智能监测模块10还用于:
压缩所述目标监测视频得到目标压缩结果,其中,所述目标压缩结果包括多帧监测图像;
基于所述多帧监测图像计算得到目标特征差值曲线,并分析确定目标划分帧;
以所述目标划分帧为界对所述目标监测视频进行划分,得到所述目标划分结果;
其中,所述目标划分结果包括多个视频片段。
进一步的,所述系统中的所述智能监测模块10还用于:
获取预设筛选方案;
基于所述预设筛选方案对所述多帧监测图像进行筛选,得到多帧监测图像筛选结果;
提取所述多帧监测图像筛选结果中的第一帧和第二帧,其中,所述第一帧和所述第二帧为相邻图像帧;
依次分析得到所述第一帧的第一特征值和所述第二帧的第二特征值;
计算所述第一特征值和所述第二特征值的第一特征差值;
基于所述第一特征差值绘制所述目标特征差值曲线。
进一步的,所述系统中的所述跟踪得到模块40还用于:
获得所述跟踪模型中的跟踪监测设备;
通过所述跟踪监测设备对所述目标船只进行实时监测,得到实时位置序列;
其中,所述实时位置序列包括多个具备时序特征的位置;
基于所述多个具备时序特征的位置生成所述目标实时轨迹。
进一步的,所述系统中的所述跟踪得到模块40还用于:
获得所述跟踪监测设备中的距离监测设备;
获取所述距离监测设备的第一监测位置,并将所述第一监测位置作为距离监测基准;
所述距离监测设备基于所述距离监测基准得到所述目标船只的实时距离;
获得所述跟踪监测设备中的角度监测设备;
将正北方向作为角度监测基准,并通过所述角度监测设备得到所述目标船只的实时偏移角度;
基于所述实时速度和所述实时偏移角度确定实时位置,并基于所述实时位置生成所述实时位置序列。
进一步的,所述系统中的所述预测得到模块50还用于:
建立历史航行轨迹库,其中,所述历史航行轨迹库包括多条历史轨迹;
获取所述多条历史轨迹中的第一历史轨迹;
计算所述目标实时轨迹与所述第一历史轨迹的第一轨迹相似度;
基于所述第一轨迹相似度确定目标相似轨迹,并将所述目标相似轨迹作为所述实时轨迹预测。
进一步的,所述系统还包括模型优化模块,其中,所述模型优化模块用于:
组建预设检测算法集,其中包括第一检测算法和第二检测算法;
基于所述第一检测算法对所述检测模型进行检测仿真,统计第一仿真数据,其中包括第一仿真时间、第一仿真精度;
基于所述第二检测算法对所述检测模型进行检测仿真,统计第二仿真数据,其中包括第二仿真时间、第二仿真精度;
基于所述第一仿真时间和所述第一仿真精度得到第一仿真指数,基于所述第二仿真时间和所述第二仿真精度得到第二仿真指数;
对比所述第一仿真指数和所述第二仿真指数得到最优仿真指数,并反向匹配最优检测算法;
将所述最优检测算法作为所述检测模型的检测算法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,前述图1实施例一中的一种船只跟踪及文字识别的优化方法和具体实例同样适用于本实施例的一种船只跟踪及文字识别的优化系统,通过前述对一种船只跟踪及文字识别的优化方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种船只跟踪及文字识别的优化系统,所以为了说明书的简洁,在此不再详述。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种船只跟踪及文字识别的优化方法,其特征在于,所述优化方法应用于优化系统,所述优化系统包括检测模型、跟踪模型、轨迹预测模型和文字识别模型,所述优化方法包括:
获得目标海域的目标监测视频,并通过所述检测模型划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;
基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;
分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至所述跟踪模型;
所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;
所述轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;
基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;
所述文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号;
所述优化方法还包括:
组建预设检测算法集,其中包括第一检测算法和第二检测算法;
基于所述第一检测算法对所述检测模型进行检测仿真,统计第一仿真数据,其中包括第一仿真时间、第一仿真精度;
基于所述第二检测算法对所述检测模型进行检测仿真,统计第二仿真数据,其中包括第二仿真时间、第二仿真精度;
基于所述第一仿真时间和所述第一仿真精度得到第一仿真指数,基于所述第二仿真时间和所述第二仿真精度得到第二仿真指数;
对比所述第一仿真指数和所述第二仿真指数得到最优仿真指数,并反向匹配最优检测算法;
将所述最优检测算法作为所述检测模型的检测算法。
2.根据权利要求1所述优化方法,其特征在于,所述通过所述检测模型获得目标海域的目标监测视频,并划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段,包括:
压缩所述目标监测视频得到目标压缩结果,其中,所述目标压缩结果包括多帧监测图像;
基于所述多帧监测图像计算得到目标特征差值曲线,并分析确定目标划分帧;
以所述目标划分帧为界对所述目标监测视频进行划分,得到所述目标划分结果;
其中,所述目标划分结果包括多个视频片段。
3.根据权利要求2所述优化方法,其特征在于,所述基于所述多帧监测图像计算得到目标特征差值曲线,并分析确定目标划分帧,包括:
获取预设筛选方案;
基于所述预设筛选方案对所述多帧监测图像进行筛选,得到多帧监测图像筛选结果;
提取所述多帧监测图像筛选结果中的第一帧和第二帧,其中,所述第一帧和所述第二帧为相邻图像帧;
依次分析得到所述第一帧的第一特征值和所述第二帧的第二特征值;
计算所述第一特征值和所述第二特征值的第一特征差值;
基于所述第一特征差值绘制所述目标特征差值曲线。
4.根据权利要求1所述优化方法,其特征在于,所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹,包括:
获得所述跟踪模型中的跟踪监测设备;
通过所述跟踪监测设备对所述目标船只进行实时监测,得到实时位置序列;
其中,所述实时位置序列包括多个具备时序特征的位置;
基于所述多个具备时序特征的位置生成所述目标实时轨迹。
5.根据权利要求4所述优化方法,其特征在于,所述通过所述跟踪监测设备对所述目标船只进行实时监测,得到实时位置序列,包括:
获得所述跟踪监测设备中的距离监测设备;
获取所述距离监测设备的第一监测位置,并将所述第一监测位置作为距离监测基准;
所述距离监测设备基于所述距离监测基准得到所述目标船只的实时距离;
获得所述跟踪监测设备中的角度监测设备;
将正北方向作为角度监测基准,并通过所述角度监测设备得到所述目标船只的实时偏移角度;
基于实时速度和所述实时偏移角度确定实时位置,并基于所述实时位置生成所述实时位置序列。
6.根据权利要求1所述优化方法,其特征在于,所述轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测,包括:
建立历史航行轨迹库,其中,所述历史航行轨迹库包括多条历史轨迹;
获取所述多条历史轨迹中的第一历史轨迹;
计算所述目标实时轨迹与所述第一历史轨迹的第一轨迹相似度;
基于所述第一轨迹相似度确定目标相似轨迹,并将所述目标相似轨迹作为所述实时轨迹预测。
7.一种船只跟踪及文字识别的优化系统,其特征在于,所述优化系统包括:
智能监测模块,其用于获得目标海域的目标监测视频,并通过检测模型划分所述目标监测视频得到目标划分结果,其中,所述目标划分结果包括多个视频片段;
智能分析模块,其用于基于所述多个视频片段得到目标视频片段,并提取所述目标视频片段中的目标图像帧;
智能得到模块,其用于分析所述目标图像帧得到目标船只的目标船只特征,并将所述目标船只特征存储至跟踪模型;
跟踪得到模块,其用于所述跟踪模型对所述目标船只进行实时跟踪,得到目标实时轨迹;
预测得到模块,其用于轨迹预测模型对所述目标实时轨迹进行分析,得到实时轨迹预测;
采集得到模块,其用于基于所述实时轨迹预测进行所述目标船只的跟踪采集,得到目标船只跟踪信息;
识别得到模块,其用于文字识别模型对所述目标船只跟踪信息进行分析,得到所述目标船只的目标船舷号;
所述优化系统还包括模型优化模块,其中,所述模型优化模块用于:
组建预设检测算法集,其中包括第一检测算法和第二检测算法;
基于所述第一检测算法对所述检测模型进行检测仿真,统计第一仿真数据,其中包括第一仿真时间、第一仿真精度;
基于所述第二检测算法对所述检测模型进行检测仿真,统计第二仿真数据,其中包括第二仿真时间、第二仿真精度;
基于所述第一仿真时间和所述第一仿真精度得到第一仿真指数,基于所述第二仿真时间和所述第二仿真精度得到第二仿真指数;
对比所述第一仿真指数和所述第二仿真指数得到最优仿真指数,并反向匹配最优检测算法;
将所述最优检测算法作为所述检测模型的检测算法。
CN202310165341.3A 2023-02-27 2023-02-27 一种船只跟踪及文字识别的优化方法及系统 Active CN116246205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310165341.3A CN116246205B (zh) 2023-02-27 2023-02-27 一种船只跟踪及文字识别的优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310165341.3A CN116246205B (zh) 2023-02-27 2023-02-27 一种船只跟踪及文字识别的优化方法及系统

Publications (2)

Publication Number Publication Date
CN116246205A CN116246205A (zh) 2023-06-09
CN116246205B true CN116246205B (zh) 2024-04-19

Family

ID=86627425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310165341.3A Active CN116246205B (zh) 2023-02-27 2023-02-27 一种船只跟踪及文字识别的优化方法及系统

Country Status (1)

Country Link
CN (1) CN116246205B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714717A (zh) * 2012-10-09 2014-04-09 北京东方道迩信息技术股份有限公司 一种基于sar数据的船舶动态跟踪与行为模式识别方法
CN106372590A (zh) * 2016-08-29 2017-02-01 江苏科技大学 一种基于机器视觉的海面船只智能跟踪系统及其方法
CN107818571A (zh) * 2017-12-11 2018-03-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN109145781A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN114724028A (zh) * 2022-03-31 2022-07-08 浙江商汤科技开发有限公司 船只信息的确定方法及相关装置、设备和存储介质
CN114782487A (zh) * 2022-03-24 2022-07-22 中国科学院自动化研究所 一种海面船只检测跟踪方法及系统
CN115100477A (zh) * 2022-07-06 2022-09-23 海南大学 一种基于数字孪生的智能渔港监管系统及方法
CN115147594A (zh) * 2022-07-06 2022-10-04 上海海事大学 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714717A (zh) * 2012-10-09 2014-04-09 北京东方道迩信息技术股份有限公司 一种基于sar数据的船舶动态跟踪与行为模式识别方法
CN106372590A (zh) * 2016-08-29 2017-02-01 江苏科技大学 一种基于机器视觉的海面船只智能跟踪系统及其方法
CN107818571A (zh) * 2017-12-11 2018-03-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN109145781A (zh) * 2018-08-03 2019-01-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN114782487A (zh) * 2022-03-24 2022-07-22 中国科学院自动化研究所 一种海面船只检测跟踪方法及系统
CN114724028A (zh) * 2022-03-31 2022-07-08 浙江商汤科技开发有限公司 船只信息的确定方法及相关装置、设备和存储介质
CN115100477A (zh) * 2022-07-06 2022-09-23 海南大学 一种基于数字孪生的智能渔港监管系统及方法
CN115147594A (zh) * 2022-07-06 2022-10-04 上海海事大学 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法

Also Published As

Publication number Publication date
CN116246205A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN109978851B (zh) 一种红外视频空中弱小运动目标检测跟踪方法
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN107977639B (zh) 一种人脸清晰度判断方法
US6128410A (en) Pattern matching apparatus and method that considers distance and direction
CN108121991A (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN113808282A (zh) 一种多通航要素数据融合方法
CN111507138A (zh) 图像识别方法、装置、计算机设备及存储介质
CN111222447A (zh) 基于神经网络及多通道融合lbp特征的活体检测方法
CN111444817B (zh) 一种人物图像识别方法、装置、电子设备和存储介质
CN111428573B (zh) 一种复杂背景下的红外弱小目标检测虚警抑制方法
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN107169412B (zh) 基于混合模型决策的遥感图像靠港船只检测方法
CN111931555A (zh) 一种利用视频图像识别船舶ais是否开启的方法
CN109165592B (zh) 一种基于pico算法的实时可旋转的人脸检测方法
CN111881775B (zh) 一种人脸实时识别方法和装置
CN116246205B (zh) 一种船只跟踪及文字识别的优化方法及系统
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
KR101035291B1 (ko) 관절모델db을 이용한 포즈인식 시스템
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
CN115527168A (zh) 行人重识别方法、存储介质、数据库编辑方法、存储介质
CN106909936B (zh) 一种基于双车辆可变形部件模型的车辆检测方法
CN113570564B (zh) 一种基于多路卷积网络的多清晰度伪造人脸视频的检测方法
CN111583341B (zh) 云台像机移位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant