CN114463430A - 一种基于图像处理的海洋搜救系统和方法 - Google Patents

一种基于图像处理的海洋搜救系统和方法 Download PDF

Info

Publication number
CN114463430A
CN114463430A CN202210381322.XA CN202210381322A CN114463430A CN 114463430 A CN114463430 A CN 114463430A CN 202210381322 A CN202210381322 A CN 202210381322A CN 114463430 A CN114463430 A CN 114463430A
Authority
CN
China
Prior art keywords
area
sea
detected
image
sea surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210381322.XA
Other languages
English (en)
Other versions
CN114463430B (zh
Inventor
孙弘超
于江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianzhi Innovation Technology Research Institute Of Weihai Economic And Technological Development Zone
Original Assignee
Tianzhi Innovation Technology Research Institute Of Weihai Economic And Technological Development Zone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianzhi Innovation Technology Research Institute Of Weihai Economic And Technological Development Zone filed Critical Tianzhi Innovation Technology Research Institute Of Weihai Economic And Technological Development Zone
Priority to CN202210381322.XA priority Critical patent/CN114463430B/zh
Publication of CN114463430A publication Critical patent/CN114463430A/zh
Application granted granted Critical
Publication of CN114463430B publication Critical patent/CN114463430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种基于图像处理的海洋搜救系统和方法，涉及图像处理技术领域。该方法包括：利用无人水面艇上的摄像头获取待检测海面图像后，首先区分海水区域和天空区域，将事故人员搜救范围缩小为海水区域；然后通过第一标准线将海水区域划分为近水区域和远水区域，再次将事故人员搜救范围缩小为近水区域。本发明所提供的方法无需再对整个待检测海面图像进行算法处理，即放弃对图像处理识别技术难以保证精度的远水区域进行算法处理，不仅加快了计算速度，还保证了识别处理的精度。对于难以识别的远水区域，可驱使无人水面艇沿水面漂浮物的方向行驶，靠近该水面漂浮物进行进一步地识别确认。

Description

一种基于图像处理的海洋搜救系统和方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于图像处理的海洋搜救系统和方法。
背景技术
无人水面艇(Unmanned Surface Vehicle，USV)是具备高度非线性动力学特征，能在无人干预的情况下在各种复杂未知的水面环境下执行任务的新型载体，其具有体型小、智能化、自主化等优点，常被用来执行危险系数高、作业环境恶劣的任务，特别是在搜救领域具有重要的应用需求。
无人水面艇的搜救过程中，识别事故人员和定位事故人员是最为重要的技术环节。一般来说，无人水面艇需要通过摄像头拍摄海面图像，对该海面图像进行图像处理识别出各个事故人员后，再通过复杂的定位算法逐一计算出各个事故人员的具体坐标。但是，海面图像中较远距离的海面漂浮物的图像识别精度是难以保障的，因此亟需一种准确率高、速度快的海洋搜救系统和方法。
发明内容
本发明的目的在于提供一种基于图像处理的海洋搜救系统和方法，其能够改善上述问题。
本发明的实施例是这样实现的：
第一方面，本发明提供一种基于图像处理的海洋搜救方法，所述方法应用于无人水面艇上，其包括：
通过摄像头获取待检测海面图像；
通过海界线人工神经网络模型识别出所述待检测海面图像中的海面边界线，所述海面边界线将所述待检测海面图像区分为海水区域和天空区域，所述海水区域背离所述天空区域的边缘为基准线；
根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第一标准线的位置，所述第一标准线将所述海水区域区分为近水区域和远水区域；
通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型，在所述水面漂浮物类型为事故人员的情况下，向搜救队员发送所述水面漂浮物类型的当前位置坐标；
通过测距雷达获取所述所述远水区域内的水面漂浮物的当前方向，驱动所述无人水面艇向所述当前方向航行。
可以理解，本发明公开了一种基于图像处理的海洋搜救方法，利用无人水面艇上的摄像头获取待检测海面图像后，首先区分海水区域和天空区域，将事故人员搜救范围缩小为海水区域；然后通过第一标准线将海水区域划分为近水区域和远水区域，再次将事故人员搜救范围缩小为近水区域。本发明所提供的方法无需再对整个待检测海面图像进行算法处理，即放弃对图像处理识别技术难以保证精度的远水区域进行算法处理，不仅加快了计算速度，还保证了识别处理的精度。对于难以识别的远水区域，可驱使无人水面艇沿水面漂浮物的方向行驶，靠近该水面漂浮物进行进一步地识别确认。
在本发明可选的实施例中，所述通过海界线人工神经网络模型识别出所述待检测海面图像中的海面边界线，包括：
通过海界线人工神经网络模型将所述待检测海面图像中每个像素划分为天空和海面两个大类；
根据像素类型划分结果将所述待检测海面图像划分为所述天空区域和所述海水区域；
将所述天空区域和所述海水区域的交界线确定为所述海面边界线。
可以理解，像素级的类型识别一般采用图像语义分割算法，但是图像语义分割算法一般关注图像的纹理和边缘特征，缺少对图像特征的学习和训练，因此算法的复杂程度较高，耗费时间长且不容易收敛，图像分割出来的效果往往不尽如人意。本发明中结合卷积神经网络进行图像语义分割算法可以提高识别精度。
在本发明可选的实施例中，根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第一标准线的位置，包括：
通过下式计算所述待检测海面图像中所述第一标准线与所述基准线的距离
Figure 620604DEST_PATH_IMAGE001
：
Figure 782595DEST_PATH_IMAGE002
；
其中，
Figure 296622DEST_PATH_IMAGE003
为所述当前焦距，
Figure 112131DEST_PATH_IMAGE004
为所述摄像头的拍摄视场角，
Figure 665603DEST_PATH_IMAGE005
为所述摄像头距离海面的实际高度，
Figure 146132DEST_PATH_IMAGE006
为所述第一标准线对应的实际位置与所述无人水面艇的距离值。
可以理解，所述第一标准线对应的实际位置与所述无人水面艇的距离值
Figure 265397DEST_PATH_IMAGE007
，可以由本领域技术人员根据摄像头拍摄能力和图像识别能力的具体情况进行设定，一般来说要保证第一标准线对应的实际位置与所述无人水面艇的距离以内位置的事故人员能够通过识别人工神经网络模型识别出来。
在本发明可选的实施例中，所述通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型，包括：
通过各级卷积操作提取待检测海面图像中的图像特征，得到待检测海面图像的特征图；
利用候选区域生成网络RPN技术在所述特征图上生成各个目标识别区域；
利用第一概率函数计算所述目标识别区域中内容的分类预测概率；所述第一概率函数如下式所示：
Figure 720650DEST_PATH_IMAGE008
;
其中，
Figure 73002DEST_PATH_IMAGE009
是第i个所述目标识别区域的分类变量，
Figure 45638DEST_PATH_IMAGE010
为所述特征图，
Figure 612885DEST_PATH_IMAGE011
为所述目标识别区域，
Figure 629252DEST_PATH_IMAGE012
是各项连乘的运算符号，
Figure 219633DEST_PATH_IMAGE013
是所述目标识别区域的集合；
利用方程
Figure 855014DEST_PATH_IMAGE014
解得所述目标识别区域中内容的分类结果。
在本发明可选的实施例中，在所述通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型之前，所述方法还包括：
根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第二标准线的位置，所述第二标准线将所述近水区域区分为第一近水区域和第二近水区域，所述第二近水区域与所述远水区域交接；
所述通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型，在所述水面漂浮物类型为事故人员的情况下，向搜救队员发送所述水面漂浮物类型的当前位置坐标，包括：
所述通过识别人工神经网络模型识别出所述第一近水区域内的水面漂浮物类型；
在所述第一近水区域内的水面漂浮物类型为事故人员的情况下，向搜救队员发送所述无人水面艇的当前位置坐标；
所述通过识别人工神经网络模型识别出所述第二近水区域内的水面漂浮物类型；
在所述第二近水区域内的水面漂浮物类型为事故人员的情况下，通过测距雷达获取所述第二近水区域内的事故人员与所述无人水面艇的当前位置的位置关系；
通过所述位置关系计算出所述第二近水区域内的事故人员与的当前位置坐标。
可以理解，本发明所公开的基于图像处理的海洋搜救方法，还通过第二标准线将近水区域划分为距离无人水面艇较近的第一近水区域和距离无人水面艇较远的第二近水区域。由于第一近水区域内的事故人员与无人水面艇的距离很近，因此无需再单独计算事故人员的具体坐标，只需要发送无人水面艇的当前位置即可，可以加快海洋搜救处理速度；由于第二近水区域距离无人水面艇距离较远，因此，需要通过测距雷达获取相关的位置关系，重新计算事故人员的当前位置坐标，以保证事故人员的搜救位置的准确性。
其中，所述根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第二标准线的位置，包括：
通过下式计算所述待检测海面图像中所述第二标准线与所述基准线的距离
Figure 198139DEST_PATH_IMAGE015
：
Figure 136139DEST_PATH_IMAGE016
；
Figure 197505DEST_PATH_IMAGE017
为所述当前焦距，
Figure 308681DEST_PATH_IMAGE018
为所述摄像头的拍摄视场角，
Figure 584941DEST_PATH_IMAGE019
为所述摄像头距离海面的实际高度，
Figure 208689DEST_PATH_IMAGE020
为所述第二标准线对应的实际位置与所述无人水面艇的距离值。
可以理解，所述第二标准线对应的实际位置与所述无人水面艇的距离值
Figure 508084DEST_PATH_IMAGE021
，可以由本领域技术人员根据人眼识别能力的具体情况进行设定，一般来说要保证第二标准线对应的实际位置与所述无人水面艇的距离以内位置的事故人员，能够被无人水面艇上的搜救人员发现。
其中，所述位置关系包括所述事故人员与所述无人水面艇的当前位置的距离L以及所述事故人员与所述无人水面艇当前航行方向的夹角α；
所述通过所述位置关系计算出所述第二近水区域内的事故人员与的当前位置坐标，包括：
通过下式计算所述第二近水区域内的事故人员与的当前位置坐标
Figure 485267DEST_PATH_IMAGE022
：
Figure 6247DEST_PATH_IMAGE023
;
Figure 348367DEST_PATH_IMAGE024
为所述无人水面艇的当前位置坐标，L为所述事故人员与所述无人水面艇的当前位置，
Figure 197374DEST_PATH_IMAGE025
为所述无人水面艇当前航行方向与标准经线方向的夹角。
第二方面，本发明提供一种基于图像处理的海洋航道障碍物检测系统，其包括：摄像头、测距雷达和搜索分析设备；
所述摄像头用于获取待检测海面图像；所述测距雷达用于获取各个水面漂浮物到所述无人水面艇的距离；所述搜索分析设备用于执行第一方面任一项所述的方法的模块。
第三方面，本发明公开了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面任一项所述的方法。
有益效果：
本发明公开了一种基于图像处理的海洋搜救方法，利用无人水面艇上的摄像头获取待检测海面图像后，首先区分海水区域和天空区域，将事故人员搜救范围缩小为海水区域；然后通过第一标准线将海水区域划分为近水区域和远水区域，再次将事故人员搜救范围缩小为近水区域。本发明所提供的方法无需再对整个待检测海面图像进行算法处理，即放弃对图像处理识别技术难以保证精度的远水区域进行算法处理，不仅加快了计算速度，还保证了识别处理的精度。对于难以识别的远水区域，可驱使无人水面艇沿水面漂浮物的方向行驶，靠近该水面漂浮物进行进一步地识别确认。
本发明所公开的基于图像处理的海洋搜救方法，还通过第二标准线将近水区域划分为距离无人水面艇较近的第一近水区域和距离无人水面艇较远的第二近水区域。由于第一近水区域内的事故人员与无人水面艇的距离很近，因此无需再单独计算事故人员的具体坐标，只需要发送无人水面艇的当前位置即可，可以加快海洋搜救处理速度；由于第二近水区域距离无人水面艇距离较远，因此，需要通过测距雷达获取相关的位置关系，重新计算事故人员的当前位置坐标，以保证事故人员的搜救位置的准确性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明提供的一种基于图像处理的海洋搜救方法的流程示意图；
图2是划分有海面边界线和第一标准线的待检测海面图像；
图3是第一标准线与所述基准线的距离的计算原理图；
图4是图3的局部放大示意图；
图5是划分有海面边界线、第一标准线和第二标准线的待检测海面图像；
图6是第二标准线与所述基准线的距离的计算原理图；
图7是图6的局部放大示意图；
图8是第二近水区域内的事故人员位置坐标计算示意图；
图9是本发明提供的一种基于图像处理的海洋搜救系统的连接关系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一方面，本发明提供一种基于图像处理的海洋搜救方法，方法应用于无人水面艇上，其包括：
110、通过摄像头获取待检测海面图像。
利用无人水面艇S上的摄像头沿大致平行于海面的方向对待检测的行驶方位进行拍摄，获得待检测海面图像，如图2所示。
120、通过海界线人工神经网络模型识别出待检测海面图像中的海面边界线。海面边界线将待检测海面图像区分为海水区域和天空区域，海水区域背离天空区域的边缘为基准线。
如图2所示，通过海界线人工神经网络模型逐像素对待检测海面图像中的像素类型进行识别，即将待检测海面图像中的各个像素分为海水和天空两个大类，再根据分类结果提取海水区域V2和天空区域V1的交界线作为海面边界线Q。其中，O为海水区域V2背离天空区域V1的边缘，即为基准线。
130、根据摄像头获取待检测海面图像的当前焦距，计算出待检测海面图像中第一标准线的位置。第一标准线将海水区域区分为近水区域和远水区域。
如图2所示，第一标准线P1将海水区域V2区分为与无人水面艇S距离较近的近水区域V21和与无人水面艇S距离较远的远水区域V22。
在本发明可选的实施例中，步骤130具体包括：
通过下式计算待检测海面图像中第一标准线与基准线的距离
Figure 102882DEST_PATH_IMAGE026
：
Figure 291418DEST_PATH_IMAGE027
；
其中，
Figure 866756DEST_PATH_IMAGE028
为当前焦距，
Figure 390010DEST_PATH_IMAGE029
为摄像头的拍摄视场角，
Figure 381099DEST_PATH_IMAGE030
为摄像头距离海面的实际高度，
Figure 611093DEST_PATH_IMAGE031
为第一标准线对应的实际位置与无人水面艇S的距离值。
如图3和图4所示，p1为第一标准线P1对应的实际位置，其与无人水面艇S的距离值为
Figure 295015DEST_PATH_IMAGE032
，o为基准线O对应的实际位置，第一标准线P1与基准线O的距离即为线段OM长度减去线段OP1长度，因此，
Figure 853035DEST_PATH_IMAGE033
。
可以理解，第一标准线对应的实际位置与无人水面艇S的距离值
Figure 365925DEST_PATH_IMAGE034
，可以由本领域技术人员根据摄像头拍摄能力和图像识别能力的具体情况进行设定，一般来说要保证第一标准线对应的实际位置与无人水面艇S的距离以内位置的事故人员能够通过识别人工神经网络模型识别出来。
140、通过识别人工神经网络模型识别出近水区域内的水面漂浮物类型，在水面漂浮物类型为事故人员的情况下，向搜救队员发送水面漂浮物类型的当前位置坐标。
150、通过测距雷达获取远水区域内的水面漂浮物的当前方向，驱动无人水面艇向当前方向航行。
可以理解，本发明公开了一种基于图像处理的海洋搜救方法，利用无人水面艇S上的摄像头获取待检测海面图像后，首先区分海水区域和天空区域，将事故人员搜救范围缩小为海水区域V2；然后通过第一标准线P1将海水区域V2划分为近水区域V21和远水区域V22，再次将事故人员搜救范围缩小为近水区域V21。本发明所提供的方法无需再对整个待检测海面图像进行算法处理，即放弃对图像处理识别技术难以保证精度的远水区域进行算法处理，不仅加快了计算速度，还保证了识别处理的精度。如图2所示，按照本发明所提供的方法，仅需要对近水区域V21内的漂浮物D1和D2通过识别人工神经网络模型识别出漂浮物类型。
对于难以识别的远水区域，可驱使无人水面艇S沿水面漂浮物的方向行驶，靠近该水面漂浮物进行进一步地识别确认。如图2所示对于远水区域V22内的漂浮物D3，则仅通过雷达探测大致方向，可驱使无人水面艇S沿水面漂浮物的方向行驶，靠近该水面漂浮物进行进一步地识别确认。
在本发明可选的实施例中，步骤120具体包括：
121、通过海界线人工神经网络模型将待检测海面图像中每个像素划分为天空和海面两个大类。
122、根据像素类型划分结果将待检测海面图像划分为天空区域和海水区域。
123、将天空区域和海水区域的交界线确定为海面边界线。
可以理解，像素级的类型识别一般采用图像语义分割算法，但是图像语义分割算法一般关注图像的纹理和边缘特征，缺少对图像特征的学习和训练，因此算法的复杂程度较高，耗费时间长且不容易收敛，图像分割出来的效果往往不尽如人意。本发明中结合卷积神经网络进行图像语义分割算法可以提高识别精度。
步骤121具体可以包括：
1211、通过各级卷积操作提取待检测海面图像中的图像特征，得到待检测海面图像的特征图。
1212、通过池化操作去除所述特征图中的冗余信息，对所述特征图进行数据压缩，池化操作的算法如下式所示：
Figure 263474DEST_PATH_IMAGE035
；其中，
Figure 180614DEST_PATH_IMAGE036
表示所述特征图中每个像素的坐标，
Figure 881723DEST_PATH_IMAGE037
为池化层的池化核，
Figure 480194DEST_PATH_IMAGE038
表示以位置m，n为中心的区域，
Figure 560146DEST_PATH_IMAGE039
表示第
Figure 38401DEST_PATH_IMAGE039
层卷积神经网络，
Figure 508696DEST_PATH_IMAGE040
表示平均池化函数、最大池化函数或LP范数池化函数。
1213、通过补零方式对压缩后的所述特征图进行反池化操作，使得所述特征图恢复至池化前的尺寸，得到待识别特征图。
1214、对所述待识别特征图中每个像素进行独立地类型识别。
在本发明可选的实施例中，通过识别人工神经网络模型识别出近水区域内的水面漂浮物类型，包括：
通过各级卷积操作提取待检测海面图像中的图像特征，得到待检测海面图像的特征图；
利用候选区域生成网络RPN技术在特征图上生成各个目标识别区域；
利用第一概率函数计算目标识别区域中内容的分类预测概率；第一概率函数如下式所示：
Figure 973176DEST_PATH_IMAGE041
;
其中，
Figure 32267DEST_PATH_IMAGE042
是第i个目标识别区域的分类变量，
Figure 494473DEST_PATH_IMAGE043
为特征图，
Figure 514381DEST_PATH_IMAGE044
为目标识别区域，
Figure 907185DEST_PATH_IMAGE045
是各项连乘的运算符号，
Figure 633833DEST_PATH_IMAGE046
是目标识别区域的集合；
利用方程
Figure 329256DEST_PATH_IMAGE047
解得目标识别区域中内容的分类结果。
在本发明可选的实施例中，在通过识别人工神经网络模型识别出近水区域内的水面漂浮物类型之前，方法还包括：
根据摄像头获取待检测海面图像的当前焦距，计算出待检测海面图像中第二标准线的位置，第二标准线将近水区域区分为第一近水区域和第二近水区域，第二近水区域与远水区域交接。如图5所示，第二标准线P2将近水区域V21区分为与无人水面艇S距离较近的第一近水区域V211和与无人水面艇距离较远的第二近水区域V212。
其中，根据摄像头获取待检测海面图像的当前焦距，计算出待检测海面图像中第二标准线的位置，包括：
通过下式计算待检测海面图像中第二标准线与基准线的距离
Figure 961095DEST_PATH_IMAGE048
：
Figure 32956DEST_PATH_IMAGE049
；
Figure 879689DEST_PATH_IMAGE028
为当前焦距，
Figure 605069DEST_PATH_IMAGE050
为摄像头的拍摄视场角，
Figure 271674DEST_PATH_IMAGE051
为摄像头距离海面的实际高度，
Figure 537439DEST_PATH_IMAGE052
为第二标准线对应的实际位置与无人水面艇S的距离值。
如图6和图7所示，p2为第二标准线P2对应的实际位置，其与无人水面艇的距离值为
Figure 566575DEST_PATH_IMAGE052
，o为基准线O对应的实际位置，第二标准线P2与基准线O的距离即为线段OM长度减去线段OP2长度，因此，
Figure 479167DEST_PATH_IMAGE053
。
可以理解，第二标准线对应的实际位置与无人水面艇S的距离值
Figure 147914DEST_PATH_IMAGE052
，可以由本领域技术人员根据人眼识别能力的具体情况进行设定，一般来说要保证第二标准线对应的实际位置与无人水面艇S的距离以内位置的事故人员，能够被无人水面艇S上的搜救人员发现。
步骤140具体包括：
141、通过识别人工神经网络模型识别出第一近水区域内的水面漂浮物类型。
142、在第一近水区域内的水面漂浮物类型为事故人员的情况下，向搜救队员发送无人水面艇的当前位置坐标。
143、通过识别人工神经网络模型识别出第二近水区域内的水面漂浮物类型。
144、在第二近水区域内的水面漂浮物类型为事故人员的情况下，通过测距雷达获取第二近水区域内的事故人员与无人水面艇的当前位置的位置关系。
145、通过位置关系计算出第二近水区域内的事故人员与的当前位置坐标。
可以理解，本发明所公开的基于图像处理的海洋搜救方法，还通过第二标准线将近水区域划分为距离无人水面艇较近的第一近水区域和距离无人水面艇S较远的第二近水区域。由于第一近水区域内的事故人员与无人水面艇S的距离很近，因此无需再单独计算事故人员的具体坐标，只需要发送无人水面艇S的当前位置即可，可以加快海洋搜救处理速度，如图5所示，默认确定事故人员D1为坐标为无人水面艇S的当前位置坐标；由于第二近水区域距离无人水面艇S距离较远，因此，需要通过测距雷达获取相关的位置关系，重新计算事故人员的当前位置坐标，以保证事故人员的搜救位置的准确性，如图5所示，对于事故人员D2则需要重新计算其坐标。
其中，如图8所示，位置关系包括事故人员与无人水面艇S的当前位置的距离L以及事故人员与无人水面艇S当前航行方向的夹角α；
通过位置关系计算出第二近水区域内的事故人员与的当前位置坐标，包括：
通过下式计算第二近水区域内的事故人员与的当前位置坐标
Figure 295999DEST_PATH_IMAGE054
：
Figure 55008DEST_PATH_IMAGE055
;
Figure 473523DEST_PATH_IMAGE056
为无人水面艇的当前位置坐标，L为事故人员与无人水面艇S的当前位置，
Figure 442616DEST_PATH_IMAGE057
为无人水面艇S当前航行方向与标准经线方向的夹角。
第二方面，如图9所示，本发明公开了一种基于图像处理的海洋航道障碍物检测系统，包括摄像头910、测距雷达920和搜索分析设备930；所述摄像头910用于获取待检测海面图像；所述测距雷达920用于获取各个水面漂浮物到所述无人水面艇的距离；所述搜索分析设备930用于执行第一方面任一项所述的方法的模块。具体执行实施情况与第一方面所描述的相似，这里不再赘述。
其中，如图9所示，搜索分析设备930可以包括包括一个或多个处理器931；一个或多个输入设备932，一个或多个输出设备933和存储器934。上述处理器931、输入设备932、输出设备933和存储器934通过总线935连接。存储器934用于存储计算机程序，该计算机程序包括程序指令，处理器931用于执行存储器934存储的程序指令。其中，处理器931被配置用于调用该程序指令执行第一方面任一方法的操作：
应当理解，在本发明实施例中，所称处理器931可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器934可以包括只读存储器和随机存取存储器，并向处理器931提供指令和数据。存储器934的一部分还可以包括非易失性随机存取存储器。例如，存储器934还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器931、输入设备932、输出设备933可执行第一方面任一方法所描述的实现方式，也可执行本发明实施例所描述的终端设备的实现方式，在此不再赘述。
第三方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第一方面任一方法的步骤。
上述计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元，例如终端设备的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备，例如上述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。
以上描述仅为本发明的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
以上所述仅为本发明的可选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的海洋搜救方法，所述方法应用于无人水面艇上，其特征在于，包括：
通过摄像头获取待检测海面图像；
通过海界线人工神经网络模型识别出所述待检测海面图像中的海面边界线，所述海面边界线将所述待检测海面图像区分为海水区域和天空区域，所述海水区域背离所述天空区域的边缘为基准线；
根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第一标准线的位置，所述第一标准线将所述海水区域区分为近水区域和远水区域；以及
通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型，在所述水面漂浮物类型为事故人员的情况下，向搜救队员发送所述水面漂浮物类型的当前位置坐标。
2.根据权利要求1所述的基于图像处理的海洋搜救方法，其特征在于，所述方法还包括：
通过测距雷达获取所述远水区域内的水面漂浮物的当前方向，驱动所述无人水面艇向所述当前方向航行。
3.根据权利要求1所述的基于图像处理的海洋搜救方法，其特征在于，所述通过海界线人工神经网络模型识别出所述待检测海面图像中的海面边界线，包括：
通过海界线人工神经网络模型将所述待检测海面图像中每个像素划分为天空和海面两个大类；
根据像素类型划分结果将所述待检测海面图像划分为所述天空区域和所述海水区域；和
将所述天空区域和所述海水区域的交界线确定为所述海面边界线。
4.根据权利要求3所述的基于图像处理的海洋搜救方法，其特征在于，所述通过海界线人工神经网络模型将所述待检测海面图像中每个像素划分为天空和海面两个大类，包括：
通过各级卷积操作提取待检测海面图像中的图像特征，得到待检测海面图像的特征图；
通过池化操作去除所述特征图中的冗余信息，对所述特征图进行数据压缩，池化操作的算法如下式所示：
Figure 497082DEST_PATH_IMAGE001
；其中，
Figure 601173DEST_PATH_IMAGE002
表示所述特征图中每个像素的坐标，
Figure 787435DEST_PATH_IMAGE003
为池化层的池化核，
Figure 635174DEST_PATH_IMAGE004
表示以位置m，n为中心的区域，
Figure 715126DEST_PATH_IMAGE005
表示第
Figure 944113DEST_PATH_IMAGE005
层卷积神经网络，
Figure 742304DEST_PATH_IMAGE006
表示平均池化函数、最大池化函数或LP范数池化函数；
通过补零方式对压缩后的所述特征图进行反池化操作，使得所述特征图恢复至池化前的尺寸，得到待识别特征图；以及对所述待识别特征图中每个像素进行独立地类型识别。
5.根据权利要求1所述的基于图像处理的海洋搜救方法，其特征在于，根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第一标准线的位置，包括：
通过下式计算所述待检测海面图像中所述第一标准线与所述基准线的距离
Figure 393734DEST_PATH_IMAGE007
：
Figure 203559DEST_PATH_IMAGE008
；
其中，
Figure 728081DEST_PATH_IMAGE009
为所述当前焦距，
Figure 934940DEST_PATH_IMAGE010
为所述摄像头的拍摄视场角，
Figure 78477DEST_PATH_IMAGE011
为所述摄像头距离海面的实际高度，
Figure 133020DEST_PATH_IMAGE012
为所述第一标准线对应的实际位置与所述无人水面艇的距离值。
6.根据权利要求1所述的基于图像处理的海洋搜救方法，其特征在于，在所述通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型之前，所述方法还包括：
根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第二标准线的位置，所述第二标准线将所述近水区域区分为第一近水区域和第二近水区域，所述第二近水区域与所述远水区域交接；
所述通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型，在所述水面漂浮物类型为事故人员的情况下，向搜救队员发送所述水面漂浮物类型的当前位置坐标，包括：
所述通过识别人工神经网络模型识别出所述第一近水区域内的水面漂浮物类型；
在所述第一近水区域内的水面漂浮物类型为事故人员的情况下，向搜救队员发送所述无人水面艇的当前位置坐标；
所述通过识别人工神经网络模型识别出所述第二近水区域内的水面漂浮物类型；
在所述第二近水区域内的水面漂浮物类型为事故人员的情况下，通过测距雷达获取所述第二近水区域内的事故人员与所述无人水面艇的当前位置的位置关系；
通过所述位置关系计算出所述第二近水区域内的事故人员与的当前位置坐标。
7.根据权利要求6所述的基于图像处理的海洋搜救方法，其特征在于，
所述根据所述摄像头获取所述待检测海面图像的当前焦距，计算出所述待检测海面图像中第二标准线的位置，包括：
通过下式计算所述待检测海面图像中所述第二标准线与所述基准线的距离
Figure 953078DEST_PATH_IMAGE013
：
Figure 397965DEST_PATH_IMAGE014
；
其中，
Figure 938668DEST_PATH_IMAGE015
为所述当前焦距，
Figure 237931DEST_PATH_IMAGE016
为所述摄像头的拍摄视场角，
Figure 776360DEST_PATH_IMAGE017
为所述摄像头距离海面的实际高度，
Figure 36440DEST_PATH_IMAGE018
为所述第二标准线对应的实际位置与所述无人水面艇的距离值。
8.根据权利要求6所述的基于图像处理的海洋搜救方法，其特征在于，所述位置关系包括所述事故人员与所述无人水面艇的当前位置的距离L以及所述事故人员与所述无人水面艇当前航行方向的夹角α；
所述通过所述位置关系计算出所述第二近水区域内的事故人员与的当前位置坐标，包括：
通过下式计算所述第二近水区域内的事故人员与的当前位置坐标
Figure 528905DEST_PATH_IMAGE019
：
Figure 558041DEST_PATH_IMAGE020
;
其中，
Figure 532950DEST_PATH_IMAGE021
为所述无人水面艇的当前位置坐标，L为所述事故人员与所述无人水面艇的当前位置，
Figure 139381DEST_PATH_IMAGE022
为所述无人水面艇当前航行方向与标准经线方向的夹角。
9.根据权利要求1所述的基于图像处理的海洋搜救方法，其特征在于，
所述通过识别人工神经网络模型识别出所述近水区域内的水面漂浮物类型，包括：
通过各级卷积操作提取待检测海面图像中的图像特征，得到待检测海面图像的特征图；
利用候选区域生成网络RPN技术在所述特征图上生成各个目标识别区域；
利用第一概率函数计算所述目标识别区域中内容的分类预测概率；所述第一概率函数如下式所示：
Figure 287466DEST_PATH_IMAGE023
;
其中，
Figure 46474DEST_PATH_IMAGE024
是第i个所述目标识别区域的分类变量，
Figure 441552DEST_PATH_IMAGE025
为所述特征图，
Figure 145066DEST_PATH_IMAGE026
为所述目标识别区域，
Figure 768945DEST_PATH_IMAGE027
是各项连乘的运算符号，
Figure 897307DEST_PATH_IMAGE028
是所述目标识别区域的集合；
利用方程
Figure 276336DEST_PATH_IMAGE029
解得所述目标识别区域中内容的分类结果。
10.一种基于图像处理的海洋航道障碍物检测系统，其特征在于，包括：摄像头、测距雷达和搜索分析设备；
所述摄像头用于获取待检测海面图像；
所述测距雷达用于获取各个水面漂浮物到无人水面艇的距离；
所述搜索分析设备用于执行如权利要求1至9任一权利要求所述的方法的模块。
CN202210381322.XA 2022-04-13 2022-04-13 一种基于图像处理的海洋搜救系统和方法 Active CN114463430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210381322.XA CN114463430B (zh) 2022-04-13 2022-04-13 一种基于图像处理的海洋搜救系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210381322.XA CN114463430B (zh) 2022-04-13 2022-04-13 一种基于图像处理的海洋搜救系统和方法

Publications (2)

Publication Number Publication Date
CN114463430A true CN114463430A (zh) 2022-05-10
CN114463430B CN114463430B (zh) 2022-07-01

Family

ID=81418541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210381322.XA Active CN114463430B (zh) 2022-04-13 2022-04-13 一种基于图像处理的海洋搜救系统和方法

Country Status (1)

Country Link
CN (1) CN114463430B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
CN107886097A (zh) * 2017-10-23 2018-04-06 深圳市金立通信设备有限公司 一种图像处理的方法、终端设备及计算机可读介质
CN109188421A (zh) * 2018-07-25 2019-01-11 江苏科技大学 一种用于无人搜救艇的海上搜救系统及方法
CN109558860A (zh) * 2018-12-24 2019-04-02 云南北方驰宏光电有限公司 用于海空近域的搜救船的搜索跟踪系统
CN110515378A (zh) * 2019-08-09 2019-11-29 西安电子科技大学 一种应用于无人艇的智能目标搜索方法
CN112947587A (zh) * 2021-01-28 2021-06-11 南通大学 一种智能化无人艇搜救系统及搜救方法
CN112949595A (zh) * 2021-04-01 2021-06-11 哈尔滨理工大学 一种基于YOLOv5改进行人车辆安全距离检测算法
CN113344885A (zh) * 2021-06-15 2021-09-03 温州大学 基于级联卷积神经网络的河道漂浮物检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
CN107886097A (zh) * 2017-10-23 2018-04-06 深圳市金立通信设备有限公司 一种图像处理的方法、终端设备及计算机可读介质
CN109188421A (zh) * 2018-07-25 2019-01-11 江苏科技大学 一种用于无人搜救艇的海上搜救系统及方法
CN109558860A (zh) * 2018-12-24 2019-04-02 云南北方驰宏光电有限公司 用于海空近域的搜救船的搜索跟踪系统
CN110515378A (zh) * 2019-08-09 2019-11-29 西安电子科技大学 一种应用于无人艇的智能目标搜索方法
CN112947587A (zh) * 2021-01-28 2021-06-11 南通大学 一种智能化无人艇搜救系统及搜救方法
CN112949595A (zh) * 2021-04-01 2021-06-11 哈尔滨理工大学 一种基于YOLOv5改进行人车辆安全距离检测算法
CN113344885A (zh) * 2021-06-15 2021-09-03 温州大学 基于级联卷积神经网络的河道漂浮物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏新勇: "水面无人艇自主局部避障系统关键技术研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Also Published As

Publication number Publication date
CN114463430B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
WO2020134478A1 (zh) 一种人脸识别方法、特征提取模型的训练方法及其装置
CN112633144A (zh) 人脸遮挡检测方法、系统、设备及存储介质
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN109829448B (zh) 人脸识别方法、装置及存储介质
CN110728196B (zh) 一种人脸识别的方法、装置及终端设备
Bovcon et al. MODS—A USV-oriented object detection and obstacle segmentation benchmark
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
US20240013505A1 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN114641799A (zh) 对象检测设备、方法和系统
CN114463430B (zh) 一种基于图像处理的海洋搜救系统和方法
CN112686265A (zh) 一种基于层级轮廓提取的象形文字分割方法
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112686872B (zh) 基于深度学习的木材计数方法
CN114359361A (zh) 深度估计方法、装置、电子设备和计算机可读存储介质
CN116824570B (zh) 一种基于深度学习的吃水检测方法
Eum et al. Ship detection using edge-based segmentation and histogram of oriented gradient with ship size ratio
CN111429727B (zh) 一种开放式停车位中车牌识别方法及系统
CN110321778B (zh) 一种人脸图像处理方法、装置和存储介质
CN116403062A (zh) 一种点云目标检测方法、系统、设备及介质
Kim et al. Object detection algorithm for unmanned surface vehicle using faster R-CNN
Qu et al. Multi-Task Learning-Enabled Automatic Vessel Draft Reading for Intelligent Maritime Surveillance
CN112634294A (zh) 用于测量语义分割网络的边界性能的方法
CN108573230A (zh) 人脸跟踪方法和人脸跟踪装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant