CN117036923A - 一种基于机器视觉的水下机器人目标检测方法 - Google Patents

一种基于机器视觉的水下机器人目标检测方法 Download PDF

Info

Publication number
CN117036923A
CN117036923A CN202311291140.4A CN202311291140A CN117036923A CN 117036923 A CN117036923 A CN 117036923A CN 202311291140 A CN202311291140 A CN 202311291140A CN 117036923 A CN117036923 A CN 117036923A
Authority
CN
China
Prior art keywords
contour
feature
extraction unit
value
input end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311291140.4A
Other languages
English (en)
Other versions
CN117036923B (zh
Inventor
刘大召
林培豪
万世杰
杨浩
沈炜轩
蔡林君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ocean University
Original Assignee
Guangdong Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ocean University filed Critical Guangdong Ocean University
Priority to CN202311291140.4A priority Critical patent/CN117036923B/zh
Publication of CN117036923A publication Critical patent/CN117036923A/zh
Application granted granted Critical
Publication of CN117036923B publication Critical patent/CN117036923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明公开了一种基于机器视觉的水下机器人目标检测方法，属于图像处理技术领域，本发明在拍摄水下图像后，分别提取多张水下图像的轮廓特征图，从而凸显出水下图像的特征，再以各张当前轮廓特征图中的轮廓几何中心为原点，重构各张当前轮廓特征图的像素点坐标，得到多张当前轮廓配准图，在重构后，当前轮廓配准图上轮廓的区别更容易比较，选取出特征量不同的当前轮廓配准图，从而避免处理相同内容的水下图像，解决冗余图像数据，减少目标提取神经网络需要处理的水下图像数量，再采用目标提取神经网络处理每张待处理特征图，得到目标区域；本发明中通过先提取轮廓特征图，从而大量减少水下环境中的干扰因素，提高目标检测的准确率。

Description

一种基于机器视觉的水下机器人目标检测方法
技术领域
本发明属于图像处理技术领域，具体而言，涉及一种基于机器视觉的水下机器人目标检测方法。
背景技术
水下机器在水下行驶过程中，通过不断获取水下图像，从而进行目标识别，找到目标区域。但是现有的水下图像在处理时，需要对每一张水下图像进行处理，存在相同内容的水下图像，从而造成需要处理的图像数据多。
现有采用目标检测方法常采用卷积神经网络CNN对水下图像进行处理，但在水中有大量悬浮杂质，水下光线较暗，导致成像后的水下图像特征不明显，受水下自然环境影响较大，因此，直接采用卷积神经网络CNN对水下图像进行处理，存在特征不明显，目标检测的准确率不高的问题。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于机器视觉的水下机器人目标检测方法解决了以下技术问题：
1、图像数据冗余；
2、目标检测的准确率不高。
为了达到上述发明目的，本发明采用的技术方案为：一种基于机器视觉的水下机器人目标检测方法，包括以下步骤：
S1、率定轮廓提取模型中分界阈值，得到率定后的轮廓提取模型；
S2、通过水下机器人的机器视觉模块实时拍摄水下图像，得到当前多张水下图像；
S3、采用率定后的轮廓提取模型对当前多张水下图像进行处理，得到多张当前轮廓特征图；
S4、以各张当前轮廓特征图中的轮廓几何中心为原点，重构各张当前轮廓特征图的像素点坐标，得到多张当前轮廓配准图；
S5、选出特征量不同的当前轮廓配准图作为待处理特征图；
S6、采用目标提取神经网络，将每张待处理特征图进行处理，得到目标区域。
进一步地，所述S1和S3中轮廓提取模型包括：颜色增强子模型和轮廓点提取子模型；
所述颜色增强子模型用于对水下图像进行颜色增强，得到颜色增强图；
所述轮廓点提取子模型用于从颜色增强图中取满足轮廓条件的像素点，得到轮廓特征图。
上述进一步地方案的有益效果为：本发明中先对水下图像进行颜色增强处理，从而增强像素点的通道值之间的区分度，便于提取满足轮廓条件的像素点，轮廓特征图由满足轮廓条件的像素点构成。
进一步地，所述颜色增强子模型进行颜色增强的具体过程包括：从水下图像中选出最大通道值和最小通道值，计算通道增强系数；根据通道增强系数，对每个水下图像中每个像素点的R通道值、G通道值和B通道值进行颜色增强，得到颜色增强图；
所述计算通道增强系数的公式为：，其中，θ为通道增强系数，th max 为最大通道值，th min 为最小通道值；
所述颜色增强的具体公式为：，/>，/>，其中，th f,R 为颜色增强后R通道值，th f,G 为颜色增强后G通道值，th f,B 为颜色增强后B通道值，th R 为颜色增强前R通道值，th G 为颜色增强前G通道值，th B 为颜色增强前B通道值。
上述进一步地方案的有益效果为：本发明通道增强系数为通道值可以增强的倍数，对同一个像素点的R、G和B通道值进行相同倍数的增强，保持R、G和B通道值配比相同，保留住颜色特征，便于进行轮廓提取。
进一步地，所述轮廓条件为：且存在/>，其中，/>为颜色增强图上第i个通道均值，/>为颜色增强图上第i个通道均值/>的邻域范围内的第j个通道均值，/>为颜色增强图上第j个通道均值/>邻域范围内的第k个通道均值，T h 为分界阈值，通道均值为一个像素点的R通道值、G通道值和B通道值的平均值。
上述进一步地方案的有益效果为：本发明在一个像素点的通道均值与邻域范围内其他像素点的通道均值的差值大于分界阈值时，证明该点的通道均值与邻域通道均值存在差距，可能为轮廓上的像素点和噪点，因此，考察邻域通道均值的邻域范围内像素点的通道均值的情况，排除噪点的可能性，进一步地确认其为轮廓上的像素点。
进一步地，所述S1包括以下分步骤：
S11、采用轮廓提取模型对历史水下图像提取满足轮廓条件的像素点，得到历史轮廓特征图；
S12、根据历史轮廓特征图和目标轮廓特征图，计算像素点数量差；
S13、判断像素点数量差是否大于正阈值，若是，则对轮廓提取模型中分界阈值进行更新，得到更新后的轮廓提取模型，并跳转至步骤S11，若否，则跳转至步骤S14；
S14、判断像素点数量差是否小于负阈值，若是，则对轮廓提取模型中分界阈值进行更新，得到更新后的轮廓提取模型，并跳转至步骤S11，若否，则当前的轮廓提取模型为率定后的轮廓提取模型。
上述进一步地方案的有益效果为：本发明中采用历史水下图像对轮廓提取模型进行率定，本发明中采用当前的轮廓提取模型对历史水下图像提取轮廓，得到历史轮廓特征图，计算出历史轮廓特征图与目标轮廓特征图上像素点数量差，在像素点数量差大于正阈值时，说明历史轮廓特征图上提取的满足轮廓条件的像素点过多，需要对分界阈值进行上调，在像素点数量差小于负阈值时，则说明历史轮廓特征图上提取的满足轮廓条件的像素点过少，需要对分界阈值进行下调，使得采用轮廓提取模型提取出的像素点与目标轮廓特征图上的像素点数量基本保持一致。
进一步地，所述S12中计算像素点数量差的公式为：，其中，d为像素点数量差，F 1为历史轮廓特征图上像素点的数量，F 2为目标轮廓特征图上像素点的数量；
所述S13中对轮廓提取模型中分界阈值进行更新的公式为：，其中，T h,n+1为第n+1次更新的分界阈值，T h,n 为第n次更新的分界阈值，e为自然常数；
所述S14中对轮廓提取模型中分界阈值进行更新的公式为：。
上述进一步地方案的有益效果为：本发明中步骤S13的上调过程中，像素点数量差越大，分界阈值涨幅越大，在步骤S14的下调过程中，像素点数量差负得越多，分界阈值降幅越大，从而快速逼近目标轮廓特征图上像素点数量。
进一步地，所述S5中特征量的计算公式为：，其中，X为特征量，x m 为当前轮廓配准图上第m个像素点的横坐标，y m 为当前轮廓配准图上第m个像素点的纵坐标，M为当前轮廓配准图上像素点的数量。
上述进一步地方案的有益效果为：本发明中在步骤S4中以轮廓几何中心为原点，进行了重构，从而便于进行对比，选出特征量不同的当前轮廓配准图，在描述特征量时，选择每个像素点到原点的距离，从而通过距离分布情况表征当前轮廓配准图上轮廓分布特征。
进一步地，所述S6中目标提取神经网络包括：第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元、第五特征提取单元、加法器A1、加法器A2、特征筛选单元和目标识别单元；
所述第一特征提取单元的输入端作为目标提取神经网络的输入端，其输出端分别与第二特征提取单元的输入端和加法器A1的第一输入端连接；所述加法器A1的第二输入端与第二特征提取单元的输出端连接，其输出端与第三特征提取单元的输入端连接；所述第三特征提取单元的输出端分别与第四特征提取单元的输入端和加法器A2的第一输入端连接；所述加法器A2的第二输入端与第四特征提取单元的输出端连接，其输出端与第五特征提取单元的输入端连接；所述特征筛选单元的输入端与第五特征提取单元的输出端连接，其输出端与目标识别单元的输入端连接；所述目标识别单元的输出端作为目标提取神经网络的输出端。
上述进一步地方案的有益效果为：本发明中设置了多个特征提取单元用于提取每张待处理特征图的特征，在加法器A1处为了增加特征数量，结合第一特征提取单元的输出和第二特征提取单元的输出，在加法器A2处，结合第三特征提取单元的输出和第四特征提取单元的输出，通过两个加法器增强前后级特征融合。
进一步地，所述第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元和第五特征提取单元结构相同，均包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、Sigmoid层、Concat层和乘法器M1；
所述第一卷积层的输入端分别与第二卷积层的输入端和第三卷积层的输入端连接，并作为第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元或第五特征提取单元的输入端；所述Concat层的输入端分别与第一卷积层的输出端、第二卷积层的输出端和第三卷积层的输出端连接，其输出端分别与第四卷积层的输入端和第六卷积层的输入端连接；所述第五卷积层的输入端与第四卷积层的输出端连接，其输出端与乘法器M1的第一输入端连接；所述Sigmoid层的输入端与第六卷积层的输出层连接，其输出端与乘法器M1的第二输入端连接；所述乘法器M1的输出端作为第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元或第五特征提取单元的输出端。
上述进一步地方案的有益效果为：本发明中第一卷积层、第二卷积层和第三卷积层具备不同的卷积核，Concat层能融合具备不同感受野的特征，通过第四卷积层和第五卷积层进一步地提取特征，通过Sigmoid层计算出第六卷积层输出特征图的特征值的权重，再通过乘法器M1与第五卷积层输出的特征图进行相乘，从而增强显著特征，削弱非显著特征。
进一步地，所述特征筛选单元用于根据第五特征提取单元输出的特征图，计算轮廓范围值，在轮廓范围值位于[r down , r up ]之间时，将第五特征提取单元输出的特征图输入到目标识别单元中，其中，r down 为下限阈值，r up 为上限阈值，[ ]为闭区间；
所述计算轮廓范围值的公式为：，其中，O为轮廓范围值，e为自然常数，y s 为第五特征提取单元输出的特征图中第s个特征值，N为第五特征提取单元输出的特征图中特征值的数量；
所述Sigmoid层的计算公式为：，其中，u l 为Sigmoid层输出的第l个特征值，sigmoid为激活函数，y l 为第六卷积层输出的特征图中第l个特征值；
所述目标识别单元采用CSP单元。
上述进一步地方案的有益效果为：本发明中在特征筛选单元处，是将第五特征提取单元输出的特征图进行初步的计算，得到轮廓范围值，通过轮廓范围值估算该待处理特征图中是否包含目标，若是包含，轮廓范围值应当在[r down , r up ]之间，若是不包含，则第五特征提取单元输出的特征图不需要进行后续过程。
本发明的有益效果为：本发明在拍摄水下图像后，取多张水下图像进行处理，分别提取多张水下图像的轮廓特征图，从而凸显出水下图像的特征，再以各张当前轮廓特征图中的轮廓几何中心为原点，重构各张当前轮廓特征图的像素点坐标，得到多张当前轮廓配准图，在重构后，当前轮廓配准图上轮廓的区别更容易比较，选取出特征量不同的当前轮廓配准图，从而避免处理相同内容的水下图像，解决冗余图像数据，减少目标提取神经网络需要处理的水下图像数量，再采用目标提取神经网络处理每张待处理特征图，得到目标区域；本发明中通过先提取轮廓特征图，从而大量减少水下环境中的干扰因素，提高目标检测的准确率。
附图说明
图1为一种基于机器视觉的水下机器人目标检测方法的流程图；
图2为目标提取神经网络的结构示意图；
图3为特征提取单元的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于机器视觉的水下机器人目标检测方法，包括以下步骤：
S1、率定轮廓提取模型中分界阈值，得到率定后的轮廓提取模型；
S2、通过水下机器人的机器视觉模块实时拍摄水下图像，得到当前多张水下图像；
S3、采用率定后的轮廓提取模型对当前多张水下图像进行处理，得到多张当前轮廓特征图；
S4、以各张当前轮廓特征图中的轮廓几何中心为原点，重构各张当前轮廓特征图的像素点坐标，得到多张当前轮廓配准图；
S5、选出特征量不同的当前轮廓配准图作为待处理特征图；
S6、采用目标提取神经网络，将每张待处理特征图进行处理，得到目标区域。
在本发明中，步骤S5中还可以设定一个阈值，从而筛选出两者特征量差大于阈值的当前轮廓配准图，更利于提取出不同特征的图像。
在步骤S1中和步骤S3中轮廓提取模型处理水下图像的具体方案相同，具体为：S1和S3中轮廓提取模型包括颜色增强子模型和轮廓点提取子模型；
颜色增强子模型用于对水下图像进行颜色增强，得到颜色增强图；
轮廓点提取子模型用于从颜色增强图中取满足轮廓条件的像素点，得到轮廓特征图。
本发明中先对水下图像进行颜色增强处理，从而增强像素点的通道值之间的区分度，便于提取满足轮廓条件的像素点，轮廓特征图由满足轮廓条件的像素点构成。
颜色增强子模型进行颜色增强的具体过程包括：从水下图像中选出最大通道值和最小通道值，计算通道增强系数；根据通道增强系数，对每个水下图像中每个像素点的R通道值、G通道值和B通道值进行颜色增强，得到颜色增强图；
计算通道增强系数的公式为：，其中，θ为通道增强系数，th max 为最大通道值，th min 为最小通道值；
颜色增强的具体公式为：，/>，/>，其中，th f,R 为颜色增强后R通道值，th f,G 为颜色增强后G通道值，th f,B 为颜色增强后B通道值，th R 为颜色增强前R通道值，th G 为颜色增强前G通道值，th B 为颜色增强前B通道值。
本发明通道增强系数为通道值可以增强的倍数，对同一个像素点的R、G和B通道值进行相同倍数的增强，保持R、G和B通道值配比相同，保留住颜色特征，便于进行轮廓提取。
轮廓条件为：且存在/>，其中，为颜色增强图上第i个通道均值，/>为颜色增强图上第i个通道均值/>的邻域范围内的第j个通道均值，/>为颜色增强图上第j个通道均值/>邻域范围内的第k个通道均值，T h 为分界阈值，通道均值为一个像素点的R通道值、G通道值和B通道值的平均值。
本发明在一个像素点的通道均值与邻域范围内其他像素点的通道均值的差值大于分界阈值时，证明该点的通道均值与邻域通道均值存在差距，可能为轮廓上的像素点和噪点，因此，考察邻域通道均值的邻域范围内像素点的通道均值的情况，排除噪点的可能性，进一步地确认其为轮廓上的像素点。
在本发明中，在成立的情况下，只有一个邻域通道均值的邻域范围内像素点满足/>时，则认为第i个通道均值/>所在像素点为轮廓点。
本发明中分界阈值T h 是通过步骤S1的分步骤率定出来的。
S1包括以下分步骤：
S11、采用轮廓提取模型对历史水下图像提取满足轮廓条件的像素点，得到历史轮廓特征图；
S12、根据历史轮廓特征图和目标轮廓特征图，计算像素点数量差；
S13、判断像素点数量差是否大于正阈值，若是，则对轮廓提取模型中分界阈值进行更新，得到更新后的轮廓提取模型，并跳转至步骤S11，若否，则跳转至步骤S14；
S14、判断像素点数量差是否小于负阈值，若是，则对轮廓提取模型中分界阈值进行更新，得到更新后的轮廓提取模型，并跳转至步骤S11，若否，则当前的轮廓提取模型为率定后的轮廓提取模型。
本发明中，正阈值为正数，负阈值为负数，即像素点数量差在正阈值和负阈值之间。
目标轮廓特征图为对包含目标的水下图像按本发明中记载的颜色增强方法处理后，再按现有的轮廓提取方法将轮廓提取出来，例如颜色分割、形态学处理、聚类等轮廓提取方法。
本发明中采用历史水下图像对轮廓提取模型进行率定，本发明中采用当前的轮廓提取模型对历史水下图像提取轮廓，得到历史轮廓特征图，计算出历史轮廓特征图与目标轮廓特征图上像素点数量差，在像素点数量差大于正阈值时，说明历史轮廓特征图上提取的满足轮廓条件的像素点过多，需要对分界阈值进行上调，在像素点数量差小于负阈值时，则说明历史轮廓特征图上提取的满足轮廓条件的像素点过少，需要对分界阈值进行下调，使得采用轮廓提取模型提取出的像素点与目标轮廓特征图上的像素点数量基本保持一致。
S12中计算像素点数量差的公式为：其中，d为像素点数量差，F 1为历史轮廓特征图上像素点的数量，F 2为目标轮廓特征图上像素点的数量；
S13中对轮廓提取模型中分界阈值进行更新的公式为：，其中，T h,n+1为第n+1次更新的分界阈值，T h,n 为第n次更新的分界阈值，e为自然常数；
S14中对轮廓提取模型中分界阈值进行更新的公式为：。
本发明中步骤S13的上调过程中，像素点数量差越大，分界阈值涨幅越大，在步骤S14的下调过程中，像素点数量差负得越多，分界阈值降幅越大，从而快速逼近目标轮廓特征图上像素点数量。
S5中特征量的计算公式为：，其中，X为特征量，x m 为当前轮廓配准图上第m个像素点的横坐标，y m 为当前轮廓配准图上第m个像素点的纵坐标，M为当前轮廓配准图上像素点的数量。
本发明中在步骤S4中以轮廓几何中心为原点，进行了重构，从而便于进行对比，选出特征量不同的当前轮廓配准图，在描述特征量时，选择每个像素点到原点的距离，从而通过距离分布情况表征当前轮廓配准图上轮廓分布特征。
如图2所示，S6中目标提取神经网络包括：第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元、第五特征提取单元、加法器A1、加法器A2、特征筛选单元和目标识别单元；
第一特征提取单元的输入端作为目标提取神经网络的输入端，其输出端分别与第二特征提取单元的输入端和加法器A1的第一输入端连接；加法器A1的第二输入端与第二特征提取单元的输出端连接，其输出端与第三特征提取单元的输入端连接；第三特征提取单元的输出端分别与第四特征提取单元的输入端和加法器A2的第一输入端连接；加法器A2的第二输入端与第四特征提取单元的输出端连接，其输出端与第五特征提取单元的输入端连接；特征筛选单元的输入端与第五特征提取单元的输出端连接，其输出端与目标识别单元的输入端连接；目标识别单元的输出端作为目标提取神经网络的输出端。
本发明中设置了多个特征提取单元用于提取每张待处理特征图的特征，在加法器A1处为了增加特征数量，结合第一特征提取单元的输出和第二特征提取单元的输出，在加法器A2处，结合第三特征提取单元的输出和第四特征提取单元的输出，通过两个加法器增强前后级特征融合。
如图3所示，第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元和第五特征提取单元结构相同，均包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、Sigmoid层、Concat层和乘法器M1；
第一卷积层的输入端分别与第二卷积层的输入端和第三卷积层的输入端连接，并作为第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元或第五特征提取单元的输入端；Concat层的输入端分别与第一卷积层的输出端、第二卷积层的输出端和第三卷积层的输出端连接，其输出端分别与第四卷积层的输入端和第六卷积层的输入端连接；第五卷积层的输入端与第四卷积层的输出端连接，其输出端与乘法器M1的第一输入端连接；Sigmoid层的输入端与第六卷积层的输出层连接，其输出端与乘法器M1的第二输入端连接；乘法器M1的输出端作为第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元或第五特征提取单元的输出端。
本发明中第一卷积层、第二卷积层和第三卷积层具备不同的卷积核，Concat层能融合具备不同感受野的特征，通过第四卷积层和第五卷积层进一步地提取特征，通过Sigmoid层计算出第六卷积层输出特征图的特征值的权重，再通过乘法器M1与第五卷积层输出的特征图进行相乘，从而增强显著特征，削弱非显著特征。
特征筛选单元用于根据第五特征提取单元输出的特征图，计算轮廓范围值，在轮廓范围值位于[r down , r up ]之间时，将第五特征提取单元输出的特征图输入到目标识别单元中，其中，r down 为下限阈值，r up 为上限阈值，[ ]为闭区间；
计算轮廓范围值的公式为：，其中，O为轮廓范围值，e为自然常数，y s 为第五特征提取单元输出的特征图中第s个特征值，N为第五特征提取单元输出的特征图中特征值的数量；
Sigmoid层的计算公式为：，其中，u l 为Sigmoid层输出的第l个特征值，sigmoid为激活函数，y l 为第六卷积层输出的特征图中第l个特征值；目标识别单元采用YOLO V5中CSP单元。
本发明中在特征筛选单元处，是将第五特征提取单元输出的特征图进行初步的计算，得到轮廓范围值，通过轮廓范围值估算该待处理特征图中是否包含目标，若是包含，轮廓范围值应当在[r down , r up ]之间，若是不包含，则第五特征提取单元输出的特征图不需要进行后续过程。
本发明中下限阈值r down 和上限阈值r up 可通过以下方法获取：将包含目标的多张水下图像通过步骤S3、S4、S5处理后，得到多张包含目标的待处理特征图，将多张包含目标的待处理特征图输入目标提取神经网络中，在第五特征提取单元处，通过计算轮廓范围值的公式算出包含目标的待处理特征图对应的轮廓范围值，从而根据包含目标的待处理特征图对应的轮廓范围值，设定一定的冗余范围，确定出下限阈值r down 和上限阈值r up 。
本发明在拍摄水下图像后，取多张水下图像进行处理，分别提取多张水下图像的轮廓特征图，从而凸显出水下图像的特征，再以各张当前轮廓特征图中的轮廓几何中心为原点，重构各张当前轮廓特征图的像素点坐标，得到多张当前轮廓配准图，在重构后，当前轮廓配准图上轮廓的区别更容易比较，选取出特征量不同的当前轮廓配准图，从而避免处理相同内容的水下图像，解决冗余图像数据，减少目标提取神经网络需要处理的水下图像数量，再采用目标提取神经网络处理每张待处理特征图，得到目标区域；本发明中通过先提取轮廓特征图，从而大量减少水下环境中的干扰因素，提高目标检测的准确率。

Claims (10)

1.一种基于机器视觉的水下机器人目标检测方法，其特征在于，包括以下步骤：
S1、率定轮廓提取模型中分界阈值，得到率定后的轮廓提取模型；
S2、通过水下机器人的机器视觉模块实时拍摄水下图像，得到当前多张水下图像；
S3、采用率定后的轮廓提取模型对当前多张水下图像进行处理，得到多张当前轮廓特征图；
S4、以各张当前轮廓特征图中的轮廓几何中心为原点，重构各张当前轮廓特征图的像素点坐标，得到多张当前轮廓配准图；
S5、选出特征量不同的当前轮廓配准图作为待处理特征图；
S6、采用目标提取神经网络，将每张待处理特征图进行处理，得到目标区域。
2.根据权利要求1所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述S1和S3中轮廓提取模型包括：颜色增强子模型和轮廓点提取子模型；
所述颜色增强子模型用于对水下图像进行颜色增强，得到颜色增强图；
所述轮廓点提取子模型用于从颜色增强图中取满足轮廓条件的像素点，得到轮廓特征图。
3.根据权利要求2所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述颜色增强子模型进行颜色增强的具体过程包括：从水下图像中选出最大通道值和最小通道值，计算通道增强系数；根据通道增强系数，对每个水下图像中每个像素点的R通道值、G通道值和B通道值进行颜色增强，得到颜色增强图；
所述计算通道增强系数的公式为：，其中，θ为通道增强系数，th max 为最大通道值，th min 为最小通道值；
所述颜色增强的具体公式为：，/>，/>，其中，th f,R 为颜色增强后R通道值，th f,G 为颜色增强后G通道值，th f,B 为颜色增强后B通道值，th R 为颜色增强前R通道值，th G 为颜色增强前G通道值，th B 为颜色增强前B通道值。
4.根据权利要求2所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述轮廓条件为：且存在/>，其中，/>为颜色增强图上第i个通道均值，/>为颜色增强图上第i个通道均值/>的邻域范围内的第j个通道均值，/>为颜色增强图上第j个通道均值/>邻域范围内的第k个通道均值，T h 为分界阈值，通道均值为一个像素点的R通道值、G通道值和B通道值的平均值。
5.根据权利要求4所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述S1包括以下分步骤：
S11、采用轮廓提取模型对历史水下图像提取满足轮廓条件的像素点，得到历史轮廓特征图；
S12、根据历史轮廓特征图和目标轮廓特征图，计算像素点数量差；
S13、判断像素点数量差是否大于正阈值，若是，则对轮廓提取模型中分界阈值进行更新，得到更新后的轮廓提取模型，并跳转至步骤S11，若否，则跳转至步骤S14；
S14、判断像素点数量差是否小于负阈值，若是，则对轮廓提取模型中分界阈值进行更新，得到更新后的轮廓提取模型，并跳转至步骤S11，若否，则当前的轮廓提取模型为率定后的轮廓提取模型。
6.根据权利要求5所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述S12中计算像素点数量差的公式为：，其中，d为像素点数量差，F 1为历史轮廓特征图上像素点的数量，F 2为目标轮廓特征图上像素点的数量；
所述S13中对轮廓提取模型中分界阈值进行更新的公式为：，其中，T h,n+1为第n+1次更新的分界阈值，T h,n 为第n次更新的分界阈值，e为自然常数；
所述S14中对轮廓提取模型中分界阈值进行更新的公式为：。
7.根据权利要求1所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述S5中特征量的计算公式为：，其中，X为特征量，x m 为当前轮廓配准图上第m个像素点的横坐标，y m 为当前轮廓配准图上第m个像素点的纵坐标，M为当前轮廓配准图上像素点的数量。
8.根据权利要求1所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述S6中目标提取神经网络包括：第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元、第五特征提取单元、加法器A1、加法器A2、特征筛选单元和目标识别单元；
所述第一特征提取单元的输入端作为目标提取神经网络的输入端，其输出端分别与第二特征提取单元的输入端和加法器A1的第一输入端连接；所述加法器A1的第二输入端与第二特征提取单元的输出端连接，其输出端与第三特征提取单元的输入端连接；所述第三特征提取单元的输出端分别与第四特征提取单元的输入端和加法器A2的第一输入端连接；所述加法器A2的第二输入端与第四特征提取单元的输出端连接，其输出端与第五特征提取单元的输入端连接；所述特征筛选单元的输入端与第五特征提取单元的输出端连接，其输出端与目标识别单元的输入端连接；所述目标识别单元的输出端作为目标提取神经网络的输出端。
9.根据权利要求8所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元和第五特征提取单元结构相同，均包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、Sigmoid层、Concat层和乘法器M1；
所述第一卷积层的输入端分别与第二卷积层的输入端和第三卷积层的输入端连接，并作为第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元或第五特征提取单元的输入端；所述Concat层的输入端分别与第一卷积层的输出端、第二卷积层的输出端和第三卷积层的输出端连接，其输出端分别与第四卷积层的输入端和第六卷积层的输入端连接；所述第五卷积层的输入端与第四卷积层的输出端连接，其输出端与乘法器M1的第一输入端连接；所述Sigmoid层的输入端与第六卷积层的输出层连接，其输出端与乘法器M1的第二输入端连接；所述乘法器M1的输出端作为第一特征提取单元、第二特征提取单元、第三特征提取单元、第四特征提取单元或第五特征提取单元的输出端。
10.根据权利要求9所述的基于机器视觉的水下机器人目标检测方法，其特征在于，所述特征筛选单元用于根据第五特征提取单元输出的特征图，计算轮廓范围值，在轮廓范围值位于[r down , r up ]之间时，将第五特征提取单元输出的特征图输入到目标识别单元中，其中，r down 为下限阈值，r up 为上限阈值，[ ]为闭区间；
所述计算轮廓范围值的公式为：，其中，O为轮廓范围值，e为自然常数，y s 为第五特征提取单元输出的特征图中第s个特征值，N为第五特征提取单元输出的特征图中特征值的数量；
所述Sigmoid层的计算公式为：，其中，u l 为Sigmoid层输出的第l个特征值，sigmoid为激活函数，y l 为第六卷积层输出的特征图中第l个特征值；
所述目标识别单元采用CSP单元。
CN202311291140.4A 2023-10-08 2023-10-08 一种基于机器视觉的水下机器人目标检测方法 Active CN117036923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311291140.4A CN117036923B (zh) 2023-10-08 2023-10-08 一种基于机器视觉的水下机器人目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311291140.4A CN117036923B (zh) 2023-10-08 2023-10-08 一种基于机器视觉的水下机器人目标检测方法

Publications (2)

Publication Number Publication Date
CN117036923A true CN117036923A (zh) 2023-11-10
CN117036923B CN117036923B (zh) 2023-12-08

Family

ID=88645219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311291140.4A Active CN117036923B (zh) 2023-10-08 2023-10-08 一种基于机器视觉的水下机器人目标检测方法

Country Status (1)

Country Link
CN (1) CN117036923B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200083019A1 (en) * 2018-09-07 2020-03-12 Toshiba Memory Corporation Contour extraction method, contour extraction device, and non-volatile recording medium
CN114494179A (zh) * 2022-01-24 2022-05-13 深圳闪回科技有限公司 一种基于图像识别的手机背部破损点检测方法及系统
WO2022141882A1 (zh) * 2020-12-30 2022-07-07 上海睿刀医疗科技有限公司 一种基于历史病理信息的病灶识别模型构建装置及系统
CN114973207A (zh) * 2022-08-01 2022-08-30 成都航空职业技术学院 一种基于目标检测的路标识别方法
CN115273154A (zh) * 2022-09-26 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于边缘重构的热红外行人检测方法、系统及存储介质
CN116452667A (zh) * 2023-06-16 2023-07-18 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法
CN116630188A (zh) * 2023-05-23 2023-08-22 广东海洋大学 一种水下图像增强方法、系统、电子设备及存储介质
CN116645696A (zh) * 2023-05-31 2023-08-25 长春理工大学重庆研究院 一种用于多模态行人检测的轮廓信息引导特征检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200083019A1 (en) * 2018-09-07 2020-03-12 Toshiba Memory Corporation Contour extraction method, contour extraction device, and non-volatile recording medium
WO2022141882A1 (zh) * 2020-12-30 2022-07-07 上海睿刀医疗科技有限公司 一种基于历史病理信息的病灶识别模型构建装置及系统
CN114494179A (zh) * 2022-01-24 2022-05-13 深圳闪回科技有限公司 一种基于图像识别的手机背部破损点检测方法及系统
CN114973207A (zh) * 2022-08-01 2022-08-30 成都航空职业技术学院 一种基于目标检测的路标识别方法
CN115273154A (zh) * 2022-09-26 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于边缘重构的热红外行人检测方法、系统及存储介质
CN116630188A (zh) * 2023-05-23 2023-08-22 广东海洋大学 一种水下图像增强方法、系统、电子设备及存储介质
CN116645696A (zh) * 2023-05-31 2023-08-25 长春理工大学重庆研究院 一种用于多模态行人检测的轮廓信息引导特征检测方法
CN116452667A (zh) * 2023-06-16 2023-07-18 成都实时技术股份有限公司 一种基于图像处理的目标识别与定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
余果 等: "基于改进残差网络的橡胶林卫星影像语义分割方法", 《农业工程学报》, vol. 38, no. 15, pages 204 - 211 *
李晓峰 等: "基于条件随机场的视频运动目标可靠性检测方法", 《计算机技术与发展》, vol. 30, no. 7, pages 60 - 65 *
董昭顷 等: "基于ZY-3遥感影像的不同地貌水边线提取方法", 《海洋测绘》, vol. 39, no. 2, pages 34 - 39 *

Also Published As

Publication number Publication date
CN117036923B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN107481225B (zh) 一种自动寻找最优参数分割粘连细胞的方法
CN108898132B (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
CN114998198A (zh) 一种注塑件表面缺陷识别方法
CN116823824B (zh) 基于机器视觉的井下带式输送机降尘检测系统
CN116310845B (zh) 一种用于污水处理的智能监测系统
CN111553214A (zh) 一种驾驶员吸烟行为检测方法及系统
CN115294109A (zh) 基于人工智能的实木板材生产缺陷识别系统、电子设备
CN110874825B (zh) 一种复合绝缘子表面水迹二值图像提取方法
CN115980050A (zh) 排水口的水质检测方法、装置、计算机设备及存储介质
CN111768455A (zh) 一种基于图像的木材区域和主色提取方法
CN114943744A (zh) 基于局部Otsu阈值化的边缘检测方法
CN117036923B (zh) 一种基于机器视觉的水下机器人目标检测方法
CN114067147A (zh) 一种基于局部形状匹配的舰船目标确认方法
CN114581658A (zh) 一种基于计算机视觉的目标检测方法及装置
CN113945570A (zh) 一种基于蒸汽特征红外表征的微漏蒸汽缺陷检测识别方法
CN111192280A (zh) 一种基于局部特征的视盘边缘检测方法
CN113066077B (zh) 火焰检测方法及装置
CN112085683B (zh) 一种显著性检测中的深度图可信度检测方法
CN110827272B (zh) 一种基于图像处理的轮胎x光图像缺陷检测方法
Li et al. Vehicle detecting and shadow removing based on edged mixture Gaussian model
CN117522863B (zh) 基于图像特征的集成箱体质量检测方法
CN116156157B (zh) 一种摄像头遮挡异常的检测方法及电子设备
CN116883370B (zh) 一种农产品外观质量检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant