CN117911679A - 基于图像增强和微小目标识别的船体识别系统及方法 - Google Patents
基于图像增强和微小目标识别的船体识别系统及方法 Download PDFInfo
- Publication number
- CN117911679A CN117911679A CN202410298534.0A CN202410298534A CN117911679A CN 117911679 A CN117911679 A CN 117911679A CN 202410298534 A CN202410298534 A CN 202410298534A CN 117911679 A CN117911679 A CN 117911679A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- layer
- feature map
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 74
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图像增强和微小目标识别的船体识别系统及方法,包括:特征提取模块,利用卷积神经网络对将数据源中有关船体图像进行的特征提取,获得第一特征图;多尺度特征融合模块,将两条传输通道处理后第一特征图的特征信息进行相加,并将其输出为第二特征图,融合底层的细节信息和高层的语义信息;多尺度映射模块,对第二特征图进行多层次特征的映射,以得到不同层次的特征图,再对不同层次的特征图进行填充融合,以得到第三特征图;目标识别与检测模块,接收第三特征图,并形成候选区域,根据所检测的船体目标对候选区域进行判定,若符合检测目标,则反馈该结果;通过多个模块,以增强识别系统对小目标船体图像的识别能力。
Description
技术领域
本发明涉及图像数据处理或产生技术领域,尤其涉及一种基于图像增强和微小目标识别的船体识别系统及方法。
背景技术
智慧港口是港口建设趋势和发展的方向,船舶自动识别对于推进港口智能化管理具有重要意义。随着港口行业的不断发展,入港、在港的船舶数量不断增加,船舶管控也变得愈加困难。准确监控港口船舶,实现船舶身份和类型自动化识别、港口及其海域违规船舶自动化管理,仅仅依靠传统港口的视频监管系统已经无法满足。
船舶识别是指通过对船舶的特征和信号进行分析,实现船舶的自动识别。传统的识别主要依赖于人工观察和信号处理技术,这种方法存在工作效率低下、识别准确率低的问题,尤其是无法准确地发现违规船只、及时采取有效措施。人工智能技术的发展为船舶智能识别带来了突破性进展。通过分析海量数据,建立神经网络模型,挖掘并捕获船舶的特征,实现船舶的自动分类和识别,提高识别的准确性和效率。然而,基于人工智能的船舶识别技术也面临着诸多挑战。第一,真实港口数据受天气的影响大,例如,阴雨、雾霾等因素对于数据采集设备的影响较大,造成采集到的数据图像不清晰的问题;第二,海域数据质量受船舶距离影响严重,在管辖边缘海域的船舶图像通常会存在目标微小、特征不明显的问题。
基于人工智能的船舶识别技术通过采集大量的视频或图像数据进行学习,挖掘船舶特征,自动化识别视频或图像中船舶,实现港口船舶自动化管理及其周围海域船只违规进入预警,推进港口信息化发展。现有技术中,基于人工智能的船舶识别技术采用神经网络模型实现船舶的自动化识别,基于预训练好的模型,实现新输入数据的识别任务,但其存在以下缺点:(1)当输入图像清晰度较低时,模型的性能无法精确满足识别需求,甚至失效;(2)当采集到的数据中,目标船舶在图像中占比较小,特征不够明显时,导致无法识别;(3)在处理视频流数据时,识别系统需要一帧一帧处理,效率低下,若计算资源不足,则会导致系统出现卡死的情况;且多组连续帧中的同一船体也导致识别结果的冗余度较高,无法满足实际工程需求。
发明内容
针对相关技术中存在的不足之处,本发明提供了一种基于图像增强和微小目标识别的船体识别系统及方法,通过卷积操作,建立原始输入图像和船体特征之间的映射,形成船体图像的特征表达;再通过融合底层的细节信息和高层的语义信息,增强网络对于小目标船体的识别率;然后采用不同大小的卷积核形成多尺度特征,并对不同的特征进行映射,充分利用不同层次的特征信息增强网络的性能,提高识别系统的精准度和实用性。
为实现上述目的,本发明采用的技术方案是:
一种基于图像增强和微小目标识别的船体识别系统,包括:
特征提取模块:获取数据源,利用卷积神经网络将所述数据源中有关船体图像进行的特征提取,获得第一特征图;
多尺度特征融合模块:包括网络信息传输网络块,每个所述信息传输网络块均包括卷积层、池化层和特征融合层;所述多尺度特征融合模块的输入端设置有两条传输通道,分别接收第一特征图,其中,一条传输通道通过卷积层和池化层连接至所述特征融合层,另一条传输通道直接连接至所述特征融合层;所述特征融合层将两条传输通道处理后第一特征图的特征信息进行相加,并将其输出为第二特征图;
多尺度映射模块:接收所述第二特征图,对所述第二特征图进行多层次特征的映射,以得到不同层次的特征图,再对不同层次的特征图进行填充融合,以得到第三特征图;
目标识别与检测模块:接收第三特征图,并形成候选区域,根据所检测的船体目标对所述候选区域进行判定,若符合检测目标,则反馈该结果。
在本发明的一些实施例中,所述多尺度特征融合模块包括多个信息传输网络块,每个所述信息传输网络块的特征融合层的输入端包括两条传输通道,一条传输通道接收本跨层信息传输网络块卷积层和池化层的输出值,另一条传输通道直接连接至本跨层信息传输网络块的输入端;所述特征融合层将两条传输通道的特征信息进行相加,并将其输出至下一个信息传输网络块,作为下一个信息传输网络块的输入,最后一个跨层信息传输网络块输出第二特征图。
在本发明的一些实施例中,所述多尺度映射模块包括三个不同尺度的卷积滤波器,且三个尺度上使用的卷积滤波器数量相同,所述多尺度映射模块的输出可被公式化为:
;
其中,为多尺度映射模块的输入值,/>表示滤波器的权重,,/>表示滤波器的偏差,/>,/>表示输出维度,r表示第三特征图的索引,/>,/>和/>为索引变量,/>,,/>表示向上取整,/>表示取余运算,/>表示卷积操作。
在本发明的一些实施例中,所述特征提取模块包括:
卷积层,利用卷积操作对数据源中的特征信息进行识别,得到输出特征图Y;数据源中输入图像的大小为C×W×H,其中,C为图像通道数,W为图像宽度,H为图像高度,卷积核的大小为k×k,则一次卷积计算可被公式化为:
;
其中,为输入图像的第i+m行第j+n列的元素,/>为输出特征图Y的第i行第j列的元素,i和j为索引下标,/>,/>,m和n为索引下标, ,/>;/>表示向下取整操作;/>表示的是卷积核参数矩阵W的第m行第n列个元素;
池化层,连接在卷积层后,对卷积层生成的输出特征图Y进行最大池化或均值池化操作,以减少特征映射的维度。
在本发明的一些实施例中,所述特征提取模块还包括填充操作,则所述输出特征图Y的宽度、高度/>和图像通道数/>为:
;
;
;
其中,p为图像填充的大小,s为卷积计算的步长。
在本发明的一些实施例中,所述特征提取模块包括多个卷积层和多个池化层,所述卷积层和所述池化层逐层间隔堆叠设置。
在本发明的一些实施例中,还包括:
小目标图像数据增强模块,提取数据源中的小目标物体,将所述小目标物体裁剪形成单一的小目标物体图像,通过缩放将所述小目标物体图像转化为通用图像,所述小目标物体图像和所述通用图像均输出至所述特征提取模块;
所述特征提取模块根据小目标物体图像和所述通用图像输出第一特征图。
在本发明的一些实施例中,对所述通用图像采用几何变换的方式扩充数据。
除此,本发明还提供了一种基于图像增强和微小目标识别的船体识别方法,包括:
获取数据源,利用卷积神经网络将所述数据源中有关船体图像的特征信息提取为第一特征图;
设置两条传输通道,一条传输通道直接接收第一特征图,另一条传输通道对所述第一特征图进行卷积和池化操作;将两条传输通道的特征信息进行相加,输出为第二特征图;
对所述第二特征图进行多层次特征的映射,以得到不同层次的特征图,再对不同层次的特征图进行填充融合,以得到第三特征图;
根据所述第三特征图,形成候选区域,根据检测目标对所述候选区域进行判定,若符合检测目标,则反馈该结果。
在本发明的一些实施例中,若所述数据源是视频流数据,则提取视频流数据视频帧,处理其中带有船体检测目标的关键帧;若所述数据源是图像数据,则逐一处理图像数据。
与现有技术相比,本发明的有益效果在于:
1、通过特征提取将输入图像的船体信息映射至特征图中,采用特征增强技术形成更具表达力的特征图,从而提高目标船体的检测和识别能力。
2、针对小目标船体信息含量较少、特征细节不足等问题,采用多尺度特征融合技术,将底层的细节信息和高层的语义信息融合,充分利用小目标不同层次的特征,提升识别系统的鲁棒性。
3、对于因天气或其他因素引起的图像清晰度低的问题,通过多尺度映射,提取并利用不同的特征信息,以增强船体的细节信息,从而提升系统的识别能力。
4、在识别系统模型的训练过程中,通过数据增强模块,提升小目标图像在数据集中的占比,提高系统对于小目标船体的识别能力,增强模型性能。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明一个实施例的船体识别系统架构图;
图2为本发明一个实施例的特征提取模块架构图;
图3为本发明一个实施例的多尺度特征融合模块架构图;
图4为本发明一个实施例的多尺度映射模块架构图;
图5为本发明一个实施例的小目标图像数据增强模块的策略图;
图6为本发明一个实施例的船体识别模型训练流程图;
图7为本发明一个实施例的船体识别系统工作流程图。
具体实施方式
下面将结合本发明实施例中的附图,对实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而非全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如附图1-附图7所示,在本发明一种基于图像增强和微小目标识别的船体识别系统的一个示意性实施例中,包括:
特征提取模块:获取数据源,利用卷积神经网络将数据源中有关船体图像进行的特征提取,获得第一特征图;特征提取模块主要任务是理解和处理输入数据,提取原始输入图像的特征,通过卷积操作,建立原始输入图像和船体特征之间的映射,形成船体图像的特征表达;
多尺度特征融合模块:包括网络信息传输网络块,每个信息传输网络块均包括卷积层、池化层和特征融合层;多尺度特征融合模块的输入端设置有两条传输通道,分别接收第一特征图,其中,一条传输通道通过卷积层和池化层连接至特征融合层,另一条传输通道直接连接至特征融合层;特征融合层将两条传输通道处理后第一特征图的特征信息进行相加,并将其输出为第二特征图;多尺度特征融合模块用于解决小目标船体图像信息不足导致检测困难的问题,通过融合底层的细节信息和高层的语义信息,实现不同尺度物体的检测,增强系统对于小目标船体的识别率;
多尺度映射模块:接收第二特征图,对第二特征图进行多层次特征的映射,以得到不同层次的特征图,再对不同层次的特征图进行填充融合,以得到第三特征图;多尺度映射模块用于增强不清晰图像中的船体信息,通过采用不同大小的卷积核形成多尺度特征,并对不同的特征进行映射,充分利用不同层次的特征信息增强系统的性能;
目标识别与检测模块:接收第三特征图,并形成候选区域,根据所检测的船体目标对候选区域进行判定,若符合检测目标,则反馈该结果。
在本实施例中,船体识别系统基于深度网络实现,对于模糊图像和微小目标图像同样有效。本发明克服了现有技术中的缺点,特征提取模块主要依靠卷积操作提取输入图像的信息,将输入图像转化为更具特征表达力的特征图。为解决数据集中少部分原始图像不清晰的问题,采用多尺度映射技术,增强图像的信息细节,提升模型对于船体目标的识别率。围绕微小船体目标在图像有效信息难以提取、特征信息不丰富等问题,采用多尺度特征融合技术,挖掘、结合图像的语义特征和空间特征,丰富模型获取的特征信息,增强模型性能。多尺度映射模块通过多个不同大小的卷积核以应对因天气原因造成的图像清晰度低的问题,进一步提高系统的识别能力。最后目标识别与检测模块将识别系统在数据源中所识别到的船体目标信息进行反馈,以实现港口船舶的信息化管理。
若在数据源中,船体目标在图像中占据很小的区域,这种小目标船体图像并不具备常规尺寸目标的纹理、颜色等丰富的细节特征,特征信息不足将导致一般的识别系统无法提取到有效信息,容易造成漏检或误检的情况。
为了增强模型形成的船体特征图的特征表达能力,在一些实施例中,多尺度特征融合模块包括多个信息传输网络块,每个信息传输网络块的特征融合层的输入端包括两条传输通道,一条传输通道接收本跨层信息传输网络块卷积层和池化层的输出值,另一条传输通道直接连接至本跨层信息传输网络块的输入端;特征融合层将两条传输通道的特征信息进行相加,并将其输出至下一个信息传输网络块,作为下一个信息传输网络块的输入,最后一个跨层信息传输网络块输出第二特征图。
在本实施例中,多尺度特征融合模块由多个跨层信息传输网络块构成,每个网络块均包括卷积层、池化层和特征融合层,第一个跨层信息传输网络块接收来自特征提取模块的输出特征图,将其输送至本跨层信息传输网络块的两条传输通道中,在本网络块的特征融合层完成一次特征融合,并将结果输出至下一个跨层信息传输网络块。通过多个跨层信息网络块相连接的方式,实现多尺度特征融合,将底层和高层特征加以融合,实现跨层信息传递,增强特征图的特征表达能力,提升模型的准确性和鲁棒性。
示例性的,如附图3所示,第n个跨层信息网络块的输入为X,X为第n-1个跨层信息网络块的输出,特征图X通过两条传输通道实现跨层信息传输,一条通道通过卷积及池化操作进行特征提取,形成特征图 F(X),并将其传输到第n个跨层信息网络块的特征融合层;另一条通道直接接收网络的特征图 X,并将其传输至特征融合层;特征融合层将 F(X)与 X进行相加完成特征融合。第n个跨层信息网络块的输出Yn(X)可被公式化为:Yn(X)=X+ F(X)。Yn(X)继续输入至第n+1个跨层信息网络块进行特征融合。
在一些实施例中,跨层信息传输网络块的数量根据试验数据确定或任务需求进行设定,以达到数据传输的高效性及目标识别的准确性的统一。
在自然环境下,由于天气或者空气质量等原因,极易造成港口数据采集设备收集到的船体图像轮廓模糊、图像清晰度和色彩饱和度下降,这会使识别系统无法捕获图像的细节信息、对于目标的分辨能力下降,导致漏检的情况。
为了增强系统对于不清晰数据的处理能力,在一些实施例中,多尺度映射模块包括三个不同尺度的卷积滤波器,且三个尺度上使用的卷积滤波器数量相同,多尺度映射模块的输出可被公式化为:
;
其中,为多尺度映射模块的输入值,/>表示滤波器的权重,,/>表示滤波器的偏差,/>,/>表示输出维度,r表示第三特征图的索引,/>,/>和/>为索引变量,/>,,/>表示向上取整,/>表示取余运算,/>表示卷积操作。
在本实施例中,首先,采用三组不同尺度的滤波器实现多层次特征的映射;其次,对提取到的特征进行非线性映射;然后,对不同层次的特征图进行填充操作以得到相同大小的特征图;最后,进行特征图融合并输出映射特征。通过融合这些多层次特征,提高不同分辨率下特征提取的鲁棒性。
示例性的,对于多尺度映射模块的输入将分别使用 3×3、5×5 和 7×7 大小的卷积滤波器进行特征提取,并且三个尺度上使用的滤波器数量相同。
在一些实施例中,多尺度映射模块的卷积滤波器可根据使用需求设置大于三个或少于三个尺度。
在一些实施例中,特征提取模块包括:
卷积层,利用卷积操作对数据源中的特征信息进行识别,得到输出特征图Y;数据源中输入图像的大小为C×W×H,其中,C为图像通道数,W为图像宽度,H为图像高度,卷积核的大小为k×k,则一次卷积计算可被公式化为:
;
其中,为输入图像的第i+m行第j+n列的元素,/>为输出特征图Y的第i行第j列的元素,i和j为索引下标,/>,/>,m和n为索引下标,,/>;/>表示向下取整操作;/>表示的是卷积核参数矩阵/>的第m行第n列个元素;
池化层,连接在卷积层后,对卷积层生成的输出特征图Y进行最大池化或均值池化操作,以减少特征映射的维度。
其中,特征提取模块是实现船体识别的基础,用于获取输入船体图像的关键特征,形成特征表达。利用卷积神经网络提取船体图像的特征,通过卷积、池化等操作挖掘图像信息,实现特征映射,为网络提供基础特征表达。卷积神经网络的核心操作是卷积操作,卷积操作利用感受野感知区域内的特征信息,通过与感受野中的像素值进行加权相乘,得到新的特征值。每次卷积操作都是一次特征映射,都对应着一个卷积核所捕获的特征。
在一些实施例中,特征提取模块还包括填充操作,则输出特征图Y的宽度、高度和图像通道数/>为:
;
;
;
其中,p为图像填充的大小,s为卷积计算的步长。
在本实施例中,采用 padding 操作可以避免图像边缘信息被弱化,同时保证卷积计算边界的有效性。通过在图像上滑动感受野的方式组合图像的特征信息,实现图像中不同位置信息的感知,捕获全局图像上的不同特征,如边缘、纹理等。为了对提取到的特征信息进行精简,在卷积层后连接池化层。池化层通过对卷积层生成的特征图进行最大池化或均值池化操作,对特征映射进行降采样,减少特征映射的维度,去除冗余信息,保留重要特征。
在一些实施例中,特征提取模块包括多个卷积层和多个池化层,卷积层和池化层逐层间隔堆叠设置。通过逐层堆叠的方式,实现更高级别特征的挖掘。对于浅层感受野较小的卷积层,关注图像的局部特征,捕获图像的底层特征;随着网络层数的不断增加,感受野逐渐增大,网络能够捕获更大范围的信息,多层的卷积神经网络能够对船体图像进行有效地分析和识别。
在一些实施例中,还包括:
小目标图像数据增强模块,提取数据源中的小目标物体,将小目标物体裁剪形成单一的小目标物体图像,通过缩放将小目标物体图像转化为通用图像,小目标物体图像和通用图像均输出至特征提取模块;
特征提取模块根据小目标物体图像和通用图像输出第一特征图。
在本实施例中,港口数据采集设备收集到的数据中,若小目标物体在图像中占比较小,且小目标数据通常清晰度较低,识别模型对于小目标物体信息捕获能力不足。为了增强模型对于小目标物体的认识能力,采用数据增强策略扩充小目标物体的数据量,在训练过程中增加小目标物体特征,提升模型的泛化能力。首先,提取图像中的小目标物体,将带有小目标物体的数据进行裁剪形成单一小目标物体图像,通过缩放的方式将单一小目标物体图像转化为通用图像,提升了目标像素在整张图像中的占比,增强目标船体的图像特征。在训练过程中,将原始小目标图像和转化后的通用图像都输入到网络中,提升模型对于此类图像敏感度,提升模型的鲁棒性。
在一些实施例中,对通用图像采用几何变换的方式扩充数据。对于小目标物体所转化生成的通用图像,采用几何变换的方法对其进行数据扩充,并对应实现检测框的变换,扩充小目标样本数据的多样性,降低样本不均衡的比例,提升模型对于小目标物体的检测和识别能力
在一些实施例中,为了提升系统的性能,利用“申威 26010”众核处理器的高效处理能力,以并行化计算模式加速船体识别和监测模型的训练过程及应用识别过程,对于增强系统的可扩展性具有重要意义。利用主核资源进行资源分配和管理以及少量计算等,将计算密集型操作放至从核进行,充分利用各项计算资源,实现多图像或多视频流并行处理,提升系统响应速度及数据处理能力。
示例性的,如附图7所示,对船体识别系统输入港口船体数据、资源数目;设定并启用控制核心;初始化并启用计算核心;主核初始化并启用从核阵列;主核分配计算任务,从核获取相应数据;数据源依次经过特征提取模块、多尺度特征融合模块和多尺度映射模块,并输出第三特征图;模板识别与检测模块接收第三特征图并计算结果,将其反馈给控制核心;结果反馈至船体识别系统的显示屏或监测屏。
本发明所提供的船体识别系统还包括船体识别模型,其识别模型的训练流程如附图6所示,船体识别模型用于识别输入数据中的船体信息。具体的,用于训练模型的训练集包括港口船体图像及视频流图像,在确定神经网络层数及神经元个数等网络信息后,执行小目标数据增强策略,即采用数据增强策略扩充小目标物体的数据量;初始化神经网络参数:权重和阈值;对训练集中的训练样本随机排序,以扩充数据量;将生成的数据源依次通过特征提取模块、多尺度特征融合模块、多尺度映射模块,从而增强船体信息的特征表达;在当前批量内进行权值更新直至全部批量计算完成;在计算完成后,如若达到收敛状态,则完成船体识别模型的训练,如若未达到收敛状态,则计算训练样本损失函数,基于损失函数更新样本权重,对更新后的训练样本重新排序,继续对船体模型进行训练;训练完成的船体识别模型已调整好模型架构和参数的设置。
除此,本发明还提供了一种基于图像增强和微小目标识别的船体识别方法,包括:
获取数据源,利用卷积神经网络将数据源中有关船体图像的特征信息提取为第一特征图;
设置两条传输通道,一条传输通道直接接收第一特征图,另一条传输通道对第一特征图进行卷积和池化操作;将两条传输通道的特征信息进行相加,输出为第二特征图;
对第二特征图进行多层次特征的映射,以得到不同层次的特征图,再对不同层次的特征图进行填充融合,以得到第三特征图;
根据第三特征图,形成候选区域,根据检测目标对候选区域进行判定,若符合检测目标,则反馈该结果。
在一些实施例中,若数据源是视频流数据,则提取视频流数据视频帧,处理其中带有船体检测目标的关键帧;若数据源是图像数据,则逐一处理图像数据。
以下提供一个具体实施方式以介绍本发明所提供的基于图像增强和微小目标识别的船体识别方法,其基于本发明所提供的船体识别系统进行。
当系统接收到实时的视频流或图像资源后,推荐请求时,基于图像增强和微小目标识别的船体识别系统开始运行。
step 1:系统根据数据量启动相应资源,控制进程将数据分配至相应的资源;
step 2:各资源采用并行化方式开始处理数据;如果是视频流数据,则提取视频流数据视频帧,处理其中带有船体检测目标的关键帧,加速系统的响应过程;如果是图像数据,则逐一处理图像数据;
step 3:特征提取模块接收数据,生成数据的第一特征图;
step 4:多尺度提特征融合模块接收形成的第一特征图,形成并融合多尺度特征,输出第二特征图;
step 5:多尺度映射模块接收形成的第二特征图,完成多尺度映射后,输出第三特征图;
step 6:目标识别与检测模块接收第三特征图,形成候选区域,并对候选区域进行判定;如果是检测目标则进行记录保存;如果不是则继续进行判定,直至全部候选区域结束执行step 7;
step 7:主进程收集结果并检测是否还有数据,如果没有则执行step 8;如果还有数据则执行 step 3;
step 8:识别与检测任务完成,释放资源。
最后应当说明的是:本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
以上实施例仅用以说明本发明的技术方案而非对其限制;尽管参照较佳实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本发明技术方案的精神,其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (10)
1.一种基于图像增强和微小目标识别的船体识别系统,其特征在于,包括:
特征提取模块:获取数据源,利用卷积神经网络将所述数据源中有关船体图像进行的特征提取,获得第一特征图;
多尺度特征融合模块:包括网络信息传输网络块,每个所述信息传输网络块均包括卷积层、池化层和特征融合层;所述多尺度特征融合模块的输入端设置有两条传输通道,分别接收第一特征图,其中,一条传输通道通过卷积层和池化层连接至所述特征融合层,另一条传输通道直接连接至所述特征融合层;所述特征融合层将两条传输通道处理后第一特征图的特征信息进行相加,并将其输出为第二特征图;
多尺度映射模块:接收所述第二特征图,对所述第二特征图进行多层次特征的映射,以得到不同层次的特征图,再对不同层次的特征图进行填充融合,以得到第三特征图;
目标识别与检测模块:接收第三特征图,并形成候选区域,根据所检测的船体目标对所述候选区域进行判定,若符合检测目标,则反馈该结果。
2.如权利要求1所述的基于图像增强和微小目标识别的船体识别系统,其特征在于,所述多尺度特征融合模块包括多个信息传输网络块,每个所述信息传输网络块的特征融合层的输入端包括两条传输通道,一条传输通道接收本跨层信息传输网络块卷积层和池化层的输出值,另一条传输通道直接连接至本跨层信息传输网络块的输入端;所述特征融合层将两条传输通道的特征信息进行相加,并将其输出至下一个信息传输网络块,作为下一个信息传输网络块的输入,最后一个跨层信息传输网络块输出第二特征图。
3.如权利要求1或2任一项所述的基于图像增强和微小目标识别的船体识别系统,其特征在于,所述多尺度映射模块包括三个不同尺度的卷积滤波器,且三个尺度上使用的卷积滤波器数量相同,所述多尺度映射模块的输出可被公式化为:
;
其中,为多尺度映射模块的输入值,/>表示滤波器的权重,,/>表示滤波器的偏差,/>,/>表示输出维度,r表示第三特征图的索引,/>,/>和/>为索引变量,/>,,/>表示向上取整,/>表示取余运算,/>表示卷积操作。
4.如权利要求1所述的基于图像增强和微小目标识别的船体识别系统,其特征在于,所述特征提取模块包括:
卷积层,利用卷积操作对数据源中的特征信息进行识别,得到输出特征图Y;数据源中输入图像的大小为C×W×H,其中,C为图像通道数,W为图像宽度,H为图像高度,卷积核的大小为k×k,则一次卷积计算可被公式化为:
;
其中,为输入图像的第i+m行第j+n列的元素,/>为输出特征图Y的第i行第j列的元素,i和j为索引下标,/>,/>,m和n为索引下标,,/>;/>表示向下取整操作;/>表示的是卷积核参数矩阵W的第m行第n列个元素;
池化层,连接在卷积层后,对卷积层生成的输出特征图Y进行最大池化或均值池化操作,以减少特征映射的维度。
5.如权利要求4所述的基于图像增强和微小目标识别的船体识别系统,其特征在于,所述特征提取模块还包括填充操作,则所述输出特征图Y的宽度、高度/>和图像通道数/>为:
;
;
;
其中,p为图像填充的大小,s为卷积计算的步长。
6.如权利要求4或5任一项所述的基于图像增强和微小目标识别的船体识别系统,其特征在于,所述特征提取模块包括多个卷积层和多个池化层,所述卷积层和所述池化层逐层间隔堆叠设置。
7.如权利要求1所述的基于图像增强和微小目标识别的船体识别系统,其特征在于,还包括:
小目标图像数据增强模块,提取数据源中的小目标物体,将所述小目标物体裁剪形成单一的小目标物体图像,通过缩放将所述小目标物体图像转化为通用图像,所述小目标物体图像和所述通用图像均输出至所述特征提取模块;
所述特征提取模块根据小目标物体图像和所述通用图像输出第一特征图。
8.如权利要求7所述的基于图像增强和微小目标识别的船体识别系统,其特征在于,对所述通用图像采用几何变换的方式扩充数据。
9.一种基于图像增强和微小目标识别的船体识别方法,其特征在于,包括:
获取数据源,利用卷积神经网络将所述数据源中有关船体图像的特征信息提取为第一特征图;
设置两条传输通道,一条传输通道直接接收第一特征图,另一条传输通道对所述第一特征图进行卷积和池化操作;将两条传输通道的特征信息进行相加,输出为第二特征图;
对所述第二特征图进行多层次特征的映射,以得到不同层次的特征图,再对不同层次的特征图进行填充融合,以得到第三特征图;
根据所述第三特征图,形成候选区域,根据检测目标对所述候选区域进行判定,若符合检测目标,则反馈该结果。
10.如权利要求9所述的基于图像增强和微小目标识别的船体识别方法,其特征在于,若所述数据源是视频流数据,则提取视频流数据视频帧,处理其中带有船体检测目标的关键帧;若所述数据源是图像数据,则逐一处理图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410298534.0A CN117911679B (zh) | 2024-03-15 | 基于图像增强和微小目标识别的船体识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410298534.0A CN117911679B (zh) | 2024-03-15 | 基于图像增强和微小目标识别的船体识别系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117911679A true CN117911679A (zh) | 2024-04-19 |
CN117911679B CN117911679B (zh) | 2024-05-31 |
Family
ID=
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
CN111626159A (zh) * | 2020-05-15 | 2020-09-04 | 南京邮电大学 | 一种基于注意力残差模块和支路融合的人体关键点检测方法 |
CN111914924A (zh) * | 2020-07-28 | 2020-11-10 | 西安电子科技大学 | 一种快速舰船目标检测方法、存储介质及计算设备 |
CN112270259A (zh) * | 2020-10-28 | 2021-01-26 | 中国人民解放军战略支援部队航天工程大学 | 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法 |
CN113408340A (zh) * | 2021-05-12 | 2021-09-17 | 北京化工大学 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
CN113780211A (zh) * | 2021-09-16 | 2021-12-10 | 河北工程大学 | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 |
CN113850783A (zh) * | 2021-09-27 | 2021-12-28 | 清华大学深圳国际研究生院 | 一种海面船舶检测方法及系统 |
CN114067107A (zh) * | 2022-01-13 | 2022-02-18 | 中国海洋大学 | 基于多粒度注意力的多尺度细粒度图像识别方法及系统 |
CN115063672A (zh) * | 2022-07-13 | 2022-09-16 | 广州科语机器人有限公司 | 基于改进yolox模型的小目标检测方法 |
CN115131811A (zh) * | 2022-04-24 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 目标识别及模型训练方法、装置、设备、存储介质 |
CN115860139A (zh) * | 2022-12-12 | 2023-03-28 | 中船重工鹏力(南京)大气海洋信息系统有限公司 | 一种基于深度学习的多尺度船舶目标检测方法 |
US11631238B1 (en) * | 2022-04-13 | 2023-04-18 | Iangxi Electric Power Research Institute Of State Grid | Method for recognizing distribution network equipment based on raspberry pi multi-scale feature fusion |
CN116129239A (zh) * | 2022-12-29 | 2023-05-16 | 天翼云科技有限公司 | 一种小目标检测方法、装置、设备及存储介质 |
CN116524174A (zh) * | 2023-03-13 | 2023-08-01 | 桂林电子科技大学 | 多尺度注意力融合的Faster RCNN的海洋生物检测方法及结构 |
CN116682076A (zh) * | 2023-06-05 | 2023-09-01 | 成都理工大学 | 面向船舶安全监管的多尺度目标检测方法、系统及设备 |
WO2023169582A1 (zh) * | 2022-03-11 | 2023-09-14 | 北京字跳网络技术有限公司 | 图像增强方法、装置、设备及介质 |
WO2023173552A1 (zh) * | 2022-03-15 | 2023-09-21 | 平安科技(深圳)有限公司 | 目标检测模型的建立方法、应用方法、设备、装置及介质 |
CN116994137A (zh) * | 2023-08-04 | 2023-11-03 | 哈尔滨工业大学 | 一种基于多尺度形变建模和区域精细提取的目标检测方法 |
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
CN111626159A (zh) * | 2020-05-15 | 2020-09-04 | 南京邮电大学 | 一种基于注意力残差模块和支路融合的人体关键点检测方法 |
CN111914924A (zh) * | 2020-07-28 | 2020-11-10 | 西安电子科技大学 | 一种快速舰船目标检测方法、存储介质及计算设备 |
CN112270259A (zh) * | 2020-10-28 | 2021-01-26 | 中国人民解放军战略支援部队航天工程大学 | 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法 |
CN113408340A (zh) * | 2021-05-12 | 2021-09-17 | 北京化工大学 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
CN113780211A (zh) * | 2021-09-16 | 2021-12-10 | 河北工程大学 | 一种基于改进型Yolov4-tiny的轻量级飞机检测方法 |
CN113850783A (zh) * | 2021-09-27 | 2021-12-28 | 清华大学深圳国际研究生院 | 一种海面船舶检测方法及系统 |
CN114067107A (zh) * | 2022-01-13 | 2022-02-18 | 中国海洋大学 | 基于多粒度注意力的多尺度细粒度图像识别方法及系统 |
WO2023169582A1 (zh) * | 2022-03-11 | 2023-09-14 | 北京字跳网络技术有限公司 | 图像增强方法、装置、设备及介质 |
WO2023173552A1 (zh) * | 2022-03-15 | 2023-09-21 | 平安科技(深圳)有限公司 | 目标检测模型的建立方法、应用方法、设备、装置及介质 |
US11631238B1 (en) * | 2022-04-13 | 2023-04-18 | Iangxi Electric Power Research Institute Of State Grid | Method for recognizing distribution network equipment based on raspberry pi multi-scale feature fusion |
CN115131811A (zh) * | 2022-04-24 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 目标识别及模型训练方法、装置、设备、存储介质 |
CN115063672A (zh) * | 2022-07-13 | 2022-09-16 | 广州科语机器人有限公司 | 基于改进yolox模型的小目标检测方法 |
CN115860139A (zh) * | 2022-12-12 | 2023-03-28 | 中船重工鹏力(南京)大气海洋信息系统有限公司 | 一种基于深度学习的多尺度船舶目标检测方法 |
CN116129239A (zh) * | 2022-12-29 | 2023-05-16 | 天翼云科技有限公司 | 一种小目标检测方法、装置、设备及存储介质 |
CN116524174A (zh) * | 2023-03-13 | 2023-08-01 | 桂林电子科技大学 | 多尺度注意力融合的Faster RCNN的海洋生物检测方法及结构 |
CN116682076A (zh) * | 2023-06-05 | 2023-09-01 | 成都理工大学 | 面向船舶安全监管的多尺度目标检测方法、系统及设备 |
CN116994137A (zh) * | 2023-08-04 | 2023-11-03 | 哈尔滨工业大学 | 一种基于多尺度形变建模和区域精细提取的目标检测方法 |
Non-Patent Citations (5)
Title |
---|
GUO JIANXIN; WANG ZHEN: "Multi-Scale Ship Detection in SAR Images Based on Multiple Attention Cascade Convolutional Neural Networks", 2020 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND INTELLIGENT SYSTEMS (ICVRIS), 21 September 2021 (2021-09-21) * |
ZHANG TIANWEN ZHANG; XIAOLING ZHANG: "Deform-FPN: A Novel FPN with Deformable Convolution for Multi-Scale SAR Ship Detection", IGARSS 2023 - 2023 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, 20 October 2023 (2023-10-20) * |
杨婷: "基于无人机航拍图像的目标检测算法研究", 信息科技辑, 15 February 2024 (2024-02-15) * |
王浩;单文静;方宝富;: "基于多层上下文卷积神经网络的目标检测算法", 模式识别与人工智能, no. 02, 15 February 2020 (2020-02-15) * |
马旗;朱斌;程正东;张杨;: "基于双通道的快速低空无人机检测识别方法", 光学学报, no. 12, 27 August 2019 (2019-08-27) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321923B (zh) | 不同尺度感受野特征层融合的目标检测方法、系统及介质 | |
CN109376589B (zh) | 基于卷积核筛选ssd网络的rov形变小目标识别方法 | |
CN108009518A (zh) | 一种基于快速二分卷积神经网络的层次化交通标识识别方法 | |
CN108806334A (zh) | 一种基于图像的智能船舶身份识别方法 | |
CN104766071B (zh) | 一种应用于无人驾驶汽车的交通灯快速检测算法 | |
CN110348303A (zh) | 一种可搭载于无人艇的辅助水面巡逻系统以及水面监测方法 | |
CN109935080A (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
CN110853025A (zh) | 基于多列残差空洞卷积神经网络的人群密度预测方法 | |
CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
CN109961425A (zh) | 一种动态水的水质识别方法 | |
CN112418028A (zh) | 一种基于深度学习的卫星图像中船舶识别与分割方法 | |
CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
CN117152443B (zh) | 一种基于语义前导指引的图像实例分割方法及系统 | |
CN112580536A (zh) | 一种高位视频车辆及车牌的检测方法及装置 | |
CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
CN113139497B (zh) | 一种水面物体识别的系统、方法及基于5g mec的应用 | |
CN114842524A (zh) | 一种基于不规则显著性像素簇的人脸鉴伪方法 | |
CN117911679B (zh) | 基于图像增强和微小目标识别的船体识别系统及方法 | |
CN117911679A (zh) | 基于图像增强和微小目标识别的船体识别系统及方法 | |
CN116092034A (zh) | 一种基于改进的DeeplabV3+模型的车道线检测方法 | |
CN106909936B (zh) | 一种基于双车辆可变形部件模型的车辆检测方法 | |
CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
CN117677969A (zh) | 一种缺陷检测的方法和装置 | |
CN115359464A (zh) | 基于深度学习的机动车驾驶员危险驾驶行为检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |