CN112597887A - 一种目标识别方法及装置 - Google Patents
一种目标识别方法及装置 Download PDFInfo
- Publication number
- CN112597887A CN112597887A CN202011530486.1A CN202011530486A CN112597887A CN 112597887 A CN112597887 A CN 112597887A CN 202011530486 A CN202011530486 A CN 202011530486A CN 112597887 A CN112597887 A CN 112597887A
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- target
- image obtained
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003062 neural network model Methods 0.000 claims abstract description 114
- 238000005070 sampling Methods 0.000 claims description 255
- 238000012545 processing Methods 0.000 claims description 125
- 238000012549 training Methods 0.000 claims description 96
- 230000035945 sensitivity Effects 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 13
- 238000007499 fusion processing Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010893 paper waste Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种目标识别方法、装置、设备及存储介质,该方法通过将待识别图像输入到第一神经网络模型,得到第一神经网络模型输出的待识别图像上包含目标的候选区域,实现对目标的定位,在此基础上,将候选区域输入到清晰重建模型,得到清晰重建模型输出的目标图像,使目标的细节更加清晰,将包含更加清晰的目标的图像输入到第二神经网络模型,得到图像的类别及位置信息,使目标类别和位置信息的识别更加准确,保证对小物体的识别的准确性。
Description
技术领域
本申请涉及目标检测领域,更具体地说,涉及一种目标识别方法及装置。
背景技术
物体识别是机器视觉领域中一个非常重要的研究课题,它是图像分割、物体追踪、行为动作分析识别等高级任务的基础技术。目前,多采用深度学习模型进行物体识别。
但是,现有的深度学习模型,一般应用于识别图像中的中型或大型物体,其对小物体(如,落叶、废纸、水瓶等)的识别效果不佳。
因此,亟需一种对小物体进行识别的方法。
发明内容
有鉴于此,本申请提供了一种目标识别方法及装置,用于达到提高对小物体进行识别的准确性的目的。
为了实现上述目的,现提出的方案如下:
一种目标识别方法,包括:
获取待识别图像;
将所述待识别图像输入到预先训练的第一神经网络模型,得到所述第一神经网络模型输出的所述待识别图像上包含目标的候选区域,所述第一神经网络模型由标注有目标的真实框位置的训练图像训练得到;
将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型;
将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息,所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
所述清晰重建模型的训练过程,包括:
获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像;
将所述模糊训练图像输入到清晰重建模型,得到所述清晰重建模型输出的目标清晰图像;
判断第一损失函数值是否在第一设定范围内,所述第一损失函数值表征所述清晰训练图像与所述清晰重建模型输出的目标清晰图像之间的差异;
若是,则对所述目标清晰图像进行处理,得到与所述模糊训练图像大小一致的目标模糊图像;
判断第二损失函数值是否在第二设定范围内,所述第二损失函数值表征所述模糊训练图像与目标模糊图像之间的差异;
若是,则结束训练;
若否,则调整所述清晰重建模型的参数,并返回执行所述获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像的步骤。
所述将所述待识别图像输入到预先训练的第一神经网络模型,得到所述待识别图像上包含目标的候选区域,包括:
将所述待识别图像输入到预先训练的第一神经网络模型,由所述第一神经网络模型对所述初始图像进行n次下采样,得到每次下采样得到的图像,所述n为大于零的整数;
对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像;
对所述融合图像进行处理,得到所述待识别图像上包含目标的候选区域。
所述对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像,包括:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到融合图像。
所述对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像,包括:
按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像;
按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像;
将所述第n次下采样的图像对应的融合图像的强化图像作为与所述第n次下采样得到的图像大小一致的融合图像。
所述按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像,包括:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像;
通过以下步骤得到第i次下采样得到的图像对应的融合图像,i={2,3,…,n-2}:
对第i-1次下采样得到的图像进行第一卷积运算处理,得到与所述第i次下采样得到的图像大小一致的图像,作为第三待处理图像;
将所述第i次下采样得到的图像与所述第三待处理图像进行堆叠,得到第四待处理图像;
所述第四待处理图像与所述第i+1次下采样得到的图像对应的融合图像进行堆叠,得到第五处理图像;
对所述第五待处理图像进行第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像;
通过以下步骤得到第1次下采样得到的图像对应的融合图像:
将第2次下采样得到的图像对应的融合图像上采样得到的图像,与第1次下采样得到的图像进行堆叠,得到第六待处理图像,对所述第六待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像。
所述按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像,包括:
通过以下步骤对所述第1次下采样得到的图像对应的融合图像进行强化处理:
将所述第2次下采样得到的图像对应的融合图像上采样得到的图像,与所述第1次下采样得到的图像对应的融合图像进行堆叠,得到第七待处理图像,对所述第七待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第i次下采样得到的图像对应的融合图像进行强化处理,i={2,3,…,n-2}:
将所述第i-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第八待处理图像,将所述第八待处理图像与所述第i次下采样得到的图像对应的融合图像进行堆叠,得到第九待处理图像;
将所述第i+1次下采样得到的图像对应的融合图像上采样得到的图像,与所述第九待处理图像进行堆叠,得到第十待处理图像,对所述第十待处理图像进行所述第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第n次下采样得到的图像对应的融合图像进行强化处理:
将所述第n-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第十一待处理图像,将所述第十一待处理图像与所述第n次下采样得到的图像对应的融合图像进行堆叠,得到第十二待处理图像;
对所述第十二待处理图像进行所述第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像的强化图像。
所述将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息,包括:
对所述目标图像进行位置敏感计算,得到位置待回归图像;
将所述位置待回归图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述位置待回归图像在所述待识别图像中的位置信息;
对所述目标图像进行分类敏感计算,得到待分类图像;
将所述待分类图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述待分类图像的类别。
所述对所述目标图像进行位置敏感计算,得到位置待回归图像,包括:
将所述目标图像分别输入到三个卷积层,得到三个卷积层分别输出的特征图,分别表示为第一特征图、第二特征图和第三特征图;
将所述第一特征图与所述第二特征图进行转置相乘,得到二维位置敏感图;
按照第一转换方式,将所述二维位置敏感图转换为第一三维位置敏感图,并按照第二转换方式,将所述二维位置敏感图转换为第二三维位置敏感图;
将所述第三特征图、所述第一三维位置敏感图及所述第二三维位置敏感图进行堆叠,得到第三三维位置敏感图,对所述第三三维位置敏感图进行卷积运算处理,得到目标位置敏感图,将所述目标位置敏感图与所述目标图像相乘,得到位置待回归图像。
所述对所述目标图像进行分类敏感计算,得到待分类图像,包括:
将所述目标图像分别输入到两个个卷积层,得到两个卷积层分别输出的特征图,分别表示为第四特征图和第五特征图;
对所述第四特征图和所述第五特征图进行池化计算和变换处理,得到第六特征图;
对所述第四特征图进行转置处理,得到第七特征图,将所述第七特征图与所述第五特征图进行相乘,得到二维分类敏感图;
按照第三转换方式,将所述二维分类敏感图转换为第一三维分类敏感图,并按照第四转换方式,将所述二维分类敏感图转换为第二三维分类敏感图;
将所述第六特征图、所述第一三维分类敏感图及所述第二三维分类敏感图进行堆叠,得到第三三维分类敏感图,对所述第三三维分类敏感图进行卷积运算处理及变换处理,得到目标分类敏感图,将所述目标分类敏感图与所述目标图像相乘,得到待分类图像。
一种目标识别装置,包括:
获取模块,用于获取待识别图像;
第一识别模块,用于将所述待识别图像输入到预先训练的第一神经网络模型,得到所述第一神经网络模型输出的所述待识别图像上包含目标的候选区域,所述第一神经网络模型由标注有目标的真实框位置的训练图像训练得到;
清晰重建模块,用于将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型;
第二识别模块,用于将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息,所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
所述装置还包括:清晰重建模型训练模块,用于:
获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像;
将所述模糊训练图像输入到清晰重建模型,得到所述清晰重建模型输出的目标清晰图像;
判断第一损失函数值是否在第一设定范围内,所述第一损失函数值表征所述清晰训练图像与所述清晰重建模型输出的目标清晰图像之间的差异;
若是,则对所述目标清晰图像进行处理,得到与所述模糊训练图像大小一致的目标模糊图像;
判断第二损失函数值是否在第二设定范围内,所述第二损失函数值表征所述模糊训练图像与目标模糊图像之间的差异;
若是,则结束训练;
若否,则调整所述清晰重建模型的参数,并返回执行所述获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像的步骤。
所述第一识别模块,具体用于:
将所述待识别图像输入到预先训练的第一神经网络模型,由所述第一神经网络模型对所述初始图像进行n次下采样,得到每次下采样得到的图像,所述n为大于零的整数;
对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像;
对所述融合图像进行处理,得到所述待识别图像上包含目标的候选区域。
所述第一识别模块,具体用于:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到融合图像。
所述第一识别模块,具体用于:
按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像;
按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像;
将所述第n次下采样的图像对应的融合图像的强化图像作为与所述第n次下采样得到的图像大小一致的融合图像。
所述第一识别模块,具体用于:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像;
通过以下步骤得到第i次下采样得到的图像对应的融合图像,i={2,3,…,n-2}:
对第i-1次下采样得到的图像进行第一卷积运算处理,得到与所述第i次下采样得到的图像大小一致的图像,作为第三待处理图像;
将所述第i次下采样得到的图像与所述第三待处理图像进行堆叠,得到第四待处理图像;
所述第四待处理图像与所述第i+1次下采样得到的图像对应的融合图像进行堆叠,得到第五处理图像;
对所述第五待处理图像进行第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像;
通过以下步骤得到第1次下采样得到的图像对应的融合图像:
将第2次下采样得到的图像对应的融合图像上采样得到的图像,与第1次下采样得到的图像进行堆叠,得到第六待处理图像,对所述第六待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像。
所述第一识别模块,具体用于:
通过以下步骤对所述第1次下采样得到的图像对应的融合图像进行强化处理:
将所述第2次下采样得到的图像对应的融合图像上采样得到的图像,与所述第1次下采样得到的图像对应的融合图像进行堆叠,得到第七待处理图像,对所述第七待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第i次下采样得到的图像对应的融合图像进行强化处理,i={2,3,…,n-2}:
将所述第i-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第八待处理图像,将所述第八待处理图像与所述第i次下采样得到的图像对应的融合图像进行堆叠,得到第九待处理图像;
将所述第i+1次下采样得到的图像对应的融合图像上采样得到的图像,与所述第九待处理图像进行堆叠,得到第十待处理图像,对所述第十待处理图像进行所述第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第n次下采样得到的图像对应的融合图像进行强化处理:
将所述第n-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第十一待处理图像,将所述第十一待处理图像与所述第n次下采样得到的图像对应的融合图像进行堆叠,得到第十二待处理图像;
对所述第十二待处理图像进行所述第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像的强化图像。
所述第二识别模块,具体用于:
对所述目标图像进行位置敏感计算,得到位置待回归图像;
将所述位置待回归图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述位置待回归图像在所述待识别图像中的位置信息;
对所述目标图像进行分类敏感计算,得到待分类图像;
将所述待分类图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述待分类图像的类别。
所述第二识别模块,具体用于:
将所述目标图像分别输入到三个卷积层,得到三个卷积层分别输出的特征图,分别表示为第一特征图、第二特征图和第三特征图;
将所述第一特征图与所述第二特征图进行转置相乘,得到二维位置敏感图;
按照第一转换方式,将所述二维位置敏感图转换为第一三维位置敏感图,并按照第二转换方式,将所述二维位置敏感图转换为第二三维位置敏感图;
将所述第三特征图、所述第一三维位置敏感图及所述第二三维位置敏感图进行堆叠,得到第三三维位置敏感图,对所述第三三维位置敏感图进行卷积运算处理,得到目标位置敏感图,将所述目标位置敏感图与所述目标图像相乘,得到位置待回归图像。
所述第二识别模块,具体用于:
将所述目标图像分别输入到两个个卷积层,得到两个卷积层分别输出的特征图,分别表示为第四特征图和第五特征图;
对所述第四特征图和所述第五特征图进行池化计算和变换处理,得到第六特征图;
对所述第四特征图进行转置处理,得到第七特征图,将所述第七特征图与所述第五特征图进行相乘,得到二维分类敏感图;
按照第三转换方式,将所述二维分类敏感图转换为第一三维分类敏感图,并按照第四转换方式,将所述二维分类敏感图转换为第二三维分类敏感图;
将所述第六特征图、所述第一三维分类敏感图及所述第二三维分类敏感图进行堆叠,得到第三三维分类敏感图,对所述第三三维分类敏感图进行卷积运算处理及变换处理,得到目标分类敏感图,将所述目标分类敏感图与所述目标图像相乘,得到待分类图像。
一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如上述任一项所述的目标识别方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的目标识别方法。
从上述的技术方案可以看出,通过将所述待识别图像输入到第一神经网络模型,得到第一神经网络模型输出的待识别图像上包含目标的候选区域,实现对目标的定位,在此基础上,将候选区域输入到清晰重建模型,得到清晰重建模型输出的目标图像,使目标的细节更加清晰,将包含更加清晰的目标的图像输入到第二神经网络模型,得到图像的类别及位置信息,使目标类别和位置信息的识别更加准确,保证对小物体的识别的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例1提供的一种目标识别方法的流程示意图;
图2为本申请实施例2提供的一种目标识别方法的流程示意图;
图3为本申请实施例3提供的一种目标识别方法的流程示意图;
图4为本申请实施例4提供的一种目标识别方法的流程示意图;
图5为本申请实施例5提供的一种目标识别方法的流程示意图;
图6为本申请实施例公开的一种目标识别装置的逻辑结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,为本申请实施例1提供的一种目标识别方法的流程示意图,该方法可以应用于电子设备,本申请对电子设备的产品类型不做限定,如图1所示,该方法可以包括但并不局限于以下步骤:
步骤S11、获取待识别图像。
本实施例中,待识别图像可以为但不局限于初始图像,即未经过处理的图像。可选的,初始图像可以是采集装置对设定区域所采集的图像,也可以是通过其它方式、渠道获取的包含目标的图像,如用户上传、网络下载等。
当然,待识别图像也可以为:对初始图像进行压缩得到的图像。
步骤S12、将所述待识别图像输入到预先训练的第一神经网络模型,得到所述第一神经网络模型输出的所述待识别图像上包含目标的候选区域。
在本实施例中,包含目标的候选区域为目标在待识别图像中可能存在的位置。
所述第一神经网络模型由标注有目标的真实框位置的训练图像训练得到。
可以理解的是,由标注有目标的真实框位置的训练图像训练第一神经网络模型,能够保证训练得到的第一神经网络模型准确的检测出图像上包含目标的候选区域。
第一神经网络模型输出的待识别图像上包含目标的候选区域的准确度同样也依赖于对第一神经网络模型的训练精度,训练精度越高,第一神经网络模型输出的待识别图像上包含目标的候选区域与真实框位置的重合度越高。
本实施例中,第一神经网络模型可以包括但不局限于:下采样层、卷积层、归一化函数和激活函数构成。具体地,初始图像输入到第一神经网络模型,下采样层可以对初始图像进行n次下采样,获得第n次下采样得到的图像,所述n为大于零的整数。第n次下采样得到的图像经过卷积层、归一化函数和激活函数的处理后,得到所述待识别图像上包含目标的候选区域。
本实施例中,n可以根据需要进行设置,在本申请中不做限制。例如,n可以为4,在初始图像为608x608x3的图像时,对初始图像进行4次下采样,第1次下采样得到大小为304x304的图像,第2次下采样得到大小为152x152的图像,第3次下采样得到大小为76x76的图像,第4次下采样得到大小为38x38的图像。
步骤S13、将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型。
本实施例中,清晰重建模型可以为但不局限于神经网络模型。在清晰重建模型为神经网络模型时,清晰重建模型可以由不同清晰度的训练图像对训练得到。
在清晰重建模型为神经网络模型的情况下,清晰重建模型的训练过程,可以包括:
S131、获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像。
S132、将所述模糊训练图像输入到清晰重建模型,得到所述清晰重建模型输出的目标清晰图像;
S133、判断第一损失函数值是否在第一设定范围内,所述第一损失函数值表征所述清晰训练图像与所述清晰重建模型输出的目标清晰图像之间的差异。
若是,则执行步骤S134。
S134、对所述目标清晰图像进行处理,得到与所述模糊训练图像大小一致的目标模糊图像。
S135、判断第二损失函数值是否在第二设定范围内,所述第二损失函数值表征所述模糊训练图像与目标模糊图像之间的差异。
若是,则执行步骤S136;若否,则执行步骤S137。
S136、结束训练;
S137、调整所述清晰重建模型的参数,并返回执行步骤S131。
当然,在待识别图像为对初始图像进行下采样得到的图像,且初始图像的清晰度满足设定要求的情况下,清晰重建模型可以为具备投射回初始图像能力的模型。具体地,将所述候选区域输入到清晰重建模型,由清晰重建模型将候选区域投射回初始图像,获得候选区域在初始图像上对应的区域,作为目标图像。
在待识别图像为初始图像时,可以直接将候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像。目标图像的清晰度高于候选区域的清晰度。
在待识别图像为对初始图像进行n次下采样得到的图像时,将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,可以包括:对候选区域进行还原处理,得到还原图像,将还原图像输入到清晰重建模型,得到清晰重建模型输出的目标图像。例如,在初始图像为边长为608的图像时,初始图像经过4次下采样,得到边长为38的图像F,若图像F上坐标(8,15)处有物体,对坐标(8,15)的候选区域进行还原处理即8乘以16,15乘以16,得到以(128,240)为中心,边长为16的还原图像。
步骤S14、将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息。
所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
可以理解的是,由标注有目标的类别信息及位置信息的训练图像训练第二神经网络模型,能够保证训练得到的第二神经网络模型准确的识别出图像的类别及图像的位置信息。
第二神经网络模型输出的目标图像的类别及目标图像在待识别图像中的位置信息的准确度同样也依赖于第二神经网络模型的训练精度,训练精度越高,第二神经网络模型输出的类别及位置信息越准确。
通过将所述待识别图像输入到第一神经网络模型,得到第一神经网络模型输出的待识别图像上包含目标的候选区域,实现对目标的定位,在此基础上,将候选区域输入到清晰重建模型,得到清晰重建模型输出的目标图像,使目标的细节更加清晰,将包含更加清晰的目标的图像输入到第二神经网络模型,得到图像的类别及位置信息,使目标类别和位置信息的识别更加准确,保证对小物体的识别的准确性。
作为本申请另一可选实施例,参照图2,为本申请提供的一种目标识别方法实施例2的流程图,本实施例主要是对上述实施例1描述的目标识别方法的细化方案,如图2所示,该方法可以包括但并不局限于以下步骤:
步骤S21、获取待识别图像。
步骤S21的详细过程可以参见实施例1中步骤S11的相关介绍,在此不再赘述。
步骤S22、将所述待识别图像输入到预先训练的第一神经网络模型,由所述第一神经网络模型对所述初始图像进行n次下采样,得到每次下采样得到的图像,所述n为大于零的整数。
步骤S23、对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像。
本实施例中,对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,能够使第n次下采样得到的图像融合浅层图像信息,实现下采样的等价变化,减少图像信息丢失。
步骤S24、对所述融合图像进行处理,得到所述待识别图像上包含目标的候选区域。
本实施例中,对融合图像进行处理可以包括但不局限于:对融合图像进行卷积运算处理、归一化函数计算及激活函数计算。
对融合图像进行处理,能够减少图像信息丢失,在减少图像信息丢失的基础上,能够提高待识别图像上包含目标的候选区域的精确度。
步骤S22-S23为实施例1中步骤S12的一种具体实施方式。
步骤S25、将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型。
步骤S26、将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息。
所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
步骤S25-S26的详细过程可以参见实施例1中步骤S13-S14的相关介绍,在此不再赘述。
本实施例中,通过对所述初始图像进行n次下采样,得到每次下采样得到的图像,对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像,能够减少下采样过程中图像信息的丢失,在减少图像信息丢失的基础上,能够提高待识别图像上包含目标的候选区域的精确度,进而提高目标图像类别及位置信息识别的精确度。
作为本申请另一可选实施例,参照图3,为本申请提供的一种目标识别方法实施例3的流程图,本实施例主要是对上述实施例2描述的目标识别方法的细化方案,如图3所示,该方法可以包括但并不局限于以下步骤:
步骤S31、获取待识别图像。
步骤S32、将所述待识别图像输入到预先训练的第一神经网络模型,由所述第一神经网络模型对所述初始图像进行n次下采样,得到每次下采样得到的图像,所述n为大于零的整数。
步骤S31-S32的详细过程可以参见实施例2中步骤S21-S22的相关介绍,在此不再赘述。
步骤S33、对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像。
步骤S34、将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像。
步骤S35、对所述第二待处理图像进行第二卷积运算处理,得到融合图像。
需要说明的是,融合图像包含与第n-1次下采样得到的图像相关的信息及与第n次下采样得到的图相关的信息。
步骤S33-S35为实施例2中步骤S23的一种具体实施方式。
步骤S36、对所述融合图像进行处理,得到所述待识别图像上包含目标的候选区域。
步骤S37、将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型。
步骤S38、将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息。
所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
步骤S36-S38的详细过程可以参见实施例2中步骤S24-S26的相关介绍,在此不再赘述。
作为本申请另一可选实施例,参照图4,为本申请提供的一种目标识别方法实施例4的流程图,本实施例主要是对上述实施例2描述的目标识别方法的细化方案,如图4所示,该方法可以包括但并不局限于以下步骤:
步骤S41、获取待识别图像。
步骤S42、将所述待识别图像输入到预先训练的第一神经网络模型,由所述第一神经网络模型对所述初始图像进行n次下采样,得到每次下采样得到的图像,所述n为大于零的整数。
步骤S41-S42的详细过程可以参见实施例2中步骤S21-S22的相关介绍,在此不再赘述。
步骤S43、按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像。
本实施例中,按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像的过程,可以包括:
S431、对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
S432、将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
S433、对所述第二待处理图像进行第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像;
S434、通过以下步骤得到第i次下采样得到的图像对应的融合图像,i={2,3,…,n-2}:
对第i-1次下采样得到的图像进行第一卷积运算处理,得到与所述第i次下采样得到的图像大小一致的图像,作为第三待处理图像;
将所述第i次下采样得到的图像与所述第三待处理图像进行堆叠,得到第四待处理图像;
所述第四待处理图像与所述第i+1次下采样得到的图像对应的融合图像进行堆叠,得到第五处理图像;
对所述第五待处理图像进行第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像;
S435、通过以下步骤得到第1次下采样得到的图像对应的融合图像:
将第2次下采样得到的图像对应的融合图像上采样得到的图像,与第1次下采样得到的图像进行堆叠,得到第六待处理图像,对所述第六待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像。
现举例对步骤S431-S435进行说明,例如,第一神经网络模型对初始图像进行4次下采样,得到每次下采样得到的图像,分别表示为p1,p2,p3,p4,p1,p2,p3,p4的尺度分别是304x304,152x152,76x76,38x38,虽然4次下采样在形式上是等比下降,但因为是经过多层卷积运算,实际上并不能保证等比性,即p4中的a物体,不完全等价p1中a物体的1/4。为了解决上述问题,p3经过一层卷积运算后与p4做堆叠,堆叠得到的图像经过一个卷积层后获得p4’;p2经过一层卷积运算后与p3堆叠,堆叠得到的图像再和p4’上采样得到的图像做堆叠,堆叠得到的图像经过卷积运算后获得p3’;p2经过一层卷积运算后与p1做堆叠,堆叠得到的图像再和p3’上采样得到的图像做堆叠,堆叠得到的图像经过卷积运算后获得p2’;p1和p2’上采样得到的图像做堆叠,堆叠的图像经过卷积运算后获得p1’。
步骤S44、按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像。
需要说明的是,第n次下采样的图像对应的融合图像的强化图像包含与第n次下采样的图像相关的信息及第1次至第n-1次下采样的图像相关的信息。
本实施例中,按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像的过程,可以包括:
S441、通过以下步骤对所述第1次下采样得到的图像对应的融合图像进行强化处理:
将所述第2次下采样得到的图像对应的融合图像上采样得到的图像,与所述第1次下采样得到的图像对应的融合图像进行堆叠,得到第七待处理图像,对所述第七待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像的强化图像;
S442、通过以下步骤对所述第i次下采样得到的图像对应的融合图像进行强化处理,i={2,3,…,n-2}:
将所述第i-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第八待处理图像,将所述第八待处理图像与所述第i次下采样得到的图像对应的融合图像进行堆叠,得到第九待处理图像;
将所述第i+1次下采样得到的图像对应的融合图像上采样得到的图像,与所述第九待处理图像进行堆叠,得到第十待处理图像,对所述第十待处理图像进行所述第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像的强化图像;
S443、通过以下步骤对所述第n次下采样得到的图像对应的融合图像进行强化处理:
将所述第n-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第十一待处理图像,将所述第十一待处理图像与所述第n次下采样得到的图像对应的融合图像进行堆叠,得到第十二待处理图像;
对所述第十二待处理图像进行所述第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像的强化图像。
以步骤S431-S435的举例对步骤S441-S443进行说明,例如,将p2’上采样得到的图像与p1’做堆叠,堆叠得到的图像经过卷积运算后获得p1”;p1”经过一层卷积运算后与p2’做堆叠,堆叠得到的图像和将p3’上采样得到的图像做堆叠,堆叠得到的图像经过卷积运算后获得p2”,p2”经过一层卷积运算后与p3’做堆叠,堆叠得到的图像和将p4’上采样得到的图像做堆叠,堆叠得到的图像经过卷积运算后获得p3”;p3”经过卷积运算后与p4’堆叠,堆叠得到的图像经过一层卷积运算后得到p4”。
步骤S45、将所述第n次下采样的图像对应的融合图像的强化图像作为与所述第n次下采样得到的图像大小一致的融合图像。
步骤S43-S45为实施例2中步骤S23的一种具体实施方式。
步骤S46、对所述融合图像进行处理,得到所述待识别图像上包含目标的候选区域。
步骤S47、将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型。
步骤S48、将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息。
所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
步骤S46-S48的详细过程可以参见实施例2中步骤S24-S26的相关介绍,在此不再赘述。
本实施例中,通过按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像,及按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像,实现对图像信息双向流动与等价变换,进一步减少图像信息的丢失,进一步提高待识别图像上包含目标的候选区域的精确度,进而提高目标图像类别及位置信息识别的精确度。
作为本申请另一可选实施例,参照图5,为本申请提供的一种目标识别方法实施例5的流程图,本实施例主要是对上述实施例1描述的目标识别方法的细化方案,如图5所示,该方法可以包括但并不局限于以下步骤:
步骤S51、获取待识别图像。
步骤S52、将所述待识别图像输入到预先训练的第一神经网络模型,得到所述第一神经网络模型输出的所述待识别图像上包含目标的候选区域,所述第一神经网络模型由标注有目标的真实框位置的训练图像训练得到。
步骤S53、将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型。
步骤S51-S53的详细过程可以参见实施例1中步骤S11-S13的相关介绍,在此不再赘述。
步骤S54、对所述目标图像进行位置敏感计算,得到位置待回归图像。
本实施例中,对目标图像进行位置敏感计算,建立目标图像中每个像素点与其它像素点之间的位置联系,得到位置待回归图像。
对所述目标图像进行位置敏感计算,得到位置待回归图像的过程,可以包括:
S541、将所述目标图像分别输入到三个卷积层,得到三个卷积层分别输出的特征图,分别表示为第一特征图、第二特征图和第三特征图。
S542、将所述第一特征图与所述第二特征图进行转置相乘,得到二维位置敏感图。
S543、按照第一转换方式,将所述二维位置敏感图转换为第一三维位置敏感图,并按照第二转换方式,将所述二维位置敏感图转换为第二三维位置敏感图。
本实施例中,第一转换方式和第二转换方式为不同的转换方式,两者可以根据需要进行设置,在本申请中不做限制。
S544、将所述第三特征图、所述第一三维位置敏感图及所述第二三维位置敏感图进行堆叠,得到第三三维位置敏感图,对所述第三三维位置敏感图进行卷积运算处理,得到目标位置敏感图,将所述目标位置敏感图与所述目标图像相乘,得到位置待回归图像。
现举例对步骤S541-S544进行说明,例如,若目标图像T是4x4x256,T分别经过3个一层卷积层得到T1(4x4x128),T2(4x4x128),T3(4x4x4),T1与T2转置相乘,得到16x16的位置敏感图A,对位置敏感图A进行按行选取,可以获得4x4x16的敏感图B,对位置敏感图A进行按列选取,可以得到4x4x16的敏感图C,将T3、B、C堆叠,得到4x4x36的空间敏感图D,最后将D经过一个卷积计算,获得4x4x1的E。将E乘以T,得到位置待回归图像。
步骤S55、将所述位置待回归图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述位置待回归图像在所述待识别图像中的位置信息。
步骤S56、对所述目标图像进行分类敏感计算,得到待分类图像。
本实施例中,对目标图像进行分类敏感计算,建立目标图像中每个像素点与其它像素点之间的类别联系,得到待分类图像。
对所述目标图像进行分类敏感计算,得到待分类图像的过程,可以包括:
S561、将所述目标图像分别输入到两个个卷积层,得到两个卷积层分别输出的特征图,分别表示为第四特征图和第五特征图。
S562、对所述第四特征图和所述第五特征图进行池化计算和变换处理,得到第六特征图。
S563、对所述第四特征图进行转置处理,得到第七特征图,将所述第七特征图与所述第五特征图进行相乘,得到二维分类敏感图。
S564、按照第三转换方式,将所述二维分类敏感图转换为第一三维分类敏感图,并按照第四转换方式,将所述二维分类敏感图转换为第二三维分类敏感图。
S565、将所述第六特征图、所述第一三维分类敏感图及所述第二三维分类敏感图进行堆叠,得到第三三维分类敏感图,对所述第三三维分类敏感图进行卷积运算处理及变换处理,得到目标分类敏感图,将所述目标分类敏感图与所述目标图像相乘,得到待分类图像。
现举例对步骤S561-S565进行说明,例如,若目标图像T是4x4x256,T分别经过2个一层卷积层得到T1’(4x4x256),T2’(4x4x256),经过池化计算和变换,得到T3’(1x256x1)。将T1’转置和T2’相乘,得到分类敏感图A’(256x256),将分类敏感图A’的每一行取出,得到1x256x256的B’,将分类敏感图A’的每一列取出来,得到1x256x256的C’,将T3’、B’、C’堆叠,得到1x256x513的D’,D’经过卷积计算和变换,得到1x1x256的E’。将E’乘以T,得到待分类图像。
步骤S57、将所述待分类图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述待分类图像的类别。
本实施例中,通过对所述目标图像进行位置敏感计算,建立目标图像中每个像素点与其它像素点之间的位置联系,及对目标图像进行分类敏感计算,建立目标图像中每个像素点与其它像素点之间的类别联系,将建立位置联系及类别联系的图像分别输入到第二神经网络模型,能够提高图像的类别及位置信息识别的准确性。
下面对本申请实施例提供的目标识别装置进行描述,下文描述的目标识别装置与上文描述的目标识别方法可相互对应参照。
请参见图6,其示出了本申请提供的目标识别装置的一种逻辑结构示意图,目标识别装置包括:获取模块100、第一识别模块200、清晰重建模块300和第二识别模块400。
获取模块100,用于获取待识别图像。
第一识别模块200,用于将所述待识别图像输入到预先训练的第一神经网络模型,得到所述第一神经网络模型输出的所述待识别图像上包含目标的候选区域,所述第一神经网络模型由标注有目标的真实框位置的训练图像训练得到。
清晰重建模块300,用于将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型。
第二识别模块400,用于将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息,所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
本实施例中,上述装置还包括:清晰重建模型训练模块,用于:
获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像;
将所述模糊训练图像输入到清晰重建模型,得到所述清晰重建模型输出的目标清晰图像;
判断第一损失函数值是否在第一设定范围内,所述第一损失函数值表征所述清晰训练图像与所述清晰重建模型输出的目标清晰图像之间的差异;
若是,则对所述目标清晰图像进行处理,得到与所述模糊训练图像大小一致的目标模糊图像;
判断第二损失函数值是否在第二设定范围内,所述第二损失函数值表征所述模糊训练图像与目标模糊图像之间的差异;
若是,则结束训练;
若否,则调整所述清晰重建模型的参数,并返回执行所述获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像的步骤。
本实施例中,所述第一识别模块200,具体可以用于:
将所述待识别图像输入到预先训练的第一神经网络模型,由所述第一神经网络模型对所述初始图像进行n次下采样,得到每次下采样得到的图像,所述n为大于零的整数;
对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像;
对所述融合图像进行处理,得到所述待识别图像上包含目标的候选区域。
所述第一识别模块200,具体可以用于:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到融合图像。
所述第一识别模块200,具体可以用于:
按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像;
按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像;
将所述第n次下采样的图像对应的融合图像的强化图像作为与所述第n次下采样得到的图像大小一致的融合图像。
所述第一识别模块200,具体可以用于:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像;
通过以下步骤得到第i次下采样得到的图像对应的融合图像,i={2,3,…,n-2}:
对第i-1次下采样得到的图像进行第一卷积运算处理,得到与所述第i次下采样得到的图像大小一致的图像,作为第三待处理图像;
将所述第i次下采样得到的图像与所述第三待处理图像进行堆叠,得到第四待处理图像;
所述第四待处理图像与所述第i+1次下采样得到的图像对应的融合图像进行堆叠,得到第五处理图像;
对所述第五待处理图像进行第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像;
通过以下步骤得到第1次下采样得到的图像对应的融合图像:
将第2次下采样得到的图像对应的融合图像上采样得到的图像,与第1次下采样得到的图像进行堆叠,得到第六待处理图像,对所述第六待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像。
所述第一识别模块200,具体可以用于:
通过以下步骤对所述第1次下采样得到的图像对应的融合图像进行强化处理:
将所述第2次下采样得到的图像对应的融合图像上采样得到的图像,与所述第1次下采样得到的图像对应的融合图像进行堆叠,得到第七待处理图像,对所述第七待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第i次下采样得到的图像对应的融合图像进行强化处理,i={2,3,…,n-2}:
将所述第i-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第八待处理图像,将所述第八待处理图像与所述第i次下采样得到的图像对应的融合图像进行堆叠,得到第九待处理图像;
将所述第i+1次下采样得到的图像对应的融合图像上采样得到的图像,与所述第九待处理图像进行堆叠,得到第十待处理图像,对所述第十待处理图像进行所述第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第n次下采样得到的图像对应的融合图像进行强化处理:
将所述第n-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第十一待处理图像,将所述第十一待处理图像与所述第n次下采样得到的图像对应的融合图像进行堆叠,得到第十二待处理图像;
对所述第十二待处理图像进行所述第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像的强化图像。
所述第二识别模块400,具体可以用于:
对所述目标图像进行位置敏感计算,得到位置待回归图像;
将所述位置待回归图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述位置待回归图像在所述待识别图像中的位置信息;
对所述目标图像进行分类敏感计算,得到待分类图像;
将所述待分类图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述待分类图像的类别。
所述第二识别模块400,具体可以用于:
将所述目标图像分别输入到三个卷积层,得到三个卷积层分别输出的特征图,分别表示为第一特征图、第二特征图和第三特征图;
将所述第一特征图与所述第二特征图进行转置相乘,得到二维位置敏感图;
按照第一转换方式,将所述二维位置敏感图转换为第一三维位置敏感图,并按照第二转换方式,将所述二维位置敏感图转换为第二三维位置敏感图;
将所述第三特征图、所述第一三维位置敏感图及所述第二三维位置敏感图进行堆叠,得到第三三维位置敏感图,对所述第三三维位置敏感图进行卷积运算处理,得到目标位置敏感图,将所述目标位置敏感图与所述目标图像相乘,得到位置待回归图像。
所述第二识别模块400,具体可以用于:
将所述目标图像分别输入到两个个卷积层,得到两个卷积层分别输出的特征图,分别表示为第四特征图和第五特征图;
对所述第四特征图和所述第五特征图进行池化计算和变换处理,得到第六特征图;
对所述第四特征图进行转置处理,得到第七特征图,将所述第七特征图与所述第五特征图进行相乘,得到二维分类敏感图;
按照第三转换方式,将所述二维分类敏感图转换为第一三维分类敏感图,并按照第四转换方式,将所述二维分类敏感图转换为第二三维分类敏感图;
将所述第六特征图、所述第一三维分类敏感图及所述第二三维分类敏感图进行堆叠,得到第三三维分类敏感图,对所述第三三维分类敏感图进行卷积运算处理及变换处理,得到目标分类敏感图,将所述目标分类敏感图与所述目标图像相乘,得到待分类图像。
在本申请的另一个实施例中,提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如上述方法实施例1-5中任意一个实施例所介绍的目标识别方法。
在本申请的另一个实施例中,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法实施例1-5中任意一个实施例所介绍的目标识别方法。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种目标识别方法,其特征在于,包括:
获取待识别图像;
将所述待识别图像输入到预先训练的第一神经网络模型,得到所述第一神经网络模型输出的所述待识别图像上包含目标的候选区域,所述第一神经网络模型由标注有目标的真实框位置的训练图像训练得到;
将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型;
将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息,所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
2.根据权利要求1所述的方法,其特征在于,所述清晰重建模型的训练过程,包括:
获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像;
将所述模糊训练图像输入到清晰重建模型,得到所述清晰重建模型输出的目标清晰图像;
判断第一损失函数值是否在第一设定范围内,所述第一损失函数值表征所述清晰训练图像与所述清晰重建模型输出的目标清晰图像之间的差异;
若是,则对所述目标清晰图像进行处理,得到与所述模糊训练图像大小一致的目标模糊图像;
判断第二损失函数值是否在第二设定范围内,所述第二损失函数值表征所述模糊训练图像与目标模糊图像之间的差异;
若是,则结束训练;
若否,则调整所述清晰重建模型的参数,并返回执行所述获取清晰训练图像,对所述清晰训练图像进行处理,得到模糊训练图像的步骤。
3.根据权利要求1所述的方法,其特征在于,所述将所述待识别图像输入到预先训练的第一神经网络模型,得到所述待识别图像上包含目标的候选区域,包括:
将所述待识别图像输入到预先训练的第一神经网络模型,由所述第一神经网络模型对所述初始图像进行n次下采样,得到每次下采样得到的图像,所述n为大于零的整数;
对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像;
对所述融合图像进行处理,得到所述待识别图像上包含目标的候选区域。
4.根据权利要求3所述的方法,其特征在于,所述对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像,包括:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到融合图像。
5.根据权利要求3所述的方法,其特征在于,所述对第n次下采样得到的图像与所述第n次下采样之前下采样得到的图像进行融合处理,得到与所述第n次下采样得到的图像大小一致的融合图像,包括:
按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像;
按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像;
将所述第n次下采样的图像对应的融合图像的强化图像作为与所述第n次下采样得到的图像大小一致的融合图像。
6.根据权利要求5所述的方法,其特征在于,所述按照从第n次下采样得到的图像到所述第1次下采样得到的图像的处理方向,对每次下采样得到的图像与其相邻次采样得到的图像进行融合处理,得到每次下采样的图像对应的融合图像,包括:
对第n-1次下采样得到的图像进行第一卷积运算处理,得到与所述第n次下采样得到的图像大小一致的图像,作为第一待处理图像;
将所述第n次下采样得到的图像与所述第一待处理图像进行堆叠,得到第二待处理图像;
对所述第二待处理图像进行第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像;
通过以下步骤得到第i次下采样得到的图像对应的融合图像,i={2,3,…,n-2}:
对第i-1次下采样得到的图像进行第一卷积运算处理,得到与所述第i次下采样得到的图像大小一致的图像,作为第三待处理图像;
将所述第i次下采样得到的图像与所述第三待处理图像进行堆叠,得到第四待处理图像;
所述第四待处理图像与所述第i+1次下采样得到的图像对应的融合图像进行堆叠,得到第五处理图像;
对所述第五待处理图像进行第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像;
通过以下步骤得到第1次下采样得到的图像对应的融合图像:
将第2次下采样得到的图像对应的融合图像上采样得到的图像,与第1次下采样得到的图像进行堆叠,得到第六待处理图像,对所述第六待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像。
7.根据权利要求5所述的方法,其特征在于,所述按照从所述第1次下采样得到的图像到第n次下采样得到的图像的处理方向,依次对每次采样得到的图像的融合图像进行强化处理,得到第n次下采样的图像对应的融合图像的强化图像,包括:
通过以下步骤对所述第1次下采样得到的图像对应的融合图像进行强化处理:
将所述第2次下采样得到的图像对应的融合图像上采样得到的图像,与所述第1次下采样得到的图像对应的融合图像进行堆叠,得到第七待处理图像,对所述第七待处理图像进行所述第二卷积运算处理,得到所述第1次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第i次下采样得到的图像对应的融合图像进行强化处理,i={2,3,…,n-2}:
将所述第i-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第八待处理图像,将所述第八待处理图像与所述第i次下采样得到的图像对应的融合图像进行堆叠,得到第九待处理图像;
将所述第i+1次下采样得到的图像对应的融合图像上采样得到的图像,与所述第九待处理图像进行堆叠,得到第十待处理图像,对所述第十待处理图像进行所述第二卷积运算处理,得到所述第i次下采样得到的图像对应的融合图像的强化图像;
通过以下步骤对所述第n次下采样得到的图像对应的融合图像进行强化处理:
将所述第n-1次下采样得到的图像对应的融合图像的强化图像进行所述第一卷积运算处理,得到第十一待处理图像,将所述第十一待处理图像与所述第n次下采样得到的图像对应的融合图像进行堆叠,得到第十二待处理图像;
对所述第十二待处理图像进行所述第二卷积运算处理,得到所述第n次下采样得到的图像对应的融合图像的强化图像。
8.根据权利要求1所述的方法,其特征在于,所述将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息,包括:
对所述目标图像进行位置敏感计算,得到位置待回归图像;
将所述位置待回归图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述位置待回归图像在所述待识别图像中的位置信息;
对所述目标图像进行分类敏感计算,得到待分类图像;
将所述待分类图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述待分类图像的类别。
9.根据权利要求8所述的方法,其特征在于,所述对所述目标图像进行位置敏感计算,得到位置待回归图像,包括:
将所述目标图像分别输入到三个卷积层,得到三个卷积层分别输出的特征图,分别表示为第一特征图、第二特征图和第三特征图;
将所述第一特征图与所述第二特征图进行转置相乘,得到二维位置敏感图;
按照第一转换方式,将所述二维位置敏感图转换为第一三维位置敏感图,并按照第二转换方式,将所述二维位置敏感图转换为第二三维位置敏感图;
将所述第三特征图、所述第一三维位置敏感图及所述第二三维位置敏感图进行堆叠,得到第三三维位置敏感图,对所述第三三维位置敏感图进行卷积运算处理,得到目标位置敏感图,将所述目标位置敏感图与所述目标图像相乘,得到位置待回归图像。
10.根据权利要求8所述的方法,其特征在于,所述对所述目标图像进行分类敏感计算,得到待分类图像,包括:
将所述目标图像分别输入到两个个卷积层,得到两个卷积层分别输出的特征图,分别表示为第四特征图和第五特征图;
对所述第四特征图和所述第五特征图进行池化计算和变换处理,得到第六特征图;
对所述第四特征图进行转置处理,得到第七特征图,将所述第七特征图与所述第五特征图进行相乘,得到二维分类敏感图;
按照第三转换方式,将所述二维分类敏感图转换为第一三维分类敏感图,并按照第四转换方式,将所述二维分类敏感图转换为第二三维分类敏感图;
将所述第六特征图、所述第一三维分类敏感图及所述第二三维分类敏感图进行堆叠,得到第三三维分类敏感图,对所述第三三维分类敏感图进行卷积运算处理及变换处理,得到目标分类敏感图,将所述目标分类敏感图与所述目标图像相乘,得到待分类图像。
11.一种目标识别装置,其特征在于,包括:
获取模块,用于获取待识别图像;
第一识别模块,用于将所述待识别图像输入到预先训练的第一神经网络模型,得到所述第一神经网络模型输出的所述待识别图像上包含目标的候选区域,所述第一神经网络模型由标注有目标的真实框位置的训练图像训练得到;
清晰重建模块,用于将所述候选区域输入到清晰重建模型,得到所述清晰重建模型输出的目标图像,所述清晰重建模型为具备提高图像清晰度能力的模型;
第二识别模块,用于将所述目标图像输入到第二神经网络模型,得到所述第二神经网络模型输出的所述目标图像的类别及所述目标图像在所述待识别图像中的位置信息,所述第二神经网络模型由标注有目标的类别信息及位置信息的训练图像训练得到。
12.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至10任一项所述的目标识别方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的目标识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011530486.1A CN112597887B (zh) | 2020-12-22 | 2020-12-22 | 一种目标识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011530486.1A CN112597887B (zh) | 2020-12-22 | 2020-12-22 | 一种目标识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112597887A true CN112597887A (zh) | 2021-04-02 |
CN112597887B CN112597887B (zh) | 2024-05-07 |
Family
ID=75200378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011530486.1A Active CN112597887B (zh) | 2020-12-22 | 2020-12-22 | 一种目标识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112597887B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221925A (zh) * | 2021-06-18 | 2021-08-06 | 北京理工大学 | 一种基于多尺度图像的目标检测方法及装置 |
CN113869292A (zh) * | 2021-12-02 | 2021-12-31 | 智道网联科技(北京)有限公司 | 用于自动驾驶的目标检测方法、装置及设备 |
CN114693912A (zh) * | 2022-03-10 | 2022-07-01 | 山东大学齐鲁医院 | 具有眼球追功能的内镜检查系统、存储介质及设备 |
CN114821513A (zh) * | 2022-06-29 | 2022-07-29 | 威海凯思信息科技有限公司 | 一种基于多层网络的图像处理方法及装置、电子设备 |
WO2024171281A1 (ja) * | 2023-02-14 | 2024-08-22 | 楽天グループ株式会社 | 出力装置、出力方法およびプログラム |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689036A (zh) * | 2017-09-01 | 2018-02-13 | 深圳市唯特视科技有限公司 | 一种基于深度双边学习的实时图像增强方法 |
CN108875486A (zh) * | 2017-09-28 | 2018-11-23 | 北京旷视科技有限公司 | 目标对象识别方法、装置、系统和计算机可读介质 |
KR20190062283A (ko) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치 |
WO2019229119A1 (en) * | 2018-05-29 | 2019-12-05 | Koninklijke Philips N.V. | Deep anomaly detection |
CN111091521A (zh) * | 2019-12-05 | 2020-05-01 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
CN111539884A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于多注意力机制融合的神经网络视频去模糊方法 |
CN111652864A (zh) * | 2020-05-29 | 2020-09-11 | 沈阳铸造研究所有限公司 | 一种基于条件式生成对抗网络的铸件缺陷图像生成方法 |
CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
CN111724312A (zh) * | 2019-03-22 | 2020-09-29 | Tcl集团股份有限公司 | 一种处理图像的方法及终端 |
CN111798424A (zh) * | 2020-06-30 | 2020-10-20 | 广西医准智能科技有限公司 | 一种基于医学图像的结节检测方法、装置及电子设备 |
CN112102177A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于压缩与激励机制神经网络的图像去模糊方法 |
-
2020
- 2020-12-22 CN CN202011530486.1A patent/CN112597887B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689036A (zh) * | 2017-09-01 | 2018-02-13 | 深圳市唯特视科技有限公司 | 一种基于深度双边学习的实时图像增强方法 |
CN108875486A (zh) * | 2017-09-28 | 2018-11-23 | 北京旷视科技有限公司 | 目标对象识别方法、装置、系统和计算机可读介质 |
KR20190062283A (ko) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치 |
WO2019229119A1 (en) * | 2018-05-29 | 2019-12-05 | Koninklijke Philips N.V. | Deep anomaly detection |
CN111724312A (zh) * | 2019-03-22 | 2020-09-29 | Tcl集团股份有限公司 | 一种处理图像的方法及终端 |
CN111091521A (zh) * | 2019-12-05 | 2020-05-01 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
CN111539884A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于多注意力机制融合的神经网络视频去模糊方法 |
CN111652864A (zh) * | 2020-05-29 | 2020-09-11 | 沈阳铸造研究所有限公司 | 一种基于条件式生成对抗网络的铸件缺陷图像生成方法 |
CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
CN111798424A (zh) * | 2020-06-30 | 2020-10-20 | 广西医准智能科技有限公司 | 一种基于医学图像的结节检测方法、装置及电子设备 |
CN112102177A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于压缩与激励机制神经网络的图像去模糊方法 |
Non-Patent Citations (4)
Title |
---|
BAI Y等: "Sod-mtgan: Small object detection via multi-task generative adversarial network", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》, 31 December 2018 (2018-12-31), pages 206 - 221 * |
KUPYN O等: "Deblurgan: Blind motion deblurring using conditional adversarial networks", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2018 (2018-12-31), pages 8183 - 8192 * |
NOH J等: "Better to follow, follow to be better: Towards precise supervision of feature super-resolution for small object detection", 《PROCEEDINGS OF THE IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》, 31 December 2019 (2019-12-31), pages 9725 - 9734 * |
谢江荣等: "用于空中红外目标检测的增强单发多框检测器方法", 《光学学报》, vol. 39, no. 6, 30 June 2019 (2019-06-30), pages 1 - 9 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221925A (zh) * | 2021-06-18 | 2021-08-06 | 北京理工大学 | 一种基于多尺度图像的目标检测方法及装置 |
CN113221925B (zh) * | 2021-06-18 | 2022-11-11 | 北京理工大学 | 一种基于多尺度图像的目标检测方法及装置 |
CN113869292A (zh) * | 2021-12-02 | 2021-12-31 | 智道网联科技(北京)有限公司 | 用于自动驾驶的目标检测方法、装置及设备 |
CN113869292B (zh) * | 2021-12-02 | 2022-03-01 | 智道网联科技(北京)有限公司 | 用于自动驾驶的目标检测方法、装置及设备 |
CN114693912A (zh) * | 2022-03-10 | 2022-07-01 | 山东大学齐鲁医院 | 具有眼球追功能的内镜检查系统、存储介质及设备 |
CN114693912B (zh) * | 2022-03-10 | 2024-03-05 | 山东大学齐鲁医院 | 具有眼球追踪功能的内镜检查系统、存储介质及设备 |
CN114821513A (zh) * | 2022-06-29 | 2022-07-29 | 威海凯思信息科技有限公司 | 一种基于多层网络的图像处理方法及装置、电子设备 |
CN114821513B (zh) * | 2022-06-29 | 2022-09-09 | 威海凯思信息科技有限公司 | 一种基于多层网络的图像处理方法及装置、电子设备 |
WO2024171281A1 (ja) * | 2023-02-14 | 2024-08-22 | 楽天グループ株式会社 | 出力装置、出力方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112597887B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112597887B (zh) | 一种目标识别方法及装置 | |
CN112446378B (zh) | 目标检测方法及装置、存储介质、终端 | |
CN110532920B (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
CN107766894B (zh) | 基于注意力机制和深度学习的遥感图像自然语言生成方法 | |
CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
CN110782420A (zh) | 一种基于深度学习的小目标特征表示增强方法 | |
WO2023070447A1 (zh) | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 | |
CN106295714A (zh) | 一种基于深度学习的多源遥感图像融合方法 | |
CN114565655B (zh) | 一种基于金字塔分割注意力的深度估计方法及装置 | |
CN112365451B (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
CN110163207B (zh) | 一种基于Mask-RCNN船舶目标定位方法及存储设备 | |
CN108764247A (zh) | 基于稠密连接的深度学习物体检测方法及装置 | |
JP2010157118A (ja) | パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム | |
CN112541394A (zh) | 黑眼圈及鼻炎识别方法、系统及计算机介质 | |
CN111985469A (zh) | 一种图像中文字的识别方法、装置及电子设备 | |
CN115311454A (zh) | 一种基于残差特征优化和注意力机制的图像分割方法 | |
Nguyen et al. | On the use of attention in deep learning based denoising method for ancient Cham inscription images | |
US10832413B2 (en) | Curvilinear object segmentation with geometric priors | |
CN114913402B (zh) | 一种深度学习模型的融合方法、装置 | |
CN116704206A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
CN111241986B (zh) | 一种基于端到端关系网络的视觉slam闭环检测方法 | |
CN115294643A (zh) | 一种基于静动结合的模糊手势识别方法、设备及介质 | |
CN109740646B (zh) | 一种图像差异比对方法及其系统、电子装置 | |
CN108986135B (zh) | 一种基于llc与频域残差显著度的目标跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |