CN111950493A - 图像识别方法、装置、终端设备和可读存储介质 - Google Patents
图像识别方法、装置、终端设备和可读存储介质 Download PDFInfo
- Publication number
- CN111950493A CN111950493A CN202010841256.0A CN202010841256A CN111950493A CN 111950493 A CN111950493 A CN 111950493A CN 202010841256 A CN202010841256 A CN 202010841256A CN 111950493 A CN111950493 A CN 111950493A
- Authority
- CN
- China
- Prior art keywords
- feature
- target
- sample
- detection
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 152
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000012360 testing method Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000007499 fusion processing Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000005314 correlation function Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 5
- 238000007689 inspection Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010261 cell growth Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本发明实施例公开了图像识别方法、装置、终端设备和可读存储介质，该方法包括从参考图像中确定N个目标样本单元；根据N个目标样本单元在与参考图像对应的测试图像中确定对应的N个检测单元；并进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；对N个标准样本单元和N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；利用第一特征融合公式对卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理。实现在无相关数据作为训练样本的条件下，快速准确的识别测试图像中的多个目标。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种图像识别方法、装置、终端设备和可读存储介质。
背景技术
当下，电力输送安全环节的安全是尤为重要的。精准高效地识别巡检影像的关键部件是否存在缺陷，是实现电力输送安全保障的必要方法。近几年，随着我国无人机技术的规模化行业应用，输电线路的巡检数据采集速度和精度快速上升，海量巡检影像的分析任务超出了作业班组人员能力和精力的边界。各界专家提出了不少面向依赖前期训练大量缺陷样本的识别算法。但是，目前图像识别算法过度依赖前期训练过程，需要利用大量的相关数据样本对图像识别模型进行训练，并且图像识别结果过于单一，不适用于对输电塔杆中的多个关键部件进行识别。
发明内容
鉴于上述问题，本发明提出一种图像识别方法、装置、终端设备和可读存储介质。
本发明的一个实施例提出一种图像识别方法，该方法包括：
从参考图像中确定N个目标样本单元；
根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；
对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；
对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；
将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；
根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。
进一步的，上述的图像识别方法，所述对所述N个标准样本单元和所述N个标准检测单元进行特征提取，包括：
将所述N个标准样本单元输入至第一特征提取网络；
将所述N个标准检测单元输入至第二特征提取网络；
所述第一特征提取网络和第二特征提取网络之间共享参数。
进一步的，上述的图像识别方法，所述第一特征融合公式如下：
本发明的另一个实施例提出一种图像识别方法，所述获取N个样本特征集和对应的N个检测特征集之后，还包括：
利用所述N个目标样本单元对应的掩模图像集过滤对应的N个样本特征集中的背景，以获取N个目标特征集，各个目标特征集包括T个目标特征子集；
将所述T个目标特征子集和所述T个检测特征子集对应输入至所述卷积层，利用第二特征融合公式对所述卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集；
根据所述第二融合特征集在所述测试图像中确定N个目标对应的识别结果。
进一步的，上述的图像识别方法，所述第二特征融合公式如下：
进一步的，上述的图像识别方法，根据第一融合特征集或第二融合特征集在所述测试图像中确定N个目标对应的识别结果，包括：
根据相应融合特征集在所述测试图像中确定N个目标对应的目标边界框、目标边界框得分和目标的掩模图像；
在各个目标对应K个尺寸的初始边界框时，根据以下公式确定第n个目标第k个尺寸对应的目标边界框的得分：
本发明的再一个实施例提出一种图像识别方法，所述测试图像通过以下方式获取：
根据所述参考图像对应的第一拍摄位置和第一拍摄角度确定所述测试图像的第二拍摄位置和第二拍摄角度；
所述第一拍摄位置与所述第二拍摄位置之间的距离小于等于预设的距离误差阈值，且所述第一拍摄角度与所述第二拍摄角度的之间的角度差值小于等于预设的角度误差阈值。
本发明的又一个实施例提出一种图像识别装置，该装置包括：
样本单元确定模块，用于从参考图像中确定N个目标样本单元；
检测单元确定模块，用于根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；
标准化处理模块，用于对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；
特征提取模块，用于对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；
特征融合模块，用于将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；
目标识别模块，用于根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。
本发明实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序执行上述的图像识别方法。
本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述的图像识别方法。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例提供的一种图像识别方法的流程示意图；
图2示出了本发明实施例提供的一种图像识别过程的过程示意图；
图3示出了本发明实施例提供的另一种高精度的图像识别方法的流程示意图；
图4示出了本发明实施例提供的一种高精度的图像识别过程的过程示意图；
图5示出了本发明实施例提供的一种图像识别装置的结构示意图。
主要元件符号说明：
10-图像识别装置；100-样本单元确定模块；200-检测单元确定模块；300-标准化处理模块；400-特征提取模块；500-特征融合模块；600-目标识别模块；1-参考图像；11-第一目标样本单元；12-第二目标样本单元；2-测试图像；21-第一检测单元；22-第二检测单元；111-第一四维张量；222-第二四维张量；113-第一多维张量；223-第二多维张量；333-第一融合特征集；110-掩模图像集；130-第三多维张量。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
本申请公开的图像识别方法利用图像分割方法从参考图像中分割出目标样本单元，将分割出的目标样本单元作为输入的目标样本，通过输入的目标样本从测试图像中获取目标样本对应的目标，实现在测试图像上快速准确的获取相应的目标。
实施例1
本实施例，参见图1，示出了一种图像识别方法包括以下步骤：
S100：从参考图像中确定N个目标样本单元。
参考图像可以预先获取，并存储于预定位置，在进行图像识别时从预定位置中提取参考图像；参考图像还可以在图像识别时，根据需要输入至图像识别模型中。应当理解，参考图像中至少包括1个待识别的目标，也可以有多个待识别的目标。可以利用图像分割算法，将参考图像中的N个目标分割出来，每一目标对应一个目标样本单元。
S200：根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元。
与参考图像对应的测试图像可以理解为参考图像中的目标与测试图像中待识别的目标是一致的，测试图像中包括N个待识别的目标，参考图像中也包含N个目标样本，通过参考图像中N个目标样本对应的N个目标样本单元在测试图像中确定对应的N个检测单元。示范性的，根据目标样本单元的尺寸，以可以覆盖目标样本单元的正方形尺寸从测试图像中确定对应的N个检测单元，应当理解，根据图像识别的网络结构，正方形尺寸有利于防止后续步骤中尺度变化，影响图像识别的效果。
S300：对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元。
标准化处理包括去均值和目标样本单元扩大。对目标样本单元和检测单元的各个像素点进行去均值处理可以使目标样本单元和检测单元的亮度标准化，在不影响识别目标物体的前提下，还可以凸显目标与背景之间的差异，有助于抵消光线的干扰。目标样本单元扩大是由于在后续步骤中涉及互相关融合特征，需要将目标样本单元和检测单元扩大至预设的尺寸，以防止后续步骤中尺度变化，影响图像识别的效果。
示范性的，经过标准化处理后N个目标样本单元可以通过拼接融合成四维张量N*3*H*W，其中，3代表图像的三个颜色通道红(r)、绿(g)和蓝(b)，H*W代表每一颜色通道中总的像素点。
S400：对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集。
通过预设的第一特征提取网络对N个标准样本单元进行特征提取，以获取N个样本特征集，各个样本特征集包括T个样本特征子集，通过预设的第二特征提取网络对N个标准检测单，以获取与N个样本特征集对应的N个检测特征集，各个检测特征集包括T个检测特征子集。
进一步的，第一特征提取网络和第二特征提取网络之间共享参数。第一特征提取网络和第二特征提取网络可以是相同的特征提取网络，例如，Resnet特征提取网络；第一特征提取网络和第二特征提取网络也可以不同的特征提取网络。应当理解，第一特征提取网络和第二特征提取网络之间共享参数，是基于孪生神经网络实现的特征提取。
S500：将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集。
应当理解，第n个样本特征集是一个多维向量，其中一个维度的数目是T，通过T可以将第n个样本特征集分为T个样本特征子集；第n个检测特征集也是一个多维向量，其中一个维度的数目是T，通过T可以将第n个检测特征集分为T个检测特征子集。将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集。
进一步的，第一特征融合公式如下：
S600：根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。
根据第一融合特征集在测试图像中确定N个目标对应的目标边界框、目标边界框得分和目标的掩模图像。
在各个目标对应K个尺寸的初始边界框时，根据以下公式确定第n个目标第k个尺寸对应的目标边界框的得分：
示范性的，对于第n个目标，可以从K个目标边界框中选取得分最高的目标边界框最为第n个目标的目标边界框。
示范性的，对于第n个目标，可以将K个目标边界框中选取得分最高的目标边界框中对应的目标以掩模图像的形式进行显示。
进一步的，参见图2，获取第一融合特征集333包括以下过程：
第一，从参考图像1中确定2个目标样本单元：第一目标样本单元11和第二目标样本单元12。
第二，根据第一目标样本单元11和第二目标样本单元12在与所述参考图像1对应的测试图像2中确定对应的2个检测单元：第一检测单元21和第二检测单元22。
第三，对第一目标样本单元11、第二目标样本单元12、第一检测单元21和第二检测单元22进行标准化处理以获取2个标准样本单元和对应的2个标准检测单元，应当理解，2个标准样本单元通过拼接融合成2*3*H*W的第一四维张量111，2个标准检测单元可以融合成2*3*H*W的第二四维张量222。
第四，对第一四维张量111和第二四维张量222进行特征提取，以获取2个样本特征集和对应的2个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集，应当理解，2个样本特征集可以表示为2*T*样本特征子集，以用2*T*样本特征子集表示第一多维张量113，2个检测特征集可以表示为2*T*检测特征子集，以用2*T*检测特征子集表示第二多维张量223。
第五，将T个样本特征子集和T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集333。
本实施例通过从参考图像中确定N个目标样本单元；根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。本实施例在无相关数据作为训练样本的条件下，可以快速准确的识别测试图像中的多个目标，不仅有效减少图像识别模型的前期训练时间，而且可以避免训练数据对图像识别模型的影响；并且可以有效避免相似目标的干扰，准确识别测试图像中的多个目标，具有良好的工程应用价值。
实施例2
进一步的，如图3所示，步骤S400之后还包括：
S700：利用所述N个目标样本单元对应的掩模图像集过滤对应的N个样本特征集中的背景，以获取N个目标特征集，各个目标特征集包括T个目标特征子集。
第n个目标样本单元对应掩模图像需要经过预处理进行剪裁，以确保与第n个目标样本单元本的对应，使用掩模图像时需要降低分辨率至与特征尺寸相同。为了防止在分辨率降低时丢失细节部分，可以利用双线性插值的方法处理掩膜图像，并将所有像素值大于0的像素点设置为1，以获取模图像集。
利用N个掩模图像集过滤对应的N个样本特征集中的背景，以获取N个目标特征集，各个目标特征集包括T个目标特征子集。
S800：将所述T个目标特征子集和所述T个检测特征子集对应输入至所述卷积层，利用第二特征融合公式对所述卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集。
应当理解，第n个目标特征集是一个多维向量，其中一个维度的数目是T，通过T可以将第n个目标特征集分为T个目标特征子集；第n个检测特征集也是一个多维向量，其中一个维度的数目是T，通过T可以将第n个检测特征集分为T个检测特征子集。将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第二特征融合公式对所述卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集。
进一步的，第二特征融合公式如下：
S900：根据所述第二融合特征集在所述测试图像中确定N个目标对应的识别结果。
根据第二融合特征集在测试图像中确定N个目标对应的目标边界框、目标边界框得分和目标的掩模图像。
进一步的，参见图4，获取第二融合特征集330包括以下过程：
第一，从参考图像1中确定2个目标样本单元：第一目标样本单元11和第二目标样本单元12。第二，根据第一目标样本单元11和第二目标样本单元12在与所述参考图像1对应的测试图像2中确定对应的2个检测单元：第一检测单元21和第二检测单元22。第三，对第一目标样本单元11、第二目标样本单元12、第一检测单元21和第二检测单元22进行标准化处理以获取2个标准样本单元和对应的2个标准检测单元，应当理解，2个标准样本单元通过拼接融合成2*3*H*W的第一四维张量111，2个标准检测单元可以融合成2*3*H*W的第二四维张量222。第四，对第一四维张量111和第二四维张量222进行特征提取，以获取2个样本特征集和对应的2个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集，应当理解，2个样本特征集可以表示为2*T*样本特征子集，以用2*T*样本特征子集表示第一多维张量113，2个检测特征集可以表示为2*T*检测特征子集，以用2*T*检测特征子集表示第二多维张量223。
第五，利用第一目标样本单元11和第二目标样本单元12对应的掩模图像集110过滤第一多维张量113中的背景，以获取2*T*目标特征子集，以用2*T*目标特征子集表示第三多维张量130。
第六，将T个目标特征子集和T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第二特征融合公式对卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集330。
实施例3
本实施例，提供一种对输电塔杆中的多个关键部件进行识别的方法。在电力巡检中，一般利用无人机对电塔线路进行巡检，通过对无人机获取的巡检图像进行识别，以确定巡检图像中是否存在关键部件，例如，绝缘子、销钉等弱纹理部件，若存在关键部件，则在获取的巡检图像中确定关键部件在巡检图像中的准确位置，以便后续对关键部件进行缺陷识别。
应当理解，无人机对电塔线路进行巡检的线路一般是不变的，参考图像可能是在某次巡检中获取的巡检图像，保存参考图像，可以用于对后续获取的巡检图像进行识别。
应当理解，在第一拍摄位置，以第一拍摄角度获取的参考图像，可以作为获取后续巡检图像的参考。例如，根据参考图像对应的第一拍摄位置和第一拍摄角度确定测试图像的第二拍摄位置和第二拍摄角度；第一拍摄位置与第二拍摄位置之间的距离小于等于预设的距离误差阈值，且所述第一拍摄角度与所述第二拍摄角度的之间的角度差值小于等于预设的角度误差阈值，以使所述测试图像与所述参考图像的相似度大于预设的相似度阈值。
测试图像与所述参考图像的相似度大于预设的相似度阈值，可以利用参考图像中的目标样本单元获取测试图像中的检测单元的位置先验信息。应当理解，测试图像与所述参考图像的相似度越大，在测试图像中获取的检测单元的位置先验信息越准确。
进一步的，利用本申请实施例中的图像识别方法对参考图像和测试图像进行处理，以在测试图像中确定目标的准确位置。
实施例4
本实施例，参见图5，示出了一种图像识别装置10包括：样本单元确定模块100、检测单元确定模块200、标准化处理模块300、特征提取模块400、特征融合模块500和目标识别模块600。
样本单元确定模块100，用于从参考图像中确定N个目标样本单元；检测单元确定模块200，用于根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；标准化处理模块300，用于对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；特征提取模块400，用于对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；特征融合模块500，用于将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；目标识别模块600，用于根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。
一种图像识别装置还包括：
掩模图像过滤模块，用于利用所述N个目标样本单元对应的掩模图像集过滤对应的N个样本特征集中的背景，以获取N个目标特征集，各个目标特征集包括T个目标特征子集。
特征融合模块，还用于将所述T个目标特征子集和所述T个检测特征子集对应输入至所述卷积层，利用第二特征融合公式对所述卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集。
目标识别模块，还用于根据所述第二融合特征集在所述测试图像中确定N个目标对应的识别结果。
本实施例公开的一种图像识别装置10通过样本单元确定模块100、检测单元确定模块200、标准化处理模块300、特征提取模块400、特征融合模块500和目标识别模块600以及掩模图像过滤模块的配合使用，用于执行上述实施例所述的图像识别方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
应当理解，本申请实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述终端设备执行本申请实施例公开的图像识别方法。
应当理解，本申请实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行权本申请实施例公开的图像识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种图像识别方法，其特征在于，该方法包括：
从参考图像中确定N个目标样本单元；
根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；
对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；
对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；
将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；
根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。
2.根据权利要求1所述的图像识别方法，其特征在于，所述对所述N个标准样本单元和所述N个标准检测单元进行特征提取，包括：
将所述N个标准样本单元输入至第一特征提取网络；
将所述N个标准检测单元输入至第二特征提取网络；
所述第一特征提取网络和第二特征提取网络之间共享参数。
3.根据权利要求1所述的图像识别方法，其特征在于，所述第一特征融合公式如下：
4.根据权利要求1所述的图像识别方法，其特征在于，所述获取N个样本特征集和对应的N个检测特征集之后，还包括：
利用所述N个目标样本单元对应的掩模图像集过滤对应的N个样本特征集中的背景，以获取N个目标特征集，各个目标特征集包括T个目标特征子集；
将所述T个目标特征子集和所述T个检测特征子集对应输入至所述卷积层，利用第二特征融合公式对所述卷积层的各个输入通道获取的目标特征子集和对应的检测特征子集进行特征融合处理，以获取第二融合特征集；
根据所述第二融合特征集在所述测试图像中确定N个目标对应的识别结果。
5.根据权利要求4所述的图像识别方法，其特征在于，所述第二特征融合公式如下：
6.根据权利要求1或4所述的图像识别方法，其特征在于，根据第一融合特征集或第二融合特征集在所述测试图像中确定N个目标对应的识别结果，包括：
根据相应融合特征集在所述测试图像中确定N个目标对应的目标边界框、目标边界框得分和目标的掩模图像；
在各个目标对应K个尺寸的初始边界框时，根据以下公式确定第n个目标第k个尺寸对应的目标边界框的得分：
7.根据权利要求1至5任一项所述的图像识别方法，其特征在于，所述测试图像通过以下方式获取：
根据所述参考图像对应的第一拍摄位置和第一拍摄角度确定所述测试图像的第二拍摄位置和第二拍摄角度；
所述第一拍摄位置与所述第二拍摄位置之间的距离小于等于预设的距离误差阈值，且所述第一拍摄角度与所述第二拍摄角度的之间的角度差值小于等于预设的角度误差阈值。
8.一种图像识别装置，其特征在于，该装置包括：
样本单元确定模块，用于从参考图像中确定N个目标样本单元；
检测单元确定模块，用于根据所述N个目标样本单元在与所述参考图像对应的测试图像中确定对应的N个检测单元；
标准化处理模块，用于对所述N个目标样本单元和所述N个检测单元进行标准化处理以获取N个标准样本单元和对应的N个标准检测单元；
特征提取模块，用于对所述N个标准样本单元和所述N个标准检测单元进行特征提取，以获取N个样本特征集和对应的N个检测特征集，各个样本特征集包括T个样本特征子集，各个检测特征集包括T个检测特征子集；
特征融合模块，用于将所述T个样本特征子集和所述T个检测特征子集对应输入至预设的包括T个输入通道的卷积层，利用第一特征融合公式对所述卷积层的各个输入通道获取的样本特征子集和对应的检测特征子集进行特征融合处理，以获取第一融合特征集；
目标识别模块，用于根据所述第一融合特征集在所述测试图像中确定N个目标对应的识别结果。
9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至7任一项所述的图像识别方法。
10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7任一项所述的图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010841256.0A CN111950493B (zh) | 2020-08-20 | 2020-08-20 | 图像识别方法、装置、终端设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010841256.0A CN111950493B (zh) | 2020-08-20 | 2020-08-20 | 图像识别方法、装置、终端设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950493A true CN111950493A (zh) | 2020-11-17 |
| CN111950493B CN111950493B (zh) | 2024-03-08 |
Family
ID=73358564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010841256.0A Active CN111950493B (zh) | 2020-08-20 | 2020-08-20 | 图像识别方法、装置、终端设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950493B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037770A (zh) * | 2017-11-22 | 2018-05-15 | 国网山东省电力公司济宁供电公司 | 基于人工智能的无人机输电线路巡检系统和方法 |
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN110047069A (zh) * | 2019-04-22 | 2019-07-23 | 北京青燕祥云科技有限公司 | 一种图像检测装置 |
| CN110222686A (zh) * | 2019-05-27 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
| CN110532886A (zh) * | 2019-07-31 | 2019-12-03 | 国网江苏省电力有限公司 | 一种基于孪生神经网络的目标检测算法 |
| CN110675423A (zh) * | 2019-08-29 | 2020-01-10 | 电子科技大学 | 一种基于孪生神经网络和注意力模型的无人机跟踪方法 |
| CN110674748A (zh) * | 2019-09-24 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、计算机设备以及可读存储介质 |
| CN110689046A (zh) * | 2019-08-26 | 2020-01-14 | 深圳壹账通智能科技有限公司 | 图像识别方法、装置、计算机装置及存储介质 |
| CN111291648A (zh) * | 2020-01-19 | 2020-06-16 | 广东卓维网络有限公司 | 一种杆塔图像监测系统 |
| CN111325708A (zh) * | 2019-11-22 | 2020-06-23 | 济南信通达电气科技有限公司 | 一种输电线路检测方法和服务器 |
| CN111428539A (zh) * | 2019-01-09 | 2020-07-17 | 成都通甲优博科技有限责任公司 | 目标跟踪方法及装置 |
| CN111460967A (zh) * | 2020-03-27 | 2020-07-28 | 北京百度网讯科技有限公司 | 一种违法建筑识别方法、装置、设备及存储介质 |
| CN111539316A (zh) * | 2020-04-22 | 2020-08-14 | 中南大学 | 基于双注意力孪生网络的高分遥感影像变化检测方法 |
-
2020
- 2020-08-20 CN CN202010841256.0A patent/CN111950493B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108037770A (zh) * | 2017-11-22 | 2018-05-15 | 国网山东省电力公司济宁供电公司 | 基于人工智能的无人机输电线路巡检系统和方法 |
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN111428539A (zh) * | 2019-01-09 | 2020-07-17 | 成都通甲优博科技有限责任公司 | 目标跟踪方法及装置 |
| CN110047069A (zh) * | 2019-04-22 | 2019-07-23 | 北京青燕祥云科技有限公司 | 一种图像检测装置 |
| CN110222686A (zh) * | 2019-05-27 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 物体检测方法、装置、计算机设备和存储介质 |
| CN110532886A (zh) * | 2019-07-31 | 2019-12-03 | 国网江苏省电力有限公司 | 一种基于孪生神经网络的目标检测算法 |
| CN110689046A (zh) * | 2019-08-26 | 2020-01-14 | 深圳壹账通智能科技有限公司 | 图像识别方法、装置、计算机装置及存储介质 |
| CN110675423A (zh) * | 2019-08-29 | 2020-01-10 | 电子科技大学 | 一种基于孪生神经网络和注意力模型的无人机跟踪方法 |
| CN110674748A (zh) * | 2019-09-24 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 图像数据处理方法、装置、计算机设备以及可读存储介质 |
| CN111325708A (zh) * | 2019-11-22 | 2020-06-23 | 济南信通达电气科技有限公司 | 一种输电线路检测方法和服务器 |
| CN111291648A (zh) * | 2020-01-19 | 2020-06-16 | 广东卓维网络有限公司 | 一种杆塔图像监测系统 |
| CN111460967A (zh) * | 2020-03-27 | 2020-07-28 | 北京百度网讯科技有限公司 | 一种违法建筑识别方法、装置、设备及存储介质 |
| CN111539316A (zh) * | 2020-04-22 | 2020-08-14 | 中南大学 | 基于双注意力孪生网络的高分遥感影像变化检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| BO FANG 等: "Dual Learning-Based Siamese Framework for Change Detection Using Bi-Temporal VHR Optical Remote Sensing Images", 《REMOTE SENSING》, pages 1 - 24 * |
| 叶文: "融合地理位置信息的电力杆塔检测", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 01, pages 042 - 1195 * |
| 吴华 等: "输电杆塔弱纹理部件的可迁移式检测", 《仪器仪表学报》, vol. 42, no. 6, pages 172 - 178 * |
| 王祖武 等: "基于视觉导航的输电线杆塔方位确定方法", 《激光与光电子学进展》, vol. 56, no. 8, pages 1 - 9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950493B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| EP2719754B1 (en) | Image processing apparatus, image processing method and image processing system | |
| CN109583357B (zh) | 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 | |
| CN108846404B (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
| CN111768388A (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
| CN111539330B (zh) | 一种基于双svm多分类器的变电站数显仪表识别方法 | |
| CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115578585A (zh) | 工业图像异常检测方法、系统、计算机设备和存储介质 | |
| CN116596875A (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN111539456A (zh) | 一种目标识别方法及设备 | |
| CN115641345A (zh) | 一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法 | |
| Avola et al. | A shape comparison reinforcement method based on feature extractors and f1-score | |
| CN111325265A (zh) | 一种针对篡改图像的检测方法及装置 | |
| CN114972202A (zh) | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 | |
| CN114266805A (zh) | 一种用于无人机目标跟踪的孪生区域建议网络模型 | |
| CN112949453A (zh) | 烟火检测模型的训练方法、烟火检测方法及设备 | |
| CN111079585B (zh) | 图像增强结合伪孪生卷积神经网络的行人再识别方法 | |
| CN111950493B (zh) | 图像识别方法、装置、终端设备和可读存储介质 | |
| CN116310902A (zh) | 一种基于轻量级神经网络的无人机目标检测方法及系统 | |
| CN116385477A (zh) | 一种基于图像分割的杆塔图像配准方法 | |
| US11645827B2 (en) | Detection method and device for assembly body multi-view change based on feature matching | |
| Zhang et al. | Reading various types of pointer meters under extreme motion blur | |
| Fatichah et al. | Optical flow feature based for fire detection on video data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |