CN113033282A - 基于小物体检测的图像识别方法、装置以及介质 - Google Patents
基于小物体检测的图像识别方法、装置以及介质 Download PDFInfo
- Publication number
- CN113033282A CN113033282A CN202011483189.6A CN202011483189A CN113033282A CN 113033282 A CN113033282 A CN 113033282A CN 202011483189 A CN202011483189 A CN 202011483189A CN 113033282 A CN113033282 A CN 113033282A
- Authority
- CN
- China
- Prior art keywords
- image data
- small object
- object detection
- network
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 278
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000013598 vector Substances 0.000 claims abstract description 170
- 238000012549 training Methods 0.000 claims description 76
- 238000013527 convolutional neural network Methods 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000011478 gradient descent method Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 15
- 239000000463 material Substances 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及目标重识别技术领域，具体涉及基于小物体检测的图像识别方法及装置。旨在解决目前通过人力搜索需要大量人力物力的问题，缓解了传统图像算法识别准确性不高的问题。本发明的小物体检测模型，具有共同的主干网络和两个不同的分支网络，在进行目标重识别时，在每个分支中，都会达到一个特征向量，将两个特征向量进行组合，从而形成最终的特征向量，再计算通过小物体检测网络分支确定的候选图像数据的特征向量的相似度，从而得到最终的结果，通过本发明技术方案的方法，能够检测出目标上的小物体，减小目标重识别的搜索范围，获得更高的准确度。相比传统方法能够提高检测速度。
Description
技术领域
本发明涉及目标重识别技术领域，具体涉及一种基于小物体检测的图像识别方法、装置以及计算机可读存储介质。
背景技术
目前，在智能交通领域，随着计算机技术和人工智能技术的飞速发展，图像处理已经被大量应用，道路上的视频监控十分普及，这有利于图像识别技术在交通领域的应用。但是随着监控数据越来越多，想要从中寻找线索往往需要投入大量的人力物力，对视频数据进行比对和搜索。而且通过人眼或者简单的图像识别的方法对视频进行检索准确率也不会很高。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分解决如何在图像识别中缩小搜索范围而更快速更准确地找到目标的技术问题，以避免现有的图像检测搜索范围广、识别准确率低的情况。本发明内容为一种检测跟踪方法、装置以及介质。
第一方面，提供一种基于小物体检测的图像识别方法，包括：根据已标注的图像数据对基于小物体检测的识别模型进行迭代训练；根据所述迭代训练中检测到的小物体的种类，将具有各个所述小物体的种类的已标注的图像数据作为候选图像数据；将待识别的图像数据及所述候选图像数据输入至经过训练的所述基于小物体检测的识别模型中以提取各个图像数据的特征向量；根据提取的所述特征向量将待识别图像数据与所述候选图像数据进行相似度匹配，以获得对应待识别的图像数据的识别结果。
其中，所述基于小物体检测的识别模型包括：ReID卷积神经网络和小物体检测网络；其中，所述ReID卷积神经网络包括：主干网络、头部网络；所述头部网络包括三元组损失和分类损失两个分支；其中，所述小物体检测网络包括：与所述ReID卷积神经网络共用的所述主干网络，并具有小物体检测网络的头部网络；所述小物体检测网络的头部网络包括：回归损失和分类损失两个分支。
其中，根据已标注的图像数据对基于小物体检测的识别模型进行迭代训练，具体包括：每次选择minibatch个已标注的图像数据，提供给所述基于小物体检测的识别模型进行卷积神经网络的迭代训练；每次迭代后，检测是否迭代训练达到预定的迭代次数n；如果否，则根据损失函数计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数，并根据更新了参数的所述基于小物体检测的识别模型进行下一次迭代训练；如果是，则结束所述迭代训练，并通过所述基于小物体检测的识别模型的小物体检测网络，输出在迭代训练中检测到的所有检测框和对应的置信度。
其中，“根据损失函数计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数”，具体包括：基于每次选择的minibatch个已标注的图像数据，分别通过损失函数计算所述ReID卷积神经网络的头部网络的分支损失和所述小物体检测网络的头部网络的分支损失；将两个所述分支损失之和作为所述基于小物体检测的识别模型的总体损失；根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行一次更新；其中，所述ReID卷积神经网络的头部网络的分支损失具体包括：三元损失和ID分类的交叉熵损失；其中，所述小物体检测网络的头部网络的分支损失具体包括：检测框的回归损失和类别的交叉熵损失。
其中，根据所述迭代训练中检测到的小物体的种类，将具有各个所述小物体的种类的已标注的图像数据作为候选图像数据，具体包括：根据所述置信度与预设的阈值的比较，判断对应所述置信度的检测框中的小物体所属的种类；从所有的已标注的图像数据中筛选出包含各个所述小物体的种类的已标注的图像数据作为候选图像数据。
其中，将待识别的图像数据以及所述候选图像数据输入至经过训练的基于小物体检测的识别模型中以提取各个图像数据的特征向量，具体包括：每张图像数据经过共同的所述主干网络后，由所述小物体检测网络提取输入的每个图像数据的第一特征向量，以及由所述ReID卷积神经网络提取输入的每个图像数据的第二特征向量；将每个图像数据的第一特征向量和第二特征向量组合成所述图像数据的最终的特征向量；其中，所有的所述候选图像数据的对应所有的最终的特征向量形成特征向量矩阵。
其中，根据提取的所述特征向量进行相似度匹配，以获得对应待识别的图像数据的识别结果，具体包括：将待识别的图像数据的最终的所述特征向量与所述特征向量矩阵中所有的特征向量，进行相似度计算，以获得待识别的图像数据与每个候选图像数据的相似度分值；根据相似度分值进行排序，确定排序在前N位的相似度分值对应的N个候选图像数据匹配上待识别的图像数据；输出所述候选图像数据的信息作为识别结果；其中，前N位为根据需要预先设定的位次。
第二方面，提供一种基于小物体检测的图像识别装置，包括：训练单元，用于根据已标注的图像数据对基于小物体检测的识别模型进行迭代训练；候选单元，用于根据所述迭代训练中检测到的小物体的种类，将具有各个所述小物体的种类的已标注的图像数据作为候选图像数据；提取单元，用于将待识别的图像数据及所述候选图像数据输入至经过训练的基于小物体检测的识别模型中以提取各个图像数据的特征向量；匹配单元，用于根据提取的所述特征向量将待识别图像数据与所述候选图像数据进行相似度匹配，以获得对应所述图像数据的识别结果。
其中，所述基于小物体检测的识别模型包括：ReID卷积神经网络和小物体检测网络；其中，所述ReID卷积神经网络包括：主干网络、头部网络；所述头部网络包括三元组损失和分类损失两个分支；其中，所述小物体检测网络包括：与所述ReID卷积神经网络共用的所述主干网络，并具有小物体检测网络的头部网络；所述小物体检测网络的头部网络包括：回归损失和分类损失两个分支。
其中，所述训练单元具体执行如下操作：每次选择minibatch个已标注的图像数据，提供给所述基于小物体检测的识别模型进行卷积神经网络的迭代训练；每次迭代后，检测是否迭代训练达到预定的迭代次数n；如果否，则根据计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数，并根据更新了参数的所述基于小物体检测的识别模型进行下一次迭代训练；如果是，则结束所述迭代训练，并通过所述基于小物体检测的识别模型的小物体检测网络，输出在迭代训练中检测到的所有检测框和置信度。
其中，所述训练单元执行“根据计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数”时，具体包括：根据每次选择的minibatch个已标注的图像数据，分别通过损失函数计算所述ReID卷积神经网络的头部网络的分支损失和所述小物体检测网络的头部网络的分支损失；其中，所述ReID卷积神经网络的头部网络的分支损失具体包括：三元损失和ID分类的交叉熵损失；其中，所述小物体检测网络的头部网络的分支损失具体包括：检测框的回归损失和类别的交叉熵损失；将两个所述分支损失之和作为所述基于小物体检测的识别模型的总体损失；根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行一次更新。
其中，候选单元，具体执行如下操作：根据所述置信度与预设的阈值的比较，判断对应所述置信度的检测框中的小物体所属的种类；从所有的已标注的图像数据中筛选出包含各个所述小物体的种类的已标注的图像数据作为候选图像数据。
其中，所述提取单元具体执行如下操作：由所述基于小物体检测的识别模型的小物体检测网络提取输入的每个图像数据的第一特征向量，以及由所述基于小物体检测的识别模型的ReID卷积神经网络提取输入的每个图像数据的第二特征向量；将所述第一特征向量和第二特征向量组合成所述图像数据的最终的特征向量；其中，所有的所述候选图像数据对应所有的最终的特征向量形成特征向量矩阵。
其中，所述匹配单元具体执行如下操作：根据待识别的图像数据的最终的所述特征向量与所述特征向量矩阵中所有的特征向量，计算相似度，以获得待识别的图像数据与候选图像数据的相似度分值；根据相似度分值进行排序，确定排序在前N位的相似度分值对应的N个候选图像数据匹配上待识别的图像数据；输出所述候选图像数据的信息作为识别结果；其中，前N位为根据需要预先设定的位次。
第三方面，提供一种处理装置，包括存储器和处理器，所述存储器中存储有多条程序代码，所述程序代码适于由所述处理器加载并运行以执行第一方面提供的任一项所述的基于小物体检测的图像识别方法。
第四方面，提供一种计算机可读存储介质，其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行第一方面提供的任一项所述的基于小物体检测的图像识别方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
本发明的技术方案在图像识别任务中加入小物体检测，根据训练迭代方式进行图像识别，能够更集中地学习到每一种物体特有的特征，避免了因外观过于相似出现的难以区分目标的情况，有利于加速模型的收敛和准确定位目标；并且，
通过结合小物体检测，由于通过小物体检测筛选出具有相应小物体的候选图像数据而减少了需要进行相似度计算的图像数据，从而使得目标重识别整体的搜索范围大大减小，同样有利于更快更准确地找到想要的目标。从而，克服了通过人力搜索需要耗费大量人力物力和时间的缺陷，缓解了传统图像算法识别繁琐且准确性不高的情况，减少了传统识别方法学习到的特征难以确定的情况。尤其是在视频监控中车辆重识别这类数据极多、实时性要求高的图像处理领域，大大缩减了搜索范围，节省了数据处理的资源消耗。
附图说明
下面参照附图来描述本发明的具体实施方式，附图中：
图1是根据本发明的技术方案的小物体识别方法的一个实施例的流程示意图；
图2是根据本发明的技术方案的小物体识别方法一个应用于车辆重识别中的实施例的示意图；
图3是根据本发明的小物体检测装置的一个实施例的结构框图；
图4是根据本发明的技术方案的图像预处理的一个实施例的示意图；
图5是根据本发明的技术方案的小物体检测的图片状态的一个实施例的示意图
图6、7是根据本发明的技术方案的在终端装置上应用的例子的示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
下面先对需要用到的术语进行解释：
跨镜追踪(ReID)：给定一个监控车辆图像，与数据库中的图片进行比对，检索跨设备下的同一个ID的车辆图片。
下面结合一个应用场景的例子对本发明的实现方式进行具体描述。
以车辆重识别领域为例，通常将所有车辆图片全部作为数据集送入神经网络进行训练迭代，完成学习和识别，这样同样车型等情况下，往往识别时的误识率较高。本发明通过构建具有共同的主干网络和两个不同的分支网络且能进行小物体检测的识别模型，在进行车辆视频的图像识别时，对抓拍到的车辆图片进行图像变换，统一到一个固定的大小后，送入识别模型，经过共同的主干网络之后，进入到车辆ID分类的分支网络和小物体检测的分支网络，在每个分支中，都会得到一个特征向量，将两个特征向量进行组合，从而形成最终的特征向量，再计算特征向量和数据库中存储的图片的特征向量的相似度，按照相似性程度(例如相似度分数)排序，以得到最终的识别结果。
下面结合图1所示本发明的基于小物体检测的图像识别方法的一个实施例的流程示意图，对本发明的实现过程进行介绍。如图1所示，本实施例主要包括以下步骤：
步骤S110，获取待识别的图像数据。
具体地，可以是图像或者说数据预处理，如：检测拍摄的车辆图片中车辆的位置并获得车辆所在位置的区域的图像，以及，对所述图像进行图像变换并统一为固定大小的待识别的所述图像数据。
一个实施方式中，可以从摄像头获取需要识别的图像，也可以通过其他方式，例如图片库或视频库中获取待识别的图像，其中每个图片都包含待识别的图像。其中，在获得所述图像后，可以先对图像进行预处理以便后续操作，例如将图像裁剪为统一大小。
以车辆监控为例，可以对监控视频中或其他拍摄中抓拍到的车辆图片，通过车辆检测算法，确定车的位置并把车辆所在的区域裁剪出来，之后通过图像变换的方式将图片统一到一个固定的大小。
其中，车辆检测算法例如可以采用但不限于Retinanet，yolo算法等。
其中，确定车的位置并把车辆所在的区域裁剪出来，之后可以通过线性插值的方式将图片统一到一个固定的大小。
如图4所示，抓拍到左边包括车辆的大图中，根据车辆检测算法把图中包含车辆的区域裁剪出来(中间车辆图片)，再利用线性插值法将该区域图片统一为256×256大小，作为待识别的图像样本/图像数据。
步骤S120，构建基于小物体检测的识别模型。
一个实施方式中，所述基于小物体检测的识别模型包括：ReID卷积神经网络和小物体检测网络。其中，所述ReID卷积神经网络包括：主干网络、头部网络；所述头部网络包括三元组损失和分类损失两个分支。其中，所述小物体检测网络与所述ReID卷积神经网络共用所述主干网络，并具有小物体检测网络的头部网络；所述小物体检测网络的头部网络包括：回归损失和分类损失两个分支。
进一步，对进行图像识别的所述识别模型，在进行识别或者迭代训练之前，先进行模块的初始化。模型初始化，具体例如：对所述基于小物体检测的识别模型整体进行初始化；其中，共用的所述主干网络通过加载在公共数据集上训练好的参数进行初始化；其中，所述ReID卷积神经网络的头部网络和所述小物体检测网络的头部网络，分别通过参数随机赋值进行初始化。
再进一步，在初始化所述基于小物体检测的识别模型之后，进行模型前向传播，可以获得数据库中存储的已经标注过的图像数据，这类已经标注过的图像数据是经过如前述方式的图像预处理获得的，统一大小的图片(如包含车辆的图片/样本)，由此，可以计算所述ReID卷积神经网络的头部网络的分支损失和所述小物体检测网络的头部网络的分支损失；根据所述两个分支损失确定所述基于小物体检测的识别模型的总体损失。
计算总体损失的例子，主要通过计算损失函数进行。一个优选的方式，所述ReID卷积神经网络的头部网络的分支损失具体包括：三元损失和ID分类的交叉熵损失；所述小物体检测网络的头部网络的分支损失具体包括：检测框的回归损失和类别的交叉熵损失；所述总体损失为所述ReID卷积神经网络的头部网络的分支损失与所述小物体检测网络的头部网络的分支损失之和。比如，模型前向传播，计算损失函数。
ReID卷积神经网络的头部网络的三元组损失计算：
其中，Losstriplet即三元组损失的目标函数，||*||为欧式距离，
为positive元与Anchor之间欧式欧式距离度量，
为Negative和Anchor之间的欧式距离度量，α为指xa与xn之间的距离和xa与xp之间的距离之间有一个最小的间隔。
小物体检测网络的头部网络的回归损失计算：
其中，平均绝对误差LossMAE即为回归损失，表示目标值yi与预测值yp之间的绝对值的和。
ID分类交叉熵损失/类别的交叉熵损失计算：
其中，xi为第i次的概率分布，真实概率分布p(xi)，预测概率分布log(q(xi))，交叉熵损失即为两个概率分布之间的差异。
将两个网络的分支的损失，即ReID卷积神经网络的Lossreid与小物体检测网络的Lossdetection，作为两个网络各自的损失，模型的总体损失即二者之和：
Loss＝Lossreid+Lossdetection
由此，能够根据模型的总体损失调整模型的参数，具体例如：通过计算损失函数获得总体损失后，根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行更新；进而，可以通过更新的参数，由所述模型提取输入的图像数据的特征向量。
步骤S130：对构建的基于小物体检测的识别模型进行迭代训练。
具体地，根据卷积神经网络训练的迭代方式，每次选择minibatch个已标注的图像数据输入所述模型。所述基于小物体检测的识别模型对每次输入的所述minibatch个已标注的图像数据进行卷积神经网络的迭代训练。其中，已标注的图像数据是存储在数据库中的进行过标注的图像数据，可以作为模型迭代训练用的样本集合，比如已经标注过的每张车辆图片，其获得方式如前面的预处理方式，是裁切出来的包含车辆的区域的图片并且已经进行了标注，例如：都属于某个型号的车辆等。在每次迭代时，所述基于小物体检测的识别模型根据计算的模型的总体损失进行反向传播以更新所述基于小物体检测的识别模型的参数，并且，根据更新后的所述参数，经前向传播提取所述minibatch个已标注的图像数据的特征向量。每次迭代完成，检测是否迭代训练达到预定的迭代次数n。如果是，则通过所述基于小物体检测的识别模型的小物体检测网络，输出所有检测框(例如：有小物体的区域位置/坐标)和相应的置信度；如果否则继续下一次迭代，直到迭代收敛完成预定的n次为止。
一个实施方式中，所述基于小物体检测的识别模型对每次输入的所述minibatch个已标注的图像数据进行卷积神经网络的迭代训练，并在每次迭代时根据计算的模型的总体损失进行反向传播以更新所述基于小物体检测的识别模型的参数。所述基于小物体检测的识别模型根据更新后的所述参数，经前向传播提取所述minibatch个已标注的图像数据的特征向量，例如：由所述基于小物体检测的识别模型的小物体检测网络提取图像数据的第一特征向量作为识别的第一特征向量，以及由所述ReID卷积神经网络提取图像数据的第二特征向量；进一步，将所述第一特征向量和第二特征向量组合成所述图像数据的最终的特征向量。
进一步，每次迭代完成，检测是否迭代训练达到预定迭代次数n。如果没有达到该次数n则通过总体损失更新模型参数后前向传播又输入minibatch个已标注的图像数据开始下一次的迭代训练。
如果达到了迭代次数n表明迭代训练结束，则通过所述基于小物体检测的识别模型的小物体检测网络，输出所有检测框和对应的置信度。这样反复每次输入minibatch个已经标注的图像数据，进行小物体检测并更新整个模型的参数的训练。
一个实施方式中，基于小物体检测的识别模型中的小物体检测网络，例如：通过对输入的已经标注的图像数据在初始化后计算损失(回归损失和检测到的小物体类别即分类损失)，这里小物体检测网络的主干网络与ReID卷积神经网络的主干网络共用即也是卷积神经网络，可以对已经标注(车辆类型、小物体类型)的图像数据(一张某个型号车辆图片)中检测到对应车脸的小物体，或者更具体地在该图片上划出的感兴趣区域(比如方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域)进行检测，获得对应的小物体框(即检测框)，以及相应检测框的置信度。这样，在整个迭代训练过程中，利用已标注的图像数据作为训练样本训练了整个模型的参数，并通过每一次迭代获得了输入进行训练的已标注的图像数据对应的各个小物体检测框(坐标、高、宽等)和类别的置信度。
在一个实施方式中，构建的基于小物体检测的识别模型中，以车辆检测为例，小物体检测网络部分主要用于检测车辆的小物体，例如车脸、车牌、车标、车辆年检标识、装饰物(如吊坠)、临时放置的物品(如纸巾盒)等等。这样的小物体检测网络能通过卷积神经网络主干网络获得检测到的小物体的检测框以及对应的置信度，可以由此找到数据库中的包含了相应的这些类别的小物体的图像数据或者样本/图像样本。
进一步，在每次迭代时，所述基于小物体检测的识别模型根据计算的模型的总体损失进行反向传播以更新所述基于小物体检测的识别模型的参数，具体例如：每次迭代时通过损失函数计算模型的总体损失(参见前述计算损失函数的过程)；根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行一次更新。
由于基于小物体检测的识别模型本身能够分别提取每个输入的图像数据的特征向量，从两个分支网络可以提取两个特征向量(第一特征向量和第二特征向量)，则可以组合起来形成输入的图像数据的最终的特征向量。一个实施方式中，可以训练中提取所述minibatch个已标注的图像数据的特征向量，具体例如：由所述基于小物体检测的识别模型的小物体检测网络提取已标注的图像数据的第一特征向量，以及由所述基于小物体检测的识别模型的ReID卷积神经网络提取已标注的图像数据的第二特征向量；将所述第一特征向量和第二特征向量组合成已标注的图像数据的最终的特征向量。
步骤S140，根据迭代训练结束后输出的检测到的小物体，将包含各种类的所述小物体的已标注的图像数据作为候选图像数据。
具体地，在“输出所有检测框和置信度”之后，根据所述置信度与预设的阈值的比较，判断检测框中的小物体的种类。从所有的已标注的图像数据(如：数据库存储的所有图像数据)中筛选出包含各个种类的所述小物体的已标注的图像数据作为候选图像数据。将所有的候选图像数据经所述基于小物体检测的识别模型提取以及组合成的所有最终的特征向量形成最终的特征向量矩阵。
例如，假设每个类别的阈值为0.5，置信度超过该阈值就表示对应的检测框中的小物体属于该种类。比如图5所示车辆图片中的小物体：车检标、纸巾盒、吊坠等。例如：找出包括所有或部分种类的这些小物体的车辆图片。
进一步，从数据库中筛选出包含各个种类的所述小物体的图像数据作为候选图像数据。
在另一个实施方式中，可以在筛选出候选图像数据后，再将候选图像数据输入到经过训练后的所述基于小物体检测的识别模型，提取出第一、第二特征向量并组合成最终的对应候选图像数据的最终的特征向量，并将所有的最终的特征向量形成特征向量矩阵。
步骤S150，将待识别的图像数据输入至经训练后的基于小物体检测的识别模型中以提取各个图像数据的特征向量。
具体地，由所述基于小物体检测的识别模型的小物体检测网络提取待识别的图像数据的第一特征向量，以及由所述基于小物体检测的识别模型的ReID卷积神经网络提取待识别的图像数据的第二特征向量。将所述第一特征向量和第二特征向量组合成待识别的图像数据的最终的特征向量。同样，可以将候选图像数据输入至经训练后的基于小物体检测的识别模型中以提取各个图像数据的特征向量。
步骤S160，计算所述最终的特征向量相似度，得到识别结果。
具体地，根据获得的所述特征向量进行相似度计算，以获得待识别的所述图像数据的识别结果。如：根据待识别的图像数据的最终的所述特征向量与所述特征向量矩阵中所有的特征向量，计算相似度，以获得待识别的图像数据与候选图像数据的相似度分值；根据相似度分值进行排序，确定排序靠前的相似度分值对应的候选图像数据为与待识别的图像数据相匹；输出所述候选图像数据的信息作为识别结果。
在一实施方式中，计算待识别图像和数据库中的图片(优选地，其中的候选图片)的相似度，按照相似性程度排序，得到最终的结果。同样，将所述候选图像数据经所述基于小物体检测的识别模型，提取第一特征向量和第二特征向量；将所述第一特征向量与所述第二特征向量组合成最终的特征向量；由所有候选图像数据的所有最终的特征向量形成最终的特征向量矩阵。
根据待识别的图像数据经所述基于小物体检测的识别模型提取的特征向量与最终的特征向量矩阵中所有的特征向量，计算相似度，以获得待识别的图像数据与候选图像数据的相似度分值；根据相似度分值进行排序，确定排序靠前的相似度分值对应的候选图像数据为与待识别的图像数据相匹配。输出相匹配的所述候选图像数据的信息作为识别结果。
例如：一个待识别的图像数据经由该识别模型提取到特征向量(最终的特征向量)，再与候选图像数据对应的特征向量矩阵的每个特征向量进行相似度计算，得到多个相似度分值，从大到小排序，排序越靠前的候选图片越有可能与待识别图片相匹配。可以通过将最大的分值或者将排在最前面的预定数量个分值，与一个阈值比较，如果分值大于或等于该阈值，可以认为这一个或多个分值对应的一张或多张候选图片与待识别的图片相匹配，例如：输出这一张或多张候选图片中的目标车辆的信息作为该待识别的图片中的目标车辆的识别结果。
由此，能够检测出车脸的小物体(包括年检标、纸巾盒、遮阳板、纸张、吊坠、摆饰等)，减小车辆重识别的搜索范围，获得更高的准确度。相比传统方法能够提高检测速度。即缩小了识别范围，加快了识别速度。
通过本发明技术方案的方法，能够检测出目标上的小物体，减小目标重识别的搜索范围，获得更高的准确度。相比传统方法能够提高检测速度。
本发明的实施例中，通过图像识别尤其是车辆重识别的任务过程中，加入了小物体检测，比如车脸上的各种小物体的检测，通过模型训练迭代过程进行学习，集中学习到每一种车辆特有的特征(装饰、可变物品、车标/年检标记等)，从而避免了因为车辆外观本身过于相似(同样型号的车辆众多且相似)所导致的数量过多、外观过于相似、难以区分目标/准确定位目标的情形，有助于加速模型收敛，快速而准确地识别图像中的目标对象(如车辆)。进而，也由此减少了人力时间的消耗和成本，避免海量数据的人工区分，克服了传统的这类图像识别算法准确性不高、算法繁琐的缺陷。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
下面再通过一个具体的应用于车辆重识别例子，如图2来进一步说明本发明的实现方式。
步骤S101，数据预处理：对抓拍到的车辆图片，通过车辆检测算法得到车辆目标，确定车的位置并把车辆所在的区域裁剪出来，之后通过线性插值的方式将图片统一到一个固定的大小。车辆检测算法包括但不限于Retinanet，yolo算法。
步骤S102，模型初始化：对整个模型进行参数初始化，共用的主干网络通过加载在大型公共数据集上训练好的参数进行初始化，分类分支和小物体检测分支的头部网络参数通过随机初始化赋值。
其中，首先构建基于小物体检测的识别模型，具体包括ReID卷积神经网络和一条小物体检测网络，并进行初始化。该卷积神经网络至少包含主干网络、头部网络两部分，头部网络中包含三元组损失和分类损失两个分支。构建的该车脸小目标检测的支路即小物体检测网络，和ReID卷积神经网络共用主干网络，拥有自己单独的头部网络；头部网络包括回归损失和分类损失两部分。
步骤S103，计算损失函数：模型前向传播，计算ReID卷积神经网络这一分支的损失和小物体检测网络这一分支的损失。Reid分支的损失包括最终的特征向量的三元损失和ID分类的交叉熵损失。小物体检测分支的损失包括框的回归损失和类别的交叉熵损失。两个分支的和则能获得模型总体损失，能够通过反向传播更新模型参数。例如：动量梯度下降法更新或直接替换法更新。
步骤S104，ReID模型迭代：利用卷积神经网络的训练方法，每次选择minibatch个已标注的图像数据送入模型，模型根据损失函数利用梯度下降法对网络参数进行一次更新。
步骤S105，条件判断：迭代次数为n，更新完模型参数，判断迭代次数是否达到预定的次数n(n为预设值，表示迭代n次)。未达到，即否，还需要继续迭代训练，回到步骤S103，继续计算损失，并对又一次输入的图像数据进行特征向量的提取，以及小物体检测。直到迭代训练检测为达到了预定的次数n。
步骤S106，输出小物体检测结果：迭代次数达到n次，输出小物体检测网络对图像数据中的小物体检测结果。具体地，通过小物体检测网络这一分支，得到小物体的检测框和置信度。
步骤S107，根据小物体检测结果筛选候选图片并生成特征向量：例如：对车辆图片中检测出的小物体，通过设定的阈值0.5，判断图片中所含的小物体种类。从数据库中筛选出包含这些小物体的候选图片。
进一步，将候选图片输入到训练后的该模型中提取特征向量。例如：将候选图片中的每张图片经过共用的主干网络之后，会进入到车辆ReID卷积神经网络的分支和小物体检测网络的分支，在每个分支中，都会获得网络模型提取特征得到的一个特征向量，把特征向量合并成这张图片的特征向量，把所有图片的特征向量合并得到最终的特征向量矩阵。
步骤S108,相似度计算：如前一步骤，将待识别的图像数据输入到训练后的该模型中提取第一、第二特征向量并组合成其最终的特征向量后，再与特征向量矩阵中的每个特征向量计算待识别图片和候选图片的相似度，按照相似性程度排序，排序越靠前的候选图片越有可能与待识别图片相匹配。
由此，输出可能匹配的候选图片，缩小范围，快速获得最终识别结果。
下面结合图3，对相应于上述方法实施例的基于小物体检测的图像识别装置进行描述，以进一步对本发明的实现进行说明。该装置主要包括：
图像预处理单元310，获取待识别的图像数据。
具体地，参见步骤S110。可以是图像或者说数据预处理，如：检测拍摄的车辆图片中车辆的位置并获得车辆所在位置的区域的图像，以及，对所述图像进行图像变换并统一为固定大小的待识别的所述图像数据。
一个实施方式中，可以从摄像头获取需要识别的图像，也可以通过其他方式，例如图片库或视频库中获取待识别的图像，其中每个图片都包含待识别的图像。其中，在获得所述图像后，可以先对图像进行预处理以便后续操作，例如将图像裁剪为统一大小。
以车辆监控为例，可以对监控视频中或其他拍摄中抓拍到的车辆图片，通过车辆检测算法，确定车的位置并把车辆所在的区域裁剪出来，之后通过图像变换的方式将图片统一到一个固定的大小。
其中，车辆检测算法例如可以采用但不限于Retinanet，yolo算法等。
其中，确定车的位置并把车辆所在的区域裁剪出来，之后可以通过线性插值的方式将图片统一到一个固定的大小。
如图4所示，抓拍到左边包括车辆的大图中，根据车辆检测算法把图中包含车辆的区域裁剪出来(中间车辆图片)，再利用线性插值法将该区域图片统一为256×256大小，作为待识别的图像样本/图像数据。
模型构建单元320，构建基于小物体检测的识别模型。
具体如步骤S120。其可以包括模型初始化单元3201，对所述基于小物体检测的识别模型整体进行初始化；其中，共用的所述主干网络通过加载在公共数据集上训练好的参数进行初始化；其中，所述ReID卷积神经网络的头部网络和所述小物体检测网络的头部网络，分别通过参数随机赋值进行初始化。
一个实施方式中，所述基于小物体检测的识别模型包括：ReID卷积神经网络和小物体检测网络。其中，所述ReID卷积神经网络包括：主干网络、头部网络；所述头部网络包括三元组损失和分类损失两个分支。其中，所述小物体检测网络与所述ReID卷积神经网络共用所述主干网络，并具有小物体检测网络的头部网络；所述小物体检测网络的头部网络包括：回归损失和分类损失两个分支。
进一步，对进行图像识别的所述识别模型，在进行识别之前先进行模块的初始化。模型初始化，具体例如：对所述基于小物体检测的识别模型整体进行初始化；其中，共用的所述主干网络通过加载在公共数据集上训练好的参数进行初始化；其中，所述ReID卷积神经网络的头部网络和所述小物体检测网络的头部网络，分别通过参数随机赋值进行初始化。
模型构建单元320还包括损失计算单元3202，再进一步，在初始化所述基于小物体检测的识别模型之后，进行模型前向传播，以计算所述ReID卷积神经网络的头部网络的分支损失和所述小物体检测网络的头部网络的分支损失；根据所述两个分支损失确定所述基于小物体检测的识别模型的总体损失。
计算总体损失的例子，主要通过计算损失函数进行。一个优选的方式，所述ReID卷积神经网络的头部网络的分支损失具体包括：三元损失和ID分类的交叉熵损失；所述小物体检测网络的头部网络的分支损失具体包括：检测框的回归损失和类别的交叉熵损失；所述总体损失为所述ReID卷积神经网络的头部网络的分支损失与所述小物体检测网络的头部网络的分支损失之和。比如，模型前向传播，计算损失函数。
ReID卷积神经网络的头部网络的三元组损失计算：
其中，Losstriplet即三元组损失的目标函数，||*||为欧式距离，
为positive元与Anchor之间欧式欧式距离度量，
为Negative和Anchor之间的欧式距离度量，α为指xa与xn之间的距离和xa与xp之间的距离之间有一个最小的间隔。
小物体检测网络的头部网络的回归损失计算：
其中，平均绝对误差LossMAE即为回归损失，表示目标值yi与预测值yp之间的绝对值的和。
ID分类交叉熵损失/类别的交叉熵损失计算：
其中，xi为第i次的概率分布，真实概率分布p(xi)，预测概率分布log(q(xi))，交叉熵损失即为两个概率分布之间的差异。
将两个网络的分支的损失，即ReID卷积神经网络的Lossreid与小物体检测网络的Lossdetection，作为两个网络各自的损失，模型的总体损失即二者之和：
Loss＝Lossreid+Lossdetection
由此，能够根据模型的总体损失调整模型的参数，具体例如：通过计算损失函数获得总体损失后，根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行更新；进而，可以通过更新的参数，由所述模型提取输入的图像数据的特征向量。
训练单元330，对构建的基于小物体检测的识别模型进行迭代训练。
具体地，如步骤S130。根据卷积神经网络训练的迭代方式，每次选择minibatch个已标注的图像数据输入所述模型。所述基于小物体检测的识别模型对每次输入的所述minibatch个已标注的图像数据进行卷积神经网络的迭代训练。其中，已标注的图像数据是存储在数据库中的进行过标注的图像数据，可以作为模型迭代训练用的样本集合，比如已经标注过的每张车辆图片，其获得方式如前面的预处理方式，是裁切出来的包含车辆的区域的图片并且已经进行了标注，例如：都属于某个型号的车辆等。在每次迭代时，所述基于小物体检测的识别模型根据计算的模型的总体损失进行反向传播以更新所述基于小物体检测的识别模型的参数，并且，根据更新后的所述参数，经前向传播提取所述minibatch个已标注的图像数据的特征向量。每次迭代完成，检测是否迭代训练达到预定的迭代次数n。如果是，则通过所述基于小物体检测的识别模型的小物体检测网络，输出所有检测框(例如：有小物体的区域位置/坐标)和相应的置信度；如果否则继续下一次迭代，直到迭代收敛完成预定的n次为止。
一个实施方式中，所述基于小物体检测的识别模型对每次输入的所述minibatch个已标注的图像数据进行卷积神经网络的迭代训练，并在每次迭代时根据计算的模型的总体损失进行反向传播以更新所述基于小物体检测的识别模型的参数。并且，所述基于小物体检测的识别模型根据更新后的所述参数，经前向传播提取所述minibatch个已标注的图像数据的特征向量，例如：由所述基于小物体检测的识别模型的小物体检测网络提取图像数据的第一特征向量作为识别的第一特征向量，以及由所述ReID卷积神经网络提取图像数据的第二特征向量；进一步，将所述第一特征向量和第二特征向量组合成所述图像数据的最终的特征向量。
进一步，每次迭代完成，检测是否迭代训练达到预定迭代次数n。如果没有达到该次数n则通过总体损失更新模型参数后前向传播又输入minibatch个已标注的图像数据开始下一次的迭代训练。
如果达到了迭代次数n表明迭代训练结束，则通过所述基于小物体检测的识别模型的小物体检测网络，输出所有检测框和对应的置信度。这样反复每次输入minibatch个已经标注的图像数据，进行小物体检测并更新整个模型的参数的训练。
一个实施方式中，基于小物体检测的识别模型中的小物体检测网络，例如：通过对输入的已经标注的图像数据在初始化后计算损失(回归损失和检测到的小物体类别即分类损失)，这里小物体检测网络的主干网络与ReID卷积神经网络的主干网络共用即也是卷积神经网络，可以对已经标注(标注车辆类型、小物体类型)的图像数据(一张某个型号车辆图片)中检测到对应车脸的小物体，或者，更具体地在该图片上划出的感兴趣区域(比如方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域)进行检测，获得对应的小物体框(即检测框)，以及相应检测框的置信度。这样，在整个迭代训练过程中，利用已标注的图像数据作为训练样本训练了整个模型的参数，并通过每一次迭代获得了输入进行训练的已标注的图像数据对应的各个小物体检测框(坐标、高、宽等)和类别的置信度。
在一个实施方式中，构建的基于小物体检测的识别模型中，以车辆检测为例，小物体检测网络部分主要用于检测车辆的小物体，例如车脸、车牌、车标、车辆年检标识、装饰物(如吊坠)、临时放置的物品(如纸巾盒)等等。这样的小物体检测网络能通过卷积神经网络主干网络获得检测到的小物体的检测框以及对应的置信度，可以由此找到数据库中的包含了相应的这些类别的小物体的图像数据或者样本/图像样本。
进一步，在每次迭代时，所述基于小物体检测的识别模型根据计算的模型的总体损失进行反向传播以更新所述基于小物体检测的识别模型的参数，具体例如：每次迭代时通过损失函数计算模型的总体损失(参见前述计算损失函数的过程)；根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行一次更新。
由于基于小物体检测的识别模型本身能够分别提取每个输入的图像数据的特征向量，从两个分支网络可以提取两个特征向量(第一特征向量和第二特征向量)，则可以组合起来形成输入的图像数据的最终的特征向量。一个实施方式中，可以训练中提取所述minibatch个已标注的图像数据的特征向量，具体例如：由所述基于小物体检测的识别模型的小物体检测网络提取已标注的图像数据的第一特征向量，以及由所述基于小物体检测的识别模型的ReID卷积神经网络提取已标注的图像数据的第二特征向量；将所述第一特征向量和第二特征向量组合成已标注的图像数据的最终的特征向量。
候选单元340，根据迭代训练结束后输出的检测到的小物体，将包含各种类的所述小物体的已标注的图像数据作为候选图像数据。
具体地，如步骤S140。在“输出所有检测框和置信度”之后，根据所述置信度与预设的阈值的比较，判断检测框中的小物体的种类。从所有的已标注的图像数据(如：数据库存储的所有图像数据)中筛选出包含各个种类的所述小物体的已标注的图像数据作为候选图像数据。将所有的候选图像数据经所述基于小物体检测的识别模型提取以及组合成的所有最终的特征向量形成最终的特征向量矩阵。
例如，假设每个类别的阈值为0.5，置信度超过该阈值就表示对应的检测框中的小物体属于该种类。比如图5所示车辆图片中的小物体：车检标、纸巾盒、吊坠等。例如：找出包括所有或部分种类的这些小物体的车辆图片。
进一步，从数据库中筛选出包含各个种类的所述小物体的图像数据作为候选图像数据。
在另一个实施方式中，可以在筛选出候选图像数据后，再将候选图像数据输入到经过训练后的所述基于小物体检测的识别模型，提取出第一、第二特征向量并组合成最终的对应候选图像数据的最终的特征向量，并将所有的最终的特征向量形成特征向量矩阵。
提取单元350，将待识别的图像数据输入至经训练后的基于小物体检测的识别模型中以提取各个图像数据的特征向量。
具体地，如步骤S150。由所述基于小物体检测的识别模型的小物体检测网络提取待识别的图像数据的第一特征向量，以及由所述基于小物体检测的识别模型的ReID卷积神经网络提取待识别的图像数据的第二特征向量。将所述第一特征向量和第二特征向量组合成待识别的图像数据的最终的特征向量。同样，可以将候选图像数据输入至经训练后的基于小物体检测的识别模型中以提取各个图像数据的特征向量。
匹配单元360，计算所述最终的特征向量相似度，得到识别结果。
具体地，如步骤S160。根据获得的所述特征向量进行相似度计算，以获得待识别的所述图像数据的识别结果。如：根据待识别的图像数据的最终的所述特征向量与所述特征向量矩阵中所有的特征向量，计算相似度，以获得待识别的图像数据与候选图像数据的相似度分值；根据相似度分值进行排序，确定排序靠前的相似度分值对应的候选图像数据为与待识别的图像数据相匹；输出所述候选图像数据的信息作为识别结果。
在一实施方式中，计算待识别图像和数据库中的图片(优选地即候选图片)之间的相似度，按照相似性程度排序，得到最终的结果。同样，将所述候选图像数据经所述基于小物体检测的识别模型，提取第一特征向量和第二特征向量；将所述第一特征向量与所述第二特征向量组合成最终的特征向量；由所有候选图像数据的所有最终的特征向量形成最终的特征向量矩阵。
根据待识别的图像数据经所述基于小物体检测的识别模型提取的特征向量与最终的特征向量矩阵中所有的特征向量，计算相似度，以获得待识别的图像数据与候选图像数据的相似度分值；根据相似度分值进行排序，确定排序靠前的相似度分值对应的候选图像数据为与待识别的图像数据相匹配。输出相匹配的所述候选图像数据的信息作为识别结果。
例如：一个待识别的图像数据经由该识别模型提取到特征向量(最终的特征向量)，再与候选图像数据对应的特征向量矩阵的每个特征向量进行相似度计算，得到多个相似度分值，从大到小排序，排序越靠前的候选图片越有可能与待识别图片相匹配。可以通过将最大的分值或者将排在最前面的预定数量个分值，与一个阈值比较，如果分值大于或等于该阈值，可以认为这一个或多个分值对应的一张或多张候选图片与待识别的图片相匹配，例如：输出这一张或多张候选图片中的目标车辆的信息作为该待识别的图片中的目标车辆的识别结果。
由此，能够检测出车脸的小物体(包括年检标、纸巾盒、遮阳板、纸张、吊坠、摆饰等)，减小车辆重识别的搜索范围，获得更高的准确度。相比传统方法能够提高检测速度。即缩小了识别范围，加快了识别速度。
通过本发明技术方案的方法，能够检测出目标上的小物体，减小目标重识别的搜索范围，获得更高的准确度。相比传统方法能够提高检测速度。
进一步，本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行前述的各个方法的步骤。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该存储装置可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中存储是非暂时性的计算机可读存储介质。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种处理装置或终端装置。在根据本发明的一个实施例中，其包括处理器和存储器，存储器可以被配置成存储多条程序代码，所述程序代码适于由该处理器加载并运行以执行前述方法的步骤。
进一步，本发明还提供了一种终端装置。在根据本发明的一个实施例中，如图6、7所示的根据本发明的技术方案在终端装置上应用的例子。终端设备的硬件结构如图6所示。该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图7为本申请的另一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第一处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。
进一步，本发明还提供一种终端设备或服务平台，包括前述基于jacoco的测试分析系统。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的系统的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的系统的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (16)
1.一种基于小物体检测的图像识别方法，其特征在于，包括：
根据已标注的图像数据对基于小物体检测的识别模型进行迭代训练；
根据所述迭代训练中检测到的小物体的种类，将具有各个所述小物体的种类的已标注的图像数据作为候选图像数据；
将待识别的图像数据及所述候选图像数据输入至经过训练的所述基于小物体检测的识别模型中以提取各个图像数据的特征向量；
根据提取的所述特征向量将待识别图像数据与所述候选图像数据进行相似度匹配，以获得对应待识别的图像数据的识别结果。
2.如权利要求1所述的方法，其特征在于，
所述基于小物体检测的识别模型包括：ReID卷积神经网络和小物体检测网络；
其中，所述ReID卷积神经网络包括：主干网络、头部网络；
所述头部网络包括三元组损失和分类损失两个分支；
其中，所述小物体检测网络包括：与所述ReID卷积神经网络共用的所述主干网络，并具有小物体检测网络的头部网络；
所述小物体检测网络的头部网络包括：回归损失和分类损失两个分支。
3.如权利要求2所述的方法，其特征在于，根据已标注的图像数据对基于小物体检测的识别模型进行迭代训练，具体包括：
每次选择minibatch个已标注的图像数据，提供给所述基于小物体检测的识别模型进行卷积神经网络的迭代训练；
每次迭代后，检测是否迭代训练达到预定的迭代次数n；
如果否，则根据损失函数计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数，并根据更新了参数的所述基于小物体检测的识别模型进行下一次迭代训练；
如果是，则结束所述迭代训练，并通过所述基于小物体检测的识别模型的小物体检测网络，输出在迭代训练中检测到的所有检测框和对应的置信度。
4.如权利要求3所述的方法，其特征在于，“根据损失函数计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数”，具体包括：
基于每次选择的minibatch个已标注的图像数据，分别通过损失函数计算所述ReID卷积神经网络的头部网络的分支损失和所述小物体检测网络的头部网络的分支损失；
将两个所述分支损失之和作为所述基于小物体检测的识别模型的总体损失；
根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行一次更新；
其中，所述ReID卷积神经网络的头部网络的分支损失具体包括：三元损失和ID分类的交叉熵损失；
其中，所述小物体检测网络的头部网络的分支损失具体包括：检测框的回归损失和类别的交叉熵损失。
5.如权利要求3所述的方法，其特征在于，根据所述迭代训练中检测到的小物体的种类，将具有各个所述小物体的种类的已标注的图像数据作为候选图像数据，具体包括：
根据所述置信度与预设的阈值的比较，判断对应所述置信度的检测框中的小物体所属的种类；
从所有的已标注的图像数据中筛选出包含各个所述小物体的种类的已标注的图像数据作为候选图像数据。
6.如权利要求2所述的方法，其特征在于，将待识别的图像数据以及所述候选图像数据输入至经过训练的基于小物体检测的识别模型中以提取各个图像数据的特征向量，具体包括：
每张图像数据经过共同的所述主干网络后，由所述小物体检测网络提取输入的每个图像数据的第一特征向量，以及由所述ReID卷积神经网络提取输入的每个图像数据的第二特征向量；
将每个图像数据的第一特征向量和第二特征向量组合成所述图像数据的最终的特征向量；
其中，所有的所述候选图像数据的对应所有的最终的特征向量形成特征向量矩阵。
7.如权利要求2所述的方法，其特征在于，根据提取的所述特征向量进行相似度匹配，以获得对应待识别的图像数据的识别结果，具体包括：
将待识别的图像数据的最终的所述特征向量与所述特征向量矩阵中所有的特征向量，进行相似度计算，以获得待识别的图像数据与每个候选图像数据的相似度分值；
根据相似度分值进行排序，确定排序在前N位的相似度分值对应的N个候选图像数据匹配上待识别的图像数据；
输出所述候选图像数据的信息作为识别结果；
其中，前N位为根据需要预先设定的位次。
8.一种基于小物体检测的图像识别装置，其特征在于，包括：
训练单元，用于根据已标注的图像数据对基于小物体检测的识别模型进行迭代训练；
候选单元，用于根据所述迭代训练中检测到的小物体的种类，将具有各个所述小物体的种类的已标注的图像数据作为候选图像数据；
提取单元，用于将待识别的图像数据及所述候选图像数据输入至经过训练的基于小物体检测的识别模型中以提取各个图像数据的特征向量；
匹配单元，用于根据提取的所述特征向量将待识别图像数据与所述候选图像数据进行相似度匹配，以获得对应所述图像数据的识别结果。
9.如权利要求8所述的装置，其特征在于，
所述基于小物体检测的识别模型包括：ReID卷积神经网络和小物体检测网络；
其中，所述ReID卷积神经网络包括：主干网络、头部网络；
所述头部网络包括三元组损失和分类损失两个分支；
其中，所述小物体检测网络包括：与所述ReID卷积神经网络共用的所述主干网络，并具有小物体检测网络的头部网络；
所述小物体检测网络的头部网络包括：回归损失和分类损失两个分支。
10.如权利要求9所述的装置，其特征在于，所述训练单元具体执行如下操作：
每次选择minibatch个已标注的图像数据，提供给所述基于小物体检测的识别模型进行卷积神经网络的迭代训练；
每次迭代后，检测是否迭代训练达到预定的迭代次数n；
如果否，则根据计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数，并根据更新了参数的所述基于小物体检测的识别模型进行下一次迭代训练；
如果是，则结束所述迭代训练，并通过所述基于小物体检测的识别模型的小物体检测网络，输出在迭代训练中检测到的所有检测框和置信度。
11.如权利要求10所述的装置，其特征在于，所述训练单元执行“根据计算的所述基于小物体检测的识别模型的总体损失，进行反向传播以更新所述基于小物体检测的识别模型的参数”时，具体包括：
根据每次选择的minibatch个已标注的图像数据，分别通过损失函数计算所述ReID卷积神经网络的头部网络的分支损失和所述小物体检测网络的头部网络的分支损失；
其中，所述ReID卷积神经网络的头部网络的分支损失具体包括：三元损失和ID分类的交叉熵损失；
其中，所述小物体检测网络的头部网络的分支损失具体包括：检测框的回归损失和类别的交叉熵损失；
将两个所述分支损失之和作为所述基于小物体检测的识别模型的总体损失；根据所述总体损失，利用动量梯度下降法或直接替换法对所述基于小物体检测的识别模型的参数进行一次更新。
12.如权利要求11所述的装置，其特征在于，候选单元，具体执行如下操作：
根据所述置信度与预设的阈值的比较，判断对应所述置信度的检测框中的小物体所属的种类；
从所有的已标注的图像数据中筛选出包含各个所述小物体的种类的已标注的图像数据作为候选图像数据。
13.如权利要求9所述的装置，其特征在于，
所述提取单元具体执行如下操作：
由所述基于小物体检测的识别模型的小物体检测网络提取输入的每个图像数据的第一特征向量，以及由所述基于小物体检测的识别模型的ReID卷积神经网络提取输入的每个图像数据的第二特征向量；
将所述第一特征向量和第二特征向量组合成所述图像数据的最终的特征向量；
其中，所有的所述候选图像数据对应所有的最终的特征向量形成特征向量矩阵。
14.如权利要求9所述的装置，其特征在于，所述匹配单元具体执行如下操作：
根据待识别的图像数据的最终的所述特征向量与所述特征向量矩阵中所有的特征向量，计算相似度，以获得待识别的图像数据与候选图像数据的相似度分值；
根据相似度分值进行排序，确定排序在前N位的相似度分值对应的N个候选图像数据匹配上待识别的图像数据；
输出所述候选图像数据的信息作为识别结果；
其中，前N位为根据需要预先设定的位次。
15.一种处理装置，包括处理器和存储器，所述存储器适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的基于小物体检测的图像识别方法。
16.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的基于小物体检测的图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011483189.6A CN113033282B (zh) | 2020-12-15 | 2020-12-15 | 基于小物体检测的图像识别方法、装置以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011483189.6A CN113033282B (zh) | 2020-12-15 | 2020-12-15 | 基于小物体检测的图像识别方法、装置以及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033282A true CN113033282A (zh) | 2021-06-25 |
| CN113033282B CN113033282B (zh) | 2024-05-28 |
Family
ID=76459253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011483189.6A Active CN113033282B (zh) | 2020-12-15 | 2020-12-15 | 基于小物体检测的图像识别方法、装置以及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033282B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113963197A (zh) * | 2021-09-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784366A (zh) * | 2018-12-07 | 2019-05-21 | 北京飞搜科技有限公司 | 目标物体的细粒度分类方法、装置与电子设备 |
| CN110619280A (zh) * | 2019-08-23 | 2019-12-27 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
| CN110826484A (zh) * | 2019-11-05 | 2020-02-21 | 上海眼控科技股份有限公司 | 车辆重识别的方法、装置、计算机设备及模型训练方法 |
| CN110991413A (zh) * | 2019-12-20 | 2020-04-10 | 西南交通大学 | 一种基于ReID的跑步检测方法 |
| CN111814655A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标重识别方法及其网络训练方法、相关装置 |
-
2020
- 2020-12-15 CN CN202011483189.6A patent/CN113033282B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784366A (zh) * | 2018-12-07 | 2019-05-21 | 北京飞搜科技有限公司 | 目标物体的细粒度分类方法、装置与电子设备 |
| CN110619280A (zh) * | 2019-08-23 | 2019-12-27 | 长沙千视通智能科技有限公司 | 一种基于深度联合判别学习的车辆重识别方法及装置 |
| CN110826484A (zh) * | 2019-11-05 | 2020-02-21 | 上海眼控科技股份有限公司 | 车辆重识别的方法、装置、计算机设备及模型训练方法 |
| CN110991413A (zh) * | 2019-12-20 | 2020-04-10 | 西南交通大学 | 一种基于ReID的跑步检测方法 |
| CN111814655A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标重识别方法及其网络训练方法、相关装置 |
Non-Patent Citations (3)
| Title |
|---|
| GUANSHUO WANG等: "Learning Discriminative Features with Multiple Granularities for Person Re-Identification", 《ARXIV》, 14 August 2018 (2018-08-14), pages 1 - 9 * |
| YANG FU等: "Horizontal Pyramid Matching for Person Re-identification", 《ARXIV》, 10 November 2018 (2018-11-10), pages 1 - 9 * |
| 林通;陈新;唐晓;贺玲;李浩;: "基于双流卷积神经网络和生成式对抗网络的行人重识别算法", 信息技术与网络安全, no. 06, pages 7 - 12 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113963197A (zh) * | 2021-09-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033282B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197525B (zh) | 人脸图像生成方法及装置 | |
| CN108537136B (zh) | 基于姿态归一化图像生成的行人重识别方法 | |
| CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| CN108960409B (zh) | 标注数据生成方法、设备及计算机可读存储介质 | |
| CN107633204A (zh) | 人脸遮挡检测方法、装置及存储介质 | |
| CN110363220B (zh) | 行为类别检测方法、装置、电子设备和计算机可读介质 | |
| CN110188829B (zh) | 神经网络的训练方法、目标识别的方法及相关产品 | |
| CN111667001B (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
| US10055673B2 (en) | Method and device for processing an image of pixels, corresponding computer program product and computer-readable medium | |
| US11935298B2 (en) | System and method for predicting formation in sports | |
| CN111401521B (zh) | 神经网络模型训练方法及装置、图像识别方法及装置 | |
| CN111382791B (zh) | 深度学习任务处理方法、图像识别任务处理方法和装置 | |
| CN111368867A (zh) | 档案归类方法及系统、计算机可读存储介质 | |
| CN114266988A (zh) | 基于对比学习的无监督视觉目标跟踪方法及系统 | |
| CN113033282B (zh) | 基于小物体检测的图像识别方法、装置以及介质 | |
| CN110827809B (zh) | 一种基于条件生成式对抗网络的语种识别分类方法 | |
| CN110751005B (zh) | 融合深度感知特征和核极限学习机的行人检测方法 | |
| CN116450671B (zh) | 智能交互会话大数据分析方法及大数据服务器 | |
| WO2018137226A1 (zh) | 指纹提取方法及装置 | |
| CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和系统 | |
| CN112668365A (zh) | 一种物料入库识别方法、装置、设备及存储介质 | |
| CN115601728A (zh) | 一种车辆识别方法、装置、设备以及存储介质 | |
| CN111768729A (zh) | 一种vr场景自动解说方法、系统和存储介质 | |
| CN114581819A (zh) | 一种视频行为识别方法及系统 | |
| CN114140822A (zh) | 行人重识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |