CN113469302A - 一种视频图像的多圆形目标识别方法和系统 - Google Patents

一种视频图像的多圆形目标识别方法和系统 Download PDF

Info

Publication number
CN113469302A
CN113469302A CN202111036387.2A CN202111036387A CN113469302A CN 113469302 A CN113469302 A CN 113469302A CN 202111036387 A CN202111036387 A CN 202111036387A CN 113469302 A CN113469302 A CN 113469302A
Authority
CN
China
Prior art keywords
circular
prediction
frame
calculating
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111036387.2A
Other languages
English (en)
Inventor
甘胜丰
吴世杰
师伟海
郑行忠
王子健
胡磊
雷维新
罗德龙
郭海强
周蓓
余良俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Beiqi Technology Co ltd
Nanchang Institute of Technology
Hubei University of Education
Original Assignee
Wuhan Beiqi Technology Co ltd
Nanchang Institute of Technology
Hubei University of Education
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Beiqi Technology Co ltd, Nanchang Institute of Technology, Hubei University of Education filed Critical Wuhan Beiqi Technology Co ltd
Priority to CN202111036387.2A priority Critical patent/CN113469302A/zh
Publication of CN113469302A publication Critical patent/CN113469302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视频图像的圆形多目标识别方法和系统，方法包括：在训练阶段，采用一种圆形框IOU计算方法来替换典型目标检测算法中的矩形框IOU测算方法、使用基于圆形框的参数建立目标识别网络模型并对模型进行迭代训练，最后对训练后的模型进行优化，形成一种新目标检测训练体系；在预测阶段，以训练阶段保存的优化权值为输入，获取待识别图像的预测结果，并对预测结果进行解码转换获得圆形预测框；通过计算圆形真实框与预测框间的CIRCLE‑IOU对圆形预测框进行筛选去噪，从而精确识别目标物体。本方法避免很多非识别对象的像素点被框入，进一步提高了识别精度。

Description

一种视频图像的多圆形目标识别方法和系统
技术领域
本发明涉及图像识别技术领域，具体涉及一种视频图像的多圆形目标识别方法和系统。
背景技术
在此之前，对于圆形物体的识别一般都用霍夫圆变化和模板匹配的方法。霍夫圆变化的基本思路是认为图上的每一个点都可能是一个潜在的圆上的一点，通过将图上每个点的可能潜在的圆找出，通过投票选出最有可能的圆。对于图片上固定的一点（即横坐标和纵坐标为定值），则是三维坐标轴中的一条三维曲线，同时一个圆上的点都按这种方法画出潜在圆后，这些曲线都会交在同一点，这个点就是经过这些点的圆。当将图中所有点的可能潜在圆都在一个坐标轴中标出时，这些曲线就会产生许多个交点，当某个交点的由超过一定数量的曲线相交时，这个点所对应的圆就是要找的圆。
霍夫圆变化在使用时，由于其算法的特点，导致其时间复杂度和空间复杂度都很高，同时，它也需要用到许多的参数来配置，而这些参数的需要手动输入，而且一旦产生发生变化，就会导致最终的效果发生很大变化。
模板匹配是一种通过在大的图片上选择一块与要检测目标相同大小的区域并与 要检测目标计算相似度的，选择其中相似度超过一定值的范围为识别目标。以8位灰度图像 为例，模板T(m,n)叠放在被搜索图S(W,H)上平移，m、n、W、H均为坐标值。模板覆盖被搜索图 的那块区域叫子图
Figure 484927DEST_PATH_IMAGE001
，
Figure 521016DEST_PATH_IMAGE002
为子图左下角在被搜索图S上的坐标，搜索范围是：1≤i≤W-n，1 ≤j≤H-m。可以用下式衡量T和
Figure 960219DEST_PATH_IMAGE003
的相似性：
Figure 347338DEST_PATH_IMAGE004
(1)
其中，
Figure 513877DEST_PATH_IMAGE005
表示被搜索图S(W,H)的子图，大小与模板相同。
将（1）式归一化，得模板匹配的相关系数为：
Figure 670052DEST_PATH_IMAGE006
(2)
当模板和子图一样时，相关系数R(i,j)=1，在被搜索图S中完成全部搜索后，找出R 的最大值
Figure 467106DEST_PATH_IMAGE007
，其对应的子图
Figure 387527DEST_PATH_IMAGE008
即为匹配目标。用这种公式做图像匹配运 算量大、速度慢，对于旋转了一定角度的目标的识别准确效果会变差。
发明内容
在通常的目标检测的代码中，多用矩形框来实现对目标的检测，这对于不是矩形的物体，在用矩形框预测时，为了能框出识别目标，会导致有很多非识别对象的像素点也同时被框入，这会在识别的过程中造成一定的误差。本发明解决的一个主要问题是现有的图像目标识别方法运算量大、识别精度低的问题。
根据本发明的一个方面，本发明提供一种视频图像的多圆形目标识别方法，包括：
检测原始图像中目标物的圆形真实框的参数，根据所述圆形真实框的参数得到目标数据集；
设置第一网络初始值，根据所述第一网络初始值构建第一目标检测网络；
建立损失函数；
将所述目标数据集划分为训练集和验证集；
随机加载所述训练集中的图片和与所述图片对应的圆形真实框的参数，训练所述第一目标检测网络；
获取所述训练集的特征层，并计算获得所述特征层对应的圆形预选框的参数；
从所述特征层中获取第一圆形预测框的参数；
根据所述圆形预选框的参数和所述圆形真实框的参数，计算所述圆形预选框和所述圆形真实框的第一交并比，根据所述第一交并比确定所述圆形真实框对应于所述特征层上的位置；
根据所述第一圆形预测框的参数和所述圆形真实框的参数，计算所述第一圆形预测框与所述圆形真实框之间的第二交并比；
根据所述第二交并比划分正负样本；
利用负样本通过所述损失函数计算损失值，并对所述第一目标检测网络进行反向传播，优化所述第一目标检测网络的权值；
利用所述验证集验证优化后的所述第一目标检测网络的效果，至此完成一次迭代，重复迭代直至完成所述第一目标检测网络的迭代训练；
所述第一目标检测网络迭代训练完成后，保存优化后的所述第一目标检测网络的权值；
重新设置第二网络初始值，根据所述第二网络初始值构建第二目标检测网络；
加载优化后的所述第一目标检测网络的权值；
建立解码工具；
将所述原始图像放入所述第二目标检测网络中预测，获得预测结果；
利用所述解码工具将所述预测结果转换为第二圆形预测框；
分别将预测结果为同一种类的所述第二圆形预测框按照对应的置信度大小排序，并分别计算任意两个预测结果为同一种类的所述第二圆形预测框之间的第三交并比，利用所述第三交并比对所述第二圆形预测框进行非极大抑制，删除重复的预测框；
在所述原始图片上画出非极大抑制后的第二圆形预测框，从而识别目标物体。
进一步地，所述第一网络初始值和所述第二网络初始值均包括所述圆形预选框的半径、预测目标的种类数和数据集图片的分辨率。
进一步地，基于预测目标的种类数计算所述第一目标检测网络的输出通道的通道数。
进一步地，所述计算获得所述特征层对应的圆形预选框的参数的方法包括：
计算所述原始图像的大小与特征层的大小的比值，获得特征点对应的像素数量；
计算所述圆形预选框的大小与所述特征点对应的像素数量的比值，获得相对于特征点大小的所述圆形预选框。
进一步地，所述第一圆形预测框的参数包括：
所述第一圆形预测框的中心点的相对于图片大小的横坐标、纵坐标、半径、置信度和物体类别参数。
进一步地，所述确定所述圆形真实框对应于所述特征层上的位置的方法包括：
计算相对于图片大小的所述圆形真实框的横坐标与所述特征层的大小的乘积，再对乘积取整得到所述圆形真实框对应于所述特征层的横坐标；
计算相对于图片大小的所述圆形真实框的纵坐标与所述特征层的大小的乘积，再对乘积取整得到所述圆形真实框对应于所述特征层的纵坐标；
计算相对于图片大小的所述圆形真实框的半径与所述特征层的大小的乘积，得到所述圆形真实框对应于所述特征层的半径。
进一步地，所述第一交并比、所述第二交并比和所述第三交并比的计算方法包括：
计算两圆框的圆心距离d，根据所述圆心距离判断两圆的关系：
如果两圆的关系为相离，则交集
Figure 561019DEST_PATH_IMAGE009
为0，所述第一交并比为0；
如果两圆的关系为包含，则交集
Figure 571700DEST_PATH_IMAGE010
为小圆的面积，第一交并比为小圆面 积与大圆面积的比值；
如果两圆的关系为相交，计算两圆的交集
Figure 601973DEST_PATH_IMAGE010
，并分别计算两圆的面积S1 和S2，利用下述公式计算所述第一交并比CIRCLE-IOU：
Figure 698105DEST_PATH_IMAGE011
，
进一步地，所述建立解码工具还包括：
根据所述第二网络初始值建立解码工具，建立时，所述特征层的最后一维的长度为预测目标的种类数加四。
进一步地，利用所述第三交并比对所述第二圆形预测框进行非极大抑制，删除重复的预测框还包括：
所述第三交并比大于预设值时，删除计算所述第三交并比时的两个所述第二圆形预测框中置信度较小的所述第二圆形预测框。
根据本发明的另一个方面，还提供一种视频图像的多圆形目标识别系统，所述多圆形目标识别系统包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行时用于调取所述计算机程序，执行如权利要求1-9任一所述的一种视频图像的多圆形目标识别方法。
同以往的识别方法相比，本发明采用一种定性的圆形框IOU计算方法来替换典型目标检测算法中的矩形框IOU测算方法，形成了一种新的目标检测方法，首先基于圆形框的参数建立了目标识别网络模型并对该模型进行迭代训练，并对训练后的网络模型进行优化；在预测阶段，以训练阶段保存的优化权值为输入，获取待识别图像的预测结果，并对预测结果进行解码转换获得圆形预测框；通过计算圆形真实框与圆形预测框间的CIRCLE-IOU对圆形预测框进行筛选去噪，从而精确地识别目标物体。本发明能避免很多非识别对象的像素点被框入，从而进一步提高了识别精度，而且还能更精确地处理以及判断圆形预测框的优劣。
附图说明
本发明构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
图1为本发明实施例中视频图像的多圆形目标识别方法的训练流程示意图。
图2为本发明实施例中视频图像的多圆形目标识别方法的预测流程示意图。
图3为本发明实施例中视频图像的多圆形目标识别中相交两圆的位置示意图。
具体实施方式
下面将结合附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
实施例一，如图1所示，为视频图像的多圆形目标识别方法的训练过程，在原本的yolo代码中，每个网格要预测B个bounding_box，每个bounding_box除了要预测中心点的横纵坐标以及矩形框的宽和高，还要附带预测一个confidence值(置信度)和物体类别参数。在本实施例中，为了适合圆形框，将原本的bounding_box修改成了预测中心点的横纵坐标、圆形框的半径、confidence值和物体类别参数。
步骤一，首先根据初始值创建目标检测网络模型，即RYOLO模型：将预测框由矩形变成圆形，对于源代码中设置的矩形的预选框的初始值设置就不能使用了，所以要将矩形框的宽和长修改为圆形框的半径r，这里具体的修改可以取宽与长的和除以4作为半径r的初始值：
Figure 957179DEST_PATH_IMAGE012
其中，
Figure 87946DEST_PATH_IMAGE013
分别表示源代码中预选框的长和宽，其值是相对于像素点的大小。
之后修改预测目标的种类数，根据修改的半径和预测目标的种类数以及没有修改仍然按照原代码所设置的数据集图片的分辨率等初始值建立网络模型。
步骤二，由于修改了预测的bounding_box，原本预测的5个值变成了4个，所以在设置网络模型的输出通道的地方要修改相应的通道数：
Figure 226804DEST_PATH_IMAGE014
；
其中
Figure 872549DEST_PATH_IMAGE015
表示预测目标的种类数，g表示通道数，*表示乘号。
给建立的网络模型中加载初始权值文件。
步骤三，根据设置的初始值建立RLOSS函数，在建立的时候，要修改特征层的最后一维的长度：
Figure 122264DEST_PATH_IMAGE016
，
其中
Figure 107538DEST_PATH_IMAGE017
表示最后一维长度。
步骤四，将数据集划分为训练集和验证集，从训练集中取一定比例的数据作为验证集，剩余的数据继续作为训练集：
Figure 728881DEST_PATH_IMAGE018
步骤五，加载数据集，每一次的迭代分别读取Batch_size数量的图片作为本次迭代的训练集和验证集，读取图片与对应的真实框，将读取的真实框除以图片大小，获得相对图片大小的横纵坐标以及半径：
Figure 799605DEST_PATH_IMAGE019
其中
Figure 853012DEST_PATH_IMAGE020
分别表示真实框距离图片左上角相距的横向像素点数量和纵向像素 点数量；
Figure 755109DEST_PATH_IMAGE021
表示真实框半径为多少个像素点的长度，
Figure 235769DEST_PATH_IMAGE022
分别表示图像的宽、高，
Figure 528210DEST_PATH_IMAGE023
分别表示真实框相对于图片大小的横坐标、纵坐标以及半径。
步骤六，将图片放入网络中，得到大小分别为13*13、32*32、52*52的特征层，分别获得每个特征层所对应的预选框的大小，即圆形预选框的半径；
Figure 198357DEST_PATH_IMAGE024
其中
Figure 892643DEST_PATH_IMAGE025
表示特征层宽的大小，
Figure 544204DEST_PATH_IMAGE026
表示每个特征点对应的像素点数量，
Figure 651838DEST_PATH_IMAGE027
表示预选 框半径为多少个像素点的长度，
Figure 47047DEST_PATH_IMAGE028
表示预选框相对于特征点的半径；
从特征层中读取出圆形预测框的对应数据，如相对于特征点的的横坐标、纵坐标、半径、置信度和待识别目标的类别，其中，读取圆形框的方法如下：
圆形框相比于矩形框，少了一个预测数据，所以将原本最后一个维度上的位置减1才是圆形框的位置，
Figure 595840DEST_PATH_IMAGE029
其中，sigmoid表示神经网络的激活函数，
Figure 13044DEST_PATH_IMAGE030
分别表示预测框相对于特 征点的横坐标、纵坐标以及半径，
Figure 280078DEST_PATH_IMAGE031
表示预测框的置信度，
Figure 213398DEST_PATH_IMAGE032
在最后一个维度上 的长度就是预测目标的种类数，如果预测出来是某个物体，那么那个物体对应的位置上的 值是1，其他位置为0，
Figure 944594DEST_PATH_IMAGE033
表示输出特征层的最后一维的第0号位置上的值，
Figure 203537DEST_PATH_IMAGE034
表示输出特 征层的最后一维的第1号位置上的值，
Figure 692287DEST_PATH_IMAGE035
表示输出特征层的最后一维的第2号位置上的值，
Figure 507928DEST_PATH_IMAGE036
表示输出特征层的最后一维的第3号位置上的值，
Figure 31313DEST_PATH_IMAGE037
表示输出特征层的最后一维的第4 号位置以及之后所有位置上的值。
步骤七，通过计算真实框与预选框的交并比CIRCLE-IOU，确定真实框所对应于特征层上的位置；其中，确定真实框位置的方法如下：
计算真实框相对于图片大小的的横坐标与特征层大小的积，然后对结果向下取整得到真实框在特征层上的横坐标：
Figure 257895DEST_PATH_IMAGE038
其中
Figure 499520DEST_PATH_IMAGE039
表示真实框相对于特征点的横坐标，
Figure 40223DEST_PATH_IMAGE040
表示真实框所在的特征点的横 坐标。
计算真实框相对于图片大小的的纵坐标与特征层大小的积，然后对结果向下取整得到真实框在特征层上的纵坐标：
Figure 729699DEST_PATH_IMAGE041
其中
Figure 330445DEST_PATH_IMAGE042
表示特征层高大小，
Figure 793787DEST_PATH_IMAGE043
表示真实框相对于特征点的纵坐标,
Figure 200498DEST_PATH_IMAGE044
表示真实 框所在的特征点的纵坐标。
计算真实框相对于图片大小的的半径与特征层大小的积，这里不用向下取整，直接得到真实框在特征层上的半径：
Figure 698475DEST_PATH_IMAGE045
其中
Figure 204543DEST_PATH_IMAGE046
表示加上在特征层的位置后的真实框相对于特征点的半径。
将真实框相对于特征点大小的横坐标和纵坐标的值变成0作为之后计算CIRCLE-IOU的输入，将预选框的最后一维增加相对于特征点大小的横坐标和纵坐标的值并设置为0，也作为计算CIRCLE-IOU的输入；
这里以计算真实框与预测框间的第二交并比为例，结合图3，解释计算两圆间交并比的方法，其中真实框与预测框两个圆的交并比的计算方法为：
1.设其中一个圆1（真实框）的读入的格式为
Figure 233810DEST_PATH_IMAGE047
，圆2（预测框）的读入格式
Figure 116315DEST_PATH_IMAGE048
。其中
Figure 468799DEST_PATH_IMAGE049
，分别为圆1的圆心横纵坐标和半径，
Figure 208085DEST_PATH_IMAGE050
分别为圆2的 圆心横纵坐标和半径。
2.计算圆心距离d（abs为绝对值计算，保证距离d为正值），
Figure 646020DEST_PATH_IMAGE051
（23）
3.判断两圆的关系分为：相离，包含，相交，（外切内切等不做特殊区分，当作相离和包含的情况）计算交集：
如果两圆的关系为相离
Figure 332216DEST_PATH_IMAGE052
，则交集为0，CIRCLE-IOU为0。
如果两圆的关系为包含
Figure 850791DEST_PATH_IMAGE053
，则交集为小圆的面积， CIRCLE-IOU为小圆面积比大圆面积的值。
如果两圆的关系为相交
Figure 964240DEST_PATH_IMAGE054
，如图3所示，其中
Figure 889471DEST_PATH_IMAGE055
为两圆圆心，A和B分别为两圆的交点，2a为由两条半径所夹的圆心角，
Figure 176096DEST_PATH_IMAGE056
又根据余弦定理：
Figure 503172DEST_PATH_IMAGE057
，
反解出a:
Figure 787523DEST_PATH_IMAGE058
其中，面积计算公式分别为：
Figure 747520DEST_PATH_IMAGE059
Figure 775519DEST_PATH_IMAGE060
则交集
Figure 957101DEST_PATH_IMAGE061
:
Figure 474670DEST_PATH_IMAGE062
Figure 374493DEST_PATH_IMAGE063
。
计算交并比CIRCLE-IOU后，划分正负样本，用负样本计算损失值，获得负样本的方法为：
1. 获取预测框的横纵坐标和半径值，方法和之前从特征层中取出预测框的对应数据相同。
2. 生成网格，先生成一维向量，向量的值为0到特征层的大小减1，向量的形状为（特征层宽大小），然后将其在第一维度扩维成（特征层高大小，特征层宽大小），再在第一维度扩维，变成：
Figure 940604DEST_PATH_IMAGE064
，
最后变成：
Figure 288277DEST_PATH_IMAGE065
。
以上生成的是横坐标x的网格，之后按同样的方法生成纵坐标y的网格：
（特征层高大小）到（特征层宽大小，特征层高大小）到
Figure 914431DEST_PATH_IMAGE066
，再到
Figure 35971DEST_PATH_IMAGE067
；
生成半径的网格：
Figure 468089DEST_PATH_IMAGE068
将获得的横坐标
Figure 624264DEST_PATH_IMAGE069
、纵坐标
Figure 421318DEST_PATH_IMAGE070
、半径
Figure 843204DEST_PATH_IMAGE071
值进行处理:
Figure 751117DEST_PATH_IMAGE072
其中e为自然常数。
将加上在特征层的位置后的相对于特征点的真实框的数据格式也转化成(-1, 3)的张量，
按前述交并比计算方法，代入上述加上在特征层的位置后的相对于特征点的横坐标、纵坐标和半径计算真实框与预测框的交并比，将大于预设值的交并比的预测框设为0，其余为1，得到负样本。
计算真实框相对于特征点的横坐标、纵坐标以及半径。
Figure 761798DEST_PATH_IMAGE073
其中
Figure 792071DEST_PATH_IMAGE074
分别表示加上在特征层的位置后的真实框相对于特征点的横 坐标、纵坐标以及半径。
步骤八，用负样本计算RLOSS值，修改了原本计算长宽的方法，增加计算半径的损失：
对所有有目标点的横坐标x：
Figure 888203DEST_PATH_IMAGE075
对所有有目标点的纵坐标y：
Figure 599807DEST_PATH_IMAGE076
对所有有目标点的纵坐标r：
Figure 48018DEST_PATH_IMAGE077
，
置信度（有目标点时mask为1，无目标点时为0；有目标点时noobj_mask为0，无目标点时为1；）:
Figure 186875DEST_PATH_IMAGE078
其中,mask为记录是否识别出物体的矩阵；
对有目标点的分类：
Figure 504724DEST_PATH_IMAGE079
其中
Figure 82336DEST_PATH_IMAGE080
是真实框的分类。
求所有
Figure 67609DEST_PATH_IMAGE081
和:
Figure 377368DEST_PATH_IMAGE082
。
步骤八，对目标检测网络进行反向传播，优化权值文件；并用验证集验证优化效果；
步骤九，目标检测网络迭代训练完成后保存优化后的权值文件。
人为创建一个TXT文档设置物体类别与数字的对应关系，并将该txt文档的路径写到读取物体分类的代码里，使代码在读取物体分类时能正确读取。
结合图2，多圆形目标识别方法中的测试步骤如下：
人为创建一个TXT文档设置物体类别于数字的对应关系，并将该txt文档的路径写到读取物体分类的代码里，使代码在读取物体分类时能正确读取。
步骤一，创建RYOLO模型。首先根据初始值创建新的RYOLO模型；
步骤二，加载权值文件。给新建的模型中加载训练过程保存的权值文件；
步骤三，建立解码工具。建立将预测结果特征层转化为预测框的解码工具，根据设置的初始值建立解码，在建立的时候，要修改特征层的最后一维的长度：
Figure 995562DEST_PATH_IMAGE083
；
步骤四，放入图片进行预测。将图片放入网络中进行预测；
步骤五，将特征图进行解码。使用解码工具将预测结果转换为预测框，解码过程的具体步骤为：
获取每个特征层对应的预选框的大小。获得每个特征层所对应的像素点数量；
Figure 48969DEST_PATH_IMAGE084
读取预测框数据。具体为从特征层中读取出圆形预测框的对应数据，如相对于特征点的的横坐标、纵坐标、半径、置信度和待识别目标的类别，其中，读取圆形框的方法如下：
圆形框相比于矩形框，少了一个预测数据，所以将原本最后一个维度上的位置减1才是圆形框的位置，
Figure 951066DEST_PATH_IMAGE085
生成网格，先生成一维向量，向量的值为0到特征层的大小减1，向量的形状为（特征宽大小），然后将其在第一维度扩维成（特征层高大小，特征层宽大小），再在第一维度扩维，变成：
Figure 431726DEST_PATH_IMAGE066
最后变成：
Figure 989746DEST_PATH_IMAGE086
。
以上生成的是横坐标x的网格，之后按同样的方法生成纵坐标y的网格：
Figure 892849DEST_PATH_IMAGE087
生成半径的网格：
Figure 852715DEST_PATH_IMAGE088
将获得的横坐标
Figure 504276DEST_PATH_IMAGE089
、纵坐标
Figure 346330DEST_PATH_IMAGE090
、半径
Figure 741539DEST_PATH_IMAGE091
值进行处理:
Figure 555911DEST_PATH_IMAGE092
将加上在特征层的位置后的相对于特征点的预测框的数据格式转化成形状为(-1, 3)的张量。
处理预测框数据。具体为修改预测框相对于图片大小的
Figure 191423DEST_PATH_IMAGE093
：
预测框相对于图片大小的
Figure 458457DEST_PATH_IMAGE094
为对应加上在特征层后的相对于特征点 的预测框相对于特征点大小的
Figure 657357DEST_PATH_IMAGE095
和
Figure 388552DEST_PATH_IMAGE096
的乘积。
通过计算CIRCLE-IOU对预测框进行非极大抑制，将大于一定值的框认为是同一个物体从而去除：
先获得预测框的外接矩形的左上角的坐标以及右下角的坐标：
Figure 381916DEST_PATH_IMAGE097
其中，
Figure 136246DEST_PATH_IMAGE098
分别表示预测框相对于图片大小的横纵坐标以及半径，
Figure 512738DEST_PATH_IMAGE099
分别表示该圆的外接矩形相对于图片大小的左上角的横纵坐标、右下 角的横纵坐标。
步骤六，将预测框进行非极大抑制。根据前述步骤五获得外接矩形相关数据，将预测框代入非极大抑制的函数中，在计算CIRCLE-IOU的时候，再将左上角和右下角的坐标转变成圆形框的横纵坐标以及半径：
Figure 36123DEST_PATH_IMAGE100
Figure 13438DEST_PATH_IMAGE101
步骤七，在图上画框。在图片上画出预测框，将经过非极大抑制函数后留下来的框，按照分类的顺序画框，在画框时再次通过上述的办法获得外接矩形的左上角的坐标以及右下角的坐标，用上述四个坐标数据来画圆框。
步骤八，显示预测结果。
实施例二，还公开一种视频图像的多圆形目标识别系统，所述多圆形目标识别系统包括处理器和存储器，所述存储器上存储有如前任一所述的一种视频图像的多圆形目标识别方法，处理器运行时能够实现所述多圆形目标识别方法。
如表1所示，通过上述图像目标识别方法能有更高的准确性以及识别速度，对于一些其他方法无法识别的椭圆也能精准识别。
各类别的识别统计表1：
Figure 255063DEST_PATH_IMAGE102
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (10)

1.一种视频图像的多圆形目标识别方法，其特征在于，包括：
检测原始图像中目标物的圆形真实框的参数，根据所述圆形真实框的参数得到目标数据集；
设置第一网络初始值，根据所述第一网络初始值构建第一目标检测网络；
建立损失函数；
将所述目标数据集划分为训练集和验证集；
随机加载所述训练集中的图片和与所述图片对应的圆形真实框的参数，训练所述第一目标检测网络；
获取所述训练集的特征层，并计算获得所述特征层对应的圆形预选框的参数；
从所述特征层中获取第一圆形预测框的参数；
根据所述圆形预选框的参数和所述圆形真实框的参数，计算所述圆形预选框和所述圆形真实框的第一交并比，根据所述第一交并比确定所述圆形真实框对应于所述特征层上的位置；
根据所述第一圆形预测框的参数和所述圆形真实框的参数，计算所述第一圆形预测框与所述圆形真实框之间的第二交并比；
根据所述第二交并比划分正负样本；
利用负样本通过所述损失函数计算损失值，并对所述第一目标检测网络进行反向传播，优化所述第一目标检测网络的权值；
利用所述验证集验证优化后的所述第一目标检测网络的效果，至此完成一次迭代，重复迭代直至完成所述第一目标检测网络的迭代训练；
所述第一目标检测网络迭代训练完成后，保存优化后的所述第一目标检测网络的权值；
重新设置第二网络初始值，根据所述第二网络初始值构建第二目标检测网络；
加载优化后的所述第一目标检测网络的权值；
建立解码工具；
将所述原始图像放入所述第二目标检测网络中预测，获得预测结果；
利用所述解码工具将所述预测结果转换为第二圆形预测框；
分别将预测结果为同一种类的所述第二圆形预测框按照对应的置信度大小排序，并分别计算任意两个预测结果为同一种类的所述第二圆形预测框之间的第三交并比，利用所述第三交并比对所述第二圆形预测框进行非极大抑制，删除重复的预测框；
在所述原始图片上画出非极大抑制后的第二圆形预测框，从而识别目标物体。
2.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，所述第一网络初始值和所述第二网络初始值均包括所述圆形预选框的半径、预测目标的种类数和数据集图片的分辨率。
3.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，基于预测目标的种类数计算所述第一目标检测网络的输出通道的通道数。
4.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，所述计算获得所述特征层对应的圆形预选框的参数的方法包括：
计算所述原始图像的大小与特征层的大小的比值，获得特征点对应的像素数量；
计算所述圆形预选框的大小与所述特征点对应的像素数量的比值，获得相对于特征点大小的所述圆形预选框。
5.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，所述第一圆形预测框的参数包括：
所述第一圆形预测框的中心点的相对于图片大小的横坐标、纵坐标、半径、置信度和物体类别参数。
6.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，所述确定所述圆形真实框对应于所述特征层上的位置的方法包括：
计算相对于图片大小的所述圆形真实框的横坐标与所述特征层的大小的乘积，再对所述乘积向下取整得到所述圆形真实框对应于所述特征层的横坐标；
计算相对于图片大小的所述圆形真实框的纵坐标与所述特征层的大小的乘积，再对所述乘积向下取整得到所述圆形真实框对应于所述特征层的纵坐标；
计算相对于图片大小的所述圆形真实框的半径与所述特征层的大小的乘积，得到所述圆形真实框对应于所述特征层的半径。
7.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，
所述第一交并比、所述第二交并比或所述第三交并比的计算方法包括：
计算两圆框的圆心距离d，根据所述圆心距离判断两圆的关系：
如果两圆的关系为相离，则交集
Figure DEST_PATH_IMAGE002AAAAA
为0，所述第一交并比为0；
如果两圆的关系为包含，则交集
Figure DEST_PATH_IMAGE002AAAAAA
为小圆的面积，第一交并比为小圆面积 与大圆面积的比值；
如果两圆的关系为相交，计算两圆的交集
Figure DEST_PATH_IMAGE002AAAAAAA
，并分别计算两圆的面积S1和 S2，利用下述公式计算所述第一交并比CIRCLE-IOU：
Figure 463693DEST_PATH_IMAGE003
。
8.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，
所述建立解码工具还包括：
根据所述第二网络初始值建立解码工具，建立时，所述特征层的最后一维的长度为预测目标的种类数加四。
9.如权利要求1所述的一种视频图像的多圆形目标识别方法，其特征在于，利用所述第三交并比对所述第二圆形预测框进行非极大抑制，删除重复的预测框还包括：
所述第三交并比大于预设值时，删除计算所述第三交并比时的两个所述第二圆形预测框中置信度较小的所述第二圆形预测框。
10.一种视频图像的多圆形目标识别系统，其特征在于，所述多圆形目标识别系统包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行时用于调取所述计算机程序，并执行如权利要求1-9任一所述的一种视频图像的多圆形目标识别方法。
CN202111036387.2A 2021-09-06 2021-09-06 一种视频图像的多圆形目标识别方法和系统 Pending CN113469302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111036387.2A CN113469302A (zh) 2021-09-06 2021-09-06 一种视频图像的多圆形目标识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111036387.2A CN113469302A (zh) 2021-09-06 2021-09-06 一种视频图像的多圆形目标识别方法和系统

Publications (1)

Publication Number Publication Date
CN113469302A true CN113469302A (zh) 2021-10-01

Family

ID=77868147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111036387.2A Pending CN113469302A (zh) 2021-09-06 2021-09-06 一种视频图像的多圆形目标识别方法和系统

Country Status (1)

Country Link
CN (1) CN113469302A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283275A (zh) * 2022-03-04 2022-04-05 南昌工学院 一种基于优化深度学习的多图形目标检测方法
CN114926420A (zh) * 2022-05-10 2022-08-19 电子科技大学 一种基于跨级特征增强的目标馕的识别及计数方法

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法
CN108537775A (zh) * 2018-03-02 2018-09-14 浙江工业大学 一种基于深度学习检测的癌细胞跟踪方法
CN108764257A (zh) * 2018-05-23 2018-11-06 郑州金惠计算机系统工程有限公司 一种多视角的指针式仪表识别方法
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109684906A (zh) * 2018-05-31 2019-04-26 北京林业大学 基于深度学习的检测红脂大小蠹的方法
CN109785337A (zh) * 2018-12-25 2019-05-21 哈尔滨工程大学 一种基于实例分割算法的栏内哺乳动物清点方法
CN109815854A (zh) * 2019-01-07 2019-05-28 亮风台（上海）信息科技有限公司 一种用于在用户设备上呈现图标的关联信息的方法与设备
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN109858435A (zh) * 2019-01-29 2019-06-07 四川大学 一种基于脸部图像的小熊猫个体识别方法
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN110321844A (zh) * 2019-07-04 2019-10-11 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
CN111401376A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备以及存储介质
CN111611998A (zh) * 2020-05-21 2020-09-01 中山大学 一种基于候选区域面积和宽高的自适应特征块提取方法
CN111929314A (zh) * 2020-08-26 2020-11-13 湖北汽车工业学院 一种轮毂焊缝视觉检测方法及检测系统
KR102200608B1 (ko) * 2019-07-03 2021-01-08 영남대학교 산학협력단 문자 검출 장치 및 방법
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112487912A (zh) * 2020-11-24 2021-03-12 杭州电子科技大学 基于改进YOLOv3的任意方向舰船检测方法
WO2021051601A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法
US20210209392A1 (en) * 2019-02-01 2021-07-08 Beijing Sensetime Technology Development Co., Ltd. Image Processing Method and Device, and Storage Medium
CN113160188A (zh) * 2021-04-27 2021-07-23 福州大学 基于圆形特征的鲁棒血细胞检测方法

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法
CN108537775A (zh) * 2018-03-02 2018-09-14 浙江工业大学 一种基于深度学习检测的癌细胞跟踪方法
CN108764257A (zh) * 2018-05-23 2018-11-06 郑州金惠计算机系统工程有限公司 一种多视角的指针式仪表识别方法
CN109684906A (zh) * 2018-05-31 2019-04-26 北京林业大学 基于深度学习的检测红脂大小蠹的方法
CN109614985A (zh) * 2018-11-06 2019-04-12 华南理工大学 一种基于密集连接特征金字塔网络的目标检测方法
CN109785337A (zh) * 2018-12-25 2019-05-21 哈尔滨工程大学 一种基于实例分割算法的栏内哺乳动物清点方法
CN109815854A (zh) * 2019-01-07 2019-05-28 亮风台（上海）信息科技有限公司 一种用于在用户设备上呈现图标的关联信息的方法与设备
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN109858435A (zh) * 2019-01-29 2019-06-07 四川大学 一种基于脸部图像的小熊猫个体识别方法
US20210209392A1 (en) * 2019-02-01 2021-07-08 Beijing Sensetime Technology Development Co., Ltd. Image Processing Method and Device, and Storage Medium
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
KR102200608B1 (ko) * 2019-07-03 2021-01-08 영남대학교 산학협력단 문자 검출 장치 및 방법
CN110321844A (zh) * 2019-07-04 2019-10-11 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
WO2021051601A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质
CN111401376A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备以及存储介质
CN111611998A (zh) * 2020-05-21 2020-09-01 中山大学 一种基于候选区域面积和宽高的自适应特征块提取方法
CN111929314A (zh) * 2020-08-26 2020-11-13 湖北汽车工业学院 一种轮毂焊缝视觉检测方法及检测系统
CN112487912A (zh) * 2020-11-24 2021-03-12 杭州电子科技大学 基于改进YOLOv3的任意方向舰船检测方法
CN112330701A (zh) * 2020-11-26 2021-02-05 山东师范大学 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法
CN113160188A (zh) * 2021-04-27 2021-07-23 福州大学 基于圆形特征的鲁棒血细胞检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEI HAN ET AL: "A Multi-stage Network for Improving the Sample Quality in Aerial Image Object Detection", 《IGARSS 2020-2020 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
WENYUAN XUE ET AL: "Text Detection and Recognition for Images of Medical Laboratory Reports With a Deep Learning Approach", 《IEEE ACCESS》 *
XIANGHUI LI ET AL: "Multi-Scale Vehicle Detection in High-Resolution Aerial Images With Context Information", 《IEEE ACCESS》 *
王昱晓: "多尺度特征融合的安检图像危险品检测", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283275A (zh) * 2022-03-04 2022-04-05 南昌工学院 一种基于优化深度学习的多图形目标检测方法
CN114283275B (zh) * 2022-03-04 2022-08-16 南昌工学院 一种基于优化深度学习的多图形目标检测方法
CN114926420A (zh) * 2022-05-10 2022-08-19 电子科技大学 一种基于跨级特征增强的目标馕的识别及计数方法

Similar Documents

Publication Publication Date Title
CN111292303B (zh) 焊缝缺陷类别检测方法、装置、电子设备及存储介质
CN109002562B (zh) 一种仪器识别模型训练方法和装置及仪器识别方法和装置
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
TW202013248A (zh) 車輛損壞識別方法及裝置
CN113469302A (zh) 一种视频图像的多圆形目标识别方法和系统
CN112348836A (zh) 一种自动提取建筑物轮廓的方法及装置
CN110443242B (zh) 读数框检测方法、目标识别模型训练方法及相关装置
CN111340023A (zh) 文本识别方法及装置、电子设备、存储介质
CN111651361A (zh) 一种基于可视化页面的无脚本自动化测试方法
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN112990183A (zh) 离线手写汉字同名笔画提取方法、系统、装置
CN111353580A (zh) 目标检测网络的训练方法、电子设备及存储介质
CN114742789B (zh) 一种基于面结构光的通用零件拾取方法、系统及电子设备
CN115984662A (zh) 一种多模态数据预训练及识别方法、装置、设备及介质
CN108319954A (zh) 一种无接触测重方法
CN111815573B (zh) 一种基于深度学习的接箍外壁检测方法及系统
CN116597275A (zh) 一种基于数据增强的高速移动目标识别方法
CN116612382A (zh) 一种城市遥感图像目标检测方法和装置
US20220189806A1 (en) Estimating heights of defects in a wafer
CN115082944A (zh) 表格的智能识别切分方法、系统和终端
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN114998216A (zh) 透明件表面缺陷快速检测方法及装置
CN111325194B (zh) 一种文字识别方法、装置及设备、存储介质
CN113808142A (zh) 一种地面标识的识别方法、装置、电子设备
CN112966757A (zh) 训练样本的扩展方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211001

RJ01 Rejection of invention patent application after publication