CN113642549B - 快速目标检测系统和电子设备 - Google Patents

快速目标检测系统和电子设备 Download PDF

Info

Publication number
CN113642549B
CN113642549B CN202111210165.8A CN202111210165A CN113642549B CN 113642549 B CN113642549 B CN 113642549B CN 202111210165 A CN202111210165 A CN 202111210165A CN 113642549 B CN113642549 B CN 113642549B
Authority
CN
China
Prior art keywords
nbir
feature extraction
anchor point
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111210165.8A
Other languages
English (en)
Other versions
CN113642549A (zh
Inventor
籍焱
吴坤
王仲候
王殿胜
唐红武
薄满辉
翁剑英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Travelsky Mobile Technology Co Ltd
Original Assignee
China Travelsky Mobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Travelsky Mobile Technology Co Ltd filed Critical China Travelsky Mobile Technology Co Ltd
Priority to CN202111210165.8A priority Critical patent/CN113642549B/zh
Publication of CN113642549A publication Critical patent/CN113642549A/zh
Application granted granted Critical
Publication of CN113642549B publication Critical patent/CN113642549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种快速目标检测系统和电子设备，包括预先训练得到的特征提取模型、处理器和存储有计算机程序的存储器，所述特征提取模型中设置有锚点参数，所述锚点参数包括锚点基本尺寸、A组比例关系值和B组缩放关系值；所述特征提取模型包括B个特征提取模块，第b特征提取模块对应的缩放关系值为Qb，第b特征提取模块包括N个通道{Tb1,Tb2,…TbN}。本发明所述系统减少了目标检测所需计算量，提高了目标检测效率，能够适用于边缘设备、移动终端、嵌入式设备上等处理性能较弱的装置。

Description

快速目标检测系统和电子设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种快速目标检测系统和电子设备。
背景技术
目标检测是计算机视觉领域的一个基础研究课题，它是目标跟踪，人脸识别等众多计算机视觉问题的基础，拥有着广泛的应用前景。目标检测是指对于任意一张给定的图像，通过算法，检测并识别出图像中特定的对象，如行人，物体等，返回目标的位置信息，一般用矩形框表示。目标检测本身是一个复杂的问题，目标本身存在各种状态的变化，同时根据成像条件不同，会产生诸如遮挡、光照、姿态等不同的图像，进一步增加了场景的复杂程度。这些问题最后都会造成目标检测的困难和精度降低。神经网络是近些年兴起的一种新的检测模式，通过使用非线性的卷积运算所构成的神经网络，配合大量的数据，可以更好地提取特征，大大增加了目标检测的鲁棒性和精度。神经网络由于其强大的特征提取能力，如今已被广泛应用在多种任务上，如行人跟踪、OCR、图片分类、自然语言处理等。
现有的快速目标检测系统和电子设备通常采用SSD（Single Shot MultiBoxDetector）进行目标检测。SSD是一种one-stage的目标检测方法。这种目标检测算法使用CNN（卷积神经网络）网络提取特征，同时为了检测到不同尺度的目标，使用了多尺度特征图，最后通过将不同尺度的特征图收集到一起，作为最后预测用的特征图。但是SSD至少存在以下缺点：（1）网络backbone（骨架）部分采用VGG网络架构，计算量较大，过于笨重，在一些边缘设备、移动终端、嵌入式设备上等处理性能较弱的装置上使用时，往往无法实时处理目标检测数据；（2）提取特征时，采样过于密集，而实际上有些采样是没有必要的，这也会造成目标检测计算量的增加。由此可知，如何减少快速目标检测系统和电子设备的目标检测的计算量，提高目标检测的效率，使得快速目标检测系统和电子设备也适用于边缘设备、移动终端、嵌入式设备上等处理性能较弱的装置，成为亟待解决的技术问题。
发明内容
本发明目的在于，提供一种快速目标检测系统和电子设备，减少了目标检测所需计算量，提高了目标检测效率，能够适用于边缘设备、移动终端、嵌入式设备上等处理性能较弱的装置。
根据本发明第一方面，提供了一种快速目标检测系统，包括预先训练得到的特征提取模型、处理器和存储有计算机程序的存储器，所述特征提取模型中设置有锚点参数，所述锚点参数包括锚点基本尺寸、A组比例关系值{P1，P2，…PA}和B组缩放关系值{Q1,Q2，…QB}，其中，Pa为第a组比例关系值，a的取值范围为1到A，Qb为第b组缩放关系值，b的取值范围为1到B；所述特征提取模型包括B个特征提取模块，第b特征提取模块为所述B个特征提取模块中的第b个特征提取模块，所述第b特征提取模块对应的缩放关系值为Qb，第b特征提取模块包括N个通道{Tb1,Tb2,…TbN}，其中，Tbn为第b特征提取模块对应的第n个通道，当所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、所述特征提取模型获取原始输入图像，所述第b特征提取模块将原始输入图像按照Qb转换为第b输入图像；
步骤S2、所述第b特征提取模块以第b输入图像的第i像素点为中心点，按照锚点基本尺寸和每一Pa构建A个第i像素点对应的第b锚点基本框，并分别按照Qb进行缩放，再将缩放后的第i像素点对应的第b锚点基本框按照R组比例关系值在所述第b输入图像上配置对应的R个第b锚点参考框{Fbi1,Fbi2,…FbiR},其中，Fbir为第i个像素点的第r个第b锚点参考框，i的取值范围为1到Cb, Cb为第b输入图像的像素点数量，r的取值范围为1到R；
步骤S3、将配置第b锚点参考框之后的第b输入图像输入每一Tbn，Tbn基于每一Fbir提取第n类别的特征信息CHbn，基于CHbn输出基于每一Fbir对应的第nbir输出特征对应的特征参数组{pnbir,Onbir}，其中，pnbir为第nbir输出特征属于第n类别的概率值，Onbir为第nbir输出特征对应的提取框相对于Fbir的偏移量，基于所有{pnbir,Onbir}和对应的第b锚点参考框确定目标提取框，基于所述目标提取框提取目标信息。
根据本发明第二方面，提供了一种电子设备，包括所述系统，所述电子设备为边缘设备、移动终端或嵌入式设备。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种快速目标检测系统和电子设备可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
本发明所述系统通过设置多个锚点参考框以及多个类别通道，来提取图像特征，确定目标提取框，从而提取目标信息，无需进行密集采样，无需使用笨重的神经网络，只需轻量级的神经网络即可实现，减少了目标检测所需计算量，提高了目标检测效率，能够适用于边缘设备、移动终端、嵌入式设备上等处理性能较弱的装置。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本发明实施例提供的快速目标检测系统示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种快速目标检测系统和电子设备的具体实施方式及其功效，详细说明如后。
本发明实施例提供了一种快速目标检测系统，如图1所示，包括预先训练得到的特征提取模型、处理器和存储有计算机程序的存储器，所述特征提取模型中设置有锚点参数，所述锚点参数包括锚点基本尺寸、A组比例关系值{P1，P2，…PA}和B组缩放关系值{Q1,Q2，…QB}，其中，Pa为第a组比例关系值，a的取值范围为1到A，Qb为第b组缩放关系值，b的取值范围为1到B。需要说明的是，当A值B值，设置过大时，会增大计算量，过小时，可能导致所提取目标信息不够全面，作为一种优选实施例，A取值为3，B取值为3，进一步的，锚点基本尺寸可以设置为16*16，{P1，P2，…PA}可设置为{1:2，2:1、1:1}，{Q1,Q2，…QB}可以设置为{ x8、x16、x32}，可以理解的是，上述具体参数仅为示例，但不限于此，根据实际应用需求，可以设置对应的具体参数。所述特征提取模型包括B个特征提取模块，第b特征提取模块为所述B个特征提取模块中的第b个特征提取模块，所述第b特征提取模块对应的缩放关系值为Qb，第b特征提取模块包括N个通道{Tb1,Tb2,…TbN}，其中，Tbn为第b特征提取模块对应的第n个通道，n的取值范围为1到N。
当所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、所述特征提取模型获取原始输入图像，所述第b特征提取模块将原始输入图像按照Qb转换为第b输入图像；
可以理解的是，通过步骤S1的转换，将原始输入图像转换成了B个不同尺寸的图像分别在对应的第b特征提取模块中进行处理。
步骤S2、所述第b特征提取模块以第b输入图像的第i像素点为中心点，按照锚点基本尺寸和每一Pa构建A个第i像素点对应的第b锚点基本框，并分别按照Qb进行缩放，再将缩放后的第i像素点对应的第b锚点基本框按照R组比例关系值在所述第b输入图像上配置对应的R个第b锚点参考框{Fbi1,Fbi2,…FbiR},其中，Fbir为第i个像素点的第r个第b锚点参考框，i的取值范围为1到Cb, Cb为第b输入图像的像素点数量，r的取值范围为1到R；
可以理解的是，通过步骤S2，使得锚点参考框充满整张图像，针对每个像素点，均对应A*B个锚点参考框，提高目标提取的准确性和可靠性。
步骤S3、将配置第b锚点参考框之后的第b输入图像输入每一Tbn，Tbn基于每一Fbir提取第n类别的特征信息CHbn，基于CHbn输出基于每一Fbir对应的第nbir输出特征对应的特征参数组{pnbir,Onbir}，其中，pnbir为第nbir输出特征属于第n类别的概率值，Onbir为第nbir输出特征对应的提取框相对于Fbir的偏移量，基于所有{pnbir,Onbir}和对应的第b锚点参考框确定目标提取框，基于所述目标提取框提取目标信息。
本发明实施例所述系统通过设置多个锚点参考框以及多个类别通道，来提取图像特征，确定目标提取框，从而提取目标信息，无需进行密集采样，无需使用笨重的神经网络，只需轻量级的神经网络即可实现，减少了目标检测所需计算量，提高了目标检测效率，能够适用于边缘设备、移动终端、嵌入式设备上等处理性能较弱的装置。
作为一种实施例，所述特征提取模型为神经网络模型，所述第b特征提取模块的骨架（backbone）为mobilenet网络架构，mobilenet网络架构是一种轻量化的网络，主要面向嵌入式，移动终端等低算力推理场景，其与通常的VGG等特征提取网络最大的不同在于卷积单元的使用。VGG使用标准的卷积操作，而mobilenet将卷积操作分离开，成为逐通道卷积（Depth-wise Convolution）和逐点卷积（Point-wise Convolution），即深度可分离卷积，减少了目标提取计算量，提高了目标提取效率。
作为一种实施例，所述第b特征提取模块包括非局部特征提取层，用于对每一输入所述非局部特征提取层的图像的素点xbi进行处理，生成信息该像素点对应的信号ybi,并将所有ybi传输至下一层神经网路进行处理：
Figure 100002_DEST_PATH_IMAGE002
其中，xbj为所述第b特征提取模块中输入所述非局部特征提取层的图像的第j个像 素点，S表示对生成
Figure 100002_DEST_PATH_IMAGE004
进行归一化处理，
Figure DEST_PATH_IMAGE006
表示对xbi进行非线性处理的 结果，
Figure 100002_DEST_PATH_IMAGE008
表示xbj与xbi的关联关系：
Figure DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE012
表示对xbj进行对应的卷积处理再执行转置后的结果，
Figure DEST_PATH_IMAGE014
表示 对xbi进行对应的卷积处理后的结果。
通过设置非局部特征提取层能提取到图像长程信息，结合卷积获取的短程信息，对于检测对象较大或其他特征的目标，也能实现精确的检测。
作为一种实施例，所述原始输入图像基于Q1,Q2，…QB生成的图像尺寸依次减小，所述步骤S3中，所述基于CHbn输出基于每一Fbir对应的输出特征参数组{pnbir,Onbir}，包括：
步骤S31、初始化b=1;
步骤S32、设置CH(b+1)n=k*bilinear(CHbn)+ CH(b+1)n，其中，k为所述特征提取模型训练过程中确定的融合系数，k的取值范围为(0,1), bilinear(CHbn)表示对CHbn执行双线性插值算法；
步骤S33、判断b是否小于B，若小于，则设置b=b+1,返回执行步骤S32，若b等于B，则基于当前所有CHbn输出基于每一Fbir对应的输出特征参数组{pnbir,Onbir}。
通过步骤S31-步骤S33进行特征融合，能够使得大尺寸图像从小尺寸图像中进一步获取信息，能够给与大尺寸图像更多的信息，提高小目标检测的准确性。可以理解的是，小尺寸图像包含的信息更多，通过特征融合，能够进一步提高目标检测的准确性。
作为一种实施例，所述步骤S3中，所述基于所有{pnbir,Onbir}和对应的第b锚点参考框确定目标提取框，包括：
步骤S301、遍历所有{pnbir,Onbir}，将pnbir小于预设概率阈值的{pnbir,Onbir}过滤掉，得到每一Tbn对应的所有候选{pnbir,Onbir}构成的候选集合；
通过步骤S301能够过滤掉大部分无用的{pnbir,Onbir}，减少后续计算量。
步骤S302、基于每一Tbn对应的候选{pnbir,Onbir}中的候选Onbir和对应的第b锚点参考框确定候选参考框fnbir；
可以理解的是，每一第b锚点参考框的坐标是已知的，基于偏移量Onbir可以确定候选参考框fnbir。作为一种实施例，所述锚点参考框和目标提取框为长方形和正方形框，Onbir包括相对于锚点参考框四个顶点的偏移量。
步骤S303、从Tbn对应的候选集合中确定当前pnbir最大的候选{pnbir,Onbir}确定为目标{pnbir,Onbir}，存入Tbn对应的目标集合中，并从当前Tbn对应的候选集合中将该目标{pnbir,Onbir}删除，遍历当前Tbn对应的候选集合中的候选{pnbir,Onbir}对应的所有fnbir，分别与该目标{pnbir,Onbir}对应的fnbir计算交并比，将交并比大于预设第一交并比阈值的候选{pnbir,Onbir}从Tbn对应的候选集合中删除；
可以理解的是，求交并比的算法为现有算法，在此不再赘述。
步骤S304、判断当前Tbn对应的候选集合是否为空，若为空，则将当前Tbn对应的目标集合中所有目标{pnbir,Onbir}对应的fnbir确定为目标提取框，否则，返回执行步骤S303。
作为一种实施例，所述系统还包括有多个样本图像组成的样本图像库，用于训练得到所述特征提取模型。所述样本图像为预设尺寸的图像，所述样本图像包括目标提取真值框和类别真值，当所述处理器在执行所述计算机程序时，还实现以下步骤：
步骤S10、将样本图像输入初始特征提取模型中，输出所有每一Tbn对应的样本{pnbir,Onbir}；
可以理解的是，具体提取过程可参考步骤S1到步骤S3，在此不再赘述。
步骤S20、基于每一Tbn对应的每一样本{pnbir,Onbir}和对应的第b锚点参考框确定样本候选框，将每一样本候选框与对应目标提取真值框求交并比，将交并比大于预设第二交并比阈值的样本候选框确定为样本预测框；
步骤S30、基于样本预测框和目标提取真值框确定第一损失，基于样本预测框对应的pnbir与对应的类别真值确定第二损失，基于所述第一损失和第二损失确定模型损失，基于所述模型损失进行反向传播，调整特征提取模型参数，训练得到所述特征提取模型。
作为一种优选实施例，所述原始输入图像为具备预设尺寸的视频流图像，可以理解的是，视频流的图像尺寸是固定的，训练模型时，是直接采用与视频流对应的固定尺寸的样本图像进行训练，进一步提高了模型训练的准确性。
本发明实施例提供了一种电子设备，包括所述系统，所述电子设备为边缘设备、移动终端或嵌入式设备等处理性能较弱的装置。所述系统通过设置多个锚点参考框以及多个类别通道，来提取图像特征，确定目标提取框，从而提取目标信息，无需进行密集采样，无需使用笨重的神经网络，只需轻量级的神经网络即可实现，减少了所述电子设备目标检测所需计算量，提高了所述电子设备目标检测效率。
需要说明的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种快速目标检测系统，其特征在于，
包括预先训练得到的特征提取模型、处理器和存储有计算机程序的存储器，所述特征提取模型中设置有锚点参数，所述锚点参数包括锚点基本尺寸、A组比例关系值{P1，P2，…PA}和B组缩放关系值{Q1,Q2，…QB}，其中，Pa为第a组比例关系值，a的取值范围为1到A，Qb为第b组缩放关系值，b的取值范围为1到B；所述特征提取模型包括B个特征提取模块，第b特征提取模块为所述B个特征提取模块中的第b个特征提取模块，所述第b特征提取模块对应的缩放关系值为Qb，第b特征提取模块包括N个通道{Tb1,Tb2,…TbN}，其中，Tbn为第b特征提取模块对应的第n个通道，n的取值范围为1到N，当所述处理器在执行所述计算机程序时，实现以下步骤：
步骤S1、所述特征提取模型获取原始输入图像，所述第b特征提取模块将原始输入图像按照Qb转换为第b输入图像；
步骤S2、所述第b特征提取模块以第b输入图像的第i像素点为中心点，按照锚点基本尺寸和每一Pa构建A个第i像素点对应的第b锚点基本框，并分别按照Qb进行缩放，再将缩放后的第i像素点对应的第b锚点基本框按照R组比例关系值在所述第b输入图像上配置对应的R个第b锚点参考框{Fbi1,Fbi2,…FbiR},其中，Fbir为第i个像素点的第r个第b锚点参考框，i的取值范围为1到Cb, Cb为第b输入图像的像素点数量，r的取值范围为1到R；
步骤S3、将配置第b锚点参考框之后的第b输入图像输入每一Tbn，Tbn基于每一Fbir提取第n类别的特征信息CHbn，基于CHbn输出基于每一Fbir对应的第nbir输出特征对应的特征参数组{pnbir,Onbir}，其中，pnbir为第nbir输出特征属于第n类别的概率值，Onbir为第nbir输出特征对应的提取框相对于Fbir的偏移量，基于所有{pnbir,Onbir}和对应的第b锚点参考框确定目标提取框，基于所述目标提取框提取目标信息；
其中，所述第b特征提取模块包括非局部特征提取层，用于对每一输入所述非局部特征提取层的图像的素点xbi进行处理，生成信息该像素点对应的信号ybi,并将所有ybi传输至下一层神经网络 进行处理：
Figure 655041DEST_PATH_IMAGE001
其中，xbj为所述第b特征提取模块中输入所述非局部特征提取层的图像的第j个像素点，S表示对生成
Figure DEST_PATH_IMAGE002
进行归一化处理，
Figure DEST_PATH_IMAGE004
表示对xbi进行非线性处理的结果，
Figure 509864DEST_PATH_IMAGE005
表示xbj与xbi的关联关系：
Figure DEST_PATH_IMAGE007
其中，
Figure DEST_PATH_IMAGE008
表示对xbj进行对应的卷积处理再执行转置后的结果，
Figure DEST_PATH_IMAGE009
表示对xbi进行对应的卷积处理后的结果。
2.根据权利要求1所述的系统，其特征在于，
所述特征提取模型为神经网络模型，所述第b特征提取模块的骨架为mobilenet网络架构。
3.根据权利要求1所述的系统，其特征在于，
所述原始输入图像基于Q1,Q2，…QB生成的图像尺寸依次减小，所述步骤S3中，所述基于CHbn输出基于每一Fbir对应的输出特征参数组{pnbir,Onbir}，包括：
步骤S31、初始化b=1;
步骤S32、设置CH(b+1)n=k*bilinear(CHbn)+ CH(b+1)n，其中，k为所述特征提取模型训练过程中确定的融合系数，k的取值范围为(0,1), bilinear(CHbn)表示对CHbn执行双线性插值算法；
步骤S33、判断b是否小于B，若小于，则设置b=b+1,返回执行步骤S32，若b等于B，则基于当前所有CHbn输出基于每一Fbir对应的输出特征参数组{pnbir,Onbir}。
4.根据权利要求1所述的系统，其特征在于，
所述步骤S3中，所述基于所有{pnbir,Onbir}和对应的第b锚点参考框确定目标提取框，包括：
步骤S301、遍历所有{pnbir,Onbir}，将pnbir小于预设概率阈值的{pnbir,Onbir}过滤掉，得到每一Tbn对应的所有候选{pnbir,Onbir}构成的候选集合；
步骤S302、基于每一Tbn对应的候选{pnbir,Onbir}中的候选Onbir和对应的第b锚点参考框确定候选参考框fnbir；
步骤S303、从Tbn对应的候选集合中确定当前pnbir最大的候选{pnbir,Onbir}确定为目标{pnbir,Onbir}，存入Tbn对应的目标集合中，并从当前Tbn对应的候选集合中将该目标{pnbir,Onbir}删除，遍历当前Tbn对应的候选集合中的候选{pnbir,Onbir}对应的所有fnbir，分别与该目标{pnbir,Onbir}对应的fnbir计算交并比，将交并比大于预设第一交并比阈值的候选{pnbir,Onbir}从Tbn对应的候选集合中删除；
步骤S304、判断当前Tbn对应的候选集合是否为空，若为空，则将当前Tbn对应的目标集合中所有目标{pnbir,Onbir}对应的fnbir确定为目标提取框，否则，返回执行步骤S303。
5.根据权利要求1所述的系统，其特征在于，
所述系统还包括有多个样本图像组成的样本图像库，所述样本图像为预设尺寸的图像，所述样本图像包括目标提取真值框和类别真值，当所述处理器在执行所述计算机程序时，还实现以下步骤：
步骤S10、将样本图像输入初始特征提取模型中，输出所有每一Tbn对应的样本{pnbir,Onbir}；
步骤S20、基于每一Tbn对应的每一样本{pnbir,Onbir}和对应的第b锚点参考框确定样本候选框，将每一样本候选框与对应目标提取真值框求交并比，将交并比大于预设第二交并比阈值的样本候选框确定为样本预测框；
步骤S30、基于样本预测框和目标提取真值框确定第一损失，基于样本预测框对应的pnbir与对应的类别真值确定第二损失，基于所述第一损失和第二损失确定模型损失，基于所述模型损失进行反向传播，调整特征提取模型参数，训练得到所述特征提取模型。
6.根据权利要求5所述的系统，其特征在于，
所述原始输入图像为具备预设尺寸的视频流图像。
7.根据权利要求1所述的系统，其特征在于，
所述锚点参考框和目标提取框为长方形和正方形框，Onbir包括相对于锚点参考框四个顶点的偏移量。
8.根据权利要求1所述的系统，其特征在于，
A取值为3，B取值为3。
9.一种电子设备，包括所述权利要求1到8中任意一项所述的系统，所述电子设备为边缘设备、移动终端或嵌入式设备。
CN202111210165.8A 2021-10-18 2021-10-18 快速目标检测系统和电子设备 Active CN113642549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111210165.8A CN113642549B (zh) 2021-10-18 2021-10-18 快速目标检测系统和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111210165.8A CN113642549B (zh) 2021-10-18 2021-10-18 快速目标检测系统和电子设备

Publications (2)

Publication Number Publication Date
CN113642549A CN113642549A (zh) 2021-11-12
CN113642549B true CN113642549B (zh) 2022-01-04

Family

ID=78427301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111210165.8A Active CN113642549B (zh) 2021-10-18 2021-10-18 快速目标检测系统和电子设备

Country Status (1)

Country Link
CN (1) CN113642549B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694401B (zh) * 2018-05-09 2021-01-12 北京旷视科技有限公司 目标检测方法、装置及系统
CN111738133A (zh) * 2020-06-17 2020-10-02 北京奇艺世纪科技有限公司 模型训练方法、目标检测方法、装置、电子设备及可读存储介质
CN111967305B (zh) * 2020-07-01 2022-03-18 华南理工大学 一种基于轻量级卷积神经网络的实时多尺度目标检测方法
CN112101430B (zh) * 2020-08-28 2022-05-03 电子科技大学 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法

Also Published As

Publication number Publication date
CN113642549A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
WO2020238560A1 (zh) 视频目标跟踪方法、装置、计算机设备及存储介质
WO2022111506A1 (zh) 视频动作识别方法、装置、电子设备和存储介质
US20210158023A1 (en) System and Method for Generating Image Landmarks
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN110991311A (zh) 一种基于密集连接深度网络的目标检测方法
CN112639828A (zh) 数据处理的方法、训练神经网络模型的方法及设备
JP7425147B2 (ja) 画像処理方法、テキスト認識方法及び装置
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN111767962B (zh) 基于生成对抗式网络的一阶段目标检测方法、系统及装置
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN110610210A (zh) 一种多目标检测方法
CN112597920A (zh) 基于YOLOv3剪枝网络的实时物体检测系统
Dai Real-time and accurate object detection on edge device with TensorFlow Lite
CN113297959A (zh) 一种基于角点注意力孪生网络的目标跟踪方法及系统
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
Košcevic et al. Automatic visual reading of meters using deep learning
CN117197632A (zh) 一种基于Transformer的电镜花粉图像目标检测方法
CN113642549B (zh) 快速目标检测系统和电子设备
CN115205793B (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置
CN116152747A (zh) 一种基于外观辨识和动作建模的人类行为意图识别方法
Lee et al. Alternative Collaborative Learning for Character Recognition in Low-Resolution Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant