CN111401383B - 基于图像检测的目标框预估方法、系统、设备及介质 - Google Patents

Abstract

本申请提供一种基于图像检测的目标框预估方法、系统、设备及介质，该方法包括：采用至少两种检测方法检测数据集内图像的目标框，将每张所述图像检测的目标框归类统计；当检测到某一所述图像的目标框少于预设检测方法种类时，根据归类统计信息预估所述图像在其他检测方法下的目标框。本发明针对同一数据集，采用多种检测方法检测图像内的目标框根据同一图像在多种检测方式下得到的目标框差异，按照所述差异采用对比思路能够预估出缺少的某些图像的目标框，而该种方式计算快、耗时低，能够确保数据集内样本的均衡性和一致性。

Description

基于图像检测的目标框预估方法、系统、设备及介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种基于图像检测的目标框预估方法、系统、设备及介质。

背景技术

随着人工智能技术的发展，深度学习在图像处理领域的应用已经越来越普及，其通常采用深度神经网络训练大量数据，而生成相关模型完成相应的识别、检测等目标。针对多任务需要先检测出人脸、车辆、物体等各种目标，才能进行后续工作，因此，目标框成为影响任务结果的一个重要因素。

然而，检测目标框的方法有多种，在实际使用对于目标框的更新替换很频繁，采用不同的目标检测方法由于其性能不同，导致同一个训练数据集，通常得到目标框的大小、位置等不同，目标的检出率也不同，因此，亟需一种图像目标检测的目标框预估方法来确保数据集内样本数据(检出率)的均衡性与一致性。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于图像检测的目标框预估方法、系统、设备及介质，用于解决现有技术中数据集内采用多种方法检测目标框，因得到的样本数据集数量不同，无法确保样本的均衡性和一致性的问题。

为实现上述目的及其他相关目的，本申请的第一方面，本申请提供一种基于图像检测的目标框预估方法，包括：

采用至少两种检测方法检测数据集内图像的目标框，将每张所述图像检测的目标框归类统计；

当检测到某一所述图像的目标框少于预设检测方法种类时，根据归类统计信息预估所述图像在其他检测方法下的目标框。

本申请的第二方面本申请提供一种基于图像检测的目标框预估系统，包括：

检测统计模块，采用至少两种检测方法检测数据集内图像的目标框，将每张所述图像检测的目标框归类统计；

预估目标框模块，用于当检测到某一所述图像的目标框少于预设检测方法种类时，根据归类统计信息预估所述图像在其他检测方法下的目标框。

本申请的第三方面，提供一种电子设备，包括：

存储器，用于存储至少一种程序；

处理器，用于调取并执行所存储的至少一种程序，用以执行权利要求1-9中任一所述的基于图像检测的目标框预估方法

本申请的第四方面，提供一种计算机可读存储介质，存储至少一种程序，所述至少一个程序在被调用并执行时实现如第一方面中任一项所述的基于图像检测的目标框预估方法。

如上所述，本申请的基于图像检测的目标框预估方法、系统、设备及介质，具有以下有益效果：

针对同一数据集，采用多种检测方法检测图像内的目标框，根据同一图像在多种检测方式下得到的目标框差异，按照所述差异采用对比思路能够预估出缺少的某些图像的目标框，而该种方式计算快、耗时低，能够确保数据集内样本的均衡性和一致性。

附图说明

图1显示为本申请实施例提供的一种基于图像检测的目标框预估方法流程图；

图2显示为本申请实施例提供的一种基于图像检测的目标框预估方法中步骤S1流程图；

图3显示为本申请实施例提供的一种基于图像检测的目标框预估方法中步骤S2流程图；

图4显示为本申请实施例提供的一种基于图像检测的目标框预估方法另一流程图；

图5显示为本申请实施例提供的一种基于图像检测的目标框预估系统结构框图；

图6显示为本申请实施例提供的一种基于图像检测的目标框预估系统完整结构框图；

图7显示为本申请实施例提供的一种电子设备结构框图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定.这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示.应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合.因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

请参阅图1，为本申请实施例提供的一种基于图像检测的目标框预估方法流程图，包括：

步骤S1，采用至少两种检测方法检测数据集内图像的目标框，将每张所述图像检测的目标框归类统计；

其中，检测方法至少为两种，便于对比统计。

步骤S2，当检测到某一所述图像的目标框少于预设检测方法种类时，根据归类统计信息预估所述图像在其他检测方法下的目标框。

其中，由于为了确保数据集内样本数据均衡性与一致性，所有图像的目标框与其检测方式的种类数目匹配。

在本实施例中，针对同一数据集，采用多种检测方法检测图像内的目标框，根据同一图像在多种检测方式下得到的目标框差异，按照所述差异采用对比思路能够预估出缺少的某些图像的目标框，而该种方式计算快、耗时低，能够确保数据集内样本的均衡性和一致性。

请参阅图2，为本申请实施例提供的一种基于图像检测的目标框预估方法中步骤S1流程图，包括：

步骤S101，将其中一种检测方法检测出的数据集内的目标框图像视为基准集，其余检测方法检测出目标框的图像视为检出集，而其余检测方法未检测出目标框的图像视为未检出集；

步骤S102，将基准集的目标框视为基准框，检出集的目标框视为检出框，计算同一幅图像所述基准框与检出框之间高度与宽度变化信息；

步骤S103，统计检出集内所有检出框与基准框之间高度与宽度变化信息。

其中，将含图像的数据集D分为基准集D₀、检出集D₁和未检出集D₂，用于分类放置后续处理的图像，图像I_i∈D，i＝1,2,…,N，N为图像样本数，目标框形状可以为长方形、圆形、三角形及各种不规则形状，此处仅以长方形为例进行方法描述。

以两种目标框检测方法为例，例如，利用目标框检测方法①处理数据集D中的图像，将其检测出框的图像放置进基准集D₀，D₀∈D，其检测出的图像目标框称为基准框，存储每张图像的目标框信息。

再利用目标框检测方法②处理数据集D中的图像，判断每张图像是否被检测出目标框，若被检测出，存储其框信息，将其称为检出框，并将该图像放置进检出集D₁，否则将该图像放置进未检出集D₂。

如果基准集D₀中图像数量为m，m≤N，检出集D₁中图像数量为n，n＜m，则未检出集D₂中图像数量为m-n。如果m≤n≤N，则将D₁作为基准集，D₀作为检出集，后续处理类似，因此，基准集与所述检出集之间根据需求可相互切换。

需要说明的是，所述基准框与检出框之间高度与宽度变化信息包括宽度变化的均值和方差、高度变化的均值和方差。所述宽度变化的均值和方差、高度变化的均值和方差，具体为：例如，图像I_i为检出集D₁中的图像，其基准框为Rec′_i＝(x′_i1,y′_i1,x′_i2,y′_i2)，其中(x′_i1,y′_i1)，(x′_i2,y′_i2)分别为图像基准框的左上角和右下角点的坐标；检出框为Rec_i＝(x_i1,y_i1,x_i2,y_i2)，其中(x_i1,y_i1)，(x_i1,y_i1)分别为图像检出框的左上角和右下角点的坐标。

则对于图像I_i，假设检出框与基准框之间保持中心不变，宽和高的变化

和

分别为：

式(1)、(2)中，w_i和w′_i分别表示检出框与基准框的宽，h_i和h′_i分别表示检出框与基准框的高。

对于检出集D₁，所有检出框图像的检出框与基准框间的统计信息表示为：

式(3)、(4)、(5)中，δ_Width和δ_Height分别为所有检出集内检出框与基准框之间宽度变化的统计信息、高度变化的统计信息；

和σ_Width分别为所有检出集内检出框与基准框之间宽度变化的均值和方差；

和σ_Height分别为所有检出集内检出框与基准框之间宽度变化的均值和方差。

在本实施例中，通过对比相同数据集内多种检测方式下目标框之间的差异性，从而统计出各个检测方式目标框与基准框之间宽度信息和高度信息，利于后续能够迅速计算预估框。

请参阅图3，为本申请实施例提供的一种基于图像检测的目标框预估方法中步骤S2流程图，包括：

步骤S201，将待预估目标框图像在基准集内匹配相同图像的基准框，获取到该基准框坐标；

步骤S202，根据同种检测方式下检出框与基准框之间高度变化信息和宽度变化信息得到未检出集内图像的预估框。

在本实施例中，图像I_j为未检出集D₂中的图像，图像大小为Width_j*Height_j，其在基准集D₀中的基准框为Rec'_j＝(x'_j1,y'_j1,x'_j2,y'_j2)，其中(x'_j1,y'_j1)，(x'_j2,y'_j2)分别为图像基准框的左上角和右下角点的坐标；根据获取的检出集D₁中图像检出框与基准框间的统计信息，预估未检出集D₂中图像的目标框，将其成为预估框。假设预估框为Rec_j＝(x_j1,y_j1,x_j2,y_j2)，其中(x_j1,y_j1)，(x_j2,y_j2)分别为图像预估框的左上角和右下角点的坐标。设图像预估框与基准框的中心不变，则所述预估框的表达为：

式(6)、式(7)中，x_j1，y_j1分别为待预估图像的预估框的左上角点x和y坐标，(x'_j1,y'_j1)，(x'_j2,y'_j2)分别为待预估图像在基准集内基准框的左上角和右下角点的坐标，

分别为预估框的宽度和高度。

在某一些实施例中，通过上述方式能够预估出图像的目标框，相比其它复杂的算法，更容易实现和推广。

在另一更具体示例，对所述待预估目标框图像的左上角坐标限定为x_j1＝max(0,x_j1),y_j1＝max(0,y_j1)；对预估框的宽度和高度限定为

从而得到预估框的右下角坐标为

采用上述方式能够确保预估框不超出图像范围而造成使用图像数据读取错误，提高了预估框的预估精度。

在上述实施例中，由于基准集D₀、检出集D₁和未检出集D₂均属于同一数据集D，因此其数据具有相同的分布，同时，未检出集中的图像预估框是在基准框基础上，基于检出框与基准框间宽度和高度变化的统计信息δ_Width和δ_Height预估获得，因此，该预估框具备与检出框分布一致的特点。另外，该目标框的获取不需要耗时的算法更新迭代，通过一次性计算检出框与基准框间宽度和高度变化的统计信息便可快速获得，提高了获取效率，适用于大规模数据集目标框的快速预估和补充。

请参阅图4，为本申请实施例提供的一种基于图像检测的目标框预估方法另一流程图，详述如下：

与上述实施例不同之处还在于包括：

步骤S3，筛选数据集所有图像，补齐各个所述图像的目标框直到所有图像被检测的目标框的数量与预设检测方法种类数量相同为止。

在一些示例中，针对未检出集内所有图像，由于涉及多种检测方式，每幅图像可能被不同的检测方式检测出目标框，因此，按照待预估目标框图像需求，可切换基准集、检出集与未检出集，从而便于逐一补齐图像目标框，确保数据集内样本数据的均衡性和一致性。

在此，选择数据集内图像目标框检测出数量最多的检测方式对应目标框图像集合为基准集，有利于减少补齐目标框的数据。

请参阅图5，为本申请实施例提供的一种基于图像检测的目标框预估系统结构框图，包括：

检测统计模块1，采用至少两种检测方法检测数据集内图像的目标框，将每张所述图像检测的目标框归类统计；

其中，该检测统计模块1具体包括：

检测归类单元11，用于将其中一种检测方法检测出的数据集内的目标框图像视为基准集，其余检测方法检测出目标框的图像视为检出集，而其余检测方法未检测出目标框的图像视为检出集；

计算单元12，用于将基准集的目标框视为基准框，检出集的目标框视为检出框，计算同一幅图像所述基准框与检出框之间高度与宽度变化信息；

统计单元13，用于统计检出集内所有检出框与基准框之间高度与宽度变化信息。

预估目标框模块2，用于当检测到某一所述图像的目标框少于预设检测方法种类时，根据归类统计信息预估所述图像在其他检测方法下的目标框；

其中，预估目标框模块2包括：

获取单元21，用于将待预估目标框图像在基准集内匹配相同图像的基准框，获取到该基准框坐标；

预估单元22，用于根据同种检测方式下检出框与基准框之间高度与宽度变化信息得到未检出集内图像的预估框

请参阅图6，为本申请实施例提供的一种基于图像检测的目标框预估系统完整结构框图；

目标框补齐模块3，用于筛选数据集所有图像，补齐各个所述图像的目标框直到所有图像被检测的目标框的数量与预设检测方法种类数量相同为止。

在本实施例中，该图像检测的目标框预估系统与上述图像检测的目标框预估方法为一一对应关系，其中涉及技术细节、技术效果参照上述实施例即可，此处不再一一赘述。

请参阅图7，其显示为本申请的电子设备一实施例的结构示意图。如图7所示，本实施例提供的电子设备主要包括存储器51、一个或多个处理器52、以及存储于所述存储器51中的一个或多个程序，其中，存储器51存储执行指令，当电子设备5运行时，处理器52与存储器51之间通信。

其中，所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述电子设备执行上述的网络功能的开发方法，即所述处理器52执行执行指令使得电子设备5执行如图1所示的方法，藉此可以通过模块化开发的方式来灵活配置复杂的网络功能和提高开发效率。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，还可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请还提供一种计算机可读存储介质，所述存储介质存储有至少一个程序，所述程序在被执行时实现前述的任一所述的电力资源管理方法，比如实现前述对应图1所描述的基于图像检测的目标框预估方法。

基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如电力资源管理方法中的各步骤等。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中，所述存储介质可位于本地服务器也可位于第三方服务器中，如位于第三方云服务平台中。在此对具体云服务平台不做限制，如阿里云、腾讯云等。本申请可用于众多通用或专用的计算系统环境或配置中。例如：被配置为分布式系统中一个节点的个人计算机、专用服务器计算机、大型计算机等。

另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

综上所述，本申请针对同一数据集，采用多种检测方法检测图像内的目标框，根据同一图像在多种检测方式下得到的目标框差异，按照所述差异采用对比思路能够预估出缺少的某些图像的目标框，而该种方式计算快、耗时低，能够确保数据集内样本的均衡性和一致性。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (11)

1.一种基于图像检测的目标框预估方法，其特征在于，所述方法包括以下步骤：

采用至少两种检测方法检测数据集内图像的目标框，将每张所述图像检测的目标框归类统计；其中，将其中一种检测方法检测出的数据集内目标框的图像视为基准集，其余检测方法在所述数据集检测出目标框的图像视为检出集，其余检测方法未检测出目标框的图像视为未检出集；将基准集的目标框视为基准框，检出集的目标框视为检出框，计算同一所述图像在所述基准框与检出框之间高度与宽度变化信息；统计检出集内所有检出框与基准框之间高度与宽度变化信息；

将待预估目标框的图像在基准集内匹配相同图像的基准框，获取到基准框坐标；根据检出框与基准框之间高度变化信息和宽度变化信息结合所述基准框坐标得到未检出集内待预估目标框的图像所对应的目标框为预估框。

2.根据权利要求1所述的基于图像检测的目标框预估方法，其特征在于，所述基准框与检出框之间高度与宽度变化信息包括宽度变化的均值和方差、高度变化的均值和方差。

3.根据权利要求2所述的基于图像检测的目标框预估方法，其特征在于，所述宽度变化的均值和方差和所述高度变化的均值和方差，具体为：

式(1)中，δ_Width和δ_Height分别为所有检出集内检出框与基准框之间宽度变化的统计信息、高度变化的统计信息；

和σ_Width分别为所有检出集内检出框与基准框之间宽度变化的均值和方差；

和σ_Height分别为所有检出集内检出框与基准框之间宽度变化的均值和方差。

4.根据权利要求1所述的基于图像检测的目标框预估方法，其特征在于，所述基准集与所述检出集之间可相互切换。

5.根据权利要求1所述的基于图像检测的目标框预估方法，其特征在于，所述预估框的表达为：

式(2)、式(3)中，x_j1，y_j1分别为待预估目标框的图像的预估框的左上角点x和y坐标，(x'_j1,y'_j1)，(x'_j2,y'_j2)分别为待预估目标框的图像在基准集内基准框的左上角和右下角点的坐标，

分别为预估框的宽度和高度。

6.根据权利要求5所述的基于图像检测的目标框预估方法，其特征在于，所述待预估目标框的图像的左上角坐标限定为x_j1＝max(0,x_j1),y_j1＝max(0,y_j1)；预估框的宽度和高度限定为

得到预估框的右下角坐标为

其中，Width_j为待预估目标框的图像的宽度；Height_j为待预估目标框的图像的高度。

7.根据权利要求1所述的基于图像检测的目标框预估方法，其特征在于，还包括：

筛选数据集所有图像，补齐各个所述图像的目标框直到所有图像被检测的目标框的数量与预设检测方法种类数量相同为止。

8.一种基于图像检测的目标框预估系统，其特征在于，所述系统包括：

检测统计模块，采用至少两种检测方法检测数据集内图像的目标框，将每张所述图像检测的目标框归类统计；其中，将其中一种检测方法检测出的数据集内目标框的图像视为基准集，其余检测方法在所述数据集检测出目标框的图像视为检出集，其余检测方法未检测出目标框的图像视为未检出集；将基准集的目标框视为基准框，检出集的目标框视为检出框，计算同一所述图像在所述基准框与检出框之间高度与宽度变化信息；统计检出集内所有检出框与基准框之间高度与宽度变化信息；

预估目标框模块，用于将待预估目标框的图像在基准集内匹配相同图像的基准框，获取到基准框坐标；根据检出框与基准框之间高度变化信息和宽度变化信息结合所述基准框坐标得到未检出集内待预估目标框的图像所对应的目标框为预估框。

9.根据权利要求8所述的基于图像检测的目标框预估系统，其特征在于，还包括：

目标框补齐模块，用于筛选数据集所有图像，补齐各个所述图像的目标框直到所有图像被检测的目标框的数量与预设检测方法种类数量相同为止。

10.一种电子设备，其特征在于，包括：

存储器，用于存储至少一种程序；

处理器，用于调取并执行所存储的至少一种程序，用以执行权利要求1-7中任一所述的基于图像检测的目标框预估方法。

11.一种计算机可读存储介质，其特征在于，存储至少一种程序，所述至少一个程序在被调用并执行时实现权利要求1-7中任一项所述的基于图像检测的目标框预估方法。

Images