CN112819021A - 图像检测方法及装置、电子设备和存储介质 - Google Patents

Abstract

公开了一种图像检测方法、图像检测方法及装置、电子设备和存储介质。本公开的一实施例中，图像检测方法可包括：获取当前帧图像的第一检测结果；获取所述当前帧图像之前第一预设帧数的先前帧图像的第二检测结果；比较所述第一检测结果与第二检测结果；响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数；以及，在接收到当前帧图像之后第二预设帧数的后续帧图像时，对所述后续帧图像进行检测，以获得第三检测结果。本公开实施例能够同时兼顾检测结果的准确性和系统性能的节省，更加充分的节省系统算力、降低功耗和时延，使系统运行效率更高。

Description

图像检测方法及装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种图像检测方法及装置、电子设备和存储介质。

背景技术

在诸如智能摄像头、疲劳驾驶预警系统(DMS，Driver Fatigue Monitor System)、高级驾驶辅助系统(ADAS，Advanced Driving Assistant System)等的人工智能处理系统中，为了节省算力、降低功耗进而提高系统性能，人工智能(AI)算法模型的调度至关重要。

发明内容

相关技术中，在人工智能处理系统的相关应用中采用跳过固定帧的方式来处理视频流，从而达到提高系统性能的目的，但该方式会影响检测结果的准确性，并且系统性能的提升也很可能存在不足。为解决这些技术问题，本公开实施例期望提供一种新的图像检测方法及装置、电子设备和存储介质，能够结合视频流的实际情况来动态调整跳帧数，从而达到节省算力、降低功耗进而提高系统性能的目的。

根据本申请的一个方面，提供了一种图像检测方法，包括：

获取当前帧图像的第一检测结果；

获取所述当前帧图像之前第一预设帧数的先前帧图像的第二检测结果；

比较所述第一检测结果与第二检测结果；

响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数；以及

在接收到当前帧图像之后第二预设帧数的后续帧图像时，对所述后续帧图像进行检测，以获得第三检测结果。

根据本申请的一个方面，提供了一种图像检测装置，包括：

获取单元，配置为获取当前帧图像的第一检测结果和所述当前帧图像之前第一预设帧数的先前帧图像的第二检测结果；

比较单元，配置为比较所述第一检测结果与第二检测结果；

调整单元，配置为响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数；以及

检测单元，配置为在接收到当前帧图像之后第二预设帧数的后续帧图像时，对所述后续帧图像进行检测，以获得第三检测结果。

根据本申请的一个方面，提供了一种电子设备，包括：

一个或多个处理器；以及

存储器，存储有计算机程序，所述计算机程序在被所述处理器运行时使所述处理器执行上述的图像检测方法。

根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行上述的图像检测方法。

本公开实施例能够同时兼顾检测结果的准确性和系统性能的节省，更加充分的节省系统算力、降低功耗和时延，使系统运行效率更高。并且，可以适用各种场景，灵活性更高。此外，本公开实施例还易于实现、硬件成本低。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的图像检测方法的流程示意图。

图2是本申请一示例性实施例提供的感兴趣区域交集和并集的示意图。

图3是本申请一示例性实施例提供的感兴趣区域重叠情况的示意图。

图4是本申请一示例性实施例提供的AI处理系统的结构示意图。

图5是本申请一示例性实施例提供的AI处理系统进行图像检测的流程示意图。

图6是本申请一示例性实施例提供的跳帧数取值动态调整的示例性流程示意图。

图7是本申请一示例性实施例提供的图像检测装置的结构示意图。

图8是本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

人工智能处理系统的基本流程是采集视频并将视频图像一帧一帧地送入AI处理模块进行处理以获得AI处理结果，最后AI处理结果经后处理得到可视化地检测结果并输出。由于视频流中相邻帧的内容有可能会非常相似，其AI处理结果也会非常相似，因此可以采用跳帧的方式进行处理，即跳过相似的视频帧，从而提高系统性能。

相关技术中，对于特定场景，采用跳过固定N帧(N是大于或等于1的整数，下文称为跳帧数)的方式来处理视频流以达到提高系统性能的目的。其主要存在如下缺陷：应用场景需要预先设定，要求待检测的视频中必须N帧是稳定的。因此这种算法应用场景比较受限。对于不满足要求的场景，其检测结果将会非常不准确。同时，对于有些场景，视频的帧稳定性可能会更高，而如果跳帧数N的设置太小，则系统性能将无法充分被节省。

为了解决上述技术问题，本公开实施例的基本构思是提供一种图像检测方法及装置、电子设备和存储介质，先获取当前帧图像的第一检测结果和当前帧图像之前第一预设帧数的先前帧图像的第二检测结果，通过比较第一检测结果与第二检测结果来调整第一预设帧数以得到第二预设帧数，并针对当前帧图像之后第二预设帧数的后续帧图像进行检测。由此，本公开实施例可以在不影响检测结果准确性的情况下，结合图像帧序列的实际情况来适应性地调整跳帧数，该跳帧数能够同时兼顾检测结果的准确性和系统性能的节省，从而在确保检测结果准确的前提下更加充分的节省系统算力、降低功耗和时延，使系统运行效率更高。并且，本公开实施例可以适用各种场景，灵活性更高。此外，本公开实施例的逻辑简单易行，对硬件性能要求较低，无需增设新的元件、也无需对原有硬件做任何改进，成本低。

本公开实施例可适用于任何AI相关的应用场景。举例来说，本公开实施例可应用于自动驾驶、人脸识别、远程医疗、工业自动化、物流等多种领域的场景中。当然，本公开实施例也可适用于AI之外的基于图像的其他应用场景。对此，本公开实施例不予限制。

示例性方法

图1是本公开一示例性实施例提供的图像检测方法。如图1所示，该图像检测方法可以包括如下步骤：

步骤S101，获取当前帧图像的第一检测结果；

步骤S102，获取当前帧图像之前第一预设帧数的先前帧图像的第二检测结果；

步骤S103，比较第一检测结果与第二检测结果；

步骤S104，响应于比较的结果，调整第一预设帧数以得到第二预设帧数；

步骤S105，在接收到当前帧图像之后第二预设帧数的后续帧图像时，对后续帧图像进行检测，以获得第三检测结果。

本公开实施例中的图像检测方法，可以利用当前帧图像的检测结果和先前帧图像的检测结果调整当前帧图像与其后一待检测帧图像之间的间隔帧数(即本文所述的跳帧数)，这样，可以在不影响检测结果准确性的情况下，结合图像帧序列的实际情况来适应性地调整跳帧数，该跳帧数能够同时兼顾检测结果的准确性和系统性能的节省，从而在确保检测结果准确的前提下更加充分的节省系统算力、降低功耗和时延，使系统运行效率更高。并且，本公开实施例的图像检测方法无需预设场景，可以适用各种场景，灵活性更高。此外，本公开实施例的图像检测方法的逻辑简单易行，对硬件性能要求较低，无需增设新的元件、也无需对原有硬件做任何改进，硬件成本低。

本公开实施例中，第一检测结果是当前帧图像的检测结果，第二检测结果是先前帧图像的检测结果，第三检测结果是后续帧图像的检测结果。该检测结果的内容取决于对帧图像进行检测时所采用的算法。一些示例中，对帧图像进行AI算法检测，该检测结果可以是对应该AI算法的检测结果，具体细节可参照下文示例性应用场景部分的相关描述。可以理解，本公开不限于AI算法，本公开的上述图像检测方法也可应用于其他任何可适用的算法，相应的检测结果也可以包括其他各种相关的内容。对此，本文不予限制。

本公开实施例中，第一预设帧数可以是先前帧图像与当前帧图像之间跳帧数的取值，第二预设帧数是指当前帧图像与其后续帧图像之间跳帧数的取值，跳帧数可以表征正在检测的图像帧序列中每间隔多少帧检测一次，换言之，跳帧数可以是图像帧序列中每间隔多少帧为一待检测帧图像。举例来说，假设跳帧数为N，如果默认图像帧序列中第0帧图像为首帧待检测帧图像，那么该图像帧序列中第N帧图像、第2N帧图像、第3N帧图像、……均属于待检测帧图像。假设第3N帧图像是当前帧图像，其先前帧图像可以是第0帧图像、第N帧图像、或者第2N帧图像，也就是说，本文的先前帧图像是指当前帧图像之前的任一已检测的帧图像，该先前帧图像与当前帧图像之间间隔的帧数可以是第一预设帧数的倍数。类似的，本文的后续帧图像可以是当前帧图像之后的待检测帧图像，该待检测帧图像与当前帧图像之间间隔了第二预设帧数的帧图像。

下面通过两个具体实施例来详细说明本公开实施例中步骤S103～步骤S104的示例性实现方式。

实施例1

本实施例中，步骤S103可以包括：步骤a1，确定当前帧图像中第一感兴趣区域的面积和先前帧图像中第二感兴趣区域的面积；步骤a2，根据当前帧图像中第一感兴趣区域的面积和先前帧图像中第二感兴趣区域的面积，计算当前帧图像和先前帧图像的感兴趣区域重复度。

至少一些实施例中，感兴趣区域重复度可以是第一感兴趣区域和第二感兴趣区域之间的交并比。即第一感兴趣区域与第二感兴趣区域的交叠率。具体而言，第一感兴趣区域与第二感兴趣区域中之间的交集比上它们的并集，可以用如下公式(1)来表示：

其中，IOU表示第一感兴趣区域和第二感兴趣区域之间的交并比，ROI1表示第一感兴趣区域，ROI2表示第二感兴趣区域。

图2示出了第一感兴趣区域和第二感兴趣区域之间的交集和并集，深灰色部分表示第一感兴趣区域和第二感兴趣区域的交集，浅灰色部分表示第一感兴趣区域和第二感兴趣区域的并集，这里的交集和并集可以是但不限于第一感兴趣区域和第二感兴趣区域中数据的交集和并集、所对应图像区域的交集和并集等。图2中每个方格可以表示一个数据，图2未示出这些数据的值。

需要说明的是，尽管图2中第一感兴趣区域的数据和第二感兴趣区域的数据均是二维张量，但实际应用中，第一感兴趣区域的数据和第二感兴趣区域的数据均也可以是一维、三维或更高维度的张量，其原理与图2相似。此外，对于如果感兴趣区域的数据是三维或更高维度的张量，可以选取某个通道维度上的一组数据来计算上述的交并比。

至少一些实施例中，感兴趣区域重复度可以是第一感兴趣区域和第二感兴趣区域的重叠区域的面积与第一感兴趣区域的面积或第二感兴趣区域的面积之比。

具体而言，可以根据感兴趣区域的重复度判定检测结果的稳定性。假设第M帧的第一感兴趣区域面积为Area(M)，第M-N帧的第二感兴趣区域面积为Area(M-N)，两帧感兴趣区域的重复面积表示为Area，那么两帧感兴趣区域的面积重复度REPATE可以通过如下公式(2)来计算：

REPATE＝(Area*Area)/(Area(M)*Area(M-N)) (2)

图3示出了第一感兴趣区域和第二感兴趣区域之间重叠的情况。图3中，深灰色部分表示第一感兴趣区域和第二感兴趣区域的重叠区域，第一感兴趣区域和第二感兴趣区域均通过浅灰色来表示。

需要说明的是，图2和图3仅为示例。具体应用中，可能存在多个第一感兴趣区域和多个第二感兴趣区域，它们之间的重叠可能会存在各种情况，例如，一个第一感兴趣区域同时与多个第二感兴趣区域有重叠等。此时，可以任选其一或多个来计算上述的重复度，并利用这些重复度中的一个或多个来执行步骤S104的处理。可以理解，相关的各种实现方式都在本实施例的覆盖范围内。

此外，上述感兴趣区域重复度还可以通过其他方式来计算或表示，对于感兴趣区域重复度的具体表示方式和计算方式，本文不予限制。

至少一些实施例中，第一感兴趣区域和第二感兴趣区域可以是相对应的感兴趣区域。例如，第一感兴趣区域可以是一特定目标在当前帧图像中的所属区域，第二感兴趣区域可以是该特定目标在先前帧图像中的所属区域。再例如，第一感兴趣区域可以是当前帧图像中某个特定区域中的感兴趣区域，第二感兴趣区域可以是先前帧图像中该特定区域中的感兴趣区域。又例如，第一感兴趣区域可以是当前帧图像中所有感兴趣区域的总和，第二感兴趣区域也可以是先前帧图像中所有感兴趣区域的总和。此外，第一感兴趣区域可以是当前帧图像中的任一感兴趣区域，第二感兴趣区域也可以是先前帧图像中与上述第一感兴趣区域可能存在重叠的任意一个或多个感兴趣区域。当然，实际应用中，第一感兴趣区域和第二感兴趣区域还可以预先选定的感兴趣区域或者其他任何情况，对此，本文不予限制。

本实施例的步骤S104中，可以通过预设的一个或多个重复度阈值和上述的感兴趣区域重复度来确定视频的稳定情况，进而结合视频的稳定情况来调整跳帧数的取值。其中，一个或多个重复度阈值可以取经验值，通过这些重复度阈值可以更准确地确认视频的稳定情况，便于结合视频的实际情况来调整跳帧数的值，从而在不影响检测结果准确性的情况下尽可能地充分节省系统算力、降低延迟和功耗。

一些示例中，步骤S104中，可以包括：比较感兴趣区域重复度与预设的第一重复度阈值，如果感兴趣区域重复度大于第一重复度阈值，则增大第一预设帧数以得到所述第二预设帧数。该示例中，可以通过感兴趣区域重复度和第一重复度阈值来确认两帧检测结果是否满足极其稳定的条件，在感兴趣区域重复度等于或小于第一重复度阈值时可以认为不满足极其稳定的条件，在感兴趣区域重复度大于该第一重复度阈值时可以认为满足极其稳定的条件，视频处于极其稳定的状态，由此确认视频处于极其稳定的状态之后可以适应性地调大跳帧数的取值，从而在检测结果稳定的情况下通过跳过较多帧图像的方式来尽可能多地节省系统算力、降低功耗和延迟，以便更大程度地提高系统运行效率。

一些示例中，步骤S104中，可以包括：比较感兴趣区域重复度与预设的第二重复度阈值；如果感兴趣区域重复度小于第二重复度阈值，调小第一预设帧数或将所述第一预设帧数归零以得到所述第二预设帧数。该示例中，可以通过感兴趣区域重复度和第二重复度阈值来确认两帧的检测结果是否满足稳定条件，在感兴趣区域重复度等于或小于第二重复度阈值时可以认为满足不稳定的条件，视频处于不稳定的状态，在感兴趣区域重复度大于该第二重复度阈值时可以认为检测结果满足稳定条件，视频处于稳定状态，由此确认视频处于不稳定状态之后可以适应性地调小跳帧数的取值，通过缩小跳帧数来确保检测结果的准确性，以便在通过跳帧的方式节省系统算力、降低功耗和延迟的同时能够兼顾到检测结果的准确性。

一些示例中，步骤S104中可以包括：比较所述感兴趣区域重复度与预设的第一重复度阈值和第二重复度阈值；如果所述感兴趣区域重复度在所述第一重复度阈值与所述第二重复度阈值之间，保持所述第一预设帧数不变以得到所述第二预设帧数；其中，所述第一重复度阈值大于所述第二重复度阈值。该示例中，可以通过第一重复度阈值和第二重复度阈值较为精确地确认视频处于稳定状态之后，保持跳帧数的取值不变，以便在两帧检测结果基本相同的情况下通过跳帧的方式更加稳定可靠地兼顾检测结果的准确性和系统算力的节省。

实际应用中，上述示例可任意结合。一些示例中，可以将上述三个示例相结合，以便更为准确地确定两帧的检测结果是满足稳定条件、不稳定条件、还是满足极其稳定条件，不仅能够在视频极其稳定的情况下通过调大跳帧数的取值来尽可能多地节省系统算力、降低功耗和延迟，而且能够在视频不稳定时通过缩小跳帧数的取值来确保检测结果的准确性，还能够在视频稳定时通过保持跳帧数取值不变来更好地兼顾检测结果的准确性和系统算力的节省，从而在确保检测结果准确的前提下更好地通过跳帧的方式来充分节省系统算力、降低功耗和延迟。

以上文感兴趣区域的面积重复度为例，第一重复度阈值可以设置为95％，第二重复度阈值可以设置为80％，如果REPATE>95％时，认为视频中当前相邻的两帧待检测帧图像的检测结果(即感兴趣区域)非常相似，满足极其稳定条件，视频处于极其稳定状态；如果REPATE<80％时，认为视频中相邻的两帧待检测帧图像的检测结果相差较大，满足不稳定条件，视频处于不稳定状态，如果REPATE≥80％且REPATE≤90％，认为视频中相邻的两帧待检测帧图像的检测结果基本相似，满足稳定条件，即视频处于稳定状态。其中，80％和95％均可以根据实际场景配置或动态调整。

实施例2

本实施例中，步骤S103可以包括：步骤b1，确定当前帧图像的检测结果的置信度和先前帧图像的检测结果的置信度；步骤b2，根据当前帧图像的检测结果的置信度和先前帧图像的检测结果的置信度，计算当前帧图像和先前帧图像之间的置信度差值。本实施例对于诸如分类模型等AI算法尤其适用。

一些示例中，假设AI算法采用了分类模型，其检测结果包括两个分类，即A和B，第M帧的检测结果为B，其置信度为Confidence(M)，第M-N帧的检测结果为B，其置信度为Confidence(M-N)，那么置信度差值Diff_Confidence可以通过下式(3)计算：

Diff_Confidence＝|Confidence(M)-Confidence(M-N)| (3)

上述置信度差值还可以是例如方差、均差等的其他形式，对于置信度差值的具体计算方式及其表示含义，本文不予限制。

实际应用中，一幅图像的检测结果中可能涉及多个类别和多个置信度。一些示例中，步骤S103中，可以选择最大概率的同类别进行比较。具体而言，假设当前帧图像的检测结果是：猫的概率是0.8、狗的概率是0.6，可以使用当前帧图像中“猫”的置信度和先前帧图像中“猫”的置信度来计算当前帧图像和先前帧图像之间的置信度差值。除此之外，还可以采用其他方式，对此，本文不予限制。

本实施例中，在步骤S104中可以根据当前帧图像和先前帧图像之间的置信度差值和预先设定的一个或多个置信度阈值来判定视频是否稳定，以便适应性地调整跳帧数的取值，使得采样跳帧方式进行图像检测时既能够获得准确的检测结果、又能够充分节省系统算力、降低功耗和延迟。其中，一个或多个置信度阈值可以取经验值，通过这些置信度阈值可以更准确地确认视频的稳定情况，便于结合视频的实际情况来调整跳帧数的取值，从而在不影响检测结果准确性的情况下尽可能地充分节省系统算力、降低延迟和功耗。

一些示例中，步骤S104中可以包括：比较置信度差值与预设的第一置信度阈值；如果置信度差值小于第一置信度阈值，则调大第一预设帧数以得到第二预设帧数。该示例中，可以通过置信度差值和第一置信度阈值来确认两帧的检测结果是否满足极其稳定条件，确认视频是否极其稳定，在置信度差值等于或大于第一置信度阈值时可以认为两帧的检测结果不满足极其稳定条件，视频不处于极其稳定的状态，在置信度差值小于第一置信度阈值时可以认为两帧的检测结果满足极其稳定条件，视频极其稳定，由此确认视频极其稳定之后可以适应性地调大跳帧数的取值，从而在检测结果稳定的情况下通过跳过较多帧图像的方式来尽可能多地节省系统算力、降低功耗和延迟，以便更大程度地提高系统运行效率。

一些示例中，步骤S104中可以包括：比较置信度差值与预设的第二置信度阈值；如果置信度差值大于所述第二置信度阈值，调小第一预设帧数或将第一预设帧数归零以得到第二预设帧数。该示例中，可以通过置信度差值和第二置信度阈值来确认视频是否稳定，在置信度差值等于或小于第二置信度阈值时可以认为两帧的检测结果满足稳定条件，视频稳定，在置信度差值大于第二置信度阈值时可以认为两帧的检测结果满足不稳定条件，视频不稳定，由此确认视频不稳定之后可以适应性地调小跳帧数的取值，通过缩小跳帧数来确保检测结果的准确性，避免因跳帧太多而影响检测结果的准确性，以便在通过跳帧的方式节省系统算力、降低功耗和延迟的同时能够兼顾到检测结果的准确性。

一些示例中，步骤S104中可以包括：比较置信度差值与预设的第一置信度阈值和第二置信度阈值；如果置信度差值在第一置信度阈值与第二置信度阈值之间，保持第一预设帧数不变以得到所述第二预设帧数；其中，第一置信度阈值小于第二置信度阈值。该示例中，可以通过第一置信度阈值和第二置信度阈值较为精确地确认视频处于稳定状态之后，保持跳帧数的取值不变，以便在两帧检测结果基本相同的情况下通过跳帧的方式更加稳定可靠地兼顾检测结果的准确性和系统算力的节省。

实际应用中，上述示例可任意结合。一些示例中，可以将上述三个示例相结合，以便更为准确地确定两帧的检测结果是满足稳定条件、不稳定条件、还是满足极其稳定条件，不仅能够在视频极其稳定的情况下通过调大跳帧数的取值来尽可能多地节省系统算力、降低功耗和延迟，而且能够在视频不稳定时通过缩小跳帧数的取值来确保检测结果的准确性，还能够在视频稳定时通过保持跳帧数取值不变来更好地兼顾检测结果的准确性和系统算力的节省，从而在确保检测结果准确的前提下更好地通过跳帧的方式来充分节省系统算力、降低功耗和延迟。

举例来说，假设第一置信度阈值设为0.1，第二置信度阈值设置为0.2，那么，Diff_Confidence<0.1时，可以认为视频中当前帧图像与先前帧图像的检测结果极其相似，满足极其稳定条件，视频处于极其稳定状态，Diff_Confidence>0.2时，可以认为视频中当前帧图像与先前帧图像的检测结果相差较大，满足不稳定条件，视频处于不稳定状态，如果Diff_Confidence≤0.2且Diff_Confidence≥0.1，可以认为视频中当前帧图像与先前帧图像的检测结果基本相同，满足稳定条件，视频处于稳定状态。其中，0.1和0.2是一个可以配置的阈值，可以根据实际场景确定或者调整。

本公开实施例中，考虑到实际应用中可能发生视频从稳定状态到不稳定状态的突变，为了防止跳帧数的取值过大，导致对视频的这种突变不敏感而影响了检测结果的准确性，还可以通过上限值来限制跳帧数的取值。至少一些实施例中，上述步骤S104中可以包括：调大第一预设帧数之前，判断第一预设帧数是否达到预设的上限值；如果第一预设帧数已达到上限值，则保持第一预设帧数不变以得到第二预设帧数；如果第一预设帧数未达到上限值，则调大第一预设帧数以得到第二预设帧数。该实施例中，通过上限值来限制跳帧数的取值可以在视频状态突变时确保检测结果的准确。

经实验发现，随着跳帧数取值的增大，节省算力的幅度将随之减少。鉴于此，本公开实施例中，跳帧数的上限值可以取10以内的整数。也就是说，跳帧数的上限值可以取0～10之间的任一整数。一示例中，跳帧数的上限值可以取为5～10之间的任一整数。举例来说，跳帧数的上限值可以取7、8、9或10。

本公开实施例中，步骤S104中，增大或调小跳帧数取值(例如，第一预设帧数)的具体方式可以有多种。一种实现方式中，可以按照预设的步进值来增大或调小第一预设帧数。这里，该预设步进值可以是大于0的整数。一些示例中，该步进值可以是大于0、小于下文所述的上限值的任一整数。该步进值可以是固定值、也可以是可动态调整的值。

一些示例中，上述步进值可以取1、2或其他较小的整数，利用较小的步进值来调整跳帧数，便于快速且准确地找到能够更好地兼顾检测结果准确性和系统性能节省的跳帧数。

一些示例中，考虑到随着跳帧数取值的增大其带来的算力节省的幅度将随之减小，为了使得跳帧数取值的增大或调小能够更好地节省算力，在步骤S104中还可以根据跳帧数的当前值(例如，第一预设帧数)的大小和/或步骤S103中比较的结果来动态调整该步进值的大小。比如，如果当前的第一预设帧数值较大(例如，大于预先设定的中间值，例如，跳帧数取0～10的整数时，该中间值可以取为5)，上述步进值可以动态调整为较小的值(例如，1)，如果当前的第一预设帧数值较小(例如，小于预先设定的中间值)，上述步进值可以动态调整为较大的值(例如，2)。

示例性应用场景

下面以AI场景为例详细说明上述示例性方法的一种示例性实现方式。

图4示出了本公开实施例适用的AI处理系统的示例性架构。如图4所示，该AI处理系统可以包括：视频输入模块41、算法调度模块42、跳帧数动态调整模块43、至少一个AI算法模块44和至少一个后处理模块45。尽管图4中仅示出了一个AI算法模块和一个后处理模块，但可以理解，具体应用中AI处理系统中可以包括更多的AI算法模块和/或更多的后处理模块。

其中，视频输入模块41可配置为直接采集或接收来自外部采集设备的图像帧序列(例如，视频流)，算法调度模块42可配置为根据当前设定的跳帧数判断是否需要调用AI算法模块44对当前帧图像进行检测，如果需要调用AI算法模块44对当前帧图像进行检测，可以将当前帧图像送至相应的至少一个AI算法模块44，AI算法模块44可配置为对当前帧图像进行检测以获得检测结果并返回给算法调度模块，算法调度模块42还可配置为将来自至少一个AI算法模块44的检测结果送至至少一个后处理模块45，至少一个后处理模块45可配置为对检测结果进行后处理以获得最终需要的结果，这里的后处理可以包括但限于在原始图像的感兴趣区域添加检测框、标记分类结果、添加语义标签或其他类似的处理。算法调度模块42还可配置为将来自当前帧图像的检测结果和先前帧图像的检测结果送至跳帧数动态调整模块，跳帧数动态调整模块43可配置为利用当前帧图像的检测结果和先前帧图像的检测结果来动态调整跳帧数，跳帧数动态调整模块43动态调整跳帧数的过程可参照上文示例性方法步骤S101～步骤S104的相关描述，不再赘述。

上述示例中，AI处理系统中的每个AI算法模块44可配置为按照预先配置的AI算法对帧图像进行检测以获得相应的检测结果(即上文示例性方法部分的步骤S105)，该检测结果可以包括但不限于帧图像中的感兴趣区域的信息(例如，感兴趣区域中关键点的坐标信息，假设感兴趣区域的形状默认为矩形，感兴趣区域的信息可以包括该矩形的四个顶点的坐标)、帧图像中所包含对象的类别信息及其置信度等，上述AI算法可以包括但不限于深度学习、神经网络或其他类似的算法。具体应用中，检测结果的内容可取决于AI算法模块所配置的AI算法的功能，本文不作限制。

一些示例中，上述视频输入模块41可以包括但不限于摄像头、照相机或其他类似的图像采集设备，或者该视频输入模块可以包括但不限于接收外部的图像采集设备(例如，摄像头、照相机等)的图像帧序列的电路、接口或元件等。

一些示例中，上述AI处理系统可以通过异构设备来实现，该异构设备可以包括可以通信的至少一个第一处理器和至少一个第二处理器，第一处理器可以是大脑处理器(BPU，Brain Processing Unit)、张量处理单元(TPU，Tensor Processing Unit)等支持AI算法相关运算的处理器，第一处理器用于执行AI算法的运算。第二处理器可以是诸如CPU等的通用处理器，可用于执行AI算法之外的一些处理。在该示例中，上述AI处理器系统中的算法调度模块、跳帧数动态调整模块和至少一个后处理模块可运行于上述第二处理器中，至少一个AI算法模块可运行于上述的至少一个第一处理器中。

一些示例中，上述AI处理系统可以通过非异构设备来实现，该非异构设备可以包括一个或多个处理器，这些处理器中既可用于执行AI算法的计算、也可用于执行AI算法之外的处理。该示例中，上述AI处理器系统中的算法调度模块、跳帧数动态调整模块、后处理模块和至少一个AI算法模块均可运行于上述的一个或多个处理器中。

图5示出了上述AI处理系统进行图像处理的示例性流程。如图5所示，该示例性流程可以包括：

步骤S501，第M帧输入；

其中，M表示当前帧ID。

步骤S502，判断是否满足M％N＝＝0，以确定是否需要调用AI算法模块。

其中，N表示跳帧数。

步骤S503，当M％N＝＝0时，调用AI算法模块。

步骤S504，调整一次跳帧数N的取值；

步骤S505，当M％N！＝0时，则使用第M-N帧的检测结果；

步骤S506，输出检测结果。

图6示出了上述AI处理系统进行图像处理的过程中调整跳帧数的示例性流程。如图6所示，该示例性流程可以包括：

步骤S601：输入第M帧的检测结果；

步骤S602：比较第M帧的检测结果与第M-N帧的检测结果；

步骤S603：如果第M帧检测结果与第M-N帧检测结果满足不稳定条件，则认为视频不稳定，调节N＝0，即视频流中每一帧视频都会调用AI算法模型进行处理。

步骤S604：如果第M帧检测结果与第M-N帧检测结果满足极其稳定条件，可以继续扩大跳帧数，调节N＝N+1。

步骤S605：如果第M帧检测结果与第M-N帧检测结果满足稳定条件，则认为以N为跳帧数的AI算法调用频率，可以获得准确的检测结果，N保持不变。

步骤S606：跳帧数N调节完成，结束。

上述示例性流程中，AI处理系统初始启动时，跳帧数N可以默认设置为1。上述示例性流程中，不稳定条件、稳定条件和极其稳定条件的判断可以参照上文示例性方法的部分，不再赘述。

上述示例性性流程中，AI处理系统每隔N帧调用一次AI算法模块。AI处理系统初始启动时，跳帧数为N＝1。以M表示当前帧ID，比较第M帧与M-N帧的检测结果，如果检测结果满足极其稳定条件，则认为第M帧与M-N帧这两帧的检测结果一样，调节跳帧数N＝N+1，N最大不超过预设的上限值N_max；如果第M帧与M-N帧的检测结果满足不稳定条件，则认为第M帧与M-N帧这两帧的检测结果差别较大，视频不稳定，N归零；如果第M帧与M-N帧的检测结果处于稳定条件，则认为第M帧与M-N帧这两帧的检测结果差别不大，视频处于较稳定状态，不调节跳帧数N的取值，保持跳帧数N的取值不变。由上述示例性流程可以明显看出，上述示例性方法能够通过检测结果实时监测出视频内容的稳定性，并据此动态调节跳帧数N的取值，从而兼顾整个AI处理系统的性能和检测结果的准确性，在确保检测结果准确的前提下尽可能地充分节省系统算力、降低功耗和时延，提升AI处理系统的运行效率、同时还可优化AI处理系统的性能。

示例性装置

图7是本申请一示例性实施例提供的图像检测的示例性装置70。如图7所示，该示例性装置70包括：

获取单元71，可配置为获取当前帧图像的第一检测结果和所述当前帧图像之前第一预设帧数的先前帧图像的第二检测结果；

比较单元72，可配置为比较第一检测结果与第二检测结果；

调整单元73，可配置为响应于比较的结果，调整第一预设帧数以得到第二预设帧数；以及

检测单元74，可配置为在接收到当前帧图像之后第二预设帧数的后续帧图像时，对该后续帧图像进行检测，以获得第三检测结果。

一些示例中，比较单元72可包括：第一确定模块和第一计算模块，第一确定模块可配置为确定当前帧图像中第一感兴趣区域的面积和先前帧图像中第二感兴趣区域的面积，第一计算模块可配置为根据当前帧图像中第一感兴趣区域的面积和先前帧图像中第二感兴趣区域的面积，计算当前帧图像和先前帧图像的感兴趣区域重复度。

一些示例中，调整单元73可包括：第一比较模块，配置为比较感兴趣区域重复度与预设的第一重复度阈值；第一调节模块，可配置为在感兴趣区域重复度大于第一重复度阈值时增大第一预设帧数以得到第二预设帧数。

一些示例中，上述第一比较模块可配置为比较感兴趣区域重复度与预设的第二重复度阈值；第一调节模块，可配置为在感兴趣区域重复度小于第二重复度阈值，调小第一预设帧数或将第一预设帧数归零以得到第二预设帧数。

一些示例中，上述第一比较模块可配置为比较感兴趣区域重复度与预设的第一重复度阈值和第二重复度阈值；上述第一调节模块，可配置为在感兴趣区域重复度在第一重复度阈值与第二重复度阈值之间时保持第一预设帧数不变以得到第二预设帧数；其中，第一重复度阈值大于第二重复度阈值。

一些示例中，比较单元73可以包括：第二确定模块，可配置为确定当前帧图像的检测结果的置信度和先前帧图像的检测结果的置信度；第二计算模块，可配置为根据当前帧图像的检测结果的置信度和先前帧图像的检测结果的置信度，计算当前帧图像和先前帧图像之间的置信度差值。

一些示例中，调整单元74可以包括：第二比较模块，可配置为比较置信度差值与预设的第一置信度阈值；第二调节模块，可配置在置信度差值大于第一置信度阈值时调大第一预设帧数以得到第二预设帧数。

一些示例中，第二比较模块，可配置为比较置信度差值与预设的第二置信度阈值；第二调节模块，可配置在置信度差值小于第二置信度阈值时，调小第一预设帧数或将第一预设帧数归零以得到第二预设帧数。

一些示例中，第二比较模块，可配置为比较置信度差值与预设的第一置信度阈值和第二置信度阈值；第二调节模块，可配置为在置信度差值在第一置信度阈值与第二置信度阈值之间时，保持第一预设帧数不变以得到第二预设帧数；其中，第一置信度阈值大于第二置信度阈值。

一些示例中，上述调整单元73还可包括：判断模块，可配置为判断第一预设帧数是否达到预设的上限值，如果第一预设帧数已达到预设的上限值，则通知所述第一调节模块或第二调节模块保持第一预设帧数不变以得到第二预设帧数；如果第一预设帧数未达到上限值，则通知所述第一调节模块或第二调节模块调大第一预设帧数以得到第二预设帧数。

示例性电子设备

图8图示了根据本公开实施例的电子设备的框图。

如图8所示，电子设备80包括一个或多个处理器81和存储器82。

处理器81可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备80中的其他组件以执行期望的功能。

存储器82可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器81可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像检测方法以及/或者其他期望的功能。

在一个示例中，电子设备80还可以包括：输入装置83和输出装置84，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入装置83可以是麦克风或麦克风阵列。此外，该输入设备83还可以包括例如键盘、鼠标等等。该输出装置84可以向外部输出各种信息。该输出设备84可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备80中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备80还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种图像检测方法，包括：

获取当前帧图像的第一检测结果；

获取所述当前帧图像之前第一预设帧数的先前帧图像的第二检测结果；

比较所述第一检测结果与第二检测结果；

响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数；以及

在接收到当前帧图像之后第二预设帧数的后续帧图像时，对所述后续帧图像进行检测，以获得第三检测结果。

2.根据权利要求1所述的方法，其中，比较所述第一检测结果与第二检测结果，包括：

确定当前帧图像中第一感兴趣区域的面积和先前帧图像中第二感兴趣区域的面积；

根据当前帧图像中第一感兴趣区域的面积和先前帧图像中第二感兴趣区域的面积，计算当前帧图像和先前帧图像的感兴趣区域重复度。

3.根据权利要求2所述的方法，其中，响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数，包括：

比较所述感兴趣区域重复度与预设的第一重复度阈值；

如果所述感兴趣区域重复度大于所述第一重复度阈值，则增大所述第一预设帧数以得到所述第二预设帧数。

4.根据权利要求2所述的方法，其中，响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数，包括：

比较所述感兴趣区域重复度与预设的第二重复度阈值；

如果所述感兴趣区域重复度小于所述第二重复度阈值，调小所述第一预设帧数或将所述第一预设帧数归零以得到所述第二预设帧数。

5.根据权利要求2所述的方法，其中，响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数，包括：

比较所述感兴趣区域重复度与预设的第一重复度阈值和第二重复度阈值；

如果所述感兴趣区域重复度在所述第一重复度阈值与所述第二重复度阈值之间，保持所述第一预设帧数不变以得到所述第二预设帧数；

其中，所述第一重复度阈值大于所述第二重复度阈值。

6.根据权利要求1所述的方法，其中，比较所述第一检测结果与第二检测结果，包括：

确定第一检测结果的置信度和第二检测结果的置信度；

根据当前帧图像的检测结果的置信度和先前帧图像的检测结果的置信度，计算当前帧图像和先前帧图像之间的置信度差值。

7.根据权利要求6所述的方法，其中，响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数，包括：

比较所述置信度差值与预设的第一置信度阈值；

如果所述置信度差值小于所述第一置信度阈值，则调大所述第一预设帧数以得到所述第二预设帧数。

8.根据权利要求6所述的方法，其中，响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数，包括：

比较所述置信度差值与预设的第二置信度阈值；

如果所述置信度差值大于所述第二置信度阈值，调小所述第一预设帧数或将所述第一预设帧数归零以得到所述第二预设帧数。

9.根据权利要求6所述的方法，其中，响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数，包括：

比较所述置信度差值与预设的第一置信度阈值和第二置信度阈值；

如果所述置信度差值在所述第一置信度阈值与所述第二置信度阈值之间，保持所述第一预设帧数不变以得到所述第二预设帧数；

其中，所述第一置信度阈值小于所述第二置信度阈值。

10.根据权利要求3或7所述的方法，还包括：

调大所述第一预设帧数之前，判断所述第一预设帧数是否达到预设的上限值；

如果所述第一预设帧数已达到所述上限值，则保持所述第一预设帧数不变以得到所述第二预设帧数；

如果所述第一预设帧数未达到所述上限值，则调大所述第一预设帧数以得到所述第二预设帧数。

11.一种图像检测装置，包括：

获取单元，配置为获取当前帧图像的第一检测结果和所述当前帧图像之前第一预设帧数的先前帧图像的第二检测结果；

比较单元，配置为比较所述第一检测结果与第二检测结果；

调整单元，配置为响应于所述比较的结果，调整所述第一预设帧数以得到第二预设帧数；以及

检测单元，配置为在接收到当前帧图像之后第二预设帧数的后续帧图像时，对所述后续帧图像进行检测，以获得第三检测结果。

12.一种电子设备，包括：

一个或多个处理器；以及

存储器，存储有计算机程序，所述计算机程序在被所述处理器运行时使所述处理器执行根据权利要求1至10中任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行如权利要求1至10中任一项所述的方法。

Images