CN110503042B - 图像处理方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置以及电子设备。所述方法包括：在显示区域显示摄像头采集的实时图像；将实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别；基于目标识别结果以及目标跟踪算法在显示区域所显示的目标帧图像中显示目标框；其中，在首次接收目标识别结果后的相邻目标识别结果之间，基于当前帧图像之前最近一次获取的目标识别结果以及目标跟踪算法对目标进行跟踪，输出跟踪结果，并在显示区域中与跟踪结果所对应的位置处显示所述目标框。本方法使得目标框的显示更加的平滑，减少用户视觉上的卡顿感受，极大的提升了用户体验。并且，减少了调用目标神经网络的时间，进而降低了电子设备的资源消耗。

Description

图像处理方法、装置以及电子设备

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种图像处理方法、装置以及电子设备。

背景技术

随着图像识别技术的发展，有的电子设备支持通过摄像头采集图像后直接对图像内的目标进行识别并标注。作为一种标注的方式，可以在界面中显示一目标框来标注所识别出的目标的类型，而在这种方式中，会因为摄像头采集画面的晃动而造成目标框出现跳动，进而造成画面卡顿的感觉，极大的影响了用户体验。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置以及电子设备，以改善上述问题。

第一方面，本申请提供了一种图像处理方法，应用于电子设备，所述方法包括：在显示区域显示摄像头采集的实时图像；将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像；接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识；其中，在首次接收目标识别结果后的相邻目标识别结果之间，基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

第二方面，本申请提供了一种图像处理装置，运行于电子设备，所述装置包括：

图像显示单元，用于在显示区域显示摄像头采集的实时图像；

图像识别单元，用于将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像；

目标标识单元，用于接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识；

所述目标标识单元，还用于在首次接收目标识别结果后的相邻目标识别结果之间，基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

第三方面，本申请提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。

本申请提供的一种图像处理方法、装置以及电子设备，在显示区域显示摄像头采集的实时图像，进而将所述实时图像中的间隔有指定数量帧的图像的目标帧图像传输到目标神经网络模型中进行目标识别，接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示的所述目标帧图像中显示位置与识别出的目标的位置对应的目标框以便对目标进行标识，并且，在首次接收目标识别结果后的相邻目标识别结果之间，依然会基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框，进而使得在相邻两次基于目标识别结果来确定目标框的显示位置的方式之间，还可以加入基于前一次的目标识别结果来确定目标框的显示位置的方式，进而使得目标框的显示更加的平滑，减少用户视觉上的卡顿感受，极大的提升了用户体验。并且，减少了调用目标神经网络的时间，进而降低了电子设备的资源消耗。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提出的一种目标识别场景的示意图；

图2示出了本申请一实施例提出的一种目标识别场景中目标移动的示意图；

图3示出了本申请一实施例提出的一种图像处理方法的流程图；

图4示出了本申请另一实施例提出的一种图像处理方法的中用于进行图像内容比对的部分区域的示意图；

图5示出了本申请另一实施例提出的一种图像处理方法的中指定顺序的的示意图；

图6示出了本申请一实施例提出的一种图像处理方法的中数据流向示意图；

图7示出了本申请一实施例提出的一种图像处理方法的中引入了目标跟随者算法后目标框的显示效果的示意图；

图8示出了本申请另一实施例提出的一种图像处理方法的流程图；

图9示出了本申请再一实施例提出的一种图像处理方法的流程图；

图10示出了本申请实施例提出的一种图像处理装置的结构框图；

图11示出了本申请另一实施例提出的一种图像处理装置的结构框图；

图12示出了本申请再一实施例提出的一种图像处理装置的结构框图；

图13示出了本申请的用于执行根据本申请实施例的图像处理方法的电子设备的结构框图；

图14是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着终端技术的发展，电子设备中所配置的图像采集程序除了进行常规的图像采集以外，还集合了更多的其他功能。例如，可以对摄像头所采集的图像进行内容识别。

其中，在一些具备内容识别的图像采集程序中。当接收到摄像头所采集的图像后，就可以开始对摄像头所采集的图像进行内容识别，并且直接在所采集的图像中对识别的结果进行显示。例如，在图1所示的内容中，一种相关的电子设备的摄像头所采集的画面中有一个鼠标，那么该电子设备在识别到其中的鼠标后，可以在鼠标处显示一个白色的目标框进行标注。

而发明人在研究中发现，在相关的识别方式中进行目标标注的目标框在显示区域中的显示过程还不太顺滑，会给用户造成卡顿的感觉。具体的，在一些场景中电子设备所采集的画面中，目标是会连续移动的。但是，进行图像识别的程序通常是逐帧进行的识别，并且对于每帧图像的识别过程都是需要消耗一定的时间的。例如，在相关方式中，一张图片需要进过三级神经网络进行运算。

那么在接收到下一次进行图像识别程序返回的目标识别结果之前，目标可能已经从之前的原始位置移动到了另一个新的位置，而目标框通常是在对应的目标处进行显示的，再者，当图像的刷新频率达到一定的程度后，用户才会感觉目标是连贯运动的。在目前的技术中，当图像的帧率高于每秒约10-12帧时，就会认为是连贯的，那么在这种情况下目标框可能就会从原始位置跳跃到该新的位置进行显示，进而造成目标框在显示区域中的显示过程还不太顺滑。

例如，如图2所示，图2中左侧为鼠标处于该原始位置的状态，图2中右侧为鼠标处于新的位置的状态，那么在这种情况下，显示的内容为鼠标的目标框就会从图2中左侧的位置移动到图2中右侧的位置。

因此，发明人提出了本申请中可以改善上述问题的图像处理方法、装置以及电子设备。在本申请提出的图像处理方法中，引入了目标跟踪算法，从而在首次接收目标识别结果后的相邻目标识别结果之间，依然会基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框，进而使得在相邻两次基于目标识别结果来确定目标框的显示位置的方式之间，还可以加入基于前一次的目标识别结果来确定目标框的显示位置的方式，进而使得目标框的显示更加的平滑，减少用户视觉上的卡顿感受，极大的提升了用户体验。

下面将结合附图具体描述本申请的各实施例。

请参阅图3，本申请实施例提供的一种图像处理方法，应用于电子设备，所述方法包括：

步骤S110：在显示区域显示摄像头采集的实时图像。

可以理解的是，摄像头在开始工作后就会进行图像采集，并将所采集的图像传输给调用摄像头的程序。那么作为一种方式，本实施例所提供的图像处理方法可以直接运行于电子设备中的一应用程序中。那么当该应用程序启动后，就可以直接调用摄像头开始进行图像采集，进而在该应用程序中的配置的显示区域中显示摄像头采集的实时图像。

作为另外一种方式，在执行本实施例提供的图像处理方法中有配置有触发启动或者关闭执行本实施例提供的图像处理方法的控件。那么在这种方式下，当该应用程序启动后，在检测到该控件被触控后，再开始调用摄像头开始进行图像采集，进而在该应用程序中的配置的显示区域中显示摄像头采集的实时图像，当检测到该控件被再次调用后，停止调用摄像头。

步骤S120：将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像。

可以理解的是，在本申请实施例中所采用的目标神经网络模型可以具备从输入的图像中识别出目标以及目标对应的位置的功能。例如，可以采用CNN级联检测模型作为前述的目标神经网络模型。可以理解的是，对于CNN级联检测模型包括有卷积层、池化层以及全连接层。

其中，卷积层用于对隐含单元和输入单元间的连接加以限制。普通神经网络把输入层和隐含层进行“全连接(Full Connected)“的设计。从计算的角度来讲，相对较小的图像从整幅图像中计算特征是可行的。但是，如果是更大的图像(如96x96的图像)，要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时。你需要设计10的4次方(＝10000)个输入单元，假设你要学习100个特征，那么就有10的6次方个参数需要去学习。与28x28的小块图像相比较，96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方(＝100)倍。积层解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制：每个隐含单元仅仅只能连接输入单元的一部分。

池化(pool)即下采样(downsamples)，池化层目的是为了减少特征图。池化层进行的运算一般有以下几种：最大池化(Max Pooling)，即取4个点的最大值，这是最常用的池化方法。均值池化(Mean Pooling)，即取4个点的均值。

可以理解的是，对于摄像头所述采集的图像是不断的传输给应用程序进行显示的，而应用程序在显示过程中也是一帧一帧图像进行的显示。那么应用程序可以有多种方式从该一帧一帧图像确定出目标帧图像。

作为一种方式，应用程序从所述实时图像的指定帧图像开始，将每间隔所述指定数量帧图像后的一帧图像确定为目标帧图像。其中，指定帧图像可以为所述摄像头所采集的第一帧图像，也可以为检测到指定事件后开始的第一帧。例如，可以理解的是，若电子设备处于被用户手持的状态时，电子设备可能会一直处于大幅度的晃动的状态，而直到用户期望对某个目标或者某几个目标进行识别时，才会尽量的保持电子设备处于稳定状态。在这种情况下，如果直接将摄像头从开始采集的实时图像中的第一帧图像为指定帧图像，那么可能会造成最开始所进行的识别的图像并不会包括用户实际所需要进行识别的目标，进而会造成资源的浪费。

作为一种方式，可以当检测到有作用于屏幕的触控操作后，将该触控操作判定为指定事件，进而再开始将检测到有作用于屏幕的触控操作后的第一帧图像作为指定帧图像。可以理解的是，当用户在触控屏幕的时候，通常需要让电子设备保持一个相对静止的状态，进而表征用户期望电子设备开始进行目标的识别了。那么当电子设备在检测到作用于屏幕的触控操作后，就可以开始确定要输出到目标神经网络模型的目标帧图像了。

作为另外一种方式，电子设备还可以借助加速度传感器来确定是否检测到指定的事件。可以理解的是，电子设备若处于大幅度的晃动状态，那么其自身的加速度也会处于一个较大的状态或者加速度的方向会变化的比较频繁。那么在这种情况下，若电子设备检测到加速度值小于指定阈值，那么就可以判定电子设备处于静止状态，进而判定将加速度值小于指定阈值确定为检测到指定事件，进而将检测到加速度值小于指定阈值对应时刻后的第一帧图像确定为指定帧图像。

再者，可以理解的是，如果将实时图像中的每一帧图像都传输到目标神经网络中进行目标识别，那么相比于只选择部分帧图像传输到目标神经网络中进行目标识别会消耗更多的处理资源或者电子设备的电量。而在本实施中，执行图像处理方法的应用程序可以有多种方式来确定如何从实时图像中确定目标帧图像。

作为一种方式，可以采用固定的间隔来确定目标帧图像。例如，可以在指定帧图像后每隔20帧图像抽取一帧图像作为目标帧图像。也可以在指定帧图像后每隔10帧图像抽取一帧图像作为目标帧图像。另外，作为再一种方式，执行图像处理方法的应用程序可以根据当前的实际需求来确定是每间隔多少帧图像来抽取一帧图像作为目标帧图像。

例如，在摄像头所采集的实时图像变化较为频繁时，显示区域中的图像内容对应的也变化较为频繁，那么为了能够适配显示区域中变化频繁的图像内容，执行图像处理方法的应用程序可以相对较高的频率确定目标帧图像，例如，可以间隔5帧图像就确定一个目标帧图像。再例如，若在摄像头所采集的实时图像变化较为不频繁时，例如，所采集的到的内容一直是同一个内容的情况下，若依然还是以较高的频率确定目标帧图像，可能会造成资源的浪费。因为在这种情况下，所已经识别出的目标可能并不会移动，那么在目标对应位置处显示的目标框也是处静置状态的，并不会出现视觉上的卡顿现象，所以在这种情况下，可以以较低的频率确定目标帧图像，例如，可以间隔20帧图像就确定一个目标帧图像，或者间隔30帧图像就确定一个目标帧图像。

其中，可以在检测到连续多帧图像的内容均不同的情况下，判定实时图像变化较为频繁。其中，需要说明的是，为了便于提升相邻帧图像是否发生变化的检测速率，对于执行图像处理方法的应用程序可以仅获取相邻帧图像中的部分区域进行像素对比，当前帧图像的该部分区域的像素和前一帧图像的该部分区域的像素发生了变化，那么就判定当前帧图像和前一帧图像发生了变化。可选的，如图4所示，执行图像处理方法的应用程序可以仅选择每一帧图像99的左上角区域98作为前述的部分区域。然后将这个该部分区域内的像素按照位置对应的方式进行比较，并且可以按照指定的顺序进行比较，若检测到有位置对应的像素的像素值不同，即可判定当前帧图像和前一帧图像发生了变化。

其中，指定的顺序可以为行优先或者列优先。行优先可以理解为从当前帧图像的顶部从上到下进行比对。例如，如图5所示，若是以行优先进行比对，那么会先比对位置A处的像素，然后就比对位置B处的像素，然后再比对位置C处的像素，再比对下一行的位置M处的像素。对应的，列优先可以理解为从当前帧图像的顶部从左到右进行比对。例如，如图5所示，若是以列优先进行比对，那么会先比对位置A处的像素，然后就比对位置M处的像素，然后再比对位置N处的像素，再比对下一列的位置B处的像素。

步骤S130：接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识。

其中，与识别出的目标的位置对应可以理解为直接悬浮显示在所识别出的目标的上方，或者显示在所识别出的目标的旁边。而其中的类型标识可以理解为文本标识或者图片标识。例如，若识别目标为鼠标，那么类型标识可以为“鼠标”这个文本类容，或者可以是与所识别出的鼠标的外观图片。

步骤S140：其中，在首次接收目标识别结果后的相邻目标识别结果之间，基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

下面再通过图6对步骤S130和步骤S140的内容进行说明。

在图6所示的图中，包括有目标检测模型(可以作为前述的目标神经网络模型)、标准分类模型组以及还包括有用于运行模型的模型运行引擎(可以为SNPE或者TFlite等)，此外还包括有运行目标跟踪算法的模块。例如，该目标跟踪算法可以采用KCF算法。此外，还可以采用CSRT算法和GOTURN算法。

当执行图像处理方法的应用程序获取到摄像头数据流后，及获取到前述的实时图像后，可以从中选取目标帧图像送入到已经加载到模型运行引擎的目标检测算法(即目标神经网络模型)中，然后再送入到标准分类模型组进行运算，然后将标准模型组的输出结果作为前述的目标识别结果。而在本申请实施例中，在引入了目标跟踪算法的情况下，标准分类模型组会将输出交由模型运行引擎输入到目标跟踪算法中，并且同时摄像头数据流也会作为输入数据输入到目标跟踪算法中，进而输出前述步骤S130和步骤S140所表征的结果，即基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，以及基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

可以理解的是，若将首次目标识别结果以及对应的目标帧图像输入到目标跟踪算法后输出的内容为图7中最左侧一张图中的内容。而将首次目标识别结果后的下一次输出结果以及对应的目标帧图像输入到目标跟踪算法后输出的内容为图7中最右侧一张图中的内容，而在本申请实施例中因为引入了目标跟踪算法，在执行图像处理方法的应用程序输出最右侧的一张图像的内容之前，还会在这两次目标识别结果之间，继续将首次目标识别结果(即当前帧图像之前最近一次获取的目标识别结果)以及当前帧图像输入到目标跟踪算法中，进而得到图7中中间2张图的内容。那么在这种情况下，在作为识别出的目标的鼠标从显示区域的左下角移动到右上角的过程中，目标框会更加紧密的跟随，在用户的视觉上也会觉得更加额平滑。

可以理解的是，在相邻目标识别结果之间具体插入多少次跟踪目标识别结果是可以灵活确定的，在后续的实施例内容中将会详细说明。

需要说明的是，本实施例中所称的执行图像处理方法的应用程序，所执行的图像处理方式不显示前述内容中的图像处理方法，而是包括本申请中任一位置指出的图像处理方法。

本申请提供的一种图像处理方法，在显示区域显示摄像头采集的实时图像，进而将所述实时图像中的间隔有指定数量帧的图像的目标帧图像传输到目标神经网络模型中进行目标识别，接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示的所述目标帧图像中显示位置与识别出的目标的位置对应的目标框以便对目标进行标识，并且，在首次接收目标识别结果后的相邻目标识别结果之间，依然会基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框，进而使得在相邻两次基于目标识别结果来确定目标框的显示位置的方式之间，还可以加入基于前一次的目标识别结果来确定目标框的显示位置的方式，进而使得目标框的显示更加的平滑，减少用户视觉上的卡顿感受，极大的提升了用户体验。并且，减少了调用目标神经网络的时间，进而降低了电子设备的资源消耗。

请参阅图8，本申请实施例提供的一种图像处理方法，应用于电子设备，所述方法包括：

步骤S210：在显示区域显示摄像头采集的实时图像。

步骤S220：将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像。

步骤S230：接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识。

步骤S240：获取相邻目标识别结果的接收时刻之间的时间间隔。

可以理解的是，电子设备中的应用程序在将目标帧图像传输给目标神经网络模型的过程中是需要消耗一定的时间的。例如，若目标神经网络模型运行在云端，那么在传输的通信链路上就需要消耗时间进行数据的传输。再者，目标神经网络模型进行目标识别，也是需要消耗一定的时间的。

那么若目标神经网络模型是运行在本地的，那么相邻目标识别结果的接收时刻之间的时间间隔可以直接等于目标神经网络模型进行目标识别的耗时。若目标神经网络模型运行在云端，那么邻目标识别结果的接收时刻之间的时间间隔就会包括目标神经网络模型进行目标识别的耗时以及数据传输耗时。

步骤S250：其中，在首次接收目标识别结果后的相邻目标识别结果之间，基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，根据所述时间间隔输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

作为一种方式，所述根据所述时间间隔输出跟踪结果的步骤包括：获取输出一次跟踪结果的输出用时；基于所述输出用时和所述时间间隔，确定跟踪结果的输出数量，以便所述输出数量的跟踪结果的输出时间在所述时间间隔内等时间间距排布。

可以理解的是，根据前述内容可知，因为人眼对于画面的识别问题，需要每秒所述显示的帧达到一定数量的情况下，才不会觉得画面有卡顿感。并且，对于不同的电子设备其运行状态，例如，当前可用的剩余处理资源可能会有不同，再者当前的网络状态也可能会不同，造成不同的电子设备进行目标识别所消耗时间可能不同。那么在这种情况下，电子设备中执行图像处理方法的应用程序根据前述所计算得到自己适配的相邻目标识别结果的接收时刻之间的时间间隔来计算跟踪结果的输出数量，既可以实现使得目标框显示更加平滑，也可以不过于浪费处理资源。

例如，若应用程序检测到目标神经网络模型是在本地运行，且相邻目标识别结果的接收时刻之间的时间间隔为200ms，那么在这种情况下目标框的输出帧率为1000除以200ms＝5fps，那么根据人眼至少需要在12fps的情况下才会不觉得卡顿的情况下，必然是会产生卡顿感的，那么在这种情况下，基于所述输出用时和所述时间间隔，确定跟踪结果的输出数量的情况下，需要使得最终的输出帧率至少大于12fps，那么作为一种方式，可以确定跟踪结果的输出数量为5，那么在这种情况下，就会将关于目标框的图像输出间隔缩小到33ms，那么此时的帧率就变成了1000除以33ms约等于30fps。

需要说明的是，在执行图像处理方法的应用程序在运行过程中实际调节跟踪结果的输出频率时，为了提升运算效率以及实现计算的实时性，所采用的相邻目标识别结果的接收时刻之间的时间间隔为历史计算得到的。那么在这种情况下，作为一种方式，所述获取相邻目标识别结果之间的时间间隔的步骤包括：根据历史接收到的多个目标识别结果的时刻，预估相邻目标识别结果之间的时间间隔。

可以理解的是，根据前述的阐述时间间隔与多种参数都有关系，例如，接入网络方式、当前网络传输速率以及电子设备的数据处理资源剩余程度等。那么电子设备可以将这些参数中的一个或多个作为指定效率特征参数对对应的时间间隔进行分类。

可选的，所述根据历史接收到的多个目标识别结果的时刻，预估相邻目标识别结果之间的时间间隔的步骤包括：获取所述多个目标识别结果的时刻中相邻目标识别结果的时间间隔，得到多个参考时间间隔；基于电子设备对应的指定效率特征参数对所述多个参考时间间隔进行分类，得到多个各自对应不同参考时间间隔的指定效率特征参数，且所对应的参考时间间隔不同所属的分类不同；获取电子设备当前对应的指定效率特征参数，将所述前对应的指定效率特征参数对应的参考时间间隔作为预估的相邻目标识别结果之间的时间间隔，所述指定效率特征参数包括接入网络方式、当前网络传输速率以及电子设备的数据处理资源剩余程度中的至少一个。

本申请提供的一种图像处理方法，在首次接收目标识别结果后的相邻目标识别结果之间，依然会基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框，进而使得在相邻两次基于目标识别结果来确定目标框的显示位置的方式之间，还可以加入基于前一次的目标识别结果来确定目标框的显示位置的方式，进而使得目标框的显示更加的平滑，减少用户视觉上的卡顿感受，极大的提升了用户体验。并且在本实施例中，电子设备还可以进一步的获取相邻目标识别结果的接收时刻之间的时间间隔，以及获取输出一次跟踪结果的输出用时，然后进一步的根据该时间间隔和跟踪结果的输出用时来适配性的调节跟踪结果的输出次数或者频率，以便可以更加灵活准确的使得目标框可以平滑显示。并且，减少了调用目标神经网络的时间，进而降低了电子设备的资源消耗。

请参阅图9，本申请实施例提供的一种图像处理方法，应用于电子设备，所述方法包括：

步骤S310：在显示区域显示摄像头采集的实时图像。

步骤S320：将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像。

步骤S330：接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识。

步骤S340：获取用户配置的跟踪结果输出频率。

可以理解的是，虽然通常而言是在帧率达到12fps的情况下，用户才会感觉到画面是流畅的，但是每个用户自身的需求可能会有不同。例如，有的用户可能就比较喜欢12fps时的显示效果，而有的用户更喜欢更高帧率的显示效果，例如，30fps的显示效果。那么作为一种适配用户个性化需求的方式，执行该图像处理算法的应用程序可以提供一个用户配置接口，进而用户可以通过该配置接口调节跟踪结果的输出频率，进而调节目标框的显示效果。

步骤S350：基于目标跟踪算法对所述目标进行跟踪，基于所述跟踪结果输出频率输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

本申请提供的一种图像处理方法，在首次接收目标识别结果后的相邻目标识别结果之间，依然会基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框，进而使得在相邻两次基于目标识别结果来确定目标框的显示位置的方式之间，还可以加入基于前一次的目标识别结果来确定目标框的显示位置的方式，进而使得目标框的显示更加的平滑，减少用户视觉上的卡顿感受，极大的提升了用户体验。并且，在本实施例中，还可以给用户提供跟踪结果输出配置的接口，以便用户可以根据自己的需要配置跟随结果的输出次数或者频率，以便可以更加灵活准确的使得目标框可以平滑显示并符合用户的个性化需求。

请参阅图10，本申请实施例提供的一种图像处理装置400，运行于电子设备，所述装置400包括：

图像显示单元410，用于在显示区域显示摄像头采集的实时图像。

图像识别单元420，用于将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像。

作为一种方式，图像识别单元420，具体用于从所述实时图像的指定帧图像开始，将每间隔所述指定数量帧图像后的一帧图像确定为目标帧图像。

进一步的，图像识别单元420，具体用于从所述实时图像的指定帧图像开始，将每间隔所述指定数量的帧图像后的第一帧清晰图像确定为目标帧图像。

目标标识单元430，用于接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识。

所述目标标识单元430，还用于在首次接收目标识别结果后的相邻目标识别结果之间，基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

作为一种方式，如图11所示，目标标识单元430包括：

时间获取子单元431，用于获取相邻目标识别结果的接收时刻之间的时间间隔。

可选的，时间获取子单元431，具体用于根据历史接收到的多个目标识别结果的时刻，预估相邻目标识别结果之间的时间间隔。

进一步的，时间获取子单元431，具体用于获取所述多个目标识别结果的时刻中相邻目标识别结果的时间间隔，得到多个参考时间间隔；基于电子设备对应的指定效率特征参数对所述多个参考时间间隔进行分类，得到多个各自对应不同参考时间间隔的指定效率特征参数，且所对应的参考时间间隔不同所属的分类不同；获取电子设备当前对应的指定效率特征参数，将所述前对应的指定效率特征参数对应的参考时间间隔作为预估的相邻目标识别结果之间的时间间隔，所述指定效率特征参数包括接入网络方式、当前网络传输速率以及电子设备的数据处理资源剩余程度中的至少一个。

第一标识子单元432，用于基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，根据所述时间间隔输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

可选的，标识子单元432，具体用于获取输出一次跟踪结果的输出用时；基于所述输出用时和所述时间间隔，确定跟踪结果的输出数量，以便所述输出数量的跟踪结果的输出时间在所述时间间隔内等时间间距排布。

作为一种方式，如图12所示，目标标识单元430包括：

用户配置参数获取子单元433，用于获取用户配置的跟踪结果输出频率；

基于目标跟踪算法对所述目标进行跟踪，基于所述跟踪结果输出频率输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

第二标识子单元434，用于基于目标跟踪算法对所述目标进行跟踪，基于所述跟踪结果输出频率输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图13对本申请提供的一种电子设备进行说明。

请参阅图13，基于上述的图像处理方法、装置，本申请实施例还提供的另一种可以执行前述图像处理方法的电子设备200。电子设备200包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、网络模块106、摄像头108以及屏幕110。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个用于处理数据的核。处理器102利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital SignalProcessing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics ProcessingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

所述网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块106可以与基站进行信息交互。

摄像头108可以采集图像以便于电子设备的屏幕110可以实时显示。

请参考图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。

本申请提供的一种图像处理方法、装置以及电子设备，在显示区域显示摄像头采集的实时图像，进而将所述实时图像中的间隔有指定数量帧的图像的目标帧图像传输到目标神经网络模型中进行目标识别，接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示的所述目标帧图像中显示位置与识别出的目标的位置对应的目标框以便对目标进行标识，并且，在首次接收目标识别结果后的相邻目标识别结果之间，依然会基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框，进而使得在相邻两次基于目标识别结果来确定目标框的显示位置的方式之间，还可以加入基于前一次的目标识别结果来确定目标框的显示位置的方式，进而使得目标框的显示更加的平滑，减少用户视觉上的卡顿感受，极大的提升了用户体验。并且，减少了调用目标神经网络的时间，进而降低了电子设备的资源消耗。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

在显示区域显示摄像头采集的实时图像；

将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像；

接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识；

其中，在首次接收目标识别结果后的相邻目标识别结果之间，获取相邻目标识别结果的接收时刻之间的时间间隔；基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，获取输出一次跟踪结果的输出用时；基于所述输出用时和所述时间间隔，确定跟踪结果的输出数量，以便所述输出数量的跟踪结果的输出时间在所述时间间隔内等时间间距排布，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

2.根据权利要求1所述的方法，其特征在于，所述获取相邻目标识别结果的接收时刻之间的时间间隔的步骤包括：

根据历史接收到的多个目标识别结果的时刻，预估相邻目标识别结果之间的时间间隔。

3.根据权利要求2所述的方法，其特征在于，所述根据历史接收到的多个目标识别结果的时刻，预估相邻目标识别结果之间的时间间隔的步骤包括：

获取所述多个目标识别结果的时刻中相邻目标识别结果的时间间隔，得到多个参考时间间隔；

基于电子设备对应的指定效率特征参数对所述多个参考时间间隔进行分类，得到多个各自对应不同参考时间间隔的指定效率特征参数，且所对应的参考时间间隔不同所属的分类不同；

获取电子设备当前对应的指定效率特征参数，将所述前对应的指定效率特征参数对应的参考时间间隔作为预估的相邻目标识别结果之间的时间间隔，所述指定效率特征参数包括接入网络方式、当前网络传输速率以及电子设备的数据处理资源剩余程度中的至少一个。

4.根据权利要求1所述的方法，其特征在于，所述基于目标跟踪算法对所述目标进行跟踪，输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框的步骤包括：

获取用户配置的跟踪结果输出频率；

基于目标跟踪算法对所述目标进行跟踪，基于所述跟踪结果输出频率输出跟踪结果，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述实时图像的指定帧图像开始，将每间隔所述指定数量帧图像后的一帧图像确定为目标帧图像。

6.根据权利要求5所述的方法，其特征在于，所述从所述实时图像的指定帧图像开始，将每间隔所述指定数量的帧图像后的一针图像确定为目标帧图像的步骤包括：

从所述实时图像的指定帧图像开始，将每间隔所述指定数量的帧图像后的第一帧清晰图像确定为目标帧图像。

7.一种图像处理装置，其特征在于，运行于电子设备，所述装置包括：

图像显示单元，用于在显示区域显示摄像头采集的实时图像；

图像识别单元，用于将所述实时图像中的目标帧图像传输到目标神经网络模型中进行目标识别，其中，相邻所述目标帧图像之间间隔有指定数量帧的图像；

目标标识单元，用于接收所述目标神经网络模型返回的目标识别结果，基于所述目标识别结果以及目标跟踪算法在所述显示区域所显示中显示目标框，所述目标框的显示位置与识别出的目标的位置对应，并在所述目标框中显示所述目标的类型标识；

所述目标标识单元，还用于在首次接收目标识别结果后的相邻目标识别结果之间，获取相邻目标识别结果的接收时刻之间的时间间隔；基于当前帧图像之前最近一次获取的目标识别结果以及所述目标跟踪算法对所述目标进行跟踪，获取输出一次跟踪结果的输出用时；基于所述输出用时和所述时间间隔，确定跟踪结果的输出数量，以便所述输出数量的跟踪结果的输出时间在所述时间间隔内等时间间距排布，并在所述显示区域中与所述跟踪结果所对应的位置处显示所述目标框。

8.一种电子设备，其特征在于，包括处理器以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现权利要求1-6任一所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-6任一所述的方法。

Images