CN114913471B - 一种图像处理方法、装置和可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法、装置和可读存储介质。其中的方法包括：获取针对目标场景采集的视频数据；对所述视频数据进行运动目标检测，判断所述视频数据中是否存在运动目标；若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，所述特征信息包括目标类别和/或目标运动速度；根据所述目标类别和/或目标运动速度确定目标帧率；基于所述目标帧率对所述视频数据的帧率进行调整。本发明实施例可以满足运动目标的类别或运动速度变化较大的应用场景对帧率的需求，能够在避免计算资源的浪费的同时保证视频的流畅度。

Description

一种图像处理方法、装置和可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置和可读存储介质。

背景技术

在视频分析领域中，通常会设置视频分析的帧率，以节省计算资源，提高视频分析性能。设置合适的帧率可以在满足视频分析精度需求的前提下，尽量降低计算资源消耗。

在现有技术中，通常是人为设置一个固定的视频分析帧率，但这种方式仅适用于变化不大的应用场景。对于随时间变化较大的应用场景，固定的视频分析帧率就无法满足视频分析需求，例如，视频中的物体处于静止状态时，可能由于设置的帧率过高，会浪费计算资源，当视频中的物体运动较快时，可能由于设置的帧率过低，会丢失一些运动较快物体的图像帧，影响视频流畅度。

发明内容

本发明实施例提供一种图像处理方法、装置和可读存储介质，可以满足运动目标的类别或运动速度变化较大的应用场景对帧率的需求。

第一方面，本发明实施例公开了一种图像处理方法，所述方法包括：

获取针对目标场景采集的视频数据；

对所述视频数据进行运动目标检测，判断所述视频数据中是否存在运动目标；

若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，所述特征信息包括目标类别和/或目标运动速度；

根据所述目标类别和/或目标运动速度确定目标帧率；

基于所述目标帧率对所述视频数据的帧率进行调整。

第二方面，本发明实施例公开了一种图像处理装置，所述装置包括：

视频数据获取模块，用于获取针对目标场景采集的视频数据；

运动目标检测模块，用于对所述视频数据进行运动目标检测，判断所述视频数据中是否存在运动目标；

特征信息确定模块，用于若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，所述特征信息包括目标类别和/或目标运动速度；

目标帧率确定模块，用于根据所述目标类别和/或目标运动速度确定目标帧率；

帧率调整模块，用于基于所述目标帧率对所述视频数据的帧率进行调整。

第三方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如前述一个或多个所述的图像处理方法。

本发明实施例包括以下优点：

本发明实施例提供的图像处理方法，通过对视频数据进行运动目标检测，在视频数据中存在运动目标的情况下，根据运动目标的目标类别和/或目标运动速度确定目标帧率，并基于目标帧率对视频数据的帧率进行调整，可以满足运动目标的类别或运动速度变化较大的应用场景对帧率的需求，能够在避免计算资源的浪费的同时保证视频的流畅度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种图像处理方法实施例的步骤流程图；

图2是本发明的一种图像处理系统的结构示意图；

图3是本发明的一种运动目标的位置坐标示意图；

图4是本发明的图像处理装置实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明实施例中术语“多个”是指两个或两个以上，其它量词与之类似。

参照图1，示出了本发明的一种图像处理方法实施例的步骤流程图，所述方法具体可以包括如下步骤：

步骤101、获取针对目标场景采集的视频数据。

步骤102、对所述视频数据进行运动目标检测，判断所述视频数据中是否存在运动目标。

步骤103、若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，所述特征信息包括目标类别和/或目标运动速度。

步骤104、根据所述目标类别和/或目标运动速度确定目标帧率。

步骤105、基于所述目标帧率对所述视频数据的帧率进行调整。

其中，帧率（Frame rate）是以帧为单位的位图图像连续出现在显示器上的频率（速率），高的帧率可以得到更流畅、更逼真的动画。在实际应用时，如果视频内容没有发生变化，帧率设置过高会浪费计算资源；如果视频内容存在较大变化，帧率设置较低则会影响视频流畅度。

本发明提供的图像处理方法，可以根据视频数据中运动目标的类别和/或运动速度动态调整视频数据的帧率，满足检测对象的类别或运动速度变化较大的应用场景对帧率的需求，能够在避免计算资源的浪费的同时保证视频的流畅度。

可以理解的是，本发明实施例提供的图像处理方法，可以应用于视频分析、图像采样、视频帧抽取等场景中。所述方法可以由终端设备、服务器或其他类型的电子设备执行，其中，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，所述图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行所述方法，所述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、云通信、网络服务、中间件服务、内容分发网络（Content Delivery Network，CDN），以及大数据和人工智能平台等基础云计算服务的云服务器。为了方便描述，下文中将本发明实施例提供的图像处理方法的执行主体统一称为电子设备。

其中，目标场景可以是随时间改变而不断变化的应用场景。所述视频数据可以是针对目标场景实时采集的视频，电子设备可以具备拍摄功能，可实时针对目标场景进行拍摄。或者，所述视频数据也可以是电子设备通过有线或无线方式获取的其他设备传输的视频，例如，电子设备可以获取摄像头传输的视频流。

在本发明实施例中，获取针对目标场景采集的视频数据之后，对视频数据进行运动目标检测，以判断视频数据中是否存在运动目标。示例性地，可以采用一些运动目标检测算法判断视频数据中是否存在运动目标，例如，连续帧间差分法（Temporal Difference）、背景差分法（Background Subtraction）、光流场法（Optical Flow Field），等等。

需要说明的是，在本发明实施例中，检测对象也即运动目标，可以根据实际应用场景或需求进行确定，例如，在对居家宠物进行分析的场景中，检测的运动目标可以为宠物；在对进出走廊或房间的人进行分析的场景中，检测的运动目标可以为人。

当确定视频数据中存在运动目标时，可以进一步基于运动目标检测算法，确定运动目标的特征信息，所述特征信息包括目标类别和/或目标运动速度。在本发明实施例中，可以基于运动目标的目标类别调整视频数据的帧率，也可以基于运动目标的目标运动速度调整视频数据的帧率，还可以同时根据运动目标的目标类别和目标运动速度调整视频数据的帧率。

作为一种示例，可以根据运动目标的目标类别确定目标帧率，所述特征信息包括目标类别。在实际应用中，可以通过目标检测算法、特征识别算法等确定运动目标的目标类别。可以理解的是，在本发明实施例中，如果视频数据中运动目标的目标类别发生变化，目标帧率也会随之变化。例如，视频数据A共包含4分钟的内容，前2分钟出现的运动目标为人，后2分钟出现的运动目标为宠物。显然，视频数据A中运动目标的类别发生了变化，因此在确定目标帧率时，可以根据前2分钟运动目标的目标类别“人”确定相应的目标帧率Fps1，根据后2分钟运动目标的目标类别“宠物”确定相应的目标帧率Fps2。然后，根据目标帧率对视频数据的帧率进行调整，具体的，将前2分钟的视频帧率调整为Fps1，并将后2分钟的视频帧率调整为Fps2。在实际应用中，可以根据实际需求预先设定类别与帧率之间的对应关系。例如，在对居家的人和宠物进行分析的目标场景中，可以认为宠物的运动速度大于人的运动速度，因此可以设置“宠物”这一类别对应的帧率为Fps2，设置“人”这一类别对应的帧率为Fps1，且Fps2＞Fps1。

本发明实施例可以在视频数据中运动目标的类别发生变化时，根据运动目标的目标类别对视频数据帧率进行动态调整，能够满足包含不同类别的运动目标的视频数据对帧率的需求，保证视频数据的流畅度。

作为又一种示例，可以根据运动目标的目标运动速度确定目标帧率，所述特征信息包括目标运动速度。在实际应用中，可以通过运动目标检测算法获取运动目标的运动速度。如果采集的视频数据的同一帧图像中存在多个运动目标，可以分别确定每个运动目标对应的运动速度，并对各个运动目标的运动速度进行比较，取最大值作为该视频数据中运动目标的目标运动速度。例如，同时检测到运动的人和宠物，其中，人的运动速度为v1，宠物的运动速度为v2，v1＜v2，则可以将v2作为视频数据中运动目标的目标运动速度，基于v2确定视频数据的目标帧率。

示例性地，所述根据所述目标类别和/或目标运动速度确定目标帧率，包括：确定所述目标运动速度所属的速度区间；根据所述速度区间和预先设置的第二参数对照表，确定目标帧率，所述第二参数对照表中存储有速度区间与帧率之间的对应关系。在本发明实施例中，可以预先设置速度范围与帧率之间的对应关系，从而根据运动目标的目标运动速度，以及速度范围与帧率之间的对应关系确定目标帧率。参照表1，示出了本发明实施例提供的一种第二参数对照表。

其中，V表示视频数据中运动目标的目标运动速度，Fps表示目标帧率，V1<V2<V3<V4，Fps1<Fps2< Fps3< Fps4。如表1所示，每个速度区间对应一个目标帧率，当运动目标的目标运动速度所属的区间不同时，目标帧率也不同。因此，在本发明实施例中，当运动目标的运动速度发生较大变化时，目标帧率也会随之变化，从而实现了对视频数据帧率的动态调整。

需要说明的是，为了保证目标帧率能够得到用于播放视频数据的显示器的支持、保证调整后的视频数据能够按照目标帧率正常播放，所述第二参数对照表中，各个速度区间对应的帧率均小于或等于所述视频数据的原始帧率。

作为另一种示例，还可以同时基于运动目标的目标类别和目标运动速度确定目标帧率，所述特征信息可以包括目标类别和运动速度。可选地，所述根据所述目标类别和/或目标运动速度确定目标帧率，包括：针对每一种类别，设置速度区间与帧率之间的对应关系，在不同类别下，相同的速度区间对应不同的帧率；根据所述目标运动速度所属的速度区间，以及所述目标类别下，速度区间与帧率之间的对应关系，确定目标帧率。

在本发明实施例中，可以预先针对每一种类别，设置速度与帧率之间的对应关系，在不同类别下，相同的速度区间对应不同的帧率。参照表2，示出了本发明实施例提供的一种类别、速度区间与帧率之间的参数对照表。

其中，0<V1<V2，Fps1_a<Fps2_a，Fps1_b<Fps2_b。如表1所示，即使所属的速度区间相同，不同类别的运动目标对应的帧率也不同。需要说明的是，在本发明实施例中，为了保证视频的流畅度，运动目标的运动速度越大，帧率越大，因此，通常情况下，Fps1_a< Fps2_b，Fps1_b<Fps2_a。对于同一个速度区间，不同类别对应的帧率之间的大小关系可以根据实际需求进行设置。例如，类别A是“人”，类别B是“宠物”，一般情况下，相比于宠物，人会做比较多的精细动作，可以设置Fps1_a＞Fps1_b，Fps2_a＞Fps2_b，因此，对于人和宠物这两个类别，各个帧率之间的大小关系可以表示为：Fps1_b<Fps1_a<Fps2_b<Fps2_a。

确定运动目标的目标类别和目标运动速度之后，根据表2所示的参数对照表，将目标类别下运动目标的目标运动速度所属的速度区间对应的帧率确定为目标帧率。

最后，基于目标帧率对视频数据的帧率进行调整。本发明实施例提供的图像处理方法，可以通过对视频数据进行运动目标检测，在视频数据中存在运动目标的情况下，根据运动目标的目标类别和/或目标运动速度确定目标帧率，并基于目标帧率对视频数据的帧率进行调整。在本发明实施例中，如果视频数据中运动目标的类别和/或运动速度发生变化，则目标帧率也会随之变化，从而实现了对视频帧率的动态调整，能够满足检测对象的类别或运动速度变化较大的应用场景对帧率的需求，保证调整后的视频数据的流畅度。

可选地，所述判断所述视频数据中是否存在运动目标之后，所述方法还包括：若所述视频数据中不存在运动目标，则将所述视频数据的帧率调整为所述视频数据的原始帧率的1/N，N≥2。

为了节省计算资源，本发明实施例在确定视频数据中不存在运动目标的情况下，可以对视频数据进行降帧处理，将视频数据的帧率调整为原始帧率的1/N。N的取值可以根据实际需求设定，本发明实施例对此不做具体限定。

在本发明的一种可选实施例中，所述视频数据包括至少一个视频段，所述视频段包含至少两个图像帧，每个图像帧包含相同的对象；步骤103所述若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，包括：

步骤S11、若所述视频数据的同一视频段中存在至少两个运动目标，且所述至少两个运动目标对应至少两种类别，则，根据预先设定的类别优先级确定所述视频段对应的目标类别；或者，对各个运动目标的运动速度进行比较，取最大的运动速度作为目标运动速度，将目标运动速度对应的运动目标的类别作为目标类别；

步骤S12、若所述视频数据中存在至少两个运动目标，且所述至少两个运动目标对应不同的视频段，则根据每个视频段中运动目标对应的类别，确定每个视频段对应的目标类别。

在本发明实施例中，当视频数据中包含多个运动目标，且随着时间变化，运动目标也在发生变化时，那么，可以根据视频数据的每一帧图像中包含的运动目标，将视频数据分为不同的视频段，每个视频段包含至少两个图像帧，每个图像帧包含相同的对象。然后，分别对每个视频段中包含的运动目标进行分析，确定每个视频段对应的目标类别。

具体的，如果视频数据的同一个视频段中存在至少两个运动目标，且对应不同的类别，则可以根据预先设定的类别优先级，确定多个运动目标中的目标类别。示例性地，可以根据目标场景中，不同类别的运动目标的运动速度之间的大小关系确定类别优先级。例如，在对居家的人和宠物进行分析的目标场景中，可以认为宠物的运动速度大于人的运动速度，因此可以设置“宠物”这一类别的优先级高于 “人”这一类别的优先级。当宠物和人同为运动目标时，就可以确定目标类别为“宠物”。确定目标类别之后，将目标类别的运动目标的运动速度作为目标运动速度，参照表1或表2所示的参数对照表，根据目标运动速度所属的速度区间确定目标帧率。如果在视频数据中，同一个目标类别对应多个运动目标，则将目标类别下各个运动目标的运动速度进行比较，取最大速度作为目标类别对应的目标运动速度，进而根据目标运动速度确定目标帧率。

或者，当同一个视频段中存在多个运动目标时，也可以先对各个运动目标的运动速度进行比较，取最大的运动速度作为目标运动速度，然后将目标运动速度对应的运动目标的类别作为目标类别。

如果视频数据中存在多个运动目标，且所述运动目标分布在不同的视频段，那么可以根据每个视频段中包含的运动目标的类别，分别确定每个视频段对应的目标类别。例如，视频数据A中包含3个视频段，分别记为视频段a1、a2和a3，其中，视频段a1中包含运动目标M1和M2，视频段a2中包含运动目标M2和M3，视频段a3中包含运动目标M3，那么，在确定视频数据A中运动目标的特征信息时，可以分别针对各个视频段确定其对应的目标类别。具体的，对于视频段a1，根据运动目标M1和M2的类别确定视频段a1对应的目标类别；同理，对于视频段a2，根据运动目标M2和M3的类别确定视频段a2对应的目标类别、将运动目标M3的类别作为视频段a3对应的目标类别。

确定运动目标的目标类别之后，根据目标类别确定目标帧率，并基于目标帧率对视频数据的帧率进行调整。可选地，步骤104所述根据所述目标类别和/或目标运动速度确定目标帧率，包括：

步骤S21、根据所述视频数据中每个视频段对应的目标类别和预先设置的第一参数对照表，确定各个视频段的目标帧率；所述第一参数对照表中存储有不同目标场景中运动目标的类别与帧率之间的对应关系；

步骤105所述基于所述目标帧率对所述视频数据的帧率进行调整，包括：

步骤S22、基于所述视频数据中各个视频段的目标帧率，对各个视频段的帧率进行调整。

参照表3，示出了本发明实施例提供的一种运动目标的类别与帧率的第一参数对照表。

其中，每个类别对应的帧率可以根据实际需求进行设置，本发明实施例对此不做限定。

在本发明实施例中，如果根据图像帧中包含的对象将视频数据划分为多个视频段，一个视频段中的各个图像帧包含相同的对象，在各个视频段对应的运动目标的目标类别不同的情况下，可以根据每个视频段对应的目标类别和预先设置的第一参数对照表，分别确定每个视频段对应的目标帧率，然后基于视频数据中各个视频段的目标帧率，对各个视频段的帧率进行调整，以适应视频数据的内容变化，满足包含不同类别的运动目标的视频段对帧率的需求，从而在不浪费计算资源的同时保证视频流畅度。

在本发明的一种可选实施例中，步骤103所述若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，包括：

步骤S31、若所述视频数据中存在运动目标，则对所述视频数据进行图像信号处理，得到所述视频数据对应的第一编码数据；

步骤S32、对所述第一编码数据进行下采样处理，得到第二编码数据；

步骤S33、按照预设检测频率对所述第二编码数据进行运动目标检测，得到所述视频数据中运动目标的目标运动速度。

参照图2，示出了本发明实施例提供的一种图像处理系统的结构示意图。如图2所示，可以先将视频数据输入至图像信号处理单元中进行图像信号处理，得到视频数据的第一编码数据，其中，所述第一编码数据可以为YUV编码数据。YUV编码数据通常包括三个分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。

然后，通过下采样单元对第一编码数据进行下采样处理，得到第二编码数据。需要说明的是，在本发明实施例中，对第一编码数据进行下采样处理，是为了降低第一编码数据的分辨率，例如，第一编码数据的分辨率为1920*1080，经过采样率为2*2的下采样处理，得到分辨率为960*540的第二编码数据。其中，下采样处理的采样率可以根据实际需求进行设置，本发明实施例对此不做具体限定。可选地，所述第二编码数据的分辨率为所述视频数据的原始分辨率的1/N，N≥2。

接下来，将第二编码数据输入至运动目标检测单元中，按照预设检测频率对第二编码数据进行运动目标检测，得到运动目标的目标运动速度。可以理解是的，第二编码数据是经过下采样处理的数据，其分辨率小于视频数据的原始分辨率。

如图2所示，运动目标检测单元将运动目标的目标运动速度输入至帧率调整单元，由帧率调整单元根据运动目标的目标运动速度确定目标帧率，并基于目标帧率对视频数据的帧率进行调整。

可以理解的是，图2中仅示出了帧率调整单元基于目标帧率对第一编码数据进行帧率调整，在实际应用中，也可以对第二编码数据进行帧率调整：所述基于所述目标帧率对所述视频数据的帧率进行调整，包括：基于所述目标帧率对所述第一编码数据或所述第二编码数据的帧率进行调整。

在本发明实施例中，可以根据实际需求选择对第一编码数据或第二编码数据的帧率进行调整。示例性地，如果只需调整视频数据的帧率，不对其分辨率进行调整，则可以根据目标帧率对第一编码数据的帧率进行调整；如果需要在调整视频数据帧率的同时降低其分辨率，则可以根据目标帧率对第二编码数据进行调整。其中，可以根据第一编码数据或第二编码数据中运动目标对应的目标类别和/或目标运动速度确定目标帧率，然后将第一编码数据或第二编码数据的帧率调整为目标帧率。目标帧率的具体确定过程可以参照前述各个实施例中关于确定目标帧率的相关说明。

在本发明的一种可选实施例中，所述特征信息包括所述运动目标的位置坐标和运动速度，所述方法还包括：

步骤S41、在接收到针对所述运动目标的图像处理请求的情况下，根据所述运动目标的位置坐标和运动速度，预测所述运动目标的位移量；

步骤S42、根据所述位移量对所述运动目标的位置坐标进行调整，得到所述运动目标的预测位置坐标；

步骤S43、基于所述预测位置坐标确定所述运动目标对应的像素区域；

步骤S44、对所述像素区域内的像素点执行所述图像处理请求对应的图像处理操作，得到所述运动目标对应的图像处理结果。

在本发明实施例中，调整帧率后的视频数据可以用于各种图像处理任务，例如：提取运动目标的图像、将运动目标与其他图像进行融合、改变运动目标的颜色，等等。由于运动目标是不断运动的，其位置坐标并不固定，因此，在对运动目标进行图像处理时，为了保证图像处理效果，避免数据丢失，可以在接收到针对运动目标的图像处理请求时，先根据运动目标的位置坐标和运动速度，预测运动目标的位移量。其中，运动目标的位置坐标可以通过运动目标检测处理得到。运动目标的位移量用于反映运动目标的位置坐标的变化情况，可以通过对运动目标在不同时刻或不同图像帧中的位置坐标的变化量以及运动目标的运动速度确定。

预测得到运动目标的位移量之后，根据位移量对运动目标的位置坐标进行调整，就可以得到运动目标的预测位置坐标。示例性地，可以根据位移量对运动目标的位置坐标向四周进行外扩，得到预测位置坐标。参照图3，示出了本发明实施例提供的一种运动目标的位置坐标示意图。如图3所示，假设运动目标为原始位置坐标x1~x4、y1~y4圈定的像素点，那么经过调整后，运动目标的预测位置坐标为x1'~ x4'、y1'~ y4'。其中，x1'=x1+a，a表示运动目标的位移量，a>0，其他坐标点同样也存在同样的关系，在此不一一列举。

确定出运动目标的预测位置坐标后，就可以基于预测位置坐标确定运动目标对应的像素区域，对预测位置坐标圈定的像素区域内的像素点执行图像处理操作，就可以得到运动目标对应的图像处理结果。可选地，所述图像处理操作可以包括但不限于：曝光操作、图像识别操作、图像增强操作，等等。例如，当所述图像处理操作为曝光操作时，得到的图像处理结果为所述运动目标对应的图片；当所述图像处理操作为图像识别操作时，例如识别运动目标的动作，得到的图像处理结果为所述运动目标的动作类别；当所述图像处理操作为图像增强操作，得到的图像处理结果为图像增强之后的视频数据，相比于原始视频数据，在图像增强之后的视频数据中，运动目标的清晰度得到了提升。

本发明实施例通过根据运动目标的位移量对运动目标的位置坐标向四周扩展，得到预测位置坐标，并对预测位置坐标对应的像素区域内的像素点执行图像处理操作，可以避免因运动目标的运动导致的数据丢失，有利于提升针对运动目标的图像处理效果。

综上所述，本发明实施例提供的图像处理方法，通过对视频数据进行运动目标检测，在视频数据中存在运动目标的情况下，根据运动目标的目标类别和/或目标运动速度确定目标帧率，并基于目标帧率对视频数据的帧率进行调整，可以满足运动目标的类别或运动速度变化较大的应用场景对帧率的需求，能够在避免计算资源的浪费的同时保证视频的流畅度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4，示出了本发明的一种图像处理装置实施例的结构框图，所述装置可以包括：

视频数据获取模块401，用于获取针对目标场景采集的视频数据；

运动目标检测模块402，用于对所述视频数据进行运动目标检测，判断所述视频数据中是否存在运动目标；

特征信息确定模块403，用于若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，所述特征信息包括目标类别和/或目标运动速度；

目标帧率确定模块404，用于根据所述目标类别和/或目标运动速度确定目标帧率；

帧率调整模块405，用于基于所述目标帧率对所述视频数据的帧率进行调整。

可选地，所述视频数据包括至少一个视频段，所述视频段包含至少两个图像帧，每个图像帧包含相同的对象；所述特征信息确定模块，包括：

第一类别确定子模块，用于若所述视频数据的同一视频段中存在至少两个运动目标，且所述至少两个运动目标对应至少两种类别，则，根据预先设定的类别优先级确定所述视频段对应的目标类别；或者，对各个运动目标的运动速度进行比较，取最大的运动速度作为目标运动速度，将目标运动速度对应的运动目标的类别作为目标类别。

可选地，所述视频数据包括至少一个视频段，所述视频段包含至少两个图像帧，每个图像帧包含相同的对象；所述特征信息确定模块，包括：

第二类别确定子模块，用于若所述视频数据中存在至少两个运动目标，且所述至少两个运动目标对应不同的视频段，则根据每个视频段中运动目标对应的类别，确定每个视频段对应的目标类别。

可选地，所述目标帧率确定模块，包括：

第一帧率确定子模块，用于根据所述视频数据中每个视频段对应的目标类别和预先设置的第一参数对照表，确定各个视频段的目标帧率和目标分辨率；所述第一参数对照表中存储有不同目标场景中运动目标的类别与帧率、分辨率之间的对应关系；

所述帧率调整模块，包括：

第一帧率调整子模块，用于基于所述视频数据中各个视频段的目标帧率和目标分辨率，对各个视频段的帧率和分辨率进行调整。

可选地，所述目标帧率确定模块，包括：

区间确定子模块，用于确定所述目标运动速度所属的速度区间；

第二帧率确定子模块，用于根据所述速度区间和预先设置的第二参数对照表，确定目标帧率，所述第二参数对照表中存储有速度区间与帧率之间的对应关系。

可选地，所述第二参数对照表中，各个速度区间对应的帧率均小于或等于所述视频数据的原始帧率。

可选地，所述目标帧率确定模块，包括：

对应关系设置子模块，用于针对每一种类别，设置速度区间与帧率之间的对应关系，在不同类别下，相同的速度区间对应不同的帧率；

第三帧率确定子模块，用于根据所述目标运动速度所属的速度区间，以及所述目标类别下，速度区间与帧率之间的对应关系，确定目标帧率。

可选地，所述特征信息确定模块，包括：

图像处理子模块，用于若所述视频数据中存在运动目标，则对所述视频数据进行图像信号处理，得到所述视频数据对应的第一编码数据；

下采样处理子模块，用于对所述第一编码数据进行下采样处理，得到第二编码数据；

运动速度确定子模块，用于按照预设帧率对所述第二编码数据进行运动目标检测，得到所述视频数据中运动目标的目标运动速度。

可选地，所述第二编码数据的分辨率为所述视频数据的原始分辨率的1/N，N≥2；所述帧率调整模块，包括：

第二帧率调整子模块，用于基于所述目标帧率对所述第一编码数据或所述第二编码数据的帧率进行调整。

可选地，所述装置还包括：

降帧处理模块，用于若所述视频数据中不存在运动目标，则将所述视频数据的帧率调整为所述视频数据的原始帧率的1/N，N≥2。

可选地，所述特征信息包括所述运动目标的位置坐标和运动速度，所述装置还包括：

请求接收模块，用于在接收到针对所述运动目标的图像处理请求的情况下，根据所述运动目标的位置坐标和运动速度，预测所述运动目标的位移量；

坐标调整模块，用于根据所述位移量对所述运动目标的位置坐标进行调整，得到所述运动目标的预测位置坐标；

区域确定模块，用于基于所述预测位置坐标确定所述运动目标对应的像素区域；

图像处理模块，用于对所述像素区域内的像素点执行所述图像处理请求对应的图像处理操作，得到所述运动目标对应的图像处理结果。

综上，本发明实施例提供的图像处理装置，通过对视频数据进行运动目标检测，在视频数据中存在运动目标的情况下，根据运动目标的目标类别和/或目标运动速度确定目标帧率，并基于目标帧率对视频数据的帧率进行调整，可以满足运动目标的类别或运动速度变化较大的应用场景对帧率的需求，能够在避免计算资源的浪费的同时保证视频的流畅度。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置（服务器或者终端）的处理器执行时，使得装置能够执行前文图1所对应实施例中图像处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上对本发明所提供的一种图像处理方法、图像处理装置和机器可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (21)

1.一种图像处理方法，其特征在于，所述方法包括：

获取针对目标场景采集的视频数据；

对所述视频数据进行运动目标检测，判断所述视频数据中是否存在运动目标；

若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，所述特征信息包括目标类别和目标运动速度；

基于所述目标类别和目标运动速度与帧率之间的预设对应关系，根据所述目标类别和目标运动速度确定目标帧率；

基于所述目标帧率对所述视频数据的帧率进行调整；

所述视频数据包括至少一个视频段，所述视频段包含至少两个图像帧，每个图像帧包含相同的对象；所述若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，包括：

若所述视频数据中存在至少两个运动目标，且所述至少两个运动目标对应不同的视频段，则根据每个视频段中运动目标对应的类别，确定每个视频段对应的目标类别。

2.根据权利要求1所述的方法，其特征在于，所述视频数据包括至少一个视频段，所述视频段包含至少两个图像帧，每个图像帧包含相同的对象；所述若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，包括：

若所述视频数据的同一视频段中存在至少两个运动目标，且所述至少两个运动目标对应至少两种类别，则，根据预先设定的类别优先级确定所述视频段对应的目标类别；或者，对各个运动目标的运动速度进行比较，取最大的运动速度作为目标运动速度，将目标运动速度对应的运动目标的类别作为目标类别。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标类别和目标运动速度确定目标帧率，包括：

根据所述视频数据中每个视频段对应的目标类别和预先设置的第一参数对照表，确定各个视频段的目标帧率；所述第一参数对照表中存储有不同目标场景中运动目标的类别与帧率之间的对应关系；

所述基于所述目标帧率对所述视频数据的帧率进行调整，包括：

基于所述视频数据中各个视频段的目标帧率，对各个视频段的帧率进行调整。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标类别和目标运动速度确定目标帧率，包括：

确定所述目标运动速度所属的速度区间；

根据所述速度区间和预先设置的第二参数对照表，确定目标帧率，所述第二参数对照表中存储有速度区间与帧率之间的对应关系。

5.根据权利要求4所述的方法，其特征在于，所述第二参数对照表中，各个速度区间对应的帧率均小于或等于所述视频数据的原始帧率。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标类别和目标运动速度确定目标帧率，包括：

针对每一种类别，设置速度区间与帧率之间的对应关系，在不同类别下，相同的速度区间对应不同的帧率；

根据所述目标运动速度所属的速度区间，以及所述目标类别下，速度区间与帧率之间的对应关系，确定目标帧率。

7.根据权利要求1所述的方法，其特征在于，所述若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，包括：

若所述视频数据中存在运动目标，则对所述视频数据进行图像信号处理，得到所述视频数据对应的第一编码数据；

对所述第一编码数据进行下采样处理，得到第二编码数据；

按照预设帧率对所述第二编码数据进行运动目标检测，得到所述视频数据中运动目标的目标运动速度。

8.根据权利要求7所述的方法，其特征在于，所述第二编码数据的分辨率为所述视频数据的原始分辨率的1/N，N≥2；所述基于所述目标帧率对所述视频数据的帧率进行调整，包括：

基于所述目标帧率对所述第一编码数据或所述第二编码数据的帧率进行调整。

9.根据权利要求1所述的方法，其特征在于，所述判断所述视频数据中是否存在运动目标之后，所述方法还包括：

若所述视频数据中不存在运动目标，则将所述视频数据的帧率调整为所述视频数据的原始帧率的1/N，N≥2。

10.根据权利要求1所述的方法，其特征在于，所述特征信息包括所述运动目标的位置坐标和运动速度，所述方法还包括：

在接收到针对所述运动目标的图像处理请求的情况下，根据所述运动目标的位置坐标和运动速度，预测所述运动目标的位移量；

根据所述位移量对所述运动目标的位置坐标进行调整，得到所述运动目标的预测位置坐标；

基于所述预测位置坐标确定所述运动目标对应的像素区域；

对所述像素区域内的像素点执行所述图像处理请求对应的图像处理操作，得到所述运动目标对应的图像处理结果。

11.一种图像处理装置，其特征在于，所述装置包括：

视频数据获取模块，用于获取针对目标场景采集的视频数据；

运动目标检测模块，用于对所述视频数据进行运动目标检测，判断所述视频数据中是否存在运动目标；

特征信息确定模块，用于若所述视频数据中存在运动目标，则确定所述运动目标的特征信息，所述特征信息包括目标类别和目标运动速度；

目标帧率确定模块，用于基于所述目标类别和目标运动速度与帧率之间的预设对应关系，根据所述目标类别和目标运动速度确定目标帧率；

帧率调整模块，用于基于所述目标帧率对所述视频数据的帧率进行调整；

所述视频数据包括至少一个视频段，所述视频段包含至少两个图像帧，每个图像帧包含相同的对象；所述特征信息确定模块，包括：

第二类别确定子模块，用于若所述视频数据中存在至少两个运动目标，且所述至少两个运动目标对应不同的视频段，则根据每个视频段中运动目标对应的类别，确定每个视频段对应的目标类别。

12.根据权利要求11所述的装置，其特征在于，所述视频数据包括至少一个视频段，所述视频段包含至少两个图像帧，每个图像帧包含相同的对象；所述特征信息确定模块，包括：

第一类别确定子模块，用于若所述视频数据的同一视频段中存在至少两个运动目标，且所述至少两个运动目标对应至少两种类别，则，根据预先设定的类别优先级确定所述视频段对应的目标类别；或者，对各个运动目标的运动速度进行比较，取最大的运动速度作为目标运动速度，将目标运动速度对应的运动目标的类别作为目标类别。

13.根据权利要求11或12所述的装置，其特征在于，所述目标帧率确定模块，包括：

第一帧率确定子模块，用于根据所述视频数据中每个视频段对应的目标类别和预先设置的第一参数对照表，确定各个视频段的目标帧率；所述第一参数对照表中存储有不同目标场景中运动目标的类别与帧率之间的对应关系；

所述帧率调整模块，包括：

第一帧率调整子模块，用于基于所述视频数据中各个视频段的目标帧率，对各个视频段的帧率进行调整。

14.根据权利要求11所述的装置，其特征在于，所述目标帧率确定模块，包括：

区间确定子模块，用于确定所述目标运动速度所属的速度区间；

第二帧率确定子模块，用于根据所述速度区间和预先设置的第二参数对照表，确定目标帧率，所述第二参数对照表中存储有速度区间与帧率之间的对应关系。

15.根据权利要求14所述的装置，其特征在于，所述第二参数对照表中，各个速度区间对应的帧率均小于或等于所述视频数据的原始帧率。

16.根据权利要求11所述的装置，其特征在于，所述目标帧率确定模块，包括：

对应关系设置子模块，用于针对每一种类别，设置速度区间与帧率之间的对应关系，在不同类别下，相同的速度区间对应不同的帧率；

第三帧率确定子模块，用于根据所述目标运动速度所属的速度区间，以及所述目标类别下，速度区间与帧率之间的对应关系，确定目标帧率。

17.根据权利要求11所述的装置，其特征在于，所述特征信息确定模块，包括：

图像处理子模块，用于若所述视频数据中存在运动目标，则对所述视频数据进行图像信号处理，得到所述视频数据对应的第一编码数据；

下采样处理子模块，用于对所述第一编码数据进行下采样处理，得到第二编码数据；

运动速度确定子模块，用于按照预设帧率对所述第二编码数据进行运动目标检测，得到所述视频数据中运动目标的目标运动速度。

18.根据权利要求17所述的装置，其特征在于，所述第二编码数据的分辨率为所述视频数据的原始分辨率的1/N，N≥2；所述帧率调整模块，包括：

第二帧率调整子模块，用于基于所述目标帧率对所述第一编码数据或所述第二编码数据的帧率进行调整。

19.根据权利要求11所述的装置，其特征在于，所述装置还包括：

降帧处理模块，用于若所述视频数据中不存在运动目标，则将所述视频数据的帧率调整为所述视频数据的原始帧率的1/N，N≥2。

20.根据权利要求11所述的装置，其特征在于，所述特征信息包括所述运动目标的位置坐标和运动速度，所述装置还包括：

请求接收模块，用于在接收到针对所述运动目标的图像处理请求的情况下，根据所述运动目标的位置坐标和运动速度，预测所述运动目标的位移量；

坐标调整模块，用于根据所述位移量对所述运动目标的位置坐标进行调整，得到所述运动目标的预测位置坐标；

区域确定模块，用于基于所述预测位置坐标确定所述运动目标对应的像素区域；

图像处理模块，用于对所述像素区域内的像素点执行所述图像处理请求对应的图像处理操作，得到所述运动目标对应的图像处理结果。

21.一种机器可读存储介质，其上存储有指令，当所述指令由装置的一个或多个处理器执行时，使得装置执行如权利要求1至10中任一所述的图像处理方法。