CN112862657A - 图像处理方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及计算机存储介质。其中，图像处理方法包括：获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制；在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。本申请实施例的方案，可以使得视频帧得以绘制，不会影响用户的观看；并且，避免出现因GPU资源不够用而导致的应用或系统异常，提高了用户体验。

Description

图像处理方法、装置、电子设备及计算机存储介质

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机存储介质。

背景技术

随着计算机技术的发展，AR(增强现实)技术得到了越来越多的应用，比如在移动终端本地实现AR技术。

目前，主要通过移动终端本地的图形处理器GPU来实现AR处理。在AR处理的过程中，不管何种情况，GPU都会被分配成一部分用于绘制视频帧，一部分用于识别出视频帧中的目标对象。

但是，由于GPU资源有限，经常会出现因GPU资源不够用而出现应用或系统异常，例如，在AR处理中出现画面卡顿等情况，极大地影响了用户体验。

发明内容

有鉴于此，本申请实施例所解决的技术问题之一在于提供一种图像处理方法、装置、电子设备及计算机存储介质，用以至少部分解决上述现有技术中的问题。

根据本申请实施例的第一方面，提供了一种图像处理方法，其包括：获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制；在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。

根据本申请实施例的第二方面，提供了一种图像处理装置，其包括：获取模块，用于获取移动终端实时采集的视频帧；第一分配模块，用于为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制；判断模块，用于在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、图形处理器、存储器、通信接口和通信总线，所述处理器、所述图形处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的图像处理方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的图像处理方法。

本申请实施例的方案，通过为实时采集的视频帧分配用于进行图像绘制的图形处理器资源，使得视频帧得以绘制，不会影响用户的观看。并且，在视频帧的图像绘制过程中，会根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，来判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。图像识别在移动终端不够稳定或视频帧不为稳定图像时，都将导致无法识别或者无法正确识别视频帧，造成图像处理器资源的浪费。反之，则能实现视频帧的有效图像识别。为此，本申请实施例的方案中，根据移动终端的稳定状态和/或视频帧的稳定状态来确定是否分配用于图像识别的图形处理器资源，避免了图形处理器资源的浪费，实现了图形处理器资源的有效利用。进一步地，避免出现因GPU资源不够用而导致的应用或系统异常，提高了用户体验。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1a为本申请实施例一中的一种图像处理方法的步骤流程图；

图1b为本申请实施例一中的一种使用场景示意图；

图1c为本申请实施例一中一种采集视频帧的场景示意图；

图2为本申请实施例二中的一种图像处理方法的步骤流程图；

图3为本申请实施例三中的一种图像处理方法的步骤流程图；

图4为本申请实施例四中的一种图像处理方法的步骤流程图；

图5为本申请实施例五中的一种图像处理方法的步骤流程图；

图6为本申请实施例六中一种图像处理装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

实施例一

参照图1a，示出了本申请实施例一中的一种图像处理方法的步骤流程图。本实施例提供的图像处理方法包括以下步骤：

S102、获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制。

本实施例中，移动终端可以为任意能够采集视频帧的移动终端，例如手机、iPad、智能手表、智能眼镜等。例如，用户佩戴智能眼镜逛街时，可以通过智能眼镜实时采集街景对应的视频帧；或者，用户使用跟踪拍摄机器人时，可以通过跟踪机器人实时采集视频帧。为实现视频帧的采集，移动终端上可以配置有图像采集装置。

图形处理器资源可以由移动终端的图形处理器(GPU,Graphics ProcessingUnit)提供。

为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制，即从移动终端的图形处理器(GPU,Graphics Processing Unit)提供的资源中分配用于绘制所述视频帧的图形处理器资源，以使安装在移动终端中的绘制程序可以调用分配的图形处理器资源来绘制视频帧。

具体进行图像绘制时，绘制的对象可以包括部分或全部实时采集的视频帧，还可以包括叠加在实时采集的视频帧上的其他内容，例如AR特效内容等，本实施例对此不进行限定。

用于进行图像绘制的图形处理器资源的分配贯穿于整个图像处理方法始终，也即，无论是否进行后续的图像识别处理，图像绘制过程都会持续进行。

S104、在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。

为所述视频帧分配进行用于图像识别的图形处理器资源，即从移动终端的图形处理器提供的资源中分配用于对所述视频帧进行图像识别的图形处理器资源，以使安装在移动终端中的识别程序可以调用分配的图形处理器资源来识别视频帧中的目标对象。

一方面，在一种情况中，由于进行图像绘制以及进行图像识别均需要调用图形处理器资源，而移动终端中的图形处理器资源有限，致使双方竞争图形处理器资源，导致图像绘制以及图像识别所能调用的资源量均不足，进而出现由于图像绘制所能调用的资源量不足导致画面卡顿情况，以及，由于图像识别所能调用的资源量不足导致无法确定识别结果等。

另一方面，在移动终端不够稳定或视频帧不为稳定图像时，将导致无法识别或者无法正确识别视频帧，造成图像处理器资源的浪费。反之，则能实现视频帧的有效图像识别。

为此，本申请实施例的方案中，根据移动终端的稳定状态和/或视频帧是否为稳定图像来确定是否分配用于图像识别的图形处理器资源，避免了图形处理器资源的浪费，实现了图形处理器资源的有效利用。进一步地，避免出现因GPU资源不够用而导致的应用或系统异常，提高了用户体验。

本实施例中，根据第一信息和/或第二信息判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。其中，第一信息用于指示移动终端的稳定状态。移动终端处于稳定状态可以包括移动终端在一定时间段内在某一固定位置维持某一固定姿态不变，或者位置变化较小、姿态变化较小中的至少其一。

例如，若移动终端被某一固定设备所固定，则根据其运动数据确定移动终端在一定时间段内持续处于同一位置和姿态如10ms，则可认为移动终端处于稳定状态。又例如，若移动终端被人手握持，则因人手很难在某一时段内保持完全不动，因此，有可能造成移动终端产生晃动，若确定移动终端的晃动幅度较小(即姿态变化较小)，则可认为移动终端处于稳定状态。再例如，可以确定当前视频帧与采集的上一视频帧这两幅图像对应的差值图像，若差值图像的图像像素值分布较为平均，则确定两个视频帧的相似度较高，进而可确定移动终端处于稳定状态。

第二信息用于指示所述视频帧是否为稳定图像。视频帧为稳定图像可以包括视频帧不存在图像模糊等问题，图像模糊可能是移动终端与所拍摄的对象的运动不同步导致的。本领域技术人员根据实际需求适当设定判断移动终端是否处于稳定状态或判断视频帧是否为稳定图像的条件，本实施例对此不进行限定。

在后续过程中，进一步地，可以基于上述判断结果进行进一步地处理。例如，在所述图像绘制过程中，若根据所述第一信息确定所述移动终端处于稳定状态，则确定为所述视频帧分配用于进行图像识别的图形处理器资源；和/或，若根据所述第二信息确定实时采集的所述视频帧为稳定图像，则确定为所述视频帧分配用于进行图像识别的图形处理器资源，等等。

在本申请的一种可选实现方式中，在步骤S104之后，所述方法还可以包括：

S106、若根据判断结果确定为所述视频帧分配用于进行图像识别的图形处理器资源，则通过所述用于进行图像识别的图形处理器资源对所述视频帧进行图像识别；根据图像识别结果，确定对应的AR特效内容，并将确定的所述AR特效内容绘制至对应的视频帧上。

进行图像识别时，可以由本领域技术人员根据实际需求采用任意适当的算法，所采用的算法可以包括但不限于人脸识别算法，手势识别算法，物体/形状识别算法，平面识别算法，光线识别算法等，使用的识别算法不同，则输出的识别结果不同，即识别出的目标对象不同。本领域的技术人员可以根据使用的识别算法确定识别结果。具体的识别过程可以例如，将实时采集的视频帧作为人脸识别算法的输入，并通过分配的用于进行图像识别的图形处理器资源为人脸识别算法提供算力支持，以通过人脸识别算法识别出实时采集的视频帧中的人脸。

若通过所述用于进行图像识别的图形处理器资源对所述视频帧进行了图像识别，则根据图像识别结果，确定对应的AR特效内容，并将确定的所述AR特效内容绘制至对应的视频帧上，从而可以不仅向用户展示视频帧，还可以展示视频帧对应的AR特效内容，提高了用户的体验。

例如，若图像识别结果为视频帧中包括广州塔，则可以确定广州塔对应的红包为AR特效内容，并将AR特效内容绘制至视频帧上。

在本申请的另一种可选实现方式中，在步骤S104之后，所述方法还可以包括：

S108、若根据判断结果确定不为所述视频帧分配用于进行图像识别的图形处理器资源，则判断当前展示的视频帧中是否已存在AR特效内容。

S110、若存在，则通过用于进行图像绘制的图形处理器资源绘制实时采集的视频帧以及所述AR特效内容。

S112、若不存在，则通过用于进行图像绘制的图形处理器资源绘制实时采集的视频帧。

通过步骤S108-S112，在不为所述视频帧分配用于进行图像识别的图形处理器资源时，可以沿用上一确定的AR特效内容，或者可以仅绘制实时采集的视频帧、放弃确定并绘制实时采集的视频帧对应的AR特效内容，从而可以避免图像识别与图像处理竞争图形处理器资源，避免了图形处理器资源的浪费，实现了图形处理器资源的有效利用。进一步地，避免出现因GPU资源不足而导致的应用或系统异常，提高了用户体验。

当然，上述步骤S106-S112仅为示例性说明，本领域的技术人员可根据实际需要，确定其他可在步骤S104之后执行的内容，这也在本申请的保护范围内。

下面参照图1b，对本实施例提供的图像处理方法中的分配方案进行示例性说明，为了方便描述，图1b中以移动终端的图形处理器资源包括第一GPU资源和第二GPU资源为例进行说明，其中，第一GPU资源和第二GPU资源可以为不同GPU中的资源，也可以为同一GPU中的资源，本实施例对此不作限定。

首先，在获取移动终端实时采集的视频帧后，先将第一GPU资源分配为用于进行图像绘制的图形处理器资源，用于进行图像绘制的图形处理器资源的分配贯穿于整个图像处理方法始终，也即，无论是否进行后续的图像识别处理，图像绘制过程都会持续进行。

在所述图像绘制过程中，可以根据移动终端信息确定第一信息，和/或，根据视频帧确定第二信息。第一信息用于指示所述移动终端的稳定状态第一信息，第二信息用于指示所述视频帧是否为稳定图像。

根据第一信息和/或第二信息，可以判断是否稳定，此处的稳定可以包括：移动终端处于稳定状态和\或视频帧为稳定图像。图1b中的虚线箭头表示可以根据第一信息和第二信息可任选其一或全部来确定是否稳定。

若稳定，则可以将第二GPU资源分配为用于进行图像识别的图形处理器资源，从而可以在调用第一GPU资源进行图像绘制的同时，调用第二GPU资源识别实时采集的视频帧。之后，可以根据识别结果确定或更新AR特效，并基于视频帧绘制AR特效，在一种可行方式中，可以基于实时采集的视频帧绘制更新的AR特效，或者，也可以基于进行图像识别的视频帧绘制AR特效。

若不稳定，则可以不分配用于进行图像识别的视频帧。在一种可行方式中，还可以将第一GPU资源以及第二GPU资源均用于进行图像绘制。在某些情况下，若之前已存在显示的AR特效，则可选地，虽然不再对当前采集的视频帧进行图像识别，但可以沿用之前的AR特效，如对应于前一视频帧的上一AR特效，即，可以绘制实时采集的视频帧以及上一AR特效，同样实现AR效果。当然，也可以仅绘制实时采集的视频帧，而不绘制特效。

在一个具体示例中，假设用户携带移动终端去广州旅游，用户可以通过移动终端实时采集广州的旅游景点对应的视频帧，并分配图形处理器资源进行视频帧的绘制。

假设视频帧中包括广州塔，在绘制实时采集的视频帧的过程中，若根据第一信息和/或第二信息确定不稳定，则：

a)若根据之前采集的视频帧A识别出了摩天轮，则在更新的视频帧B(包括广州塔的视频帧)中继续叠加摩天轮对应的红包(之前稳定时视频帧A对应的AR特效)，但不分配图形处理器资源再对更新的视频帧B进行图像识别；

b)若根据之前采集的视频帧A并未识别出任何内容，则仅绘制更新的视频帧B(包括广州塔的视频帧)，不分配图形处理器资源来对更新的视频帧B进行图像识别，不叠加任何AR特效。

假设视频帧中包括广州塔，在绘制实时采集的视频帧的过程中，若根据第一信息和/或第二信息确定稳定，则：

在绘制更新的视频帧B(包括广州塔的视频帧)的同时，分配图形处理器资源来对更新的视频帧B进行图像识别，若可以识别出视频帧B中包括的广州塔，则在更新的视频帧B或者比视频帧B新的视频帧C上叠加广州塔对应的红包雨(更新后的AR特效)，具体采集视频帧的场景可以如图1c所示。

本实施例的方案，通过为实时采集的视频帧分配用于进行图像绘制的图形处理器资源，使得视频帧得以绘制，不会影响用户的观看。并且，在视频帧的图像绘制过程中，会根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，来判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。图像识别在移动终端不够稳定或视频帧不为稳定图像时，都将导致无法识别或者无法正确识别视频帧，造成图像处理器资源的浪费。反之，则能实现视频帧的有效图像识别。为此，本申请实施例的方案中，根据移动终端的稳定状态和/或视频帧的稳定状态来确定是否分配用于图像识别的图形处理器资源，避免了图形处理器资源的浪费，实现了图形处理器资源的有效利用。进一步地，避免出现因GPU资源不够用而导致的应用或系统异常，提高了用户体验。

本实施例的图像处理方法可以由任意适当的具有数据处理能力的移动终端执行，包括但不限于：手机、iPad、智能手表、智能眼镜等。

实施例二

参照图2，示出了本申请实施例二中的一种图像处理方法的步骤流程图。

本实施例中，主要对第一信息的具体内容进行说明。本实施例的图像处理方法包括以下步骤：

S202、获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制。

本步骤与上述实施例一种的步骤S102类似，在此不再赘述。

S204、在所述图像绘制过程中，根据第一信息确定移动终端处于稳定状态。

在图像绘制的过程中，持续根据第一信息判断移动终端是否处于稳定状态，直至确定移动终端处于稳定状态后，再执行后续步骤S206。

在本申请的一种具体实现方式中，第一信息可以包括以下至少之一：所述移动终端的运动数据；所述移动终端采集的当前视频帧和上一视频帧的图像相似度。可选地，还可以包括以下至少之下：所述移动终端采集的当前视频帧和上一视频帧的差值图像；所述移动终端采集的当前视频帧的模糊度。

在一种可选的实现方式中，第一信息可以包括移动终端的运动数据。移动终端的运动数据可以表征移动终端的运动状态，例如移动终端的是否转动、是否存在位移等。若移动终端上配置有陀螺仪、速度传感器等运动传感器，则运动数据具体由陀螺仪、速度传感器等生成。例如，若陀螺仪生成的转动角度在预设的角度范围内，则判定所述移动终端处于稳定状态；其他参数的判断方法同理。

具体进行判断时，若根据多个运动数据确定移动终端各个方面的变化均在预设数据变化范围内，则移动终端处于稳定状态；反之，若某一个运动数据不在预设数据变化范围内，则判定移动终端不处于稳定状态，例如可以获取陀螺仪输出的多个姿态角，如俯仰角、偏航角、翻滚角，若根据任一姿态角确定移动终端的转动角度大于1°，则确定移动终端不处于稳定状态。当然，也可以仅通过一个运动数据进行判断，本实施例对此不进行限定。

上述运动数据的具体类型可以由本领域的技术人员根据实际使用场景确定，本实施例对此同样不进行限定。

本实施例中，直接根据运动数据判断移动终端否处于稳定状态，实现简单，判断结果准确。

在一种可选的实现方式中，第一信息可以包括移动终端采集的当前视频帧和上一视频帧的图像相似度。当移动终端在一段时间内位于一个固定的位置并维持一个固定的姿态时，可认为移动终端处于稳定状态，则在这段时间内移动终端实时采集的视频帧变化较小，即实时采集的当前视频帧和上一视频帧的图像相似度较高；反之，移动终端在一段时间内位置一直变化或姿态一直变化，则可认为移动终端不处于稳定状态，在这段时间内采集的视频帧变化较大，即实时采集的当前视频帧和上一视频帧的图像相似度较低，或者完全没有相似之处。基于此，可以通过图像相似度快速地判断出移动终端是否处于稳定状态。

图像相似度的计算方法可参考现有的图像相似度计算方法，本实施例对此不进行限定。计算图像相似度后，具体进行判断时，若图像相似度的结果在预设的图像相似度范围内，则确定移动终端处于稳定状态，反之则不处于稳定状态。通过图像相似度进行判断，计算量较小，且由于当两个相邻的视频帧相似度较高，即使绘制时省略其中之一，用户也不易察觉。上述图像相似度范围可以由本领域的技术人员根据实际使用场景确定，本实施例对此同样不进行限定。

在一种可选的实现方式中，第一信息可以包括移动终端采集的当前视频帧和上一视频帧的差值图像。差值图像通过将当前视频帧以及上一视频帧做差即可确定。

例如，当移动终端在一段时间内位于一个固定的位置并维持一个固定的姿态时，即相当于移动终端处于稳定状态，则在这段时间内移动终端实时采集的视频帧变化较小，即实时采集的当前视频帧和上一视频帧的差值图像的像素值分布较为均匀，差值较小；反之，若移动终端不处于稳定状态，在这段时间内采集的视频帧变化较大，即实时采集的当前视频帧和上一视频帧的差值图像的像素值分布不均匀，差值较大。基于上述假设，可以通过差值图像快速地判断出移动终端是否处于稳定状态，同时，由于当两个相邻的视频帧的差异较小，即使绘制时省略其中之一，用户也不易察觉。

在一种可选的实现方式中，第一信息可以包括移动终端采集的当前视频帧的模糊度。

在采集视频帧时，若移动终端的移动和场景中的物体的移动不同步，会使采集的视频帧产生运动模糊。基于此种假设，可以通过视频帧的模糊度判断移动终端是否处于稳定状态。具体计算模糊度的方法可参考相关技术，本实施例对此不进行限定。

计算模糊度后，若模糊度的结果在预设的模糊度范围内，则确定移动终端的处于稳定状态，反之则不处于稳定状态。通过图像模糊度进行判断，可以提高稳定状态判断的准确率。上述预设的模糊度范围可以由本领域的技术人员根据实际使用场景确定，本实施例对此同样不进行限定。

当然，第一信息可以包括上述四种中的部分或全部，例如第一信息可以同时包括根据移动终端的运动数据，以及移动终端实时采集的当前视频帧的图像模糊度等，本实施例对此不进行限定。

S206、确定为所述视频帧分配用于进行图像识别的图形处理器资源。

当移动终端处于稳定状态时，可以执行本步骤S206。

本实施例提供的方案，第一信息可以包括以下至少之一：所述移动终端的运动数据；所述移动终端采集的当前视频帧和上一视频帧的图像相似度。可选地，第一信息还可以包括以下至少之一：所述移动终端采集的当前视频帧和上一视频帧的差值图像；所述移动终端采集的当前视频帧的模糊度。通过移动终端的运动数据进行判断时，实现简单，判断结果准确；通过移动终端采集的当前视频帧和上一视频帧的图像相似度、差值图像等进行判断时，判断过程所需的计算量较小；通过图像模糊度进行判断，可以提高判断结果准确的准确率。

本实施例的图像处理方法可以由任意适当的具有数据处理能力的移动终端执行，包括但不限于：手机、iPad、智能手表、智能眼镜等。

实施例三

参照图3，示出了本申请实施例三中的一种图像处理方法的步骤流程图。

本实施例中，主要对第二信息的具体内容进行说明。本实施例的图像处理方法包括以下步骤：

S302、获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制。

本步骤与上述实施例一种的步骤S102类似，在此不再赘述。

S304、在所述图像绘制过程中，根据第二信息确定实时采集的视频帧为稳定图像。

在图像绘制的过程中，持续根据第二信息判断视频帧是否为稳定图像，直至确定为稳定图像后，再执行后续步骤S306。

在本申请的一种具体实现方式中，所述第二信息包括以下至少之一：所述移动终端采集的当前视频帧和上一视频帧的差值图像；所述移动终端采集的当前视频帧的模糊度。

若第二信息包括移动终端采集的当前视频帧和上一视频帧的差值图像，则进行判断时，可以根据差值图像的像素值分布是否均匀判断当前视频帧是否为稳定图像。

若第二信息包括移动终端采集的当前视频帧的模糊度，则进行判断时，可以通过确定当前视频帧的模糊度是否在预设的模糊度范围内，来判断当前视频帧是否为稳定图像。具体计算模糊度的方法可参考相关技术，本实施例对此不进行限定。

S306、确定为所述视频帧分配用于进行图像识别的图形处理器资源。

本实施例提供的方案，通过第二信息确定移动终端实时采集的当前视频帧为稳定图像后，再为所述视频帧分配用于进行图像识别的图形处理器资源，由于稳定图像的图像质量较好(例如清晰度较高等)，针对稳定图像进行图像识别时，得到的识别结果更加准确，从而提高了用户体验。

另外需要说明的是，上述实施例二与实施例三可以组合使用，例如，根据所述第一信息确定所述移动终端处于稳定状态，且根据所述第二信息确定实时采集的所述视频帧为稳定图像，则确定为所述视频帧分配用于进行图像识别的图形处理器资源，本实施例对此不进行限定。

本实施例的图像处理方法可以由任意适当的具有数据处理能力的移动终端执行，包括但不限于：手机、iPad、智能手表、智能眼镜等。

实施例四

参照图4，示出了本申请实施例四中的一种图像处理方法的步骤流程图。

本实施例中，主要对具体分配图形处理器资源的方法进行说明。本实施例的图像处理方法包括以下步骤：

S402、获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制。

本步骤与上述实施例一种的步骤S102类似，在此不再赘述。

S404、在所述图像绘制过程中，根据第一信息和/或第二信息判断是否为所述视频帧分配用于进行图像识别的图形处理器资源。

如前所述，第一信息用于指示移动终端的稳定状态，第二信息用于指示视频帧是否为稳定图像。

若移动终端的处于稳定状态或者视频帧为稳定图像，则表明移动终端采集的多个视频帧之间的相似度较高，即多个视频帧的绘制结果较为相似，因此，即使减少绘制的视频帧或者不进行图像绘制，显示的视频帧仍然和实时采集的视频帧相似度较高，并不会出现画面卡顿的情况。此时，可以为视频帧分配进行图像识别的图形处理器资源。

反之，若移动终端的不处于稳定状态或者视频帧不为稳定图像，则表明移动终端采集的多个视频帧之间的相似度较低，即多个视频帧的绘制结果相差较大，因此，若丢弃视频帧不进行绘制，会出现画面卡顿的情况，且，若移动终端的不处于稳定状态或者视频帧不为稳定图像时，实时采集的视频帧一般比较模糊，若将此视频帧用于图像识别，得到的识别结果不准确，或者有可能无法得到识别结果。此时，不为视频帧分配用于进行图像识别的图形处理器资源，以避免造成资源浪费。

在本申请实施例的一种具体实现方式中，若根据判断结果确定为所述视频帧分配用于进行图像识别的图形处理器资源，则在所述图像绘制过程中，通过分配的所述用于进行图像识别的图形处理器资源对所述视频帧进行图像识别。或者，若根据判断结果确定不为所述视频帧分配用于进行图像识别的图形处理器资源，则将待分配的用于进行图像识别的图形处理器资源和所述用于进行图像绘制的图形处理器资源合并，通过合并后的图形处理器资源对所述视频帧进行图像绘制。通过这种方式，在需要为视频帧分配用于图像识别的图形处理器资源时，即可为其分配进而进行图像识别；而若不需要为其分配该图形处理器资源，则可将原本用于图像识别的待分配的图形处理器资源也用于图像绘制。由此，不仅在需要时可实现图像识别，又可在不需要时有效保证绘制的图像的质量和实时性。

在确定为所述视频帧分配用于进行图像识别的图形处理器资源的情况下，一种可行方式中，可以通过以下方式分配用于进行图像识别的图形处理器资源：获取移动终端中配置的图形处理器GPU的数量信息；若根据所述数量信息确定所述GPU的数量包括多个，则从多个中为所述视频帧分配至少一个GPU，以进行图像识别；若根据所述数量信息确定所述移动终端中包括一个GPU，则从所述一个GPU所承载的图形处理器资源中为所述视频帧分配至少一个GPU，以进行图像识别。

对于不同的移动终端，如普通机和高端机，因其硬件资源配置不同，在进行用于图像识别的图形资源处理器分配时也可以采用不同的策略。例如，对于高端机来说，其可能配置有不止一个GPU，以两个为例，则可将其中一个用于图像绘制，而另一个用于图像识别。而对于普通机来说，若其配置仅有一个GPU，则该GPU的资源不仅需要进行图像绘制，还在需要时提供给图像识别。此种情况下，可以将该一个GPU的一部分资源用于图像绘制而另一部分用于图像识别。由此，实现GPU资源的充分和有效利用。

当移动终端仅包括一个GPU时，在一种可行方式中，从所述一个GPU所承载的图形处理器资源中为所述视频帧分配至少一个GPU，以进行图像识别可以包括：从已分配的用于进行图像绘制的原图形处理器资源中，为所述视频帧分配用于进行图像识别的图形处理器资源；其中，所述原图形处理器资源为所述一个GPU所承载的图形处理器资源。也即，初始时，可以将一定的GPU资源用于图像绘制，当确定需要分配用于进行图像识别的图形处理器资源时，则从其取出部分进行图像识别。

籍此，可以在已分配的用于进行图像绘制的原图形处理器资源的基础上，减小用于进行图像绘制的图形处理器资源的资源量，并可以将减少的部分图形处理器资源分配为用于进行图像识别的图形处理器资源，提高了资源利用率，使得即使移动终端中的图形处理器资源较少，也可以对视频帧进行图像识别。

例如，可以将移动终端中的部分或全部图形处理器资源分配为用于进行图像绘制的原图形处理器资源，若根据判断结果确定为所述视频帧分配用于进行图像识别的图形处理器资源，则可以将用于进行图像绘制的原图形处理器资源中的40％，分配为用于进行图像识别的图形处理器资源，并保留60％的图形处理器资源，继续用于进行图像绘制；在确定不为所述视频帧分配用于进行图像识别的图形处理器资源后，可以将用于进行图像识别的40％图形处理器资源合并至保留的、用于进行图像处理的图形处理器资源中。

在本申请一可选实现方式中，根据已分配的用于进行图像绘制的原图形处理器资源，为所述视频帧分配用于进行图像识别的图形处理器资源的具体方法可以包括：确定所述图像绘制所需的最少图形处理器资源的资源量；将用于进行图像绘制的原图形处理器资源的资源量中，除所述最少图形处理器资源的资源量之外的、其他图形处理器资源分配为用于进行图像识别的图形处理器资源。

其中，图像绘制所需的最少图形处理器资源量，是指能够保证绘制的画面不出现卡顿情况所需的最少图形处理器资源量，具体判断画面不卡顿的条件，本领域的技术人员可以根据需求设置，本实施例对此不进行限定。

通过将除所述最少图形处理器资源的资源量之外的其他图形处理器资源分配为用于进行图像识别的图形处理器资源，可以最大限度地提高图形处理器资源的资源利用率。

可选地，本申请实施例中，若确定为视频帧像分配用于进行图像识别的图形处理器资源，则可以修改进行图像绘制时的绘制参数，以根据已分配的用于进行图像绘制的原图形处理器资源，为所述视频帧分配用于进行图像识别的图形处理器资源。

具体地，可以通过降低图像绘制的图像绘制帧率、按照图像绘制概率进行图像绘制等方式，将用于进行图像绘制的原图形处理器资源的资源量中，除所述最少图形处理器资源的资源量之外的其他图形处理器资源分配为用于进行图像识别的图形处理器资源。

具体地，若最少图形处理器资源对应的资源量为零，则可以暂停进行图像绘制，将所有的用于进行图像绘制的原图形处理器资源的资源量全部分配为用于进行图像识别的图形处理器资源。若最少图形处理器资源不为零，则可以根据最少图形处理器资源，确定对应的图像绘制帧率，或者确定对应的图像绘制概率，并按照确定的图像绘制帧率或者图像绘制概率进行图像绘制，从而继续将最少图形处理器资源的资源量用于图像绘制，并可以将用于进行图像绘制的原图形处理器资源的资源量中，除所述最少图形处理器资源的资源量之外的其他图形处理器资源分配为用于进行图像识别的图形处理器资源。

具体地，图像绘制帧率用于表征以帧为单位的视频帧被绘制并显示的频率，图像绘制帧率具体可以为每秒绘制的帧数。降低图像绘制帧率前，每秒钟采集并绘制10帧视频帧，降低图像绘制帧率后，每秒钟采集10帧视频帧，但仅绘制5帧视频帧。降低图像绘制帧率后，所绘制的视频帧的数量减半，使得进行图像绘制所调用的图形处理器资源在已分配的用于进行图像绘制的原图形处理器资源的基础上减半，则可以将减少的部分图形处理器资源分配为用于进行图像识别的图形处理器资源。通过设置图像绘制帧率，可以在进行图像识别的同时仍然绘制一段时间内采集的部分视频帧，提高了显示的画面的流畅度，提高了用户体验。

按照图像绘制概率进行图像绘制，即绘制视频帧时，根据图像绘制概率以及随机生成数，确定是否绘制视频帧，从而可以按照图像绘制概率随机丢弃部分视频帧不进行绘制，从而减少所绘制的视频帧的数量，图像绘制概率的值可以由本领域的工作人员根据实际经验确定，只要能够尽量避免卡顿情况的出现即可。

本实施例提供的方案，根据移动终端的稳定状态和/或视频帧的稳定状态来确定是否分配用于图像识别的图形处理器资源，避免了图形处理器资源的浪费，实现了图形处理器资源的有效利用。进一步地，避免出现因GPU资源不够用而导致的应用或系统异常，提高了用户体验；且，对于不同的移动终端，如普通机和高端机，因其硬件资源配置不同，在进行用于图像识别的图形资源处理器分配时也可以采用不同的策略，使得本实施例提供的方案可以适用于各种类型的移动终端。

本实施例的图像处理方法可以由任意适当的具有数据处理能力的移动终端执行，包括但不限于：手机、iPad、智能手表、智能眼镜等。

实施例五

参照图5，示出了本申请实施例五中的一种图像处理方法的步骤流程图。

本实施例中，主要对根据移动终端的配置采用的不同图像识别方法进行说明。本实施例的图像处理方法包括以下步骤：

S502、获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制。

本步骤与上述实施例一种的步骤S102类似，在此不再赘述。

S504、在所述图像绘制过程中，根据第一信息和/或第二信息判断是否为所述视频帧分配用于进行图像识别的图形处理器资源。

本步骤与上述实施例一种的步骤S404类似，在此不再赘述。

S506、若确定为所述视频帧分配进行用于图像识别的图形处理器资源，则获取所述移动终端的图形处理器资源配置信息，并根据所述配置信息确定所述移动终端是否符合预设配置条件。若符合，则执行步骤S508，若不符合，则执行步骤S510。

移动终端的图形处理器资源配置信息可以表征移动终端中所配置的GPU的信息，例如移动终端所配置的图形处理器的名称、类型、提供的资源总量等信息。

预设配置条件可以根据进行图像识别所需的图形处理器资源的最小值确定，用于指示进行图像识别对应的最低配置条件。若移动终端的配置信息满足预设配置条件，即移动终端所配置的图形处理器资源足以进行图像识别，此时，可以执行步骤S508，以由移动终端本地进行图像识别；若移动终端的配置信息不满足预设配置条件，即移动终端所配置的图形处理器资源不足以进行图像识别，此时，可以执行步骤S510，由云端进行图像识别。

S508、为所述视频帧分配所述移动终端中的进行用于图像识别的图形处理器资源。

具体分配方式可参考上述实施例，本实施例不再赘述。

S510、将所述实时采集的视频帧发送至云端，以通过所述云端为所述视频帧分配进行用于图像识别的图形处理器资源，以在所述云端进行图像识别。

后续，移动终端则可以从云端获取图像识别的结果，进而进行后续处理，如确定AR特效并在采集的视频帧上叠加绘制AR特效，等等。对于某些配置较低的机型，通过将视频帧发送至云端以进行图像识别，进而通过云端进行图像识别，既不会增加移动终端的数据处理负担，也无需用户升级移动终端的配置，且可实现所需的效果，极大地丰富了本发明实施例提供的图像数据方案的适用场景。

其中，具体由云端进行图像识别的方法可参考相关技术，本实施例不再赘述。

本实施例提供的方案，确定为所述视频帧分配进行用于图像识别的图形处理器资源，则获取所述移动终端的图形处理器资源配置信息，并根据所述配置信息确定所述移动终端是否符合预设配置条件，若符合，则为所述视频帧分配所述移动终端中的进行用于图像识别的图形处理器资源，若不符合，则将所述实时采集的视频帧发送至云端，以通过所述云端为所述视频帧分配进行用于图像识别的图形处理器资源，以在所述云端进行图像识别。因此，针对配置不同的移动终端，可以通过不同的方式进行图像识别，提高了本本实施例提供的方案的适应性。

本实施例的图像处理方法可以由任意适当的具有数据处理能力的移动终端执行，包括但不限于：手机、iPad、智能手表、智能眼镜等。

实施例六

图6为本申请实施例六中一种图像处理装置的结构示意图；如图6所示，其包括：获取模块602、第一分配模块604、判断模块606。

获取模块602，用于获取移动终端实时采集的视频帧。

第一分配模块604，用于为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制。

判断模块606，用于在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。

可选地，所述装置还包括：第二分配模块，用于若根据判断结果确定为所述视频帧分配用于进行图像识别的图形处理器资源，则在所述图像绘制过程中，通过分配的所述用于进行图像识别的图形处理器资源对所述视频帧进行图像识别；或者，若根据判断结果确定不为所述视频帧分配用于进行图像识别的图形处理器资源，则将待分配的用于进行图像识别的图形处理器资源和所述用于进行图像绘制的图形处理器资源合并，通过合并后的图形处理器资源对所述视频帧进行图像绘制。

可选地，所述第二分配模块包括：GPU数量获取模块，用于获取所述移动终端中配置的图形处理器GPU的数量信息；第二分配子模块，用于若根据所述数量信息确定所述GPU的数量包括多个，则从多个中为所述视频帧分配至少一个GPU，以进行图像识别；若根据所述数量信息确定所述移动终端中包括一个GPU，则从所述一个GPU所承载的图形处理器资源中为所述视频帧分配至少一个GPU，以进行图像识别。

可选地，所述第二分配子模块具体用于：从已分配的用于进行图像绘制的原图形处理器资源中，为所述视频帧分配用于进行图像识别的图形处理器资源；其中，所述原图形处理器资源为所述一个GPU所承载的图形处理器资源。

可选地，所述第二分配子模块包括：最少资源确定模块，用于确定所述图像绘制所需的最少图形处理器资源的资源量；最少资源分配模块，用于将用于进行图像绘制的原图形处理器资源的资源量中，除所述最少图形处理器资源的资源量之外的、其他图形处理器资源分配为用于进行图像识别的图形处理器资源。

可选地，所述装置还包括：AR特效确定模块，用于若根据判断结果确定为所述视频帧分配用于进行图像识别的图形处理器资源，则通过所述用于进行图像识别的图形处理器资源对所述视频帧进行图像识别；根据图像识别结果，确定对应的AR特效内容，并将确定的所述AR特效内容绘制至对应的视频帧上。

可选地，所述装置还包括：AR特效确定模块，用于若根据判断结果确定不为所述视频帧分配用于进行图像识别的图形处理器资源，则判断当前展示的视频帧中是否已存在AR特效内容；若存在，则通过用于进行图像绘制的图形处理器资源绘制实时采集的视频帧以及所述AR特效内容；若不存在，则通过用于进行图像绘制的图形处理器资源绘制实时采集的视频帧。

可选地，所述判断模块606包括：第一信息判断模块，用于在所述图像绘制过程中，若根据所述第一信息确定所述移动终端处于稳定状态，则确定为所述视频帧分配用于进行图像识别的图形处理器资源；第二信息判断模块，用于在所述图像绘制过程中，若根据所述第二信息确定实时采集的所述视频帧为稳定图像，则确定为所述视频帧分配用于进行图像识别的图形处理器资源。

可选地，所述第一信息包括以下至少之一：所述移动终端的运动数据；所述移动终端采集的当前视频帧和上一视频帧的图像相似度。

可选地，所述第一信息还包括以下至少之一：所述移动终端采集的当前视频帧和上一视频帧的差值图像；所述移动终端采集的当前视频帧的模糊度。

可选地，所述第二信息包括以下至少之一：所述移动终端采集的当前视频帧和上一视频帧的差值图像；所述移动终端采集的当前视频帧的模糊度。

可选地，所述装置还包括：配置判断模块，用于若确定为所述视频帧分配进行用于图像识别的图形处理器资源，则获取所述移动终端的图形处理器资源配置信息，并根据所述配置信息确定所述移动终端是否符合预设配置条件；若符合，则通过第二分配模块为所述视频帧分配所述移动终端中的进行用于图像识别的图形处理器资源；或者，用于若不符合，则通过发送模块将所述实时采集的视频帧发送至云端，以通过所述云端为所述视频帧分配进行用于图像识别的图形处理器资源，以在所述云端进行图像识别。

本实施例提供的方案，通过为实时采集的视频帧分配用于进行图像绘制的图形处理器资源，使得视频帧得以绘制，不会影响用户的观看。并且，在视频帧的图像绘制过程中，会根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，来判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。图像识别在移动终端不够稳定或视频帧不为稳定图像时，都将导致无法识别或者无法正确识别视频帧，造成图像处理器资源的浪费。反之，则能实现视频帧的有效图像识别。为此，本申请实施例的方案中，根据移动终端的稳定状态和/或视频帧的稳定状态来确定是否分配用于图像识别的图形处理器资源，避免了图形处理器资源的浪费，实现了图形处理器资源的有效利用。进一步地，避免出现因GPU资源不够用而导致的应用或系统异常，提高了用户体验。

本实施例的图像处理装置可以为任意适当的具有数据处理能力的移动终端，包括但不限于：手机、iPad、智能手表、智能眼镜等。

实施例七

图7是本申请执行图像处理方法的一些电子设备的硬件结构示意图。根据图7所示，该设备包括：

处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。

该设备还包括一个或多个图形处理器710(还被称为显卡，简称GPU)，图形处理器706可以提供图形处理器资源。

其中：

处理器702、通信接口704、存储器706以及图形处理器710通过通信总线708完成相互间的通信。

通信接口704，用于与其它终端设备或服务器进行通信。

处理器702，用于执行程序712，具体可以执行上述方法实施例中的相关步骤。

图形处理器710用于提供执行上述方法实施例的相关步骤的过程中分配的图形处理器资源。

具体地，程序712可以包括程序代码，该程序代码包括计算机操作指令。

处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路；处理器还可能是可编程门阵列(Field Programmable Gate Array，FPGA)，嵌入式神经网络处理器NPU等。终端设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器706，用于存放程序712。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据交互功能的、可移动的电子装置。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的多个处理设备来执行事务。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取移动终端实时采集的视频帧，为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制；

在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若根据判断结果确定为所述视频帧分配用于进行图像识别的图形处理器资源，则在所述图像绘制过程中，通过分配的所述用于进行图像识别的图形处理器资源对所述视频帧进行图像识别；

或者，

若根据判断结果确定不为所述视频帧分配用于进行图像识别的图形处理器资源，则将待分配的用于进行图像识别的图形处理器资源和所述用于进行图像绘制的图形处理器资源合并，通过合并后的图形处理器资源对所述视频帧进行图像绘制。

3.根据权利要求2所述的方法，其特征在于，通过以下方式分配用于进行图像识别的图形处理器资源：

获取所述移动终端中配置的图形处理器GPU的数量信息；

若根据所述数量信息确定所述GPU的数量包括多个，则从多个中为所述视频帧分配至少一个GPU，以进行图像识别；

若根据所述数量信息确定所述移动终端中包括一个GPU，则从所述一个GPU所承载的图形处理器资源中为所述视频帧分配至少一个GPU，以进行图像识别。

4.根据权利要求3所述的方法，其特征在于，所述从所述一个GPU所承载的图形处理器资源中为所述视频帧分配至少一个GPU，以进行图像识别，包括：

从已分配的用于进行图像绘制的原图形处理器资源中，为所述视频帧分配用于进行图像识别的图形处理器资源；其中，所述原图形处理器资源为所述一个GPU所承载的图形处理器资源。

5.根据权利要求4所述的方法，其特征在于，所述从已分配的用于进行图像绘制的原图形处理器资源中，为所述视频帧分配用于进行图像识别的图形处理器资源，包括：

确定所述图像绘制所需的最少图形处理器资源的资源量；

将用于进行图像绘制的原图形处理器资源的资源量中，除所述最少图形处理器资源的资源量之外的、其他图形处理器资源分配为用于进行图像识别的图形处理器资源。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

若根据判断结果确定为所述视频帧分配用于进行图像识别的图形处理器资源，则通过所述用于进行图像识别的图形处理器资源对所述视频帧进行图像识别；根据图像识别结果，确定对应的AR特效内容，并将确定的所述AR特效内容绘制至对应的视频帧上。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

若根据判断结果确定不为所述视频帧分配用于进行图像识别的图形处理器资源，则判断当前展示的视频帧中是否已存在AR特效内容；

若存在，则通过用于进行图像绘制的图形处理器资源绘制实时采集的视频帧以及所述AR特效内容；

若不存在，则通过用于进行图像绘制的图形处理器资源绘制实时采集的视频帧。

8.根据权利要求1所述的方法，其特征在于，所述在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源，包括：

在所述图像绘制过程中，若根据所述第一信息确定所述移动终端处于稳定状态，则确定为所述视频帧分配用于进行图像识别的图形处理器资源；

和/或，

在所述图像绘制过程中，若根据所述第二信息确定实时采集的所述视频帧为稳定图像，则确定为所述视频帧分配用于进行图像识别的图形处理器资源。

9.根据权利要求8所述的方法，其特征在于，所述第一信息包括以下至少之一：

所述移动终端的运动数据；所述移动终端采集的当前视频帧和上一视频帧的图像相似度。

10.根据权利要求9所述的方法，其特征在于，所述第一信息还包括以下至少之一：

所述移动终端采集的当前视频帧和上一视频帧的差值图像；所述移动终端采集的当前视频帧的模糊度。

11.根据权利要求8所述的方法，其特征在于，所述第二信息包括以下至少之一：

所述移动终端采集的当前视频帧和上一视频帧的差值图像；所述移动终端采集的当前视频帧的模糊度。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若确定为所述视频帧分配进行用于图像识别的图形处理器资源，则获取所述移动终端的图形处理器资源配置信息，并根据所述配置信息确定所述移动终端是否符合预设配置条件；

若符合，则为所述视频帧分配所述移动终端中的进行用于图像识别的图形处理器资源；

或者，若不符合，则将所述实时采集的视频帧发送至云端，以通过所述云端为所述视频帧分配进行用于图像识别的图形处理器资源，以在所述云端进行图像识别。

13.一种图像处理装置，其特征在于，包括：

获取模块，用于获取移动终端实时采集的视频帧；

第一分配模块，用于为所述视频帧分配用于进行图像绘制的图形处理器资源以进行图像绘制；

判断模块，用于在所述图像绘制过程中，根据用于指示所述移动终端的稳定状态的第一信息和/或用于指示所述视频帧是否为稳定图像的第二信息，判断是否为所述视频帧分配进行用于图像识别的图形处理器资源。

14.一种电子设备，包括：处理器、图形处理器、存储器、通信接口和通信总线，所述处理器、所述图形处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-12任一项所述的图像处理方法对应的操作。

15.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-12中任一项所述的图像处理方法。

Images