CN111489769B - 图像处理方法、装置和硬件装置 - Google Patents

Abstract

本公开公开一种图像处理方法、装置和硬件装置。其中，该图像处理方法包括：获取音频；播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；获取待处理图像；根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。本公开实施例的图像处理方法，根据音频的属性来确定处理图像所使用的资源，解决的现有技术中制作图像效果需要通过后期制作，制作过程繁琐且修改不灵活的技术问题。

Description

图像处理方法、装置和硬件装置

技术领域

本公开涉及图像处理领域，特别是涉及一种图像处理方法、装置和硬件装置。

背景技术

随着计算机技术的发展，智能终端的应用范围得到了广泛的提高，例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说，其拍照像素已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。

目前在采用智能终端进行拍照时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果，还可以通过从网络端下载应用程序(Application，简称为：APP)来实现具有附加功能的拍照效果，例如可以实现暗光检测、美颜相机和超级像素等功能的APP。智能终端的美颜功能通常包括肤色调整、磨皮、大眼和瘦脸等美颜处理效果，能对图像中已识别出的所有人脸进行相同程度的美颜处理。目前也有APP可以实现简单的特效。

然而目前的特效功能，只能预先设置好特效的效果，并合成到视频或者图像中，如果需要修改特效，则需要重新制作特效后再合成到视频或者图像中，使得特效的生成很不灵活。

发明内容

根据本公开的一个方面，提供以下技术方案：

一种图像处理方法，包括：获取音频；播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；获取待处理图像；根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。

进一步的，所述获取音频，包括：获取音频并对所述音频进行解析，得到所述音频中每个时间节点与音频属性数据的映射关系表。

进一步的，所述播放所述音频，获取与当前播放时间节点对应的第一音频属性数据，包括：播放所述音频；获取所述音频当前的播放时间节点；

根据所述映射表获取与当前的播放时间节点对应的第一音频属性数据。

进一步的，所述播放所述音频，获取与当前播放时间节点对应的第一音频属性数据：播放所述音频，并对当前播放时间节点的音频进行采样，得到采样音频；分析所述采样音频，得到第一音频属性数据。

进一步的，所述获取待处理图像，包括：获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。

进一步的，所述获取视频图像，将所述视频图像中的视频帧图像作为待处理图像，包括：获取所述视频图像中与当前播放时间节点对应的视频帧图像，将所述当前播放时间节点对应的视频帧图像作为待处理图像。

进一步的，所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理，包括：获取所述第一音频属性数据的等级；根据所述等级获取与所述等级对应的处理资源；使用所述处理资源和预先设定的处理模式，对所述待处理图像进行处理。

进一步的，在所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理之前，还包括：对待处理图像进行分割，得到待处理的目标对象的轮廓区域。

进一步的，所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理，包括：根据所述第一音频属性数据所对应的处理资源，对所述目标对象的轮廓区域中的像素点进行处理。

进一步的，在所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理之前，还包括：设置所述第一音频属性数据所对应的处理资源以及图像处理的处理模式。

根据本公开的另一个方面，还提供以下技术方案：

一种图像处理装置，包括：

音频获取模块，用于获取音频；

属性数据获取模块，用于播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；

图像获取模块，用于获取待处理图像；

图像处理模块，用于根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。

进一步的，所述音频获取模块，还包括：

音频解析模块，用于获取音频并对所述音频进行解析，得到所述音频中每个时间节点与音频属性数据的映射关系表。

进一步的，所述属性数据获取模块，还包括：

时间节点获取模块，用于获取所述音频当前的播放时间节点；

第一音频属性数据获取模块，用于根据所述映射表获取与当前的播放时间节点对应的第一音频属性数据。

进一步的，所述属性数据获取模块，还包括：

第一采样模块，用于播放所述音频，并对当前播放时间节点的音频进行采样，得到采样音频；

分析模块，用于分析所述采样音频，得到第一音频属性数据。

进一步的，所述图像获取模块，还包括：

视频图像获取模块，用于获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。

进一步的，所述视频图像获取模块，还用于：

获取所述视频图像中与当前播放时间节点对应的视频帧图像，将所述当前播放时间节点对应的视频帧图像作为待处理图像。

进一步的，所述图像处理装置还包括：

目标对象分割模块，用于对待处理图像进行分割，得到待处理的目标对象的轮廓区域；

目标对象处理模块，用于根据所述第一音频属性数据所对应的处理资源，对所述目标对象的轮廓区域中的像素点进行处理。

进一步的，所述图像处理模块，还包括：

等级获取模块，用于获取所述第一音频属性数据的等级；

处理资源获取模块，用于根据所述等级获取与所述等级对应的处理资源；

第一图像处理模块，用于使用所述处理资源和预先设定的处理模式，对所述待处理图像进行处理。

进一步的，所述图像处理装置，还可以包括：

设置模块，用于设置所述第一音频属性数据所对应的处理资源以及图像处理的处理模式。根据本公开的又一个方面，还提供以下技术方案：

一种电子设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一图像处理方法所述的步骤。

根据本公开的又一个方面，还提供以下技术方案：

一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一方法中所述的步骤。

本公开公开一种图像处理方法、装置和硬件装置。其中，该图像处理方法包括：获取音频；播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；获取待处理图像；根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。本公开实施例的图像处理方法，根据音频的属性来确定处理图像所使用的资源，解决的现有技术中制作图像效果需要通过后期制作，制作过程繁琐且修改不灵活的技术问题。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1为根据本公开一个实施例的图像处理方法的流程示意图；

图2为根据本公开一个实施例的图像处理方法的流程示意图；

图3为根据本公开一个实施例的图像处理装置的结构示意图；

图4为根据本公开一个实施例的图像处理装置的结构示意图；

图5为根据本公开实施例提供的电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本公开实施例提供一种图像处理方法。本实施例提供的该图像处理方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。如图1所示，该图像处理方法主要包括如下步骤S101至步骤S104。其中：

步骤S101：获取音频；

在该步骤中，所述获取音频可以是从本地的存储空间中获取音频也可以是从网络存储空间中获取音频，典型的音频为音乐、人声等等。

在一个实施例中，所述获取音频，包括：获取音频并对所述音频进行解析，得到所述音频中每个时间节点与音频属性数据的映射关系表。可选的，所述音频与待处理的图像相互独立，所述的图像可以是动态的图像如视频或动图，也可以是静态的图像如图片。获取所要使用的音频，并对所述音频进行预处理，所述预处理可以是对音频进行逐时间节点的解析，所述时间节点可以根据采样频率设置，在该实施例中，可以设置时间节点之间的长度为10ms，也就是说每隔10ms采样一个时间节点，解析该时间节点上的音频属性数据，所述的音频属性数据可以是音频的任何属性，典型的如音强、音调、音色、音长、节奏等，在该实施例中以音频属性数据为节奏的强度为例，可以设置节奏的强度有5个等级，对于每个时间节点，经过对音频的解析，可以得到该时间节点上的节奏强度等级，将音频解析完之后，可以得到时间节点与其对应的节奏强度等级的对应关系，在该可选实施例中，可以使用映射表来保存该对应关系。如下表所示，为映射表的一个实例：

时间节点	节奏强度等级
		10ms	2级
20ms	4级
		30ms	5级
40ms	3级
		……	……

在另一个可选实施例中，所述音频与待处理图像相关联，所述的图像可以是动态的图像如视频或动图，也可以是静态的图像如图片，所述的相关联典型的可以是所述音频与待处理图像具有对应关系，如当视频播放或者图片打开的时候所述音频与之一起播放，这种情况典型的所述音频为视频中的音频或图片内置的音频。在该实施例中，获取所要使用的音频，并对所述音频进行预处理，所述预处理可以是对音频进行逐时间节点的解析，所述时间节点可以根据采样频率设置，在该实施例中，采样率可以跟图像的属性相关，如图像为视频，视频每秒有30帧视频帧，则可以设置时间节点之间的长度为33ms，也就是说每隔33ms采样一个时间节点，这样时间节点将与视频帧对应，或者图像为动图，则动图中同样有多帧图片，将每帧图片的出现时间作为时间节点，如果图像为静态的图片，则可以任意设置时间节点，当然当图像为视频或动图的时候，同样可以任意设置时间节点，在此不再赘述。解析该时间节点上的音频属性数据，所述的音频属性数据可以是音频的任何属性，典型的如音强、音调、音色、音长、节奏等，在该实施例中以音频属性数据为节奏的强度为例，可以设置节奏的强度有5个等级，对于每个时间节点，经过对音频的解析，可以得到该时间节点上的节奏强度等级，将音频解析完之后，可以得到时间节点与其对应的节奏强度等级的对应关系，在该实施例中，可以使用映射表来保存该对应关系。该可选实施例中的映射表与上一可选实施例的映射表类似，不再赘述。上述映射表，也可以是时间节点和音频属性的值的对应关系表，不用直接对应到音频属性的值的等级，在此不再赘述。

在一个映射表的实施例中，在所述映射表表中，所述时间节点包括时间节点ID和与该ID对应的音频属性数据，所述时间节点ID典型的可以是所述时间节点在时间节点序列中的序号。

可以理解的是，上述实施例中描述了预先对音频进行解析的方案，但是这些解析方式并不构成对本公开的限制，实际上任何解析方式都可以应用到本公开中；此外，在该步骤中，也可以不对音频进行解析，而仅仅是获取音频，不对音频进行预先解析的方案将在下文中描述，在此不再赘述。

步骤S102：播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；

在一个实施例中，所述播放所述音频，获取与当前播放时间节点对应的第一音频属性数据，包括：获取所述音频当前的播放时间节点；根据所述映射表获取与当前的播放时间节点对应的第一音频属性数据。

在一个可选实施例中，所述音频与所述待处理图像相互独立，此时获取所述音频当前所播放到的时间节点，如果当前播放的时间不在时间节点上，可以通过向上或者向下取整的方式确定当前的时间节点。根据当前的时间节点查找步骤S101中所生成的映射表，获取所述当前时间节点所对应的音频属性数据，记为第一音频属性数据。典型的，可以使用所述时间节点的序号，到所述映射表中查找与该序号相同的时间节点所对应的音频属性数据，将该音频属性数据作为第一音频属性数据。

在另一个可选实施例中，所述音频与所述待处理图像相关联，如所述音频为视频中的音频，此时根据步骤S101中的采样方法，可以使用视频帧出现的频率来采样音频的时间节点，此时视频帧和音频的时间节点是有对应关系的，因此视频帧的序号与音频的时间节点的序号是一一对应的，此时通过视频帧可以直接获取当前的时间节点，记为第二时间节点；使用所述第二时间节点的序号在映射表中查找与该序号相同的时间节点所对应的音频属性数据，将该音频属性数据作为第一音频属性数据。

在一个实施例中，所述音频并未在步骤S101中进行预先解析，此时所述播放所述音频，获取与当前播放时间节点对应的第一音频属性数据：播放所述音频，并对当前播放时间节点的音频进行采样，得到采样音频；分析所述采样音频，得到第一音频属性数据。在该实施例中，可以预先设置采样频率，之后在播放音频时，实时对音频进行采样分析，获取音频的属性。该属性可以为上述步骤S101中所述的任意一种音频属性，在该实施例中，只需要提前设置采样频率、音频属性以及音频属性值所对应的等级即可，无需事先生成时间节点与音频属性等级或者音频属性值的映射表。

步骤S103：获取待处理图像；

在该实施例中，获取待处理图像可以通过图像传感器获取，所述图像传感器指可以采集图像的各种设备，典型的图像传感器为摄像机、摄像头、相机等。在该实施例中，所述图像传感器可以是终端设备上的摄像头，比如智能手机上的前置或者后置摄像头，摄像头采集的图像可以直接显示在手机的显示屏上，在该步骤中，获取图像传感器所拍摄的图像视频，用于在下一步进一步对图像进行处理。

在一个实施例中，所述获取待处理图像，可以是获取当前终端设备所采集到的视频的当前图像帧，由于视频是由多个图像帧组成的，在该实施例中获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。可选的，所述获取视频图像，将所述视频图像中的视频帧图像作为待处理图像，包括：获取所述视频图像中与当前播放时间节点对应的视频帧图像，将所述当前播放时间节点对应的视频帧图像作为待处理图像。在该实施例中，根据当前时间的不同而获取视频图像中的不同视频帧图像进行处理。

步骤S104：根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。

在一个实施例中，所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理，包括：获取所述第一音频属性数据的等级；根据所述等级获取与所述等级对应的处理资源；使用所述处理资源和预先设定的处理模式，对所述待处理图像进行处理。在该实施例中，所述获取所述第一音频属性数据的等级，可以是根据步骤S101中得到的映射表中的对应关系，查表获取与所述等级所对应的处理资源，并使用该处理资源与所述待处理图像进行处理。在该实施例中，所述的处理可以为任何处理，可以预先设置所述处理的处理方式，并根据不同的音频属性数据的等级获取不同的处理资源，使用预先设置的处理方式和处理资源，对待处理图像进行处理，得到处理后的图像。在该实施例中，可以通过不同的音乐自动生成各种变化的图像处理效果，而无需对图像进行后期处理，可以高效生成图像的特效。

可选的，在步骤S104之前，还可以包括：

步骤S105：设置所述第一音频属性数据所对应的处理资源以及图像处理的处理模式。

可以理解的是，上述步骤S105，可以位于步骤S104之前的任何位置，可以紧接着步骤103之后，也可以位于步骤S101之前，只要在执行步骤S104之前就可以，在此不再赘述。

在一个实施例中，所述图像处理滤镜处理，所述处理模式可以为色卡滤镜或者贴图滤镜，所述的处理资源对于色卡滤镜来说就是第一音频属性数据所对应的色卡；所述的处理资源对于贴图滤镜来说就是第一音频属性数据所对应的贴图。在该实施例中，所述处理资源的获取地址以及处理模式可以从对应的配置文件中获取，或者其他任意的方式设置，在此不再赘述。

如图2所示，该图像处理方法在实施例的步骤S104之前，还可以包括：

步骤S201：对待处理图像进行分割，得到待处理的目标对象的轮廓区域；

在该实施例中，所述步骤S104包括：

步骤S202：根据所述第一音频属性数据所对应的处理资源，对所述目标对象的轮廓区域中的像素点进行处理。

在该实施例中，所述的图像处理是针对待处理图像中的特定目标对象的，可选的，所述目标对象可以是人脸上的五官、头发等等，

可选的，在该实施例中，所述待处理图像为带有人脸的图像，所述对待处理图像进行分割，可以是将人脸中的头发分割出来，得到待处理的头发区域，作为待处理的目标对象的轮廓区域。作为本公开的一个具体实例，以下说明头发分割的具体方法，该方法利用目标对象的特征逐渐缩小聚类的区域，直到最终分割出待处理的目标：

首先是人脸检测，人脸检测是任意给定一个图像或者一组图像序列，采用一定策略对其进行搜索，以确定所有人脸的位置和区域的一个过程，从各种不同图像或图像序列中确定人脸是否存在，并确定人脸数量和空间分布的过程。通常人脸检测的方法可以分为4类：(1)基于先验知识的方法，该方法将典型的人脸形成规则库对人脸进行编码，通过面部特征之间的关系进行人脸定位；(2)特征不变的方法，该方法在姿态、视角或光照条件改变的情况下找到稳定的特征，然后使用这些特征确定人脸；(3)模板匹配的方法，该方法存储几种标准的人脸模式，用来分别描述整个人脸和面部特征，然后计算输入图像和存储的模式间的相互关系并用于检测；(4)基于外观的方法，该方法与模板匹配方法相反，从训练图像集中进行学习从而获得模型，并将这些模型用于检测。在此可以使用第(4)种方法中的一个实现方式来说明人脸检测的过程：首先需要提取特征完成建模，本实施例使用Haar特征作为判断人脸的关键特征，Haar特征是一种简单的矩形特征，提取速度快，一般Haar特征的计算所使用的特征模板采用简单的矩形组合由两个或多个全等的矩形组成，其中特征模板内有黑色和白色两种矩形；之后，使用AdaBoost算法从大量的Haar特征中找到起关键作用的一部分特征，并用这些特征产生有效的分类器，通过构建出的分类器可以对图像中的人脸进行检测。

之后对人脸进行归一化并定义头部区域，在本公开中采用许多归一化后的头发训练图片来形成可能的头发区域，由此头发区域来定义头部区域公式：

“头发和人脸”的宽度＝a*人脸宽度；

“头发和人脸”的高度＝b*人脸高度；

根据上述公式，可以将待处理的图像区域缩放到上述公式所确定的区域中。其中a,b的值可以根据不同的人种或者目标人群来设置，可选的，a＝3.6，b＝3.7。

之后在所述区域中利用mean shift聚类算法对头部区域所有像素进行聚类，得到聚类区域，这些区域可能为头发区域、人脸区域及背景区域。

之后构建高斯混合模型，使用头发的纹理特征以及颜色特征训练该高斯混合模型，通过该模型判断上述三个区域中的头发区域。最终将头发区域分割出来。

上述具体实例只是举例，不构成对本公开的限制，实际上图像的分割有很多方法，只要是能分割出待处理的目标对象的方法均可以应用到本公开中，在此不再赘述。

在分割出目标对象之后，执行步骤S201，根据第一音频属性数据所对应的处理资源，对目标对象的轮廓区域中的像素点进行处理。可选的，所述目标对象为头发，所述处理资源可以包括贴图资源或色卡等。当所述处理资源为贴图，可以使该贴图的颜色与头发区域的像素点的颜色以预定的比例进行混合，在一个可选的实施例中，所述贴图与待处理图像进行1:1的颜色混合。在该实施例中，由于贴图的大小和待处理图像的大小可能不同，因此可以首先将贴图和待处理图像进行归一化处理，将归一化之后的图像的像素点做一一对应，在该实施例中，所述贴图和待处理图像的颜色为RGB空间中的颜色，此时颜色中包括红色分量、绿色分量以及蓝色分量，将贴图的像素点的颜色在RGB空间中的三个颜色分量与待处理图像的对应的像素点的颜色在RGB空间中的三个颜色分量进行对应的1:1的混合，生成新的所述像素点的颜色，以生成处理后的图像。在上述实施例中，当待处理图像为带有待处理头发区域的图像时，使用贴图与头发区域的颜色按照1:1的比例混合，得到所述头发区域的染发效果，由于所述作为处理资源的贴图的颜色可以是渐变色等有变化的颜色，因此处理后的头发颜色可以为各种颜色，呈现出挑染的效果。当所述处理资源为色卡时，可以使该色卡的颜色与头发区域的像素点的颜色以预定的比例进行混合，在一个可选的实施例中，所述色卡为黄色，并与待处理图像进行1:1的颜色混合。在该实施例中，所述颜色为RGB空间中的颜色，此时颜色中包括红色分量、绿色分量以及蓝色分量，将黄色在RGB空间中的三个颜色分量与待处理图像的每个像素点的颜色在RGB空间中的三个颜色分量进行对应的1:1的混合，生成新的所述像素点的颜色，以生成处理后的图像。在上述实施例中，当待处理图像为带有待处理头发区域的图像时，使用黄色与头发区域的颜色按照1:1的比例混合，得到所述头发区域的染发效果，对于头发区域来说，由于所述作为处理资源的颜色是单一颜色，处理后的头发颜色为单一颜色。

可以理解的是，上述对图像的具体处理仅仅是举例，不构成对本公开的限制，实际上具体的处理方法可以是任何方法，只要是使用了所选择的处理资源对待处理图像进行处理的方式均可以应用到本公开中，在此不再赘述。

在另一个实施例中，根据所述第一音频属性数据对所述当前图像帧中的目标对象进行预设的处理。所述当前图像帧中可以包括多个对象，可以如上述实施例中的处理方法处理图像帧。在该实施例中，所述待处理图像可以是视频，随着视频的播放，在每一帧视频帧中的目标对象的形态可能发生变化，对每一帧视频帧的处理也会随着音频的时间节点发生变化，呈现出视频中的目标对象上的特效随着音频的变化而变化的效果。

本公开公开一种图像处理方法、装置和硬件装置。其中，该图像处理方法包括：获取音频；播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；获取待处理图像；根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。本公开实施例的图像处理方法，根据音频的属性来确定处理图像所使用的资源，解决的现有技术中制作图像效果需要通过后期制作，制作过程繁琐且修改不灵活的技术问题。

在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。

下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。

本公开实施例提供一种图像处理装置。该装置可以执行上述图像处理方法实施例中所述的步骤。如图3所示，该装置300主要包括：音频获取模块301、属性数据获取模块302、图像获取模块303和图像处理模块304。

其中，

音频获取模块301，用于获取音频；

属性数据获取模块302，用于播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；

图像获取模块303，用于获取待处理图像；

图像处理模块304，用于根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。

进一步的，所述音频获取模块301，还包括：

音频解析模块，用于获取音频并对所述音频进行解析，得到所述音频中每个时间节点与音频属性数据的映射关系表。

进一步的，所述属性数据获取模块302，还包括：

时间节点获取模块，用于获取所述音频当前的播放时间节点；

第一音频属性数据获取模块，用于根据所述映射表获取与当前的播放时间节点对应的第一音频属性数据。

进一步的，所述属性数据获取模块302，还包括：

第一采样模块，用于播放所述音频，并对当前播放时间节点的音频进行采样，得到采样音频；

分析模块，用于分析所述采样音频，得到第一音频属性数据。

进一步的，所述图像获取模块303，还包括：

视频图像获取模块，用于获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。

进一步的，所述视频图像获取模块，还用于：

获取所述视频图像中与当前播放时间节点对应的视频帧图像，将所述当前播放时间节点对应的视频帧图像作为待处理图像。

进一步的，所述图像处理模块304，还包括：

等级获取模块，用于获取所述第一音频属性数据的等级；

处理资源获取模块，用于根据所述等级获取与所述等级对应的处理资源；

第一图像处理模块，用于使用所述处理资源和预先设定的处理模式，对所述待处理图像进行处理。

进一步的，所述图像处理装置300，还可以包括：

设置模块305，用于设置所述第一音频属性数据所对应的处理资源以及图像处理的处理模式。

图3所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。

本公开实施例提供图像处理装置。还可以执行上述图2中所述的步骤。如图4所示，该装置400主要包括：音频获取模块301、属性数据获取模块302、图像获取模块303、目标对象分割模块401和目标对象处理模块402。其中，音频获取模块301、属性数据获取模块302、图像获取模块303所执行的步骤与其在实施例一种所执行的步骤相同，

目标对象分割模块401，用于对待处理图像进行分割，得到待处理的目标对象的轮廓区域；

目标对象处理模块402，用于根据所述第一音频属性数据所对应的处理资源，对所述目标对象的轮廓区域中的像素点进行处理。

图4所示装置可以执行图2所示实施例的方法，本实施例未详细描述的部分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。

下面参考图5，其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取音频；播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；获取待处理图像；根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

确定待处理图像；

获取音频并对所述音频进行解析，得到所述音频中每个时间节点与音频属性数据的映射关系表，所述时间节点根据采样频率设置，所述采样频率与所述待处理图像的属性相关；

播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；

获取所述待处理图像；

根据不同的所述第一音频属性数据选取所对应的不同的处理资源，其中，针对不同时间节点基于所述映射关系表获取对应的音频属性数据；

根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理。

2.如权利要求1所述的图像处理方法，其特征在于，所述获取音频，包括：

获取音频并对所述音频进行解析，得到所述音频中每个时间节点与音频属性数据的映射关系表。

3.如权利要求2所述的图像处理方法，其特征在于，所述播放所述音频，获取与当前播放时间节点对应的第一音频属性数据，包括：

播放所述音频；

获取所述音频当前的播放时间节点；

根据所述映射关系 表获取与当前的播放时间节点对应的第一音频属性数据。

4.如权利要求1所述的图像处理方法，其特征在于，所述播放所述音频，获取与当前播放时间节点对应的第一音频属性数据：

播放所述音频，并对当前播放时间节点的音频进行采样，得到采样音频；

分析所述采样音频，得到第一音频属性数据。

5.如权利要求1所述的图像处理方法，其特征在于，所述获取待处理图像，包括：

获取视频图像，将所述视频图像中的视频帧图像作为待处理图像。

6.如权利要求5所述的图像处理方法，其特征在于，所述获取视频图像，将所述视频图像中的视频帧图像作为待处理图像，包括：

获取所述视频图像中与当前播放时间节点对应的视频帧图像，将所述当前播放时间节点对应的视频帧图像作为待处理图像。

7.如权利要求1所述的图像处理方法，其特征在于，所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理，包括：

获取所述第一音频属性数据的等级；

根据所述等级获取与所述等级对应的处理资源；

使用所述处理资源和预先设定的处理模式，对所述待处理图像进行处理。

8.如权利要求1所述的图像处理方法，其特征在于，在所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理之前，还包括：

对待处理图像进行分割，得到待处理的目标对象的轮廓区域。

9.如权利要求8所述的图像处理方法，其特征在于，所述根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理，包括：

根据所述第一音频属性数据所对应的处理资源，对所述目标对象的轮廓区域中的像素点进行处理。

10.如权利要求1所述的图像处理方法，其特征在于，所述根据不同的所述第一音频属性数据选取所对应的不同的处理资源，还包括：

设置不同的处理模式对应不同的处理资源，所述处理模式为色卡滤镜或者贴图滤镜；其中，

所述处理模式为色卡滤镜时，则所述处理资源为第一音频属性数据所对应的色卡；

所述处理模式为贴图滤镜时，所述处理资源为第一音频属性数据所对应的贴图。

11.一种图像处理装置，其特征在于，包括：

音频获取模块，用于确定待处理图像，获取音频并对所述音频进行解析，得到所述音频中每个时间节点与音频属性数据的映射关系表，所述时间节点根据采样频率设置，所述采样频率与所述待处理图像的属性相关；

属性数据获取模块，用于播放所述音频，获取与当前播放时间节点对应的第一音频属性数据；

图像获取模块，用于获取所述待处理图像；

图像处理模块，用于根据不同的所述第一音频属性数据选取所对应的不同的处理资源，根据所述第一音频属性数据所对应的处理资源，对所述待处理图像进行处理，其中，针对不同时间节点基于所述映射关系表获取对应的音频属性数据。

12.一种电子设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现根据权利要求1-10中任意一项所述的图像处理方法。

13.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-10中任意一项所述的图像处理方法。

Images