CN110069641A - 图像处理方法、装置和电子设备 - Google Patents

Abstract

本公开公开一种图像处理方法、装置和电子设备。其中，该图像处理方法包括：从图像源中获取视频图像,其中所述视频图像包括至少一个图像帧；从音乐源中获取音乐文件；获取当前视频帧所对应的音乐属性值；判断所述音乐属性值是否小于第一阈值；响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；根据所述作用范围对所述视频图像进行所述第一图像处理。本公开实施例的图像处理方法，通过音乐的音乐属性值控制图像处理的过程，提高了图像处理的灵活性和效率。

Description

图像处理方法、装置和电子设备

技术领域

本公开涉及图像处理领域，特别是涉及一种图像处理方法、装置和电子设备。

背景技术

随着计算机技术的发展，智能终端的应用范围得到了广泛的提高，例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说，其拍照像素已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。

目前在采用智能终端进行拍照时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果，还可以通过从网络端下载应用程序(Application，简称为：APP)来实现具有附加功能的拍照效果，例如可以实现暗光检测、美颜相机和超级像素等功能的APP。智能终端的美颜功能通常包括肤色调整、磨皮、大眼和瘦脸等美颜处理效果，能对图像中已识别出的所有人脸进行相同程度的美颜处理。目前也有APP可以实现简单的特效。

然而目前的特效功能，只能预先设置好特效的效果，并合成到视频或者图像中，如果需要修改特效，则需要重新制作特效后再合成到视频或者图像中，使得特效的生成很不灵活。

发明内容

根据本公开的一个方面，提供以下技术方案：

一种图像处理方法，包括：

从图像源中获取视频图像,其中所述视频图像包括至少一个图像帧；

从音乐源中获取音乐文件；

获取当前视频帧所对应的音乐属性值；

判断所述音乐属性值是否小于第一阈值；

响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；

根据所述作用范围对所述视频图像进行所述第一图像处理。

进一步的，所述从图像源中获取视频图像，其中所述视频图像包括至少一个图像帧，包括：

从图像传感器中采集视频图像，其中所述视频图像包括至少一个图像帧。

进一步的，所述从音乐源中获取音乐文件，包括：

从第一存储空间中获取所述音乐文件，其中所述第一存储空间为本地存储空间或者网络存储空间。

进一步的，所述从音乐源中获取音乐文件，包括：

从音频采集装置中获取音乐文件，其中所述音乐文件为所述音频采集装置所在的环境中的音乐通过所述音频采集装置所生成的音乐文件。

进一步的，所述获取当前视频帧所对应的音乐属性值，包括：

获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

根据所述音乐属性文件以及当前播放时间节点获取所述音乐文件在当前播放时间节点的音乐属性值作为当前视频帧所对应的音乐属性值。

进一步的，所述获取所述音乐文件的音乐属性文件，包括：

将所述音乐文件输入深度学习模型；

所述深度学习模型输出每个时间节点所对应的音乐属性值以生成所述音乐属性文件。

进一步的，所述获取当前视频帧所对应的音乐属性值，包括：

获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

如果当前视频帧的播放时间点位于所述音乐属性文件中的两个时间节点之间，则使用所述两个时间节点所对应的两个音乐属性值计算出中间音乐属性值作为当前视频帧所对应的音乐属性值。

进一步的，所述根据所述音乐属性值配置第一图像处理的作用范围，包括：

根据所述音乐属性值计算第一坐标值；

使用所述第一坐标值将所述视频图像分为两部分；

将所述两部分中的一个部分作为第一图像处理的作用范围。

进一步的，所述根据所述作用范围对所述视频图像进行所述第一图像处理，包括：

获取所述第一图像处理所需要的资源；

在所述作用范围内使用所述资源对所述视频图像进行处理。

进一步的，所述方法还包括：

响应于所述音乐属性值大于或者等于所述第一阈值，将所述第一图像处理切换为第二图像图像处理。

根据本公开的另一个方面，还提供以下技术方案：

一种图像处理装置，包括：

视频图像获取模块，用于从图像源中获取视频图像；

音乐文件获取模块，用于从音乐源中获取音乐文件；

音乐属性值获取模块，用于获取当前时间节点的音乐属性值；

判断模块，用于判断所述音乐属性值是否小于第一阈值；

作用范围配置模块，用于响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；

第一图像处理模块，用于根据所述作用范围对所述视频图像进行所述第一图像处理。

进一步的，所述视频图像获取模块，还用于：

从图像传感器中采集视频图像，其中所述视频图像包括至少一个图像帧。

进一步的，所述音乐文件获取模块，还包括：

存储音乐文件获取模块，用于从第一存储空间中获取所述音乐文件，其中所述第一存储空间为本地存储空间或者网络存储空间。

进一步的，所述音乐文件获取模块，还包括：

采集音乐文件获取模块，用于从音频采集装置中获取音乐文件，其中所述音乐文件为所述音频采集装置所在的环境中的音乐通过所述音频采集装置所生成的音乐文件。

进一步的，所述音乐属性值获取模块，还包括：

第一音乐属性文件获取模块，用于获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

第一音乐属性值获取模块，用于根据所述音乐属性文件以及当前播放时间节点获取所述音乐文件在当前播放时间节点的音乐属性值作为当前视频帧所对应的音乐属性值。

进一步的，所述第一音乐属性文件获取模块，还包括：

输入模块，用于将所述音乐文件输入深度学习模型；

音乐属性文件生成模块，用于所述深度学习模型输出每个时间节点所对应的音乐属性值以生成所述音乐属性文件。

进一步的，所述音乐属性值获取模块，还包括：

第二音乐属性文件获取模块，用于获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

第二音乐属性值获取模块，用于如果当前视频帧的播放时间点位于所述音乐属性文件中的两个时间节点之间，则使用所述两个时间节点所对应的两个音乐属性值计算出中间音乐属性值作为当前视频帧所对应的音乐属性值。

进一步的，所述作用范围配置模块，还包括：

第一坐标值计算模块，用于根据所述音乐属性值计算第一坐标值；

分割模块，用于使用所述第一坐标值将所述视频图像分为两部分；

作用范围确定模块，用于将所述两部分中的一个部分作为第一图像处理的作用范围。

进一步的，所述第一图像处理模块，还包括：

资源获取模块，用于获取所述第一图像处理所需要的资源；

处理模块，用于在所述作用范围内使用所述资源对所述视频图像进行处理。

进一步的，所述装置还可以包括：

切换模块，用于响应于所述音乐属性值大于或者等于所述第一阈值，将所述第一图像处理切换为第二图像图像处理。

根据本公开的又一个方面，还提供以下技术方案：

一种电子设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一图像处理方法中所述的步骤。

根据本公开的又一个方面，还提供以下技术方案：

一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一图像处理方法中所述的步骤。

本公开公开一种图像处理方法、装置和电子设备。其中，该图像处理方法包括：从图像源中获取视频图像,其中所述视频图像包括至少一个图像帧；从音乐源中获取音乐文件；获取当前视频帧所对应的音乐属性值；判断所述音乐属性值是否小于第一阈值；响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；根据所述作用范围对所述视频图像进行所述第一图像处理。本公开实施例的图像处理方法，通过音乐的音乐属性值控制图像处理的过程，提高了图像处理的灵活性和效率。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1为根据本公开一个实施例的图像处理方法的流程示意图；

图2为根据本公开一个实施例的第一图像处理的作用范围的示意图；

图3为根据本公开又一个实施例的图像处理方法的流程示意图；

图4为根据本公开一个实施例的图像处理装置的结构示意图；

图5为根据本公开实施例提供的电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本公开实施例提供一种图像处理方法。本实施例提供的该图像处理方法可以由一计算装置来执行，该计算装置可以实现为软件，或者实现为软件和硬件的组合，该计算装置可以集成设置在服务器、终端设备等中。如图1所示，该图像处理方法主要包括如下步骤S101至步骤S106。其中：

步骤S101：从图像源中获取视频图像,其中所述视频图像包括至少一个图像帧；

在本公开中，所述图像源为本地存储空间或者网络存储空间，所述从图像源获取视频图像，包括从本地存储空间中获取视频图像或者从网络存储空间中获取视频图像，无论从哪里获取视频图像，首选需要获取视频图像的存储地址，之后从该存储地址获取视频图像，所述视频图像包括至少一个图像帧，所述视频图像可以是视频也可以是带有动态效果的图片，只要是带有多帧的图像均可以是本公开中的视频图像。

在本公开中，所述视频源可以是图像传感器，所述从图像源获取视频图像，包括从图像传感器中采集视频图像。所述图像传感器指可以采集图像的各种设备，典型的图像传感器为摄像机、摄像头、相机等。在该实施例中，所述图像传感器可以是移动终端上的摄像头，比如智能手机上的前置或者后置摄像头，摄像头采集的视频图像可以直接显示在手机的显示屏上，在该步骤中，获取图像传感器所拍摄的视频，作为待处理的图像。

步骤S102：从音乐源中获取音乐文件；

在本公开中，所述从音乐源中获取音乐文件，包括：从第一存储空间中获取所述音乐文件，其中所述第一存储空间为本地存储空间或者网络存储空间。在本公开中，所述音乐文件可以是事先设置好的一个或多个音乐文件，所述音乐源可以是本地存储空间或者网络存储空间，所述从音乐源中获取音乐文件，包括从本地存储空间中获取视频图像或者从网络存储空间中获取音乐文件，无论从哪里获取音乐文件，首选需要获取音乐文件的存储地址，之后从该存储地址获取音乐文件。在本公开中，所述音乐文件可以保存于特效包中，所述特效包包括处理图像所需要的各种处理资源，此时所述音乐文件同样可以随同特效包存储于本地的存储空间中，也可以存储于网络存储空间中，响应于用户的触发而传输到本地存储空间中以节省本地存储资源，在此不再赘述。

所述从音乐源中获取音乐文件，还可以包括：从音频采集装置中获取音乐文件，其中所述音乐文件为所述音频采集装置所在的环境中的音乐通过所述音频采集装置所生成的音乐文件。在本公开中，所述音乐源可以是音频采集装置，所述音频采集装置典型的可以是麦克风等设备。通过麦克风收集环境中的音频信号转化为所述音乐文件。

步骤S103：获取当前视频帧所对应的音乐属性值；

在本公开中，所述获取当前视频帧所对应的音乐属性值，包括：获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；根据所述音乐属性文件以及当前播放时间节点获取所述音乐文件在当前播放时间节点的音乐属性值作为当前视频帧所对应的音乐属性值。从本地存储空间或者网络存储空间中获取所述音乐文件的属性文件，可选的，所述音乐属性文件可以是包括了时间节点与音乐属性值的对应关系的关系列表。典型的音乐属性可以是音乐的节拍，所述的属性值可以表示音乐节拍强度的幅度值，所述的时间节点表示从音乐的起始位置播放所述音乐的时间偏移量，在所述属性文件中的所述时间节点可以是采样的时间节点，典型的可以是用每0.5秒采样一次的频率来对所述音乐文件采样得到的对应时间节点上的音乐节拍的幅度值。参见下表1为所述关系列表的一个实例:

时间节点	幅度值
		0.5	1
1	2
		1.5	3.5
2	1.5
		2.5	4

表1

在该关系列表中，时间节点的单位为秒，而幅度值可以是实际的强度值，也可以是标准化之后的强度值，在此不做限制。根据所述关系表以及所述音乐的当前播放时间点可以获取到音乐在当前播放时间点的音乐属性值来所谓当前帧所对应的音乐属性值。如当前播放时间为1.5秒，也就是说音乐从开始播放经历了1.5秒的时间，在上述表1中查询1.5所对应的幅度值为3.5，则将3.5作为当前视频帧所对应的音乐属性值，所述的当前视频帧是指当前音乐播放时间节点上所对应的视频帧，典型的，视频和音乐完全同步，则音乐播放了1.5秒，视频也播放了1.5秒，如果视频和音乐不同步，则可以使用两套时间来分别获取当前的音乐播放时间节点和视频的当前视频帧，在此不再赘述。在一个实施例中，所述音乐属性文件为预先生成的，具体的，所述获取所述音乐文件的音乐属性文件，包括：将所述音乐文件输入深度学习模型；所述深度学习模型输出每个时间节点所对应的音乐属性值以生成所述音乐属性文件。预先训练一个深度学习模型，用来每个时间节点对应的音乐属性值，之后生成上述关系列表并与所述音乐文件对应的保存在一起，当需要获取所述音乐文件的当前播放时间节点的音乐属性值时，直接从所述关系列表中获取。所述通过深度学习模型生成所述音乐属性文件的过程可以在服务器上执行也可以在本地终端上执行，本公开对此不做限制。

在另一个实施例中，所述获取当前视频帧所对应的音乐属性值也可以是实时的获取所述音乐文件的当前播放节点的音乐属性值，该实施例可以应用于音乐源为存储空间和音频采集装置两种情况，主要可以应用于音频采集装置采集音乐文件的情况，这种情况对实时性的要求比较高，需要在未获得完整音乐文件的情况下得到当前播放时间节点所对应的音乐属性值。在该实施例中，根据采样的频率，将当前播放时间节点的音乐文件输入深度学习模型，所述深度学习模型输出当前时间节点的音乐文件所对应的音乐属性值。在该实施例中，所述音频采集装置所采集到的音乐文件，直接被输入深度学习模型即音乐属性值分析模型，实时的输出当前时间节点所对应的音乐属性值。

在另外一个实施例中，当视频帧的帧率非常高的时候，如每秒钟90帧，这时候当使用表1的关系列表时，表1中的时间节点的间隔为0.5秒，但是对于每秒90帧的帧率来说，每0.5秒就有45帧，这样无法对每一帧都得到对应时间节点的音乐属性值，此时可以使用向上采样或者向下采样的方法来获取每一帧的音乐属性值，比如在1秒和1.5秒之间的帧都使用1秒或者1.5秒所对应的音乐属性值，这样可以解决上述问题；另外一种解决上述问题的方法为：获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；如果当前视频帧的播放时间点位于所述音乐属性文件中的两个时间节点之间，则使用所述两个时间节点所对应的两个音乐属性值计算出中间音乐属性值作为当前视频帧所对应的音乐属性值。在该方法中，两个时间节点之间的视频帧所对应的音乐属性值通过所述两个时间节点所对应的音乐属性值计算出来，计算方法可以是完全的平均值计算，如在上述例子中，将两个音乐属性值之间的差平均分成45份，计算出在两个音乐属性值之间再计算出45个值，这样对于每个视频帧都能计算出其对应的属性值；或者可以计算两个音乐属性值之间的差值的加权平均值，即越靠近该音乐属性值所对应的时间节点的属性值，越接近该音乐属性值，具体的计算方法不再赘述，该方法在两个音乐属性值之间提供一系列估计值作为两个时间节点之间的视频帧所对应的音乐属性值，可以防止某些视频帧无法找到对应的音乐属性值。

步骤S104：判断所述音乐属性值是否小于第一阈值；

在该步骤中，将所述音乐属性值与预先设置的第一阈值进行比较，判断所述音乐属性值是否小于第一阈值。所述第一阈值的大小可以根据所要得到的效果来具体设置，本公开中不对第一阈值的大小做具体限制。

步骤S105：响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；

当在所述步骤S104中判断所述音乐属性值小于所述第一阈值时，根据所述音乐属性值配置第一图像处理的作用范围。其中，所述根据所述音乐属性值配置第一图像处理的作用范围，包括：根据所述音乐属性值计算第一坐标值；使用所述第一坐标值将所述视频图像分为两部分；将所述两部分中的一个部分作为第一图像处理的作用范围。典型的，将音乐属性值乘以一个缩放系数得到第一坐标值，以使该第一坐标值位于所述视频图像的范围内，将该第一坐标值作为X轴坐标或者Y轴坐标将视频图像分为两部分，将其中的一个部分作为第一图像处理的作用范围，典型的，所述第一图像处理可以为各种滤镜。如图2所示，为步骤S105中配置出的第一图像处理的作用范围的示意图，其中201为视频图像或者显示设备的屏幕，设音乐属性值为A，缩放系数为β，第一坐标值为α，则：α＝β*A，由此可以得到一条直线X＝α,将视频图像201分为两部分202和203，其中部分202作为第一图像处理的作用范围。可以理解的，所述直线也可以是Y＝α,此时在Y轴方向上将所述视频图像201分为两个部分；所述直线还可以是其他任意直线形式，只要是通过音乐属性值计算出来的将所述视频图像201分为两个部分的直线，都可以应用到本公开中来，上述实施例中的实例仅是实例，不构成对本公开的限制。

步骤S106：根据所述作用范围对所述视频图像进行所述第一图像处理。

在本公开中，所述根据所述作用范围对所述视频图像进行所述第一图像处理，包括：获取所述第一图像处理所需要的资源；在所述作用范围内使用所述资源对所述视频图像进行处理。在该步骤中，从存储空间中获取所述第一图像处理所需要的资源，典型的，对于滤镜来说，获取滤镜所需要的色卡和/或风格纹理等，在步骤S105中所确定的作用范围内使用所述色卡和/或风格纹理对所述视频图像进行处理得到处理后的图像。一般来说，处理之后，所述视频图像会呈现两种风格，在部分202中呈现使用第一图像处理后的风格，在部分203中呈现未处理的原始视频图像或者呈现其他处理后的风格。可以理解的是，所述第一图像处理并不限制于上述滤镜处理，实际上所述第一图像处理可以是任何图像处理，如贴纸、美颜、形变、动画等等，通过上述步骤可以根据音乐的属性动态的确定第一图像处理的作用范围，达到一种自动变换图像处理范围的效果。

如图3所示，在所述步骤S106之后，还包括：

步骤S301，响应于所述音乐属性值大于或者等于所述第一阈值，将所述第一图像处理切换为第二图像图像处理。在该步骤中，当所述音乐属性值大于或者等于所述第一阈值时，在不同的图像处理之间进行切换。典型的，如图1中的步骤，可以设置通过音乐属性值的第一阈值计算出来的α值等于或大于所述视频图像201的一半或者全部，此时直接切换滤镜为其他滤镜或者其他的处理方式，切换之后的步骤与图1中的步骤相同，该步骤是通过音乐属性值以及所述第一阈值在多个图像处理之间进行切换，以达到根据音乐的属性动态的确定图像处理方式的效果。

在本公开中，所述图像处理的方式以及第一阈值均可以通过配置文件来配置，该配置文件位于特效包中，通过服务器下发到进行所述图像处理的终端中，在执行所述图像处理的步骤时读取配置文件中参数以通过音乐文件控制图像处理的效果。

本公开公开一种图像处理方法、装置和电子设备。其中，该图像处理方法包括：从图像源中获取视频图像,其中所述视频图像包括至少一个图像帧；从音乐源中获取音乐文件；获取当前视频帧所对应的音乐属性值；判断所述音乐属性值是否小于第一阈值；响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；根据所述作用范围对所述视频图像进行所述第一图像处理。本公开实施例的图像处理方法，通过音乐的音乐属性值控制图像处理的过程，提高了图像处理的灵活性和效率。

在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。

下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。

本公开实施例提供一种图像处理装置。该装置可以执行上述图像处理方法实施例中所述的步骤。如图4所示，该装置400主要包括：视频图像获取模块401、音乐文件获取模块402、音乐属性值获取模块403、判断模块404、作用范围配置模块405和第一图像处理模块406。其中，

视频图像获取模块401，用于从图像源中获取视频图像；

音乐文件获取模块402，用于从音乐源中获取音乐文件；

音乐属性值获取模块403，用于获取当前时间节点的音乐属性值；

判断模块404，用于判断所述音乐属性值是否小于第一阈值；

作用范围配置模块405，用于响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；

第一图像处理模块406，用于根据所述作用范围对所述视频图像进行所述第一图像处理。

进一步的，所述视频图像获取模块401，还用于：

从图像传感器中采集视频图像，其中所述视频图像包括至少一个图像帧。

进一步的，所述音乐文件获取模块402，还包括：

存储音乐文件获取模块，用于从第一存储空间中获取所述音乐文件，其中所述第一存储空间为本地存储空间或者网络存储空间。

进一步的，所述音乐文件获取模块402，还包括：

采集音乐文件获取模块，用于从音频采集装置中获取音乐文件，其中所述音乐文件为所述音频采集装置所在的环境中的音乐通过所述音频采集装置所生成的音乐文件。

进一步的，所述音乐属性值获取模块403，还包括：

第一音乐属性文件获取模块，用于获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

第一音乐属性值获取模块，用于根据所述音乐属性文件以及当前播放时间节点获取所述音乐文件在当前播放时间节点的音乐属性值作为当前视频帧所对应的音乐属性值。

进一步的，所述第一音乐属性文件获取模块，还包括：

输入模块，用于将所述音乐文件输入深度学习模型；

音乐属性文件生成模块，用于所述深度学习模型输出每个时间节点所对应的音乐属性值以生成所述音乐属性文件。

进一步的，所述音乐属性值获取模块403，还包括：

第二音乐属性文件获取模块，用于获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

第二音乐属性值获取模块，用于如果当前视频帧的播放时间点位于所述音乐属性文件中的两个时间节点之间，则使用所述两个时间节点所对应的两个音乐属性值计算出中间音乐属性值作为当前视频帧所对应的音乐属性值。

进一步的，所述作用范围配置模块405，还包括：

第一坐标值计算模块，用于根据所述音乐属性值计算第一坐标值；

分割模块，用于使用所述第一坐标值将所述视频图像分为两部分；

作用范围确定模块，用于将所述两部分中的一个部分作为第一图像处理的作用范围。

进一步的，所述第一图像处理模块406，还包括：

资源获取模块，用于获取所述第一图像处理所需要的资源；

处理模块，用于在所述作用范围内使用所述资源对所述视频图像进行处理。

进一步的，所述装置400还可以包括：

切换模块407，用于响应于所述音乐属性值大于或者等于所述第一阈值，将所述第一图像处理切换为第二图像图像处理。

图4所示装置可以执行图1和图2所示实施例的方法，本实施例未详细描述的部分，可参考对图1和图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1和图2所示实施例中的描述，在此不再赘述。

下面参考图5，其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：从图像源中获取视频图像,其中所述视频图像包括至少一个图像帧；从音乐源中获取音乐文件；获取当前视频帧所对应的音乐属性值；判断所述音乐属性值是否小于第一阈值；响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；根据所述作用范围对所述视频图像进行所述第一图像处理。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种图像处理方法，包括：

从图像源中获取视频图像,其中所述视频图像包括至少一个图像帧；

从音乐源中获取音乐文件；

获取当前视频帧所对应的音乐属性值；

判断所述音乐属性值是否小于第一阈值；

响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；

根据所述作用范围对所述视频图像进行所述第一图像处理。

2.如权利要求1所述的图像处理方法，其中所述从图像源中获取视频图像，其中所述视频图像包括至少一个图像帧，包括：

从图像传感器中采集视频图像，其中所述视频图像包括至少一个图像帧。

3.如权利要求1所述的图像处理方法，其中所述从音乐源中获取音乐文件，包括：

从第一存储空间中获取所述音乐文件，其中所述第一存储空间为本地存储空间或者网络存储空间。

4.如权利要求1所述的图像处理方法，其中所述从音乐源中获取音乐文件，包括：

从音频采集装置中获取音乐文件，其中所述音乐文件为所述音频采集装置所在的环境中的音乐通过所述音频采集装置所生成的音乐文件。

5.如权利要求1所述的图像处理方法，其中所述获取当前视频帧所对应的音乐属性值，包括：

获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

根据所述音乐属性文件以及当前播放时间节点获取所述音乐文件在当前播放时间节点的音乐属性值作为当前视频帧所对应的音乐属性值。

6.如权利要求5所述的图像处理方法，其中所述获取所述音乐文件的音乐属性文件，包括：

将所述音乐文件输入深度学习模型；

所述深度学习模型输出每个时间节点所对应的音乐属性值以生成所述音乐属性文件。

7.如权利要求1所述的图像处理方法，其中所述获取当前视频帧所对应的音乐属性值，包括：

获取所述音乐文件的音乐属性文件，所述音乐属性文件中包括时间节点与音乐属性值的对应关系；

如果当前视频帧的播放时间点位于所述音乐属性文件中的两个时间节点之间，则使用所述两个时间节点所对应的两个音乐属性值计算出中间音乐属性值作为当前视频帧所对应的音乐属性值。

8.如权利要求1所述的图像处理方法，其中所述根据所述音乐属性值配置第一图像处理的作用范围，包括：

根据所述音乐属性值计算第一坐标值；

使用所述第一坐标值将所述视频图像分为两部分；

将所述两部分中的一个部分作为第一图像处理的作用范围。

9.如权利要求1所述的图像处理方法，其中所述根据所述作用范围对所述视频图像进行所述第一图像处理，包括：

获取所述第一图像处理所需要的资源；

在所述作用范围内使用所述资源对所述视频图像进行处理。

10.如权利要求1所述的图像处理方法，其中所述方法还包括：

响应于所述音乐属性值大于或者等于所述第一阈值，将所述第一图像处理切换为第二图像图像处理。

11.一种图像处理装置，包括：

视频图像获取模块，用于从图像源中获取视频图像；

音乐文件获取模块，用于从音乐源中获取音乐文件；

音乐属性值获取模块，用于获取当前时间节点的音乐属性值；

判断模块，用于判断所述音乐属性值是否小于第一阈值；

作用范围配置模块，用于响应于所述音乐属性值小于所述第一阈值，根据所述音乐属性值配置第一图像处理的作用范围；

第一图像处理模块，用于根据所述作用范围对所述视频图像进行所述第一图像处理。

12.一种电子设备，包括：

存储器，用于存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器运行时实现根据权利要求1-10中任意一项所述的图像处理方法。

13.一种非暂态计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-10中任意一项所述的图像处理方法。