CN112218006B - 一种多媒体数据处理方法、装置、电子设备及存储介质 - Google Patents

一种多媒体数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112218006B
CN112218006B CN202011024359.4A CN202011024359A CN112218006B CN 112218006 B CN112218006 B CN 112218006B CN 202011024359 A CN202011024359 A CN 202011024359A CN 112218006 B CN112218006 B CN 112218006B
Authority
CN
China
Prior art keywords
color
template
picture
target multimedia
multimedia element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011024359.4A
Other languages
English (en)
Other versions
CN112218006A (zh
Inventor
朱慢
潘胜一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Zaigu Technology Co Ltd
Original Assignee
Hangzhou Netease Zaigu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Zaigu Technology Co Ltd filed Critical Hangzhou Netease Zaigu Technology Co Ltd
Priority to CN202011024359.4A priority Critical patent/CN112218006B/zh
Publication of CN112218006A publication Critical patent/CN112218006A/zh
Application granted granted Critical
Publication of CN112218006B publication Critical patent/CN112218006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域，尤其涉及一种多媒体数据处理方法、装置、电子设备及存储介质，该方法为获取目标多媒体元素图片，并确定所述目标多媒体元素图片的主题色；根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板，根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，这样，根据目标多媒体元素图片，实现自适应的智能多媒体对象合成，提高了生成的效率。

Description

一种多媒体数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种多媒体数据处理方法、装置、电子设备及存储介质。
背景技术
目前，广告在日常生活中是非常普遍的，广告也作为一种重要的多媒体传播方式，可以用于吸引用户、商品推广等，广告素材可以理解为用户在各种网页、应用程序(Application，APP)或其他数字环境中看到的广告图片，现有技术中，广告素材生成方法主要是采用人工设计的方式，全部素材都是设计师人工设计的，但是，人工设计成本大，并且效率较低，制作周期长。
发明内容
本申请实施例提供一种多媒体数据处理方法、装置、电子设备及存储介质，以提高广告素材生成的效率。
本申请实施例提供的具体技术方案如下：
一种多媒体数据处理方法，包括：
获取目标多媒体元素图片，并确定所述目标多媒体元素图片的主题色；
根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板；
根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象。
可选的，确定所述目标多媒体元素图片的主题色，具体包括：
分别确定所述目标多媒体元素图片中各个像素点的颜色；
统计所述各个像素点的颜色的出现频数；
分别确定所述各个像素点的颜色的亮度和饱和度；
过滤掉亮度不在预设亮度范围内的颜色，并根据确定的饱和度和出现频数，分别获得过滤后的各颜色的得分；
根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色。
可选的，过滤掉亮度不在预设亮度范围内的颜色，具体包括：
过滤掉亮度低于所述预设亮度范围对应的最小值，以及亮度高于所述预设亮度范围对应的最大值的颜色。
可选的，进一步包括：筛选获得出现频数最高的前N种颜色，并针对筛选出的前N种颜色，执行所述分别确定所述各个像素点的颜色的亮度和饱和度的步骤，其中，所述N为大于1的正整数。
可选的，分别确定所述各个像素点的颜色的亮度和饱和度，具体包括：
分别根据所述各个像素点的颜色对应的RGB取值，确定所述各个像素点的颜色的亮度；
分别将所述各个像素点的颜色从RGB空间转换为HSV空间，并获得转换为HSV空间后所述各个像素点对应的S分量的取值，分别将获得的各S分量的取值，作为对应的像素点的饱和度。
可选的，根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色之后，进一步包括：
根据确定的主题色对应的RGB取值，计算所述主题色的鲜艳度；
若确定鲜艳度大于等于第一鲜艳阈值，则将所述主题色的亮度降低第一比例倍数；
若确定鲜艳度大于等于第二鲜艳阈值并小于所述第一鲜艳阈值，则将所述主题色的亮度降低第二比例倍数，其中，所述第二比例倍数小于所述第一比例倍数，所述第二鲜艳阈值小于所述第一鲜艳阈值。
可选的，根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板，具体包括：
确定所述目标多媒体元素图片的类型；
若所述目标多媒体元素图片的类型为场景图，则根据预设选取规则，从模板数据库中确定出一个简单模板或一个复杂模板，其中，所述简单模板包括一个图层，所述复杂模板包括多个图层，所述复杂模板是根据多个简单模板叠加生成的；
若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板。
可选的，确定所述目标多媒体元素图片的类型，具体包括：
确定所述目标多媒体元素图片的编码模式；
若确定所述编码模式为RGB模式，则确定所述目标多媒体元素图片的类型为场景图；
若确定所述编码模式为RGBA模式，则当所述目标多媒体元素图片中各个像素点对应的A分量的取值均大于0时，确定所述目标多媒体元素图片的类型为场景图，当所述目标多媒体元素图片中存在像素点对应的A分量的取值等于0时，确定所述目标多媒体元素图片的类型为透底图。
可选的，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，具体包括：
若确定的为一个简单模板，则根据所述目标多媒体元素图片的主题色，渲染确定的模板；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
可选的，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，具体包括：
若确定的为一个复杂模板，则根据所述目标多媒体元素图片的主题色和预设边界色，生成从所述主题色到所述预设边界色之间的各渐变色；
分别确定所述复杂模板中包含的各图层对应的颜色，其中，所述复杂模板中最底层对应的颜色为所述主题色，其它图层对应的颜色为从所述各渐变色中选取的颜色；
根据各图层对应的颜色，分别渲染所述复杂模板中包含的各图层；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
可选的，根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板，具体包括：
若只获取到一个目标多媒体元素图片，则从所述模板数据库中，筛选出与所述目标多媒体元素图片的主题色的颜色差值在第一颜色范围内的模板，作为候选模板，其中，所述模板数据库中至少包括各个模板，以及各个模板的主题色；
若获取到多个目标多媒体元素图片，则分别获得所述模板数据库中各个模板与各个目标多媒体元素图片的主题色的颜色差值，筛选出与所述各个目标多媒体元素图片的主题色的颜色差值均在第二颜色范围内的模板，作为候选模板。
可选的，若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，具体包括：
分别将筛选出的各候选模板和所述目标多媒体元素图片进行合成，获得各合成后的多媒体对象。
可选的，获得各合成后的多媒体对象之后，进一步包括：
确定用户的视觉偏好向量，并分别确定所述各合成后的多媒体对象的图片美感向量；
分别获得各图片美感向量与所述视觉偏好向量之间的相似度；
将相似度最高的合成后的多媒体对象发送给终端进行展示。
可选的，确定用户的视觉偏好向量，具体包括：
获得所述用户的历史点击图片集；
基于已训练的图像质量模型，分别以所述历史点击图片集中各历史点击图片为输入参数，获得所述各历史点击图片的图像特征向量，并根据所述各历史点击图片的图片特征向量和对应的向量权重，确定所述用户的视觉偏好向量；
分别确定所述各合成后的多媒体对象的图片美感向量，具体包括：
基于已训练的图像质量模型，分别以所述各合成后的多媒体对象为输入参数，获得所述各合成后的多媒体对象的图片美感向量。
一种多媒体数据处理装置，包括：
获取模块，用于获取目标多媒体元素图片；
提取模块，用于确定所述目标多媒体元素图片的主题色；
确定模块，用于根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板；
合成模块，用于根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象。
可选的，确定所述目标多媒体元素图片的主题色时，所述提取模块具体用于：
分别确定所述目标多媒体图片中各个像素点的颜色；
统计所述各个像素点的颜色的出现频数；
分别确定所述各个像素点的颜色的亮度和饱和度；
过滤掉亮度不在预设亮度范围内的颜色，并根据确定的饱和度和出现频数，分别获得过滤后的各颜色的得分；
根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色。
可选的，过滤掉亮度不在预设亮度范围内的颜色时，所述提取模块具体用于：过滤掉亮度低于所述预设亮度范围对应的最小值，以及亮度高于所述预设亮度范围对应的最大值的颜色。
可选的，所述提取模块进一步用于：筛选获得出现频数最高的前N种颜色，并针对筛选出的前N种颜色，执行所述分别确定所述各个像素点的颜色的亮度和饱和度的步骤，其中，所述N为大于1的正整数。
可选的，分别确定所述各个像素点的颜色的亮度和饱和度时，所述提取模块具体用于：
分别根据所述各个像素点的颜色对应的RGB取值，确定所述各个像素点的颜色的亮度；
分别将所述各个像素点的颜色从RGB空间转换为HSV空间，并获得转换为HSV空间后所述各个像素点对应的S分量的取值，分别将获得的各S分量的取值，作为对应的像素点的饱和度。
可选的，根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色之后，所述提取模块进一步用于：
根据确定的主题色对应的RGB取值，计算所述主题色的鲜艳度；
若确定鲜艳度大于等于第一鲜艳阈值，则将所述主题色的亮度降低第一比例倍数；
若确定鲜艳度大于等于第二鲜艳阈值并小于所述第一鲜艳阈值，则将所述主题色的亮度降低第二比例倍数，其中，所述第二比例倍数小于所述第一比例倍数，所述第二鲜艳阈值小于所述第一鲜艳阈值。
可选的，根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板时，确定模块具体用于：
确定所述目标多媒体元素图片的类型；
若所述目标多媒体元素图片的类型为场景图，则根据预设选取规则，从模板数据库中确定出一个简单模板或一个复杂模板，其中，所述简单模板包括一个图层，所述复杂模板包括多个图层，所述复杂模板是根据多个简单模板叠加生成的；
若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板。
可选的，确定所述目标多媒体元素图片的类型时，所述确定模块具体用于：
确定所述目标多媒体元素图片的编码模式；
若确定所述编码模式为RGB模式，则确定所述目标多媒体元素图片的类型为场景图；
若确定所述编码模式为RGBA模式，则当所述目标多媒体元素图片中各个像素点对应的A分量的取值均大于0时，确定所述目标多媒体元素图片的类型为场景图，当所述目标多媒体元素图片中存在像素点对应的A分量的取值等于0时，确定所述目标多媒体元素图片的类型为透底图。
可选的，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块具体用于：
若确定的为一个简单模板，则根据所述目标多媒体元素图片的主题色，渲染确定的模板；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
可选的，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块具体用于：
若确定的为一个复杂模板，则根据所述目标多媒体元素图片的主题色和预设边界色，生成从所述主题色到所述预设边界色之间的各渐变色；
分别确定所述复杂模板中包含的各图层对应的颜色，其中，所述复杂模板中最底层对应的颜色为所述主题色，其它图层对应的颜色为从所述各渐变色中选取的颜色；
根据各图层对应的颜色，分别渲染所述复杂模板中包含的各图层；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
可选的，根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板时，所述确定模块具体用于：
若只获取到一个目标多媒体元素图片，则从所述模板数据库中，筛选出与所述目标多媒体元素图片的主题色的颜色差值在第一颜色范围内的模板，作为候选模板，其中，所述模板数据库中至少包括各个模板，以及各个模板的主题色；
若获取到多个目标多媒体元素图片，则分别获得所述模板数据库中各个模板与各个目标多媒体元素图片的主题色的颜色差值，筛选出与所述各个目标多媒体元素图片的主题色的颜色差值均在第二颜色范围内的模板，作为候选模板。
可选的，若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块具体用于：分别将筛选出的各候选模板和所述目标多媒体元素图片进行合成，获得各合成后的多媒体对象。
可选的，获得各合成后的多媒体对象之后，进一步包括，排序处理模块，用于：
确定用户的视觉偏好向量，并分别确定所述各合成后的多媒体对象的图片美感向量；
分别获得各图片美感向量与所述视觉偏好向量之间的相似度；
将相似度最高的合成后的多媒体对象发送给终端进行展示。
可选的，确定用户的视觉偏好向量时，所述排序处理模块具体用于：
获得所述用户的历史点击图片集；
基于已训练的图像质量模型，分别以所述历史点击图片集中各历史点击图片为输入参数，获得所述各历史点击图片的图像特征向量，并根据所述各历史点击图片的图片特征向量和对应的向量权重，确定所述用户的视觉偏好向量；
分别确定所述各合成后的多媒体对象的图片美感向量时，所述排序处理模块具体用于：
基于已训练的图像质量模型，分别以所述各合成后的多媒体对象为输入参数，获得所述各合成后的多媒体对象的图片美感向量。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种多媒体数据处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种多媒体数据处理方法的步骤。
本申请实施例中，获取目标多媒体元素图片，并确定所述目标多媒体元素图片的主题色；根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板，进而根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，这样，根据目标多媒体元素图片，自动提取主题色并确定相应的模板，进而实现快速批量且自适应的智能多媒体对象合成，不需要人工设计，提高了效率，节省了时间，并且可以与不同的目标多媒体元素图片的主题色适配，更加个性化，也可以提高多媒体对象的点击率和呈现效果。
附图说明
图1为本申请实施例中一种多媒体数据处理方法流程图；
图2为本申请实施例中目标多媒体元素图片中颜色出现频数和亮度的结果示意图；
图3为本申请实施例中各颜色的得分结果示意图；
图4为本申请实施例中亮度调整前后效果对比示意图；
图5为本申请实施例中基于复杂模板的多媒体对象合成示意图；
图6为本申请实施例中用户的视觉偏好向量的确定原理示意图；
图7为本申请实施例中另一种多媒体数据处理方法流程图；
图8为本申请实施例中多媒体数据处理装置结构示意图；
图9为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为便于对本申请实施例的理解，下面先对几个概念进行简单介绍：
广告素材：指用户在各种网页、应用程序(Application，APP)或其他数字环境中看到的广告图片，通常广告图片中包含了广告方所推广的商品主图、吸引用户购买的营销文案、刺激用户点击的行动点等广告元素，例如，在广告场景中，本申请实施例中的多媒体对象即表示合成后的广告素材，目标多媒体元素图片即表示商品图片。
并且，通常广告由模板与各种广告元素生成，模板可以理解为广告的框架，是可以进行二次编辑的广告的半成品，通常包括有背景图片、指定的框架配色、约定的文字字体、约定的文字配色或约定的背景图片与广告元素的排版方式等，使广告具有较好的视觉效果，本申请实施例中，可以通过主题色来匹配更加合适的模板，进而合成后的广告素材效果更好。
自适应：指在处理和分析中，根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数或约束条件等，以取得最佳的处理效果。例如，本申请实施例中，主要基于自适应的方法，根据目标多媒体元素图片，进而自适应合成多媒体对象。
场景图：表示正常拍摄的图片，图片除了商品主体还有周围环境。
透底图：表示图片中除了商品主体外其他位置是透明的，没有任何背景元素。
目前，广告在日常生活中是非常普遍的，广告也作为一种重要的多媒体传播方式，可以用于吸引用户、商品推广等，现有技术中，广告素材生成方法主要是采用人工设计的方式，全部素材都是设计师人工设计的，但是，人工设计成本大，并且效率较低，制作周期长。
因此，为解决上述问题，本申请实施例中提供了一种多媒体数据处理方法，获取目标多媒体元素图片，并确定目标多媒体元素图片的主题色，根据目标多媒体元素图片的类型，确定目标多媒体元素图片对应的模板，进而根据目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，这样，通过主题色的提取和模板确定，进而可以通过主题色、模板和目标多媒体元素图片，自动合成多媒体对象，例如合成广告素材，实现了自适应的智能多媒体对象合成，不需要人工手动设计，提高了多媒体对象生成效率，可以快速批量生成多媒体对象。
基于上述实施例，下面对本申请实施例中的多媒体数据处理方法进行说明，参阅图1所示，为本申请实施例中一种多媒体数据处理方法流程图，该方法包括：
步骤100：获取目标多媒体元素图片，并确定目标多媒体元素图片的主题色。
通常在广告设计中，颜色是影响人眼视觉最重要的因素，颜色不同的广告呈现是可以带来很大的差异的，商品的颜色以及广告模板颜色等更加和谐美观的融合，是可以达到事半功倍的效果。
因此，本申请实施例中，在自动合成多媒体对象时，需要综合考虑目标多媒体元素图片的主题色。实际中，主题色即表示图片的主要颜色，也可以认为是中心色，通常是占面积较大的颜色或主要模块使用的颜色。
其中，目标多媒体元素图片可以认为是多媒体对象中的关键或主要元素的图片，例如，多媒体对象为合成的广告，广告中的关键或主要元素就是商品，则目标多媒体元素图片即为该广告中商品部分的图片，具体可以根据实际场景和需求进行设置，本申请实施例中并不进行限制。
步骤110：根据目标多媒体元素图片的类型，确定目标多媒体元素图片对应的模板。
步骤120：根据目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象。
本申请实施例中，获取目标多媒体元素图片，确定目标多媒体元素图片的主题色，并且根据目标多媒体元素图片的类型，确定目标多媒体元素图片对应的模板，进而合成多媒体对象，这样，根据目标多媒体元素图片，通过提取主题色和确定模板，进而自动合成多媒体对象，可以基于不同的目标对媒体元素图片，快速批量且自适应地生成不同的多媒体对象，而不需要人工进行设计，提高了效率，节省了人工制作时间，更新速度也更快可以适应广告投放的快速迭代需求，并且合成的多媒体对象，与目标多媒体元素图片的主题色适配，也提升了合成效果和多媒体对象的个性化，进而也提升了对于多媒体对象的点击率，本申请实施例中的方法可以适用于各种业务场景，例如可以适用于应用程序中广告投放，开屏、类目页以及商品详情页等的广告投放服务。
基于上述实施例，下面对上述实施例中各步骤的实施方式进行具体说明。
针对步骤100中确定目标多媒体元素图片的主题色的实施方式。
目前，针对主题色提取算法，相关技术中主要有中位切分法、聚类算法等，但是，聚类算法提取速度较慢，不太适合实时合图的场景，而中位切分法提取的颜色较为暗淡，渲染的模板不太适合广告设计业务场景，因此，本申请实施例中针对主题色提取提供了一种可能的实施方式，具体执行步骤100中确定目标多媒体元素图片的主题色，包括：
S1、分别确定目标多媒体元素图片中各个像素点的颜色。
目前，彩色图像一般采用的是红绿蓝(Red Green Blue，RGB)色彩模式，每个像素点由三个颜色通道组合而成，每个通道的取值范围为[0，255]，由红绿蓝三种颜色的组合叠加可得到人类所能感知的所有颜色，总共可以组合得到256x256x256＝1677万种颜色。
例如，以目标多媒体元素图片为RGB色彩模式为例，目标多媒体元素图片中每个像素点由三元组(r，g，b)表示，一个(r，g，b)组合表示一种颜色，如(255，0，0)表示红色，(255，255，255)表示白色等。
S2、统计各个像素点的颜色的出现频数。
即遍历目标多媒体元素图片中每个像素点，从而可以统计出各个像素点的颜色的出现频数。
进一步地，为减少计算量，提高计算速度，在执行分别确定各个像素点的颜色的亮度和饱和度的步骤之前，还可以先基于出现频数进行筛选，具体本申请实施例中提供了一种可能的实施方式，筛选获得出现频数最高的前N种颜色，并针对筛选出的前N种颜色，执行分别确定所述各个像素点的颜色的亮度和饱和度的步骤，其中，N为大于1的正整数。
其中，N的取值可以根据需求进行预先设置，N越小速度越快，但会降低准确性，因此可以综合考虑速度和准确性，来设置N的取值，本申请实施例中并不进行限制。
S3、分别确定各个像素点的颜色的亮度和饱和度。
本申请实施例中，考虑到颜色的亮度过亮或过暗，都会影响渲染效果，并且颜色饱和度也会影响最终的视觉效果，因此还需要确定像素点的颜色的亮度和饱和度。
具体地，执行该步骤S3时，可以分为两部分：
1)确定各个像素点的颜色的亮度。
具体包括：分别根据各个像素点的颜色对应的RGB取值，确定各个像素点的颜色的亮度。
例如，亮度的计算方式为：
y 1＝min(abs(R*2104+G*4130+B*802+4096+131072)＞＞13,235)
y2＝(y1-16.0)/(235-16)
其中，R、G、B即分别表示一个像素点的RGB颜色分别对应的R取值、G取值和B取值，y2为最终确定的一个像素点的亮度，并且上述公式中的常量为预设的参数，“＞＞”表示右移运算。
这样可以确定出各个像素点的颜色的亮度，亮度的取值范围为[0,1]，白色的亮度为1，黑色为0。例如，参阅图2所示，为本申请实施例中目标多媒体元素图片中颜色出现频数和亮度的结果示意图，如图2所示，为便于说明，图2中仅示出了目标多媒体元素图片中出现频数最高的前几种颜色，例如RGB取值(237,236,234)的颜色出现频数为117583，亮度为0.9269。也可知，虽然(237,236,234)的出现频数较高，但是亮度较大，若直接作为主题色去渲染整个背景会显得过于白而没有吸引力，因此本申请实施例还考虑了颜色亮度不同对所合成多媒体对象视觉效果的影响及解决方案，将在后续S4步骤中详述。
2)确定各个像素点的颜色的饱和度。
具体包括：分别将各个像素点的颜色从RGB空间转换为HSV空间，并获得转换为HSV空间后各个像素点对应的S分量的取值，分别将获得的各S分量的取值，作为对应的像素点的饱和度。
颜色饱和度也可以在一定程度影响视觉效果，因此还可以考虑颜色的饱和度，将颜色从RGB空间转换为HSV空间，其中，HSV表示色调(Hue，H)，饱和度(Saturation，S)，明度(Value，V)。
例如，具体计算公式为：
Figure BDA0002701702180000141
Figure BDA0002701702180000142
Figure BDA0002701702180000143
Cmax＝max(R′,G′,B′)
Cmin＝min(R′,G′,B′)
Δ＝Cmax-Cmin
Figure BDA0002701702180000144
其中，R、G、B分别表示一个像素点的RGB颜色分别对应的R取值、G取值和B取值，S为饱和度。
S4、过滤掉亮度不在预设亮度范围内的颜色，并根据确定的饱和度和出现频数，分别获得过滤后的各颜色的得分。
具体包括：
1)过滤掉亮度不在预设亮度范围内的颜色。
本申请实施例中，考虑颜色的亮度对视觉效果的影响，亮度过小可能会导致看不清楚，亮度过大可能会导致过于惨白或刺眼睛，因此需要基于亮度进行筛选，具体地：过滤掉亮度低于预设亮度范围对应的最小值，以及亮度高于预设亮度范围对应的最大值的颜色。
例如，预设亮度范围为[0.3，0.9]，则过滤掉亮度小于0.3的颜色，以及过滤掉亮度大于0.9的颜色，从统计的颜色中筛选出亮度在[0.3，0.9]的颜色。
2)根据确定的饱和度和出现频数，分别获得过滤后的各颜色的得分。
例如，得分＝(饱和度+0.1)*出现频数。
例如参阅图3所示，为本申请实施例中各颜色的得分结果示意图，图3中仅给出了部分颜色的示例说明，如图3所示，基于饱和度和出现频数，可以相应计算颜色的得分，如饱和度为0.8348，出现频数为939，则该颜色的得分为(0.8348+0.1)*939＝877.78。
S5、根据过滤后的各颜色的得分，确定目标多媒体元素图片的主题色。
例如，可以将得分最高的颜色，作为目标多媒体元素图片的主题色。又例如，还可以根据得分，选取得分最高的前设定数目个的颜色，将选取的颜色进行融合进而作为主题色。又例如，可以选取得分最高的颜色，并生成该颜色的渐变色进而作为主题色。当然，也可以根据过滤后的各颜色的得分，采用其它方式确定主题色，本申请实施例中并不进行限制。
这样，通过颜色的出现频数、亮度以及饱和度的筛选，可以确定出主题色，此时确定出的主题色虽然与目标多媒体元素图片的颜色较为相似，但是可能会出现颜色鲜艳度过艳的情况，直接作为主题色可能会使得模板视觉效果超过目标多媒体元素图片的效果，尤其在广告设计中，不利于商品的宣传，因此，进一步地，本申请实施例中，还考虑了颜色的鲜艳度的问题，对确定出的主题色再进行调整，为此本申请实施例中提供了一种可能的实施方式：根据过滤后的各颜色的得分，确定目标多媒体元素图片的主题色之后，还包括：
1)根据确定的主题色对应的RGB取值，计算主题色的鲜艳度。
例如，主题色的鲜艳度为C，主题色的RGB取值包括R取值、G取值和B取值，则具体计算公式为：
rg＝R-G
Figure BDA0002701702180000161
Figure BDA0002701702180000162
Figure BDA0002701702180000163
C＝σrgyb+0.3*μrgyb
其中，μ表示均值，σ表示标准差，在计算主题色的鲜艳度时，根据主题色生成一张与目标多媒体元素图片大小相同的纯色图片，获取每个像素点的RGB取值，上述公式中R、G、B为向量而不是变量，即是针对图片中所有像素点的R、G、B取值，进而计算相应的所有像素点的均值和标准差，并根据均值和标准差，计算鲜艳度。
进而本申请实施例中，可以根据不同鲜艳度对主题色进行不同比例的降低亮度。
2)若确定鲜艳度大于等于第一鲜艳阈值，则将主题色的亮度降低第一比例倍数。
3)若确定鲜艳度大于等于第二鲜艳阈值并小于第一鲜艳阈值，则将主题色的亮度降低第二比例倍数，其中，第二比例倍数小于第一比例倍数，第二鲜艳阈值小于第一鲜艳阈值。
其中，第一鲜艳阈值、第二鲜艳阈值，以及第一比例倍数和第二比例倍数，可以根据实际情况和经验进行设置，本申请实施例中并不进行限制。
例如，通过计算确定主题色的鲜艳度为55.12，而设置第一鲜艳阈值为50，第二鲜艳阈值为30，第一比例倍数为50％，第二比例倍数为20％，则具体地根据鲜艳度调整亮度的规则可以为：
1)鲜艳度C>＝50，则调整主题色的亮度为原有亮度的50％，即降低了50％。
2)鲜艳度>＝30且<50，则调整主题色的亮度为原有亮度的80％，即降低了20％。
则例如确定主题色的鲜艳度为55.12，鲜艳度大于50，则将主题色的亮度降低50％，即主题色的亮度会变暗。
为更明确说明根据主题色的鲜艳度进行亮度调整的效果，下面以多媒体对象为合成后的广告素材，目标多媒体元素图片为商品图片为例，采用具体合成后的广告的效果呈现进行说明。例如，参阅图4所示，为本申请实施例中亮度调整前后效果对比示意图，图4中(A)图是基于未调整亮度的主题色渲染的广告效果，图4中(B)图是调整亮度后的主题色渲染的广告效果，可知图4中(A)图获得广告的背景颜色比较艳丽，会影响广告中商品的宣传效果，而基于鲜艳度调整亮度后，获得的图4中(B)图的背景颜色比较柔和，可以更加突出广告中的商品，即(B)图中右边的商品，需要说明的是，图4仅是一种效果说明，实际中图4中(A)和(B)图中左边的背景颜色和右边的商品的主题色应该是相似的，(A)和(B)图的区别是(B)图中左边的背景颜色相比于(A)图中左边的背景颜色，亮度较低也更加柔和，整体视觉效果更好。
这样，本申请实施例中，主题色提取方法实现简单，运行速度较快，并且提取的主题色兼顾了饱和度、鲜艳度、亮度等因素，综合提取了一个最适合渲染模板的主题色，可以适用于广告场景等。
针对步骤110中根据目标多媒体元素图片的类型，确定目标多媒体元素图片对应的模板的实施方式。
执行步骤110时，具体包括：
a)、确定目标多媒体元素图片的类型。
通常在进行广告设计中，商家会提供需要宣传的商品图片，商品图片可能是场景图或透底图，不同类型的商品图片在生最终广告时会有不同的处理逻辑。
具体地确定目标多媒体元素图片的类型，本申请实施例中提供了一种可能的实施方式：
1)确定目标多媒体元素图片的编码模式。
目前，通常彩色图片的编码模式有RGB和RGBA，其中R、G、B表示红绿蓝三个颜色通道，A表示透明度，取值范围在[0，255]。RGB图片中每个像素点由三个通道的取值共同决定最终的颜色，RGBA除了三个颜色融合还会添加透明度，当A＝0时，该像素点是完全透明的。
通常，正常拍摄的场景图通常采用RGB编码模式，但可能会对原图进行修改，因此场景图也会有RGBA编码模式，RGBA编码模式的场景图中的A通道通常会大于0，而透底图通常采用RGBA编码模式，图片中除了商品主体外的其它位置的透明度为0。
2)若确定编码模式为RGB模式，则确定目标多媒体元素图片的类型为场景图。
3)若确定编码模式为RGBA模式，则当目标多媒体元素图片中各个像素点对应的A分量的取值均大于0时，确定目标多媒体元素图片的类型为场景图，当目标多媒体元素图片中存在像素点对应的A分量的取值等于0时，确定目标多媒体元素图片的类型为透底图。
b)、确定目标多媒体元素图片对应的模板，具体可以根据不同类型，分为以下几种情况：
第一种情况：若目标多媒体元素图片的类型为场景图，则根据预设选取规则，从模板数据库中确定出一个简单模板或一个复杂模板。
其中，简单模板包括一个图层，复杂模板包括多个图层，复杂模板是根据多个简单模板叠加生成的。
本申请实施例中，提供了简单模板和复杂模块以进行合成，简单模板即整个背景色的颜色只有一种，只有一个图层，而复杂模板由多个简单模板叠加生成，颜色更加丰富并且更有层次感，可以适用于不同的业务场景，其中，模板的预设选取规则，并不进行限制，可以预先进行设置。
由于模板通常是包含一些固定排版方式、背景图片等，即模板中会固定有目标多媒体元素图片的位置区域，在对模板渲染时不会对模板中目标多媒体元素图片的位置区域进行渲染，因为这里是最终合成时放置目标多媒体元素图片的位置，而场景图是包含背景的图片，将目标多媒体元素图片合成在模板中相应的预设位置时，只需要目标多媒体元素图片的颜色和模板中其它背景颜色能够搭配即可，因此针对场景图，只需要选择合适的模板，基于目标多媒体元素图片的主题色对模板颜色进行渲染即可，即对模板的背景颜色进行渲染，而在选取模板时，模板本身是否具有背景颜色或颜色是什么，可以不需要考虑，因为最终在合成时会渲染成确定出的目标多媒体元素图片的主题色，即可以实现最终合成后的目标多媒体元素图片的颜色和模板中其它背景颜色能够搭配融合。
第二种情况：若目标多媒体元素图片的类型为透底图，则根据目标多媒体元素图片的主题色，从模板数据库中筛选出与目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板。本申请实施例中，透底图中除了商品主体外其他位置是透明的，因此针对透底图的模板选取，需要考虑目标多媒体元素图片和模板的颜色是否搭配，筛选出颜色合适的模板，来使得合成后颜色也比较搭配，而不需要重新渲染模板，具体地，本申请实施例中支持单商品和多商品合图，若为透底图，在确定模板时还需要判断获得的目标多媒体元素图片的数量，而采用不同的模板确定策略，具体本申请实施例中提供了可能的实施方式：
1)若只获取到一个目标多媒体元素图片，则从模板数据库中，筛选出与目标多媒体元素图片的主题色的颜色差值在第一颜色范围内的模板，作为候选模板。
其中，模板数据库中至少包括各个模板，以及各个模板的主题色。即本申请实施例中，预先构建模板数据库，并计算模板数据库中各个模板的主题色，将各个模板，以及相应的主题色关联存储，其中，模板的主题色计算方式和上述实施例中目标多媒体元素图片的主题色的确定方式相同，这里就不再进行赘述了。
其中，判断目标多媒体元素图片的数目是一个还是多个，只需要根据获取到的目标多媒体元素图片的标识数目来确定即可，获取到一个标识即只有一个目标多媒体元素图片，获取到至少两个即多个标识，则说明有多个目标多媒体元素图片。
本申请实施例中，在只有一个目标多媒体元素图片情况下，要考虑目标多媒体元素图片和模板的颜色不能反差太大，会不太和谐，当然也不能太接近，否则合成后目标多媒体元素图片中目标多媒体元素会被埋没，而不突出，难以辨识，因此需要设置合适的第一颜色范围，筛选出颜色差值在第一颜色范围内的模板，例如，设置第一颜色范围为[11,49]，当然本申请实施例中并不进行限制，可以根据实际情况和经验测试来进行设置。
其中，确定目标多媒体元素图片的主题色和模板的主题色的颜色差值，本申请实施例中提供了一种可能的实施方式，采用预设的色差计算方法，确定目标多媒体元素图片的主题色和模板的主题色的颜色差值。
例如，预设的色差计算方法，例如为DeltaE2000算法，计算公式为：
Figure BDA0002701702180000201
其中，ΔE00为色差，ΔL′、ΔC′、ΔH′分别表示明度差、彩度差和色相差，SL、SC和SH分别表示在亮度、彩度和色相方向上的差异程度，为权重函数，用来校正颜色空间均匀性，KL、KC和KH为参数因子，为预先设置的常量，可以根据不同的对象或者色彩品质要求来进行设置，并不进行限制，RT为旋转函数。
2)若获取到多个目标多媒体元素图片，则分别获得模板数据库中各个模板与各个目标多媒体元素图片的主题色的颜色差值，筛选出与各个目标多媒体元素图片的主题色的颜色差值均在第二颜色范围内的模板，作为候选模板。
本申请实施例中，若获取到多个目标多媒体元素图片时，则分别确定各个目标多媒体元素图片的主题色，即获得多个商品的主题色，这时在进行合成时，为了避免合成后的整个画面颜色过多，并且还可以突出各个商品，因此确定出的模板的主题色，应该与每个商品的主题色的颜色差值尽可能小但又不能完全相似。
则具体地，遍历每个目标多媒体元素图片和模板，选取与每个目标多媒体元素图片的主题色的颜色差值均值均在第二颜色范围内的模板，进而可以获得符合该条件的模板作为候选模板。
其中，第二颜色范围例如为[2，10]，可以根据实际情况和经验进行设置，本申请实施例中并不进行限制。
针对步骤120中根据目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象的实施方式。
执行步骤120时，基于不同类型而确定出的模板，则具体地也相应分为不同的情况：
第一种情况：若目标多媒体元素图片的类型为场景图，此时确定出的模板可能会一个简单模板或一个复杂模板，则合成多媒体对象时，具体包括：
第一种实施方式：若确定的为一个简单模板，则具体地：
1)根据目标多媒体元素图片的主题色，渲染确定的模板。
2)将目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
也就是说，基于简单模板合成时，只需要将目标多媒体元素图片的主题色填充到模板的背景颜色中即可，从而将目标多媒体元素图片合成到模板中相应预设的位置区域中，即获得合成后的多媒体对象。
第二种实施方式：若确定的为一个复杂模板，则具体地：
1)根据目标多媒体元素图片的主题色和预设边界色，生成从主题色到预设边界色之间的各渐变色。
本申请实施例中，复杂模板需要考虑多个图层之间的颜色搭配，因此可以根据目标多媒体元素图片的主题色的深浅，动态调整对复杂模板中多图层的着色，实现自适应的模板颜色渲染。
其中，预设边界色，例如为黑色或白色等，本申请实施例中并不进行限制，边界色不同，生成的渐变色也是不同的，并且在生成主题色到边界色之间的各渐变色时，可以设置渐变色数目或颜色间隔等方式。
另外，预设边界色还可以设置多个，例如设置两个边界色分别为黑色和白色，则生成主题色到黑色之间的各渐变色，以及生成主题色到白色之间的各渐变色，这时在确定复杂模板中各图层的颜色时，可以分别从生成的各个渐变色中进行选择，例如，可以从主题色到黑色之间的各渐变色，也可以从主题色到白色之间的各渐变色，当然也可以同时从这两种边界色所对应的各渐变色中进行选择。
2)分别确定复杂模板中包含的各图层对应的颜色，其中，复杂模板中最底层对应的颜色为主题色，其它图层对应的颜色为从各渐变色中选取的颜色。
3)根据各图层对应的颜色，分别渲染复杂模板中包含的各图层。
4)将目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
例如，参阅图5所示，为本申请实施例中基于复杂模板的多媒体对象合成示意图，如图5所示，提取目标多媒体元素图片的主题色后，根据主题色和预设边界色，生成各个渐变色，图5中是以两个边界色为例进行说明，上边色卡是以黑色为边界色，下边色卡是以白色为边界色，可知边界色不同，色卡中各渐变色也不同，其中图5中的色卡中1为主题色，10为边界色，2-9为各渐变色，这里仅是示例说明，以实际颜色为准，进而确定复杂模板中包含的各图层对应的颜色，图5中以复杂模板包含四个图层为例，例如复杂模板中最底层即图5中第一个图层选取1对应的颜色即主题色，其它背景色分别选取8、6和10对应的颜色，并且根据各图层对应的颜色，分别渲染这四个图层，进而将目标多媒体元素图片和渲染后的复杂模板进行合成，获得合成后的多媒体对象，例如图5中即为合成后的广告素材。
这样，基于复杂模板合成，并且复杂模板中各图层的颜色不同，最终看到的合图结果，除了背景模板外，还有额外的视觉分层，使得整个广告版面更加充盈饱满，可以支持个性化调整边界色以及选取不同的渐变色组合，用来生成更丰富的广告素材，当使用更鲜艳的边界色时，色卡上的颜色会更丰富，色彩更大胆。
第二种情况：若目标多媒体元素图片的类型为透底图。
则根据目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，具体包括：分别将筛选出的各候选模板和目标多媒体元素图片进行合成，获得各合成后的多媒体对象。
本申请实施例中，若目标多媒体元素图片为透底图时，确定出合适的候选模板，以和目标多媒体元素图片的主题色搭配，可能会获得多个候选模板，进而合成后也会相应生成多个多媒体对象。
而通常在实际中，最终可能只需要确定出一个多媒体对象来呈现给用户，因此进一步地，本申请实施例中还需要从各合成后的多媒体对象中选择一个，例如选取的原则是选最美观的，但如果仅仅使用美感评分的结果是每个人看到的同一个商品的合成广告图是一样的，因为在对合成广告素材进行评分只考虑到图片的美感信息而没有考虑用户的审美偏好，但是通常每个人对于美的定义是没有统一标准的，因此，本申请实施例中结合了图片的美感信息以及用户的审美偏好来共同决定给用户呈现哪个合成后的多媒体对象，具体本申请实施例中提供了一种可能的实施方式：获得各合成后的多媒体对象之后，还包括：
S1、确定用户的视觉偏好向量，并分别确定各合成后的多媒体对象的图片美感向量。
执行该步骤S1时，具体包括：
S1.1、确定用户的视觉偏好向量。
具体包括：1)获得用户的历史点击图片集。
2)基于已训练的图像质量模型，分别以历史点击图片集中各历史点击图片为输入参数，获得各历史点击图片的图像特征向量，并根据各历史点击图片的图片特征向量和对应的向量权重，确定用户的视觉偏好向量。
例如，参阅图6所示，为本申请实施例中用户的视觉偏好向量的确定原理示意图，可以通过用户的历史点击图片集，来学习用户的视觉偏好信息，例如男性用户可能偏好冷色系，女性用户可能偏好暖色系等，输入历史点击图片，通过图像质量模型中基线图像分类网络、全连接层(fully connected layers，FC)，输出FC层的向量作为图像特征向量Vi，其中通过最大池化层(softmax)输出的是图片质量分值，进而根据对应的向量权重，确定用户的视觉偏好向量。
例如，Vuser＝∑i∈Swi*Vi。
其中，S为用户的历史点击图片集，wi为向量权重，并且最新点击的权重要高于之前历史点击的权重，将点击的图像特征向量加权求和即可得到用户的视觉偏好向量Vuser。
S1.2、分别确定各合成后的多媒体对象的图片美感向量。
具体包括：基于已训练的图像质量模型，分别以各合成后的多媒体对象为输入参数，获得各合成后的多媒体对象的图片美感向量。
其中，图片美感向量与图像特征向量的获取方式类似，例如图像质量模型为图像质量评估(Neural Image Assessment，NIMA)网络模型，提取NIMA的最后一层全连接层作为图片美感向量，当然可以采用其它网络模型，本申请实施例中并不进行限制。
S2、分别获得各图片美感向量与视觉偏好向量之间的相似度。
例如，用户的视觉偏好向量为Vuser，图片美感向量为Vimage，两者在同一特征空间，则可以采用余弦相似度计算两者之间的距离：
Figure BDA0002701702180000241
S3、将相似度最高的合成后的多媒体对象发送给终端进行展示。
这样，本申请实施例中可以结合用户审美偏好和图片美感信息，对各个合成后的多媒体对象进行排序，最终可以为不同的用户呈现不同的多媒体对象，例如多媒体对象为某商品的广告，需要在某应用程序中显示并推广该广告，则用户1登录该应用程序时，可以通过用户1的视觉偏好向量，而推荐与用户1审美相似的广告，用户2登录该应用程序时，可以推荐与用户2审美相似的广告，从而使得不同用户看到的广告都不同，可以为用户推荐和呈现个性化的广告，进而也可以提高点击率和用户满意度。
进一步地，当用户未登录时，无法确定是哪个用户或者无法确定用户的视觉偏好向量时，可以随机从合成后的多媒体对象中选择一个，并发送给终端进行展示，具体本申请实施例中并不进行限制。
基于上述实施例，下面采用具体应用场景，对本申请实施例中多媒体数据处理整体流程进行简单说明，以目标多媒体元素图片为商品，多媒体对象为广告，并且商品图片分为场景图和透底图类型，以及场景图对应确定的为一个简单模板，透底图时对应到三个商品图片，确定的候选模板为四个为例，参阅图7所示，为本申请实施例中另一种多媒体数据处理方法流程图，具体包括：
步骤700：获取目标多媒体元素图片。
如图7中，上面分支是以获取类型为场景图的商品图片为例，下面分支是以获取类型为透底图的商品图片为例，并获取到三个类型为透底图的商品图片。
步骤701：判断图片类型，若确定为场景图，则执行步骤702，若确定为透底图，则执行步骤705。
步骤702：确定多媒体元素图片的主题色。
本申请实施例中，可以综合考虑图片的饱和度、亮度、鲜艳度等指标，提出一个适用于广告场景的主题色提取方法。
步骤703：渲染模板。
例如，图7中以确定一个简单模板为例，则根据目标多媒体元素图片的主题色渲染该确定的模板。
步骤704：合成多媒体对象。
步骤705：从模板数据库中匹配候选模板。
具体地，若获取到多个目标多媒体元素图片，则筛选出与各个目标多媒体元素图片的主题色的颜色差值均在第二颜色范围内的模板，作为候选模板。
例如，图7中以匹配出四个候选模板为例。
步骤706：合成多媒体对象。
即获得四个合成后的多媒体对象。
步骤707：排序并获得最优多媒体对象。
具体地，确定用户的视觉偏好向量，并分别确定各合成后的多媒体对象的图片美感向量；分别获得各图片美感向量与视觉偏好向量之间的相似度，根据相似度从高到低进行排序，将相似度最高的合成后的多媒体对象作为最优多媒体对象，进而可以发送给终端进行展示，例如从合成后的四个多媒体对象中，通过相似度计算，从中选择一个最优多媒体对象。
这样，本申请实施例中，综合考虑商品图片的饱和度、亮度、鲜艳度等指标，确定主题色，并渲染模板，合成后的广告素材和商品图片更适配，并且在透底图合图中，先基于颜色差值进行初步筛选模板，以及结合图片美感信息和用户审美偏好，进行重排，可以为用户推荐个性化的广告素材，基于不同的商品图片动态调整合图策略，实现了自适应的智能广告合图方法，效率更高，并且也提高了点击率，例如通过测试，本申请实施例中的合成后的广告素材的点击率是人工设计广告素材的两倍左右。
基于同一发明构思，本申请实施例中还提供了一种多媒体数据处理装置，基于上述实施例，参阅图8所示，本申请实施例中多媒体数据处理装置，具体包括：
获取模块80，用于获取目标多媒体元素图片；
提取模块81，用于确定所述目标多媒体元素图片的主题色；
确定模块82，用于根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板；
合成模块83，用于根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象。
可选的，确定所述目标多媒体元素图片的主题色时，所述提取模块81具体用于：
分别确定所述目标多媒体图片中各个像素点的颜色；
统计所述各个像素点的颜色的出现频数；
分别确定所述各个像素点的颜色的亮度和饱和度；
过滤掉亮度不在预设亮度范围内的颜色，并根据确定的饱和度和出现频数，分别获得过滤后的各颜色的得分；
根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色。
可选的，过滤掉亮度不在预设亮度范围内的颜色时，所述提取模块81具体用于：过滤掉亮度低于所述预设亮度范围对应的最小值，以及亮度高于所述预设亮度范围对应的最大值的颜色。
可选的，所述提取模块81进一步用于：筛选获得出现频数最高的前N种颜色，并针对筛选出的前N种颜色，执行所述分别确定所述各个像素点的颜色的亮度和饱和度的步骤，其中，所述N为大于1的正整数。
可选的，分别确定所述各个像素点的颜色的亮度和饱和度时，所述提取模块81具体用于：
分别根据所述各个像素点的颜色对应的RGB取值，确定所述各个像素点的颜色的亮度；
分别将所述各个像素点的颜色从RGB空间转换为HSV空间，并获得转换为HSV空间后所述各个像素点对应的S分量的取值，分别将获得的各S分量的取值，作为对应的像素点的饱和度。
可选的，根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色之后，所述提取模块81进一步用于：
根据确定的主题色对应的RGB取值，计算所述主题色的鲜艳度；
若确定鲜艳度大于等于第一鲜艳阈值，则将所述主题色的亮度降低第一比例倍数；
若确定鲜艳度大于等于第二鲜艳阈值并小于所述第一鲜艳阈值，则将所述主题色的亮度降低第二比例倍数，其中，所述第二比例倍数小于所述第一比例倍数，所述第二鲜艳阈值小于所述第一鲜艳阈值。
可选的，根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板时，确定模块82具体用于：
确定所述目标多媒体元素图片的类型；
若所述目标多媒体元素图片的类型为场景图，则根据预设选取规则，从模板数据库中确定出一个简单模板或一个复杂模板，其中，所述简单模板包括一个图层，所述复杂模板包括多个图层，所述复杂模板是根据多个简单模板叠加生成的；
若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板。
可选的，确定所述目标多媒体元素图片的类型时，所述确定模块82具体用于：
确定所述目标多媒体元素图片的编码模式；
若确定所述编码模式为RGB模式，则确定所述目标多媒体元素图片的类型为场景图；
若确定所述编码模式为RGBA模式，则当所述目标多媒体元素图片中各个像素点对应的A分量的取值均大于0时，确定所述目标多媒体元素图片的类型为场景图，当所述目标多媒体元素图片中存在像素点对应的A分量的取值等于0时，确定所述目标多媒体元素图片的类型为透底图。
可选的，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块83具体用于：
若确定的为一个简单模板，则根据所述目标多媒体元素图片的主题色，渲染确定的模板；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
可选的，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块83具体用于：
若确定的为一个复杂模板，则根据所述目标多媒体元素图片的主题色和预设边界色，生成从所述主题色到所述预设边界色之间的各渐变色；
分别确定所述复杂模板中包含的各图层对应的颜色，其中，所述复杂模板中最底层对应的颜色为所述主题色，其它图层对应的颜色为从所述各渐变色中选取的颜色；
根据各图层对应的颜色，分别渲染所述复杂模板中包含的各图层；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
可选的，根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板时，所述确定模块82具体用于：
若只获取到一个目标多媒体元素图片，则从所述模板数据库中，筛选出与所述目标多媒体元素图片的主题色的颜色差值在第一颜色范围内的模板，作为候选模板，其中，所述模板数据库中至少包括各个模板，以及各个模板的主题色；
若获取到多个目标多媒体元素图片，则分别获得所述模板数据库中各个模板与各个目标多媒体元素图片的主题色的颜色差值，筛选出与所述各个目标多媒体元素图片的主题色的颜色差值均在第二颜色范围内的模板，作为候选模板。
可选的，若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块83具体用于：分别将筛选出的各候选模板和所述目标多媒体元素图片进行合成，获得各合成后的多媒体对象。
可选的，获得各合成后的多媒体对象之后，进一步包括，排序处理模块84，用于：
确定用户的视觉偏好向量，并分别确定所述各合成后的多媒体对象的图片美感向量；
分别获得各图片美感向量与所述视觉偏好向量之间的相似度；
将相似度最高的合成后的多媒体对象发送给终端进行展示。
可选的，确定用户的视觉偏好向量时，所述排序处理模块84具体用于：
获得所述用户的历史点击图片集；
基于已训练的图像质量模型，分别以所述历史点击图片集中各历史点击图片为输入参数，获得所述各历史点击图片的图像特征向量，并根据所述各历史点击图片的图片特征向量和对应的向量权重，确定所述用户的视觉偏好向量；
分别确定所述各合成后的多媒体对象的图片美感向量时，所述排序处理模块具体用于：
基于已训练的图像质量模型，分别以所述各合成后的多媒体对象为输入参数，获得所述各合成后的多媒体对象的图片美感向量。
基于上述实施例，参阅图9所示为本申请实施例中电子设备的结构示意图。
本申请实施例提供了一种电子设备，该电子设备可以包括处理器910(CenterProcessing Unit，CPU)、存储器920、输入设备930和输出设备940等，输入设备930可以包括键盘、鼠标、触摸屏等，输出设备940可以包括显示设备，如液晶显示器(Liquid CrystalDisplay，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器920可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器910提供存储器920中存储的程序指令和数据。在本申请实施例中，存储器920可以用于存储本申请实施例中任一种多媒体数据处理方法的程序。
处理器910通过调用存储器920存储的程序指令，处理器910用于按照获得的程序指令执行本申请实施例中任一种多媒体数据处理方法。
基于上述实施例，本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的多媒体数据处理方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (26)

1.一种多媒体数据处理方法，其特征在于，包括：
获取目标多媒体元素图片，并确定所述目标多媒体元素图片的主题色；
根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板；
根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象；
确定所述目标多媒体元素图片的主题色，具体包括：
分别确定所述目标多媒体元素图片中各个像素点的颜色；统计所述各个像素点的颜色的出现频数；分别确定所述各个像素点的颜色的亮度和饱和度；过滤掉亮度不在预设亮度范围内的颜色，并根据确定的饱和度和出现频数，分别获得过滤后的各颜色的得分；根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色；
所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色之后，进一步包括：
根据确定的主题色对应的RGB取值，计算所述主题色的鲜艳度；若确定鲜艳度大于等于第一鲜艳阈值，则将所述主题色的亮度降低第一比例倍数；若确定鲜艳度大于等于第二鲜艳阈值并小于所述第一鲜艳阈值，则将所述主题色的亮度降低第二比例倍数，其中，所述第二比例倍数小于所述第一比例倍数，所述第二鲜艳阈值小于所述第一鲜艳阈值。
2.如权利要求1所述的方法，其特征在于，过滤掉亮度不在预设亮度范围内的颜色，具体包括：
过滤掉亮度低于所述预设亮度范围对应的最小值，以及亮度高于所述预设亮度范围对应的最大值的颜色。
3.如权利要求1所述的方法，其特征在于，进一步包括：
筛选获得出现频数最高的前N种颜色，并针对筛选出的前N种颜色，执行所述分别确定所述各个像素点的颜色的亮度和饱和度的步骤，其中，所述N为大于1的正整数。
4.如权利要求1所述的方法，其特征在于，分别确定所述各个像素点的颜色的亮度和饱和度，具体包括：
分别根据所述各个像素点的颜色对应的RGB取值，确定所述各个像素点的颜色的亮度；
分别将所述各个像素点的颜色从RGB空间转换为HSV空间，并获得转换为HSV空间后所述各个像素点对应的S分量的取值，分别将获得的各S分量的取值，作为对应的像素点的饱和度。
5.如权利要求1-4任一项所述的方法，其特征在于，根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板，具体包括：
确定所述目标多媒体元素图片的类型；
若所述目标多媒体元素图片的类型为场景图，则根据预设选取规则，从模板数据库中确定出一个简单模板或一个复杂模板，其中，所述简单模板包括一个图层，所述复杂模板包括多个图层，所述复杂模板是根据多个简单模板叠加生成的；
若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板。
6.如权利要求5所述的方法，其特征在于，确定所述目标多媒体元素图片的类型，具体包括：
确定所述目标多媒体元素图片的编码模式；
若确定所述编码模式为RGB模式，则确定所述目标多媒体元素图片的类型为场景图；
若确定所述编码模式为RGBA模式，则当所述目标多媒体元素图片中各个像素点对应的A分量的取值均大于0时，确定所述目标多媒体元素图片的类型为场景图，当所述目标多媒体元素图片中存在像素点对应的A分量的取值等于0时，确定所述目标多媒体元素图片的类型为透底图。
7.如权利要求5所述的方法，其特征在于，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，具体包括：
若确定的为一个简单模板，则根据所述目标多媒体元素图片的主题色，渲染确定的模板；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
8.如权利要求5所述的方法，其特征在于，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，具体包括：
若确定的为一个复杂模板，则根据所述目标多媒体元素图片的主题色和预设边界色，生成从所述主题色到所述预设边界色之间的各渐变色；
分别确定所述复杂模板中包含的各图层对应的颜色，其中，所述复杂模板中最底层对应的颜色为所述主题色，其它图层对应的颜色为从所述各渐变色中选取的颜色；
根据各图层对应的颜色，分别渲染所述复杂模板中包含的各图层；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
9.如权利要求5所述的方法，其特征在于，根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板，具体包括：
若只获取到一个目标多媒体元素图片，则从所述模板数据库中，筛选出与所述目标多媒体元素图片的主题色的颜色差值在第一颜色范围内的模板，作为候选模板，其中，所述模板数据库中至少包括各个模板，以及各个模板的主题色；
若获取到多个目标多媒体元素图片，则分别获得所述模板数据库中各个模板与各个目标多媒体元素图片的主题色的颜色差值，筛选出与所述各个目标多媒体元素图片的主题色的颜色差值均在第二颜色范围内的模板，作为候选模板。
10.如权利要求9所述的方法，其特征在于，若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象，具体包括：
分别将筛选出的各候选模板和所述目标多媒体元素图片进行合成，获得各合成后的多媒体对象。
11.如权利要求10所述的方法，其特征在于，获得各合成后的多媒体对象之后，进一步包括：
确定用户的视觉偏好向量，并分别确定所述各合成后的多媒体对象的图片美感向量；
分别获得各图片美感向量与所述视觉偏好向量之间的相似度；
将相似度最高的合成后的多媒体对象发送给终端进行展示。
12.如权利要求11所述的方法，其特征在于，确定用户的视觉偏好向量，具体包括：
获得所述用户的历史点击图片集；
基于已训练的图像质量模型，分别以所述历史点击图片集中各历史点击图片为输入参数，获得所述各历史点击图片的图像特征向量，并根据所述各历史点击图片的图片特征向量和对应的向量权重，确定所述用户的视觉偏好向量；
分别确定所述各合成后的多媒体对象的图片美感向量，具体包括：
基于已训练的图像质量模型，分别以所述各合成后的多媒体对象为输入参数，获得所述各合成后的多媒体对象的图片美感向量。
13.一种多媒体数据处理装置，其特征在于，包括：
获取模块，用于获取目标多媒体元素图片；
提取模块，用于确定所述目标多媒体元素图片的主题色；
确定模块，用于根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板；
合成模块，用于根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象；
其中，确定所述目标多媒体元素图片的主题色时，所述提取模块具体用于：分别确定所述目标多媒体元素图片中各个像素点的颜色；统计所述各个像素点的颜色的出现频数；分别确定所述各个像素点的颜色的亮度和饱和度；过滤掉亮度不在预设亮度范围内的颜色，并根据确定的饱和度和出现频数，分别获得过滤后的各颜色的得分；根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色；
所述根据所述过滤后的各颜色的得分，确定所述目标多媒体元素图片的主题色之后，所述提取模块进一步用于：根据确定的主题色对应的RGB取值，计算所述主题色的鲜艳度；若确定鲜艳度大于等于第一鲜艳阈值，则将所述主题色的亮度降低第一比例倍数；若确定鲜艳度大于等于第二鲜艳阈值并小于所述第一鲜艳阈值，则将所述主题色的亮度降低第二比例倍数，其中，所述第二比例倍数大于所述第一比例倍数，所述第二鲜艳阈值小于所述第一鲜艳阈值。
14.如权利要求13所述的装置，其特征在于，过滤掉亮度不在预设亮度范围内的颜色时，所述提取模块具体用于：
过滤掉亮度低于所述预设亮度范围对应的最小值，以及亮度高于所述预设亮度范围对应的最大值的颜色。
15.如权利要求13所述的装置，其特征在于，所述提取模块进一步用于：
筛选获得出现频数最高的前N种颜色，并针对筛选出的前N种颜色，执行所述分别确定所述各个像素点的颜色的亮度和饱和度的步骤，其中，所述N为大于1的正整数。
16.如权利要求13所述的装置，其特征在于，分别确定所述各个像素点的颜色的亮度和饱和度时，所述提取模块具体用于：
分别根据所述各个像素点的颜色对应的RGB取值，确定所述各个像素点的颜色的亮度；
分别将所述各个像素点的颜色从RGB空间转换为HSV空间，并获得转换为HSV空间后所述各个像素点对应的S分量的取值，分别将获得的各S分量的取值，作为对应的像素点的饱和度。
17.如权利要求13-16任一项所述的装置，其特征在于，根据所述目标多媒体元素图片的类型，确定所述目标多媒体元素图片对应的模板时，确定模块具体用于：
确定所述目标多媒体元素图片的类型；
若所述目标多媒体元素图片的类型为场景图，则根据预设选取规则，从模板数据库中确定出一个简单模板或一个复杂模板，其中，所述简单模板包括一个图层，所述复杂模板包括多个图层，所述复杂模板是根据多个简单模板叠加生成的；
若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板。
18.如权利要求17所述的装置，其特征在于，确定所述目标多媒体元素图片的类型时，所述确定模块具体用于：
确定所述目标多媒体元素图片的编码模式；
若确定所述编码模式为RGB模式，则确定所述目标多媒体元素图片的类型为场景图；
若确定所述编码模式为RGBA模式，则当所述目标多媒体元素图片中各个像素点对应的A分量的取值均大于0时，确定所述目标多媒体元素图片的类型为场景图，当所述目标多媒体元素图片中存在像素点对应的A分量的取值等于0时，确定所述目标多媒体元素图片的类型为透底图。
19.如权利要求17所述的装置，其特征在于，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块具体用于：
若确定的为一个简单模板，则根据所述目标多媒体元素图片的主题色，渲染确定的模板；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
20.如权利要求17所述的装置，其特征在于，若所述目标多媒体元素图片的类型为场景图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块具体用于：
若确定的为一个复杂模板，则根据所述目标多媒体元素图片的主题色和预设边界色，生成从所述主题色到所述预设边界色之间的各渐变色；
分别确定所述复杂模板中包含的各图层对应的颜色，其中，所述复杂模板中最底层对应的颜色为所述主题色，其它图层对应的颜色为从所述各渐变色中选取的颜色；
根据各图层对应的颜色，分别渲染所述复杂模板中包含的各图层；
将所述目标多媒体元素图片和渲染后的模板进行合成，获得合成后的多媒体对象。
21.如权利要求17所述的装置，其特征在于，根据所述目标多媒体元素图片的主题色，从所述模板数据库中筛选出与所述目标多媒体元素图片的主题色满足预设颜色差值条件的模板，并将筛选出的模板作为候选模板时，所述确定模块具体用于：
若只获取到一个目标多媒体元素图片，则从所述模板数据库中，筛选出与所述目标多媒体元素图片的主题色的颜色差值在第一颜色范围内的模板，作为候选模板，其中，所述模板数据库中至少包括各个模板，以及各个模板的主题色；
若获取到多个目标多媒体元素图片，则分别获得所述模板数据库中各个模板与各个目标多媒体元素图片的主题色的颜色差值，筛选出与所述各个目标多媒体元素图片的主题色的颜色差值均在第二颜色范围内的模板，作为候选模板。
22.如权利要求21所述的装置，其特征在于，若所述目标多媒体元素图片的类型为透底图，则根据所述目标多媒体元素图片，以及确定的主题色和模板，合成多媒体对象时，所述合成模块具体用于：
分别将筛选出的各候选模板和所述目标多媒体元素图片进行合成，获得各合成后的多媒体对象。
23.如权利要求22所述的装置，其特征在于，获得各合成后的多媒体对象之后，进一步包括，排序处理模块，用于：
确定用户的视觉偏好向量，并分别确定所述各合成后的多媒体对象的图片美感向量；
分别获得各图片美感向量与所述视觉偏好向量之间的相似度；
将相似度最高的合成后的多媒体对象发送给终端进行展示。
24.如权利要求23所述的装置，其特征在于，确定用户的视觉偏好向量时，所述排序处理模块具体用于：
获得所述用户的历史点击图片集；
基于已训练的图像质量模型，分别以所述历史点击图片集中各历史点击图片为输入参数，获得所述各历史点击图片的图像特征向量，并根据所述各历史点击图片的图片特征向量和对应的向量权重，确定所述用户的视觉偏好向量；
分别确定所述各合成后的多媒体对象的图片美感向量时，所述排序处理模块具体用于：
基于已训练的图像质量模型，分别以所述各合成后的多媒体对象为输入参数，获得所述各合成后的多媒体对象的图片美感向量。
25.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-12任一项所述方法的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-12任一项所述方法的步骤。
CN202011024359.4A 2020-09-25 2020-09-25 一种多媒体数据处理方法、装置、电子设备及存储介质 Active CN112218006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011024359.4A CN112218006B (zh) 2020-09-25 2020-09-25 一种多媒体数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011024359.4A CN112218006B (zh) 2020-09-25 2020-09-25 一种多媒体数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112218006A CN112218006A (zh) 2021-01-12
CN112218006B true CN112218006B (zh) 2022-11-15

Family

ID=74051116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011024359.4A Active CN112218006B (zh) 2020-09-25 2020-09-25 一种多媒体数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112218006B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422795B (zh) * 2023-12-18 2024-03-29 华南理工大学 基于数据处理的包装材料印刷图文自动生成方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014140138A (ja) * 2013-01-21 2014-07-31 Kddi Corp テーマ色の割当割合を調整可能な色変換処理プログラム、装置及び方法
CN108206917A (zh) * 2017-12-29 2018-06-26 中兴通讯股份有限公司 图像处理的方法及装置、存储介质、电子装置
CN108269295A (zh) * 2016-12-30 2018-07-10 珠海金山办公软件有限公司 一种幻灯片主题色彩智能引用的方法及装置
CN109345612A (zh) * 2018-09-13 2019-02-15 腾讯数码（天津）有限公司 一种图像生成方法、装置、设备和存储介质
CN109597664A (zh) * 2018-09-21 2019-04-09 北京字节跳动网络技术有限公司 展示区域的背景配置方法、装置、设备及可读介质
CN112328345A (zh) * 2020-11-02 2021-02-05 百度(中国)有限公司 用于确定主题色的方法、装置、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014140138A (ja) * 2013-01-21 2014-07-31 Kddi Corp テーマ色の割当割合を調整可能な色変換処理プログラム、装置及び方法
CN108269295A (zh) * 2016-12-30 2018-07-10 珠海金山办公软件有限公司 一种幻灯片主题色彩智能引用的方法及装置
CN108206917A (zh) * 2017-12-29 2018-06-26 中兴通讯股份有限公司 图像处理的方法及装置、存储介质、电子装置
CN109345612A (zh) * 2018-09-13 2019-02-15 腾讯数码（天津）有限公司 一种图像生成方法、装置、设备和存储介质
CN109597664A (zh) * 2018-09-21 2019-04-09 北京字节跳动网络技术有限公司 展示区域的背景配置方法、装置、设备及可读介质
CN112328345A (zh) * 2020-11-02 2021-02-05 百度(中国)有限公司 用于确定主题色的方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN112218006A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN106898026B (zh) 一种图片的主色调提取方法和装置
CN110198437B (zh) 图像的处理方法、装置、存储介质和电子装置
Žeger et al. Grayscale image colorization methods: Overview and evaluation
US11323676B2 (en) Image white balance processing system and method
US8630485B2 (en) Method for combining image and imaging product
CN104636759B (zh) 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐系统
CN100456804C (zh) 面部图像补偿设备和方法
CN109147005B (zh) 一种用于红外图像的自适应染色方法、系统、存储介质、终端
WO2021078036A1 (zh) 图像处理方法及装置
US9965778B2 (en) System and method for the indication of modification region boundaries on facial images
CN112102422B (zh) 图像处理方法及装置
CN113301408B (zh) 视频数据处理方法、装置、电子设备和可读存储介质
Murray et al. Toward automatic and flexible concept transfer
Lecca et al. Tuning the locality of filtering with a spatially weighted implementation of random spray Retinex
Yang et al. Training with augmented data: Gan-based flame-burning image synthesis for fire segmentation in warehouse
CN113436284A (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN112218006B (zh) 一种多媒体数据处理方法、装置、电子设备及存储介质
Murray et al. Towards automatic concept transfer
Liu Two decades of colorization and decolorization for images and videos
CN113722783A (zh) 基于深度学习模型的面向用户的服装智能设计系统及方法
GB2578988A (en) Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences
US20220157030A1 (en) High Quality AR Cosmetics Simulation via Image Filtering Techniques
Wu et al. Color transfer with salient features mapping via attention maps between images
CN111783382A (zh) 一种文档视觉效果的推荐方法和装置
CN113298921A (zh) 主题模板的配色方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant