CN109408648A - 关联确定方法、作品推荐方法 - Google Patents

关联确定方法、作品推荐方法 Download PDF

Info

Publication number
CN109408648A
CN109408648A CN201811258212.4A CN201811258212A CN109408648A CN 109408648 A CN109408648 A CN 109408648A CN 201811258212 A CN201811258212 A CN 201811258212A CN 109408648 A CN109408648 A CN 109408648A
Authority
CN
China
Prior art keywords
paintings
music
classification
belonging
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811258212.4A
Other languages
English (en)
Other versions
CN109408648B (zh
Inventor
李慧
周希波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Art Cloud Technology Co Ltd
BOE Art Cloud Suzhou Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811258212.4A priority Critical patent/CN109408648B/zh
Publication of CN109408648A publication Critical patent/CN109408648A/zh
Priority to PCT/CN2019/113073 priority patent/WO2020083344A1/zh
Application granted granted Critical
Publication of CN109408648B publication Critical patent/CN109408648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及关联确定方法，包括：提取音乐的音乐特征；基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别；提取画作的画作特征；基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别；根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。根据本发明的实施例，基于音乐和画作所属的类别，确定相关联的音乐和画作，可以根据画作为用户推荐音乐，也可以根据音乐为用户推荐画作，使得所推荐的作品是用户容易联想到的，从而易于被用户接受，有利于拓展用户欣赏音乐或画等作品时的欣赏范围，从而提高用户的欣赏作品的体验。

Description

关联确定方法、作品推荐方法
技术领域
本发明涉及显示技术领域，尤其涉及关联确定方法、关联确定装置、作品推荐方法、作品推荐装置、电子设备、计算机可读存储介质。
背景技术
音乐和画作都属于艺术作品，其中，音乐通过听觉欣赏，而画作通过视觉欣赏，虽然欣赏两者的感官不同，但是不同的感官所感觉到内容在一定程度上存在关联的。
发明内容
本发明提供关联确定方法、关联确定装置、作品推荐方法、作品推荐装置、电子设备、计算机可读存储介质，以解决相关技术中的不足。
根据本公开实施例的第一方面，提供一种关联确定方法，包括：
提取音乐的音乐特征；
基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别；
提取画作的画作特征；
基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别；
根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。
可选地，所述提取音乐的音乐特征包括：
对所述音乐进行梅尔频率倒谱分析，以确定所述音乐的梅尔频率倒谱系数作为所述音乐特征。
可选地，所述提取画作的画作特征包括：
提取所述画作的颜色特征，纹理特征，形状特征中的至少一种。
可选地，所述根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联包括：
基于所述音乐特征与所述音乐所属的至少一个类别生成第一矩阵；基于所述画作特征与所述画作所属的至少一个类别生成第二矩阵；
根据所述第一矩阵和所述第二矩阵的相似度确定所述音乐和画作是否关联。
可选地，所述根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联包括：
确定所述音乐所属的至少一个类别和所述画作所属的至少一个类别中相同的类别；
计算所述相同的类别在所述音乐所属的至少一个类别中的第一比例，以及所述相同的类别在所述画作所属的至少一个类别中的第二比例；
根据所述第一比例和第一预设比例的关系，以及所述第二比例与第二预设比例的关系，确定所述音乐和画作是否关联。
可选地，所述音乐分类器包括多个音乐子分类器，所述音乐子分类器通过以下方式确定：
在多个所述音乐构成的样本集中，通过重采样提取出多个音乐构成训练集，其中，所述样本集中的音乐被标记为属于至少一个类别；
确定所述训练集中的音乐所属类别的类别组合；
基于所述训练集，通过机器学习算法确定用于对所述音乐划分所属类别的类别组合的音乐子分类器。
可选地，所述基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别包括：
基于多个所述音乐子分类器分别对所述音乐特征进行处理，得到多个类别组合；
统计所述多个类别组合中每个类别出现的次数；
根据所述次数与第一次数阈值的关系确定所述音乐所属的至少一个类别。
可选地，所述画作分类器包括多个画作子分类器，所述画作子分类器通过以下方式确定：
在多个所述画作构成的样本集中，通过重采样提取出多个画作构成训练集，其中，所述样本集中的画作被标记为属于至少一个类别；
确定所述训练集中的画作所属类别的类别组合；
基于所述训练集，通过机器学习算法确定用于对所述画作划分所属类别的类别组合的画作子分类器。
可选地，所述基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别包括：
基于多个所述画作子分类器分别对所述画作特征进行处理，得到多个类别组合；
统计所述多个类别组合中每个类别出现的次数；
根据所述次数与第一次数阈值的关系确定所述画作所属的至少一个类别。
根据本公开实施例的第二方面，提供一种作品推荐方法，包括：
获取用户欣赏的第一作品；
查询与所述第一作品关联的第二作品，其中，所述第一作品包括音乐和/或画作，所述第二作品包括音乐和/或画作，所述第一作品和所述第二作品通过上述任一实施例所述的方法确定是否关联；
将所述第二作品推荐给所述用户。
根据本公开实施例的第三方面，提供一种关联确定装置，包括：
音乐特征提取模块，用于提取音乐的音乐特征；
音乐类别确定模块，用于基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别；
画作特征提取模块，用于提取画作的画作特征；
画作类别确定模块，用于基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别；
关联确定模块，用于根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。
可选地，所述音乐特征提取模块用于对所述音乐进行梅尔频率倒谱分析，以确定所述音乐的梅尔频率倒谱系数作为所述音乐特征。
可选地，所述画作特征提取模块包括颜色提取子模块、纹理提取子模块、形状提取子模块中的至少一种，
其中，所述颜色提取子模块，用于提取所述画作的颜色特征；
所述纹理提取子模块，用于提取所述画作的纹理特征；
所述形状提取子模块，用于提取所述画作的形状特征。
可选地，所述关联确定模块包括：
矩阵生成子模块，用于基于所述音乐特征与所述音乐所属的至少一个类别生成第一矩阵；基于所述画作特征与所述画作所属的至少一个类别生成第二矩阵；
相似度确定子模块，用于根据所述第一矩阵和所述第二矩阵的相似度确定所述音乐和画作是否关联。
可选地，所述关联确定模块包括：
相同确定子模块，用于确定所述音乐所属的至少一个类别和所述画作所属的至少一个类别中相同的类别；
比例计算子模块，用于计算所述相同的类别在所述音乐所属的至少一个类别中的第一比例，以及所述相同的类别在所述画作所属的至少一个类别中的第二比例；
比例比较子模块，用于根据所述第一比例和第一预设比例的关系，以及所述第二比例与第二预设比例的关系，确定所述音乐和画作是否关联。
可选地，所述音乐分类器包括多个音乐子分类器，所述装置还包括：
第一训练集构建模块，用于在多个所述音乐构成的样本集中，通过重采样提取出多个音乐构成训练集，其中，所述样本集中的音乐被标记为属于至少一个类别；
第一组合确定模块，用于确定所述训练集中的音乐所属类别的类别组合；
第一机器学习模块，用于基于所述训练集，通过机器学习算法确定用于对所述音乐划分所属类别的类别组合的音乐子分类器。
可选地，所述音乐类别确定模块包括：
第一处理子模块，用于基于多个所述音乐子分类器分别对所述音乐特征进行处理，得到多个类别组合；
第一统计子模块，用于统计所述多个类别组合中每个类别出现的次数；
第一确定子模块，用于根据所述次数与第一次数阈值的关系确定所述音乐所属的至少一个类别。
可选地，所述画作分类器包括多个画作子分类器，所述装置还包括：
第二训练集构建模块，用于在多个所述画作构成的样本集中，通过重采样提取出多个画作构成训练集，其中，所述样本集中的画作被标记为属于至少一个类别；
第二组合确定模块，用于确定所述训练集中的画作所属类别的类别组合；
第二机器学习模块，用于基于所述训练集，通过机器学习算法确定用于对所述画作划分所属类别的类别组合的画作子分类器。
可选地，所述画作类别确定模块包括：
第二处理子模块，用于基于多个所述画作子分类器分别对所述画作特征进行处理，得到多个类别组合；
第二统计子模块，用于统计所述多个类别组合中每个类别出现的次数；
第二确定子模块，用于根据所述次数与第一次数阈值的关系确定所述画作所属的至少一个类别。
根据本公开实施例的第四方面，提供一种作品推荐装置，包括：
获取模块，用于获取用户欣赏的第一作品；
查询模块，用于查询与所述第一作品关联的第二作品，其中，所述第一作品包括音乐和/或画作，所述第二作品包括音乐和/或画作，所述第一作品和所述第二作品通过上述任一实施例所述的方法确定是否关联；
推荐模块，用于将所述第二作品推荐给所述用户。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述任一实施例所述关联确定方法和/或作品推荐方法中的步骤。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述关联确定方法和/或作品推荐方法中的步骤。
根据上述实施例可知，人的感官对属于相同类别的音乐和画作可以产生关联的联想，例如属于“鸟”这个类别的音乐是鸟鸣声，画作是鸟的图案，那么用户基于鸟的图案可以联想到鸟鸣声。
基于音乐和画作所属的类别，确定相关联的音乐和画作，可以根据画作为用户推荐音乐，也可以根据音乐为用户推荐画作，使得所推荐的作品是用户容易联想到的，从而易于被用户接受，有利于拓展用户欣赏音乐或画等作品时的欣赏范围，从而提高用户的欣赏作品的体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种关联确定方法的示意流程图。
图2是根据本发明实施例示出的一种提取音乐的音乐特征的示意流程图。
图3是根据本发明实施例示出的一种提取画作的画作特征的示意流程图。
图4是根据本发明实施例示出的一种根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联的示意流程图。
图5是根据本发明实施例示出的另一种根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联的示意流程图。
图6是根据本发明实施例示出的一种确定音乐子分类器的示意流程图。
图7是根据本发明实施例示出的一种基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别的示意流程图。
图8是根据本发明实施例示出的一种确定画作子分类器的示意流程图。
图9是根据本发明实施例示出的一种基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别的示意流程图。
图10是根据本发明实施例示出的一种作品推荐方法的示意流程图。
图11是根据本发明实施例示出的一种关联确定装置的示意框图。
图12是根据本发明实施例示出的一种画作特征提取模块的示意框图。
图13是根据本发明实施例示出的一种关联确定模块示意框图。
图14是根据本发明实施例示出的另一种关联确定模块示意框图。
图15是根据本发明实施例示出的另一种关联确定装置的示意框图。
图16是根据本发明实施例示出的一种音乐类别确定模块的示意框图。
图17是根据本发明实施例示出的又一种关联确定装置的示意框图。
图18是根据本发明实施例示出的一种画作类别确定模块的示意框图。
图19是根据本发明实施例示出的一种作品推荐装置的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本发明实施例示出的一种关联确定方法的示意流程图。所述关联确定方法可以适用于终端设备，例如手机、平板电脑、可穿戴设备、电视等，也可以适用于服务器。
如图1所示，所述关联确定方法可以包括以下步骤：
步骤S1，提取音乐的音乐特征；
步骤S2，基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别；
步骤S3，提取画作的画作特征；
步骤S4，基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别；
步骤S5，根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。
在一个实施例中，步骤S1和步骤S3的执行顺序不分先后，例如可以先执行步骤S1，后执行步骤S3，也可以先执行步骤S3，后执行步骤S3，还可以同时执行步骤S1和步骤S3。
在一个实施例中，虽然音乐通过听觉欣赏，画作通过视觉欣赏，但是两者表达的内容在一定程度上可以存在关系，这种关系可以基于音乐所属的类别和画作所属的类别来确定。
在画作所属的类别和音乐所属的类别中，存在相同的类别，也存在不同的类别，一般而言，属于相同类别的音乐和画作可以确定为关联，在某些情况下，属于不同类别的音乐和画作也可能关联。
以色调作为类别为例，例如画作的类别为暖色调(红、橙、黄等颜色)，那么与其关联的音乐的类别可以是大调式；例如画作的类别为冷色调(绿、青、蓝等颜色)，那么与其关联的音乐的类别可以是小调式。
以流派作为类别为例，所述流派包括印象主义、古典主义、浪漫主义、新古典主义、表现主义、概念流派、电子流派(电脑绘图/电子音乐)等，那么属于相同流派的音乐和画作可以确定关联。
以题材作为类别为例，所述题材包括风景(具体可以是鸟、雷、流水等)，节日(具体可以是春节、圣诞、情人节等)，那么属于相同题材的音乐和画作可以确定关联。
在一个实施例中，人的感官对属于相同类别的音乐和画作可以产生关联的联想，例如属于“鸟”这个类别的音乐是鸟鸣声，画作是鸟的图案，那么用户基于鸟的图案可以联想到鸟鸣声。
基于音乐和画作所属的类别，确定相关联的音乐和画作，可以根据画作为用户推荐音乐，也可以根据音乐为用户推荐画作，使得所推荐的作品是用户容易联想到的，从而易于被用户接受，有利于拓展用户欣赏音乐或画等作品时的欣赏范围，从而提高用户的欣赏作品的体验。
在某些情况下，画作所属的类别不只一种，音乐所属的类别也不只一种，两者所属的类别部分相同，部分不同，这种情况如何确定音乐和画作相关联，在后续实施例进行说明。
图2是根据本发明实施例示出的一种提取音乐的音乐特征的示意流程图。如图2所示，在图1所示实施例的基础上，所述提取音乐的音乐特征包括：
步骤S11，对所述音乐进行梅尔频率倒谱分析，以确定所述音乐的梅尔频率倒谱系数作为所述音乐特征。
在一个实施例中，音乐作为一种音频信号，其语义特征可以通过梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient，简称MFCC)来表示，其中，梅尔频率倒谱系数可以通过下述步骤得到：
根据音乐的短时平稳特性，对音乐进行分帧处理；采用汉明窗对每帧音乐进行加窗，以减小吉布斯效应的影响；对每一个短时分析窗，通过快速傅立叶变换得到对应的频谱；用一组梅尔刻度上线性分布的三角窗滤波器对频谱进行滤波，将自然频谱转换为体现人类听觉特性的梅尔频谱；对梅尔频谱进行倒谱分析，通过离散余弦变换获得梅尔频率倒谱系数。
图3是根据本发明实施例示出的一种提取画作的画作特征的示意流程图。如图3所示，在图1所示实施例的基础上，所述提取画作的画作特征包括：
步骤S31，提取所述画作的颜色特征，纹理特征，形状特征中的至少一种。
在一个实施例中，画作作为图像，可以通过颜色特征、纹理特征、形状特征这三种特征中的一种或多种特征来描述，其中，颜色特征可以描述图像或区域对应景物的表面性质，纹理特征可以描述图像或区域对应景物的区域特征，形状特征可以描述图像或区域的轮廓及边界特征。
其中，对于画作中的像素可以计算方向梯度直方分布图(HOG，Histogram ofOriented Gradient)，取梯度的方向分布为颜色特征，例如，可以将像素的梯度分为9个方向，那么针对每个像素计算的梯度直方分布图是维度为9的向量，方向分布是指将每个像素的梯度直方分布图对应的向量串联，以作为所述颜色特征；
其中，针对画作可以构建画作纹理的分布模型，然后采用马尔科夫随机场模型(MRF)来描述纹理的随机过程，取分布模型参数向量作为纹理特征。
其中，针对画作可以采用傅立叶形状描述法(FSD)，用物体边界的傅立叶变换作为形状描述，由边界点导出曲率函数、质心距离、复坐标函数等作为形状特征。
图4是根据本发明实施例示出的一种根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联的示意流程图。如图4所示，在图1所示实施例的基础上，所述根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联包括：
步骤S51，基于所述音乐特征与所述音乐所属的至少一个类别生成第一矩阵；基于所述画作特征与所述画作所属的至少一个类别生成第二矩阵；
步骤S52，根据所述第一矩阵和所述第二矩阵的相似度确定所述音乐和画作是否关联。
在一个实施例中，对于音乐而言，例如从中提取出m个音乐特征，并且确定该音乐属于k个类别，对于画作而言，例如从中提取出n个画作特征，并且确定该音乐属于k个类别，那么可以根据m个音乐特征和k个类别构建音乐与类别的相关性矩阵Pm×k，以及根据n个画作特征和k个类别构建画作与类别的相关性矩阵Qn×k，进而可以通过计算矩阵P和矩阵Q的余弦相似度SR：
进而根据SR可以确定音乐和画作的关联度，例如针对某个音乐而言，将SR大于预设阈值的画作确定为与该音乐关联的画作。
图5是根据本发明实施例示出的另一种根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联的示意流程图。如图5所示，在图1所示实施例的基础上，所述根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联包括：
步骤S53，确定所述音乐所属的至少一个类别和所述画作所属的至少一个类别中相同的类别；
步骤S54，计算所述相同的类别在所述音乐所属的至少一个类别中的第一比例，以及所述相同的类别在所述画作所属的至少一个类别中的第二比例；
步骤S55，根据所述第一比例和第一预设比例的关系，以及所述第二比例与第二预设比例的关系，确定所述音乐和画作是否关联。
在一个实施例中，由于音乐可以属于多个类别，画作也可以属于多个类别，但是两者所属的类别可能仅部分类别相同，其中，相同的类别在音乐所属的类别中占比为第一比例，在画作所属的类别中占比为第二比例，若第一比例和第二比例较高，也即第一比例大于第一预设比例，且第二比例大于第二预设比例，那么说明音乐所属的类别和画作所属的类别大部分相同，从而可以确定两者相关；相应地，若第一比例小于或等于第一预设比例，或者第二比例小于或等于第二预设比例，那么可以确定两者不相关。
图6是根据本发明实施例示出的一种确定音乐子分类器的示意流程图。如图6所示，在图1所示实施例的基础上，所述音乐分类器包括多个音乐子分类器，所述音乐子分类器通过以下方式确定：
步骤S21，在多个所述音乐构成的样本集中，通过重采样提取出多个音乐构成训练集，其中，所述样本集中的音乐被标记为属于至少一个类别；
步骤S22，确定所述训练集中的音乐所属类别的类别组合；
步骤S23，基于所述训练集，通过机器学习算法确定用于对所述音乐划分所属类别的类别组合的音乐子分类器。
在一个实施例中，基于多个预先确定并标记了类别的音乐可以构成样本集，为了保证采样比例不会发生严重倾斜，可以通过重采样(例如针对类别A，属于该类别的音乐较多，那么对于类别A的音乐设置的采样比例较大，针对类别B，属于该类别的音乐较少，那么对于类别B的音乐设置的采样比例较小)从样本集中提取音乐构成训练集。
对于训练集中的音乐，可以统计所有出现过的类别组合，需要说明的是，类别组合也包括仅一个类别的情况，例如对于类别a，b，c，训练集中的音乐有的属于类别a和类别b，那么统计一次类别组合ab，有的音乐仅属于类别c，那么统计一次类别组合c，若训练集中仅有属于ab，bc，abc和c的音乐，那么最终统计的结果可以是ab，ac，bc，abc和c共五种类别组合。
基于此，可以构建分类器的模型，该模型以音乐特征为输入量，以类别组合为输出量，对于上述训练集中的音乐，共可以输出五种类别组合。其中，可以基于训练集，通过机器学习算法对分类器的模型进行训练，以最终确定分类器。
其中，采用的机器学习算法包括改良的随机森林算法、逻辑回归、决策树等，分类器的模型可以是支持向量机。
图7是根据本发明实施例示出的一种基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别的示意流程图。如图7所示，在图6所示实施例的基础上，所述基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别包括：
步骤S24，基于多个所述音乐子分类器分别对所述音乐特征进行处理，得到多个类别组合；
步骤S25，统计所述多个类别组合中每个类别出现的次数；
步骤S26，根据所述次数与第一次数阈值的关系确定所述音乐所属的至少一个类别。
在一个实施例中，对于样本集可以按照图6所示的实施例进行多次重采样，从而得到多个训练集，针对每个训练集可以按照图6所示的实施例得到音乐子分类器，例如以得到X个音乐子分类器为例，基于每个分类器，可以分别对待分类的音乐进行处理，也即将待分类的音乐特征输入分类器，得到类别组合，那么基于X个音乐子分类器可以得到X个类别组合。
进而对于得到的X个类别组合，可以统计其中每个类别出现的出，例如上述a，b和c分别出现的次数，并比较每个类别出现的次数与第一次数阈值，若某个类别出现的次数大于第一次数阈值，说明待分类的音乐较大概率属于该类别，例如类别a出现的次数大于第一次数阈值，说明待分类的音乐较大概率属于类别a，也即确定音乐属于类别a。当然，可能存在多个类别出现的次数大于第一次数阈值，那么可以确定待分类的音乐属于多个类别。
图8是根据本发明实施例示出的一种确定画作子分类器的示意流程图。如图8所示，在图1所示实施例的基础上，所述画作分类器包括多个画作子分类器，所述画作子分类器通过以下方式确定：
步骤S41，在多个所述画作构成的样本集中，通过重采样提取出多个画作构成训练集，其中，所述样本集中的画作被标记为属于至少一个类别；
步骤S42，确定所述训练集中的画作所属类别的类别组合；
步骤S43，基于所述训练集，通过机器学习算法确定用于对所述画作划分所属类别的类别组合的画作子分类器。
在一个实施例中，基于多个预先确定并标记了类别的画作可以构成样本集，为了保证采样比例不会发生严重倾斜，可以通过重采样(例如针对类别A，属于该类别的画作较多，那么对于类别A的画作设置的采样比例较大，针对类别B，属于该类别的画作较少，那么对于类别B的画作设置的采样比例较小)从样本集中提取画作构成训练集。
对于训练集中的画作，可以统计所有出现过的类别组合，需要说明的是，类别组合也包括仅一个类别的情况，例如对于类别a，b，c，训练集中的画作有的属于类别a和类别b，那么统计一次类别组合ab，有的画作仅属于类别c，那么统计一侧类别组合c，最终统计的结果可以是ab，ac，bc，abc和c共五种类别组合。
基于此，可以构建分类器的模型，该模型以画作特征为输入量，以类别组合为输出量，对于上述训练集中的画作，共可以输出五种类别组合。其中，可以基于训练集，通过机器学习算法对分类器的模型进行训练，以最终确定分类器。
其中，采用的机器学习算法包括改良的随机森林算法、逻辑回归、决策树等，分类器的模型可以是支持向量机。
图9是根据本发明实施例示出的一种基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别的示意流程图。如图9所示，在图8所示实施例的基础上，所述基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别包括：
步骤S44，基于多个所述画作子分类器分别对所述画作特征进行处理，得到多个类别组合；
步骤S45，统计所述多个类别组合中每个类别出现的次数；
步骤S46，根据所述次数与第一次数阈值的关系确定所述画作所属的至少一个类别。
在一个实施例中，对于样本集可以按照图6所示的实施例进行多次重采样，从而得到多个训练集，针对每个训练集可以按照图6所示的实施例得到画作子分类器，例如以得到Y个画作子分类器为例，基于每个分类器，可以分别对待分类的画作进行处理，也即将待分类的画作特征输入分类器，得到类别组合，那么基于Y个画作子分类器可以得到Y个类别组合。
进而对于得到的Y个类别组合，可以统计其中每个类别出现的出，例如上述a，b和c分别出现的次数，并比较每个类别出现的次数与第一次数阈值，若某个类别出现的次数大于第一次数阈值，说明待分类的画作较大概率属于该类别，例如类别a出现的次数大于第一次数阈值，说明待分类的画作较大概率属于类别a，也即确定画作属于类别a。当然，可能存在多个类别出现的次数大于第一次数阈值，那么可以确定待分类的画作属于多个类别。
至此，确定出音乐的类别和画作的类别，进一步可以基于图4或图5所示的实施例，根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。
图10是根据本发明实施例示出的一种作品推荐方法的示意流程图，本实施例所述的作品推荐方法可以适用于终端设备，例如手机、平板电脑、可穿戴设备、电视等，也可以适用于服务器。
如图10所示，所述作品推荐方法包括：
步骤S1’，获取用户欣赏的第一作品；
步骤S2’，查询与所述第一作品关联的第二作品，其中，所述第一作品包括音乐和/或画作，所述第二作品包括音乐和/或画作，所述第一作品和所述第二作品通过上述任一实施例所述的关联确定方法确定是否关联；
步骤S3’，将所述第二作品推荐给所述用户。
在一个实施例中，对于用户欣赏的第一作品，所述第一作品可以是音乐也可以是画作，以第一作品是音乐为例，基于上述关联确定方法，可以确定与音乐关联的画作，其中，确定的画作的可以是一幅也可以是多幅，并将该画作推荐给用户。例如用户欣赏的音乐所属的类别为古典主义，那么可以向用户古典主义的画作，一方面扩展用户欣赏作品的范围，另一方面可以在较大程度上保证所推荐的作品被用户接受。
与前述关联确定方法、作品推荐方法的实施例相对应地，本公开还提出了关联确定装置、作品推荐装置的实施例。
图11是根据本发明实施例示出的一种关联确定装置的示意框图。如图11所示，所述关联确定装置包括：
音乐特征提取模块1，用于提取音乐的音乐特征；
音乐类别确定模块2，用于基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别；
画作特征提取模块3，用于提取画作的画作特征；
画作类别确定模块4，用于基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别；
关联确定模块5，用于根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。
可选地，所述音乐特征提取模块用于对所述音乐进行梅尔频率倒谱分析，以确定所述音乐的梅尔频率倒谱系数作为所述音乐特征。
图12是根据本发明实施例示出的一种画作特征提取模块的示意框图。如图12所示，在图11所示实施例的基础上，所述画作特征提取模块3包括：颜色提取子模块31、纹理提取子模块32、形状提取子模块33中的至少一种，
其中，所述颜色提取子模块31，用于提取所述画作的颜色特征；
所述纹理提取子模块32，用于提取所述画作的纹理特征；
所述形状提取子模块33，用于提取所述画作的形状特征。
需要说明的是，图12示出了画作特征提取模块3同时颜色提取子模块31、纹理提取子模块32、形状提取子模块33的情况，实际情况下，可以根据需要配置画作特征提取模块3仅包括颜色提取子模块31、纹理提取子模块32、形状提取子模块33中的至少一种。
图13是根据本发明实施例示出的一种关联确定模块示意框图。如图13所示，在图11所示实施例的基础上，所述关联确定模块5包括：
矩阵生成子模块51，用于基于所述音乐特征与所述音乐所属的至少一个类别生成第一矩阵；基于所述画作特征与所述画作所属的至少一个类别生成第二矩阵；
相似度确定子模块52，用于根据所述第一矩阵和所述第二矩阵的相似度确定所述音乐和画作是否关联。
图14是根据本发明实施例示出的另一种关联确定模块示意框图。如图14所示，在图11所示实施例的基础上，所述关联确定模块5包括：
相同确定子模块53，用于确定所述音乐所属的至少一个类别和所述画作所属的至少一个类别中相同的类别；
比例计算子模块54，用于计算所述相同的类别在所述音乐所属的至少一个类别中的第一比例，以及所述相同的类别在所述画作所属的至少一个类别中的第二比例；
比例比较子模块55，用于根据所述第一比例和第一预设比例的关系，以及所述第二比例与第二预设比例的关系，确定所述音乐和画作是否关联。
图15是根据本发明实施例示出的另一种关联确定装置的示意框图。如图15所示，在图11所示实施例的基础上，所述音乐分类器包括多个音乐子分类器，所述装置还包括：
第一训练集构建模块6，用于在多个所述音乐构成的样本集中，通过重采样提取出多个音乐构成训练集，其中，所述样本集中的音乐被标记为属于至少一个类别；
第一组合确定模块7，用于确定所述训练集中的音乐所属类别的类别组合；
第一机器学习模块8，用于基于所述训练集，通过机器学习算法确定用于对所述音乐划分所属类别的类别组合的音乐子分类器。
图16是根据本发明实施例示出的一种音乐类别确定模块的示意框图。如图16所示，在图15所示实施例的基础上，所述音乐类别确定模块2包括：
第一处理子模块21，用于基于多个所述音乐子分类器分别对所述音乐特征进行处理，得到多个类别组合；
第一统计子模块22，用于统计所述多个类别组合中每个类别出现的次数；
第一确定子模块23，用于根据所述次数与第一次数阈值的关系确定所述音乐所属的至少一个类别。
图17是根据本发明实施例示出的又一种关联确定装置的示意框图。如图17所示，在图11所示实施例的基础上，所述画作分类器包括多个画作子分类器，所述装置还包括：
第二训练集构建模块9，用于在多个所述画作构成的样本集中，通过重采样提取出多个画作构成训练集，其中，所述样本集中的画作被标记为属于至少一个类别；
第二组合确定模块10，用于确定所述训练集中的画作所属类别的类别组合；
第二机器学习模块11，用于基于所述训练集，通过机器学习算法确定用于对所述画作划分所属类别的类别组合的画作子分类器。
图18是根据本发明实施例示出的一种画作类别确定模块的示意框图。如图18所示，在图15所示实施例的基础上，所述画作类别确定模块4包括：
第二处理子模块41，用于基于多个所述画作子分类器分别对所述画作特征进行处理，得到多个类别组合；
第二统计子模块42，用于统计所述多个类别组合中每个类别出现的次数；
第二确定子模块43，用于根据所述次数与第一次数阈值的关系确定所述画作所属的至少一个类别。
图19是根据本发明实施例示出的一种作品推荐装置的示意框图。如图19所示，所述作品推荐装置包括：
获取模块1’，用于获取用户欣赏的第一作品；
查询模块2’，用于查询与所述第一作品关联的第二作品，其中，所述第一作品包括音乐和/或画作，所述第二作品包括音乐和/或画作，所述第一作品和所述第二作品通过上述任一实施例所述的方法确定是否关联；
推荐模块3’，用于将所述第二作品推荐给所述用户。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在相关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开的实施例还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述任一实施例所述关联确定方法和/或作品推荐方法中的步骤。
本公开的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述关联确定方法和/或作品推荐方法中的步骤。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (22)

1.一种关联确定方法，其特征在于，包括：
提取音乐的音乐特征；
基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别；
提取画作的画作特征；
基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别；
根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。
2.根据权利要求1所述的方法，其特征在于，所述提取音乐的音乐特征包括：
对所述音乐进行梅尔频率倒谱分析，以确定所述音乐的梅尔频率倒谱系数作为所述音乐特征。
3.根据权利要求1所述的方法，其特征在于，所述提取画作的画作特征包括：
提取所述画作的颜色特征，纹理特征，形状特征中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联包括：
基于所述音乐特征与所述音乐所属的至少一个类别生成第一矩阵；基于所述画作特征与所述画作所属的至少一个类别生成第二矩阵；
根据所述第一矩阵和所述第二矩阵的相似度确定所述音乐和画作是否关联。
5.根据权利要求1所述的方法，其特征在于，所述根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联包括：
确定所述音乐所属的至少一个类别和所述画作所属的至少一个类别中相同的类别；
计算所述相同的类别在所述音乐所属的至少一个类别中的第一比例，以及所述相同的类别在所述画作所属的至少一个类别中的第二比例；
根据所述第一比例和第一预设比例的关系，以及所述第二比例与第二预设比例的关系，确定所述音乐和画作是否关联。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述音乐分类器包括多个音乐子分类器，所述音乐子分类器通过以下方式确定：
在多个所述音乐构成的样本集中，通过重采样提取出多个音乐构成训练集，其中，所述样本集中的音乐被标记为属于至少一个类别；
确定所述训练集中的音乐所属类别的类别组合；
基于所述训练集，通过机器学习算法确定用于对所述音乐划分所属类别的类别组合的音乐子分类器。
7.根据权利要求6所述的方法，其特征在于，所述基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别包括：
基于多个所述音乐子分类器分别对所述音乐特征进行处理，得到多个类别组合；
统计所述多个类别组合中每个类别出现的次数；
根据所述次数与第一次数阈值的关系确定所述音乐所属的至少一个类别。
8.根据权利要求1至5中任一项所述的方法，其特征在于，所述画作分类器包括多个画作子分类器，所述画作子分类器通过以下方式确定：
在多个所述画作构成的样本集中，通过重采样提取出多个画作构成训练集，其中，所述样本集中的画作被标记为属于至少一个类别；
确定所述训练集中的画作所属类别的类别组合；
基于所述训练集，通过机器学习算法确定用于对所述画作划分所属类别的类别组合的画作子分类器。
9.根据权利要求8所述的方法，其特征在于，所述基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别包括：
基于多个所述画作子分类器分别对所述画作特征进行处理，得到多个类别组合；
统计所述多个类别组合中每个类别出现的次数；
根据所述次数与第一次数阈值的关系确定所述画作所属的至少一个类别。
10.一种作品推荐方法，其特征在于，包括：
获取用户欣赏的第一作品；
查询与所述第一作品关联的第二作品，其中，所述第一作品包括音乐和/或画作，所述第二作品包括音乐和/或画作，所述第一作品和所述第二作品通过权利要求1至9中任一项所述的方法确定是否关联；
将所述第二作品推荐给所述用户。
11.一种关联确定装置，其特征在于，包括：
音乐特征提取模块，用于提取音乐的音乐特征；
音乐类别确定模块，用于基于音乐分类器对所述音乐特征进行处理，以确定所述音乐所属的至少一个类别；
画作特征提取模块，用于提取画作的画作特征；
画作类别确定模块，用于基于画作分类器对所述画作特征进行处理，以确定所述画作所属的至少一个类别；
关联确定模块，用于根据所述音乐所属的至少一个类别，和所述画作所属的至少一个类别之间的关系，确定所述音乐和画作是否关联。
12.根据权利要求11所述的装置，其特征在于，所述音乐特征提取模块用于对所述音乐进行梅尔频率倒谱分析，以确定所述音乐的梅尔频率倒谱系数作为所述音乐特征。
13.根据权利要求11所述的装置，其特征在于，所述画作特征提取模块包括颜色提取子模块、纹理提取子模块、形状提取子模块中的至少一种，
其中，所述颜色提取子模块，用于提取所述画作的颜色特征；
所述纹理提取子模块，用于提取所述画作的纹理特征；
所述形状提取子模块，用于提取所述画作的形状特征。
14.根据权利要求11所述的装置，其特征在于，所述关联确定模块包括：
矩阵生成子模块，用于基于所述音乐特征与所述音乐所属的至少一个类别生成第一矩阵；基于所述画作特征与所述画作所属的至少一个类别生成第二矩阵；
相似度确定子模块，用于根据所述第一矩阵和所述第二矩阵的相似度确定所述音乐和画作是否关联。
15.根据权利要求11所述的装置，其特征在于，所述关联确定模块包括：
相同确定子模块，用于确定所述音乐所属的至少一个类别和所述画作所属的至少一个类别中相同的类别；
比例计算子模块，用于计算所述相同的类别在所述音乐所属的至少一个类别中的第一比例，以及所述相同的类别在所述画作所属的至少一个类别中的第二比例；
比例比较子模块，用于根据所述第一比例和第一预设比例的关系，以及所述第二比例与第二预设比例的关系，确定所述音乐和画作是否关联。
16.根据权利要求11至15中任一项所述的装置，其特征在于，所述音乐分类器包括多个音乐子分类器，所述装置还包括：
第一训练集构建模块，用于在多个所述音乐构成的样本集中，通过重采样提取出多个音乐构成训练集，其中，所述样本集中的音乐被标记为属于至少一个类别；
第一组合确定模块，用于确定所述训练集中的音乐所属类别的类别组合；
第一机器学习模块，用于基于所述训练集，通过机器学习算法确定用于对所述音乐划分所属类别的类别组合的音乐子分类器。
17.根据权利要求16所述的装置，其特征在于，所述音乐类别确定模块包括：
第一处理子模块，用于基于多个所述音乐子分类器分别对所述音乐特征进行处理，得到多个类别组合；
第一统计子模块，用于统计所述多个类别组合中每个类别出现的次数；
第一确定子模块，用于根据所述次数与第一次数阈值的关系确定所述音乐所属的至少一个类别。
18.根据权利要求11至15中任一项所述的装置，其特征在于，所述画作分类器包括多个画作子分类器，所述装置还包括：
第二训练集构建模块，用于在多个所述画作构成的样本集中，通过重采样提取出多个画作构成训练集，其中，所述样本集中的画作被标记为属于至少一个类别；
第二组合确定模块，用于确定所述训练集中的画作所属类别的类别组合；
第二机器学习模块，用于基于所述训练集，通过机器学习算法确定用于对所述画作划分所属类别的类别组合的画作子分类器。
19.根据权利要求18所述的装置，其特征在于，所述画作类别确定模块包括：
第二处理子模块，用于基于多个所述画作子分类器分别对所述画作特征进行处理，得到多个类别组合；
第二统计子模块，用于统计所述多个类别组合中每个类别出现的次数；
第二确定子模块，用于根据所述次数与第一次数阈值的关系确定所述画作所属的至少一个类别。
20.一种作品推荐装置，其特征在于，包括：
获取模块，用于获取用户欣赏的第一作品；
查询模块，用于查询与所述第一作品关联的第二作品，其中，所述第一作品包括音乐和/或画作，所述第二作品包括音乐和/或画作，所述第一作品和所述第二作品通过权利要求1至9中任一项所述的方法确定是否关联；
推荐模块，用于将所述第二作品推荐给所述用户。
21.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1至10中任一项所述方法中的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10中任一项所述方法中的步骤。
CN201811258212.4A 2018-10-26 2018-10-26 关联确定方法、作品推荐方法 Active CN109408648B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811258212.4A CN109408648B (zh) 2018-10-26 2018-10-26 关联确定方法、作品推荐方法
PCT/CN2019/113073 WO2020083344A1 (zh) 2018-10-26 2019-10-24 关联确定方法和装置、推荐方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811258212.4A CN109408648B (zh) 2018-10-26 2018-10-26 关联确定方法、作品推荐方法

Publications (2)

Publication Number Publication Date
CN109408648A true CN109408648A (zh) 2019-03-01
CN109408648B CN109408648B (zh) 2021-01-22

Family

ID=65469108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811258212.4A Active CN109408648B (zh) 2018-10-26 2018-10-26 关联确定方法、作品推荐方法

Country Status (2)

Country Link
CN (1) CN109408648B (zh)
WO (1) WO2020083344A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347855A (zh) * 2019-07-17 2019-10-18 京东方科技集团股份有限公司 画作推荐方法、终端设备、服务器、计算机设备及介质
WO2020083344A1 (zh) * 2018-10-26 2020-04-30 京东方科技集团股份有限公司 关联确定方法和装置、推荐方法和装置、电子设备、计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242164A (ja) * 2002-02-19 2003-08-29 Matsushita Electric Ind Co Ltd 楽曲検索再生装置、及びそのシステム用プログラムを記録した媒体
CN101021849A (zh) * 2006-09-14 2007-08-22 浙江大学 基于内容相关性的跨媒体检索方法
CN103475789A (zh) * 2013-08-26 2013-12-25 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
CN105912722A (zh) * 2016-05-04 2016-08-31 广州酷狗计算机科技有限公司 歌曲发送方法及装置
CN109189976A (zh) * 2018-09-20 2019-01-11 腾讯音乐娱乐科技（深圳）有限公司 搜索音频数据的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514456B (zh) * 2013-06-30 2017-04-12 安科智慧城市技术（中国）有限公司 基于压缩感知多核学习的图像分类方法及其装置
CN108595550A (zh) * 2018-04-10 2018-09-28 南京邮电大学 一种基于卷积神经网络的音乐推荐系统及推荐方法
CN109408648B (zh) * 2018-10-26 2021-01-22 京东方科技集团股份有限公司 关联确定方法、作品推荐方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242164A (ja) * 2002-02-19 2003-08-29 Matsushita Electric Ind Co Ltd 楽曲検索再生装置、及びそのシステム用プログラムを記録した媒体
CN101021849A (zh) * 2006-09-14 2007-08-22 浙江大学 基于内容相关性的跨媒体检索方法
CN103793447A (zh) * 2012-10-26 2014-05-14 汤晓鸥 音乐与图像间语义相识度的估计方法和估计系统
CN103475789A (zh) * 2013-08-26 2013-12-25 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN105912722A (zh) * 2016-05-04 2016-08-31 广州酷狗计算机科技有限公司 歌曲发送方法及装置
CN109189976A (zh) * 2018-09-20 2019-01-11 腾讯音乐娱乐科技（深圳）有限公司 搜索音频数据的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083344A1 (zh) * 2018-10-26 2020-04-30 京东方科技集团股份有限公司 关联确定方法和装置、推荐方法和装置、电子设备、计算机可读存储介质
CN110347855A (zh) * 2019-07-17 2019-10-18 京东方科技集团股份有限公司 画作推荐方法、终端设备、服务器、计算机设备及介质
US11341735B2 (en) 2019-07-17 2022-05-24 Boe Technology Group Co., Ltd. Image recommendation method, client, server, computer system and medium

Also Published As

Publication number Publication date
WO2020083344A1 (zh) 2020-04-30
CN109408648B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
Alwassel et al. Self-supervised learning by cross-modal audio-video clustering
Deng et al. Image aesthetic assessment: An experimental survey
CN107742107B (zh) 人脸图像分类方法、装置及服务器
CN108322788A (zh) 一种视频直播中的广告展示方法及装置
CN105118082B (zh) 个性化视频生成方法及系统
Li et al. Aesthetic visual quality assessment of paintings
CN109376603A (zh) 一种视频识别方法、装置、计算机设备及存储介质
JP5273042B2 (ja) 画像音響区間群対応付け装置と方法およびプログラム
WO2019233360A1 (zh) 一种基于深度学习的音域平衡方法、装置及系统
Koepke et al. Sight to sound: An end-to-end approach for visual piano transcription
CN103793447B (zh) 音乐与图像间语义相似度的估计方法和估计系统
CN108573243A (zh) 一种基于深度卷积神经网络的低质量人脸的比对方法
CN107330750A (zh) 一种推荐产品配图方法及装置，电子设备
Mironică et al. A modified vector of locally aggregated descriptors approach for fast video classification
CN110516671A (zh) 神经网络模型的训练方法、图像检测方法及装置
CN103365936A (zh) 视频推荐系统及其方法
CN109978034A (zh) 一种基于数据增强的声场景辨识方法
CN110489659A (zh) 数据匹配方法和装置
CN108197669B (zh) 卷积神经网络的特征训练方法及装置
KR101642200B1 (ko) 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
CN106294483A (zh) 用于为产品品牌匹配代言人的数据处理方法和装置
CN111737473B (zh) 文本分类方法、装置及设备
CN109408648A (zh) 关联确定方法、作品推荐方法
CN109859770A (zh) 音乐分离方法、装置及计算机可读存储介质
CN109271930A (zh) 微表情识别方法、装置与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210531

Address after: Room 2305, luguyuyuan venture building, 27 Wenxuan Road, high tech Development Zone, Changsha City, Hunan Province, 410005

Patentee after: BOE Yiyun Technology Co.,Ltd.

Address before: 100015 No. 10, Jiuxianqiao Road, Beijing, Chaoyang District

Patentee before: BOE TECHNOLOGY GROUP Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210826

Address after: 215200 No. 501, Bixiang South Road, Taihu Lake ecotourism Resort (Taihu new town), Wujiang District, Suzhou City, Jiangsu Province

Patentee after: BOE Yiyun (Suzhou) Technology Co.,Ltd.

Patentee after: BOE Yiyun Technology Co.,Ltd.

Address before: Room 2305, luguyuyuan venture building, 27 Wenxuan Road, high tech Development Zone, Changsha City, Hunan Province, 410005

Patentee before: BOE Yiyun Technology Co.,Ltd.

TR01 Transfer of patent right