CN118247059A - 一种基于点击率的理财产品推荐方法及装置 - Google Patents

一种基于点击率的理财产品推荐方法及装置 Download PDF

Info

Publication number
CN118247059A
CN118247059A CN202410349841.7A CN202410349841A CN118247059A CN 118247059 A CN118247059 A CN 118247059A CN 202410349841 A CN202410349841 A CN 202410349841A CN 118247059 A CN118247059 A CN 118247059A
Authority
CN
China
Prior art keywords
financial product
text
vector
attention
product display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410349841.7A
Other languages
English (en)
Inventor
黄瑜琪
房国标
黄光宇
吴延生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202410349841.7A priority Critical patent/CN118247059A/zh
Publication of CN118247059A publication Critical patent/CN118247059A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Technology Law (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于点击率的理财产品推荐方法及装置，涉及人工智能领域，也可用于金融领域，包括：从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。本申请能够对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐。

Description

一种基于点击率的理财产品推荐方法及装置
技术领域
本申请涉及人工智能领域，可以用于金融领域，具体是一种基于点击率的理财产品推荐方法及装置。
背景技术
当前，理财产品已经成为许多人将可用资金进行投资与增值的热门途径。因此，向客户提供有针对性的理财产品建议，将更具吸引力的理财产品展示在更显著的位置，对于最大化理财产品的收益至关重要。其中，通过预估客户对特定理财产品展示信息的点击概率，可以更好地理解大部分客户对理财产品的偏好，从而提供更高点击率的理财产品推荐。
理财产品展示信息通常以理财产品展示图像的形式出现，理财产品展示图像中有着丰富多彩的视觉特征，同时也可能嵌入了文本信息。现有的理财产品展示图像点击率预估方法大多过于关注图片中的视觉特征，而忽略了图片中的嵌入文本信息对点击率的重要影响。此外，在点击率预估过程中，需要对理财产品展示图像的各种有用特征进行融合。而在进行特征融合时，多数现有方法没有考虑图片的视觉特征与其他辅助特征在点击率预估中的重要性差异，这可能会引入无用的特征而产生噪声，从而影响点击率预估的准确性，导致推荐系统不足以实现合理的推荐。
发明内容
针对现有技术中的问题，本申请提供一种基于点击率的理财产品推荐方法及装置，能够对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种基于点击率的理财产品推荐方法，包括：
从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
进一步地，所述从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量，包括：
利用历史理财产品展示图像及深度卷积神经网络模型构建理财产品展示图像视觉特征识别模型；
利用所述理财产品展示图像视觉特征识别模型提取所述理财产品展示图像的视觉特征向量。
进一步地，所述从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量，包括：
对所述理财产品展示图像进行光学图像识别，得到对应的文本数据集；其中，所述文本数据集表征所述理财产品展示图像的内容；
将所述文本数据集输入至预先训练的理财产品展示图像文本特征识别模型，得到所述理财产品展示图像的文本特征向量。
进一步地，预先训练所述理财产品展示图像文本特征识别模型的步骤，包括：
根据所述历史理财产品展示图像生成对应的历史文本数据集；
将所述历史文本数据集输入至词嵌入模型，得到历史文本词向量；
将所述历史文本词向量输入至长短期记忆人工神经网络进行训练，得到所述理财产品展示图像文本特征识别模型。
进一步地，所述根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量，包括：
根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重构建相似度矩阵；
基于所述相似度矩阵构建视觉注意力矩阵及文本注意力矩阵；
根据所述视觉注意力矩阵、所述文本注意力矩阵生成对应的视觉注意力向量及文本注意力向量。
进一步地，所述根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，包括：
对所述视觉注意力向量及所述文本注意力向量进行拼接，得到拼接向量；
将所述拼接向量输入至多层感知机，得到所述理财产品展示图像的点击率。
第二方面，本申请提供一种基于点击率的理财产品推荐装置，包括：
特征向量提取单元，用于从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
注意力向量生成单元，用于根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
理财产品推荐单元，用于根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
进一步地，所述特征向量提取单元，包括：
视觉识别模型构建模块，用于利用历史理财产品展示图像及深度卷积神经网络模型构建理财产品展示图像视觉特征识别模型；
视觉向量提取模块，用于利用所述理财产品展示图像视觉特征识别模型提取所述理财产品展示图像的视觉特征向量。
进一步地，所述特征向量提取单元，包括：
数据集合构建模块，用于对所述理财产品展示图像进行光学图像识别，得到对应的文本数据集；其中，所述文本数据集表征所述理财产品展示图像的内容；
文本向量提取模块，用于将所述文本数据集输入至预先训练的理财产品展示图像文本特征识别模型，得到所述理财产品展示图像的文本特征向量。
进一步地，所述文本向量提取模块，包括：
历史数据集合构建模块，用于根据所述历史理财产品展示图像生成对应的历史文本数据集；
历史文本向量生成模块，用于将所述历史文本数据集输入至词嵌入模型，得到历史文本词向量；
文本识别模型构建模块，用于将所述历史文本词向量输入至长短期记忆人工神经网络进行训练，得到所述理财产品展示图像文本特征识别模型。
进一步地，所述注意力向量生成单元，包括：
相似度矩阵构建模块，用于根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重构建相似度矩阵；
注意力矩阵构建模块，用于基于所述相似度矩阵构建视觉注意力矩阵及文本注意力矩阵；
注意力向量生成模块，用于根据所述视觉注意力矩阵、所述文本注意力矩阵生成对应的视觉注意力向量及文本注意力向量。
进一步地，所述理财产品推荐单元，包括：
向量拼接模块，用于对所述视觉注意力向量及所述文本注意力向量进行拼接，得到拼接向量；
点击率计算模块，用于将所述拼接向量输入至多层感知机，得到所述理财产品展示图像的点击率。
第三方面，本申请提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于点击率的理财产品推荐方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于点击率的理财产品推荐方法的步骤。
第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述基于点击率的理财产品推荐方法的步骤。
针对现有技术中的问题，本申请提供的基于点击率的理财产品推荐方法及装置，能够注意到嵌入于理财产品展现图片中的文本信息对展现信息点击率的影响，将理财产品展现图片中的文本信息提取出来并进行语义分析得到文本特征，用于点击率预估；对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中基于点击率的理财产品推荐方法的流程图；
图2为本申请实施例中提取视觉特征向量的流程图；
图3为本申请实施例中提取文本特征向量的流程图；
图4为本申请实施例中训练理财产品展示图像文本特征识别模型的流程图；
图5为本申请实施例中生成注意力向量的流程图；
图6为本申请实施例中确定理财产品展示图像点击率的流程图；
图7为本申请实施例中基于点击率的理财产品推荐装置的结构图；
图8为本申请实施例中特征向量提取单元的结构图之一；
图9为本申请实施例中特征向量提取单元的结构图之二；
图10为本申请实施例中文本向量提取模块的结构图；
图11为本申请实施例中注意力向量生成单元的结构图；
图12为本申请实施例中理财产品推荐单元的结构图；
图13为本申请实施例中的电子设备的结构示意图；
图14为本申请实施例中基于点击率的理财产品推荐方法的整体流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请提供的基于点击率的理财产品推荐方法及装置，可用于金融领域，也可用于除金融领域之外的任意领域，本申请提供的基于点击率的理财产品推荐方法及装置的应用领域不做限定。
本申请技术方案中对数据的获取、存储、使用及处理等均符合法律法规的相关规定。
一实施例中，参见图1，为了能够对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐，本申请提供的基于点击率的理财产品推荐方法，包括：
S101：从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
S102：根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
S103：根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
可以理解的是，目前，理财产品的信息展示多以图像形式出现，通过预估客户对特定理财产品展示信息的点击概率，可以更好地理解大部分客户对理财产品的偏好，从而提供更高点击率的理财产品推荐。
为了实现这一目标，可以利用深度学习算法来进行点击率预估。深度学习算法能够有效挖掘理财产品展示信息中各特征之间的非线性关系，从而更精准地预估理财产品展示信息的点击率。后续，将通过深度学习算法确定的预估点击率进行排序，可以确定最有可能被用户点击的产品，并基于排序结果生成最终的理财产品候选集进行推荐。
具体地，本申请提供了一种基于深度学习的理财产品展示图像点击率预估方法。该方法可以对理财产品展示图像的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品筛选排序，从而进行理财产品的推荐。
为了更好地阐述本申请实施例，下面首先介绍几个术语。
理财产品展示图像：是当今应用广泛的在线信息展示形式之一，通常以丰富多彩的图片形式进行展示。相比文本信息，其具备更丰富的语意与更强的吸引力。
OCR：Optical Character Recognition，光学字符识别技术，是一种通过将图像或手写文本转化为可编辑文本的自动化过程的技术。OCR技术的主要目标是从扫描文档、照片、书籍或其他纸质或图像文件中提取文字，使计算机能够理解、编辑和搜索这些文本。
视觉特征：从图片中提取出来的、用于描述图片内容的特征。这些特征可以是图片的像素值、颜色、纹理、边缘、形状等，也可以是更高层次的特征，如图片中的物体、场景、运动等。
本申请实施例的原始数据来源于业务部门提供的理财产品展示图像数据集，其中包含广告图片(也称理财产品展示图像)、广告位及目标人群等信息。为了排除其他因素的影响，从该原始数据集中提取原始广告图片及其真实点击率，将广告图片大小统一调整为320×100，从而构成广告图片数据集。此外，通过OCR技术从原始广告图片中将嵌入的文本信息提取出来，每个广告图片对应一条文本系列，从而构成对应的文本数据集。
从上述描述可知，本申请提供的基于点击率的理财产品推荐方法，能够注意到嵌入于理财产品展现图片中的文本信息对展现信息点击率的影响，将理财产品展现图片中的文本信息提取出来并进行语义分析得到文本特征，用于点击率预估；对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐。
一实施例中，参见图2，所述从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量，包括：
S201：利用历史理财产品展示图像及深度卷积神经网络模型构建理财产品展示图像视觉特征识别模型；
S202：利用所述理财产品展示图像视觉特征识别模型提取所述理财产品展示图像的视觉特征向量。
可以理解的是，步骤S201至步骤S202可以由本申请实施例的执行主体(计算机系统)的视觉特征学习模块执行。
理财产品展示图像的视觉特征可以通过深度卷积神经网络模型VGG16进行提取。VGG16模型由16个卷积层和3个全连接层组成，这些卷积层使用小尺寸的3×3卷积核，使网络更深，但每个卷积层中的参数更少。采用相同的卷积核大小和步长，其网络结构更容易理解和实现。通过预训练的VGG16可有效地提取理财产品展示图像的视觉特征G＝{g1,g2,...,gm}，其中gi为广告图片xi的区域视觉特征向量。
所谓预训练VGG16，可以理解为是利用历史理财产品展示图像及深度卷积神经网络模型构建理财产品展示图像视觉特征识别模型的过程。训练完成后的VGG16可称为理财产品展示图像视觉特征识别模型。其中，训练神经网络的方法可以采用现有方法实现。
从上述描述可知，本申请提供的基于点击率的理财产品推荐方法，能够从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量。
一实施例中，参见图3，所述从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量，包括：
S301：对所述理财产品展示图像进行光学图像识别，得到对应的文本数据集；其中，所述文本数据集表征所述理财产品展示图像的内容；
S302：将所述文本数据集输入至预先训练的理财产品展示图像文本特征识别模型，得到所述理财产品展示图像的文本特征向量。
可以理解的是，步骤S301至步骤S302可以由本申请实施例的执行主体(计算机系统)的文本特征学习模块执行。
具体地，先采用分词技术对每条文本记录进行分词处理，从而将其转化为短语序列。通过预训练的词嵌入模型Word2vec对文本数据集进行预训练，生成对应位置的词向量pk。这些词向量将作为词嵌入层的输出，被传递到语义分析层。在语义分析层中，通过采用双向LSTM来对输入的词向量序列进行语义分析，从而得到最终的文本特征。
其中，双向LSTM是一个双向架构，由两个独立的LSTM隐藏层组成，这两个隐藏层分别捕捉了序列正向及反向的语义依赖关系，通过将正序和逆序的输入序列分别输入至两个LSTM隐藏层进行特征提取，然后将两个输出向量进行拼接操作作为最终输出向量。
其中，如前所述，对理财产品展示图像进行光学图像识别，可以得到对应的文本数据集。文本数据集可以表征理财产品展示图像的内容，传达理财产品的相关信息。双向LSTM可以理解为是一个经过预先训练的理财产品展示图像文本特征识别模型。
一实施例中，参见图4，预先训练所述理财产品展示图像文本特征识别模型的步骤，包括：根据所述历史理财产品展示图像生成对应的历史文本数据集(S401)；将所述历史文本数据集输入至词嵌入模型，得到历史文本词向量(S402)；将所述历史文本词向量输入至长短期记忆人工神经网络进行训练，得到所述理财产品展示图像文本特征识别模型(S403)。
假设理财产品展示图像xi中第k-1个短语的特征向量输出为hk-1，pk为当前位置的输入信息，具体计算公式如下：
fk＝σ(Wf[hk-1,pk]+bf)
ik＝σ(Wi[hk-1,pk]+bi)
ok＝σ(Wo[hk-1,pk]+bo)
根据上述公式可获得第k个短语的隐藏状态，具体计算公式如下：
根据以上公式，可以从前向LSTM网络中获取前向隐藏状态从反向LSTM网络中获取反向隐藏状态通过将和进行拼接，最终获得短语pk的最终状态，即理财产品展示图像xi的特征向量：
它捕捉了短语序列的前后两个方向的组合语义。最后，将通过双向LSTM网络学习到的关于广告图片xi的所有tk进行拼接，得到该图片的文本特征矩阵T＝{t1,t2,...,tm}。
从上述描述可知，本申请提供的基于点击率的理财产品推荐方法，能够从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量。
一实施例中，参见图5，所述根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量，包括：
S501：根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重构建相似度矩阵；
S502：基于所述相似度矩阵构建视觉注意力矩阵及文本注意力矩阵；
S503：根据所述视觉注意力矩阵、所述文本注意力矩阵生成对应的视觉注意力向量及文本注意力向量。
可以理解的是，步骤S501至步骤S503可以由本申请实施例的执行主体(计算机系统)的协同注意力模块执行。
在理财产品展示图像点击率预估任务中，学习图片的视觉特征与文本特征的协同注意力权重是为了捕捉不同特征之间的交互关系，从而更好地预估点击率。本申请实施例采用平行协同注意力机制，该机制可以同时对视觉特征与文本特征进行处理，并生成视觉注意力向量与文本注意力向量。该模块的目标是从前两个模块中分别学习到的文本特征与视觉特征中选择信息量最大的文本特征或视觉特征。
具体而言，将通过上述两个模块提取的广告图片xi的视觉特征G与文本特征T作为协同注意力模块的输入，通过以下公式计算获得相似度矩阵C：
C＝tanh(GTWbV)
根据相似度矩阵，可通过以下公式计算视觉特征和文本特征注意力矩阵：
Hg＝tanh(WgG+(WtT)C)
Ht＝tanh(WtT+(WgG)C)
基于上述注意权重矩阵，最终视觉特征和文本特征注意力向量通过计算每个文本特征与视觉特征的加权和获得，即：
从上述描述可知，本申请提供的基于点击率的理财产品推荐方法，能够根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量。
一实施例中，参见图6，所述根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，包括：
S601：对所述视觉注意力向量及所述文本注意力向量进行拼接，得到拼接向量；
S602：将所述拼接向量输入至多层感知机，得到所述理财产品展示图像的点击率。
可以理解的是，步骤S601至步骤S602可以由本申请实施例的执行主体(计算机系统)的点击率预估及推荐集成模块执行。
本申请实施例通过使用多层感知机(MLP)充分挖掘文本特征与视觉特征之间的非线性关系，来获得理财产品展示图像xi的预估点击率，可抽象为以下公式：
具体而言，MLP中每个神经元连接前一层的所有神经元，以接收前一层的训练输出并输入到下一层，而同一层的神经元之间没有相互链接。第一层为输入层，将理财产品展示图像的加权文本特征和拼接起来作为MLP的输入a0，即本文使用的MLP结构一共是6层，其中，每个隐藏层的输出都通过LeakyReLU非线性激活函数进行激活，则MLP的输出公式如下：
a(L)＝f(L)(W(L)(f(L-1)(W(L-1)...f(l)(W(l)a(0)+b(l)))+b(L-1))+b(L))
将a(L)输入回归层，得到点击率的预估值
通过前述的点击率预估方法得到各理财产品展示图像的预估点击率，根据预估点击率对候选的理财产品展示图像进行排序。将高点击率的理财产品展示图像排在前面，并将其存入推荐系统的数据库中，以便向客户推荐这些理财产品，其整体流程如图14所示。
从上述描述可知，本申请提供的基于点击率的理财产品推荐方法，能够根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率。
基于同一发明构思，本申请实施例还提供了一种基于点击率的理财产品推荐装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于基于点击率的理财产品推荐装置解决问题的原理与基于点击率的理财产品推荐方法相似，因此基于点击率的理财产品推荐装置的实施可以参见基于软件性能基准确定方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
一实施例中，参见图7，为了能够对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐，本申请提供一种基于点击率的理财产品推荐装置，包括：特征向量提取单元701、注意力向量生成单元702及理财产品推荐单元703。
特征向量提取单元701，用于从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
注意力向量生成单元702，用于根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
理财产品推荐单元703，用于根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
一实施例中，参见图8，所述特征向量提取单元701，包括：视觉识别模型构建模块801及视觉向量提取模块802。
视觉识别模型构建模块801，用于利用历史理财产品展示图像及深度卷积神经网络模型构建理财产品展示图像视觉特征识别模型；
视觉向量提取模块802，用于利用所述理财产品展示图像视觉特征识别模型提取所述理财产品展示图像的视觉特征向量。
一实施例中，参见图9，所述特征向量提取单元701，包括：数据集合构建模块901及文本向量提取模块902。
数据集合构建模块901，用于对所述理财产品展示图像进行光学图像识别，得到对应的文本数据集；其中，所述文本数据集表征所述理财产品展示图像的内容；
文本向量提取模块902，用于将所述文本数据集输入至预先训练的理财产品展示图像文本特征识别模型，得到所述理财产品展示图像的文本特征向量。
一实施例中，参见图10，所述文本向量提取模块902，包括：历史数据集合构建模块1001、历史文本向量生成模块1002及文本识别模型构建模块1003。
历史数据集合构建模块1001，用于根据所述历史理财产品展示图像生成对应的历史文本数据集；
历史文本向量生成模块1002，用于将所述历史文本数据集输入至词嵌入模型，得到历史文本词向量；
文本识别模型构建模块1003，用于将所述历史文本词向量输入至长短期记忆人工神经网络进行训练，得到所述理财产品展示图像文本特征识别模型。
一实施例中，参见图11，所述注意力向量生成单元702，包括：相似度矩阵构建模块1101、注意力矩阵构建模块1102及注意力向量生成模块1103。
相似度矩阵构建模块1101，用于根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重构建相似度矩阵；
注意力矩阵构建模块1102，用于基于所述相似度矩阵构建视觉注意力矩阵及文本注意力矩阵；
注意力向量生成模块1103，用于根据所述视觉注意力矩阵、所述文本注意力矩阵生成对应的视觉注意力向量及文本注意力向量。
一实施例中，参见图12，所述理财产品推荐单元703，包括：向量拼接模块1201及点击率计算模块1202。
向量拼接模块1201，用于对所述视觉注意力向量及所述文本注意力向量进行拼接，得到拼接向量；
点击率计算模块1202，用于将所述拼接向量输入至多层感知机，得到所述理财产品展示图像的点击率。
从硬件层面来说，为了能够对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐，本申请提供一种用于实现所述基于点击率的理财产品推荐方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(Processor)、存储器(Memory)、通讯接口(Communications Interface)和总线；其中，所述处理器、存储器、通讯接口通过所述总线完成相互间的通讯；所述通讯接口用于实现所述基于点击率的理财产品推荐装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的基于点击率的理财产品推荐方法的实施例，以及基于点击率的理财产品推荐装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，基于点击率的理财产品推荐方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通讯模块(即通讯单元)，可以与远程的服务器进行通讯连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通讯链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图13为本申请实施例的电子设备9600的系统构成的示意框图。如图13所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图13是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，基于点击率的理财产品推荐方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
S101：从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
S102：根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
S103：根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
从上述描述可知，本申请提供的基于点击率的理财产品推荐方法，能够注意到嵌入于理财产品展现图片中的文本信息对展现信息点击率的影响，将理财产品展现图片中的文本信息提取出来并进行语义分析得到文本特征，用于点击率预估；对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐。
在另一个实施方式中，基于点击率的理财产品推荐装置可以与中央处理器9100分开配置，例如可以将数据复合传输装置基于点击率的理财产品推荐装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现基于点击率的理财产品推荐方法的功能。
如图13所示，该电子设备9600还可以包括：通讯模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图13中所示的所有部件；此外，电子设备9600还可以包括图13中没有示出的部件，可以参考现有技术。
如图13所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通讯功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通讯模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通讯模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通讯终端的情况相同。
基于不同的通讯技术，在同一电子设备中，可以设置有多个通讯模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通讯模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的基于点击率的理财产品推荐方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的基于点击率的理财产品推荐方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101：从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
S102：根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
S103：根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
从上述描述可知，本申请提供的基于点击率的理财产品推荐方法，能够注意到嵌入于理财产品展现图片中的文本信息对展现信息点击率的影响，将理财产品展现图片中的文本信息提取出来并进行语义分析得到文本特征，用于点击率预估；对理财产品展示信息的视觉特征与文本特征进行组合建模，通过引入协同注意力机制学习两种模态特征的注意力向量，以实现更准确的点击率预估，供推荐系统对理财产品进行筛选推荐。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于点击率的理财产品推荐方法，其特征在于，包括：
从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
2.根据权利要求1所述的基于点击率的理财产品推荐方法，其特征在于，所述从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量，包括：
利用历史理财产品展示图像及深度卷积神经网络模型构建理财产品展示图像视觉特征识别模型；
利用所述理财产品展示图像视觉特征识别模型提取所述理财产品展示图像的视觉特征向量。
3.根据权利要求1所述的基于点击率的理财产品推荐方法，其特征在于，所述从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量，包括：
对所述理财产品展示图像进行光学图像识别，得到对应的文本数据集；其中，所述文本数据集表征所述理财产品展示图像的内容；
将所述文本数据集输入至预先训练的理财产品展示图像文本特征识别模型，得到所述理财产品展示图像的文本特征向量。
4.根据权利要求3所述的基于点击率的理财产品推荐方法，其特征在于，预先训练所述理财产品展示图像文本特征识别模型的步骤，包括：
根据所述历史理财产品展示图像生成对应的历史文本数据集；
将所述历史文本数据集输入至词嵌入模型，得到历史文本词向量；
将所述历史文本词向量输入至长短期记忆人工神经网络进行训练，得到所述理财产品展示图像文本特征识别模型。
5.根据权利要求1所述的基于点击率的理财产品推荐方法，其特征在于，所述根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量，包括：
根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重构建相似度矩阵；
基于所述相似度矩阵构建视觉注意力矩阵及文本注意力矩阵；
根据所述视觉注意力矩阵、所述文本注意力矩阵生成对应的视觉注意力向量及文本注意力向量。
6.根据权利要求1所述的基于点击率的理财产品推荐方法，其特征在于，所述根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，包括：
对所述视觉注意力向量及所述文本注意力向量进行拼接，得到拼接向量；
将所述拼接向量输入至多层感知机，得到所述理财产品展示图像的点击率。
7.一种基于点击率的理财产品推荐装置，其特征在于，包括：
特征向量提取单元，用于从获取的理财产品展示图像中提取对应的视觉特征向量及文本特征向量；
注意力向量生成单元，用于根据所述视觉特征向量及所述文本特征向量各自的协同注意力权重生成对应的视觉注意力向量及文本注意力向量；
理财产品推荐单元，用于根据所述视觉注意力向量及所述文本注意力向量确定所述理财产品展示图像的点击率，以基于所述点击率推荐对应的理财产品。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的基于点击率的理财产品推荐方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的基于点击率的理财产品推荐方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的基于点击率的理财产品推荐方法的步骤。
CN202410349841.7A 2024-03-26 2024-03-26 一种基于点击率的理财产品推荐方法及装置 Pending CN118247059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410349841.7A CN118247059A (zh) 2024-03-26 2024-03-26 一种基于点击率的理财产品推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410349841.7A CN118247059A (zh) 2024-03-26 2024-03-26 一种基于点击率的理财产品推荐方法及装置

Publications (1)

Publication Number Publication Date
CN118247059A true CN118247059A (zh) 2024-06-25

Family

ID=91561977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410349841.7A Pending CN118247059A (zh) 2024-03-26 2024-03-26 一种基于点击率的理财产品推荐方法及装置

Country Status (1)

Country Link
CN (1) CN118247059A (zh)

Similar Documents

Publication Publication Date Title
US20210134173A1 (en) Neural models for key phrase detection and question generation
CN115129848B (zh) 一种视觉问答任务的处理方法、装置、设备和介质
US11381651B2 (en) Interpretable user modeling from unstructured user data
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN109783730A (zh) 产品推荐方法、装置、计算机设备和存储介质
CN111753551B (zh) 基于词向量生成模型的信息生成方法和装置
CN111783873B (zh) 基于增量朴素贝叶斯模型的用户画像方法及装置
CN113515942A (zh) 文本处理方法、装置、计算机设备及存储介质
CN113421547A (zh) 一种语音处理方法及相关设备
CN112069309A (zh) 信息获取方法、装置、计算机设备及存储介质
WO2023207541A1 (zh) 一种语音处理方法及相关设备
CN117576264B (zh) 图像生成方法、装置、设备及介质
CN114419509A (zh) 一种多模态情感分析方法、装置及电子设备
CN112528164B (zh) 一种用户协同过滤召回方法及装置
CN112579773A (zh) 风险事件分级方法及装置
CN115269997A (zh) 一种金融产品推荐方法及装置
CN113011195A (zh) 基于预训练语言模型的推荐系统效果增强方法及装置
CN116383478A (zh) 事务推荐方法、装置、设备以及存储介质
CN116385897A (zh) 卫星遥感影像的目标识别方法及装置
CN118247059A (zh) 一种基于点击率的理财产品推荐方法及装置
CN115082828A (zh) 基于支配集的视频关键帧提取方法和装置
CN114493781A (zh) 用户行为预测方法、装置、电子设备及存储介质
US20210312257A1 (en) Distributed neuromorphic infrastructure
CN113486978A (zh) 文本分类模型的训练方法、装置、电子设备及存储介质
CN118211579B (zh) 基于表头配置属性的动态渲染表格特殊处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination