CN117522485B - 一种广告推荐方法、装置、设备及计算机可读存储介质 - Google Patents
一种广告推荐方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117522485B CN117522485B CN202410004991.4A CN202410004991A CN117522485B CN 117522485 B CN117522485 B CN 117522485B CN 202410004991 A CN202410004991 A CN 202410004991A CN 117522485 B CN117522485 B CN 117522485B
- Authority
- CN
- China
- Prior art keywords
- user
- kyc
- recommended
- language model
- advertisement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 33
- 238000012216 screening Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000001907 polarising light microscopy Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0255—Targeted advertisements based on user history
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0254—Targeted advertisements based on statistics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种广告推荐方法、装置、设备及计算机可读存储介质，应用于广告投放领域，包括：利用第一大型语言模型得到用户问题的回答；根据用户的历史记录预估转化率；根据转化率确定是否为用户推荐广告；若推荐，则根据历史记录确定推荐产品，根据问题获取用户prompt，将用户prompt和推荐产品输入到第二大型语言模型中，得到推荐文案，将回答、推荐产品和推荐文案一同输出给用户；若不推荐，则将回答输出给用户。本方法可以基于用户prompt和大型语言模型生成个性化营销话术，使得企业可以更加精准地推荐产品和文案给目标用户，降低了人力成本，丰富了广告文案内容，还新增了对话中广告推荐的形式，扩充了广告的应用场景。
Description
技术领域
本发明涉及广告推荐领域，特别涉及一种广告推荐方法、装置、设备及计算机可读存储介质。
背景技术
广告投放是市场营销中至关重要的一环。通过有效的广告投放策略和技巧，可以帮助广告从业者和市场营销人员提高投放效果。广告投放不仅可以增加品牌曝光度，吸引潜在客户，还可以促进销售增长和业绩提升。通过精确定位目标受众、选择合适的广告渠道和时机，以及优化广告文案和设计，可以最大程度地提高广告的点击率和转化率。
目前商品推荐文案只能由广告计划的创建者、文案编写人员为不同的产品编写不同的广告文案，然后进行投放测试，以此敲定适合各个产品的最佳广告文案。这种传统的广告文案编写方法存在人力成本高、效率低、质量不稳定和缺乏个性化等问题。现有的广告推荐文案还存在生命周期短的问题，以及不同的广告文案点击率和转化率两极分化严重的问题。
发明内容
有鉴于此，本发明的目的在于提供一种广告推荐方法、装置、设备及计算机可读存储介质，解决了现有技术中广告文案编写效率低、成本高、文案单一、生命周期短以及广告推荐应用场景单一的问题。
为解决上述技术问题，本发明提供了一种广告推荐方法，包括：
获取用户输入的问题，并利用第一大型语言模型得到所述问题的回答；
获取所述用户的历史记录，并根据所述历史记录预估转化率；所述历史记录至少包括历史问题、历史回答、购买记录和历史推荐；
根据所述转化率确定是否为所述用户推荐广告；
若推荐广告，则根据所述历史记录确定推荐产品；根据所述问题获取用户prompt，将所述用户prompt和所述推荐产品输入到第二大型语言模型中，得到推荐文案；将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
若不推荐广告，则直接将所述回答输出给所述用户。
可选的，所述根据所述问题获取用户prompt，包括：
利用基于规则的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
或者，利用基于大型语言模型的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
将所述目标KYC标签进行组合以获取所述用户prompt。
可选的，所述利用基于规则的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签，包括：
根据所述问题提取所述问题的关键词；
利用FP-growth算法，并根据所述关键词计算所述问题与各个KYC标签的关联性，根据所述关联性确定所述目标KYC标签。
可选的，所述第二大型语言模型为微调后的大型语言模型。
可选的，所述微调后的大型语言模型，包括：
利用历史用户的历史对话数据、历史用户prompt、历史购买商品信息构建训练样本集；
对所述训练样本集中的部分样本进行标注，得到标注样本集和未标注样本集；标注内容包括历史用户的历史输入问题、系统输出的历史回答和历史推荐文案；
利用所述训练样本集对初始大型语言模型进行训练，并利用所述标注样本集对经训练后的大型语言模型进行微调，得到所述微调后的大型语言模型。
可选的，在所述将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户之前，还包括：
根据检查规则对所述推荐文案进行检查；所述检查规则至少包括检查文字是否出现乱码、文字是否包含敏感词和字数是否超出预设长度；
当检查无误后，则执行所述将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
当检查有误后，经人工介入对所述推荐文案进行修改，并反馈至开发人员；相应的，将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户，包括：将所述回答、所述推荐产品和修改后的推荐文案一同输出给所述用户。
本发明还提供了一种广告推荐装置，包括：
回答确定模块，用于获取用户输入的问题，并利用第一大型语言模型得到所述问题的回答；
转化率预估模块，用于获取所述用户的历史记录，并根据所述历史记录预估转化率；所述历史记录至少包括历史问题、历史回答、购买记录和历史推荐；
广告推荐判断模块，用于根据所述转化率确定是否为所述用户推荐广告；
第一判断结果模块，用于若推荐广告，则根据所述历史记录确定推荐产品；根据所述问题获取用户prompt，将所述用户prompt和所述推荐产品输入到第二大型语言模型中，得到推荐文案；将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
第二判断结果模块，用于若不推荐广告，则直接将所述回答输出给所述用户。
可选的，所述第一判断结果模块，包括：
第一KYC标签筛选单元，用于利用基于规则的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
或者，第二KYC标签筛选单元，用于利用基于大型语言模型的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
目标KYC标签组合单元，用于将所述目标KYC标签进行组合以获取所述用户prompt。
本发明还提供了一种广告推荐设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述的广告推荐方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上述的广告推荐方法的步骤。
可见，本发明通过获取用户输入的问题，并利用第一大型语言模型得到问题的回答；获取用户的历史记录，并根据历史记录预估转化率；历史记录至少包括历史问题、历史回答、购买记录和历史推荐；根据转化率确定是否为用户推荐广告；若推荐广告，则根据历史记录确定推荐产品，根据问题获取用户prompt，将用户prompt和推荐产品输入到第二大型语言模型中，得到推荐文案；将回答、推荐产品和推荐文案一同输出给用户；若不推荐广告，则直接将回答输出给用户。本方法通过基于用户信息进行产品推荐，以及基于用户prompt配合大型语言模型生成个性化营销话术，使得企业可以更加精准地推荐产品和文案给目标用户，提高了广告推荐的效率，降低了人力成本，延长了广告文案的生命周期。同时，还新增了对话中广告推荐的形式，扩充了广告的应用场景。
此外，本发明还提供了一种广告推荐装置、设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种广告推荐方法的流程图；
图2为本发明实施例提供的一种广告推荐装置的结构示意图；
图3为本发明实施例提供的一种广告推荐设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先，对本申请中涉及的若干名词进行解析：
大型语言模型（Large Language Model，LLM）：在计算机科学领域中指的是大型语言模型。这种类型的模型是基于机器学习和自然语言处理技术构建的，可以理解和生成自然语言文本。所以，LLM的基础是机器学习和自然语言处理两种技术。
LLM微调（Language Model Fine-tuning）是一种深度学习技术，用于调整预训练语言模型（Pre-trained Language Model，简称PLM）以适应特定任务或领域。在自然语言处理领域，PLM通常是基于大量无标签文本数据进行预训练的，以学习通用的语言规律和模式。通过LLM微调技术，可以将预训练模型的能力迁移到特定任务上，提高模型在实际应用中的性能。
Prompt是一种输入形式，用于指示AI模型在进行特定任务时应该采取什么行动或生成什么输出。Prompt是一种自然语言输入，类似于命令或指令，让AI模型知道它需要做什么。
KYC（Know your customer）是企业确认客户身份的程序，通称KYC，在各个公司或机关的中文名称不同，也称为了解你的客户、认识客户政策、客户身份审查、客户身份尽职调查等。在本实施例中，KYC是指存储于数据库中的用户信息，包含各类用户标签。
FP-growth算法是一种挖掘频繁项集的方法，是将数据集存储在一个特定的称作FP树的结构之后发现频繁项集或频繁项对，即常在一块出现的元素项的集合FP树。
请参考图1，图1为本发明实施例提供的一种广告推荐方法的流程图。该方法可以包括：
S101：获取用户输入的问题，并利用第一大型语言模型得到问题的回答。
本实施例的广告推荐方法应用于机器对话领域。用户在对话框中输入要问的问题，对话机器人可以利用大型语言模型从数据库中找寻该问题的回答。
S102：获取用户的历史记录，并根据历史记录预估转化率；历史记录至少包括历史问题、历史回答、购买记录和历史推荐。
本实施例通过获取该用户的信息，如该用户输入的历史问题，对话机器人基于历史问题给出的历史回答，该用户的购买记录和对该用户历史广告推荐。利用获取的有关该用户的众多信息，预估广告的转化率，也就是基于历史记录预估用户是否会购买产品。
S103：根据转化率确定是否为用户推荐广告。
本实施例根据该用户的转化率情况确定是否要为该用户推荐广告。例如，当该用户的转化率达到了预设阈值，则可以为该用户推荐广告；或者当该用户的转化率排到了前预设比例，则可以为该用户推荐广告。
S104：若推荐广告，则根据历史记录确定推荐产品；根据问题获取用户prompt，将用户prompt和推荐产品输入到第二大型语言模型中，得到推荐文案；将回答、推荐产品和推荐文案一同输出给用户。
当确定要为该用户推荐广告后，则需要确定为该用户推荐哪种产品和编写怎样的文案，即能够明确用户需求推荐广告。对于如何确定推荐产品这一问题，可以根据该用户的历史购买记录确定。例如，通过用户历史购买信息以及用户已授权的用户信息，可以先召回该用户所有付费产品，然后通过过滤、裁剪、排序、重排等推荐步骤确定推荐产品。其中过滤步骤可以是根据历史购买记录过滤掉用户已购买过的商品，或者过滤掉用户未购买的推荐产品。对于如何确定广告文案这一问题，可以先根据用户的问题对用户所有的标签进行筛选，以此确定该问题对应的用户prompt，再将用户prompt和确定推荐的产品一同输入到第二大型语言模型中，可以得到对该产品的广告文案。广告文案可以是结合用户需求对产品的个性化介绍。当推进产品和推荐文案都确定后，就可以和回答一同输出，使得用户在得到问题的回答时，也可以潜移默化地植入个性化广告，并且优质广告还可以提高转化率。
进一步的，为了准确获得用户prompt，上述根据问题获取用户prompt，可以包括以下步骤：
步骤21：利用基于规则的KYC标签筛选函数，并根据问题对用户所有的KYC标签进行筛选，得到目标KYC标签。
本实施例中的KYC标签可以包括用户投资领域，例如用户的基础信息、投资理念、账户分析、投资风险、投资目标等标签。本实施例可以基于规则的KYC标签筛选函数实现根据问题对KYC标签进行筛选。基于规则的KYC标签筛选函数定义为：RuleBasedFilter(Q，KYC_all)，根据问题内容和用户群体捕捉相关性，得到与问题相关的KYC标签集合KYC_filtered。其中Q代表问题，KYC_all代表包含所有与用户相关的KYC标签的集合KYC_all={tag_1，tag_2，...，tag_n}。
步骤22：或者，利用基于大型语言模型的KYC标签筛选函数，并根据问题对用户所有的KYC标签进行筛选，得到目标KYC标签。
本实施例也可以基于大型语言模型的KYC标签筛选函数实现根据问题对KYC标签进行筛选。基于大型语言模型的KYC标签筛选函数定义为：LanguageModel(Q，KYC_all)，通过微调或提示模板工程的方式，一次性完成标签筛选和模板生成。
步骤23：将目标KYC标签进行组合以获取用户prompt。
本实施例对目标KYC标签进行拼装得到用户prompt。具体过程可以包括描述模板配置管理、用户描述统一组装、多语言支持和确实兜底逻辑。
经上述任一筛选函数筛选后，得到输出目标KYC标签KYC_filtered，可以表示为KYC_filtered={tag_i，tag_j，...，tag_k}。
本实施例并不对基于规则的KYC标签筛选函数实现算法进行限定。例如，可以是Eclat算法，该算法这是一种基于垂直数据格式的算法，使用集合交运算来计算候选项集的支持度，不需要扫描数据库；或者还可以是PrefixSpan算法，该算法是一种基于前缀投影的算法，可以用来挖掘频繁序列模式，即考虑了项之间的顺序关系的频繁项集；或者还可以是AprioriAll算法，该算法是一种基于Apriori算法的扩展，可以用来挖掘频繁序列模式，需要多次扫描数据库；或者还可以是FP-growth算法。
进一步的，为了提高筛选效率，保证广告文案编写的准确性与适配性，上述利用基于规则的KYC标签筛选函数，并根据问题对用户所有的KYC标签进行筛选，得到目标KYC标签，可以包括以下步骤：
步骤31：根据问题提取问题的关键词；
步骤32：利用FP-growth算法，并根据关键词计算问题与各个KYC标签的关联性，根据关联性确定目标KYC标签。
本实施例利用FP-growth算法，并根据关键词计算问题与各个KYC标签的关联性，根据关联性确定目标KYC标签。FP-growth算法将代表频繁项集的数据库压缩存储在频繁模式树中，每条事务数据中的项之间的关系被保留在频发模式树中。然后，将频繁模式树按照条件模式基拆分成一组条件FP树，并分别挖掘这些条件FP树。为了更好的了解本部分内容，特此给出基于FP-growth算法挖掘用户问句与用户KYC标签关联性具体的过程，可以包括：
假设有一个包含m个事务的数据集T和一个支持度阈值minsup，其中每个事务包含若干个项。
1）计算每个KYC标签的支持度，并生成频繁一项集L1。
a.定义项集I的支持度为在所有事务中包含I的次数，记为sup(I)。设T中所有事务的总数为N。
b.对于每个KYC标签tag，计算它在事务集T中的支持度sup(tag)，并将支持度大于等于minsup的KYC标签加入频繁一项集L1中，即L1={tag|sup(tag)>=minsup}。
2）根据用户提问Q和KYC标签集合中的标签，构建事务数据库。
a.提取用户提问Q中的关键词，作为每个事务中的项，例如假设用户提问为“如何在股票市场中获取高收益？”“如何在股票市场中获取高收益？”，则可以提取出其中的关键词“股票市场”和“高收益”，并将它们作为构建事务数据库中的项。
b.对于KYC标签集合中的每个KYC标签tag，如果tag包含Q中的关键词，则将tag加入相应事务的项中。
3）构建FP树（FrequentPattern Tree算法，就是频繁模式树算法）。
a.构建一棵空树，作为FP树的根节点。
b.对于每个事务t，按照L1中项的顺序，将t中的项插入到FP树中。
c.每个项在FP树中对应一个节点，节点包括该项的名称、支持度计数和指向父节点的指针，如果两个项在同一个事务中出现，则它们的节点之间存在连边。
d.对于每个项，按照支持度从大到小的顺序进行插入，这样可以保证在FP树中，每个路径都是支持度降序排列的。
4）构建条件模式基。
a.对于频繁一项集中的每个KYC标签tag，找到所有包含tag的事务，称这些事务的集合为条件模式基Ti。
b.对于每个Ti，去掉其中不包含Q中关键词的项，得到一个新的事务t'i，将t'i加入到一个新的数据集T'i中。
5）递归挖掘频繁项集。
a.对于每个频繁一项集中的KYC标签tag，构建以tag为根节点的条件FP树。
b.从条件FP树中，递归挖掘频繁项集。具体步骤如下：
a)对于条件FP树，计算每个项的支持度，并生成频繁一项集。
b)如果频繁一项集为空，则返回。
c)否则，对于每个频繁一项集中的项j，将{tag，j}作为新的频繁二项集，并计算其支持度sup({tag，j})。
d)如果sup({tag，j})>=minsup，则{tag，j}是频繁二项集。将{tag，j}加入到频繁项集中。
e)递归挖掘{tag，j}的条件频繁项集，直到不能再挖掘出频繁项集为止。
最终，得到的频繁项集即为与用户问题相关的KYC标签集合，即确定目标KYC标签。
进一步的，为了得到更加匹配该用户的广告文案，上述第二大型语言模型为微调后的大型语言模型。
进一步的，为了更进一步得到更加匹配该用户的广告文案，上述获取微调后的大型语言模型，具体可以包括以下步骤：
步骤41：利用历史用户的历史对话数据、历史用户prompt、历史购买商品信息构建训练样本集。
本实施例需要先收取历史购买商品的历史用户若干，收集历史用户对话数据、历史用户prompt、历史购买商品信息构成训练样本集。
步骤42：对训练样本集中的部分样本进行标注，得到标注样本集和未标注样本集；标注内容包括历史用户的历史输入问题、系统输出的历史回答和历史推荐文案。
本实施例为了训练第二大型语言模型，需要对收集到的训练样本进行部分标注。标注工作可以由人工完成，标注内容可以包括若干历史用户输入的历史问题、系统的历史回答以及历史推荐文案。在这个阶段，可以使用半监督学习方法，利用少量的已标注数据和大量未标注数据进行训练。
步骤43：利用训练样本集对初始大型语言模型进行训练，并利用标注样本集对经训练后的大型语言模型进行微调，得到微调后的大型语言模型。
本实施例在完成了训练样本的标注后，可以将这些标注好的数据用于大型语言模型的微调。微调的目的是让模型更好地适应特定领域或任务。在这个过程中，也可以调整模型的结构、参数等，以提高其在推荐文案生成任务上的性能。微调过程可以通过迭代训练和验证损失函数的方式进行。
进一步的，为了使得推荐文案更加准确，在上述将回答、推荐产品和推荐文案一同输出给用户之前，还可以包括以下步骤：
步骤51：根据检查规则对推荐文案进行检查；检查规则至少包括检查文字是否出现乱码、文字是否包含敏感词和字数是否超出预设长度；
步骤52：当检查无误后，则执行将回答、推荐产品和推荐文案一同输出给用户；
步骤53：当检查有误后，经人工介入对推荐文案进行修改，并反馈至开发人员；相应的，将回答、推荐产品和推荐文案一同输出给用户，包括：将回答、推荐产品和修改后的推荐文案一同输出给用户。
本实施例在上述将回答、推荐产品和推荐文案一同输出给用户之前，可以检查推荐文案的文字是否出现乱码、文字是否包含敏感词和字数是否超出预设长度。当检查有误时，可以人工介入进行修改；无误则可以直接同回答、推荐产品一起输出。
S105：若不推荐广告，则直接将回答输出给用户。
本实施例当确定不为该用户推荐广告后，则可以直接将用户问题的回答输出。
在整个过程中，注意保护用户的隐私，避免泄露敏感信息。此外，为了提高推荐文案的质量，还可以采用多种策略，如基于知识图谱的信息抽取、引入外部领域的知识等，以丰富模型的语料库和提高生成广告文案的准确性。
应用本发明实施例提供的广告推荐方法，通过获取用户输入的问题，并利用第一大型语言模型得到问题的回答；获取用户的历史记录，并根据历史记录预估转化率；历史记录至少包括历史问题、历史回答、购买记录和历史推荐；根据转化率确定是否为用户推荐广告；若推荐广告，则根据历史记录确定推荐产品，根据问题获取用户prompt，将用户prompt和推荐产品输入到第二大型语言模型中，得到推荐文案；将回答、推荐产品和推荐文案一同输出给用户；若不推荐广告，则直接将回答输出给用户。本方法通过基于用户信息进行产品推荐，以及基于用户prompt配合大型语言模型生成个性化营销话术，使得企业可以更加精准地推荐产品和广告文案给目标用户，提高了广告推荐的效率，降低了人力成本，延长了广告文案的生命周期。同时，还新增了对话中广告推荐的形式，扩充了广告的应用场景。并且，基于微调技术的LLM模型的训练方法，可以使得LLM模型更加适应不同语言环境下的营销场景，提高营销效果和国际化程度；并且，利用筛选函数对KYC标签进行筛选，提高准确性；并且，利用FP-growth算法计算问题与各KYC标签的关联性，确定目标KYC标签，确保用户prompt的准确性；并且，利用FP-growth算法挖掘用户问题与用户KYC的关联性，提高广告文案匹配性。
下面对本发明实施例提供的广告推荐装置进行介绍，下文描述的广告推荐装置与上文描述的广告推荐方法可相互对应参照。
具体请参考图2，图2为本发明实施例提供的一种广告推荐装置的结构示意图，可以包括：
回答确定模块100，用于获取用户输入的问题，并利用第一大型语言模型得到所述问题的回答；
转化率预估模块200，用于获取所述用户的历史记录，并根据所述历史记录预估转化率；所述历史记录至少包括历史问题、历史回答、购买记录和历史推荐；
广告推荐判断模块300，用于根据所述转化率确定是否为所述用户推荐广告；
第一判断结果模块400，用于若推荐广告，则根据所述历史记录确定推荐产品；根据所述问题获取用户prompt，将所述用户prompt和所述推荐产品输入到第二大型语言模型中，得到推荐文案；将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
第二判断结果模块500，用于若不推荐广告，则直接将所述回答输出给所述用户。
基于上述实施例，其中第一判断结果模块400，可以包括：
第一KYC标签筛选单元，用于利用基于规则的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
或者，
第二KYC标签筛选单元，用于利用基于大型语言模型的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
目标KYC标签组合单元，用于将所述目标KYC标签进行组合以获取所述用户prompt。
基于上述实施例，其中第一KYC标签筛选单元，可以包括：
关键词提取子单元，用于根据所述问题提取所述问题的关键词；
关联性计算子单元，用于利用FP-growth算法，并根据所述关键词计算所述问题与各个KYC标签的关联性，根据所述关联性确定所述目标KYC标签。
基于上述实施例，其中所述第二大型语言模型为微调后的大型语言模型。
基于上述实施例，其中第一判断结果模块400，可以包括：
训练样本集构建子单元，用于利用历史用户的历史对话数据、历史用户prompt、历史购买商品信息构建训练样本集；
样本标注子单元，用于对所述训练样本集中的部分样本进行标注，得到标注样本集和未标注样本集；标注内容包括历史用户的历史输入问题、系统输出的历史回答和历史推荐文案；
微调子单元，用于利用所述训练样本集对初始大型语言模型进行训练，并利用所述标注样本集对经训练后的大型语言模型进行微调，得到所述微调后的大型语言模型。
基于上述实施例，其中广告推荐装置，还可以包括：
文案检测模块，用于在所述将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户之前，根据检查规则对所述推荐文案进行检查；所述检查规则至少包括检查文字是否出现乱码、文字是否包含敏感词和字数是否超出预设长度；
第一检查结果模块，用于当检查无误后，则执行所述将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
第二检查结果模块，用于当检查有误后，经人工介入对所述推荐文案进行修改，并反馈至开发人员；相应的，将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户，包括：将所述回答、所述推荐产品和修改后的推荐文案一同输出给所述用户。
应用本发明实施例提供的广告推荐装置，通过回答确定模块100，用于获取用户输入的问题，并利用第一大型语言模型得到问题的回答；转化率预估模块200，用于获取用户的历史记录，并根据历史记录预估转化率；历史记录至少包括历史问题、历史回答、购买记录和历史推荐；广告推荐判断模块300，用于根据转化率确定是否为用户推荐广告；第一判断结果模块400，用于若推荐广告，则根据历史记录确定推荐产品；根据问题获取用户prompt，将用户prompt和推荐产品输入到第二大型语言模型中，得到推荐文案；将回答、推荐产品和推荐文案一同输出给用户；第二判断结果模块，用于若不推荐广告，则直接将回答输出给所述用户。本装置通过基于用户信息进行产品推荐，以及基于用户prompt配合大型语言模型生成个性化营销话术，使得企业可以更加精准地推荐产品和广告文案给目标用户，提高了广告推荐的效率，降低了人力成本，延长了广告文案的生命周期。同时，还新增了对话中广告推荐的形式，扩充了广告的应用场景。并且，基于微调技术的LLM模型的训练方法，可以使得LLM模型更加适应不同语言环境下的营销场景，提高营销效果和国际化程度；并且，利用筛选函数对KYC标签进行筛选，提高准确性；并且，利用FP-growth算法计算问题与各KYC标签的关联性，确定目标KYC标签，确保用户prompt的准确性；并且，利用FP-growth算法挖掘用户问题与用户KYC的关联性，提高广告文案匹配性。
下面对本发明实施例提供的广告推荐设备进行介绍，下文描述的广告推荐设备与上文描述的广告推荐方法可相互对应参照。
请参考图3，图3为本发明实施例提供的一种广告推荐设备的结构示意图，可以包括：
存储器10，用于存储计算机程序；
处理器20，用于执行计算机程序，以实现上述的广告推荐方法。
存储器10、处理器20、通信接口31均通过通信总线32完成相互间的通信。
在本发明实施例中，存储器10中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本发明实施例中，存储器10中可以存储有用于实现以下功能的程序：
获取用户输入的问题，并利用第一大型语言模型得到问题的回答；
获取用户的历史记录，并根据历史记录预估转化率；历史记录至少包括历史问题、历史回答、购买记录和历史推荐；
根据转化率确定是否为用户推荐广告；
若推荐广告，则根据历史记录确定推荐产品；根据问题获取用户prompt，将用户prompt和推荐产品输入到第二大型语言模型中，得到推荐文案；将回答、推荐产品和推荐文案一同输出给用户；
若不推荐广告，则直接将回答输出给用户。
在一种可能的实现方式中，存储器10可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能所需的应用程序等；存储数据区可存储使用过程中所创建的数据。
此外，存储器10可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括NVRAM。存储器存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可以包括各种系统程序，用于实现各种基础任务以及处理基于硬件的任务。
处理器20可以为中央处理器（Central Processing Unit，CPU）、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件，处理器20可以是微处理器或者也可以是任何常规的处理器等。处理器20可以调用存储器10中存储的程序。
通信接口31可以为通信模块的接口，用于与其他设备或者系统连接。
当然，需要说明的是，图3所示的结构并不构成对本发明实施例中广告推荐设备的限定，在实际应用中广告推荐设备可以包括比图3所示的更多或更少的部件，或者组合某些部件。
下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的广告推荐方法可相互对应参照。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的广告推荐方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上对本发明所提供的一种广告推荐方法、装置、设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种广告推荐方法，其特征在于，包括：
获取用户输入的问题，并利用第一大型语言模型得到所述问题的回答；
获取所述用户的历史记录，并根据所述历史记录预估转化率；所述历史记录至少包括历史问题、历史回答、购买记录和历史推荐；
根据所述转化率确定是否为所述用户推荐广告；
若推荐广告，则根据所述历史记录确定推荐产品；根据所述问题获取用户prompt，将所述用户prompt和所述推荐产品输入到第二大型语言模型中，得到推荐文案；将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
若不推荐广告，则直接将所述回答输出给所述用户；
所述根据所述问题获取用户prompt，包括：
利用基于规则的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
或者，利用基于大型语言模型的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
将所述目标KYC标签进行组合以获取所述用户prompt；
所述利用基于规则的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签，包括：
根据所述问题提取所述问题的关键词；
利用FP-growth算法，并根据所述关键词计算所述问题与各个KYC标签的关联性，根据所述关联性确定所述目标KYC标签；
所述第二大型语言模型为微调后的大型语言模型；
所述微调后的大型语言模型，包括：
利用历史用户的历史对话数据、历史用户prompt、历史购买商品信息构建训练样本集；
对所述训练样本集中的部分样本进行标注，得到标注样本集和未标注样本集；标注内容包括历史用户的历史输入问题、系统输出的历史回答和历史推荐文案；
利用所述训练样本集对初始大型语言模型进行训练，并利用所述标注样本集对经训练后的大型语言模型进行微调，得到所述微调后的大型语言模型。
2.根据权利要求1所述的广告推荐方法，其特征在于，在所述将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户之前，还包括：
根据检查规则对所述推荐文案进行检查；所述检查规则至少包括检查文字是否出现乱码、文字是否包含敏感词和字数是否超出预设长度；
当检查无误后，则执行所述将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
当检查有误后，经人工介入对所述推荐文案进行修改，并反馈至开发人员；相应的，将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户，包括：将所述回答、所述推荐产品和修改后的推荐文案一同输出给所述用户。
3.一种广告推荐装置，其特征在于，包括：
回答确定模块，用于获取用户输入的问题，并利用第一大型语言模型得到所述问题的回答；
转化率预估模块，用于获取所述用户的历史记录，并根据所述历史记录预估转化率；所述历史记录至少包括历史问题、历史回答、购买记录和历史推荐；
广告推荐判断模块，用于根据所述转化率确定是否为所述用户推荐广告；
第一判断结果模块，用于若推荐广告，则根据所述历史记录确定推荐产品；根据所述问题获取用户prompt，将所述用户prompt和所述推荐产品输入到第二大型语言模型中，得到推荐文案；将所述回答、所述推荐产品和所述推荐文案一同输出给所述用户；
第二判断结果模块，用于若不推荐广告，则直接将所述回答输出给所述用户；
所述第一判断结果模块，包括：
第一KYC标签筛选单元，用于利用基于规则的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
或者，第二KYC标签筛选单元，用于利用基于大型语言模型的KYC标签筛选函数，并根据所述问题对所述用户所有的KYC标签进行筛选，得到目标KYC标签；
目标KYC标签组合单元，用于将所述目标KYC标签进行组合以获取所述用户prompt；
所述第一KYC标签筛选单元，包括：
关键词提取子单元，用于根据所述问题提取所述问题的关键词；
关联性计算子单元，用于利用FP-growth算法，并根据所述关键词计算所述问题与各个KYC标签的关联性，根据所述关联性确定所述目标KYC标签；
所述第二大型语言模型为微调后的大型语言模型；
所述第一判断结果模块，包括：
训练样本集构建子单元，用于利用历史用户的历史对话数据、历史用户prompt、历史购买商品信息构建训练样本集；
样本标注子单元，用于对所述训练样本集中的部分样本进行标注，得到标注样本集和未标注样本集；标注内容包括历史用户的历史输入问题、系统输出的历史回答和历史推荐文案；
微调子单元，用于利用所述训练样本集对初始大型语言模型进行训练，并利用所述标注样本集对经训练后的大型语言模型进行微调，得到所述微调后的大型语言模型。
4.一种广告推荐设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述的广告推荐方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至2任一项所述的广告推荐方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410004991.4A CN117522485B (zh) | 2024-01-03 | 2024-01-03 | 一种广告推荐方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410004991.4A CN117522485B (zh) | 2024-01-03 | 2024-01-03 | 一种广告推荐方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117522485A CN117522485A (zh) | 2024-02-06 |
| CN117522485B true CN117522485B (zh) | 2024-04-09 |
Family
ID=89744214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410004991.4A Active CN117522485B (zh) | 2024-01-03 | 2024-01-03 | 一种广告推荐方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117522485B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022043675A2 (en) * | 2020-08-24 | 2022-03-03 | Unlikely Artificial Intelligence Limited | A computer implemented method for the automated analysis or use of data |
| CN114862516A (zh) * | 2022-05-18 | 2022-08-05 | 阿里巴巴（中国）有限公司 | 文案推荐方法、存储介质及程序产品 |
| CN115827957A (zh) * | 2021-09-15 | 2023-03-21 | 华为技术有限公司 | 一种搜索方法、终端、服务器及系统 |
| CN115860870A (zh) * | 2022-12-16 | 2023-03-28 | 深圳市云积分科技有限公司 | 一种商品推荐方法、系统、装置及可读介质 |
| KR102591769B1 (ko) * | 2022-09-14 | 2023-10-24 | 주식회사 글로랑 | 언어 모델을 기반으로 질의 응답 네트워크를 활용한 인적성 검사의 문제 생성 방법 및 서버 |
| CN117251619A (zh) * | 2023-06-30 | 2023-12-19 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11763350B2 (en) * | 2021-11-01 | 2023-09-19 | Coupang Corp. | Systems and methods for generating a personalized advertisement |
-
2024
- 2024-01-03 CN CN202410004991.4A patent/CN117522485B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022043675A2 (en) * | 2020-08-24 | 2022-03-03 | Unlikely Artificial Intelligence Limited | A computer implemented method for the automated analysis or use of data |
| CN115827957A (zh) * | 2021-09-15 | 2023-03-21 | 华为技术有限公司 | 一种搜索方法、终端、服务器及系统 |
| CN114862516A (zh) * | 2022-05-18 | 2022-08-05 | 阿里巴巴（中国）有限公司 | 文案推荐方法、存储介质及程序产品 |
| KR102591769B1 (ko) * | 2022-09-14 | 2023-10-24 | 주식회사 글로랑 | 언어 모델을 기반으로 질의 응답 네트워크를 활용한 인적성 검사의 문제 생성 방법 및 서버 |
| CN115860870A (zh) * | 2022-12-16 | 2023-03-28 | 深圳市云积分科技有限公司 | 一种商品推荐方法、系统、装置及可读介质 |
| CN117251619A (zh) * | 2023-06-30 | 2023-12-19 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
Non-Patent Citations (3)
| Title |
|---|
| COLE：A Hierarchical Generation Framework for Graphic Design;Peidong Jia等;《arxiv》;20231128;全文 * |
| 基于关系能量最大化的词嵌入方法及应用研究;孙柱;《信息科技》;20200215;全文 * |
| 基于关联规则的个性化推荐系统设计与实现;钱俊松;冷文浩;;福建电脑;20171025(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117522485A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020660B (zh) | 使用人工智能（ai）技术的非结构化过程的完整性评估 | |
| US20220292525A1 (en) | Multi-service business platform system having event systems and methods | |
| US11113477B2 (en) | Visualizing comment sentiment | |
| US20180211260A1 (en) | Model-based routing and prioritization of customer support tickets | |
| US20160140106A1 (en) | Phrase-based data classification system | |
| Weber et al. | Coding the News: The role of computer code in filtering and distributing news | |
| CA3052527C (en) | Target document template generation | |
| CN109614550A (zh) | 舆情监控方法、装置、计算机设备及存储介质 | |
| Ameisen | Building Machine Learning Powered Applications: Going from Idea to Product | |
| US20170076225A1 (en) | Model-based classification of content items | |
| US10733675B2 (en) | Accuracy and speed of automatically processing records in an automated environment | |
| CN108153729B (zh) | 一种面向金融领域的知识抽取方法 | |
| JP7208872B2 (ja) | 提案依頼書（ｒｆｐ）に基づいて提案書を生成するためのシステム及び方法 | |
| CN113379398B (zh) | 一种项目需求的生成方法、装置、电子设备及存储介质 | |
| CN117522485B (zh) | 一种广告推荐方法、装置、设备及计算机可读存储介质 | |
| US11880394B2 (en) | System and method for machine learning architecture for interdependence detection | |
| Sneed | Requirement-based testing-extracting logical test cases from requirement documents | |
| CN112328812A (zh) | 基于自调参数的领域知识抽取方法与系统、电子设备 | |
| Zaheer et al. | Comparing manual-and auto-generated textual descriptions of business process models | |
| US20230134796A1 (en) | Named entity recognition system for sentiment labeling | |
| JP7372372B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| US20240037344A1 (en) | Generating conversational ai response suggestions | |
| Barnes | Case study report: architecture evolution at Costco | |
| Kais | Bootstrapping the CRISP-DM Process | |
| Watfa et al. | An innovative mobile application for M-learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |