CN108875057B - 用于确定数据主题的方法、装置、设备和计算机可读介质 - Google Patents
用于确定数据主题的方法、装置、设备和计算机可读介质 Download PDFInfo
- Publication number
- CN108875057B CN108875057B CN201810695319.9A CN201810695319A CN108875057B CN 108875057 B CN108875057 B CN 108875057B CN 201810695319 A CN201810695319 A CN 201810695319A CN 108875057 B CN108875057 B CN 108875057B
- Authority
- CN
- China
- Prior art keywords
- topic
- topics
- determining
- topic model
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例涉及用于确定数据主题的方法、装置、设备和计算机可读介质。该方法包括:从主题模型库中生成用于目标数据的目标主题模型,所述主题模型库包括主题集合,所述主题集合包括与已有主题模型相关联的主题;以及基于所述目标主题模型,确定所述目标数据的主题。由此,不需要重新训练模型,节省了机器和时间资源。另外,有利地利用高质量的已有主题模型构建了一个高质量的主题模型库,特别是针对一些数据量较小的特定领域,可以提供高质量的主题模型,因此主题推断准确率得以提高。
Description
技术领域
本公开的实施例涉及计算机领域,并且更具体地涉及用于确定数据的主题的方法、装置、电子设备和计算机可读存储介质。
背景技术
主题模型(Topic Modeling)是一种常见的机器学习应用,主要用于对文档进行分类。主题模型自动分析每个文档,统计文档内的词语及其在文档内所占的比例,并根据统计的信息来断定当前文档所属的主题。
通常,针对不同领域或来源的具体数据集,需要训练相应的主题模型,然后利用训练的主题模型确定数据集中的各个数据的主题。可见,不同领域的已有模型无法被直接使用,而需要重新训练相应的主题模型。另外,由于模型的训练需要基于大量数据,因此将耗费巨大的成本和资源。此外,对于一些特定领域,由于数据量太小,因此也很难训练出高质量的主题模型以供使用。
随着人工智能(AI)时代的到来,互联网业务数据日趋庞大,目前方案的这些不足更加明显。
发明内容
根据本公开的示例实施例,提供了一种针对主题模型的改进方案。
在本公开的第一方面中,提供了一种用于确定数据的主题的方法。该方法包括:从主题模型库中生成用于目标数据的目标主题模型,所述主题模型库包括主题集合,所述主题集合包括与已有主题模型相关联的主题;以及基于所述目标主题模型,确定所述目标数据的主题。
在本公开的第二方面中,提供了一种用于确定数据的主题的装置。该装置包括:模型生成单元,被配置用于从主题模型库中生成用于目标数据的目标主题模型,所述主题模型库包括主题集合,所述主题集合包括与已有主题模型相关联的主题;以及主题确定单元,被配置用于基于所述目标主题模型,确定所述目标数据的主题。
在本公开的第三方面中,提供了一种电子设备。该电子设备包括:一个或多个处理器;以及存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了本公开实施例可以在其中实施的示例环境的示意图;
图2示出了根据本公开实施例的用于确定数据的主题的构思的示意图;
图3示出了根据本公开实施例的用于确定数据的主题的方法的流程图;
图4示出了根据本公开实施例的用于构建主题集合库的方法的流程图;
图5示出了根据本公开实施例的用于针对目标数据生成目标主题模型的方法的流程图;
图6示出了根据本公开实施例的用于更新主题模型库的方法的流程图;
图7示出了根据本公开实施例的用于确定数据的主题的装置的示意框图;以及
图8示出了可以实施本公开实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的实施例可以在其中实施的示例环境100的示意图。在该示例环境100中可以包括网络110和计算设备120。计算设备120可以为支持主题模型的服务器或客户端设备,例如搜索引擎服务器、数据库服务器、计算集群等。计算设备120可以从网络110获取数据130。举例而言,计算设备120可以通过诸如爬虫之类的各种方式从网络110(例如新闻网站、微博网站、小说网站、网页等等)获取数据130。计算设备120针对数据130可以生成主题模型140,并利用主题模型140推断数据130中的主题150,以供后续分类等使用。应理解到,图1仅为示例,本申请并不限于此。实际上,本公开的实施例可以适用于利用主题模型的任意场景。
如前面提及的,针对不同领域或来源的数据,在目前的方案中计算设备120需要训练相应的主题模型。例如,针对从新闻网站、网页、小说网站获取的数据,已经分别训练相应的主题模型。但是针对从微博网站获取的数据,仍需要重新训练相应的主题模型以进行主题推断,而无法使用已有主题模型。这样将耗费巨大的机器成本和资源。此外,对于一些特定领域,由于数据量太小,因此也很难训练出高质量的主题模型以供使用。
鉴于此,本申请的基本构思就在于,使用已有主题模型来构建针对目标数据的目标主题模型,而无需重新训练相应的主题模型。根据本公开的实施例,可以基于已有主题模型构建和维护一个主题模型库,并且针对目标数据,从主题模型库中生成相应的目标主题模型,而无需主题模型的训练。下面结合图2进行更详细描述。
图2示出了根据本公开实施例的用于确定数据的主题的构思的示意图200。如图2所示,根据本公开的实施例,基于已有主题模型210-230等可以构建主题模型库240。根据本公开的实施例,针对目标数据260,可以从主题模型库240生成与目标数据260对应的目标主题模型250,以用于目标数据260的主题的确定。
如所知,主题模型通常包括多个主题的条目,在每个条目中包括关键词和该关键词在当前主题中所占的权重。例如,如图2所示,主题模型210可以包括条目210-1至210-K,这些条目均包括V个关键词w1、w2、……、wV和这些关键词在当前主题z1至zK中所占的权重通常,V为十万量级。关键词的权重分布在不同主题下是不同的。
根据本公开的实施例,如图2所示,主题模型库240可以包括主题集合,该主题集合包括与已有主题模型210-230等相关联的主题z1至zK*的条目240-1至240-K*。类似地,在每个条目中包括关键词和该关键词在当前主题中所占的权重。根据本公开的实施例,针对目标数据260,从主题模型库240的主题集合中确定与目标数据250相关联的主题子集250-1至250-K,从而生成目标主题模型250。
下面结合图3至图6更详细地描述根据本公开实施例的用于确定数据主题的方案的示例性实施。图3示出了根据本公开实施例的用于确定数据的主题的方法300的流程图。该方法300可以在例如图1的计算设备120处实施。
如图3所示,在框310,可以从主题模型库(例如图2的主题模型库240)中生成用于目标数据(例如图2的目标数据260)的目标主题模型(例如图2的目标主题模型250)。根据本公开的实施例,主题模型库可以是基于已有主题模型(例如图2的210至230等)而预先构建的。根据本公开的实施例,主题模型库可以包括主题集合,该主题集合可以包括与已有主题模型相关联的主题。下面结合图4描述主题模型库的构建的示例性实施。
图4示出了根据本公开实施例的用于构建主题集合库的方法400的流程图。该方法400可以在例如图1的计算设备120处实施。如图4所示,在框410,可以基于已有主题模型(例如图2的210至230等)中的主题,生成用于主题模型库(例如图2的主题模型库240)的多个候选主题。根据本公开的一些实施例,可以将已有主题模型210至230等中的所有主题z1至zK作为用于主题模型库240的候选主题。根据本公开的其它实施例,可以从已有主题模型210至230等中的主题中选择一部分作为用于主题模型库240的候选主题。在这些候选主题中可能会存在重复,因此可以进行冗余去除处理,以实现高质量的主题模型库。
在框420,可以基于多个候选主题中的两个候选主题分别对应的关键词权重分布,确定这两个候选主题之间的相似度。如前面提及的,主题条目包括关键词和该关键词在该主题下所占的权重,例如图2的210-1所示,通过比较各个关键词对应的权重的分布情况,可以确定两个候选主题之间的相似度。根据本公开的实施例,可以仅考虑关键词中的一部分。在一些实施例中,可以仅考虑前T个关键词。如下式(1)所示,考虑前T个关键词来衡量两个候选主题之间的相似度ρ。
其中zi和zj表示两个候选主题,wt表示第t个关键词,表示第t个关键词wt在候选主题zi下的相应权重,表示第t个关键词wt在候选主题zj下的相应权重,1≤t≤T,m表示两个主题的前t个关键词中相同词的数量。
在框430,判断在框420确定的相似度是否大于或等于第一阈值。根据本公开的实施例,第一阈值可以根据经验预先设置。如果在框430判定相似度大于或等于第一阈值,则进入框440,将两个候选主题之一确定为主题模型库的主题集合中的主题。如果在框430判定相似度小于第一阈值,则进入框450,将两个候选主题都确定为主题模型库的主题集合中的主题。
由此可以执行候选主题之间的冗余去除处理,以得到高质量的主题模型库。应理解到,本公开实施例并不限于此,而是可以采用其它任意合适方式来从已有主题模型构建主题模型库。
继续参考图3的框310,针对目标数据260,可以从构建好的主题模型库240中生成目标主题模型250。在本公开的实施例中,目标数据260可以是数据集,例如从网络110获取的包含多篇微博的数据集。当然,目标数据260也可以是单个数据,例如一篇微博。
下面结合图5更详细描述目标主题模型的生成。图5示出了根据本公开实施例的用于针对目标数据生成目标主题模型的方法500的流程图。该方法500可以在例如图1的计算设备120处实施。
如图5所示,在框510,可以从主题模型库240的主题集合中确定与目标数据260相关联的主题子集。根据本公开的一些实施例,可以从主题集合中确定与目标数据260最相关的预定数目的主题,以作为主题子集。在本公开的实施例中,可以针对目标数据260,生成相应的关键词权重分布信息其中w1、w2、……、wV为关键词,表示关键词w1、w2、……、wV在目标数据260中分别所占的权重。根据所生成的关键词权重分布信息,可以从主题集合中确定关键词权重分布类似的主题作为与目标数据260相关的主题。在一些实施例中,可以从与目标数据260相关的主题中确定最相关的预定数目的主题作为主题子集。由此,可以确保主题子集对目标数据260的高覆盖度。
根据本公开的一些实施例,可以从主题集合中确定与目标数据260相关联的不同类别的主题,以作为主题子集。如上面提及的,根据针对目标数据260所生成的关键词权重分布信息,可以从主题集合中确定关键词权重分布类似的主题作为与目标数据260相关的主题。在一些实施例中,可以从与目标数据260相关的主题中确定不同类别(例如娱乐、军事、美容等等)的主题作为主题子集。由此,可以确保主题子集的多样性。
根据本公开的一些实施例,也可以综合考虑覆盖度和多样性来进行主题子集的确定。根据本公开的实施例,可以将主题集合中的主题进行聚类,然后从聚类后的主题中确定出主题子集。例如,主题子集可以通过下式(2)至(5)来得到:
Φ(S)=c(S)+λv(S) (3)
其中,S表示某个主题子集,S*表示最优的主题子集,c表示覆盖度,v表示多样性,n表示S和S*的主题数目,M表示主题集合,z和表示不同的主题,λ表示由用户指定或者采取默认值的比例参数,Pi表示主题进行聚类后的某一个聚类,ρ表示相似度。ρ例如可以根据式(1)得到。由此,可以实现覆盖度高且多样性强的主题子集。
应理解到,本公开实施例并不限于上述示例,而是可以通过其它任意合适方式来从主题集合中确定与目标数据相关联的主题子集。
在框520,基于主题子集,可以确定目标主题模型250。在本公开的实施例中,可以将在框510确定的主题子集作为目标主题模型250中的主题。由此,可以在无需执行模型训练的情况下得到用于目标数据的主题模型以用于目标数据的主题确定。因此,降低了机器成本和资源。
返回图3,在框320,可以基于目标主题模型250来确定目标数据260的主题。如前面提及的,目标数据260可以是数据集。在这种情况下,基于目标主题模型250可以确定数据集中的每个数据的主题。框320的处理可以采用本领域已知或未来开发的任意合适方式来实现。例如可以使用梅特罗波利斯-黑斯廷斯采样算法等。为了避免混淆本发明,这里对此不再赘述。
根据本公开实施例的上述方案,不需要重新训练模型,节省了机器和时间资源。另外,有利地利用高质量的已有主题模型构建了一个高质量的主题模型库,特别是针对一些数据量较小的特定领域,可以提供高质量的主题模型,因此主题推断准确率得以提高。
关于主题模型库,本公开实施例还提供一种用于更新主题模型库的方案。图6示出了根据本公开实施例的用于更新主题模型库的方法600的流程图。该方法600可以在例如图1所示的计算设备120处实施。
如图6所示,在框610,确定目标数据的来源。在本公开的实施例中,可以从目标数据的配置文件中确定目标数据的来源或领域。例如微博网站、小说网站、新闻网站、网页等等。
在框620,判断该来源是否为新的来源。在本公开的实施例中,计算设备120可以判断是否接收或处理过来自该来源或领域的数据。如果未处理过,则判定该来源为新的来源。如果处理过,则判定该来源不是新的来源,继而无需作主题模型库的更新,而等待下一目标数据的到来。
响应于在框620判定来源为新的来源,在框630,基于目标数据确定训练主题模型。在本公开的一些实施例中,可以基于目标数据进行模型训练以得到训练主题模型。模型训练可以基于各种机器学习技术,例如神经网络、深度学习网络等等。为避免混淆本发明,这里不再赘述。在本公开的一些实施例中,可以基于目标数据从外部获取与目标数据相应的训练主题模型。经模型训练得到的训练主题模型可以认为是高质量的主题模型,并且将其用于更新主题模型库,从而可以维护一个高质量的主题模型库以供使用。下面结合框640至660描述更新过程。应理解到,该过程仅为示例,本公开实施例并不限于此。
在框640,基于训练主题模型中的第一主题与主题模型库的主题集合中的第二主题分别对应的关键词权重分布,确定第一主题和第二主题之间的相似度。在本公开的实施例中,可以将训练主题模型中的每个主题与主题模型库中的每个主题进行比较,以确定二者之间的相似度。该步骤的处理可以参见前面结合式(1)进行的描述,这里不再赘述。
在框650,判断相似度是否小于第二阈值。根据本公开的实施例,第二阈值可以是根据经验预先设置的。在其它实施例中,第二阈值也可以以其它方式指定。当判定相似度小于第二阈值时,进入框660,将第一主题添加到主题集合中。当判定相似度大于或等于第二阈值时,返回框640,以针对训练主题模型中的下一主题执行操作。
由此,通过冗余去除处理,利用新训练出来的主题模型更新了主题模型库,从而增量式构建并维护了高质量的主题模型库。在主题模型库被进一步完善后,目标数据的主题推断的准确率也将进一步提高。
应理解到,主题模型库的更新并不限于上述示例,而是可以基于任何新的经训练的主题模型。在一些实施例中,该经训练的主题模型可以是计算设备120本身基于目标数据训练得到的。在一些实施例中,该经训练的主题模型可以是计算设备120从外部获取到的。
至此结合图3至图6描述了根据本公开实施例的用于确定数据的主题的方法。根据本公开实施例的方案,可以利用已有主题模型构建主题模型库,并利用新训练的主题模型更新主题模型库,从而维护一个高质量的主题模型库。针对目标数据,利用主题模型库可以实时生成相应的目标训练模型以用于目标数据的主题推断,而无需针对目标数据重新训练相应的主题模型,节省了大量的机器和时间资源。另外,利用这样的主题模型库能够生成高质量的目标训练模型,特别是针对一些数据量较小的特定领域,因此主题推断的准确率得以提高。
本公开实施例还提供了用于实现上述方法或过程的相应装置。图7示出了根据本公开实施例的用于确定数据的主题的装置700的示意性框图。该装置700可以在例如图1的计算设备120处实施。如图7所示,装置700可以包括模型生成单元710和主题确定单元720。
在一些实施例中,模型生成单元710可以被配置用于从主题模型库(例如图2的主题模型库240)中生成用于目标数据(例如图2的目标数据260)的目标主题模型(例如图2的目标主题模型250)。主题模型库包括主题集合,所述主题集合包括与已有主题模型相关联的主题。
根据本公开的实施例,模型生成单元710可以包括(图中未示出):子集确定单元,被配置用于从主题集合中确定与目标数据相关联的主题子集;以及模型确定单元,被配置用于基于主题子集确定目标主题模型。根据本公开的一些实施例,子集确定单元可以包括:第一确定单元,被配置用于从主题集合中确定与目标数据最相关的预定数目的主题,以作为主题子集。根据本公开的一些实施例,子集确定单元可以包括:第二确定单元,被配置用于从主题集合中确定与目标数据相关联的不同类别的主题,以作为主题子集。
根据本公开的实施例,装置700还可以包括(图中未示出):主题生成单元,被配置用于基于已有主题模型中的主题,生成用于主题模型库的多个候选主题;以及集合确定单元,基于多个候选主题,确定用于主题模型库的主题集合。根据本公开的一些实施例,集合确定单元可以包括:相似度确定单元,被配置用于基于多个候选主题中的两个候选主题分别对应的关键词权重分布,确定两个候选主题之间的相似度;以及阈值确定单元,被配置用于响应于相似度大于或等于第一阈值,将两个候选主题之一确定为主题集合中的主题,并且响应于相似度小于第一阈值,将两个候选主题均确定为主题集合中的主题。
根据本公开的实施例,装置700还可以包括(图中未示出):来源确定单元,被配置用于确定目标数据的来源;训练单元,被配置用于响应于来源是新的来源,基于目标数据确定训练主题模型;以及更新单元,被配置用于利用训练主题模型,更新主题模型库。根据本公开的一些实施例,更新单元可以包括:确定单元,被配置用于基于训练主题模型中的第一主题与主题集合中的第二主题分别对应的关键词权重分布,确定第一主题与第二主题之间的相似度;以及添加单元,被配置用于响应于相似度小于第二阈值,将第一主题添加到主题集合中。
应当理解,装置700中记载的每个单元分别与参考图3至图6描述的方法300至600中的每个步骤相对应。并且,装置700及其中包含的单元的操作和特征都对应于上文结合图3至图6描述的操作和特征,并且具有同样的效果,具体细节不再赘述。
装置700中所包括的单元可以利用各种方式来实现,包括软件、硬件、固件或其任意组合。在一些实施例中,一个或多个单元可以使用软件和/或固件来实现,例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代,装置700中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制,可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD),等等。
图7中所示的这些单元可以部分或者全部地实现为硬件模块、软件模块、固件模块或者其任意组合。特别地,在某些实施例中,上文描述的流程、方法或过程可以由存储系统或与存储系统对应的主机或独立于存储系统的其它计算设备中的硬件来实现。
图8示出了可以用来实施本公开实施例的示例性计算设备800的示意性框图。设备800可以用于实现图1的计算设备120。如图所示,设备800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元801执行上文所描述的各个方法和处理,例如方法300至600。例如,在一些实施例中,方法300至600可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由CPU 801执行时,可以执行上文描述的方法300至600的一个或多个步骤。备选地,在其他实施例中,CPU801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法300至600。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (18)
1.一种用于确定数据的主题的方法,包括:
从主题模型库中生成用于目标数据的目标主题模型,所述主题模型库包括主题集合,所述主题集合包括与已有主题模型相关联的主题;以及
基于所述目标主题模型,确定所述目标数据的主题。
2.根据权利要求1所述的方法,其中生成所述目标主题模型包括:
从所述主题集合中确定与所述目标数据相关联的主题子集;以及基于所述主题子集确定所述目标主题模型。
3.根据权利要求2所述的方法,其中确定所述主题子集包括:
从所述主题集合中确定与所述目标数据最相关的预定数目的主题,以作为所述主题子集。
4.根据权利要求2所述的方法,其中确定所述主题子集包括:
从所述主题集合中确定与所述目标数据相关联的不同类别的主题,以作为所述主题子集。
5.根据权利要求1所述的方法,还包括:
基于所述已有主题模型中的主题,生成用于所述主题模型库的多个候选主题;以及
基于所述多个候选主题,确定用于所述主题模型库的主题集合。
6.根据权利要求5所述的方法,其中确定所述主题集合包括:
基于所述多个候选主题中的两个候选主题分别对应的关键词权重分布,确定所述两个候选主题之间的相似度;
响应于所述相似度大于或等于第一阈值,将所述两个候选主题之一确定为所述主题集合中的主题;以及
响应于所述相似度小于所述第一阈值,将所述两个候选主题均确定为所述主题集合中的主题。
7.根据权利要求1所述的方法,还包括:
确定所述目标数据的来源;
响应于所述来源是新的来源,基于所述目标数据确定训练主题模型;以及
利用所述训练主题模型,更新所述主题模型库。
8.根据权利要求7所述的方法,其中更新所述主题模型库包括:
基于所述训练主题模型中的第一主题与所述主题集合中的第二主题分别对应的关键词权重分布,确定所述第一主题与所述第二主题之间的相似度;以及
响应于所述相似度小于第二阈值,将所述第一主题添加到所述主题集合中。
9.一种用于确定数据的主题的装置,包括:
模型生成单元,被配置用于从主题模型库中生成用于目标数据的目标主题模型,所述主题模型库包括主题集合,所述主题集合包括与已有主题模型相关联的主题;以及
主题确定单元,被配置用于基于所述目标主题模型,确定所述目标数据的主题。
10.根据权利要求9所述的装置,其中所述模型生成单元包括:
子集确定单元,被配置用于从所述主题集合中确定与所述目标数据相关联的主题子集;以及
模型确定单元,被配置用于基于所述主题子集确定所述目标主题模型。
11.根据权利要求10所述的装置,其中所述子集确定单元包括:
第一确定单元,被配置用于从所述主题集合中确定与所述目标数据最相关的预定数目的主题,以作为所述主题子集。
12.根据权利要求10所述的装置,其中所述子集确定单元包括:
第二确定单元,被配置用于从所述主题集合中确定与所述目标数据相关联的不同类别的主题,以作为所述主题子集。
13.根据权利要求9所述的装置,还包括:
主题生成单元,被配置用于基于所述已有主题模型中的主题,生成用于所述主题模型库的多个候选主题;以及
集合确定单元,基于所述多个候选主题,确定用于所述主题模型库的主题集合。
14.根据权利要求13所述的装置,其中所述集合确定单元包括:
相似度确定单元,被配置用于基于所述多个候选主题中的两个候选主题分别对应的关键词权重分布,确定所述两个候选主题之间的相似度;以及
阈值确定单元,被配置用于响应于所述相似度大于或等于第一阈值,将所述两个候选主题之一确定为所述主题集合中的主题,并且响应于所述相似度小于所述第一阈值,将所述两个候选主题均确定为所述主题集合中的主题。
15.根据权利要求9所述的装置,还包括:
来源确定单元,被配置用于确定所述目标数据的来源;
训练单元,被配置用于响应于所述来源是新的来源,基于所述目标数据确定训练主题模型;以及
更新单元,被配置用于利用所述训练主题模型,更新所述主题模型库。
16.根据权利要求15所述的装置,其中所述更新单元包括:
确定单元,被配置用于基于所述训练主题模型中的第一主题与所述主题集合中的第二主题分别对应的关键词权重分布,确定所述第一主题与所述第二主题之间的相似度;以及
添加单元,被配置用于响应于所述相似度小于第二阈值,将所述第一主题添加到所述主题集合中。
17.一种电子设备,包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。
18.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810695319.9A CN108875057B (zh) | 2018-06-29 | 2018-06-29 | 用于确定数据主题的方法、装置、设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810695319.9A CN108875057B (zh) | 2018-06-29 | 2018-06-29 | 用于确定数据主题的方法、装置、设备和计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108875057A CN108875057A (zh) | 2018-11-23 |
CN108875057B true CN108875057B (zh) | 2021-08-27 |
Family
ID=64296919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810695319.9A Active CN108875057B (zh) | 2018-06-29 | 2018-06-29 | 用于确定数据主题的方法、装置、设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108875057B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109783620A (zh) * | 2018-12-17 | 2019-05-21 | 北京百度网讯科技有限公司 | 模型确定方法、装置及设备 |
CN109919427B (zh) * | 2019-01-24 | 2024-07-19 | 平安科技(深圳)有限公司 | 模型议题去重评估方法、服务器及计算机可读存储介质 |
CN112306925B (zh) * | 2019-08-02 | 2023-02-10 | 华为技术有限公司 | 访问请求的处理方法、装置、设备及存储介质 |
CN111460822B (zh) * | 2020-03-27 | 2024-02-27 | 北京百度网讯科技有限公司 | 主题扩展的方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662960A (zh) * | 2012-03-08 | 2012-09-12 | 浙江大学 | 在线监督式主题建模及其演变分析的方法 |
CN104408153A (zh) * | 2014-12-03 | 2015-03-11 | 中国科学院自动化研究所 | 一种基于多粒度主题模型的短文本哈希学习方法 |
CN106528644A (zh) * | 2016-10-14 | 2017-03-22 | 航天恒星科技有限公司 | 一种遥感数据的检索方法及装置 |
CN108062319A (zh) * | 2016-11-08 | 2018-05-22 | 北京国双科技有限公司 | 一种新主题的实时检测方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095229A (zh) * | 2014-04-29 | 2015-11-25 | 国际商业机器公司 | 训练主题模型的方法,对比文档内容的方法和相应的装置 |
-
2018
- 2018-06-29 CN CN201810695319.9A patent/CN108875057B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662960A (zh) * | 2012-03-08 | 2012-09-12 | 浙江大学 | 在线监督式主题建模及其演变分析的方法 |
CN104408153A (zh) * | 2014-12-03 | 2015-03-11 | 中国科学院自动化研究所 | 一种基于多粒度主题模型的短文本哈希学习方法 |
CN106528644A (zh) * | 2016-10-14 | 2017-03-22 | 航天恒星科技有限公司 | 一种遥感数据的检索方法及装置 |
CN108062319A (zh) * | 2016-11-08 | 2018-05-22 | 北京国双科技有限公司 | 一种新主题的实时检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108875057A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11087201B2 (en) | Neural architecture search using a performance prediction neural network | |
US12039280B2 (en) | Multi-turn dialogue response generation with persona modeling | |
CN108875057B (zh) | 用于确定数据主题的方法、装置、设备和计算机可读介质 | |
US11144831B2 (en) | Regularized neural network architecture search | |
US10783262B2 (en) | Tagging documents with security policies | |
US11604985B2 (en) | Population based training of neural networks | |
CN111723209A (zh) | 半监督文本分类模型训练方法、文本分类方法、系统、设备及介质 | |
Wang et al. | Efficient learning by directed acyclic graph for resource constrained prediction | |
US20080229828A1 (en) | Establishing reputation factors for publishing entities | |
KR20200096133A (ko) | 데이터 모델을 구축하는 방법, 장치, 기기 및 매체 | |
US20220383036A1 (en) | Clustering data using neural networks based on normalized cuts | |
US20200394448A1 (en) | Methods for more effectively moderating one or more images and devices thereof | |
CN116089873A (zh) | 模型训练方法、数据分类分级方法、装置、设备及介质 | |
Gao et al. | Enhancing collaborative filtering via topic model integrated uniform euclidean distance | |
CN112464655A (zh) | 中文字符和拼音相结合的词向量表示方法、装置、介质 | |
Jiang et al. | Forest pruning based on branch importance | |
JP2016105232A (ja) | 言語モデル作成装置、言語モデル作成方法、プログラム、および記録媒体 | |
CN110390011B (zh) | 数据分类的方法和装置 | |
US20230142351A1 (en) | Methods and systems for searching and retrieving information | |
CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
CN112348041A (zh) | 日志分类、日志分类训练方法及装置、设备、存储介质 | |
Gu et al. | MANSOR: a module alignment method based on neighbor information for scientific workflow | |
Gao et al. | A Novel Blockchain-Based Responsible Recommendation System for Service Process Creation and Recommendation | |
US20210334477A1 (en) | Method and server for processing text sequence for machine processing task | |
CN117951294A (zh) | 文本分类模型的训练方法、文本分类方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |