CN112560461A - 新闻线索的生成方法、装置、电子设备及存储介质 - Google Patents
新闻线索的生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112560461A CN112560461A CN202011460408.9A CN202011460408A CN112560461A CN 112560461 A CN112560461 A CN 112560461A CN 202011460408 A CN202011460408 A CN 202011460408A CN 112560461 A CN112560461 A CN 112560461A
- Authority
- CN
- China
- Prior art keywords
- news
- clue
- target
- data
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了新闻线索的生成方法、装置、电子设备及存储介质,涉及计算机技术领域,具体涉及自然语言处理、深度学习、知识图谱等人工智能技术领域。具体实现方案为:获取样本新闻数据;对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索;对初始新闻线索进行特征解析,以得到对应的线索特征;以及根据线索特征从多条初始新闻线索之中选取出目标新闻线索,实现从海量的新闻数据中快速地识别到新闻线索,能够有效地提升新闻线索生成的时效性,有效地提升新闻线索的可参考性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及自然语言处理、深度学习、知识图谱等人工智能技术领域,尤其涉及新闻线索的生成方法、装置、电子设备及存储介质。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
线索,即可以对用户撰写新闻进行一些方向性指导的内容(比如文本内容),例如,当用户对某一话题感兴趣,而希望撰写一篇相关的新闻报道时,可以从新闻线索库中检索得到一些可用的线索,从而参考可用的线索来撰写新闻。
发明内容
提供了一种新闻线索的生成方法、装置、电子设备、存储介质及计算机程序产品。
根据第一方面,提供了一种新闻线索的生成方法,包括:获取样本新闻数据;对所述样本新闻数据进行识别处理,以得到对应的多条初始新闻线索;对所述初始新闻线索进行特征解析,以得到对应的线索特征;以及根据所述线索特征从所述多条初始新闻线索之中选取出目标新闻线索。
根据第二方面,提供了一种新闻线索的生成装置,包括:获取模块,用于获取样本新闻数据;识别模块,用于对所述样本新闻数据进行识别处理,以得到对应的多条初始新闻线索;第一解析模块,用于对所述初始新闻线索进行特征解析,以得到对应的线索特征;以及选取模块,用于根据所述线索特征从所述多条初始新闻线索之中选取出目标新闻线索。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请实施例的新闻线索的生成方法。
根据第四方面,提出了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请实施例公开的新闻线索的生成方法。
根据第五方面,提出了一种计算机程序产品,包括计算机程序,当所述计算机程序由处理器执行时实现本申请实施例公开的新闻线索的生成方法。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的示意图;
图2为本申请实施例中的应用示意图;
图3是根据本申请第二实施例的示意图;
图4是本申请实施例的另一应用示意图;
图5是根据本申请第三实施例的示意图;
图6是根据本申请第四实施例的示意图;
图7是用来实现本申请实施例的新闻线索的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的示意图。
其中,需要说明的是,本实施例的新闻线索的生成方法的执行主体为新闻线索的生成装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。
本申请实施例涉及自然语言处理、深度学习、知识图谱等人工智能技术领域。
其中,人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
自然语言处理(Natural Language Processing,NLP),能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
而知识图谱,是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。
如图1所示,该新闻线索的生成方法包括:
S101:获取样本新闻数据。
其中,新闻线索,可以被用于指导用户撰写新闻,一些与新闻相关的数据(比如新闻文本、发布者、发布时间),可以被称为新闻数据,本申请实施例中,用于生成新闻线索的新闻数据,可以被称为样本新闻数据。
为了提升新闻数据的时效性,提升所生成的目标新闻线索的可参考性,本申请实施例中,可以是获取线下新闻数据和线上的实时新闻数据,并将线下新闻数据和实时新闻数据共同作为样本新闻数据。
也即是说,本申请实施例中的样本新闻数据,可以由两部分组成,一部分是线下新闻数据,比如可以是新闻库里的已经播报展示过的新闻数据,另一部分是线上的实时新闻数据,比如线上实时播报的新闻数据。
本申请实施例中,可以在新闻线索的生成装置之中配置数据采集模块,并配置该数据采集模块与新闻库相连接,从而采用批量出库的方式从新闻库中读取线下新闻数据并存储至本地,而后批量地处理线下新闻数据,另外为了保障新闻线索的时效性,还配置新闻线索的生成装置接入互联网,以监听并抓取线上实时播报的新闻数据,比如,数据采集模块可以通过消息中间件BigPipe(管道)来进行线上数据的抓取,而后,将抓取到的线上的实时新闻数据通过BigPipe下发,数据采集模块可以提前部署好多个消费者,通过Restful架构(Representational State Transfer,表述性状态传递,符合Rest的架构被称为Restful架构)API(Application Programming Interface,应用程序接口)从BigPipe的队列中竞争消费线上的实时新闻数据。
如图2所示,图2为本申请实施例中的应用示意图,图2中包括消息中间件BigPipe(管道)21,在消息中间件BigPipe(管道)之中包括消息队列,在该消息队列中包含多个线程,每个线程上加载相应的线上的实时新闻数据,新闻线索的生成装置(比如可以设置在新闻线索挖掘设备中)配置多个消费者,各个消费者通过Restful API从BigPipe的队列中竞争消费线上的实时新闻数据。
S102:对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索。
上述在获取线下新闻数据和线上的实时新闻数据之后,可以首先对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,而后触发后续识别得到可参考性更高的新闻线索并作为目标新闻线索。
本申请实施例中新闻线索可以具体是一个字典结构,可以包括:新闻词、发布时间、发布者、属性、热度等内容。
也即是说,上述对样本新闻数据进行识别处理,具体是识别得到样本新闻数据之中包含的上述新闻词、发布时间、发布者、属性、热度等内容,或者,也可以是根据样本新闻数据所涵盖的语义,将其处理为上述的字典结构的新闻线索,对此不做限制。
本申请实施例中,可以首先对样本新闻数据进行粗略的识别处理,从而将粗略识别得到的新闻线索作为初始新闻线索。
一些实施例中,在对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索时,可以具体是将样本新闻数据输入至预训练的线索生成模型中,以得到线索生成模型输出的多条初始新闻线索,从而能够快速地从海量的样本新闻数据之中识别得到初始新闻线索,并且线索生成模型是预先训练的,从而能够保障新闻线索的识别效率和识别准确性。
其中,预训练的线索生成模型可以是基于自然语言处理NLP的预训练语言模型ERNIE(Enhanced Representation from knowledge Integration,知识增强语义表示模型)。
本申请实施例中,可以预先基于样本新闻数据训练预训练语言模型ERNIE,比如可以通过迁移学习训练得到语言模型ERNIE,训练数据来自于人工标注的10000条二分类的新闻数据,使得训练得到的语言模型ERNIE能够针对输入的样本新闻数据对应的正文文本识别得出新闻线索文本,并判断该新闻线索文本是否是新闻线索,返回一个0~1的值作为概率,比如可以选取线索生成模型输出的概率大于阈值的若干条新闻线索作为初始新闻线索,对此不做限制。
可选地,另外一些实施例中,对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,还可以是解析样本新闻数据得到候选新闻词,并从预设词典库中匹配出与候选新闻词对应的多条新闻线索,以及将对应的多条新闻线索作为初始新闻线索,词典库中的新闻线索可以是预先根据海量的新闻词形成的,从而能够保障新闻线索的识别效率,并且是直接基于候选新闻词(该候选新闻词可以是一些能够表达新闻语义的摘要词)来匹配出相应的新闻线索,能够提升新闻线索识别的命中概率。
可选地,另外一些实施例中,对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,还可以是解析样本新闻数据得到候选新闻词(该候选新闻词可以是一些能够表达新闻语义的摘要词),而后,确定候选新闻词的热度信息,确定热度信息满足设定条件的目标新闻词;以及根据目标新闻词从与其所属的样本新闻数据之中确定出初始新闻线索,由于结合了新闻词的热度信息来确定新闻线索,从而能够有效地提升新闻线索的质量,使得依据此新闻线索所生成的新闻能够获得较高的关注度。
其中,该候选新闻词可以是一些能够表达新闻语义的摘要词,可以针对每条样本新闻数据解析得到相应的候选新闻词(可以是一个或者多个),而后,确定候选新闻词的热度信息(热度信息可以通过该候选新闻词的点击率和搜索率、与该候选新闻词关联新闻数据的转发率、评论率来衡量),选取热度信息满足设定条件(可以是根据点击率、搜索率、转发率,以及评论率计算得到的热度值大于设定阈值,对此不做限制)的目标新闻词,而后,可以从与目标新闻词所出处的样本新闻数据当中,解析得到与目标新闻词的语义相关的上下文文本,结合目标新闻词和相关的上下文文本得到新闻线索,对此不做限制。
S103:对初始新闻线索进行特征解析,以得到对应的线索特征。
上述在是被得到多条初始新闻线索之后,可以触发进一步地进行精细化地筛选,以从多条初始新闻数据当中选取出可用性价值较高的目标新闻数据。
本申请实施例可以对初始新闻线索进行特征解析,得到各个初始新闻线索对应的线索特征,该线索特征可以具体例如线索的类型、线索出处的新闻数据的类型,或者也可以是线索语义,对此不做限制。
其中,可以以线索特征是线索出处的新闻数据的类型进行示例,后续步骤可以根据线索出处的新闻数据的类型对线索进行去重处理。
S104:根据线索特征从多条初始新闻线索之中选取出目标新闻线索。
上述结合一些策略,从多条初始新闻线索之中选取出的部分的新闻线索,可以被称为目标新闻线索,比如,可以从多条初始新闻线索中剔除质量较差的新闻线索,或者,也可以对多条初始新闻线索进行去重处理,对此不做限制。
一些实施例中,根据线索特征从多条初始新闻线索之中选取出目标新闻线索,可以是根据线索特征,确定不同初始新闻线索之间的线索相似度;根据线索相似度对多个初始新闻线索进行分类处理,以得到至少一种类别的新闻线索集合;以及从每种类别的新闻线索集合之中选取出目标新闻线索,从而能够实现对新闻线索进行去重处理,有效地避免同一线索多次出现,避免所生成的新闻线索占用过多的存储运算资源。
其中,根据线索特征,确定不同初始新闻线索之间的线索相似度,该线索相似度能够描述不同初始新闻线索之间的相似程度,每种类别的新闻线索集合中可以包含相似程度较高的一类初始新闻线索,而后,从每种类别的新闻线索集合之中选取出一个或者多个的目标新闻线索。
本实施例中,通过获取样本新闻数据,并对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,对初始新闻线索进行特征解析,以得到对应的线索特征;以及根据线索特征从多条初始新闻线索之中选取出目标新闻线索,实现从海量的新闻数据中快速地识别到新闻线索,能够有效地提升新闻线索生成的时效性,有效地提升新闻线索的可参考性。
图3是根据本申请第二实施例的示意图。
如图3所示,该新闻线索的生成方法包括:
S301:获取样本新闻数据。
S302:对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索。
S303:对初始新闻线索进行特征解析,以得到对应的线索特征。
S304:根据线索特征从多条初始新闻线索之中选取出目标新闻线索。
S301-S304的说明可以参见上述实施例,在此不再赘述。
S305:对目标新闻线索进行语义解析,以得到线索语义。
上述在得到目标新闻线索之后,可以分析该目标新闻线索对应的线索语义,该线索语义可以用于表征目标新闻线索包含的语义内容,或者,也可以用于表征该目标新闻线索所出处的新闻数据的内容,对此不做限制。
S306:确定线索语义之中与设定属性对应的属性内容。
上述在对目标新闻线索进行语义解析,以得到线索语义之后,可以确定线索语义之中与设定属性对应的属性内容,从而采用所确定的与设定属性对应的属性内容,来将目标新闻线索转换为结构化的数据,便于对目标新闻线索的存储管理以及后续的线索推荐。
设定属性比如:文本、发布时间、发布者、热度、语义,则属性内容,可以是与各个设定属性相对应的实际的内容。
S307:根据属性内容对目标新闻线索进行格式转换,以将目标新闻线索转换为字典结构的新闻线索。
在确定线索语义之中与设定属性对应的属性内容之后,可以根据属性内容对目标新闻线索进行格式转换,以将目标新闻线索转换为字典结构的新闻线索,该字典结构的新闻线索,能够便于用户在实际使用过程中的检索、查找,从而能够便于新闻线索的推广,提升新闻线索的利用率。
字典结构的新闻线索可以是键值对形式,其中的键是上述的设定属性,而值是上述与设定属性对应的属性内容,对此不做限制。
S308:根据线索语义和属性内容,确定目标新闻线索对应的线索类别。
其中的线索类别,可以具体是教育类、实时新闻类、体育类等。
线索类别具体可以是预先标定的,而后,在确定目标新闻线索对应的线索类别时,可以是确定线索语义与预先标定的线索类别之间的相似度,从而根据相似度将目标新闻线索划归至一类线索类别之下,将所划归至的线索类别作为与自身对应的线索类别。
S309:将目标新闻线索存储至搜索引擎之中目标搜索标签对应的存储模块内,目标搜索标签的类别与线索类别相匹配。
其中,目标搜索标签用于标识对应的存储模块,存储模块可以是新闻线索的生成装置中的一个存储组件,存储模块可以与搜索标签相关联,不同的搜索标签用于索引不同的存储模块,则在实际的线索检索应用当中,可以直接根据用户需求的线索类别,去相应的存储模块之中检索,类别与线索类别相对应的搜索标签,可以被称为目标搜索标签。
上述在根据线索特征从多条初始新闻线索之中选取出目标新闻线索之后,还可以根据线索语义和属性内容,确定目标新闻线索对应的线索类别,将目标新闻线索存储至搜索引擎之中目标搜索标签对应的存储模块内,目标搜索标签的类别与线索类别相匹配,从而实现对所生成的新闻线索的分类存储,提升新闻线索的存储管理效率,提升针对新闻线索的检索应用性能。
参见图4,图4是本申请实施例的另一应用示意图,图4中,可以以线上的实时新闻数据是从微博实时数据接口捕获得到进行示例,或者也可以为其他非微博数据接口捕获得到线上的实时新闻数据,线下新闻数据可以是从微博离线数据接口捕获得到的(对此不作限制),线上的实时新闻数据和线下的新闻数据传输至线索召回模块(用于形成初始新闻线索),该过程可以对各个新闻数据进行规则过滤、热度统计、模型判别、爆发检测,或者依托一些聚合策略,从海量新闻数据当中召回初始新闻线索,而后对召回的初始新闻线索进行后处理,比如进行模式schema映射,对初始新闻线索进行去重处理、模型判别、或者其他的一些文本清洗、与相应新闻数据进行关联、属性抽取、质量检测等等过程,从初始新闻线索当中识别出目标新闻线索,而后,将目标新闻线索依据类别存储至集群节点当中,供用户经由查询接口进行检索,对此不做限制。
本实施例中,实现从海量的新闻数据中快速地识别到新闻线索,能够有效地提升新闻线索生成的时效性,有效地提升新闻线索的可参考性。在对目标新闻线索进行语义解析,以得到线索语义之后,可以确定线索语义之中与设定属性对应的属性内容,从而采用所确定的与设定属性对应的属性内容,来将目标新闻线索转换为结构化的数据,便于对目标新闻线索的存储管理以及后续的线索推荐。在确定线索语义之中与设定属性对应的属性内容之后,可以根据属性内容对目标新闻线索进行格式转换,以将目标新闻线索转换为字典结构的新闻线索,该字典结构的新闻线索,能够便于用户在实际使用过程中的检索、查找,从而能够便于新闻线索的推广,提升新闻线索的利用率。在根据线索特征从多条初始新闻线索之中选取出目标新闻线索之后,还可以根据线索语义和属性内容,确定目标新闻线索对应的线索类别,将目标新闻线索存储至搜索引擎之中目标搜索标签对应的存储模块内,目标搜索标签的类别与线索类别相匹配,从而实现对所生成的新闻线索的分类存储,提升新闻线索的存储管理效率,提升针对新闻线索的检索应用性能。
图5是根据本申请第三实施例的示意图。
如图5所示,该新闻线索的生成装置50,包括:
获取模块501,用于获取样本新闻数据;
识别模块502,用于对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索;
第一解析模块503,用于对初始新闻线索进行特征解析,以得到对应的线索特征;以及
选取模块504,用于根据线索特征从多条初始新闻线索之中选取出目标新闻线索。
在本申请的一些实施例中,其中,选取模块504,具体用于:
根据线索特征,确定不同初始新闻线索之间的线索相似度;
根据线索相似度对多个初始新闻线索进行分类处理,以得到至少一种类别的新闻线索集合;以及
从每种类别的新闻线索集合之中选取出目标新闻线索。
在本申请的一些实施例中,如图6所示,图6是根据本申请第四实施例的示意图,该新闻线索的生成装置60,包括:获取模块601、识别模块602、第一解析模块603,以及选取模块604,还包括:
第二解析模块605,用于对目标新闻线索进行语义解析,以得到线索语义;
第一确定模块606,用于确定线索语义之中与设定属性对应的属性内容;以及
格式转换模块607,用于根据属性内容对目标新闻线索进行格式转换,以将目标新闻线索转换为字典结构的新闻线索。
在本申请的一些实施例中,其中,识别模块602,具体用于:
将样本新闻数据输入至预训练的线索生成模型中,以得到线索生成模型输出的多条初始新闻线索。
在本申请的一些实施例中,其中,识别模块602,还用于:
解析样本新闻数据得到候选新闻词;
从预设词典库中匹配出与候选新闻词对应的多条新闻线索,并将对应的多条新闻线索作为初始新闻线索。
在本申请的一些实施例中,其中,识别模块602,具体用于:
解析样本新闻数据得到候选新闻词;
确定候选新闻词的热度信息;
确定热度信息满足设定条件的目标新闻词;以及
根据目标新闻词从与其所属的样本新闻数据之中确定出初始新闻线索。
在本申请的一些实施例中,如图6所示,还包括:
第二确定模块608,用于根据线索语义和属性内容,确定目标新闻线索对应的线索类别;
存储模块609,用于将目标新闻线索存储至搜索引擎之中目标搜索标签对应的存储模块内,目标搜索标签的类别与线索类别相匹配。
在本申请的一些实施例中,其中,获取模块601,具体用于:
获取线下新闻数据和线上的实时新闻数据,并将线下新闻数据和实时新闻数据作为样本新闻数据。
可以理解的是,本实施例附图6中的新闻线索的生成装置60与上述实施例中的新闻线索的生成装置50,获取模块601与上述实施例中的获取模块501,识别模块602与上述实施例中的识别模块502,第一解析模块603与上述实施例中的第一解析模块503,选取模块604与上述实施例中的选取模块504,可以具有相同的功能和结构。
需要说明的是,前述对新闻线索的生成方法的解释说明也适用于本实施例的新闻线索的生成装置,此处不再赘述。
本实施例中,通过获取样本新闻数据,并对样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,对初始新闻线索进行特征解析,以得到对应的线索特征;以及根据线索特征从多条初始新闻线索之中选取出目标新闻线索,实现从海量的新闻数据中快速地识别到新闻线索,能够有效地提升新闻线索生成的时效性,有效地提升新闻线索的可参考性。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7是用来实现本申请实施例的新闻线索的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如,新闻线索的生成方法。
例如,在一些实施例中,新闻线索的生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的新闻线索的生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行新闻线索的生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的新闻线索的生成方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (19)
1.一种新闻线索的生成方法,包括:
获取样本新闻数据;
对所述样本新闻数据进行识别处理,以得到对应的多条初始新闻线索;
对所述初始新闻线索进行特征解析,以得到对应的线索特征;以及
根据所述线索特征从所述多条初始新闻线索之中选取出目标新闻线索。
2.根据权利要求1所述的方法,其中,所述根据所述线索特征从所述多条初始新闻线索之中选取出目标新闻线索,包括:
根据所述线索特征,确定不同所述初始新闻线索之间的线索相似度;
根据所述线索相似度对所述多个初始新闻线索进行分类处理,以得到至少一种类别的新闻线索集合;以及
从每种类别的所述新闻线索集合之中选取出所述目标新闻线索。
3.根据权利要求1所述的方法,在所述根据所述线索特征从所述多条初始新闻线索之中选取出目标新闻线索之后,还包括:
对所述目标新闻线索进行语义解析,以得到线索语义;
确定所述线索语义之中与设定属性对应的属性内容;以及
根据所述属性内容对所述目标新闻线索进行格式转换,以将所述目标新闻线索转换为字典结构的新闻线索。
4.根据权利要求1所述的方法,其中,所述对所述样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,包括:
将所述样本新闻数据输入至预训练的线索生成模型中,以得到所述线索生成模型输出的所述多条初始新闻线索。
5.根据权利要求1所述的方法,其中,所述对所述样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,包括:
解析所述样本新闻数据得到候选新闻词;
从预设词典库中匹配出与所述候选新闻词对应的多条新闻线索,并将所述对应的多条新闻线索作为所述初始新闻线索。
6.根据权利要求1所述的方法,其中,所述对所述样本新闻数据进行识别处理,以得到对应的多条初始新闻线索,包括:
解析所述样本新闻数据得到候选新闻词;
确定所述候选新闻词的热度信息;
确定所述热度信息满足设定条件的目标新闻词;以及
根据所述目标新闻词从与其所属的样本新闻数据之中确定出初始新闻线索。
7.根据权利要求3所述的方法,在所述根据所述线索特征从所述多条初始新闻线索之中选取出目标新闻线索之后,还包括:
根据所述线索语义和所述属性内容,确定所述目标新闻线索对应的线索类别;
将所述目标新闻线索存储至搜索引擎之中目标搜索标签对应的存储模块内,所述目标搜索标签的类别与所述线索类别相匹配。
8.根据权利要求1所述的方法,其中,所述获取样本新闻数据,包括:
获取线下新闻数据和线上的实时新闻数据,并将所述线下新闻数据和所述实时新闻数据作为所述样本新闻数据。
9.一种新闻线索的生成装置,包括:
获取模块,用于获取样本新闻数据;
识别模块,用于对所述样本新闻数据进行识别处理,以得到对应的多条初始新闻线索;
第一解析模块,用于对所述初始新闻线索进行特征解析,以得到对应的线索特征;以及
选取模块,用于根据所述线索特征从所述多条初始新闻线索之中选取出目标新闻线索。
10.根据权利要求9所述的装置,其中,所述选取模块,具体用于:
根据所述线索特征,确定不同所述初始新闻线索之间的线索相似度;
根据所述线索相似度对所述多个初始新闻线索进行分类处理,以得到至少一种类别的新闻线索集合;以及
从每种类别的所述新闻线索集合之中选取出所述目标新闻线索。
11.根据权利要求9所述的装置,还包括:
第二解析模块,用于对所述目标新闻线索进行语义解析,以得到线索语义;
第一确定模块,用于确定所述线索语义之中与设定属性对应的属性内容;以及
格式转换模块,用于根据所述属性内容对所述目标新闻线索进行格式转换,以将所述目标新闻线索转换为字典结构的新闻线索。
12.根据权利要求9所述的装置,其中,所述识别模块,具体用于:
将所述样本新闻数据输入至预训练的线索生成模型中,以得到所述线索生成模型输出的所述多条初始新闻线索。
13.根据权利要求9所述的装置,其中,所述识别模块,还用于:
解析所述样本新闻数据得到候选新闻词;
从预设词典库中匹配出与所述候选新闻词对应的多条新闻线索,并将所述对应的多条新闻线索作为所述初始新闻线索。
14.根据权利要求9所述的装置,其中,所述识别模块,具体用于:
解析所述样本新闻数据得到候选新闻词;
确定所述候选新闻词的热度信息;
确定所述热度信息满足设定条件的目标新闻词;以及
根据所述目标新闻词从与其所属的样本新闻数据之中确定出初始新闻线索。
15.根据权利要求11所述的装置,还包括:
第二确定模块,用于根据所述线索语义和所述属性内容,确定所述目标新闻线索对应的线索类别;
存储模块,用于将所述目标新闻线索存储至搜索引擎之中目标搜索标签对应的存储模块内,所述目标搜索标签的类别与所述线索类别相匹配。
16.根据权利要求9所述的装置,其中,所述获取模块,具体用于:
获取线下新闻数据和线上的实时新闻数据,并将所述线下新闻数据和所述实时新闻数据作为所述样本新闻数据。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,当所述计算机程序由处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011460408.9A CN112560461A (zh) | 2020-12-11 | 2020-12-11 | 新闻线索的生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011460408.9A CN112560461A (zh) | 2020-12-11 | 2020-12-11 | 新闻线索的生成方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112560461A true CN112560461A (zh) | 2021-03-26 |
Family
ID=75062500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011460408.9A Pending CN112560461A (zh) | 2020-12-11 | 2020-12-11 | 新闻线索的生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112560461A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220997A (zh) * | 2021-05-13 | 2021-08-06 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN113378025A (zh) * | 2021-06-11 | 2021-09-10 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN116340639A (zh) * | 2023-03-31 | 2023-06-27 | 北京百度网讯科技有限公司 | 新闻召回方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577404A (zh) * | 2012-07-19 | 2014-02-12 | 中国人民大学 | 一种面向微博的全新突发事件发现方法 |
CN106156204A (zh) * | 2015-04-23 | 2016-11-23 | 深圳市腾讯计算机系统有限公司 | 文本标签的提取方法和装置 |
CN106484733A (zh) * | 2015-09-01 | 2017-03-08 | 中国科学院计算技术研究所 | 新闻线索个性化推送方法及系统 |
CN106484767A (zh) * | 2016-09-08 | 2017-03-08 | 中国科学院信息工程研究所 | 一种跨媒体的事件抽取方法 |
CN108920611A (zh) * | 2018-06-28 | 2018-11-30 | 北京百度网讯科技有限公司 | 文章生成方法、装置、设备及存储介质 |
CN110597981A (zh) * | 2019-09-16 | 2019-12-20 | 西华大学 | 一种采用多策略自动生成摘要的网络新闻概要系统 |
CN111931027A (zh) * | 2020-08-17 | 2020-11-13 | 深圳新闻网传媒股份有限公司 | 一种智能新闻舆情预警系统 |
CN111984786A (zh) * | 2020-08-17 | 2020-11-24 | 深圳新闻网传媒股份有限公司 | 一种基于新闻信息的智能吹哨预警方法及服务器 |
-
2020
- 2020-12-11 CN CN202011460408.9A patent/CN112560461A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577404A (zh) * | 2012-07-19 | 2014-02-12 | 中国人民大学 | 一种面向微博的全新突发事件发现方法 |
CN106156204A (zh) * | 2015-04-23 | 2016-11-23 | 深圳市腾讯计算机系统有限公司 | 文本标签的提取方法和装置 |
CN106484733A (zh) * | 2015-09-01 | 2017-03-08 | 中国科学院计算技术研究所 | 新闻线索个性化推送方法及系统 |
CN106484767A (zh) * | 2016-09-08 | 2017-03-08 | 中国科学院信息工程研究所 | 一种跨媒体的事件抽取方法 |
CN108920611A (zh) * | 2018-06-28 | 2018-11-30 | 北京百度网讯科技有限公司 | 文章生成方法、装置、设备及存储介质 |
CN110597981A (zh) * | 2019-09-16 | 2019-12-20 | 西华大学 | 一种采用多策略自动生成摘要的网络新闻概要系统 |
CN111931027A (zh) * | 2020-08-17 | 2020-11-13 | 深圳新闻网传媒股份有限公司 | 一种智能新闻舆情预警系统 |
CN111984786A (zh) * | 2020-08-17 | 2020-11-24 | 深圳新闻网传媒股份有限公司 | 一种基于新闻信息的智能吹哨预警方法及服务器 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220997A (zh) * | 2021-05-13 | 2021-08-06 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN113220997B (zh) * | 2021-05-13 | 2023-07-25 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN113378025A (zh) * | 2021-06-11 | 2021-09-10 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN113378025B (zh) * | 2021-06-11 | 2023-07-14 | 北京百度网讯科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN116340639A (zh) * | 2023-03-31 | 2023-06-27 | 北京百度网讯科技有限公司 | 新闻召回方法、装置、设备及存储介质 |
CN116340639B (zh) * | 2023-03-31 | 2023-12-12 | 北京百度网讯科技有限公司 | 新闻召回方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112749344B (zh) | 信息推荐方法、装置、电子设备、存储介质及程序产品 | |
US20220318275A1 (en) | Search method, electronic device and storage medium | |
CN113722493B (zh) | 文本分类的数据处理方法、设备、存储介质 | |
CN112560461A (zh) | 新闻线索的生成方法、装置、电子设备及存储介质 | |
CN113590776B (zh) | 基于知识图谱的文本处理方法、装置、电子设备及介质 | |
CN114549874A (zh) | 多目标图文匹配模型的训练方法、图文检索方法及装置 | |
CN112926308B (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
CN113657100A (zh) | 实体识别方法、装置、电子设备及存储介质 | |
CN115099239B (zh) | 一种资源识别方法、装置、设备以及存储介质 | |
CN113032673A (zh) | 资源的获取方法、装置、计算机设备及存储介质 | |
US20220198358A1 (en) | Method for generating user interest profile, electronic device and storage medium | |
CN113392218A (zh) | 文本质量评估模型的训练方法和确定文本质量的方法 | |
CN113392920B (zh) | 生成作弊预测模型的方法、装置、设备、介质及程序产品 | |
CN112699237B (zh) | 标签确定方法、设备和存储介质 | |
CN114880498B (zh) | 事件信息展示方法及装置、设备和介质 | |
CN116226533A (zh) | 基于关联性预测模型的新闻关联推荐方法、装置及介质 | |
CN113886543A (zh) | 生成意图识别模型的方法、装置、介质及程序产品 | |
CN114048315A (zh) | 确定文档标签的方法、装置、电子设备和存储介质 | |
CN113806541A (zh) | 情感分类的方法和情感分类模型的训练方法、装置 | |
CN112784600A (zh) | 信息排序方法、装置、电子设备和存储介质 | |
CN113011490B (zh) | 模型训练方法、装置及电子设备 | |
CN114201607B (zh) | 一种信息处理的方法和装置 | |
CN117573817A (zh) | 模型训练方法、相关性确定方法、装置、设备及存储介质 | |
CN114417886A (zh) | 热点数据的处理方法、装置、电子设备及存储介质 | |
CN117574168A (zh) | 信息报告的生成方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |