CN112188312A - 用于确定新闻的视频素材的方法和装置 - Google Patents
用于确定新闻的视频素材的方法和装置 Download PDFInfo
- Publication number
- CN112188312A CN112188312A CN202010090126.8A CN202010090126A CN112188312A CN 112188312 A CN112188312 A CN 112188312A CN 202010090126 A CN202010090126 A CN 202010090126A CN 112188312 A CN112188312 A CN 112188312A
- Authority
- CN
- China
- Prior art keywords
- news
- video
- keywords
- keyword
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012216 screening Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 10
- 235000019580 granularity Nutrition 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/43—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of news video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/635—Overlay text, e.g. embedded captions in a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开公开了用于确定新闻的视频素材的方法和装置。该用于确定新闻的视频素材的方法包括:获取新闻文本在多个维度的关键词的评分的加权分值;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。本公开提高了新闻的视频素材与新闻文本的相符程度。
Description
相关申请的交叉引用
本申请要求申请日为2019年7月2日,申请号为16/460,301,发明名称为“MethodAnd Apparatus For Determining(Raw)Video Materials For News”的美国专利申请的优先权。
技术领域
本公开涉及媒体技术领域,具体新闻媒体领域,尤其涉及用于确定新闻的视频素材的方法和装置。
背景技术
人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
在制作新闻时,针对新闻文本,需要提供匹配新闻文本的视频素材。目前,主要经由人工查找与新闻文本匹配的新闻的视频素材。具体是:针对需要配视频的新闻文本(包括新闻全文和/或新闻全文中的摘要段落),人工浏览视频内容,人工根据新闻文本的内容选择视频的视频素材来完成新闻的制作。
发明内容
本公开的实施例提供了用于确定新闻的视频素材的方法和装置。
第一方面,本公开的实施例提供了用于确定新闻的视频素材的方法,包括:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
在一些实施例中,获取新闻文本在多个维度的关键词的评分的加权分值包括以下至少一项:采用提取关键词的注意力模型获取新闻文本的关键词的评分,包括:采用提取关键词的注意力模型获取基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;采用TF-IDF获取新闻文本的关键词的评分;采用不同粒度的领域词典获取新闻文本的关键词的评分。
在一些实施例中,采用提取关键词的注意力模型获取新闻文本的关键词的评分包括:获取采用以下至少一类分词工具对新闻文本进行分词所得到的词的评分:基于所得到的词的长度评分的分词工具;基于所得到的词与新闻标题的关联度评分的分词工具;以及基于注意力机制对切分新闻文本所得的词评分的分词工具;获取对应所得到的词的评分的权重;将所得到的词的评分与对应所得到的词的评分的权重的乘积,作为新闻文本的关键词的评分。
在一些实施例中,获取对应所得到的词的评分的权重包括:采用第一权重分配模型获取对应所得到的词的评分的权重;其中,第一权重分配模型被配置成:基于新闻文本采用各类分词工具分词所得到的词的评分,预测对应所得到的词的评分的权重。
在一些实施例中,获取新闻文本在多个维度的关键词的评分的加权分值包括:采用第二权重分配模型获取与获取的关键词的评分相对应的关键词权重;其中,第二权重分配模型被配置成:基于多个维度中新闻文本的关键词的评分,预测与获取的关键词的评分相对应的关键词权重。
在一些实施例中,基于预选视频,确定新闻的视频素材包括:获取针对预选视频的视频描述信息集合,视频描述信息集合包括:对预选视频的元信息进行命名实体识别得到的识别结果;和/或预选视频的标签;将视频描述信息集合中包括新闻的关键词集合的视频确定为新闻的视频素材。
在一些实施例中,方法还包括:识别新闻文本中的人物名;基于人物名搜索视频,得到待选视频;抽取待选视频中的关键帧;识别关键帧中的人脸,得到人脸的身份信息;响应于人脸的身份信息与人物名相符,将待选视频确定为新闻的视频素材。
在一些实施例中,方法还包括:响应于新闻的视频素材的播放时长超过新闻所需的播放时长,基于新闻的视频素材中场景发生变化的视频帧,切分新闻的视频素材;采用切分后的视频素材更新新闻的视频素材。
在一些实施例中,方法还包括:在播报新闻文本时,播放新闻的视频素材。
在一些实施例中,新闻文本包括:新闻全文和/或新闻全文中的摘要段落。
第二方面,本公开的实施例提供了一种用于确定新闻的视频素材的装置,包括:获取单元,被配置成获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;筛选单元,被配置成基于关键词的评分的加权分值,筛选新闻的关键词集合;第一搜索单元,被配置成采用新闻的关键词集合,搜索预选视频;第一确定单元,被配置成基于预选视频,确定新闻的视频素材。
在一些实施例中,获取单元进一步被配置成执行以下至少一项:采用提取关键词的注意力模型获取新闻文本的关键词的评分,包括:采用提取关键词的注意力模型获取基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;采用TF-IDF获取新闻文本的关键词的评分;采用不同粒度的领域词典获取新闻文本的关键词的评分。
在一些实施例中,获取单元进一步被配置成:获取采用以下至少一类分词工具对新闻文本进行分词所得到的词的评分:基于所得到的词的长度评分的分词工具;基于所得到的词与新闻标题的关联度评分的分词工具;以及基于注意力机制对切分新闻文本所得的词评分的分词工具;获取对应所得到的词的评分的权重;将所得到的词的评分与对应所得到的词的评分的权重的乘积,作为新闻文本的关键词的评分。
在一些实施例中,获取单元进一步被配置成:采用第一权重分配模型获取对应所得到的词的评分的权重;其中,第一权重分配模型被配置成:基于新闻文本采用各类分词工具分词所得到的词的评分,预测对应所得到的词的评分的权重。
在一些实施例中,获取单元进一步被配置成:采用第二权重分配模型获取与获取的关键词的评分相对应的关键词权重;其中,第二权重分配模型被配置成:基于多个维度中新闻文本的关键词的评分,预测与获取的关键词的评分相对应的关键词权重。
在一些实施例中,第一确定单元进一步被配置成:获取针对预选视频的视频描述信息集合,视频描述信息集合包括:对预选视频的元信息进行命名实体识别得到的识别结果;和/或预选视频的标签;将视频描述信息集合中包括新闻的关键词集合的视频确定为新闻的视频素材。
在一些实施例中,装置还包括:第一识别单元,被配置成识别新闻文本中的人物名;第二搜索单元,被配置成基于人物名搜索视频,得到待选视频;抽取单元,被配置成抽取待选视频中的关键帧;第二识别单元,被配置成识别关键帧中的人脸,得到人脸的身份信息;第二确定单元,被配置成响应于人脸的身份信息与人物名相符,将待选视频确定为新闻的视频素材。
在一些实施例中,装置还包括:切分单元,被配置成响应于新闻的视频素材的播放时长超过新闻所需的播放时长,基于新闻的视频素材中场景发生变化的视频帧,切分新闻的视频素材;更新单元,被配置成采用切分后的视频素材更新新闻的视频素材。
在一些实施例中,装置还包括:播放单元,被配置成在播报新闻文本时,播放新闻的视频素材。
第三方面,本公开的实施例提供了一种电子设备/终端/服务器,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上任一所述的方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上任一所述的方法。
第五方面,本公开的实施例提供了一种服务器,包括:接口;存储器,其上存储有一个或多个程序;以及一个或多个处理器,在操作上连接到上述接口和上述存储器,用于:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
第六方面,本公开的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,当上述计算机程序被一个或多个处理器执行时,使得上述一个或多个处理器:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
本公开的实施例提供的用于确定新闻的视频素材的方法和装置,首先获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;之后,基于关键词的评分的加权分值,筛选新闻的关键词集合;之后,采用新闻的关键词集合,搜索预选视频;最后,基于预选视频,确定新闻的视频素材。该用于确定新闻的视频素材的方法,在确定新闻的视频素材时,根据多个维度的关键词的评分的加权结果筛选新闻的关键词集合,并且这些多个维度的关键词的评分中包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分,可以提高所确定的新闻的关键词集合的准确度,从而在根据新闻的关键词集合搜索预选视频时,可以提高搜索到的预选视频与新闻文本的相符程度,进而提高新闻的视频素材与新闻文本的相符程度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一些实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的用于确定新闻的视频素材的方法的一些实施例的示例性流程图;
图3是根据本公开的实施例的用于确定新闻的视频素材的方法的一些应用场景的示意图;
图4是根据本公开的用于确定新闻的视频素材的方法的又一些实施例的示例性流程图;
图5是根据本公开的用于确定新闻的视频素材的装置的一些实施例的示例性结构图;
图6是适于用来实现本公开的实施例的电子设备/终端/服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。本领域技术人员还将理解的是,虽然本公开中可使用用语“第一”、“第二”等来描述各种权重分配模型、搜索单元、确定单元、识别单元等,但是这些权重分配模型、搜索单元、确定单元、识别单元不应被这些用语限制。这些用语仅用于将一个权重分配模型、搜索单元、确定单元、识别单元与其它权重分配模型、搜索单元、确定单元、识别单元区分开。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
图1示出了可以应用本公开的实施例的用于确定新闻的视频素材的方法、装置以及用于确定新闻的视频素材的方法、装置的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如搜索类应用、深度学习应用、购物类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是支持各类客户端应用的各种电子设备,包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上进行的视频搜索提供支持的后台服务器。后台服务器可以对接收到的搜索请求等数据进行分析等处理,并将处理结果反馈给终端设备。
需要说明的是,在实践中,本公开的实施例所提供的用于确定新闻的视频素材的方法可以由终端设备101、102、103执行,也可以由服务器105执行。相应地,用于确定新闻的视频素材的装置可以设置于终端设备101、102、103中,也可以设置于位于服务器105中。在此不做具体限定。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端、网络和服务器。
继续参考图2,图2示出了根据本公开的用于确定新闻的视频素材的方法的一些实施例的示意性流程图。
如图2所示,用于确定新闻的视频素材的方法200,包括:
在步骤210中,获取新闻文本在多个维度的关键词的评分的加权分值。
在本实施例中,用于确定新闻的视频素材的方法的执行主体(例如图1所示的终端或服务器)可以首先获取新闻文本在多个维度的关键词的评分的加权分值。其中,新闻文本可以包括新闻全文。备选地或附加地,新闻文本可以包括新闻全文中的摘要段落。其中,摘要段落是指新闻全文中对新闻的内容提供梗概的段落。
实践中,可以首先获取新闻文本在多个维度的关键词的评分,之后获取与获取的关键词的评分相对应的关键词的权重,然后将获取的关键词的评分和与获取的关键词的评分相对应的关键词权重的乘积,作为关键词的评分的加权分值。
这里的关键词的评分,与关键词相对应。例如,针对示例性新闻文本“人民币汇率起伏加大”,可以获取与关键词相对应的关键词的评分:('人民币',7.15),('潘功胜',5),('人民币汇率',4.24),('美元',4.2),('汇率',4.15),('外汇',1.6)。其中,'人民币'、'潘功胜'、'人民币汇率'、'美元'、'汇率'、'外汇'为关键词,对应'人民币'的7.15、对应'潘功胜'的5、对应'人民币汇率'的4.24、对应'美元'的4.2、对应'汇率'的4.15、对应'外汇'的1.6为关键词的评分。
其中,新闻文本在多个维度的关键词的评分,可以采用不同的提取关键词的评分的方法来获取。多个维度的关键词的评分可以包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分。
这里的提取关键词的评分的方法,用于评估一个分词对于一个文件集或一个语料库中的其中一份文件的重要程度,可以为现有技术或未来发展的技术中用于提取关键词并对关键词进行评分的机制,本公开对此不做限定。例如,提取关键词的评分的方法可以为基于TF-IDF(词频-逆向文件频率)提取关键词的评分的方法,基于注意力机制提取关键词的评分的方法,基于不同粒度的领域词典提取关键词的评分的方法等。
在本实施例的一些可选实现方式中,获取新闻文本在多个维度的关键词的评分的加权分值包括以下至少一项:采用提取关键词的注意力模型获取新闻文本的关键词的评分;采用TF-IDF获取新闻文本的关键词的评分;采用不同粒度的领域词典获取新闻文本的关键词的评分。
在本实现方式中,采用提取关键词的注意力模型获取新闻文本的关键词的评分可以包括:采用提取关键词的注意力模型获取基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分。
在采用提取关键词的注意力模型来获取新闻文本的关键词的评分时,可以基于注意力(Attention)机制,预先训练用于提取关键词的注意力模型。
其中,注意力机制的核心目标是从众多信息中选择出对当前任务目标更关键的信息。具体地,注意力机制将新闻文本中的构成元素想象成是由一系列的<Key,Value>数据对构成。针对新闻文本中某个词,通过计算查询该词和各个Key的相似性或者相关性,得到每个Key对应的Value的权重系数,然后对Value进行加权求和,得到最终的注意力(Attention)数值。
在一些具体的示例中,基于注意力机制预先训练的注意力模型,可以为RNN模型、LSTM模型或Self-Attention模型等。Self-Attention模型采用Value来表示某个词自身与此句子其他词的关联权重,可以增强句子中长距离的依赖关系。
在得到注意力模型之后,可以将新闻文本输入注意力模型以得到新闻文本的关键词的评分。在这里,注意力模型在训练时,引入了基于切分新闻文本所得的词与新闻标题的关联度来确定新闻文本的关键词的评分。
在一些具体的示例中,采用提取关键词的注意力模型获取新闻文本的关键词的评分,可以首先获取采用不同分词工具对新闻文本进行分词所得到的词的评分;之后获取对应所得到的词的评分的分词权重;最后将所得到的词的评分与对应所得到的词的评分的权重的乘积,作为新闻文本的关键词的评分。
其中,分词工具可以包括但不限于以下至少一项:基于所得到的词的长度评分的分词工具、基于所得到的词与新闻标题的关联度评分的分词工具、基于注意力机制对切分新闻文本所得的词评分的分词工具。
在一些具体的示例中,采用第一权重分配模型获取对应所得到的词的评分的权重。其中,第一权重分配模型被配置成:基于新闻文本采用各类分词工具分词所得到的词的评分,预测对应所得到的词的评分的权重。
其中,第一权重分配模型是训练后具有权重分配能力的机器学习模型,用于基于采用各类分词工具对新闻文本进行分词所得到的词的评分,得到对应所得到的词的评分的权重。
机器学习英文全称为Machine Learning,简称ML。机器学习模型可以通过样本学习具备鉴别能力。例如,采用已标注权重的所得到的词的评分作为训练样本来训练第一权重分配模型。
机器学习模型可以采用神经网络模型、支持向量机或者逻辑回归模型等。神经网络模型比如卷积神经网络、反向传播神经网络、反馈神经网络、径向基神经网络或者自组织神经网络等。
在上述的第一权重分配模型中,输入可以为基于采用各类分词工具对新闻文本进行分词所得到的词的评分,输出可以为对应所得到的词的评分的权重。
在一个具体的示例中,针对示例性新闻文本“人民币汇率起伏加大”中的词,采用提取关键词的注意力模型获取新闻文本的关键词的评分包括:('潘功胜',1.660498058572882),('人民币',1.44),('人民币汇率',1.181622937791565),('汇率',1.152657900783809),('外汇',1)。
备选地或附加地,可以采用TF-IDF获取新闻文本的关键词的评分。其中,词频(TF)是某个词在新闻文本中的出现频率。示例性的,可以采用某个词在新闻文本中出现的次数除以新闻文本的总词数得到词频,或者采用某个词在新闻文本中出现的次数除以新闻文本中出现最多的词的出现次数得到词频。
逆文档频率(IDF)是在词频的基础上,对每个词分配一个重要性权重。该权重的大小与词的常见程度成反比。示例性的,可以采用语料库的文档总数作为分子,以包含该词的文档数加1的和作为分母,得到一个分数,再对该分数取对数,得到逆文档频率。如果一个词越常见,那么分母就越大,逆文档频率就越小越接近0。分母之所以要加1,是为了避免分母为0(即所有文档都不包含该词)。
将词频(TF)与逆文档频率(IDF)这两个值相乘,就得到了一个词的TF-IDF值。TF-IDF与一个词在文档中的出现次数成正比,与该词在整个语言中的出现次数成反比。所以,采用TF-IDF获取新闻文本的关键词的评分时,可以计算出新闻文本中每个词的TF-IDF值,然后将TF-IDF值按降序排列,取排在最前面的几个TF-IDF值所对应的词以及TF-IDF值。
在一个具体的示例中,针对示例性新闻文本“人民币汇率起伏加大”中的词,采用TF-IDF获取新闻文本的关键词的评分包括:('人民币',13.83584035944487),('美元',10.93097246392723),('汇率',8),('贸易战',6.89311827460403),('外汇储备',6)。
备选地或附加地,可以采用不同粒度的领域词典获取新闻文本的关键词的评分。领域词典,可以包括领域特征词以及该领域特征词在本领域内的权重。不同粒度的领域词典,可以对应不同的分类领域。这里的领域词典,可以为现有技术或未来发展的技术中的领域词典,本公开对此不做限定。
在一个具体的示例中,针对示例性新闻文本“人民币汇率起伏加大”中的词,至少可以采用财经领域的领域词典和金融领域的领域词典来分别获取新闻文本的关键词的评分。
具体地,采用财经领域的领域词典获取的新闻文本的关键词的评分包括:('汇率',15.42398901911574),('人民币',14.63570371944869),('人民币汇率',8),('资产',7.190205360811407),('外汇',5.851363471802781),('人民币资产',5.49715546900132),('市场',5.464421357963174),('政策',5.168776549868846),('潘功',4.331471884500937),……,('指数',3.002470038743997)。
采用金融领域的领域词典获取的新闻文本的关键词的评分包括:('人民币',1.154106602644322),('2018',1),('速度加快',1),('外汇市场',1),('统计显示',1),('人民币汇率',1),('美元指数',1),('有信心',1),('中国人民银行',1),('美强',1),('有朋友',1),……,('离岸',0.9612367209359448)。
在本实施例的一些可选实现方式中,获取新闻文本在多个维度的关键词的评分的加权分值包括:采用第二权重分配模型获取与获取的关键词的评分相对应的关键词权重;其中,第二权重分配模型被配置成:基于多个维度中新闻文本的关键词的评分,预测与获取的关键词的评分相对应的关键词权重。
在本实现方式中,可以将已标注权重的获取的关键词的评分作为训练样本,训练第二权重分配模型。
其中,第二权重分配模型是训练后具有权重分配能力的机器学习模型,用于基于多个维度中新闻文本的关键词的评分,得到与获取的关键词的评分相对应的关键词权重。
机器学习英文全称为Machine Learning,简称ML。机器学习模型可以通过样本学习具备鉴别能力。机器学习模型可以采用神经网络模型、支持向量机或者逻辑回归模型等。神经网络模型比如卷积神经网络、反向传播神经网络、反馈神经网络、径向基神经网络或者自组织神经网络等。
在第二权重分配模型中,输入可以为多个维度中新闻文本的关键词的评分,输出可以为与获取的关键词的评分相对应的关键词权重。
在步骤220中,基于关键词的评分的加权分值,筛选新闻的关键词集合。
在本实施例中,关键词的评分的加权分值与关键词相对应。其中,关键词的评分的加权分值为获取的关键词的评分和与获取的关键词的评分相对应的关键词权重的乘积。
在获取关键词的评分的加权分值之后,上述执行主体可以将关键词的评分的加权分值降序排序,将预定数量的排序靠前的关键词的评分的加权分值所对应的关键词作为新闻的关键词集合。
在步骤230中,采用新闻的关键词集合,搜索预选视频。
在本实施例中,上述执行主体可以将新闻的关键词集合,作为搜索预选视频的关键词,从而搜索匹配该关键词集合中的关键词的预选视频。搜索到的预选视频匹配关键词集合中的至少部分关键词。
在步骤240中,基于预选视频,确定新闻的视频素材。
在本实施例中,上述执行主体可以将预选视频直接作为新闻的视频素材,也可以将进一步处理或筛选后的预选视频作为新闻的视频素材。
在对预选视频进行进一步的处理或筛选时,可以根据预先设定的处理规则或筛选规则进行处理。这里的处理规则或筛选规则,可以由本领域技术人员根据经验或应用场景设置,这里不再赘述。
在本实施例的一些可选实现方式中,基于预选视频,确定新闻的视频素材包括:获取针对预选视频的视频描述信息集合,将视频描述信息集合中包括新闻的关键词集合的视频确定为新闻的视频素材。
在本实现方式中,视频描述信息集合包括:对预选视频的元信息进行命名实体识别得到的识别结果;和/或预选视频的标签。
其中,命名实体识别(NER),是从新闻文本中识别出命名性指称项。狭义的命名实体识别,是识别出人物名、地名和组织机构名这三类命名实体(时间、货币名称等构成规律明显的实体类型可以用正则表达式等方式识别)。在特定的领域中,可以相应地定义领域内需要识别出的各种实体类型。
命名实体识别可以采用现有技术或未来发展的技术中识别文本中的实体的方法来实现,本公开对此不做限定。例如,命名实体识别可以采用以下任意一项方法完成对于新闻文本中实体的识别:基于规则的方法、基于特征模板的方法和基于神经网络的方法。
具体地,基于规则的方法可以基于人工编写的规则,将文本与规则进行匹配来识别出命名实体。例如,对于中文来说,识别规则可以包括:“说”、“老师”等词语可作为人名的下文;“大学”、“医院”等词语可作为组织机构名的结尾;词性信息;以及句法信息等。这些基于语言学知识构建的不同语言的识别规则不尽相同,需要考虑规则之间的冲突问题。
基于特征模板的方法,可以通过统计机器学习方法将NER视作序列标注任务,利用大规模语料来学习出标注模型,从而对句子的各个位置进行标注。常用的应用到NER任务中的模型包括生成式模型(例如隐马尔科夫模型HMM)、判别式模型(例如条件随机场模型CRF)等。
在一些示例中,可以采用特征模板+CRF的方案来实现命名实体识别。其中,特征模板通常是人工定义的一些二值特征函数,试图挖掘命名实体内部以及上下文的构成特点。对于句子中的给定位置来说,提取特征的位置是一个窗口,即上下文位置。而且,不同的特征模板之间可以进行组合来形成一个新的特征模板。
其中,CRF在为一个位置进行标注的过程中可以利用到此前已经标注的信息,利用维特比(Viterbi)解码来得到最优序列。对句子中的各个位置提取特征时,满足条件的特征取值为1,不满足条件的特征取值为0。然后,将提取的特征输入CRF,并在训练模型阶段实现建模标签的转移,进而在预测阶段为输入的新闻文本的各个位置做标注。
基于神经网络的方法,对于序列标注任务NER的处理方式是将标记(token)从离散独热编码(one-hot)表示映射到低维空间中成为稠密的嵌入(embedding),随后将句子的嵌入序列输入到RNN中,用神经网络自动提取特征,随后采用Softmax来预测每个标记的标签。
上述的预选视频的标签,可以为发布视频的用户所填写的视频的关键词,也可以为提供视频的网站或应用程序采用人工或机器学习模型标注的视频的关键词。
在本实现方式中,可以将预选视频的视频描述信息集合与新闻的关键词集合进行比对,当新闻的关键词集合中的所有关键词均在视频描述信息集合中的视频描述信息中存在时,将关联该视频描述信息集合的视频作为新闻的视频素材。此时,关联该视频描述信息集合的视频更为符合新闻的关键词,得到的新闻的视频素材更为精准。
以下结合图3,描述本公开的用于确定新闻的视频素材的方法的示例性应用场景。
如图3所示,图3示出了根据本公开的用于确定新闻的视频素材的方法的一些应用场景的示意性流程图。
如图3所示,用于确定新闻的视频素材的方法300运行于电子设备310中,可以包括:
首先,获取新闻文本301在多个维度的关键词的评分302和与获取的关键词的评分相对应的关键词权重303;其中,新闻文本301在多个维度的关键词的评分302包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;
之后,将获取的关键词的评分302和与获取的关键词的评分相对应的关键词权重303的乘积,作为关键词的评分的加权分值304;
之后,基于关键词的评分的加权分值304,筛选新闻的关键词集合305;
之后,采用新闻的关键词集合305,搜索预选视频306;
最后,基于预选视频306,确定新闻的视频素材307。
应当理解,上述图3中所示出的用于确定新闻的视频素材的方法的应用场景,仅为对于用于确定新闻的视频素材的方法的示例性描述,并不代表对该方法的限定。例如,上述获取新闻文本301在多个维度的关键词的评分302和与获取的关键词的评分相对应的关键词权重303,可以通过以下两个步骤来分别获取:获取新闻文本301在多个维度的关键词的评分302;以及获取与获取的关键词的评分相对应的关键词权重303。其中,每一个步骤又可以通过多个子步骤来实现,本公开对此不做限定。
本公开上述实施例提供的用于确定新闻的视频素材的方法,由于在筛选新闻的关键词集合时考虑了多维度的关键词评分的加权分值,并且在计算多维度的关键词评分的加权分值时,考虑了基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分,因此提高了所确定的新闻的关键词集合代表新闻文本的准确度,从而可以提高根据新闻的关键词集合所确定的新闻的视频素材与新闻文本的匹配度。
请参考图4,其示出了根据本公开的用于确定新闻的视频素材的方法的又一些实施例的示例性流程图。
如图4所示,本实施例的用于确定新闻的视频素材的方法400,可以包括:
在步骤410中,获取新闻文本在多个维度的关键词的评分的加权分值。
在本实施例中,用于确定新闻的视频素材的方法的执行主体(例如图1所示的终端或服务器)可以首先获取新闻文本在多个维度的关键词的评分的加权分值。
实践中,可以首先获取新闻文本在多个维度的关键词的评分,之后获取与获取的关键词的评分相对应的关键词的权重,然后将获取的关键词的评分和与获取的关键词的评分相对应的关键词权重的乘积,作为关键词的评分的加权分值。
在步骤420中,基于关键词的评分的加权分值,筛选新闻的关键词集合。
在本实施例中,关键词的评分的加权分值与关键词相对应。其中,关键词的评分的加权分值为获取的关键词的评分和与获取的关键词的评分相对应的关键词权重的乘积。
在获取关键词的评分的加权分值之后,上述执行主体可以将关键词的评分的加权分值降序排序,将预定数量的排序靠前的关键词的评分的加权分值所对应的关键词作为新闻的关键词集合。
在步骤430中,采用新闻的关键词集合,搜索预选视频。
在本实施例中,上述执行主体可以将新闻的关键词集合,作为搜索预选视频的关键词,从而在搜索到匹配该关键词集合中的关键词的预选视频。具体地,搜索到的预选视频可以匹配关键词集合中的至少部分关键词。
在步骤440中,基于预选视频,确定新闻的视频素材。
在本实施例中,上述执行主体可以将预选视频直接作为新闻的视频素材,也可以将进一步处理或筛选后的预选视频作为新闻的视频素材。
在对预选视频进行进一步的处理或筛选时,可以根据预先设定的处理规则或筛选规则进行处理。这里的处理规则或筛选规则,可以由本领域技术人员根据经验或应用场景设置,这里不再赘述。
本领域技术人员应当理解,上述步骤410至步骤440,分别与上述图2中所示的实施例中的步骤210至步骤240相对应,因此,上述图2中针对步骤210至步骤240所描述的操作和特征同样适用于步骤410至步骤440,在此不再赘述。
在步骤450中,识别新闻文本中的人物名。
在本实施例中,可以采用现有技术或未来发展的技术中用于识别文本中的人物名的方法来识别新闻文本中的人物名,本公开对此不做限定。例如,对新闻文本进行命名实体识别,得到新闻文本中的人物名。或者,基于对人物名的识别规则集,确定新闻文本中的人物名。
命名实体识别(NER),是从新闻文本中识别出命名性指称项。狭义的命名实体识别,是识别出人物名、地名和组织机构名这三类命名实体(时间、货币名称等构成规律明显的实体类型可以用正则表达式等方式识别)。在特定的领域中,可以相应地定义领域内需要识别出的各种实体类型。
命名实体识别可以采用现有技术或未来发展的技术中识别文本中的实体的方法来实现,本公开对此不做限定。例如,命名实体识别可以采用以下任意一项方法完成对于新闻文本中实体的识别:基于规则的方法、基于特征模板的方法和基于神经网络的方法。
具体地,基于规则的方法可以基于人工编写的规则,将文本与规则进行匹配来识别出命名实体。例如,对于中文来说,识别规则可以包括:“说”、“老师”等词语可作为人名的下文;“大学”、“医院”等词语可作为组织机构名的结尾;词性信息;以及句法信息等。这些基于语言学知识构建的不同语言的识别规则不尽相同,需要考虑规则之间的冲突问题。
基于特征模板的方法,可以通过统计机器学习方法将NER视作序列标注任务,利用大规模语料来学习出标注模型,从而对句子的各个位置进行标注。常用的应用到NER任务中的模型包括生成式模型(例如隐马尔科夫模型HMM)、判别式模型(例如条件随机场模型CRF)等。
在一些示例中,可以采用特征模板+CRF的方案来实现命名实体识别。其中,特征模板通常是人工定义的一些二值特征函数,试图挖掘命名实体内部以及上下文的构成特点。对于句子中的给定位置来说,提取特征的位置是一个窗口,即上下文位置。而且,不同的特征模板之间可以进行组合来形成一个新的特征模板。
其中,CRF在为一个位置进行标注的过程中,可以利用到此前已经标注的信息,利用维特比(Viterbi)解码来得到最优序列。对句子中的各个位置提取特征时,满足条件的特征取值为1,不满足条件的特征取值为0。然后,将提取的特征输入CRF,并在训练模型阶段实现建模标签的转移,进而在预测阶段为输入的新闻文本的各个位置做标注。
基于神经网络的方法,对于序列标注任务NER的处理方式是将标记(token)从离散独热编码(one-hot)表示映射到低维空间中成为稠密的嵌入(embedding),随后将句子的嵌入序列输入到RNN中,用神经网络自动提取特征,随后采用Softmax来预测每个标记的标签。
采用上述的命名实体识别方法,可以对新闻文本进行命名实体识别,以得到新闻文本中的人物名。
在基于对人物名的识别规则集确定新闻文本中的人物名时,可以先基于姓名用字的频率信息、上下文信息、语料库统计信息和词性信息等建立规则集,再基于规则集确定新闻文本中的人物名。
在一些具体的示例中,可以首先对中文人名的构成、姓名用字的规律及上下文文本信息特征进行充分分析,在此基础上建立起两组规则集。将两组规则集作用于测试文本,获得初步识别结果。再利用大规模语料库的统计信息对初步识别结果进行概率筛选,设定合适的阈值,输出最终识别结果。
在步骤460中,基于人物名搜索视频,得到待选视频。
在本实施例中,可以以人物名为关键词,从视频提供方的网页、应用程序或视频库中搜索待选视频。
在步骤470中,抽取待选视频中的关键帧。
在本实施例中,为了验证待选视频是否为符合新闻文本的需要的视频,可以抽取待选视频中的关键帧,以便确认关键帧中的人脸是否符合新闻文本中的人物名。
在这里,关键帧是指角色或者物体运动或变化中的关键动作所处的那一帧;或者,间隔预定数量的帧数从待选视频中提取的视频帧。
在步骤480中,识别关键帧中的人脸,得到人脸的身份信息。
在本实施例中,可以采用现有技术或未来发展的技术中的人脸识别技术识别关键帧中的人脸并得到关键帧中的人脸的身份信息。本公开对此不做限定。
在步骤490中,响应于人脸的身份信息与人物名相符,将待选视频确定为新闻的视频素材。
在本实施例中,若人脸的身份信息与从新闻文本中识别的人物名相符,那么说明该待选视频符合新闻文本的描述,可以将其确定为新闻的视频素材。与此相反,若人脸的身份信息与从新闻文本中识别的人物名不相符,那么说明该待选视频仅为与新闻文本中的人物名重名的视频,并不能精准的符合新闻文本中的人物名,因此,该待选视频不能作为所需的新闻的视频素材。
本公开上述实施例的用于确定新闻的视频素材的方法,与图2中所示的实施例不同的是:在图2中确定新闻的视频素材的基础上,可以基于新闻文本中的人物名搜索待选视频,之后根据待选视频的关键帧的人脸的身份信息与人物名是否相符,确定新闻的视频素材。这一用于确定新闻的视频素材的方法,避免了所确定的新闻的视频素材的内容与新闻文本不相关,提升了新闻的视频素材与新闻文本的契合程度。
在上述各个实施例的一些可选实现方式中,用于确定新闻的视频素材的方法还包括:响应于新闻的视频素材的播放时长超过新闻所需的播放时长,基于新闻的视频素材中场景发生变化的视频帧,切分新闻的视频素材;采用切分后的视频素材更新新闻的视频素材。
在本实现方式中,若新闻的视频素材的播放时长超过新闻所需的播放时长,可以对新闻的视频素材进行切分,以得到符合所需的播放时长的新闻的视频素材。
在切分时,可以根据新闻的视频素材中场景发生变化的视频帧来切分新闻的视频素材,以便切分后得到的新闻的视频素材所表达的场景完整,从而提高更新后的新闻的视频素材的质量。
在上述各个实施例的一些可选实现方式中,在播报新闻文本时,播放新闻的视频素材。
在本实现方式中,所播放的新闻的视频素材是基于上述用于确定新闻的视频素材的方法确定的。因此,播放的新闻的视频素材更为契合所播报的新闻文本。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于确定新闻的视频素材的装置的一些实施例,该装置实施例与图2-图4所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于确定新闻的视频素材的装置500可以包括:获取单元510,被配置成获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;筛选单元520,被配置成基于关键词的评分的加权分值,筛选新闻的关键词集合;第一搜索单元530,被配置成采用新闻的关键词集合,搜索预选视频;第一确定单元540,被配置成基于预选视频,确定新闻的视频素材。
在本实施例的一些可选实现方式中,获取单元510进一步被配置成执行以下至少一项:采用提取关键词的注意力模型获取新闻文本的关键词的评分,包括:采用提取关键词的注意力模型获取基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;采用TF-IDF获取新闻文本的关键词的评分;采用不同粒度的领域词典获取新闻文本的关键词的评分。
在本实施例的一些可选实现方式中,获取单元510进一步被配置成:获取采用以下至少一类分词工具对新闻文本进行分词所得到的词的评分:基于所得到的词的长度评分的分词工具;基于所得到的词与新闻标题的关联度评分的分词工具;以及基于注意力机制对切分新闻文本所得的词评分的分词工具;获取对应所得到的词的评分的权重;将所得到的词的评分与对应所得到的词的评分的权重的乘积,作为新闻文本的关键词的评分。
在本实施例的一些可选实现方式中,获取单元510进一步被配置成:采用第一权重分配模型获取对应所得到的词的评分的权重;其中,第一权重分配模型被配置成:基于新闻文本采用各类分词工具分词所得到的词的评分,预测对应所得到的词的评分的权重。
在本实施例的一些可选实现方式中,获取单元510进一步被配置成:采用第二权重分配模型获取与获取的关键词的评分相对应的关键词权重;其中,第二权重分配模型被配置成:基于多个维度中新闻文本的关键词的评分,预测与获取的关键词的评分相对应的关键词权重。
在本实施例的一些可选实现方式中,第一确定单元540进一步被配置成:获取针对预选视频的视频描述信息集合,视频描述信息集合包括:对预选视频的元信息进行命名实体识别得到的识别结果;和/或预选视频的标签;将视频描述信息集合中包括新闻的关键词集合的视频确定为新闻的视频素材。
在本实施例的一些可选实现方式中,装置还包括:第一识别单元550,被配置成识别新闻文本中的人物名;第二搜索单元560,被配置成基于人物名搜索视频,得到待选视频;抽取单元570,被配置成抽取待选视频中的关键帧;第二识别单元580,被配置成识别关键帧中的人脸,得到人脸的身份信息;第二确定单元590,被配置成响应于人脸的身份信息与人物名相符,将待选视频确定为新闻的视频素材。
在本实施例的一些可选实现方式中,装置还包括:切分单元(图中未示出),被配置成响应于新闻的视频素材的播放时长超过新闻所需的播放时长,基于新闻的视频素材中场景发生变化的视频帧,切分新闻的视频素材;更新单元(图中未示出),被配置成采用切分后的视频素材更新新闻的视频素材。
在本实施例的一些可选实现方式中,装置还包括:播放单元(图中未示出),被配置成在播报新闻文本时,播放新闻的视频素材。
本公开的实施例还提供了一种电子设备/终端/服务器,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上任一所述的方法。
本公开的实施例还提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现如上任一所述的方法。
本公开的实施例还提供了一种服务器,包括:接口;存储器,其上存储有一个或多个程序;以及一个或多个处理器,在操作上连接到上述接口和上述存储器,用于:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
本公开的实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其中,当上述计算机程序被一个或多个处理器执行时,使得上述一个或多个处理器:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
下面参考图6,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器或终端设备)600的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如笔记本电脑、台式计算机等。图6示出的终端设备/服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM602被安装。在该计算机程序被处理装置601执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、筛选单元、第一搜索单元和第一确定单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取新闻文本在多个维度的关键词的评分的加权分值的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (21)
1.一种用于确定新闻的视频素材的方法,包括:
获取新闻文本在多个维度的关键词的评分的加权分值;其中,所述新闻文本在多个维度的关键词的评分包括:基于切分所述新闻文本所得的词与新闻标题的关联度确定的关键词的评分;
基于所述关键词的评分的加权分值,筛选新闻的关键词集合;
采用所述新闻的关键词集合,搜索预选视频;
基于所述预选视频,确定新闻的视频素材。
2.根据权利要求1所述的方法,其中,所述获取新闻文本在多个维度的关键词的评分的加权分值包括以下至少一项:
采用提取关键词的注意力模型获取新闻文本的关键词的评分,包括:采用提取关键词的注意力模型获取所述基于切分所述新闻文本所得的词与新闻标题的关联度确定的关键词的评分;
采用TF-IDF获取新闻文本的关键词的评分;
采用不同粒度的领域词典获取新闻文本的关键词的评分。
3.根据权利要求2所述的方法,其中,所述采用提取关键词的注意力模型获取新闻文本的关键词的评分包括:
获取采用以下至少一类分词工具对新闻文本进行分词所得到的词的评分:基于所得到的词的长度评分的分词工具;基于所得到的词与所述新闻标题的关联度评分的分词工具;以及基于注意力机制对切分所述新闻文本所得的词评分的分词工具;
获取对应所述所得到的词的评分的权重;
将所述所得到的词的评分与对应所述所得到的词的评分的权重的乘积,作为新闻文本的关键词的评分。
4.根据权利要求3所述的方法,其中,所述获取对应所述所得到的词的评分的权重包括:
采用第一权重分配模型获取对应所述所得到的词的评分的权重;其中,第一权重分配模型被配置成:基于新闻文本采用各类分词工具分词所得到的词的评分,预测对应所述所得到的词的评分的权重。
5.根据权利要求1所述的方法,其中,所述获取新闻文本在多个维度的关键词的评分的加权分值包括:
采用第二权重分配模型获取与获取的关键词的评分相对应的关键词权重;其中,第二权重分配模型被配置成:基于多个维度中新闻文本的关键词的评分,预测与获取的所述关键词的评分相对应的关键词权重。
6.根据权利要求1所述的方法,其中,所述基于所述预选视频,确定新闻的视频素材包括:
获取针对所述预选视频的视频描述信息集合,所述视频描述信息集合包括:对所述预选视频的元信息进行命名实体识别得到的识别结果;和/或所述预选视频的标签;
将所述视频描述信息集合中包括所述新闻的关键词集合的视频确定为新闻的视频素材。
7.根据权利要求1所述的方法,其中,所述方法还包括:
识别所述新闻文本中的人物名;
基于所述人物名搜索视频,得到待选视频;
抽取所述待选视频中的关键帧;
识别所述关键帧中的人脸,得到所述人脸的身份信息;
响应于所述人脸的身份信息与所述人物名相符,将待选视频确定为所述新闻的视频素材。
8.根据权利要求1所述的方法,其中,所述方法还包括:
响应于所述新闻的视频素材的播放时长超过新闻所需的播放时长,基于所述新闻的视频素材中场景发生变化的视频帧,切分所述新闻的视频素材;
采用切分后的视频素材更新所述新闻的视频素材。
9.根据权利要求1所述的方法,其中,所述方法还包括:
在播报所述新闻文本时,播放所述新闻的视频素材。
10.根据权利要求1所述的方法,其中,所述新闻文本包括:新闻全文和/或新闻全文中的摘要段落。
11.一种用于确定新闻的视频素材的装置,包括:
获取单元,被配置成获取新闻文本在多个维度的关键词的评分的加权分值;其中,所述新闻文本在多个维度的关键词的评分包括:基于切分所述新闻文本所得的词与新闻标题的关联度确定的关键词的评分;
筛选单元,被配置成基于所述关键词的评分的加权分值,筛选新闻的关键词集合;
第一搜索单元,被配置成采用所述新闻的关键词集合,搜索预选视频;
第一确定单元,被配置成基于所述预选视频,确定新闻的视频素材。
12.根据权利要求11所述的装置,其中,所述获取单元进一步被配置成执行以下至少一项:
采用提取关键词的注意力模型获取新闻文本的关键词的评分,包括:采用提取关键词的注意力模型获取所述基于切分所述新闻文本所得的词与新闻标题的关联度确定的关键词的评分;
采用TF-IDF获取新闻文本的关键词的评分;
采用不同粒度的领域词典获取新闻文本的关键词的评分。
13.根据权利要求12所述的装置,其中,所述获取单元进一步被配置成:
获取采用以下至少一类分词工具对新闻文本进行分词所得到的词的评分:基于所得到的词的长度评分的分词工具;基于所得到的词与所述新闻标题的关联度评分的分词工具;以及基于注意力机制对切分所述新闻文本所得的词评分的分词工具;
获取对应所述所得到的词的评分的权重;
将所述所得到的词的评分与对应所述所得到的词的评分的权重的乘积,作为新闻文本的关键词的评分。
14.根据权利要求13所述的装置,其中,所述获取单元进一步被配置成:
采用第一权重分配模型获取对应所述所得到的词的评分的权重;其中,第一权重分配模型被配置成:基于新闻文本采用各类分词工具分词所得到的词的评分,预测对应所述所得到的词的评分的权重。
15.根据权利要求11所述的装置,其中,所述获取单元进一步被配置成:
采用第二权重分配模型获取与获取的关键词的评分相对应的关键词权重;其中,第二权重分配模型被配置成:基于多个维度中新闻文本的关键词的评分,预测与获取的所述关键词的评分相对应的关键词权重。
16.根据权利要求11所述的装置,其中,所述第一确定单元进一步被配置成:
获取针对所述预选视频的视频描述信息集合,所述视频描述信息集合包括:对所述预选视频的元信息进行命名实体识别得到的识别结果;和/或所述预选视频的标签;
将所述视频描述信息集合中包括所述新闻的关键词集合的视频确定为新闻的视频素材。
17.根据权利要求11所述的装置,其中,所述装置还包括:
第一识别单元,被配置成识别所述新闻文本中的人物名;
第二搜索单元,被配置成基于所述人物名搜索视频,得到待选视频;
抽取单元,被配置成抽取所述待选视频中的关键帧;
第二识别单元,被配置成识别所述关键帧中的人脸,得到所述人脸的身份信息;
第二确定单元,被配置成响应于所述人脸的身份信息与所述人物名相符,将待选视频确定为所述新闻的视频素材。
18.根据权利要求11所述的装置,其中,所述装置还包括:
切分单元,被配置成响应于所述新闻的视频素材的播放时长超过新闻所需的播放时长,基于所述新闻的视频素材中场景发生变化的视频帧,切分所述新闻的视频素材;
更新单元,被配置成采用切分后的视频素材更新所述新闻的视频素材。
19.根据权利要求11所述的装置,其中,所述装置还包括:
播放单元,被配置成在播报所述新闻文本时,播放所述新闻的视频素材。
20.一种服务器,包括:接口;
存储器,其上存储有一个或多个程序;以及
一个或多个处理器,在操作上连接到上述接口和上述存储器,用于:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
21.一种计算机可读存储介质,其上存储有计算机程序,其中,当上述计算机程序被一个或多个处理器执行时,使得上述一个或多个处理器:获取新闻文本在多个维度的关键词的评分的加权分值;其中,新闻文本在多个维度的关键词的评分包括:基于切分新闻文本所得的词与新闻标题的关联度确定的关键词的评分;基于关键词的评分的加权分值,筛选新闻的关键词集合;采用新闻的关键词集合,搜索预选视频;基于预选视频,确定新闻的视频素材。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/460,301 | 2019-07-02 | ||
US16/460,301 US10915756B2 (en) | 2019-07-02 | 2019-07-02 | Method and apparatus for determining (raw) video materials for news |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112188312A true CN112188312A (zh) | 2021-01-05 |
CN112188312B CN112188312B (zh) | 2023-10-27 |
Family
ID=73919337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010090126.8A Active CN112188312B (zh) | 2019-07-02 | 2020-02-13 | 用于确定新闻的视频素材的方法和装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10915756B2 (zh) |
CN (1) | CN112188312B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113177117A (zh) * | 2021-03-18 | 2021-07-27 | 深圳市北科瑞讯信息技术有限公司 | 新闻素材的采集方法及装置、存储介质、电子装置 |
CN113849686A (zh) * | 2021-09-13 | 2021-12-28 | 北京达佳互联信息技术有限公司 | 一种视频数据获取方法、装置、电子设备及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112016294B (zh) * | 2020-09-04 | 2023-04-07 | 上海智芝全智能科技有限公司 | 一种基于文本的新闻重要性评估方法、装置及电子设备 |
CN116028668A (zh) * | 2021-10-27 | 2023-04-28 | 腾讯科技(深圳)有限公司 | 信息处理方法、装置、计算机设备以及存储介质 |
CN117749960A (zh) * | 2024-02-07 | 2024-03-22 | 成都每经新视界科技有限公司 | 一种视频合成方法、装置和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8037496B1 (en) * | 2002-12-27 | 2011-10-11 | At&T Intellectual Property Ii, L.P. | System and method for automatically authoring interactive television content |
CN104063387A (zh) * | 2013-03-19 | 2014-09-24 | 三星电子(中国)研发中心 | 在文本中抽取关键词的装置和方法 |
CN105392027A (zh) * | 2015-11-09 | 2016-03-09 | 天脉聚源(北京)传媒科技有限公司 | 一种推送即时新闻视频的方法及装置 |
CN107027060A (zh) * | 2017-04-18 | 2017-08-08 | 腾讯科技(深圳)有限公司 | 视频片段的确定方法和装置 |
CN107577713A (zh) * | 2017-08-03 | 2018-01-12 | 国网信通亿力科技有限责任公司 | 基于电力词典的文本处理方法 |
CN108170671A (zh) * | 2017-12-19 | 2018-06-15 | 中山大学 | 一种提取新闻事件发生时间的方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6038573A (en) * | 1997-04-04 | 2000-03-14 | Avid Technology, Inc. | News story markup language and system and process for editing and processing documents |
KR100411340B1 (ko) * | 2001-03-09 | 2003-12-18 | 엘지전자 주식회사 | 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템 |
KR100411342B1 (ko) * | 2001-05-22 | 2003-12-18 | 엘지전자 주식회사 | 비디오 텍스트 합성 키프레임 생성방법 |
US8775436B1 (en) * | 2004-03-19 | 2014-07-08 | Google Inc. | Image selection for news search |
-
2019
- 2019-07-02 US US16/460,301 patent/US10915756B2/en active Active
-
2020
- 2020-02-13 CN CN202010090126.8A patent/CN112188312B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8037496B1 (en) * | 2002-12-27 | 2011-10-11 | At&T Intellectual Property Ii, L.P. | System and method for automatically authoring interactive television content |
CN104063387A (zh) * | 2013-03-19 | 2014-09-24 | 三星电子(中国)研发中心 | 在文本中抽取关键词的装置和方法 |
CN105392027A (zh) * | 2015-11-09 | 2016-03-09 | 天脉聚源(北京)传媒科技有限公司 | 一种推送即时新闻视频的方法及装置 |
CN107027060A (zh) * | 2017-04-18 | 2017-08-08 | 腾讯科技(深圳)有限公司 | 视频片段的确定方法和装置 |
CN107577713A (zh) * | 2017-08-03 | 2018-01-12 | 国网信通亿力科技有限责任公司 | 基于电力词典的文本处理方法 |
CN108170671A (zh) * | 2017-12-19 | 2018-06-15 | 中山大学 | 一种提取新闻事件发生时间的方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113177117A (zh) * | 2021-03-18 | 2021-07-27 | 深圳市北科瑞讯信息技术有限公司 | 新闻素材的采集方法及装置、存储介质、电子装置 |
CN113849686A (zh) * | 2021-09-13 | 2021-12-28 | 北京达佳互联信息技术有限公司 | 一种视频数据获取方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US10915756B2 (en) | 2021-02-09 |
US20210004602A1 (en) | 2021-01-07 |
CN112188312B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107679039B (zh) | 用于确定语句意图的方法和装置 | |
CN112131350B (zh) | 文本标签确定方法、装置、终端及可读存储介质 | |
CN112188312B (zh) | 用于确定新闻的视频素材的方法和装置 | |
KR101754473B1 (ko) | 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템 | |
CN112015859A (zh) | 文本的知识层次抽取方法及装置、计算机设备及可读介质 | |
CN109086265B (zh) | 一种语义训练方法、短文本中多语义词消歧方法 | |
CN108304373B (zh) | 语义词典的构建方法、装置、存储介质和电子装置 | |
CN112395420A (zh) | 视频内容检索方法、装置、计算机设备及存储介质 | |
CN110414004A (zh) | 一种核心信息提取的方法和系统 | |
CN109284367B (zh) | 用于处理文本的方法和装置 | |
CN112188311B (zh) | 用于确定新闻的视频素材的方法和装置 | |
CN111831924A (zh) | 内容推荐方法、装置、设备及可读存储介质 | |
CN112015928A (zh) | 多媒体资源的信息提取方法、装置、电子设备及存储介质 | |
CN114357204B (zh) | 媒体信息的处理方法及相关设备 | |
CN111813993A (zh) | 视频内容的拓展方法、装置、终端设备及存储介质 | |
CN112926341A (zh) | 文本数据处理方法、装置 | |
Voronov et al. | Forecasting popularity of news article by title analyzing with BN-LSTM network | |
CN114722832A (zh) | 一种摘要提取方法、装置、设备以及存储介质 | |
CN111459959B (zh) | 用于更新事件集合的方法和装置 | |
CN115269846A (zh) | 文本处理方法、装置、电子设备及存储介质 | |
CN115186085A (zh) | 回复内容处理方法以及媒体内容互动内容的交互方法 | |
CN111368036B (zh) | 用于搜索信息的方法和装置 | |
CN114330296A (zh) | 新词发现方法、装置、设备以及存储介质 | |
CN110472140B (zh) | 对象词推荐方法、装置及电子设备 | |
CN115618873A (zh) | 数据处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |