CN113254696A - 一种封面图像获取方法及装置 - Google Patents
一种封面图像获取方法及装置 Download PDFInfo
- Publication number
- CN113254696A CN113254696A CN202110738337.2A CN202110738337A CN113254696A CN 113254696 A CN113254696 A CN 113254696A CN 202110738337 A CN202110738337 A CN 202110738337A CN 113254696 A CN113254696 A CN 113254696A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- cover image
- target
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims description 104
- 230000008447 perception Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 23
- 230000000875 corresponding effect Effects 0.000 description 89
- 238000012549 training Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 18
- 238000012552 review Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012216 screening Methods 0.000 description 10
- 210000000697 sensory organ Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 206010028813 Nausea Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008693 nausea Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种封面图像获取方法及装置，应用于图像处理技术领域，所述方法包括：从目标信息流中获取多个待筛选图像，对多个待筛选图像进行图像属性特征提取，得到图像属性特征信息，基于图像属性特征信息，从多个待筛选图像中获取初始封面图像。对初始封面图像进行业务特征提取，得到业务特征信息，根据业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像。该方法基于图像属性特征信息和业务特征信息，对待筛选图像进行自动化处理，能够提高封面图像的生成效率，提高了封面图像的丰富度和质量。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种封面图像获取方法及装置。
背景技术
自媒体有别于由专业媒体机构主导的信息传播，它是由普通大众主导的信息传播活动，是为个体提供信息生产、积累、共享、传播内容兼具私密性和公开性的信息传播方式。而封面图像是自媒体的门面，能够吸引人们的关注。
相关的技术中，自媒体内容在发布的时候由作者自己选择封面图像，内容发布平台可以对封面图像进行质量过滤，相关技术的封面图像获取方案需要人工参与导致封面图像的获取效率不高，且平台质量过滤时也不能保证质量过滤的有效性，从而导致封面图像的丰富度和质量较低。
发明内容
本申请提供一种封面图像获取方法及装置，可以提高封面图像的生成效率，并提高封面图像的丰富度和质量。
一方面，本申请提供了一种封面图像获取方法，所述方法包括：
从目标信息流中提取多个待筛选图像；
对所述多个待筛选图像进行图像属性特征提取，得到所述多个待筛选图像各自对应的至少一个图像属性特征信息；
基于所述至少一个图像属性特征信息，从所述多个待筛选图像中获取初始封面图像；
对所述初始封面图像进行业务特征提取，得到至少一个业务特征信息；
基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像。
另一方面提供了一种封面图像获取装置，所述装置包括：
待筛选图像提取模块，用于从目标信息流中提取多个待筛选图像；
图像属性特征提取模块，用于对所述多个待筛选图像进行图像属性特征提取，得到所述多个待筛选图像各自对应的至少一个图像属性特征信息；
初始封面图像获取模块，用于基于所述至少一个图像属性特征信息，从所述多个待筛选图像中获取初始封面图像；
业务特征提取模块，用于对所述初始封面图像进行业务特征提取，得到至少一个业务特征信息；
目标封面图像获取模块，用于基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像。
另一方面提供了一种电子设备，电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的一种封面图像获取方法。
另一方面提供了一种计算机可读存储介质，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的一种封面图像获取方法。
另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述封面图像获取的各种可选实现方式中提供的方法。
本申请提供的一种封面图像获取方法及装置，所述方法包括：从目标信息流中提取多个待筛选图像，对多个待筛选图像进行图像属性特征提取和业务特征提取，得到图像属性特征信息和业务特征信息，根据图像属性特征信息和业务特征信息，获取目标信息流对应的目标封面图像。该方法基于图像属性特征信息和业务特征信息，对待筛选图像进行自动化处理，能够提高封面图像的生成效率，提高了封面图像的丰富度和质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种封面图像获取方法的应用场景示意图；
图2为本申请实施例提供的一种封面图像获取方法应用于分布式系统中的结构示意图；
图3为本申请实施例提供的一种封面图像获取方法应用区块链的结构示意图；
图4为本申请实施例提供的一种封面图像获取方法的流程图；
图5为本申请实施例提供的一种封面图像获取方法多维度的特征信息的示意图；
图6为本申请实施例提供的一种封面图像获取方法中核心的特征信息和非核心的特征信息示意图；
图7为本申请实施例提供的一种封面图像获取方法中进行图像相关度检测的方法流程图；
图8为本申请实施例提供的一种封面图像获取方法中进行截图并对截图后图像进行筛选的方法流程图；
图9为本申请实施例提供的一种封面图像获取方法应用于封面图像获取业务时的示意图；
图10为本申请实施例提供的一种封面图像获取装置的结构示意图；
图11为本申请实施例提供的一种封面图像获取系统的结构示意图；
图12为本申请实施例提供的一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参见图1，其显示了本申请实施例提供的一种封面图像获取方法的应用场景示意图，所述应用场景包括客户端110和服务器120，客户端110发送目标信息流到服务器120中，服务器120从目标信息流中提取多个待筛选图像。服务器120对多个待筛选图像进行图像属性特征提取，得到图像属性特征信息，并基于图像属性特征信息，从多个待筛选图像中获取初始封面图像。服务器120对初始封面图像进行业务特征提取，得到业务特征信息，并基于业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像。服务器120基于目标封面图像，向客户端110推荐目标信息流。
在本申请实施例中，客户端110包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中实体设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、Unix、windows等。客户端110包括UI（User Interface，用户界面）层，客户端110通过UI层对外提供目标封面图像的显示，另外，基于API（Application ProgrammingInterface，应用程序接口）将目标信息流发送给服务器110。
在本申请实施例中，服务器120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器120可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器120可以用于从目标信息流中获取待筛选图像，并对待筛选图像进行两次特征提取，根据提取到的特征信息，确定目标封面图像。
在本申请实施例中，服务器可以通过机器学习技术进行封面图像的获取，服务器可以基于机器学习模型，对待筛选图像进行特征提取。机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本发明实施例涉及的系统可以是由客户端、多个节点（接入网络中的任意形式的计算设备，如服务器、用户终端）通过网络通信的形式连接形成的分布式系统。
以分布式系统为区块链系统为例，参见图2，图2是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图，由多个节点200（接入网络中的任意形式的计算设备，如服务器、用户终端）和客户端300形成，节点之间形成组成的点对点（P2P，Peer To Peer）网络，P2P 协议是一个运行在传输控制协议（TCP，Transmission ControlProtocol ）协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。
参见图2示出的区块链系统中各节点的功能，涉及的功能包括：
1）路由，节点具有的基本功能，用于支持节点之间的通信。
节点除具有路由功能外，还可以具有以下功能：
2）应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
例如，应用实现的业务包括：
2.1）钱包，用于提供进行电子货币的交易的功能，包括发起交易（即，将当前交易的交易记录发送给区块链系统中的其他节点，其他节点验证成功后，作为承认交易有效的响应，将交易的记录数据存入区块链的临时区块中；当然，钱包还支持查询电子货币地址中剩余的电子货币；
2.2）共享账本，用于提供账目数据的存储、查询和修改等操作的功能，将对账目数据的操作的记录数据发送到区块链系统中的其他节点，其他节点验证有效后，作为承认账目数据有效的响应，将记录数据存入临时区块中，还可以向发起操作的节点发送确认。
2.3）智能合约，计算机化的协议，可以执行某个合约的条款，通过部署在共享账本上的用于在满足一定条件时而执行的代码实现，根据实际的业务需求代码用于完成自动化的交易，例如查询买家所购买商品的物流状态，在买家签收货物后将买家的电子货币转移到商户的地址；当然，智能合约不仅限于执行用于交易的合约，还可以执行对接收的信息进行处理的合约。
3）区块链，包括一系列按照产生的先后时间顺序相互接续的区块（Block），新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。
参见图3，图3是本发明实施例提供的区块结构（Block Structure）一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值（本区块的哈希值）、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链（Blockchain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性（防伪）和生成下一个区块。
首先对本申请实施例中所涉及的相关术语做以下解释：
Feeds：消息来源，又译为源料、馈送、资讯提供、供稿、摘要、源、新闻订阅、网源，是一种资料格式，网站透过它将最新资讯传播给用户，通常以时间轴方式排列。
请参见图4，其显示了一种封面图像获取方法，可应用于服务器侧，所述方法包括：
S410.从目标信息流中提取多个待筛选图像；
在一些实施例中，目标信息流可以包括长视频、短视频、直播、图文等专业生成内容或用户生成内容。目标信息流可以通过算法分发以feeds流的形式展示。在目标信息流为视频时，对视频进行抽帧处理，可以得到多个待筛选图像。在进行抽帧处理时，可以抽取视频中的关键帧，也可以对视频进行均匀采样，得到多个待筛选图像。
在一些实施例中，该方法还包括：
对多个待筛选图像进行多维度特征提取，得到多个待筛选图像各自对应的物理维度特征信息、质量维度特征信息、信息维度特征信息和感知维度特征信息；
基于物理维度特征信息、质量维度特征信息、信息维度特征信息和所述感知维度特征信息，从多个待筛选图像中获取目标信息流对应的目标封面图像。
在一些实施例中，在执行封面图像获取业务时，需要对多个待筛选图像进行特征提取。请参见图5，如图5所示，特征提取得到的特征信息可以包括物理维度、信息维度、质量维度和感知维度四个维度的特征信息，其中，物理维度特征信息可以包括：纹理、边缘、平滑区颜色、亮度、对比度等。信息维度特征信息可以包括：主体检测、人物识别、文本识别、信息熵、相关性、TF-IDF、指纹特征等。质量维度特征信息可以包括：拼接图、标注图、文字图、色情图、马赛克、压缩拉伸、二维码、黑边、不适图片（比如恐怖，惊悚，恶心牙齿，畸形等等）等。感知维度特征信息可以包括：清晰度，显著性，美观度等。其中，在使用质量维度特征信息进行图像属性特征提取时，可以利用质量维度特征信息确定待筛选图像是否属于拼接图、标注图、文字图、色情图、马赛克、压缩拉伸、二维码、黑边、不适图片等。
在进行图像属性特征提取和业务特征提取时，均可以提取的四个维度的特征信息中的一个或多个，从而基于图像属性特征信息和业务特征信息，对待筛选图像进行质量审核并进行图像剪裁，得到目标封面图像。基于列表图优选策略，对目标封面图像进行选择，得到列表图。基于排序策略，对列表图进行排序并基于推荐策略对排序后的列表图进行推荐。
通过多维度的特征提取，可以得到丰富的特征信息，从而便于后续确定待筛选图像中的目标封面图像，提高了封面图像获取的准确性。
S420.对多个待筛选图像进行图像属性特征提取，得到多个待筛选图像各自对应的至少一个图像属性特征信息；
作为一个可选的实施例，在进行特征提取时，可以以提取待筛选图像中客观的特征信息，并提取待筛选图像中主观的特征信息。提取客观的特征信息指的是提取与图像属性相关的特征，这些特征与图像本身的质量相关，例如物理维度的特征信息中的纹理、颜色，质量维度的特征信息中的马赛克和二维码，或者感知维度特征信息中的清晰度等。提取主观的特征信息指的是提取与封面图获取业务相关并且与图像中的内容相关的特征，这些特征与图像本身反映给人类的信息相关，例如信息维度的特征信息中的文本识别、人物识别等，或者感知维度的特征信息中的美观度等。以客观的方式进行的特征提取可以为图像属性特征提取，以主观的方式进行的特征提取可以为业务特征提取。
在一些实施例中，图像属性特征信息表征与多个待筛选图像的图像属性关联的特征信息。例如，图像属性特征信息可以包括文字图、色情图、清晰度、拉伸图、恶心图、二维码等多个特征信息。
通过多个图像属性特征信息，可以从不同维度检测待筛选图像的基础质量，从而提高了图像属性特征提取的效率和准确度。
S430.基于至少一个图像属性特征信息，从多个待筛选图像中获取初始封面图像；
在一些实施例中，每个待筛选图像对应至少一个图像属性特征信息，基于至少一个图像属性特征信息，对每个待筛选图像进行评分和排序，可以从多个待筛选图像中获取初始封面图像。基于图像属性特征信息，可以对低质量的待筛选图像进行过滤，得到初始封面图像。
在一些实施例中，基于至少一个图像属性特征信息，从多个待筛选图像中获取初始封面图像包括：
按照每个图像属性特征信息对应的数值大小，从大到小对多个待筛选图像进行排序，得到待筛选图像序列；
基于预设的基础质量指标，从待筛选图像序列中得到初始封面图像。
在一些实施例中，根据每个待筛选图像对应的图像属性特征信息对应的数值大小，可以对每个待筛选图像进行评分，得到待筛选图像对应的分数值。在一个待筛选图像对应多个图像属性特征信息时，可以基于每个图像属性特征信息对应的数值大小，对待筛选图像进行评分。按照分数值的大小从大到小对待筛选图像进行排序，可以得到待筛选图像序列。根据预设的基础质量指标，将待筛选图像序列中满足基础质量指标的待筛选图像作为初始封面图像。基础质量指标表征与多个待筛选图像的图像属性关联的图像质量指标信息。基础质量指标可以基于多个图像属性特征信息对应的数值进行设置。
在一些实施例中，在图像属性特征信息为清晰度的情况下，根据每个待筛选图像的清晰度的数值大小，对每个待筛选图像进行评分，可以得到每个待筛选图像的清晰度分数值。按照清晰度分数值的大小从大到小对应待筛选图像进行排序，可以得到待筛选图像序列。基于预设的清晰度指标信息，从待筛选图像序列中获取满足清晰度指标信息的待筛选图像作为初始封面图像。
在一些实施例中，得到待筛选图像序列之后，还可以从待筛选图像序列中获取预设数目个待筛选图像，可以得到初始封面图像。
基于图像属性特征信息，对待筛选图像进行低质过滤，可以从图像客观质量的角度进行图像筛选，得到图像质量满足基础质量指标的初始封面图像，从而提高了初始封面图像筛选的效率和初始封面图像的图像质量。
S440.对初始封面图像进行业务特征提取，得到至少一个业务特征信息；
在一些实施例中，业务特征信息表征与封面图像获取业务关联的特征信息，例如，在封面图像获取业务包括截图时，业务特征信息可以为截图框中的对象检测信息，根据截图框中的对象检测信息，可以确定截图后的初始封面图像中的对象是否完整。在封面图像获取业务包括图文相关度检测时，业务特征信息可以为图文相关度信息，根据图文相关度信息，可以确定初始封面图像与目标信息流的标题信息是否匹配。
在一些实施例中，业务特征信息可以包括文本特征信息、人脸特征信息、对象检测信息、美观度、主色调、相似图等多个特征信息。
可以针对封面图像获取业务，获取关联的业务特征信息，从而可以使得业务特征信息能够满足不同的封面图像获取业务的要求，提高了业务特征信息的丰富度，从而提高了业务特征提取的效率和准确度。
在一些实施例中，基于至少一个图像属性特征信息，从多个待筛选图像中获取初始封面图像；
当图像属性特征信息中包括至少一个核心图像属性特征信息时，基于至少一个核心图像属性特征信息，从多个待筛选图像中获取初始封面图像；
所述基于至少一个业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像，包括：
当业务特征信息包括中至少一个核心业务特征信息时，基于至少一个核心业务特征信息，从初始封面图像中获取目标封面图像。
在一些实施例中，请参见图6，如图6所示，可以将图像属性特征信息分为核心图像属性特征信息和非核心图像属性特征信息，核心图像属性特征信息可以包括文字图、色情图、清晰度等特征，非核心图像属性特征信息可以包括拉伸图、恶心图、二维码等特征。在进行图像属性特征提取时，核心图像属性特征信息的特征提取优先级大于非核心图像属性特征信息，基于图像属性特征信息的特征提取优先级，可以先获取核心图像属性特征信息，可以优先保证核心图像属性特征信息的输出。
请参见图6，如图6所示，可以将业务特征信息分为核心业务特征信息和非核心业务特征信息。其中，核心业务特征信息可以包括文本特征信息、人脸特征信息和目标检测特征信息等，非核心业务特征信息可以包括美观度、主色调、相似图等。在进行业务特征提取时，核心业务特征信息的特征提取优先级大于非核心业务特征信息，基于业务特征信息的特征提取优先级，可以先获取核心业务特征信息，从而优先保证核心业务特征信息的输出。
在一些实施例中，对待筛选图像进行图像属性特征提取时，基于图像属性特征信息的特征提取优先级，可以先获取核心图像属性特征信息，再获取非核心图像属性特征信息。若未在待筛选图像中获取到非核心图像属性特征信息，则可以输出已获取到的核心图像属性特征信息，基于核心图像属性特征信息，从多个待筛选图像中获取初始封面图像。
对初始封面图像进行业务特征提取时，基于业务特征信息的特征提取优先级，可以先获取核心业务特征信息，再获取非核心业务特征信息。若未在初始封面图像中获取到非核心业务特征信息，则可以输出已获取到的核心业务特征信息，基于核心业务特征信息，从初始封面图像中获取目标封面图像。
在进行特征提取时，基于特征提取优先级，可以先获取核心图像属性特征信息和核心业务特征信息，在获取到核心图像属性特征信息和核心业务特征信息之后，就可以进行后续筛选封面图像的步骤，从而提高了特征提取的效率。
S450.基于至少一个业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像。
在一些实施例中，每个初始封面图像对应至少一个业务特征信息，基于业务特征信息和每个业务特征信息对应的业务质量指标，可以从多个初始封面图像中获取与业务质量指标匹配的目标封面图像。基于业务特征信息，可以对高质量的初始封面图像进行筛选，得到目标封面图像。业务质量指标表征与封面图像获取业务关联的图像质量指标信息。
在一些实施例中，基于至少一个业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像包括：
对比每个业务特征信息和每个业务特征信息对应的业务质量指标；
将每个业务特征信息与对应的业务质量指标匹配的初始封面图像作为目标封面图像。
在一些实施例中，不同的业务特征信息可以对应不同的业务质量指标，例如截图业务特征信息对应截图业务检测指标，截图业务特征信息可以包括截图后图像与初始封面图像间的重合度、初始封面图像中的对象与初始封面图像的图像中心点间的第一中心点距离、以及截图后图像中的对象与截图后图像的图像中心点间的第二中心点距离，对应的截图业务检测指标则可以包括重合度阈值、第一中心点距离阈值和第二中心点距离阈值。在重合度大于重合度阈值，第一中心点距离小于等于第一中心点距离阈值，且第二中心点距离小于第二中心点距离阈值的情况下，截图业务特征信息满足对应的截图业务检测指标。
图文相关度信息对应图文相关度检测指标，图文相关度信息可以为初始封面图像对应的图像特征信息和目标信息流的标题信息对应的文本特征信息间的相似度，对应的图文相关度检测指标则可以为图像特征信息和文本特征信息间的相似度阈值。在相似度大于等于相似度阈值的情况下，图文相关度信息满足对应的图文相关度检测指标。
在一些实施例中，在存在多个业务特征信息的情况下，将每个业务特征信息和每个业务特征信息对应的业务质量指标依次进行对比，得到多个业务特征对比结果，可以将每个业务特征对比结果均与对应的业务质量指标均匹配的初始封面图像作为目标封面图像，也就是将每个业务特征信息与对应的业务质量指标匹配的初始封面图像作为目标封面图像。例如业务特征信息包括截图框中的对象检测信息和图文相关度信息，则可以先进行对象检测信息和对象检测指标间的对比，再将图文相关度信息和图文相关检测指标进行对比，将既满足对象检测指标又满足图文相关检测指标的初始封面图像作为目标封面图像。
基于业务特征信息，对初始封面图像进行优质选择，可以从用户主观的角度进行图像筛选，得到图像质量满足业务质量指标的目标封面图像，从而提高了目标封面图像筛选的效率和目标封面图像的图像质量。
在一些实施例中，业务特征信息包括图文相关度信息，对初始封面图像进行业务特征提取，得到至少一个业务特征信息包括：
基于图文相关检测模型，对初始封面图像和目标信息流对应的标题信息进行相关性检测，得到图文相关度信息；
基于至少一个业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像包括：
基于图文相关度信息，从初始封面图像中获取目标封面图像。
在一些实施例中，图文相关度信息表征初始封面图像中的内容与目标信息流的标题信息相关的程度。至少一个业务特征信息可以为图文相关度信息，基于图文相关度信息，可以从初始封面图像中获取目标封面图像，该目标封面图像的内容和目标信息流的标题信息匹配。
在一些实施例中，至少一个业务特征信息还可以包括图文相关度信息和除图文相关度信息以外的其他业务特征信息，图文相关度信息可以通过图文相关检测模型进行检测，其他业务特征信息可以通过对应的其他检测模型得到，例如人脸特征信息可以通过人脸检测模型得到。基于图文相关度信息和其他业务特征信息，可以从初始封面图像中获取目标封面图像，该目标封面图像的内容和目标信息流的标题信息匹配，且满足其他业务特征信息对应的业务质量指标。
在一些实施例中，图文相关检测模型可以包括图像识别层和文字识别层，图像识别层可以为ResNet50残差网络。文字识别层可以为词袋模型。通过ResNet50残差网络获取初始封面图像中的图像特征信息，并通过词袋模型获取目标信息流的标题信息的文字特征信息，计算图像特征信息和文字特征信息间的相似度，从而得到图文相关度信息。
基于图文相关检测模型，可以使得目标封面图像与目标信息流的标题信息匹配，从而提高封面图像获取的准确度。
在一些实施例中，对图文相关检测模型进行训练时，可以采用双阶段训练的方法，在双阶段训练的方法中训练标注信息包括训练标题信息、第一训练图像和第二训练图像，第一训练图像与训练标题信息正相关，第二训练图像与训练标题信息负相关。
在第一阶段的训练中，将第一训练图像和训练标题信息输入到待训练模型进行相关度检测，得到第一目标训练图像。根据第一训练图像和第一目标训练图像，得到第一损失数据并根据第一损失数据对待训练模型进行训练，固定待训练模型中的参数，得到初始训练模型。在第一阶段的训练时，可以将待训练模型中多个神经网络层中的最后一个全连接层对应的图像网络和标题网络使用相同的权值。
在第二阶段的训练中，将第二训练图像和训练标题信息输入到初始训练模型中进行相关度检测，得到第二目标训练图像。根据第二训练图像和第二目标训练图像，得到第二损失数据。并根据第二损失数据，对初始训练模型进行训练，使得初始训练模型能够区分与标题信息无关的图像，从而得到图文相关检测模型。
基于双阶段训练的方法，可以通过正相关的样本和负相关的样本对待训练模型进行训练，可以提高模型的检测能力，从而提高图文相关度信息的准确性。
在一些实施例中，请参见图7，初始封面图像包括多个初始封面图像，基于图文相关检测模型，对初始封面图像和目标信息流对应的标题信息进行相关性检测，得到图文相关度信息包括：
S710.基于图文相关检测模型的文字识别层，对标题信息进行文本特征提取，得到文本特征信息；
S720.基于图文相关检测模型的图像识别层，对每个初始封面图像进行图像特征提取，得到多个图像特征信息；
S730.计算文本特征信息和每个图像特征信息间的相似度，得到图文相关度信息。
在一些实施例中，将标题信息和多个初始封面图像输入到图文相关检测模型中，基于图文相关检测模型的文字识别层，对标题信息进行文本特征提取，得到文本特征信息，文本特征信息为标题信息对应的第一特征向量。基于图文相关检测模型的图像识别层，对初始封面图像进行图像特征提取，得到图像特征信息，图像特征信息为初始封面图像中对象对应的第二特征向量。计算文本特征信息和每个初始封面图像对应的图像特征信息间的相似度，即第一特征向量和第二特征向量之间的距离，该距离可以为余弦距离，根据距离的大小，可以确定文本特征信息和图像特征信息的相似程度，第一特征向量和第二特征向量之间的距离越近，文本特征信息和图像特征信息的相似程度越高。根据文本特征信息和图像特征信息的相似程度，可以确定初始封面图像与标题信息的相关度，得到图文相关度信息。
在一些实施例中，将标题信息a、初始封面图像A、初始封面图像B和初始封面图像C输入到图文相关检测模型中，基于文字识别层对标题信息a进行文本特征提取，得到文本特征信息a1。基于图像识别层对初始封面图像A、初始封面图像B和初始封面图像C分别进行图像特征提取，得到图像特征信息A1、图像特征信息B1和图像特征信息C1。计算文本特征信息a1和图像特征信息A1之间的距离1，计算文本特征信息a1和图像特征信息B1之间的距离2，计算文本特征信息a1和图像特征信息C1之间的距离3。若距离1满足预设的图文相关度检测指标，则可以确定初始封面图像A是与标题信息a匹配的图像，可以将初始封面图像A作为目标封面图像。
基于图文相关检测模型，可以使得目标封面图像与目标信息流的标题信息匹配，从而提高封面图像获取的准确度。
在一些实施例中，请参见图8，业务特征信息包括截图业务特征信息，截图业务特征信息包括重合度、第一中心点距离和第二中心点距离，对初始封面图像进行业务特征提取，得到至少一个业务特征信息包括：
S810.基于目标检测模型，对初始封面图像进行目标检测，得到对象检测信息，对象检测信息表征初始封面图像中对象的位置信息；
S820.基于对象检测信息，确定初始封面图像中的截图区域；
S830.基于预设的截图尺寸信息，截取初始封面图像中截图区域对应的图像，得到与截图尺寸信息匹配的截图后图像；
S840.计算对象检测信息和截图后图像中的对象间的重合度；
S850.计算初始封面图像中对象对应的第一中心点距离和截图后图像中对象对应的第二中心点距离；
基于至少一个业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像包括：
S860.基于重合度、第一中心点距离和第二中心点距离，从截图后图像中获取目标封面图像。
在一些实施例中，目标检测模型可以包括多种目标检测模型，目标检测模型输出的对象检测信息也可以包括多种对象检测信息，例如目标检测模型可以包括人脸检测模型和多目标检测模型，基于人脸检测模型，对初始封面图像进行人脸检测，得到人脸对象检测信息，基于多目标检测模型，对初始封面图像进行多目标检测，得到多目标对象检测信息。
在一些实施例中，将对象检测信息中的对象进行合并，在合并后的对象对应的图像面积大于预设面积时，例如超过初始封面图像的40%，则将合并后的对象对应的图像区域作为基础预选框。基于基础预选框和对象检测信息，将除基础预选框中的对象以外的其他对象依次与基础预选框中的对象进行合并，确定多个合并后预选框，将这多个合并后预选框和基础预选框均作为初始预选框。可以在每次将基础预选框中的对象与一个其他对象进行合并后，确定一次初始预选框。
在一些实施例中，基于预设的截图尺寸信息，可以从多个初始预选框和基础预选框中确定目标预选框，从而得到与截图尺寸信息匹配的截图后图像。将预设的截图尺寸信息中的一边与初始预选框的一边进行对齐，将初始预选框的另一边向外扩展或向内剪裁，直到与截图尺寸信息的另一边匹配。在初始预选框的另一边与截图尺寸信息的另一边匹配的情况下，将初始预选框与截图尺寸信息对齐的那一边向外扩展或向内剪裁，得到与截图尺寸信息匹配的目标预选框。目标预选框对应的图像区域为截图区域，基于目标预选框对初始封面图像进行截取，可以得到截图后图像。
在一些实施例中，可以基于预设的打分函数对截图区域进行选择，打分函数如下：
其中，
为初始封面图像的面积，
为初始预选框面积，
为面积分数。
其中，prop 为长宽比，
为长宽比分数，
为截图尺寸信息，
为初始预选框尺寸，在
的情况下，
初始预选框的分数可以通过面积分数和长宽比分数得到，如下所示为：
在一些实施例中，计算截图后图像中的对象与对象检测信息中的对象的重合度，并计算初始封面图像中对象对应的第一中心点距离和截图后图像中对象对应的第二中心点距离，第一中心点距离表征初始封面图像中的对象与初始封面图像的图像中心点间的距离，第二中心点距离表征截图后图像中的对象与截图后图像的图像中心点间的距离。基于重合度、第一中心点距离和第二中心点距离，将重合度大于等于预设的重合度阈值、第一中心点距离小于等于预设的第一距离阈值且第二中心点距离小于等于预设的第二距离阈值的对象对应的截图后图像作为目标封面图像。
获取初始封面图像的图像中心点，并计算对象检测信息中的每个对象与初始封面图像的图像中心点间的第一中心点距离。基于第一中心点距离的大小，从小到大对每个对象进行排序，得到对象序列。根据对象序列，可以确定截图后图像中的对象在初始封面图像中的位置，筛选第一中心点距离小于等于预设的第一距离阈值的对象对应的截图后图像。也就是说，筛选截图后图像中的对象与对象序列中排在前预设序数的对象的重合的截图后图像。
获取截图后图像的图像中心点，并计算截图后图像中对象和截图后图像的截图后图像的图像中心点间的第二中心点距离，筛选第二中心点距离小于等于预设的第二距离阈值的对象对应的截图后图像。
例如，计算多目标检测信息与截图后图像中的多个对象的重合程度，计算人脸检测信息与截图后图像中的人脸的重合度，得到这两个重合度均大于等于预设的重合度阈值的截图后图像，基于对象序列，从大于等于重合度阈值的截图后图像中筛选与对象序列中的前预设数目个对象重合的截图后图像。
并在计算人脸检测信息与截图后图像中的人脸的重合程度时，计算截图后图像中是否存在人脸的五官中心点，若截图后图像中存在五官中心点，则可以计算截图后图像中的五官中心点与截图后图像的图像中心点间的第二中心点距离。将重合度大于等于预设的重合度阈值、第一中心点距离小于等于预设的第一距离阈值且第二中心点距离小于等于预设的第二距离阈值的对象对应的截图后图像作为目标封面图像。
在一些实施例中，可以基于预设的打分函数，通过重合度、第一中心点距离和第二中心点距离确定目标封面图像。打分函数如下：
截图后图像分别与多目标检测信息中的多个对象计算重合比例：
截图后图像分别与多目标检测信息里的单个对象计算重合比例：
截图后图像分别与人脸检测信息里的对象计算重合比例：
并计算五官中心点：
若
，则截图后图像的分数score增加：
若五官中心点在截图后图像内，确定五官中心点与截图后图像中心点的第二中心点距离。
在五官中心点在截图后图像内的情况下，截图后图像的分数score 增加：
在五官中心点不在截图后图像内的情况下，截图后图像的分数score 减少：
在截图时，通过对象检测信息，确定截图后图像和初始封面图像间的重合度、第一中心点距离和第二中心点距离，可以提高截图后图像的完整性，从而提高截图的有效性。
在一些实施例中，从初始封面图像中获取目标信息流对应的目标封面图像之后，该方法还包括：
基于目标封面图像，对目标信息流进行内容推荐。
在一些实施例中，将目标封面图像作为目标信息流的封面图像，显示在目标信息流对应的页面上，并根据目标封面图像，在应用软件的首页页面、推荐栏等地方对该目标信息流进行内容推荐。
在一些实施例中，基于服务器中的上下行内容接口服务，可以获取目标信息流。获取目标信息流后，获取目标信息流后，可以在服务器中的内容数据库中存储目标信息流的内容元信息，内容元信息可以包括文件大小、封面图链接、码率、文件格式、标题、发布时间、作者、视频文件大小、视频格式、是否原创的标记或者首发等。从目标信息流进行抽帧，获取多个待筛选图像，可以将多个待筛选图像保存在图像样本库中。
在一些实施例中，基于服务器中的调度服务，可以将多个待筛选图像发送到内容排重服务、人工审核服务或图像处理服务中，基于内容排重服务，对目标信息流进行排重，并在排重后，基于人工审核服务，对目标信息流进行人工审核，根据人工审核的结果可以更新内容元信息，例如增加人工审核过程中对目标信息流的分类标签。
在一些实施例中，基于服务器中的特征提取服务，对多个待筛选图像进行图像属性特征提取和业务特征提取，得到图像属性特征信息和业务特征信息。基于图像处理服务，对多个待筛选图像执行封面图像获取业务。根据图像属性特征信息和业务特征信息，确定目标信息流的目标封面图。并基于目标封面图像，对目标信息流进行内容推荐。图像属性特征信息和业务特征信息可以存储到服务器中的图像特征库中。
在一些实施例中，封面图获取业务可以包括图文质量审核、视频质量审核、封面图像裁剪、列表图像筛选排序等业务。
在一些实施例中，获取每个图像属性特征信息对应的模型，并获取每个业务特征信息对应的模型，并在服务器中的图像特征模型库中保存图像属性特征信息对应的模型和业务特征信息对应的模型。
在一些实施例中，基于服务器中的用户反馈接口服务，获取用户对信息流的封面图像反馈信息，对封面图像反馈信息对应的封面图像进行人工复核，若确定该封面图像为质量不合格的封面图像，则可以将质量不合格的封面图像作为图像属性特征信息对应的模型的样本数据，或业务特征信息对应的模型的样本数据，保存着服务器中的图像样本库中。
在一些实施例中，基于服务器中的内容存储服务，可以存储目标信息流的源文件，用户通过服务器中的文件下载服务，可以获取目标信息流的源文件。
在一些实施例中，请参见图9，在一个获取封面图像的业务场景中，基于图像属性特征信息对应的模型，对待筛选图像进行图像属性特征提取，得到图像属性特征信息，图像属性特征信息可以包括花边检测信息、信息熵、明亮度、分辨率、形变判断、清晰度和美观度等。基于图像属性特征信息，对待筛选图像进行评分和排序后，根据图像属性特征信息对应的基础质量指标，得到初始封面图像。基于业务特征信息对应的模型，对初始封面图像进行业务特征提取，得到业务特征信息，业务特征信息可以包括马赛克、二维码、广告标识、水印、人物、牙齿检测信息、密恐检测信息、惊悚检测信息和画风检测信息等。基于业务特征信息对应的业务质量指标，对初始封面图像进行筛选。业务特征信息对应的模型可以为人脸检测模型、光学字符识别模型(Optical Character Recognition，OCR)，显著性检测模型等。业务质量指标可以包括人物是否畸形，牙齿是否畸形等质量指标。业务特征信息还可以包括图文相关度信息，确定筛选后的初始封面图像与目标信息流的标题信息是否相关。还可以对筛选后的初始封面图像进行截图，检测截图后图像的完整度，得到目标封面图像。
本申请实施例提供了一种封面图像获取方法，该方法包括：从目标信息流中提取多个待筛选图像，对多个待筛选图像进行图像属性特征提取和业务特征提取，得到图像属性特征信息和业务特征信息，根据图像属性特征信息和业务特征信息，获取目标信息流对应的目标封面图像。该方法基于图像属性特征信息和业务特征信息，对待筛选图像进行自动化处理，能够提高封面图像的生成效率，提高了封面图像的丰富度和质量。
本申请实施例还提供了一种封面图像获取装置，请参见图10，该装置1000包括：
待筛选图像提取模块1010，用于从目标信息流中提取多个待筛选图像；
图像属性特征提取模块1020，用于对多个待筛选图像进行图像属性特征提取，得到多个待筛选图像各自对应的至少一个图像属性特征信息；
初始封面图像获取模块1030，用于基于至少一个图像属性特征信息，从多个待筛选图像中获取初始封面图像；
业务特征提取模块1040，用于对初始封面图像进行业务特征提取，得到至少一个业务特征信息；
目标封面图像获取模块1050，用于基于至少一个业务特征信息，从初始封面图像中获取目标信息流对应的目标封面图像。
在一些实施例中，目标封面图像获取模块1050包括：
业务质量检测单元，用于对比每个业务特征信息和每个业务特征信息对应的业务质量指标；
第一目标封面图像获取单元，用于将每个业务特征信息与对应的业务质量指标匹配的初始封面图像作为目标封面图像。
在一些实施例中，该装置1000还包括：
目标检测模块，用于基于目标检测模型，对初始封面图像进行目标检测，得到对象检测信息，对象检测信息表征初始封面图像中对象的位置信息；
截图区域确定模块，用于基于对象检测信息，确定初始封面图像中的截图区域；
截图模块，用于基于预设的截图尺寸信息，截取初始封面图像中截图区域对应的图像，得到与截图尺寸信息匹配的截图后图像；
重合度计算模块，用于计算对象检测信息和截图后图像中的对象间的重合度；
中心点距离计算模块，用于计算初始封面图像中对象对应的第一中心点距离和截图后图像中对象对应的第二中心点距离；
截图确定模块，用于基于重合度、第一中心点距离和第二中心点距离，从截图后图像中获取目标封面图像。
在一些实施例中，初始封面图像获取模块1030包括：
排序单元，用于按照每个图像属性特征信息对应的数值大小，从大到小对多个待筛选图像进行排序，得到待筛选图像序列；
初始封面图像获取单元，用于基于预设的基础质量指标，从待筛选图像序列中得到初始封面图像。
在一些实施例中，初始封面图像获取模块1030包括：
第一图像获取单元，用于当图像属性特征信息中包括至少一个核心图像属性特征信息时，基于至少一个核心图像属性特征信息，从多个待筛选图像中获取初始封面图像；
目标封面图像获取模块1050包括：
第二图像获取单元，用于当业务特征信息包括至少一个核心业务特征信息时，基于至少一个核心业务特征信息，从初始封面图像中获取所述目标信息流对应的目标封面图像。
在一些实施例中，图像属性特征信息包括物理维度特征信息、质量维度特征信息、信息维度特征信息和感知维度特征信息中的一个或多个；
业务特征信息包括物理维度特征信息、质量维度特征信息、信息维度特征信息和感知维度特征信息中的一个或多个。
在一些实施例中，业务特征信息包括图文相关度信息，业务特征提取模块包括：
图文相关检测单元，用于基于图文相关检测模型，对初始封面图像和目标信息流对应的标题信息进行相关性检测，得到图文相关度信息；
目标封面图像获取模块1050包括：
第二目标封面图像获取单元，用于基于图文相关度信息，从初始封面图像中获取目标封面图像。
在一些实施例中，初始封面图像包括多个初始封面图像，图文相关检测单元包括：
文本特征识别单元，基于图文相关检测模型的文字识别层，对标题信息进行文本特征提取，得到文本特征信息；
图像特征识别单元，用于基于图文相关检测模型的图像识别层，对每个初始封面图像进行图像特征提取，得到多个图像特征信息；
相似度计算单元，用于计算文本特征信息和每个图像特征信息间的相似度，得到图文相关度信息。
在一些实施例中，该装置1000还包括：
内容推荐模块，用于基于目标封面图像，对目标信息流进行内容推荐。
上述实施例中提供的装置可执行本申请任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的一种封面图像获取方法。
本申请实施例还提供了一种封面图像获取系统，请参见图11，该系统包括：服务器1100、内容生产端1120和内容消费端1140，服务器包括内容数据库1101、图像特征库1102、图像特征模型库1103、图像样本库1104、图像处理服务1105、特征抽取服务1106、人工审核服务1107、调度服务1108、内容排重服务1109、用户反馈接口服务1110、内容分发出口服务1111、上下行内容接口服务1112、内容存储服务1113和文件下载服务1114。
如图11所示，服务器1100基于上下行内容接口服务1112和内容生产端电连接，服务器1100基于用户反馈接口服务1110、内容分发出口服务1111或内容存储服务1113与内容消费端1140电连接。
在服务器1100中，上下行内容接口服务1112与内容数据库1101电连接，内容数据库1101与内容分发出口服务1111电连接。上下行内容接口服务1112与内容存储服务1113电连接，内容存储服务113与文件下载服务1114电连接，文件下载服务1114和图像样本库1104电连接。
上下行内容接口服务1112与调度服务1108电连接，调度服务1108与内容排重服务1109电连接。调度服务1108与人工审核服务1107电连接。人工审核服务1107与用户反馈接口服务1110电连接。
调度服务1108和图像处理服务1105电连接，图像处理服务1105与特征抽取服务1106，以及图像特征库1102电连接。特征抽取服务1106图像特征库1102以及图像特征模型库1103电连接。图像特征模型库1103与图像样本库1104电连接。图像样本库1104与用户反馈接口服务1110电连接。
其中，内容数据库1101用于存储目标信息流的内容元信息，内容元信息可以包括文件大小、封面图链接、码率、文件格式、标题、发布时间、作者、视频文件大小、视频格式、是否原创的标记或者首发等。
图像特征库1102用于存储从目标信息流中获取的多个待筛选图像的图像属性特征信息和业务特征信息。例如，清晰度，美观度，显著性，信息熵，图文相关性，拼接图，文字图，低俗色情图，拉升图，主色调，恶心不适图，二维码，图片指纹，黑图库，OCR文字图等特征。
图像特征模型库1103用于存储图像属性特征信息对应的模型和业务特征信息对应的模型。根据图像属性特征信息对应的模型，对待筛选图像进行图像属性特征提取。基于业务特征信息对应的模型，对初始封面图像进行业务特征提取。例如，基于人脸检测模型，对初始封面图像进行人脸特征提取。
图像样本库1104用于存储多个待筛选图像以及用户反馈的质量不合格的封面图像，可以用做图像属性特征信息对应的模型的样本数据或业务特征信息对应的模型的样本数据。
特征抽取服务1106用于对多个待筛选图像进行图像属性特征提取和业务特征提取，得到图像属性特征信息和业务特征信息。
调度服务1108可以从上下行内容接口服务1112接收目标信息流，获取目标信息流对应的多个待筛选图像，也可以从内容数据库1101中获取目标信息流的内容元信息。根据内容源信息中内容的类型，可以调度多维度特征提取服务，对多个待筛选图像进行处理。调度服务1108可以将多个待筛选图像或目标信息流发送到图像处理服务1105、人工审核服务1107和内容排重服务1109中。调度服务1108可以控制调度的顺序和优先级，并将通过人工审核服务1107的目标信息流和目标封面图像发送到内容分发出口服务1111，以进行内容推荐。
图像处理服务1105用于基于图像属性特征信息和业务特征信息，对待筛选图像执行封面图像获取业务，对待筛选图像进行质量审核、剪裁等，得到目标信息流对应的目标封面图像。
人工审核服务1107用于对目标信息流或待筛选图像进行人工审核，并对内容消费端1140反馈的不合格封面图像进行复核。
内容排重服务1109用于对目标信息流或待筛选图像进行查重。
内容存储服务1113用于存储目标信息流的源文件，响应于文件下载服务1114，可以从内容存储服务1113中获取目标信息流的源文件，并向内容消费端1140发送目标信息流的源文件。
用户反馈接口服务1110用于接收内容消费端1140发送的不合格封面图像，并转发到人工审核服务1107中进行复核。
内容分发出口服务1111用于根据目标封面图对目标信息流进行分发。将目标信息流推送到内容消费端1140。
上下行内容接口服务1112用于接收内容生成端1120上传的目标信息流，并将目标信息流转发到内容存储服务1113、调度服务1108和内容数据库1101中进行处理。
上述实施例中提供的系统可执行本申请任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的一种封面图像获取方法。
本实施例还提供了一种计算机可读存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令由处理器加载并执行本实施例上述的一种封面图像获取方法。
本实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述封面图像获取的各种可选实现方式中提供的方法。
本实施例还提供了一种电子设备，该电子设备包括处理器和存储器，其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行本实施例上述的一种封面图像获取方法。
设备可以为计算机终端、移动终端或服务器，设备还可以参与构成本申请实施例所提供的装置或系统。如图12所示，服务器12可以包括一个或多个（图中采用1202a、1202b，……，1202n来示出）处理器1202（处理器1202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器1204、以及用于通信功能的传输装置1206。除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、网络接口、电源和/或相机。本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器12还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。
应当注意到的是上述一个或多个处理器1202和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到服务器12中的其他元件中的任意一个内。
存储器1204可用于存储应用软件的软件程序以及模块，如本申请实施例中的方法对应的程序指令/数据存储装置，处理器1202通过运行存储在存储器1204内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1204可进一步包括相对于处理器1202远程设置的存储器，这些远程存储器可以通过网络连接至服务器12。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器12的通信供应商提供的无线网络。在一个实例中，传输装置1206包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1206可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与服务器12的用户界面进行交互。
本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行（例如并行处理器或者多线程处理的环境）。
本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本申请的范围。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种封面图像获取方法，其特征在于，所述方法包括：
从目标信息流中提取多个待筛选图像；
对所述多个待筛选图像进行图像属性特征提取，得到所述多个待筛选图像各自对应的至少一个图像属性特征信息；
基于所述至少一个图像属性特征信息，从所述多个待筛选图像中获取初始封面图像；
对所述初始封面图像进行业务特征提取，得到至少一个业务特征信息；
基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像。
2.根据权利要求1所述的封面图像获取方法，其特征在于，所述基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像，包括：
对比每个业务特征信息和所述每个业务特征信息对应的业务质量指标；
将每个业务特征信息与对应的业务质量指标匹配的初始封面图像作为所述目标封面图像。
3.根据权利要求1所述的封面图像获取方法，其特征在于，所述业务特征信息包括截图业务特征信息，所述截图业务特征信息包括重合度、第一中心点距离和第二中心点距离，所述对所述初始封面图像进行业务特征提取，得到至少一个业务特征信息，包括：
基于目标检测模型，对所述初始封面图像进行目标检测，得到对象检测信息，所述对象检测信息表征所述初始封面图像中对象的位置信息；
基于所述对象检测信息，确定所述初始封面图像中的截图区域；
基于预设的截图尺寸信息，截取所述初始封面图像中所述截图区域对应的图像，得到与所述截图尺寸信息匹配的截图后图像；
计算所述对象检测信息和所述截图后图像中的对象间的重合度；
计算所述初始封面图像中对象对应的第一中心点距离和所述截图后图像中对象对应的第二中心点距离；
所述基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像，包括：
基于所述重合度、所述第一中心点距离和所述第二中心点距离，从所述截图后图像中获取所述目标封面图像。
4.根据权利要求1所述的封面图像获取方法，其特征在于，所述基于所述至少一个图像属性特征信息，从所述多个待筛选图像中获取初始封面图像，包括：
按照每个图像属性特征信息对应的数值大小，从大到小对所述多个待筛选图像进行排序，得到待筛选图像序列；
基于预设的基础质量指标，从所述待筛选图像序列中得到所述初始封面图像。
5.根据权利要求1所述的封面图像获取方法，其特征在于，所述基于所述至少一个图像属性特征信息，从所述多个待筛选图像中获取初始封面图像，包括：
当所述图像属性特征信息中包括至少一个核心图像属性特征信息时，基于所述至少一个核心图像属性特征信息，从所述多个待筛选图像中获取所述初始封面图像；
所述基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像，包括：
当所述业务特征信息中包括至少一个核心业务特征信息时，基于所述至少一个核心业务特征信息，从所述初始封面图像中获取所述目标封面图像。
6.根据权利要求1所述的封面图像获取方法，其特征在于，所述图像属性特征信息包括物理维度特征信息、质量维度特征信息、信息维度特征信息和感知维度特征信息中的一个或多个；
所述业务特征信息包括物理维度特征信息、质量维度特征信息、信息维度特征信息和感知维度特征信息中的一个或多个。
7.根据权利要求1所述的封面图像获取方法，其特征在于，所述业务特征信息包括图文相关度信息，所述对所述初始封面图像进行业务特征提取，得到至少一个业务特征信息，包括：
基于图文相关检测模型，对所述初始封面图像和所述目标信息流对应的标题信息进行相关性检测，得到图文相关度信息；
所述基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像，包括：
基于所述图文相关度信息，从所述初始封面图像中获取所述目标封面图像。
8.根据权利要求7所述的封面图像获取方法，其特征在于，所述初始封面图像包括多个初始封面图像，所述基于图文相关检测模型，对所述初始封面图像和所述目标信息流对应的标题信息进行相关性检测，得到图文相关度信息，包括：
基于所述图文相关检测模型的文字识别层，对所述标题信息进行文本特征提取，得到文本特征信息；
基于所述图文相关检测模型的图像识别层，对每个初始封面图像进行图像特征提取，得到多个图像特征信息；
计算所述文本特征信息和每个图像特征信息间的相似度，得到所述图文相关度信息。
9.根据权利要求1所述的封面图像获取方法，其特征在于，所述方法还包括：
基于所述目标封面图像，对所述目标信息流进行内容推荐。
10.一种封面图像获取装置，其特征在于，所述装置包括：
待筛选图像提取模块，用于从目标信息流中提取多个待筛选图像；
图像属性特征提取模块，用于对所述多个待筛选图像进行图像属性特征提取，得到所述多个待筛选图像各自对应的至少一个图像属性特征信息；
初始封面图像获取模块，用于基于所述至少一个图像属性特征信息，从所述多个待筛选图像中获取初始封面图像；
业务特征提取模块，用于对所述初始封面图像进行业务特征提取，得到至少一个业务特征信息；
目标封面图像获取模块，用于基于所述至少一个业务特征信息，从所述初始封面图像中获取所述目标信息流对应的目标封面图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110738337.2A CN113254696B (zh) | 2021-06-30 | 2021-06-30 | 一种封面图像获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110738337.2A CN113254696B (zh) | 2021-06-30 | 2021-06-30 | 一种封面图像获取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113254696A true CN113254696A (zh) | 2021-08-13 |
| CN113254696B CN113254696B (zh) | 2022-02-11 |
Family
ID=77190287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110738337.2A Active CN113254696B (zh) | 2021-06-30 | 2021-06-30 | 一种封面图像获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113254696B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113835582A (zh) * | 2021-09-27 | 2021-12-24 | 青岛海信移动通信技术股份有限公司 | 一种终端设备、信息显示方法和存储介质 |
| CN114491429A (zh) * | 2022-04-01 | 2022-05-13 | 北京嘉沐安科技有限公司 | 一种基于区块链的直播短视频大数据篡改识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832725A (zh) * | 2017-11-17 | 2018-03-23 | 北京奇虎科技有限公司 | 基于评价指标的视频封面提取方法及装置 |
| CN109271542A (zh) * | 2018-09-28 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 封面确定方法、装置、设备及可读存储介质 |
| CN110390025A (zh) * | 2019-07-24 | 2019-10-29 | 百度在线网络技术（北京）有限公司 | 封面配图确定方法、装置、设备及计算机可读存储介质 |
| CN110602554A (zh) * | 2019-08-16 | 2019-12-20 | 华为技术有限公司 | 封面图像确定方法、装置及设备 |
| US20210098025A1 (en) * | 2019-09-29 | 2021-04-01 | Shanghai Bilibili Technology Co., Ltd. | Method and device of generating cover dynamic pictures of multimedia files |
| CN112749298A (zh) * | 2020-04-08 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 视频封面确定方法、装置、电子设备及计算机存储介质 |
-
2021
- 2021-06-30 CN CN202110738337.2A patent/CN113254696B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832725A (zh) * | 2017-11-17 | 2018-03-23 | 北京奇虎科技有限公司 | 基于评价指标的视频封面提取方法及装置 |
| CN109271542A (zh) * | 2018-09-28 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 封面确定方法、装置、设备及可读存储介质 |
| CN110390025A (zh) * | 2019-07-24 | 2019-10-29 | 百度在线网络技术（北京）有限公司 | 封面配图确定方法、装置、设备及计算机可读存储介质 |
| CN110602554A (zh) * | 2019-08-16 | 2019-12-20 | 华为技术有限公司 | 封面图像确定方法、装置及设备 |
| US20210098025A1 (en) * | 2019-09-29 | 2021-04-01 | Shanghai Bilibili Technology Co., Ltd. | Method and device of generating cover dynamic pictures of multimedia files |
| CN112749298A (zh) * | 2020-04-08 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 视频封面确定方法、装置、电子设备及计算机存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113835582A (zh) * | 2021-09-27 | 2021-12-24 | 青岛海信移动通信技术股份有限公司 | 一种终端设备、信息显示方法和存储介质 |
| CN113835582B (zh) * | 2021-09-27 | 2024-03-15 | 青岛海信移动通信技术有限公司 | 一种终端设备、信息显示方法和存储介质 |
| CN114491429A (zh) * | 2022-04-01 | 2022-05-13 | 北京嘉沐安科技有限公司 | 一种基于区块链的直播短视频大数据篡改识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113254696B (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598014B (zh) | 一种多媒体数据处理方法、装置及存储介质 | |
| US11115724B2 (en) | Visual hash tags via trending recognition activities, systems and methods | |
| CN111831636B (zh) | 一种数据处理方法、装置、计算机系统及可读存储介质 | |
| US10031925B2 (en) | Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph | |
| Joly et al. | Interactive plant identification based on social image data | |
| US11914639B2 (en) | Multimedia resource matching method and apparatus, storage medium, and electronic apparatus | |
| CN110020122B (zh) | 一种视频推荐方法、系统及计算机可读存储介质 | |
| Bharati et al. | Beyond pixels: Image provenance analysis leveraging metadata | |
| CN113590854B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN101369281A (zh) | 基于视频摘要元数据的检索方法 | |
| CN113254696B (zh) | 一种封面图像获取方法及装置 | |
| US9665773B2 (en) | Searching for events by attendants | |
| JP6767342B2 (ja) | 検索装置、検索方法および検索プログラム | |
| CN110569380A (zh) | 一种图像标签获取方法、装置及存储介质和服务器 | |
| CN110633406A (zh) | 事件专题的生成方法、装置、存储介质和终端设备 | |
| CN110555482A (zh) | 基于人工智能的低俗图片识别方法、装置及电子设备 | |
| CN114390368B (zh) | 直播视频数据的处理方法及装置、设备、可读介质 | |
| Huang et al. | 360Roam: Real-Time Indoor Roaming Using Geometry-Aware ${360^\circ} $ Radiance Fields | |
| CN116051192A (zh) | 处理数据的方法和装置 | |
| Maigrot et al. | Tampering detection and localization in images from social networks: A CBIR approach | |
| CN113743533B (zh) | 一种图片聚类方法、装置及存储介质 | |
| CN115983873A (zh) | 一种基于大数据的用户数据分析管理系统及方法 | |
| CN110942395B (zh) | 保险保全风险控制方法、装置、设备及存储介质 | |
| CN114363660A (zh) | 视频合集确定方法、装置、电子设备及存储介质 | |
| GB2552969A (en) | Image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40050110 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |