CN113761276A - 视频封面选取方法、装置、设备及存储介质 - Google Patents

视频封面选取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113761276A
CN113761276A CN202111056009.0A CN202111056009A CN113761276A CN 113761276 A CN113761276 A CN 113761276A CN 202111056009 A CN202111056009 A CN 202111056009A CN 113761276 A CN113761276 A CN 113761276A
Authority
CN
China
Prior art keywords
frame image
frame
dimension
scoring
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111056009.0A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111056009.0A priority Critical patent/CN113761276A/zh
Publication of CN113761276A publication Critical patent/CN113761276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能领域，公开了一种视频封面选取方法、装置、设备及存储介质，该方法主要应用于智能诊疗系统，包括：随机截取药品推介视频的帧图像，得到帧图像集合；分别对帧图像集合中的帧图像按照多个评分维度进行评分，得到评分值；将评分值与标准阈值进行比较，对帧图像进行过滤和排序得到帧图像序列，并对帧图像序列中各帧图像进行画面相似度检测以及分组得到多个图像组，从多个图像组中选取帧图像作为视频的封面。本发明实现了任意选取展示内容既美观、完整又精彩的帧图像作为药品推介视频的封面，提高了封面选取的可靠性和选取效率。此外，本发明还涉及区块链领域，帧图像和封面可存储于区块链中。

Description

视频封面选取方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种视频封面选取方法、装置、设备及存储介质。
背景技术
随着各种视频网站、APP的普及，视频平台为用户制作、分享和观看视频提供了良好环境，允许用户上传和发布视频。在部分线下药店购药的场景下，线上问诊过程中要求患者与医生进行视频，且在此基础上，部分有风险的药品，需要通过人脸和身份证实名制方能购药，因此，系统后台需上传大量的相关视频介绍并指引患者完成最终的购药，将该视频发布至服务器并进行展示时，通常需要一幅图像作为视频封面。视频封面作为视频内容的第一眼信息，很大程度上影响着用户的点击意愿，对于演示商品的视频，好的视频封面甚至可以直接激发用户购买的欲望。
目前，视频封面选取方式主要是由视频平台随机选取某时刻的一帧视频帧作为视频封面，然而，受选取算法的影响，随机选取的视频帧的质量参差不齐，导致其视频封面的选取的可靠性低。
发明内容
本发明的主要目的在于解决现有技术中视频封面选取的可靠性低的技术问题。
本发明第一方面提供了一种视频封面选取方法，所述视频封面选取方法包括：获取智能诊疗系统上传的药品推介视频及视频时长，并根据所述视频时长，提取所述药品推介视频的起始帧和结束帧；根据所述起始帧和所述结束帧，随机截取所述药品推介视频的帧图像，得到帧图像集合；基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数；根据所述维度分数确定所述帧图像的评分值；对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列；对所述帧图像序列中的帧图像进行画面相似度检测；根据画面相似度检测的检测结果，对所述帧图像序列中的帧图像进行分组，得到多个图像组，其中，同一个所述图像组中的帧图像的画面相似度大于预设的相似度阈值；从所述图像组中选取任意帧图像作为所述药品推介视频的封面。
可选的，在本发明的第一方面的第一种实现方式中，所述基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数包括：对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的完整性维度进行评分，得到完整性维度分数；对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的美学维度进行评分，得到美学维度分数；对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的展示内容维度进行评分，得到展示内容维度分数；将所述完整性维度分数、所述美学维度分数和所述展示内容维度分数作为所述帧图像在每个评分维度下的维度分数。
可选的，在本发明的第一方面的第二种实现方式中，所述对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的美学维度进行评分，得到美学维度分数包括：提取所述帧图像集合中每一个所述帧图像的多维视觉特征，其中，所述多维视觉特征包括多个图像特征，一个所述图像特征对应至少一个维度；基于预设的美学评分规则，对所述多维视觉特征按照所述多维视觉特征中各图像特征对应的维度进行评分，得到美学维度分数。
可选的，在本发明的第一方面的第三种实现方式中，所述对所述帧图像序列中的帧图像进行画面相似度检测包括：根据预设的卷积神经网络提取所述帧图像序列中各帧图像的高维特征；分别对各所述帧图像的高维特征进行向量化处理，得到特征矩阵；对各所述特征矩阵进行乘积运算，得到各所述帧图像的余弦相似度；根据所述余弦相似度对各所述帧图像进行画面相似度检测。
可选的，在本发明第一方面的第四种实现方式中，所述基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数之前，还包括：计算所述帧图像集合中每一个所述帧图像的像素点的像素值，以及所述像素值的方差；比较所述像素值的方差是否小于预设的方差阈值，若是，则删除对应的帧图像；通过预设的离散余弦变换将所述帧图像集合中的帧图像从空间域变换到频率域，得到频率域的帧图像集合；计算所述频率域的帧图像集合中每一个帧图像的像素点的像素值的均值；比较所述像素值的均值是否小于预设的均值阈值，若是，则剔除对应的帧图像。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述维度分数确定所述帧图像的评分值包括：根据每个所述评分维度的预设权值，对所述维度分数进行权值计算，得到每个所述评分维度的维度分值；将每个所述维度分值进行算术相加处理，得到维度总分，并将所述维度总分作为所述帧图像的评分值。
可选的，在本发明第一方面的第六种实现方式中，所述对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列包括：比较所述评分值是否小于预设的标准阈值；若是，则删除对应的帧图像；对删除处理后的帧图像对应的所述评分值进行排序，得到评分值序列；将删除处理后的帧图像按照所述评分值序列对应进行排序，生成帧图像序列。
本发明第二方面提出一种视频封面选取装置，所述视频封面选取装置包括：提取模块，用于获取智能诊疗系统上传的药品推介视频及视频时长，并根据所述视频时长，提取所述药品推介视频的起始帧和结束帧；截取模块，用于根据所述起始帧和所述结束帧，随机截取所述药品推介视频的帧图像，得到帧图像集合；评分模块，用于基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数；确定模块，用于根据所述维度分数确定所述帧图像的评分值；排序模块，用于对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列；检测模块，用于对所述帧图像序列中的帧图像进行画面相似度检测；分组模块，用于根据画面相似度检测的检测结果，对所述帧图像序列中的帧图像进行分组，得到多个图像组，其中，同一个所述图像组中的帧图像的画面相似度大于预设的相似度阈值；选取模块，用于从所述图像组中选取任意帧图像作为所述药品推介视频的封面。
可选的，在本发明第二方面的第一种实现方式中，所述评分模块包括：第一评分单元，用于对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的完整性维度进行评分，得到完整性维度分数；第二评分单元，用于对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的美学维度进行评分，得到美学维度分数；第三评分单元，用于对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的展示内容维度进行评分，得到展示内容维度分数；综合评分单元，用于将所述完整性维度分数、所述美学维度分数和所述展示内容维度分数作为所述帧图像在每个评分维度下的维度分数。
可选的，在本发明第二方面的第二种实现方式中，所述第二评分单元具体用于：提取所述帧图像集合中每一个所述帧图像的多维视觉特征，其中，所述多维视觉特征包括多个图像特征，一个所述图像特征对应至少一个维度；基于预设的美学评分规则，对所述多维视觉特征按照所述多维视觉特征中各图像特征对应的维度进行评分，得到美学维度分数。
可选的，在本发明第二方面的第三种实现方式中，所述检测模块包括：提取单元，用于根据预设的卷积神经网络提取所述帧图像序列中各帧图像的高维特征；向量化单元，用于分别对各所述帧图像的高维特征进行向量化处理，得到特征矩阵；运算单元，用于对各所述特征矩阵进行乘积运算，得到各所述帧图像的余弦相似度；检测单元，用于根据所述余弦相似度对各所述帧图像进行画面相似度检测。
可选的，在本发明第二方面的第四种实现方式中，所述视频封面选取装置还包括剔除模块，其具体用于：第一计算单元，用于计算所述帧图像集合中每一个所述帧图像的像素点的像素值，以及所述像素值的方差；第一剔除单元，用于比较所述像素值的方差是否小于预设的方差阈值，若所述像素值的方差小于预设的方差阈值，则删除对应的帧图像；变换单元，用于通过预设的离散余弦变换将所述帧图像集合中的帧图像从空间域变换到频率域，得到频率域的帧图像集合；第二计算单元，用于计算所述频率域的帧图像集合中每一个帧图像的像素点的像素值的均值；第二剔除单元，用于比较所述像素值的均值是否小于预设的均值阈值，若所述像素值的均值小于预设的均值阈值，则剔除对应的帧图像。
可选的，在本发明第二方面的第五种实现方式中，所述确定模块具体用于：根据每个所述评分维度的预设权值，对所述维度分数进行权值计算，得到每个所述评分维度的维度分值；将每个所述维度分值进行算术相加处理，得到维度总分，并将所述维度总分作为所述帧图像的评分值。
可选的，在本发明第二方面的第六种实现方式中，所述排序模块具体用于：比较所述评分值是否小于预设的标准阈值；若所述评分值小于预设的标准阈值，则删除对应的帧图像；对删除处理后的帧图像对应的所述评分值进行排序，得到评分值序列；将删除处理后的帧图像按照所述评分值序列对应进行排序，生成帧图像序列。
本发明第三方面提供了一种视频封面选取设备，所述视频封面选取设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述视频封面选取设备执行上述的视频封面选取方法的步骤。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的视频封面选取方法的步骤。
在本发明提供的技术方案中，通过获取智能诊疗系统上传的药品推介视频的视频时长，提取视频的起始帧和结束帧；并根据起始帧和结束帧，随机截取视频的帧图像，得到帧图像集合；分别对帧图像集合中的每一个帧图像按照预设的多个评分维度进行评分，得到帧图像的评分值；对评分值与预设的标准阈值进行比较，对与评分值对应的帧图像进行过滤和排序，生成帧图像序列；并对帧图像序列中各帧图像进行画面相似度检测以及分组得到多个图像组，并从多个图像组中选取帧图像作为视频的封面。本发明随机截取视频的帧图像，并结合各个评分维度的评分标准对帧图像进行评分，从而对帧图像进行过滤，从而可以任意选取展示内容既美观、完整又精彩的帧图像作为视频的封面，提高了封面选取的可靠性和选取效率。
附图说明
图1为本发明实施例中视频封面选取方法的第一个实施例示意图；
图2为本发明实施例中视频封面选取方法的第二个实施例示意图；
图3为本发明实施例中视频封面选取方法的第三个实施例示意图；
图4为本发明实施例中视频封面选取方法的第四个实施例示意图；
图5为本发明实施例中视频封面选取装置的一个实施例示意图；
图6为本发明实施例中视频封面选取装置的另一个实施例示意图；
图7为本发明实施例中视频封面选取设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种视频封面选取方法、装置、设备及存储介质，通过获取智能诊疗系统上传的药品推介视频的视频时长，提取视频的起始帧和结束帧；并根据起始帧和结束帧，随机截取视频的帧图像，得到帧图像集合；分别对帧图像集合中的每一个帧图像按照预设的多个评分维度进行评分，得到帧图像的评分值；对评分值与预设的标准阈值进行比较，对与评分值对应的帧图像进行过滤和排序，生成帧图像序列；并对帧图像序列中各帧图像进行画面相似度检测以及分组得到多个图像组，并从多个图像组中选取帧图像作为视频的封面。本发明实施例随机截取视频的帧图像，并结合各个评分维度的评分标准对帧图像进行评分，从而对帧图像进行过滤，从而可以任意选取展示内容既美观、完整又精彩的帧图像作为视频的封面，提高了封面选取的可靠性和选取效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体内容进行描述，请参阅图1，本发明实施例中视频封面选取方法的第一个实施例包括：
101，获取智能诊疗系统上传的药品推介视频及视频时长，并根据视频时长，提取药品推介视频的起始帧和结束帧；
102，根据起始帧和结束帧，随机截取视频的帧图像，得到帧图像集合；
服务器获取在线上会诊过程中智能诊疗系统上经由客户端上传的的药品推介视频，即有关药品介绍和推荐的药品介绍视频，并对药品推介视频进行识别确定该视频的视频时长。并以视频时长为基准，确定该视频的起始帧和结束帧。按照预设间隔时间提取该视频的帧图像，得到多个帧图像，形成帧图像集合。其中，间隔时间可根据实际需求设置，该间隔时间可设置为1秒或者2秒，本实施例在此不做限定。在获取帧图像的过程中，从起始帧开始计时，根据间隔时间截取视频的帧图像，直至到达视频的结束帧，即帧图像的个数可根据视频时长和间隔时间之间的商值确定120个。
在本实施例中，将拍摄好的视频通过组件上传，服务器获取上传的视频，服务器通过预设的功能函数调用公开视觉库的API对该视频进行切帧，从而将该视频切分得到多个帧图像。公开视觉库如OpenCV(Open Source Computer Vision Library，开源计算机视觉库)或FFmpeg(可自由使用的音视频处理的开源工具)。具体的，服务器获取智能诊疗系统上传的药品推介视频的时长，并且根据视频的时长，通过随机抽取视频帧，即按照视频的时长来选取截屏点，获取起始帧、结束帧，再对整个视频按时长随机数截取，视频前期的时间截取密集点，其余的时间截取稀疏点，最后通过canvas将视频帧输出成dataURL并且最终转成Blob对象来截取随机几帧图像，所截取的帧图像的数量，根据视频的时长可能会有不同，并且视频最短间隔也可以设置，根据设置的最小间隔可以算出要抽取多少帧帧图像，帧图像可以根据后台配置来设定上限，一般为15帧。
另外，本发明实施例可以基于人工智能技术对帧图像进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
103，基于预设的多个评分维度中每个评分维度，分别对帧图像集合中的每一个帧图像进行评分，得到帧图像在每个评分维度下的维度分数；
104，根据维度分数确定帧图像的评分值；
根据预设的多个评分维度，对帧图像集合中的每个帧图像进行各个评分维度的评分，即计算帧图像在每个评分维度下的维度分数。其中，多个评分维度包括完整性维度、美学维度和展示内容维度。完整性维度是对帧图像的展示内容的图像完整性进行评判，美学维度是对帧图像的展示内容的美观程度进行评判；其美观程度具体体现为帧图像展示内容的颜色、是否有前景深、展示内容是否突出、帧图像所展示内容的构图、帧图像中所展示内容的明暗程度和帧图像的简洁程度；展示内容维度是对帧图像的展示内容的精彩程度进行评判，根据该展示内容为该视频的精彩内容的置信度作为评判标准。
在完整性维度、美学维度和展示内容维度下根据各个评分维度预设的评分规则对各个帧图像进行评分，从而得到帧图像在每个评分维度下的维度分数。并根据各个评分维度预设的权值，对帧图像在各个评分维度的维度分数进行权值计算，从而确定该帧图像对应的评分值。
在本实施例中，根据每个评分维度的重要性级别，分别设置不同的权值，即预先设置每个评分维度的权值，权值的大小表示该评分维度的重要性程度，其中，权值的具体数值可根据实际情况进行设置，在此不做限定。根据每个评分维度的权值，对帧图像在该评分维度下的维度分数进行权值计算，即将维度分数与对应的评分维度的权值进行乘积计算，得到该评分维度的维度分值。对各个评分维度的维度分数进行权值计算，得到每个评分维度的维度分值。
将每个评分维度的维度分值进行算术相加处理，即将各个评分维度的维度分值相加，得到一个维度总分，然后将该维度总分作为对应的帧图像的评分值，该评分值表示该帧图像在经过所有的评分维度的评分下的评分结果。
105，对评分值与预设的标准阈值进行比较，并根据比较的结果，对与评分值对应的帧图像进行过滤和排序，生成帧图像序列；
将所得到的评分值与预设的标准阈值进行比较，并根据比较的结果，对与该评分值对应的帧图像进行过滤和排序，即当评分值小于预设的标准阈值时，说明该帧图像不符合各评分维度的基本要求，因此从帧图像集合中将该帧图像进行剔除。将经过剔除处理后的帧图像按照评分值进行排序，即对帧图像集合中各帧图像的评分值进行比较，并根据比较的结果将各帧图像按照评分值的大小从大到小进行排序，从而得到帧图像序列。
具体的，将帧图像对应的评分值与预设的标准阈值进行比较，判断该帧图像的评分值是否小于预设的标准阈值。其中，标准阈值是预先设置的帧图像在各个评分维度的评分下所应该达到的评分分数，其标准阈值的具体数值可根据实际情况进行设置，在此不做限定。当帧图像的评分值小于该标准阈值时，则说明该帧图像并不符合要求，则删除对应的帧图像。
对所有的帧图像进行评分值与标准阈值的比较并经过删除处理后，对剩下的帧图像对应的评分值进行排序，即将帧图像的评分值进行大小比较，并按照从大到小的顺序进行排序，从而得到评分值序列。对删除处理后的帧图像按照该评分值序列的排序情况对应进行排序，从而得到帧图像序列。
106，对帧图像序列中的帧图像进行画面相似度检测；
对帧图像序列中的每个帧图像进行画面相似度检测，通过预设的卷积神经网络提取每个帧图像的4096维特征，并从帧图像序列中选取任意两个帧图像，根据这两个帧图像对应的4096维特征，计算这两个帧图像的余弦距离，根据计算出的余弦距离的结果，对帧图像进行画面相似度检测。
107，根据画面相似度检测的检测结果，对帧图像序列中的帧图像进行分组，得到多个图像组；
108，从图像组中选取任意帧图像作为药品推介视频的封面。
根据画面相似度检测的检测结果，对帧图像序列中的所有帧图像进行分组，得到多个图像组，在本实施例中，同一个图像组中的帧图像的画面相似度大于预设的相似度阈值，即对帧图像序列中的所有帧图像进行画面相似度比较，将画面相似度大于预设的相似度阈值的帧图像划分至一个图像组中，得到至少一个图像组，从而在至少一个图像组中选取任意帧图像作为药品推介视频的封面。例如，一个视频有多个场景，每个场景下的帧图像相似但不同场景下的帧图像相差较大，因此通过画面相似度检测能够实现对视频的场景划分，将同一个场景下的帧图像划分至一个图像组中。
经过一系列处理所得到的图像组中的帧图像为满足各个评分维度的基本要求的图像，即帧图像序列中各个帧图像其展示内容较为完整、美观且都为视频的精彩内容，因此，该帧图像序列中各个帧图像都可以被选取作为视频的封面，则可从帧图像序列中随机选取一个帧图像作为视频的封面，且该帧图像既美观又能够展示视频内容的精彩内容，有利于视频的播放和点击。将选取的视频封面通过TFS文件服务器上传至运营端，并得到对应的视频封面的服务器地址，另外，服务器还可以根据具体需求从帧图像序列中任意选取帧图像进行视频封面的更新。
在本发明实施例中，通过随机截取药品推介视频的多个帧图像，并对多个帧图像根据预设多个评分维度中的每个评分维度进行评分，得到帧图像在每个评分维度下的维度分数，根据该维度分数确定该帧图像的评分值，然后将该评分值与评分阈值进行比较，对所有的帧图像进行过滤和排序，生成帧图像序列，并对帧图像序列中各帧图像进行画面相似度检测以及分组得到多个图像组，并从多个图像组中选取帧图像作为视频的封面。本发明实施例能够使得选取的封面的展示内容既完整、美观又能够展示药品推介视频的精彩内容，提高了视频封面选取的可靠性，有利于视频的播放和点击。
请参阅图2，本发明实施例中视频封面选取方法的第二个实施例包括：
201，获取智能诊疗系统上传的药品推介视频及视频时长，并根据视频时长，提取药品推介视频的起始帧和结束帧；
202，根据起始帧和结束帧，随机截取药品推介视频的帧图像，得到帧图像集合；
203，对帧图像集合中的每一个帧图像按照预设的多个评分维度中的完整性维度进行评分，得到完整性维度分数；
服务器通过预设的图像识别技术对帧图像的展示内容进行边缘检测，以确定展示内容是否是完整的，即对帧图像进行图像识别，并根据识别的结果按照预设的完整性维度的评分规则进行完整性维度评分，得到完整性维度分数。在本实施例中，对帧图像按照预设的剪裁策略进行剪裁得到多个图像区域，将各图像区域进行图像识别，并将图像识别的结果与预设的各图像区域相同位置的标准图像区域进行相似度比较，当其相似度的值不小于预设的相似度阈值时，确定该帧图像完整性较高，不同的相似度对应不同的维度分数，其相似度越高，评分的分数越高，根据该相似度比较，判断该帧图像的完整性是否符合要求。以帧图像的展示内容为人物的头部为例，其标准图像区域存在人物的完整头部，如果通过图像识别技术确定帧图像中对应位置的图像区域不存在人物的头部或者虽然存在人物的头部但是人物的头部不完整(如部分头部或者只有人物的下半身)，则表示该帧图像不符合完整性要求，其所对应的完整性维度分数较低，其中，预设的剪裁策略为对帧图像进行等分剪裁，其具体剪裁的数量不做限定；例如，设定对帧图像进行九等分剪裁，即将帧图像平均分为九个区域并剪裁得到九个图像区域。
对帧图像进行完整性维度评分可将帧图像的整体完整性作为该帧图像的整体信息值，再对帧图像进行区域划分，并对每个区域进行完整性评估，得到区域信息值。结合整体信息值和区域信息值，对该帧图像进行完整性评分，得到完整性维度分数。其中，当信息值越大，则说明帧图像的图像内容越丰富、其图像完整性越高。
204，对帧图像集合中的每一个帧图像按照预设的多个评分维度中的美学维度进行评分，得到美学维度分数；
帧图像的美观维度包括帧图像展示内容的颜色、是否有前景深、展示内容是否突出、帧图像所展示内容的构图、帧图像中所展示内容的明暗程度和帧图像的简洁程度。即如果帧图像有前景深且展示内容突出，则可以视为该帧图像较为美观。对帧图像集合中的每一个帧图像按照美学维度的标准进行评分，得到帧图像在该美学维度下的美学维度分数。
在本实施例中，按照预设的图像特征类型查找并提取帧图像集合中每一个帧图像的多维视觉特征，其中，多维视觉特征包括多个图像特征，一个图像特征对应至少一个维度；基于预设的美学评分规则，对多维视觉特征按照多维视觉特征中各图像特征对应的维度进行评分，得到美学维度分数，其中，图像特征对应的维度包括色彩维度、布局维度和画面品质维度。
具体的，根据帧图像中的多个一维或多维的图像特征，即多维视觉特征来表征美观程度，关于色彩维度对应的图像特征包括平均HSV、HSV颜色直方图等，关于布局维度对应的图像特征包括九宫格显著性；关于画面品质维度对应的图像特征包括曝光平衡、对比度等图像特征。统计从帧图像中提取出的图像特征的数量，以及各图像特征对应的维度的数量，图像特征的不同数量对应不同的特征评分分数，各图像特征对应的维度的不同数量也对应不同的维度评分分数；图像特征的数量越多，其特征评分分数越高；图像特征对应的维度的数量越多，其维度评分分数越高；将特征评分分数与维度评分分数按照预设的权重进行权值计算，得到该帧图像的美学维度评分，其中，其权重的数值的设置可根据实际情况进行设置，在此不做限定。在本实施例中，帧图像由多个一维或多维的图像特征构成，从中所提取的图像特征越多、维度越多，根据该图像特征进行美学维度评分时，其评分的结果越符合美学要求。
205，对帧图像集合中的每一个帧图像按照预设的多个评分维度中的展示内容维度进行评分，得到展示内容维度分数；
206，将完整性维度分数、美学维度分数和展示内容维度分数作为帧图像在每个评分维度下的维度分数；
对帧图像集合中的每一个帧图像按照展示内容维度的评分标准进行评分，其评分标准为帧图像所展示内容为视频的精彩内容的置信度。服务器通过预设算法对帧图像进行精彩内容的置信度计算，得到帧图像的置信度，并将其与预设的置信阈值进行比较，根据比较的结果对帧图像的展示内容维度进行评分，得到展示内容维度分数。
在本实施例中，对帧图像进行画面相似度检测，即计算各帧图像的画面相似度，当画面相似度大于预设的相似度阈值时，将对应的帧图像集合形成帧图像子集合，从而得到多个帧图像子集合，每个帧图像子集合中包含至少两个画面相似的帧图像，不同帧图像子集合中的帧图像相似性差距较大，且差距较大的帧图像在故事情节和美观程度上都会存在差距，即图像识别得到的人物或产品的数量不同，从而使得获得的多个帧图像子集合能够代表当前视频的精彩故事情节的演变，进而能够从多个帧图像子集合中确定出代表当前视频的最主要的精彩内容的帧图像。对各帧图像子集合中的任一帧图像进行图像识别，识别各帧图像子集合中任一帧图像的人物和产品，并统计人物数量和产品数量。人物和产品的不同数量对应不同的评分分数；帧图像中人物的数量越多，其人物评分分数越高；产品的数量越多，其产品评分分数越高；将人物评分分数与产品评分分数按照预设的权重进行权值计算，得到该帧图像的展示内容维度评分，其中，权重的数值的设置可根据实际情况进行设置，在此不做限定，且同一个帧图像子集合中所有的帧图像对应的展示内容维度分数相同。
在本实施例中，将完整性维度分数、美学维度分数和展示内容维度分数都作为帧图像在每个评分维度下的维度分数。
207，根据维度分数确定帧图像的评分值；
根据预设的多个评分维度，对帧图像集合中的每个帧图像进行各个评分维度的评分，即计算帧图像在每个评分维度下的维度分数。其中，多个评分维度包括完整性维度、美学维度和展示内容维度。完整性维度是对帧图像的展示内容的图像完整性进行评判，美学维度是对帧图像的展示内容的美观程度进行评判；其美观程度具体体现为帧图像展示内容的颜色、是否有前景深、展示内容是否突出、帧图像所展示内容的构图、帧图像中所展示内容的明暗程度和帧图像的简洁程度；展示内容维度是对帧图像的展示内容的精彩程度进行评判，根据该展示内容为该视频的精彩内容的置信度作为评判标准。
在完整性维度、美学维度和展示内容维度下根据各个评分维度预设的评分规则对各个帧图像进行评分，从而得到帧图像在每个评分维度下的维度分数。并根据各个评分维度预设的权值，对帧图像在各个评分维度的维度分数进行权值计算，从而确定该帧图像对应的评分值。
208，对评分值与预设的标准阈值进行比较，并根据比较的结果，对与评分值对应的帧图像进行过滤和排序，生成帧图像序列；
将所得到的评分值与预设的标准阈值进行比较，并根据比较的结果，对与该评分值对应的帧图像进行过滤和排序，即当评分值小于预设的标准阈值时，说明该帧图像不符合各评分维度的基本要求，因此从帧图像集合中将该帧图像进行剔除。将经过剔除处理后的帧图像按照评分值进行排序，即对帧图像集合中各帧图像的评分值进行比较，并根据比较的结果将各帧图像按照评分值的大小从大到小进行排序，从而得到帧图像序列。
209，对帧图像序列中的帧图像进行画面相似度检测；
210，根据画面相似度检测的检测结果，对帧图像序列中的帧图像进行分组，得到多个图像组；
211，从图像组中选取任意帧图像作为药品推介视频的封面。
在本发明实施例中，步骤201-202、步骤209-211与上述的视频封面选取方法的第一个实施例中的步骤101-102、步骤106-108一致，在此不做赘述。
在本发明实施例中，对帧图像集合中的每一个帧图像按照完整性维度、美学维度、展示内容维度进行多维度综合评分，并根据各维度分数对帧图像进行过滤和排序，生成帧图像序列并从中任意选取帧图像作为视频封面。本发明实施例根据多维度综合评分选取视频封面，使其封面展示内容既完整、美观又能够展示视频的精彩内容，提高了封面选取的可靠性。
请参阅图3，本发明实施例中视频封面选取方法的第三个实施例包括：
301，获取智能诊疗系统上传的药品推介视频及视频时长，并根据视频时长，提取药品推介视频的起始帧和结束帧；
302，根据起始帧和结束帧，随机截取药品推介视频的帧图像，得到帧图像集合；
303，基于预设的多个评分维度中每个评分维度，分别对帧图像集合中的每一个帧图像进行评分，得到帧图像在每个评分维度下的维度分数；
304，根据维度分数确定帧图像的评分值；
305，对评分值与预设的标准阈值进行比较，并根据比较的结果，对与评分值对应的帧图像进行过滤和排序，生成帧图像序列；
306，根据预设的卷积神经网络提取帧图像序列中各帧图像的高维特征；
307，分别对各所述帧图像的高维特征进行向量化处理，得到特征矩阵；
对帧图像序列中的每个帧图像进行画面相似度检测，采用预设的卷积神经网络提取每个帧图像的高维特征，即4096维特征，分别对各帧图像的高维特征进行向量化处理，即将各帧图像的高维特征映射到高维空间中，将每个特征映射为一个向量，从而将高维特征转化为高维矩阵，其中，高维特征为多个维度的特征。
308，对各特征矩阵进行乘积运算，得到各帧图像的余弦相似度；
309，根据余弦相似度对各帧图像进行画面相似度检测；
提取任意两个帧图像，对这两个帧图像进行画面相似度检测，即对这任意帧图像对应的特征矩阵进行乘积运算，计算两个特征矩阵之间的余弦相似度，从而根据余弦相似度对这两个帧图像进行画面相似度检测，当余弦相似度的值越趋近于1，则表明这两个帧图像的画面相似度越大，即这两个帧图像越相似。对各个帧图像的特征矩阵进行余弦相似度的计算，根据该余弦相似度对各个帧图像进行画面相似度检测。
在本实施例中，余弦距离，也称为余弦相似度，是用高维空间中各高维矩阵之间夹角的余弦值作为衡量各帧图像之间差异的大小的度量，余弦相似度接近1，表示各特征矩阵在高维空间内的夹角趋于0，则表明对应的帧图像越相似，余弦相似度接近于0，夹角趋于90度，表明对应的帧图像越不相似。
310，根据画面相似度检测的检测结果，对帧图像序列中的帧图像进行分组，得到多个图像组；
311，从图像组中选取任意帧图像作为药品推介视频的封面。
根据画面相似度检测的检测结果，对帧图像序列中的所有帧图像进行分组，得到多个图像组，在本实施例中，同一个图像组中的帧图像的画面相似度大于预设的相似度阈值，即对帧图像序列中的所有帧图像进行画面相似度比较，将画面相似度大于预设的相似度阈值的帧图像划分至一个图像组中。例如，一个视频有多个场景，每个场景下的帧图像相似但不同场景下的帧图像相差较大，因此通过画面相似度检测能够实现对视频的场景划分，将同一个场景下的帧图像划分至一个图像组中。
在本发明实施例中，步骤301-305与上述的视频封面选取方法的第一个实施例中的步骤101-105一致，在此不做赘述。
在本发明实施例中，根据各维度的综合评分对帧图像进行筛选，生成帧图像序列，对帧图像序列中各帧图像进行画面相似度检测，实现帧图像的场景划分和分组，提高视频封面的选取效率，同时避免选取的封面的画面过于相似，从而提高用户的体验感，以及提高封面选取的准确度。
请参阅图4，本发明实施例中视频封面选取方法的第四个实施例包括：
401，获取智能诊疗系统上传的药品推介视频及视频时长，并根据视频时长，提取视频的起始帧和结束帧；
402，根据起始帧和结束帧，随机截取药品推介视频的帧图像，得到帧图像集合；
403，计算帧图像集合中每一个帧图像的像素点的像素值，以及像素值的方差；
404，比较像素值的方差是否小于预设的方差阈值，若像素值的方差小于预设的方差阈值，则删除对应的帧图像；
计算帧图像集合中的帧图像的像素点的像素值及该像素值的方差，然后将像素值的方差与预设的方差阈值进行比较。在本发明实施例中，若帧图像的像素点的像素值的方差等于零，那么说明在该帧图像中只存在一种颜色，是全白帧或全黑帧。若帧图像的像素点的像素值的方差较小，那么说明该图像中存在的颜色种类较少，其画面内容通常不丰富。若帧图像的像素点的像素值的方差较大，那么说明该帧图像中存在的颜色种类可能较多，其画面内容通常较丰富。而为了让封面能够更好的展现视频内容，因此本实施例要求选取颜色种类较多，其画面内容较丰富的帧图像作为视频封面。
对于帧图像集合中的每个帧图像，计算该帧图像的像素点的像素值的方差，将该帧图像的像素点的像素值的方差与预设的方差阈值进行比较。若该帧图像的像素点的像素值的方差不小于方差阈值，则确定帧图像集合中存在满足要求的帧图像，并且该帧图像属于满足要求的帧图像。若帧图像集合中的所有帧图像的像素点的像素值的方差均小于预设方差阈值，说明该帧图像不满足要求，则在帧图像集合中删除该帧图像。其中，预设方差阈值可以根据实际情况自行设定。
405，通过预设的离散余弦变换将帧图像集合中的帧图像从空间域变换到频率域，得到频率域的帧图像集合；
406，计算频率域的帧图像集合中每一个帧图像的像素点的像素值的均值；
407，比较像素值的均值是否小于预设的均值阈值，若像素值的均值小于预设的均值阈值，则剔除对应的帧图像；
服务器通过预设的离散余弦变换(Discrete Cosine Transform，DCT)将帧图像集合中的帧图像从空间域变换到频率域，得到频率域的帧图像集合。计算频率域的帧图像集合中每一个帧图像的像素点的像素值的均值，将均值与预设的均值阈值进行比较。在本发明实施例中，若频率域的帧图像的像素点的像素值的均值越大，那么说明该帧图像的画面越清晰。若频率域的图像的像素点的像素值的均值越小，那么说明该帧图像的画面越模糊。而为了让封面能够更好的展现视频内容，因此本实施例要求选取画面较为清晰的帧图像作为视频封面。
对于帧图像集合中的每帧帧图像，通过离散余弦变换将该帧图像从空间域变换到频率域，得到频率域的帧图像，计算频率域的该帧图像的像素点的像素值的均值，将频率域的该帧图像的像素点的像素值的均值与预设均值阈值进行比较。若频率域的该帧图像的像素点的像素值的均值不小于预设均值阈值，则确定帧图像集合中存在满足要求的帧图像，并且该帧图像属于满足要求的帧图像。若频率域的帧图像集合中的帧图像的像素点的像素值的均值均小于预设均值阈值，说明该帧图像不满足要求，则在帧图像集合中删除该帧图像。其中，预设均值阈值可以根据实际情况自行设定。
408，基于预设的多个评分维度中每个评分维度，分别对帧图像集合中的每一个帧图像进行评分，得到帧图像在每个评分维下的维度分数；
409，根据维度分数确定帧图像的评分值；
410，对评分值与预设的标准阈值进行比较，并根据比较的结果，对与评分值对应的帧图像进行过滤和排序，生成帧图像序列；
411，对帧图像序列中的帧图像进行画面相似度检测；
412，根据画面相似度检测的检测结果，对帧图像序列中的帧图像进行分组，得到多个图像组；
413，从图像组中选取任意帧图像作为药品推介视频的封面。
在本发明实施例中，步骤401-402、408-413与上述的视频封面选取方法的第一个实施例中的步骤101-102、103-108一致，在此不做赘述。
在本发明实施例中，通过计算帧图像集合中每一个帧图像的像素点的像素值，以及每一个帧图像的像素点的像素值的方差，将方差与预设方差阈值进行比较，再计算像素值的均值，将像素值的均值与预设的均值阈值进行比较，对帧图像进行筛选，剔除画面种类不丰富、画面颜色较少的帧图像，提高了封面选取的合理性和可靠性。
上面对本发明实施例中的视频封面选取方法进行了描述，下面对本发明实施例中的视频封面选取装置进行描述，请参照图5，本发明实施例中的视频封面选取装置的一个实施例包括：
提取模块501，用于获取智能诊疗系统上传的药品推介视频及视频时长，并根据所述视频时长，提取所述药品推介视频的起始帧和结束帧；
截取模块502，用于根据所述起始帧和所述结束帧，随机截取所述药品推介视频的帧图像，得到帧图像集合；
评分模块503，用于基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数；
确定模块504，用于根据所述维度分数确定所述帧图像的评分值；
排序模块505，用于对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列；
检测模块506，用于对所述帧图像序列中的帧图像进行画面相似度检测；
分组模块507，用于根据画面相似度检测的检测结果，对所述帧图像序列中的帧图像进行分组，得到多个图像组，其中，同一个所述图像组中的帧图像的画面相似度大于预设的相似度阈值；
选取模块508，用于从所述图像组中选取任意帧图像作为所述药品推介视频的封面。
在本发明实施例中，通过视频封面选取装置随机截取药品推介视频的多个帧图像，并对多个帧图像根据预设多个评分维度中的每个评分维度进行评分，得到帧图像在每个评分维度下的维度分数，根据该维度分数确定该帧图像的评分值，然后将该评分值与评分阈值进行比较，对所有的帧图像进行过滤和排序，生成帧图像序列，并对帧图像序列中各帧图像进行画面相似度检测以及分组得到多个图像组，并从多个图像组中选取帧图像作为视频的封面。本发明实施例能够使得选取的封面的展示内容既完整、美观又能够展示药品推介视频的精彩内容，提高了视频封面选取的可靠性，有利于视频的播放和点击。
请参阅图6，本发明实施例中的视频封面选取装置的另一个实施例包括：
提取模块501，用于获取智能诊疗系统上传的药品推介视频及视频时长，并根据所述视频时长，提取所述药品推介视频的起始帧和结束帧；
截取模块502，用于根据所述起始帧和所述结束帧，随机截取所述药品推介视频的帧图像，得到帧图像集合；
评分模块503，用于基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数；
确定模块504，用于根据所述维度分数确定所述帧图像的评分值；
排序模块505，用于对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列；
检测模块506，用于对所述帧图像序列中的帧图像进行画面相似度检测；
分组模块507，用于根据画面相似度检测的检测结果，对所述帧图像序列中的帧图像进行分组，得到多个图像组，其中，同一个所述图像组中的帧图像的画面相似度大于预设的相似度阈值；
选取模块508，用于从所述图像组中选取任意帧图像作为所述药品推介视频的封面。
其中，所述评分模块503包括：
第一评分单元5031，用于对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的完整性维度进行评分，得到完整性维度分数；
第二评分单元5032，用于对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的美学维度进行评分，得到美学维度分数；
第三评分单元5033，用于对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的展示内容维度进行评分，得到展示内容维度分数；
综合评分单元5034，用于将所述完整性维度分数、所述美学维度分数和所述展示内容维度分数作为所述帧图像在每个评分维度下的维度分数。
其中，所述第二评分模块5032具体用于：
提取所述帧图像集合中每一个所述帧图像的多维视觉特征，其中，所述多维视觉特征包括多个图像特征，一个所述图像特征对应至少一个维度；
基于预设的美学评分规则，对所述多维视觉特征按照所述多维视觉特征中各图像特征对应的维度进行评分，得到美学维度分数。
其中，所述检测模块506具体用于：
提取单元5061，用于根据预设的卷积神经网络提取所述帧图像序列中各帧图像的高维特征；
向量化单元5062，用于分别对各所述帧图像的高维特征进行向量化处理，得到特征矩阵；
运算单元5063，用于对各所述特征矩阵进行乘积运算，得到各所述帧图像的余弦相似度；
检测单元5064，用于根据所述余弦相似度对各所述帧图像进行画面相似度检测。
其中，所述视频封面选取装置还包括剔除模块509，其具体用于：
第一计算单元5091，用于计算所述帧图像集合中每一个所述帧图像的像素点的像素值，以及所述像素值的方差；
第一剔除单元5092，用于比较所述像素值的方差是否小于预设的方差阈值，若所述像素值的方差小于预设的方差阈值，则删除对应的帧图像；
变换单元5093，用于通过预设的离散余弦变换将所述帧图像集合中的帧图像从空间域变换到频率域，得到频率域的帧图像集合；
第二计算单元5094，用于计算所述频率域的帧图像集合中每一个帧图像的像素点的像素值的均值；
第二剔除单元5095，用于比较所述像素值的均值是否小于预设的均值阈值，若所述像素值的均值小于预设的均值阈值，则剔除对应的帧图像。
其中，所述确定模块504具体用于：
根据每个所述评分维度的预设权值，对所述维度分数进行权值计算，得到每个所述评分维度的维度分值；
将每个所述维度分值进行算术相加处理，得到维度总分，并将所述维度总分作为所述帧图像的评分值。
其中，所述排序模块505具体用于：
比较所述评分值是否小于预设的标准阈值；
若所述评分值小于预设的标准阈值，则删除对应的帧图像；
对删除处理后的帧图像对应的所述评分值进行排序，得到评分值序列；
将删除处理后的帧图像按照所述评分值序列对应进行排序，生成帧图像序列。
在本发明实施例中，通过视频封面选取装置通过计算帧图像集合中每一个帧图像的像素点的像素值，以及每一个帧图像的像素点的像素值的方差，将方差与预设方差阈值进行比较，再计算像素值的均值，将像素值的均值与预设的均值阈值进行比较，对帧图像进行筛选，剔除画面种类不丰富、画面颜色较少的帧图像，提高了封面选取的合理性和可靠性。
请参阅图7，下面从硬件处理的角度对本发明实施例中的视频封面选取设备的一个实施例进行详细描述。
图7是本发明实施例提供的一种视频封面选取设备的结构示意图，该视频封面选取设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对视频封面选取设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在视频封面选取设备700上执行存储介质730中的一系列指令操作。
视频封面选取设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和或或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的视频封面选取设备结构并不构成对视频封面选取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明所指服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述视频封面选取方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频封面选取方法，其特征在于，所述视频封面选取方法包括：
获取智能诊疗系统上传的药品推介视频及视频时长，并根据所述视频时长，提取所述药品推介视频的起始帧和结束帧；
根据所述起始帧和所述结束帧，随机截取所述药品推介视频的帧图像，得到帧图像集合；
基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数；
根据所述维度分数确定所述帧图像的评分值；
对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列；
对所述帧图像序列中的帧图像进行画面相似度检测；
根据画面相似度检测的检测结果，对所述帧图像序列中的帧图像进行分组，得到多个图像组，其中，同一个所述图像组中的帧图像的画面相似度大于预设的相似度阈值；
从所述图像组中选取任意帧图像作为所述药品推介视频的封面。
2.根据所述权利要求1所述的视频封面选取方法，其特征在于，所述基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数包括：
对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的完整性维度进行评分，得到完整性维度分数；
对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的美学维度进行评分，得到美学维度分数；
对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的展示内容维度进行评分，得到展示内容维度分数；
将所述完整性维度分数、所述美学维度分数和所述展示内容维度分数作为所述帧图像在每个评分维度下的维度分数。
3.根据所述权利要求2所述的视频封面选取方法，其特征在于，所述对所述帧图像集合中的每一个所述帧图像按照预设的多个评分维度中的美学维度进行评分，得到美学维度分数包括：
提取所述帧图像集合中每一个所述帧图像的多维视觉特征，其中，所述多维视觉特征包括多个图像特征，一个所述图像特征对应至少一个维度；
基于预设的美学评分规则，对所述多维视觉特征按照所述多维视觉特征中各图像特征对应的维度进行评分，得到美学维度分数。
4.根据所述权利要求1-3中任一项所述的视频封面选取方法，其特征在于，所述对所述帧图像序列中的帧图像进行画面相似度检测包括：
根据预设的卷积神经网络提取所述帧图像序列中各帧图像的高维特征；
分别对各所述帧图像的高维特征进行向量化处理，得到特征矩阵；
对各所述特征矩阵进行乘积运算，得到各所述帧图像的余弦相似度；
根据所述余弦相似度对各所述帧图像进行画面相似度检测。
5.根据所述权利要求1-3中任一项所述的视频封面选取方法，其特征在于，所述基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数之前，还包括：
计算所述帧图像集合中每一个所述帧图像的像素点的像素值，以及所述像素值的方差；
比较所述像素值的方差是否小于预设的方差阈值，若是，则删除对应的帧图像；
通过预设的离散余弦变换将所述帧图像集合中的帧图像从空间域变换到频率域，得到频率域的帧图像集合；
计算所述频率域的帧图像集合中每一个帧图像的像素点的像素值的均值；
比较所述像素值的均值是否小于预设的均值阈值，若是，则剔除对应的帧图像。
6.根据所述权利要求1-3中任一项所述的视频封面选取方法，其特征在于，所述根据所述维度分数确定所述帧图像的评分值包括：
根据每个所述评分维度的预设权值，对所述维度分数进行权值计算，得到每个所述评分维度的维度分值；
将每个所述维度分值进行算术相加处理，得到维度总分，并将所述维度总分作为所述帧图像的评分值。
7.根据所述权利要求1-3中任一项所述的视频封面选取方法，其特征在于，所述对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列包括：
比较所述评分值是否小于预设的标准阈值；
若是，则删除对应的帧图像；
对删除处理后的帧图像对应的所述评分值进行排序，得到评分值序列；
将删除处理后的帧图像按照所述评分值序列对应进行排序，生成帧图像序列。
8.一种视频封面选取装置，其特征在于，所述视频封面选取装置包括：
提取模块，用于获取智能诊疗系统上传的药品推介视频及视频时长，并根据所述视频时长，提取所述药品推介视频的起始帧和结束帧；
截取模块，用于根据所述起始帧和所述结束帧，随机截取所述药品推介视频的帧图像，得到帧图像集合；
评分模块，用于基于预设的多个评分维度中每个评分维度，分别对所述帧图像集合中的每一个所述帧图像进行评分，得到所述帧图像在每个评分维度下的维度分数；
确定模块，用于根据所述维度分数确定所述帧图像的评分值；
排序模块，用于对所述评分值与预设的标准阈值进行比较，并根据比较的结果，对与所述评分值对应的帧图像进行过滤和排序，生成帧图像序列；
检测模块，用于对所述帧图像序列中的帧图像进行画面相似度检测；
分组模块，用于根据画面相似度检测的检测结果，对所述帧图像序列中的帧图像进行分组，得到多个图像组，其中，同一个所述图像组中的帧图像的画面相似度大于预设的相似度阈值；
选取模块，用于从所述图像组中选取任意帧图像作为所述药品推介视频的封面。
9.一种视频封面选取设备，其特征在于，所述视频封面选取设备包括：
存储器和至少一个处理器，所述存储器中存储有计算机程序，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述视频封面选取设备执行如权利要求1-7中任一项所述的视频封面选取方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的视频封面选取方法的步骤。
CN202111056009.0A 2021-09-09 2021-09-09 视频封面选取方法、装置、设备及存储介质 Pending CN113761276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111056009.0A CN113761276A (zh) 2021-09-09 2021-09-09 视频封面选取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111056009.0A CN113761276A (zh) 2021-09-09 2021-09-09 视频封面选取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113761276A true CN113761276A (zh) 2021-12-07

Family

ID=78794425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111056009.0A Pending CN113761276A (zh) 2021-09-09 2021-09-09 视频封面选取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113761276A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833938A (zh) * 2018-06-20 2018-11-16 上海连尚网络科技有限公司 用于选取视频封面的方法和设备
CN110149532A (zh) * 2019-06-24 2019-08-20 北京奇艺世纪科技有限公司 一种封面选取方法及相关设备
CN111464833A (zh) * 2020-03-23 2020-07-28 腾讯科技（深圳）有限公司 目标图像生成方法、目标图像生成装置、介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833938A (zh) * 2018-06-20 2018-11-16 上海连尚网络科技有限公司 用于选取视频封面的方法和设备
CN110149532A (zh) * 2019-06-24 2019-08-20 北京奇艺世纪科技有限公司 一种封面选取方法及相关设备
CN111464833A (zh) * 2020-03-23 2020-07-28 腾讯科技（深圳）有限公司 目标图像生成方法、目标图像生成装置、介质及电子设备

Similar Documents

Publication Publication Date Title
US11526549B2 (en) Method and system for interfacing with a user to facilitate an image search for an object-of-interest
CN110235138B (zh) 用于外观搜索的系统和方法
US9323785B2 (en) Method and system for mobile visual search using metadata and segmentation
KR102554724B1 (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US10846554B2 (en) Hash-based appearance search
CN104933414B (zh) 一种基于wld-top的活体人脸检测方法
US20200082212A1 (en) System and method for improving speed of similarity based searches
JP5801601B2 (ja) 画像認識装置、画像認識装置の制御方法、およびプログラム
KR102284096B1 (ko) 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
JP2022532177A (ja) 偽造された顔の認識方法、装置、および非一時的コンピュータ可読記憶媒体
EP2758939A1 (en) Image quality analysis for searches
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN110866466A (zh) 一种人脸识别方法、装置、存储介质和服务器
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN110751069A (zh) 一种人脸活体检测方法及装置
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
EP3239897A1 (en) Method and apparatus for determining the similarity between multivariate data sets
CN111753642B (zh) 一种确定关键帧的方法及装置
CN113573044B (zh) 视频数据处理方法、装置、计算机设备及可读存储介质
CN113705310A (zh) 特征学习的方法、目标物体的识别方法和对应装置
CA3011713A1 (en) Hash-based appearance search
AU2019303730B2 (en) Hash-based appearance search
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
CN113761276A (zh) 视频封面选取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination