CN110381339A - 图片传输方法及装置 - Google Patents

图片传输方法及装置 Download PDF

Info

Publication number
CN110381339A
CN110381339A CN201910725985.7A CN201910725985A CN110381339A CN 110381339 A CN110381339 A CN 110381339A CN 201910725985 A CN201910725985 A CN 201910725985A CN 110381339 A CN110381339 A CN 110381339A
Authority
CN
China
Prior art keywords
parameter
video
target
key frame
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910725985.7A
Other languages
English (en)
Other versions
CN110381339B (zh
Inventor
吴乐
汪萌
杨永晖
陈雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Hefei University of Technology
Hefei Polytechnic University
Original Assignee
Tencent Technology Shenzhen Co Ltd
Hefei Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Hefei Polytechnic University filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910725985.7A priority Critical patent/CN110381339B/zh
Publication of CN110381339A publication Critical patent/CN110381339A/zh
Application granted granted Critical
Publication of CN110381339B publication Critical patent/CN110381339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种图片传输方法及装置,该方法包括:获取第一视频中的关键帧组成的目标关键帧集合;根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数;根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数;将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。避免了获取帐号对关键帧的行为特征数据或者账号对视频的文本信息,解决了相关技术中在缺少用户对关键帧行为数据的情况下,或者缺少用户对关键帧的文本信息的情况下,无法实现根据用户的不同需求在视频中选取对应的关键帧的进行推送的问题。

Description

图片传输方法及装置
技术领域
本发明涉及图片处理领域,具体而言,涉及一种图片传输方法及装置。
背景技术
在实际场景中,用户通常根据视频封面的图片来确定是否要要观看整个视频,那么针对用户的不同喜欢对视频选取不同的封面,有利于用户根据自己喜欢的封面观看视频,进而需要对同一视频根据用户的需要选取不同的封面。例如,视频中包含画面1、画面2,当判断用户A喜欢画面1中的内容,则可以将画面1作为视频的封面,推送给用户A,类似,如有用户B喜欢画面2的内容,那么可以将画面2作为视频的封面,推送给用户B,进而使视频可以被更多的用户所观看。
通常采用的方法有两种,其中,方法1基于协同过滤的关键帧推荐方法:基于协同过滤的模型把每一个关键帧都看成是产品,接着把用户和产品映射到维度相同的隐向量空间,最后通过细粒度的用户对产品的行为数据对用户和产品的表征进行建模学习。根据学习好的用户以及产品隐向量表示,可以进行个性化的关键帧推荐。但是,基于协同过滤的方法需要细粒度的用户对关键帧的行为数据。具体到短视频个性化推荐任务中,就必须要有用户对关键帧的行为数据(比如收藏、点赞等),这样才能利用基于协同过滤的模型进行关键帧推荐。但是在真实场景中,用户常常点击观看短视频却很少会其中的某一帧进行做出收藏或点赞等行为。因此获取用户对关键帧的行为数据是十分困难的,在缺少细粒度的用户对关键帧行为数据的情况下,基于协同过滤的模型就失效了。
方法2基于内容的关键帧推荐方法:提出的KFR模型,该模型对用户在关键帧上的字幕信息进行情感分析,从而判断用户对这一帧是否喜欢作为后续的训练数据及评判标准。KFR模型基于关键帧的视觉特征以及字幕文本信息进行建模,得到统一的个性化关键帧推荐框架。KFR模型利用了关键帧的视觉信息以及用户在关键帧上的字幕信息进行建模,进行关键帧推荐。短视频记录和分享用户的生活,一般几秒到几分钟不等。用户像浏览新闻一样快速的浏览短视频,因此并不会在观看短视频的时候发送弹幕消息。在这种场景下,很难获得用户对关键帧的文本信息,因此KFR模型也难以工作。
针对现有技术中,在缺少用户对关键帧行为数据的情况下,或者缺少用户对关键帧的文本信息的情况下,无法实现根据用户的不同需求在视频中的选取对应的关键帧的进行推送的问题。目前尚没有有效的解决方案。
发明内容
本发明实施例提供了一种图片传输方法及装置,以至少解决相关技术中在缺少用户对关键帧行为数据的情况下,或者缺少用户对关键帧的文本信息的情况下,无法实现根据用户的不同需求在视频中选取对应的关键帧的进行推送的问题。
根据本发明的一个实施例,提供了一种图片传输方法,包括:获取第一视频中的关键帧组成的目标关键帧集合;根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,所述目标视觉参数包括:所述一组帐号中每个帐号的第m个视觉参数,以及,所述一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于所述第m个视觉参数和所述第n个关键帧的视觉特征计算得到的所述预测关注度参数和所述实际关注度参数之间的差值满足预设条件,m和n均为自然数;根据所述目标视觉参数确定所述目标帐号对所述目标关键帧集合中的每个关键帧的关注度参数;将所述目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给所述目标帐号。
根据本发明的一个实施例,提供了一种图片传输装置,包括:获取单元,用于获取第一视频中的关键帧组成的目标关键帧集合;第一确定单元,用于根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,所述目标视觉参数包括:所述一组帐号中每个帐号的第m个视觉参数,以及,所述一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于所述第m个视觉参数和所述第n个关键帧的视觉特征计算得到的所述预测关注度参数和所述实际关注度参数之间的差值满足预设条件,m和n均为自然数;第二确定单元,用于根据所述目标视觉参数确定所述目标帐号对所述目标关键帧集合中的每个关键帧的关注度参数;传输单元,用于将所述目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给所述目标帐号。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项图片传输方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项图片传输方法实施例中的步骤。
通过本发明,获取第一视频中的关键帧组成的目标关键帧集合;根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数;根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数;将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。即根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,进而避免了获取帐号对关键帧的行为特征数据以及账号对视频的文本信息,解决了相关技术中在缺少用户对关键帧行为数据的情况下,或者缺少用户对关键帧的文本信息的情况下,无法实现根据用户的不同需求在视频中选取对应的关键帧的进行推送的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的图片传输方法的硬件环境的示意图;
图2是根据本发明实施例的图片传输方法的流程图;
图3是根据本发明可选实施例模型的流程图;
图4a是根据本发明可选实施例的实验结果图(一);
图4b是根据本发明可选实施例的实验结果图(二);
图5是根据本发明实施例的图片传输装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的图片的传输方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种图片的传输的移动终端的硬件结构框图。如图1所示,移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的目标对象方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
图2是根据本发明实施例的一种图片的传输的流程图,如图2所示,该图片的传输流程包括如下步骤:
步骤S202,获取第一视频中的关键帧组成的目标关键帧集合。
其中,第一视频可以是任何形式的短视频,包括:电影、一集电视剧等。
步骤S204,根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数。
需要说明的是,一组帐号同时表示一组用户。实际关注度参数是根据一组帐号对一组视频的历史观看数据确定的。例如,存在用户A、B,视频包括视频1和视频2,则可以根据用户对视频的观看确定实际评分参数,即实际评分矩阵,当用户A观看了视频1记为1,没看的视频2记为0,则实际评分矩阵R为{1 0}。
其中,根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数可以包括:分别对于每个帐号的M个视觉参数与每个视频的N个视觉特征确定一个L(θ)',其中,L(θ)'的个数为M*N,对于M个视觉参数中的第x个视觉参数与N个视觉特征中的第y个视觉特征,通过如下公式确定
其中,Rai表示一组帐号中的帐号a对一组视频中的第i个视频的实际关注度参数,R'ai表示帐号a对第i个视频的预测关注度参数,σ(x)表示激活函数,λ表示正则项参数系数,θ表示待优化参数,θ中的待优化参数包括:表示帐号a的行为特征的第一协同参数Ua,表示第i个视频的行为特征参数的第二协同参数Vi,表示帐sss号a的视觉参数Wa以及表示第i个视频的视觉参数P;其中,在x=m以及y=n的情况下,L(θ)的取值最小。
需要说明的是,对于M个视觉参数中的第x个视觉参数与N个视觉特征中的第y个视觉特征,通过如下公式确定R'ai
其中,Ua表示第一协同参数,Vi表示第二协同参数,Wa表示帐号a的视觉参数,Xi表示第i个视频的视觉参数,βai表示帐号a的视觉偏好在选择第i个视频时所占的比重。
还需要说明的是,对于M个视觉参数中的第x个视觉参数与N个视觉特征中的第y个视觉特征,通过如下公式确定:
其中,set(i)表示第i个视频的关键帧集合,Fk表示第i个视频的关键帧集合中第k个关键帧的视觉特征,αik表示第k个关键帧的视觉特征在第i个视频的视觉特征中所占的比重,P表示第i个视频的视觉参数。
步骤S206,根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数。
步骤S208,将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。
其中,根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数可以包括:通过如下公式确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数:
其中,在将视频i推荐给帐号a时,G′k表示目标帐号对目标关键帧集合中的第k个关键帧的关注度参数,其中1≤k≤K,K为目标关键帧集合中的关键帧的个数,表示目标关键帧集合中的每个关键帧的特征参数,其中,由一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的关键帧的第n个视觉特征确定。
通过上述步骤,获取第一视频中的关键帧组成的目标关键帧集合;根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数;根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数;将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。即根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,进而避免了获取帐号对关键帧的行为特征数据以及账号对视频的文本信息,解决了相关技术中在缺少用户对关键帧行为数据的情况下,或者缺少用户对关键帧的文本信息的情况下,无法实现根据用户的不同需求在视频中选取对应的关键帧的进行推送的问题。
可选地,上述步骤的执行主体可以为服务器、终端等,但不限于此。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
结合上述实施例,在本实施例中还提供了一种可选实施例,该可选实施例是一种结合用户兴趣与视频内容的短视频个性化封面推荐方法(相当于图片传输方法)。
该优选实施例,使用了细粒度的用户对短视频的观看记录以及丰富的短视频视觉特征,从行为和视觉两个角度来建模用户和产品(短视频)之间的交互关系。核心思想是:将用户和产品的特征分解到两个空间中:协同维度空间和视觉维度空间。协同维度空间描述了用户以及产品的行为特征,视觉维度空间描述了用户的视觉偏好以及产品的视觉信息。我们认为用户对产品的选择是由用户和产品的协同维度矩阵和视觉维度矩阵共同决定的,通过大量训练数据的拟合,我们可以得到最优的用户视觉维度矩阵。该矩阵可以表示出用户的视觉偏好,并由此可以预测出用户对关键帧的兴趣,进行个性化的关键帧推荐。
图3展示了该可选实施例模型的流程图。其中,该可选实施例中的流程包括:数据预处理、模型训练、关键帧推荐。其中,具体实施步骤如下:
步骤1、数据处理:
步骤1.1、根据用户的短视频历史观看记录构造用户-产品(短视频)实际评分矩阵R(相当于一组帐号对一组视频的实际关注度参数);
步骤1.2、根据短视频内容和文本描述对短视频抽取关键帧;
步骤1.3、提取关键帧视觉特征(人脸、内容、风格等),得到关键帧视觉特征矩阵F;
需要说明的是,关键帧视觉特征矩阵F的获取可以是:用户在社交平台会分享和点赞一些图片,对这些图片进行视觉特征提取。
步骤2、模型训练:
步骤2.1、初始化用户协同维度矩阵U、用户视觉维度矩阵W、产品协同维度矩阵V、产品视觉降维矩阵P;
步骤2.2、根据步骤1.3提取的关键帧视觉特征F以及产品视觉降维矩阵P,通过公式(1)可以计算出产品i的视觉维度向量Xi,从而可以得到所有产品的视觉维度矩阵X:
其中,Fk表示第k个关键帧的视觉特征,set(i)表示产品i的所有关键帧的集合,αik表示第k个关键帧的视觉特征在产品i的视觉特征中所占的比重;
步骤2.3、输入用户的协同维度矩阵U、视觉维度矩阵W和产品的协同维度矩阵V、视觉维度矩阵X,根据公式(2)可以计算用户a对产品i的预测评分R′ai,(1≤a≤M,1≤i≤N),从而可以得到用户对产品的预测评分矩阵(相当于一组帐号对一组视频的预测关注度参数):
其中,参数βai表示视觉偏好在用户a选择电影i时所占的比重;
步骤2.4、根据预测评分矩阵R’和实际评分矩阵R构造如公式(3)所示的损失函数L(θ),对损失函数L(θ)进行优化求解使得L(θ)达到最小,可以得到最优参数θ:
其中,θ是待优化的参数(U、V、W、P),σ(x)是激活函数,λ是正则项参数系数。
步骤3、关键帧推荐:
步骤3.1、通过步骤2学习到的最优参数θ可以得到用户视觉维度矩阵W和产品(视频)的视觉降维矩阵P,输入步骤1得到的关键帧视觉特征F,如公式(4)所示可以计算出用户a对关键帧k的预测评分G′ak,(1≤a≤M,1≤k≤K),从而可以得到用户对关键帧的预测评分矩阵
步骤3.2、在推荐电影i给用户a时,确定电影i的所有关键帧集合set(i),由步骤3.1计算的关键帧预测评分矩阵G'得到用户a对关键帧set(i)的预测评分矩阵G′aset(i),选择预测评分最高的关键帧推荐给用户a,完成个性化的关键帧推荐。
为了验证该优先实施的有效性,爬取了来自豆瓣的数据集,包括:16166个用户对12811部电影的观看记录,12811部电影共140916张海报和剧照,以及用户对这些海报和剧照的点赞记录。在实验中,选取这些电影作为短视频,电影的海报和剧照作为关键帧,因为用户对海报和剧照有点赞数据可以验证我们推荐的关键帧是否有效。
本可选实施例采用Hit Ratio(HR)和Normalized Discounted Cumulative Gain(NDCG)作为评价标准。针对关键帧推荐任务进行了多个模型实验对比:比较了RND、CDL、VBPR(JIFR)以及模型JIFR在豆瓣数据集上的效果。具体地,根据实验结果可得出如图4a、图4b所示,实验结果显示在关键帧推荐任务上本可选实施例提出的方法在HR和NDCG上都优于其他方法,从而证明该可选实施例的有效性。
上述可选实施例,在缺少用户对于关键帧行为数据的时候,结合用户兴趣和关键帧的视觉特征来进行个性化关键帧推荐。即通过对用户对短视频的行为数据和短视频视觉特征建模来得到用户普适的视觉偏好,从而实现用户个性化关键帧推荐。因此更准确的用户视觉偏好有助于实现更精准的个性化关键帧推荐。
用户在微信、QQ、微博等社交平台会上传图片,并可能对其好友上传的图片进行点赞。这些行为一定程度上反应了用户的视觉偏好。可以利用用户上传和点赞的图片来建模用户的视觉维度矩阵W(步骤1.4中)。具体来说就是,把用户上传的图片和点赞的图片作为正样本图片,选择用户没有点赞的图片作为负样本图片,然后对全部图片提取视觉特征F,建模使得用户对正样本图片的预测评分大于负样本图片的预测评分,结合步骤2.4可以得到新的损失函数L(θ)如公式(5)所示:
对损失函数L(θ)进行优化求解使得L(θ)达到最小,可以得到最优参数θ,根据步骤3完成个性化关键帧推荐。通过细粒度的用户对图片行为数据的嵌入,用户的视觉偏好被更好的表示出来,可以一定程度上提高个性化关键帧推荐精度。
实施例3
在本实施例中还提供了一种图片传输装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的图片传输装置的结构框图,如图5所示,该装置包括:获取单元51、第一确定单元53、第二确定单元55以及传输单元57。具体描述如下。
获取单元51,用于获取第一视频中的关键帧组成的目标关键帧集合。
第一确定单元53,用于根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数。
第二确定单元55,用于根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数,
传输单元57,用于将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。
通过上述装置,获取单元51获取第一视频中的关键帧组成的目标关键帧集合;第一确定单元53根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数;第二确定单元55根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数;传输单元57将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。解决了相关技术中在缺少用户对关键帧行为数据的情况下,或者缺少用户对关键帧的文本信息的情况下,无法实现根据用户的不同需求在视频中选取对应的关键帧的进行推送的问题。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例4
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取第一视频中的关键帧组成的目标关键帧集合;
S2根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数;
S3,根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数;
S4,将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。
可选地,存储介质还被设置为存储用于执行以下步骤的计算机程序:
S1,获取第一视频中的关键帧组成的目标关键帧集合;
S2根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数;
S3,根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数;
S4,将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取第一视频中的关键帧组成的目标关键帧集合;
S2根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,目标视觉参数包括:一组帐号中每个帐号的第m个视觉参数,以及,一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于第m个视觉参数和第n个关键帧的视觉特征计算得到的预测关注度参数和实际关注度参数之间的差值满足预设条件,m和n均为自然数;
S3,根据目标视觉参数确定目标帐号对目标关键帧集合中的每个关键帧的关注度参数;
S4,将目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给目标帐号。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图片传输方法,其特征在于,包括:
获取第一视频中的关键帧组成的目标关键帧集合;
根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,所述目标视觉参数包括:所述一组帐号中每个帐号的第m个视觉参数,以及,所述一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于所述第m个视觉参数和所述第n个关键帧的视觉特征计算得到的所述预测关注度参数和所述实际关注度参数之间的差值满足预设条件,m和n均为自然数;
根据所述目标视觉参数确定所述目标帐号对所述目标关键帧集合中的每个关键帧的关注度参数;
将所述目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给所述目标帐号。
2.根据权利要求1所述的方法,其特征在于,根据所述一组帐号对所述一组视频的所述实际关注度参数和所述预测关注度参数确定所述目标视觉参数包括:
分别对于所述每个帐号的M个视觉参数与所述每个视频的N个视觉特征确定一个L(θ)',其中,L(θ)'的个数为M*N,对于所述M个视觉参数中的第x个视觉参数与所述N个视觉特征中的第y个视觉特征,通过如下公式确定L(θ)'xy
其中,Rai表示所述一组帐号中的帐号a对所述一组视频中的第i个视频的实际关注度参数,R'ai表示所述帐号a对所述第i个视频的预测关注度参数,σ(x)表示激活函数,λ表示正则项参数系数,θ表示待优化参数,所述θ中的待优化参数包括:表示所述帐号a的行为特征的第一协同参数Ua,表示所述第i个视频的行为特征参数的第二协同参数Vi,表示所述帐号a的视觉参数Wa以及表示所述第i个视频的视觉参数P;
其中,在x=m以及y=n的情况下,L(θ)的取值最小。
3.根据权利要求2所述的方法,其特征在于,对于所述M个视觉参数中的第x个视觉参数与所述N个视觉特征中的第y个视觉特征,通过如下公式确定R'ai
其中,Ua表示所述第一协同参数,Vi表示所述第二协同参数,Wa表示所述帐号a的视觉参数,Xi表示所述第i个视频的视觉参数,βai表示所述帐号a的视觉偏好在选择第i个视频时所占的比重。
4.根据权利要求3所述的方法,对于所述M个视觉参数中的第x个视觉参数与所述N个视觉特征中的第y个视觉特征,通过如下公式确定:
其中,set(i)表示所述第i个视频的关键帧集合,Fk表示所述第i个视频的关键帧集合中第k个关键帧的视觉特征,αik表示第k个关键帧的视觉特征在所述第i个视频的视觉特征中所占的比重,P表示所述第i个视频的视觉参数。
5.根据权利要求1所述的方法,其特征在于,根据所述目标视觉参数确定所述目标帐号对所述目标关键帧集合中的每个关键帧的关注度参数包括:通过如下公式确定所述目标帐号对所述目标关键帧集合中的每个关键帧的关注度参数:
其中,在将所述视频i推荐给所述帐号a时,G'k表示所述目标帐号对所述目标关键帧集合中的第k个关键帧的关注度参数,其中1≤k≤K,K为所述目标关键帧集合中的关键帧的个数,Fk T表示所述目标关键帧集合中的每个关键帧的特征参数,其中,所述Fk T由所述一组帐号中每个帐号的第m个视觉参数,以及,所述一组视频中每个视频的关键帧集合中的关键帧的第n个视觉特征确定。
6.一种图片传输装置,其特征在于,包括:
获取单元,用于获取第一视频中的关键帧组成的目标关键帧集合;
第一确定单元,用于根据一组帐号对一组视频的实际关注度参数和预测关注度参数确定目标视觉参数,其中,所述目标视觉参数包括:所述一组帐号中每个帐号的第m个视觉参数,以及,所述一组视频中每个视频的关键帧集合中的第n个关键帧的视觉特征,基于所述第m个视觉参数和所述第n个关键帧的视觉特征计算得到的所述预测关注度参数和所述实际关注度参数之间的差值满足预设条件,m和n均为自然数;
第二确定单元,用于根据所述目标视觉参数确定所述目标帐号对所述目标关键帧集合中的每个关键帧的关注度参数;
传输单元,用于将所述目标关键帧集合中关注度参数大于预定阈值的目标关键帧传输给所述目标帐号。
7.根据权利要求6所述的装置,其特征在于,所述第一确单元包括:
第一确定模块,用于分别对于所述每个帐号的M个视觉参数与所述每个视频的N个视觉特征确定一个L(θ)',其中,L(θ)'的个数为M*N,对于所述M个视觉参数中的第x个视觉参数与所述N个视觉特征中的第y个视觉特征,通过如下公式确定L(θ)'xy
其中,Rai表示所述一组帐号中的帐号a对所述一组视频中的第i个视频的实际关注度参数,R'ai表示所述帐号a对所述第i个视频的预测关注度参数,σ(x)表示激活函数,λ表示正则项参数系数,θ表示待优化参数,所述θ中的待优化参数包括:表示所述帐号a的行为特征的第一协同参数Ua,表示所述第i个视频的行为特征参数的第二协同参数Vi,表示所述帐号a的视觉参数Wa以及表示所述第i个视频的视觉参数P;
其中,在x=m以及y=n的情况下,L(θ)的取值最小。
8.根据权利要求7所述的装置,其特征在于,对于所述M个视觉参数中的第x个视觉参数与所述N个视觉特征中的第y个视觉特征,通过如下公式确定R'ai
其中,Ua表示所述第一协同参数,Vi表示所述第二协同参数,Wa表示所述帐号a的视觉参数,Xi表示所述第i个视频的视觉参数,βai表示所述帐号a的视觉偏好在选择第i个视频时所占的比重。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN201910725985.7A 2019-08-07 2019-08-07 图片传输方法及装置 Active CN110381339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910725985.7A CN110381339B (zh) 2019-08-07 2019-08-07 图片传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910725985.7A CN110381339B (zh) 2019-08-07 2019-08-07 图片传输方法及装置

Publications (2)

Publication Number Publication Date
CN110381339A true CN110381339A (zh) 2019-10-25
CN110381339B CN110381339B (zh) 2021-08-27

Family

ID=68258322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910725985.7A Active CN110381339B (zh) 2019-08-07 2019-08-07 图片传输方法及装置

Country Status (1)

Country Link
CN (1) CN110381339B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070962A1 (en) * 2014-09-08 2016-03-10 Google Inc. Selecting and Presenting Representative Frames for Video Previews
CN106708940A (zh) * 2016-11-11 2017-05-24 百度在线网络技术(北京)有限公司 用于处理图片的方法和装置
CN107220585A (zh) * 2017-03-31 2017-09-29 南京邮电大学 一种基于多特征融合镜头聚类的视频关键帧提取方法
KR20180074977A (ko) * 2016-12-26 2018-07-04 연세대학교 산학협력단 영상 간의 특질 변환 시스템 및 그 방법
CN108650524A (zh) * 2018-05-23 2018-10-12 腾讯科技(深圳)有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN108804452A (zh) * 2017-04-28 2018-11-13 合信息技术(北京)有限公司 多媒体资源封面展示方法及装置
CN109063129A (zh) * 2018-08-02 2018-12-21 四川长虹电器股份有限公司 一种视频海报的推荐方法
CN109587568A (zh) * 2018-11-01 2019-04-05 北京奇艺世纪科技有限公司 视频播放方法、装置、计算机可读存储介质
CN109729426A (zh) * 2017-10-27 2019-05-07 优酷网络技术(北京)有限公司 一种视频封面图像的生成方法及装置
CN109996091A (zh) * 2019-03-28 2019-07-09 苏州八叉树智能科技有限公司 生成视频封面的方法、装置、电子设备和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160070962A1 (en) * 2014-09-08 2016-03-10 Google Inc. Selecting and Presenting Representative Frames for Video Previews
CN106708940A (zh) * 2016-11-11 2017-05-24 百度在线网络技术(北京)有限公司 用于处理图片的方法和装置
KR20180074977A (ko) * 2016-12-26 2018-07-04 연세대학교 산학협력단 영상 간의 특질 변환 시스템 및 그 방법
CN107220585A (zh) * 2017-03-31 2017-09-29 南京邮电大学 一种基于多特征融合镜头聚类的视频关键帧提取方法
CN108804452A (zh) * 2017-04-28 2018-11-13 合信息技术(北京)有限公司 多媒体资源封面展示方法及装置
CN109729426A (zh) * 2017-10-27 2019-05-07 优酷网络技术(北京)有限公司 一种视频封面图像的生成方法及装置
CN108650524A (zh) * 2018-05-23 2018-10-12 腾讯科技(深圳)有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN109063129A (zh) * 2018-08-02 2018-12-21 四川长虹电器股份有限公司 一种视频海报的推荐方法
CN109587568A (zh) * 2018-11-01 2019-04-05 北京奇艺世纪科技有限公司 视频播放方法、装置、计算机可读存储介质
CN109996091A (zh) * 2019-03-28 2019-07-09 苏州八叉树智能科技有限公司 生成视频封面的方法、装置、电子设备和计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956219A (zh) * 2019-12-09 2020-04-03 北京迈格威科技有限公司 视频数据的处理方法、装置和电子系统
CN110956219B (zh) * 2019-12-09 2023-11-14 爱芯元智半导体(宁波)有限公司 视频数据的处理方法、装置和电子系统

Also Published As

Publication number Publication date
CN110381339B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN106339507B (zh) 流媒体消息推送方法和装置
CN106326391B (zh) 多媒体资源推荐方法及装置
CN110598016A (zh) 一种多媒体信息推荐的方法、装置、设备和介质
CN107087235A (zh) 媒体内容推荐方法、服务器及客户端
CN108156522A (zh) 主页内容推送方法、装置及计算机可读存储介质
CN109903103B (zh) 一种推荐物品的方法和装置
CN103678394A (zh) 基于肖像匹配度的婚恋交友推荐方法和系统
CN109086742A (zh) 场景识别方法、场景识别装置及移动终端
CN113742567B (zh) 一种多媒体资源的推荐方法、装置、电子设备及存储介质
CN108595493A (zh) 媒体内容的推送方法和装置、存储介质、电子装置
CN112100221B (zh) 一种资讯推荐方法、装置、推荐服务器及存储介质
WO2017210644A1 (en) System and method for a platform to identify and connect like-minded individuals based on interaction
CN106156351B (zh) 多媒体资源推荐信息生成方法及装置
CN106815284A (zh) 新闻视频的推荐方法及推荐装置
CN115455280A (zh) 一种推荐列表确定方法和服务器
CN111949886A (zh) 一种用于信息推荐的样本数据生成方法和相关装置
CN110502959A (zh) 性别判断方法、装置、存储介质及电子设备
CN115514995A (zh) 一种直播间推荐信息的展示方法、装置以及设备
CN112269943B (zh) 一种信息推荐系统及方法
Hehman et al. Warmth and competence: A content analysis of photographs depicting American presidents.
CN114610998A (zh) 一种元宇宙虚拟人物行为个性化信息推荐方法及系统
CN110381339A (zh) 图片传输方法及装置
CN105190619B (zh) 终端装置以及装置的程序
CN110162689A (zh) 信息推送方法、装置、计算机设备和存储介质
CN106815285A (zh) 基于视频网站的视频推荐的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant