CN113497947A - 一种视频推荐信息的输出方法、装置及系统 - Google Patents

一种视频推荐信息的输出方法、装置及系统 Download PDF

Info

Publication number
CN113497947A
CN113497947A CN202010205470.7A CN202010205470A CN113497947A CN 113497947 A CN113497947 A CN 113497947A CN 202010205470 A CN202010205470 A CN 202010205470A CN 113497947 A CN113497947 A CN 113497947A
Authority
CN
China
Prior art keywords
clothing
video
image
feature
recommendation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010205470.7A
Other languages
English (en)
Other versions
CN113497947B (zh
Inventor
司季雨
张广乾
杨瑞轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202010205470.7A priority Critical patent/CN113497947B/zh
Publication of CN113497947A publication Critical patent/CN113497947A/zh
Application granted granted Critical
Publication of CN113497947B publication Critical patent/CN113497947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种视频推荐信息的输出方法、装置及系统,涉及视频在线推广领域,该方法包括:获取直播平台中直播视频包括的视频帧;根据预设的服装识别模型对视频帧进行特征识别,得到第一服装特征;在服装特征集合中匹配与第一服装特征相对应的第二服装特征;服装特征集合包括直播平台中所有其它视频对应的服装特征;输出与第二服装特征相对应的视频推荐信息。可见,实施这种实施方式,能够为用户推荐同类服饰的播放视频,以使用户可以自由选择;另外,该方法还能够为其他视频进行引流操作,便于推荐视频的推广。

Description

一种视频推荐信息的输出方法、装置及系统
技术领域
本申请涉及视频在线推广领域,具体而言,涉及一种视频推荐信息的输出方法、装置及系统。
背景技术
目前,随着直播行业的迅速发展,越来越多的直播系统、直播软件以及小视频软件出现在群众的眼前,以供人们挑选与观看。然而,目前的直播系统通常只会根据用户的选择来播放相应视频,从而实现一种被动式的视频播放方式。然而,在实践中发现,被动式视频播放无法为用户提供额外的选择空间,因此,如何提高在视频播放的过程中为用户提供足够的选择空间和并提高用户的观看体验成为了当前直播行业内急需解决的问题之一。
发明内容
本申请实施例的目的在于提供一种视频推荐信息的输出方法、装置及系统,能够根据视频中的服饰信息进行同类视频的推荐,以使用户可以自由选择,为视频播放提供额外的选择空间;同时,还能够为其他视频进行引流操作,便于推荐视频的推广。
本申请实施例第一方面提供了一种视频推荐信息的输出方法,所述方法包括:
获取直播平台中直播视频包括的视频帧;
根据预设的服装识别模型对所述视频帧进行特征识别,得到第一服装特征;
在服装特征集合中匹配与所述第一服装特征相对应的第二服装特征;所述服装特征集合包括所述直播平台中所有其它视频对应的服装特征;
输出与所述第二服装特征相对应的视频推荐信息。
在上述实现过程中,该方法可以优先在直播视频中获取视频帧,并根据预设的人工智能模型对该视频帧进行服装特征识别,得到当前直播视频中主播身着服装的服装特征;并在在获得该服装特征之后,在同时段其他直播视频中匹配与该服装特征相同或相似的服装特征,并在匹配完成之后,获取匹配得到的服装特征的直播视频,并通过输出该直播视频的视频推荐信息以完成对该直播视频的推荐。可见,实施这种实施方式,能够简单、快速、高精确度地获取到同时段相同或相似服装类型的直播视频,从而实现智能化地视频推荐,进而能够为其他已有视频或在播视频进行引流操作,有利于视频的推广。
进一步地,所述根据预设的服装识别模型对所述视频帧进行特征识别,得到第一服装特征的步骤包括:
获取所述视频帧包括的人物图像;
对所述人物图像进行处理,得到所述人物图像包括的主播图像;
提取所述主播图像中包括的服装图像;
根据预设的服装识别模型对所述服装图像进行特征识别,得到第一服装特征。
在上述实现过程中,该方法可以在视频帧中提取服装特征的过程中可以优先获取当前正在播放的直播视频中包括的人物图像,并在获取到该人物图像之后,对该人物图像进行主播图像的提取处理,得到主播图像;并在主播图像被获取到之后,在主播图像中提取主播的服装图像;然后再通过服装识别模型对该服装图像进行识别,得到主播的服装特征信息。可见,实施这种实施方式,能够对视频帧进行有效的服装图像提取,从而使得服装特征提取更具有针对性,进而提高服装特征的识别效果,以便于提高视频推荐的准确性和效果。
进一步地,所述对所述人物图像进行处理,得到所述人物图像包括的主播图像的步骤包括:
对所述人物图像进行关节点回归处理,得到人物关节点图像;
根据所述人物关节点图像进行处理,得到所述人物图像包括的主播图像。
在上述实现过程中,该方法在获取主播图像的过程中,可以优先对对上述人物图像进行关节点回归处理,得到人物图像中包括的所有人物关节点的复合图像;以使该方法可以进一步根据该复合图像来筛选出主播的关节点和非主播的关节点,并在筛选完成之后过滤非主播关节点,得到主播的关节点信息,从而使得该方法可以根据该保留的主播的关节点信息在人物图像中滤出主播图像。可见,实施这种实施方式,能够根据关节点回归处理来进行人物图像中非主播的人物排除,从而得到准确、有效的主播图像,以便于主播图像可以被用于进行服装提取,保证了提取出的服装特征是准确有效的,进而保证了视频推荐是准确有效的。
进一步地,所述提取所述主播图像中包括的服装图像的步骤包括:
检测所述主播图像中包括的人体关键点信息;
根据所述人体关键点信息确定所述主播图像中包括的头颈部图像;
在所述主播图像中置黑所述头颈部图像,得到服装图像。
在上述实现过程中,该方法在获取服装图像的过程中,可以优先检测主播图像中包括的人体关键点信息,其中,该人体关键点信息包括脸部关键点信息、头部关键点信息、身体关键点信息等等,并基于此在人体关键点信息中确定出头颈关键点信息;在确定出头颈关键点信息之后,根据头颈关键点信息生成包括全部头颈关键点信息的头颈部图像;以使该方法能够在所播图像中置黑该头颈部图像,得到纯粹的服装图像。可见,实施这种实施方式,能够准确获取服装图像,以使人工智能模型具有更高的针对性与适应性,从而能够得到更准确的服装特征,便于后续的特征匹配,有利于提高视频推荐的准确度。
进一步地,所述输出与所述第二服装特征相对应的视频推荐信息的步骤之后,所述方法还包括:
添加所述第一服装特征至所述服装特征集合中。
在上述实现过程中,该方法可以在获取到第一服装特征之后,将第一服装特征添加至服装特征集合中,以使该服装特征集合可以被实时更新,从而增加了视频推荐信息获取的实时性,提高了视频推荐信息的输出准确性。
进一步地,所述服装识别模型包括mobilenet网络。
在上述实现过程中,该服装识别模型是人工智能模型,而该人工智能模型又是基于mobilenet网络的,因此,该方法可应用于轻量级引用环境中,也适用于在线视频播放环境中。可见,实施这种实施方式,能够通过mobilenet网络实现轻量级地、高准确性的视频推荐,从而提高视频推荐的效率和效果,进而便于直播平台的分流操作。
进一步地,所述方法还包括:
在服务器中获取与所述直播视频同时播放的多个在线播放视频;
根据预设的服装识别模型对所述多个在线播放视频进行服装特征提取,得到服装特征集合。
在上述实现过程中,该方法还可以优先在服务器中获取与直播视频同时播放的的在线播放视频;然后再根据预设的服装识别模型对所有在线播放视频进行服装特征提取,得到服装特征集合,从而实现一种基于直播视频的实时匹配方法,进而使得该方法能够应用于直播视频的实时推荐。
进一步地,所述在服装特征集合中,获取与所述第一服装特征相匹配的第二服装特征的步骤包括:
在服装特征集合中,计算所述第一服装特征与所述服装特征集合包括的服装特征之间的欧氏距离集合;
确定所述欧氏距离集合中最小欧氏距离对应的服装特征为第二服装特征。
在上述实现过程中,该方法在进行第二服装特征匹配的过程中,可以在服装特征集合中,计算与第一服装特征欧氏距离最小的一个服装特征,并确定该服装特征为第二服装特征。可见,实施这种实施方式,能够根据将第一服装特征进行特征划分,得到多个子特征,再以多个子特征为依据,在服装特征集合中的任一服装特征中一一匹配相应的子特征,并以每个子特征的距离为依据,计算两个服装特征之间的欧氏距离,在全部计算完毕之时,选取欧氏距离最小的一个服装特征为第二服装特征,从而能够保证第二服装特征是服装特征集合中与第一服装特征最相近的服装特征,进而保证视频推荐是基于相似服装或相同服装的,实现在线对相似服装主播的播放视频进行推流的效果。
进一步地,所述在服装特征集合中,计算所述第一服装特征与所述服装特征集合包括的服装特征之间的欧氏距离集合的步骤包括:
获取所述第一服装特征的第一服装类别标签;
在所述服装特征集合中提取与所述第一服装类别标签相对应的多个服装特征;
计算所述第一服装特征与所述多个服装特征之间的欧式距离,得到欧氏距离集合。
在上述实现过程中,该方法可以优先获取第一服装特征的第一服装类别标签,并在服装特征集合中优先获取同类别的服装特征,以使服装特征的匹配范围缩小,从而提高服装特征匹配的精度,同时还能够提高服装特征匹配的效率;与此同时,该方法在获取到多个服装特征时,还可以进一步地对服装特征之间的欧氏距离进行计算,得到欧式距离集合,以使该方法可以得知所有服装特征之间的接近程度,从而有利于服装特征的推荐。可见,实施这种实施方式,能够提高服装特征匹配的效率与精度,还能够获取更加准确且小数量的欧式距离,从而降低第二服装特征获取的难度,提高整体的视频推荐效果。
进一步地,所述获取所述第一服装特征的第一服装类别标签的步骤包括:
根据预设的服装识别模型对所述视频帧进行识别分类,得到第一服装类别标签;其中,所述第一服装类别标签与所述第一服装特征相对应。
在上述实现过程中,该方法可以根据服装识别模型个优先获取去视频帧中包括的服装类别标签,以使该服装类别可以参与到后续的第二服装特征的获取过程中,用于提高第二视频特征获取的精准度和效率,从而能够有效提高视频推荐的效果。
进一步地,所述方法还包括:输出所述第一服装类别标签。
在上述实现过程中,该方法可以根据服装识别模型对服装图像进行识别分类,得到服装类别,并在推荐与第二服装特征相对应的推荐视频时,将服装类别作为推荐参数输出,以使用户可以直观得知推荐内容的类型。可见,实施这种实施方式,能够额外输出服装类型来进行推荐辅助,从而提高视频推荐的智能化,便于用户的了解与观看。
本申请实施例第二方面提供了一种视频推荐信息的输出装置,所述视频推荐信息的输出装置包括:
获取单元,用于获取直播平台中直播视频包括的视频帧;
识别单元,用于根据预设的服装识别模型对所述视频帧进行特征识别,得到第一服装特征;
匹配单元,用于在服装特征集合中匹配与所述第一服装特征相对应的第二服装特征;所述服装特征集合包括所述直播平台中所有其它视频对应的服装特征;
输出单元,用于输出与所述第二服装特征相对应的视频推荐信息。
在上述实现过程中,该视频推荐信息的输出装置可以通过获取单元来获取直播平台中直播视频包括的视频帧;通过识别单元来根据预设的服装识别模型对所述视频帧进行特征识别,得到第一服装特征;通过匹配单元在服装特征集合中匹配与所述第一服装特征相对应的第二服装特征;所述服装特征集合包括所述直播平台中所有其它视频对应的服装特征;再通过输出单元来输出与所述第二服装特征相对应的视频推荐信息。可见,实施这种实施方式,该视频推荐信息的输出装置能够通过多个单元的协同工作,快速有效地实现对视频推荐信息的输出,从而有利于提高视频推荐信息的输出效率;另外,使用该种视频推荐信息的输出装置,能够以直播视频中的服装为依据、以人工智能模型为处理工具、以服装特征集合作为匹配数据源来完成视频推荐信息的输出过程,从而使得该输出装置能够简单、快速、高精确度地获取到同时段相同或相似服装类型的播放视频,进而能够更智能化地进行视频推荐信息的输出,并为其他视频进行引流操作,有利于视频的推广。
进一步地,所述服装识别模型包括mobilenet网络。
在上述实现过程中,该服装识别模型是人工智能模型,而该人工智能模型又是基于mobilenet网络的,因此,该方法可应用于轻量级引用环境中,也适用于在线视频播放的环境中。可见,实施这种实施方式,能够通过mobilenet网络实现轻量级地、高准确性的视频推荐,从而提高视频推荐的效率和效果,进而便于直播平台的分流操作。
本申请实施例第三方面提供了一种视频推荐系统,所述视频推荐系统用于在播放直播视频时,执行本申请实施例第一方面中任一项所述的视频推荐信息的输出方法。
本申请实施例第四方面提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的视频推荐信息的输出方法。
本申请实施例第五方面提供了一种计算机可读存储介质,其存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行本申请实施例第一方面中任一项所述的视频推荐信息的输出方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种视频推荐信息的输出方法的流程示意图;
图2为本申请实施例提供的一种视频推荐信息的输出方法的流程示意图;
图3为本申请实施例提供的另一种视频推荐信息的输出方法的流程示意图;
图4为本申请实施例提供的另一种视频推荐信息的输出方法的流程示意图;
图5为本申请实施例提供的一种举例示意图;
图6为本申请实施例提供的另一种视频推荐信息的输出方法的流程示意图;
图7为本申请实施例提供的另一种视频推荐的举例示意图;
图8为本申请实施例提供的一种视频推荐信息的输出装置的结构示意图;
图9为本申请实施例提供的另一种视频推荐信息的输出装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如图1所示,本申请实施例提供了一种用于执行视频推荐信息的输出方法的电子设备10,其中,该电子设备10可以包括存储器12、处理器14和视频推荐信息输出系统100;同时,该电子设备10可以与直播服务器之间通信连接。
在电子设备10中,存储器12和处理器14之间直接或间接地电性连接,以实现数据的传输或交互;例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。而视频推荐信息输出系统100包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块,可以是一种网页客户端。另外,处理器14用于执行存储器12中存储的可执行的计算机程序,例如,视频推荐信息输出系统100所包括的软件功能模块及计算机程序等,以实现本申请实施例提供的视频播放控制方法。
可选地,存储器12可以是但不限于随机存取存储器(Random Access Memory,RAM)、只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-OnlyMemory,PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
并且,处理器14可以是一种通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图1所示的视频播放系统架构仅为示意,其中的电子设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置,例如,还可以包括用于与其它设备(如直播服务器)进行信息交互的通信单元。
其中,电子设备10可以包括但不限于手机、平板电脑、电脑、直播服务器等具备数据处理能力的终端设备,并且,在一些示例中,电子设备10可以是一种直播设备,如观众用于观看视频的终端设备。
实施例1
请参看图2,图2为本申请实施例提供了一种视频推荐信息的输出方法的流程示意图。该方法的可以应用于用户正在观看直播视频的场景当中,并具体应用于用户在观看主播类直播视频的场景当中,便于用户根据主播服装进行相应的视频推荐。其中,该视频推荐信息的输出方法包括:
S101、获取直播平台中直播视频包括的视频帧。
本实施例中,直播平台用于表示具有大量直播视频的视频输出平台,其中该直播视频便是该直播平台中的一个。
在本实施例中,直播平台包括上述直播视频和与直播视频同时播放的在播视频,其中直播视频和在播视频本质相同。
本实施例中,直播视频用于表示用户当前正在观看的视频,此处对视频类型不做任何限定。
本实施例中,直播视频画面中可以包括一位主播,其中,该主播可以理解为当前播放视频的主角。
在本实施例中,服装图像即为上述主播所着服装的图像,对此本实施例中不做过多赘述。
本实施例中,视频帧用于表示直播视频中的某一帧图像。
在本实施例中,直播视频是一种由多帧图像组合而成的,因此,在直播视频中提取出的一个视频帧能够表示出当前直播视频的直播画面,并且方便进行后续的服装特征处理和相应的视频推荐信息的生成与输出。
在本实施例中,该过程可以理解为在直播视频中获取一帧直播图像,然后再在该直播图像上进行服装识别的过程;其中,该直播图像用于指代直播视频中的某一固定帧的图像。
S102、根据预设的服装识别模型对视频帧进行特征识别,得到第一服装特征。
本实施例中,服装识别模型是人工智能模型。
在本实施例中,服装识别模型可以为以mobilenet作为分类网络的人工智能模型。
在本实施例中,服装识别模型包括mobilenet网络。
在本实施例中,mobilenet这种轻量化模型为深度学习的应用提供了更好的使用基础。
在本实施例中,服装识别模型可以识别出视频帧对应的服装类别和服装特征。
举例来说,视频帧在经过服装识别模型的识别之后,用户可以得知该视频帧中存在古风服饰,其原因是该视频帧中具有大量的古风服饰特征(如汉服所具有的领、襟、衽、衿、裾、袖、袂、带等特征)。
本实施例中,第一服装特征是服装识别模型识别视频帧所得到的特征集合,其中,该特征集合仅对应该视频帧,且特征集合中具有大量的子特征。
举例来说,第一服装特征为汉服,那么其对应的大量子特征则为汉服所包括领、襟、衽、衿、裾、袖、袂、带等特征;可以理解的是,第一服装特征时基于上述大量的子特征综合得到的。
在本实施例中,服装识别模型会对视频帧进行识别,以使视频帧中包括的所有关于服装的特征都被提取得到,而此时,所有关于服装的特征便是上述的大量子特征,然而,在服装识别模型当中,该服装识别过程还没有完成,即该服装识别模型还需要将上述大量子特征输入至全连接层与分类器,以使该人工智能模型可以输出“某某时期某某样式的汉服”这一特征。
在本实施例中,上述服装识别模型还可以对上述视频帧包括的服装进行服装类型的分类,从而得到该服装属于什么类别的结果;其中,该类别包括汉服、唐装、现代装等。
在本实施例中,上述类别还可以是服装风格,对此本实施例中不多加赘述。
在本实施例中,服装类别可以作为参考信息进行推荐视频的辅助推荐。
在本实施例中,服装类别可以包括现代,性感,古风,清新,运动五类。
S103、在服装特征集合中匹配与第一服装特征相对应的第二服装特征;服装特征集合包括直播平台中所有其它视频对应的服装特征。
本实施例中,服装特征集合是一种服装特征数据库,只是该服装特征数据库是实时的,是应用于直播场景当中的实时数据库。
本实施例中,直播平台中包括两类视频,一类是直播视频,一类是在播视频;其中,直播视频为本申请实施例中所提取并处理的视频,即用户正在观看的视频,而在播视频是直播平台中与直播视频同时播放的其他视频,由此可知,直播视频与在播视频本质上是相同的,区别仅在于是否被当前用户所观看。其中,在播视频可以为多个,并对应上述的直播凭条中所有其他视频。
在本实施例中,服装特征集合中包括大量的服装特征,这些服装特征来源于直播平台中在播视频;其中,每一个在播视频对应一个特征集合。
本实施例中,第二服装特征是与第一服装特征最为接近的特征集合,可以理解的是,第一服装特征和第二服装特征所对应的两位主播穿着的服饰相似或相同。
S104、输出与第二服装特征相对应的视频推荐信息。
本实施例中,第二服装特征对应推荐视频。
在本实施例中,推荐视频为直播平台中正在播放的另一视频(即上述的在播视频)。
在本实施例中,视频推荐信息为上述推荐视频的视频预览图像或视频链接,对此本实施例中不作任何限定。
本实施例中,该视频推荐信息的输出方法的执行主体可以为计算机、服务器等计算装置,对此本实施例中不作任何限定。
在本实施例中,该视频推荐信息的输出方法的执行主体还可以为智能手机和平板等智能设备,对此本实施例中不作任何限定。
可见,实施图2所描述的视频推荐信息的输出方法,能够优先在直播视频中获取视频帧,并根据预设的人工智能模型对该视频帧进行服装特征识别,得到当前直播视频中主播身着服装的服装特征;并在在获得该服装特征之后,在同时段其他直播视频中匹配与该服装特征相同或相似的服装特征,并在匹配完成之后,获取匹配得到的服装特征的直播视频,并通过输出该直播视频的视频推荐信息以完成对该直播视频的推荐。可见,实施这种实施方式,能够简单、快速、高精确度地获取到同时段相同或相似服装类型的直播视频,从而实现智能化地视频推荐,进而能够为其他已有视频或在播视频进行引流操作,有利于视频的推广。
实施例2
请参看图3,图3为本申请实施例提供的另一种视频推荐信息的输出方法的流程示意图。本实施例2中所描述的视频推荐信息的输出方法是根据实施例1中描述视频推荐信息的输出方法进行改进得到的。其中,该视频推荐信息的输出方法包括:
S201、获取直播平台中直播视频包括的视频帧。
作为一种可选的实施方式,获取直播平台中直播视频包括的视频帧的步骤可以包括:
获取直播平台中直播视频包括视频片段;
根据预设帧率对该视频片段进行帧提取,得到多个片段帧;
获取多个片段帧中符合预设的清晰度条件的多个有效帧;
确定多个有效帧中的一个为视频帧。
实施这种实施方式,可以具体化视频帧的获取过程,从而提高视频帧的清晰程度,便于服装识别模型进行服装特征的识别,从而提高了视频推荐信息输出的精度。
本实施例中,视频片段可以通过录屏得到。
在本实施例中,清晰度条件为预设的用于判断图像是否足够清晰的条件,其中,该清晰度条件可以包括图像中的信噪比。
S202、获取视频帧包括的人物图像。
本实施例中,视频帧中包括众多子人物图像,而该众多子人物图像构成了一个完整的人物图像,其中,该人物图像是视频帧中的一部分;举例来收,该视频帧为某一主播正在指导舞蹈团体跳舞的视频帧,此时,该视频帧中包括大量子人物图像(包括主播图像和舞蹈人员图像),而主播只有上述的“某一主播”一个,由此可以得知,人物图像是包括上述所有子人物图像的完整图像。
S203、对人物图像进行处理,得到人物图像包括的主播图像。
本实施例中,人物图像包括多个子人物图像,其中一个子人物图像为主播图像。
本实施例中,该处理的过程可以为其余人物图像的滤除处理。
作为一种可选的实施方式,对人物图像进行处理,得到人物图像包括的主播图像的步骤可以包括:
提取人物图像包括的多个子人物图像;
判断子人物图像包括的人物是否为主播;
若是,则确定该子人物图像为主播图像。
实施这种实施方式,能够对人物图像进行简单、快速地过滤处理,以使主播图像可以被提取出来,有利于后续根据主播图像进行相应处理。
S204、提取主播图像中包括的服装图像。
本实施例中,主播图像包括头部图像和服装图像。
在本实施例中,服装图像可以为主播图像中主播头部以下的图像,也可以为主播图像中由服装轮廓划出的图像,对此本实施例中不作任何限定。
S205、根据预设的服装识别模型对服装图像进行特征识别,得到第一服装特征。
本实施例中,服装识别模型可以识别出服装图像的第一服装特征。
在本实施例中,第一服装特征是服装识别模型识别视频帧所得到的特征集合,其中,该特征集合仅对应该视频帧,且特征集合中具有大量的子特征。
举例来说,第一服装特征为汉服,那么其对应的大量子特征则为汉服所包括领、襟、衽、衿、裾、袖、袂、带等特征;可以理解的是,第一服装特征时基于上述大量的子特征综合得到的。
在本实施例中,服装识别模型会对视频帧进行识别,以使视频帧中包括的所有关于服装的特征都被提取得到,而此时,所有关于服装的特征便是上述的大量子特征,然而,在服装识别模型当中,该服装识别过程还没有完成,即该服装识别模型还需要将上述大量子特征输入至全连接层与分类器,以使该人工智能模型可以输出“某某时期某某样式的汉服”这一特征。
S206、在服装特征集合中匹配与第一服装特征相对应的第二服装特征;服装特征集合包括直播平台中所有其它视频对应的服装特征。
本实施例中,服装特征集合是一种服装特征数据库,只是该服装特征数据库是实时的,是应用于直播场景当中的实时数据库。
本实施例中,直播平台中包括两类视频,一类是直播视频,一类是在播视频;其中,直播视频为本申请实施例中所提取并处理的视频,即用户正在观看的视频,而在播视频是直播平台中与直播视频同时播放的其他视频,由此可知,直播视频与在播视频本质上是相同的,区别仅在于是否被当前用户所观看。其中,在播视频可以为多个,并对应上述的直播凭条中所有其他视频。
在本实施例中,服装特征集合中包括大量的服装特征,这些服装特征来源于直播平台中在播视频;其中,每一个在播视频对应一个特征集合。
本实施例中,第二服装特征是与第一服装特征最为接近的特征集合,可以理解的是,第一服装特征和第二服装特征所对应的两位主播穿着的服饰相似或相同。
S207、输出与第二服装特征相对应的视频推荐信息。
本实施例中,第二服装特征对应推荐视频。
在本实施例中,推荐视频为直播平台中正在播放的另一视频(即上述的在播视频)。
在本实施例中,视频推荐信息为上述推荐视频的视频预览图像或视频链接,对此本实施例中不作任何限定。
作为一种可选的实施方式,在输出与第二服装特征相对应的视频推荐信息之后,该方法还可以包括:
检测是否接收到与视频推荐信息相对应的点播指令;
若接收到上述点播指令,则播放视频推荐信息对应的推荐视频。
实施这种实施方式,能够在输出视频推荐信息之后根据用户的操作实现播放视频的切换,从而便于用户进行视频选择,使得用户可以自由选择是否对视频进行切换。
可见,实施图3描述的视频推荐信息的输出方法,能够在视频帧中提取服装特征的过程中可以优先获取当前正在播放的直播视频中包括的人物图像,并在获取到该人物图像之后,对该人物图像进行主播图像的提取处理,得到主播图像;并在主播图像被获取到之后,在主播图像中提取主播的服装图像;然后再通过服装识别模型对该服装图像进行识别,得到主播的服装特征信息。可见,实施这种实施方式,能够对视频帧进行有效的服装图像提取,从而使得服装特征提取更具有针对性,进而提高服装特征的识别效果,以便于提高视频推荐的准确性和效果。
实施例3
请参看图4,图4为本申请实施例提供的另一种视频推荐信息的输出方法的流程示意图。本实施例3中所描述的视频推荐信息的输出方法是根据实施例2中描述视频推荐信息的输出方法进行改进得到的。其中,该视频推荐信息的输出方法包括:
S301、获取直播平台中直播视频包括的视频帧。
S302、获取视频帧包括的人物图像。
本实施例中,步骤S301至S302与步骤S201至S202是相同步骤,因此,对于该步骤的解释说明将不进行赘述。
本实施例中,在提取人物图像的过程中,该方法可以采用Mobile Real-timeVideo Segmentation(实时视频切割)方法来进行人像分割,得到当前播放视频中包括的人物图像。
在本实施例中,Mobile Real-time Video Segmentation网络的输入是常规的RGB图片和priorMask。PriorMask是上一帧的推理结果,由于我们不需要前后帧关系,我们这里将priorMask置为0。
S303、对人物图像进行关节点回归处理,得到人物关节点图像。
请参阅图5,如图5所示,该当前播放视频的界面(人物图像)当中存在多个人物时,该方法可以获取所有人物的关节点信息,举例来说,就是在人物图像中获取每个人物的关节点信息,从而得到关节点信息图像。具体来说,就是在图5所示图像中每个人物身上添加关节点信息,例如X光光片附着在图5当中。
本实施例中,人物关节点图像是具有所有人物关节点的图像。
本实施例中,该过可以理解为对图像的所有出现的人进行回归,回归各个人的关节点的过程。
S304、根据人物关节点图像进行处理,得到人物图像包括的主播图像。
本实施例中,该方法可以根据预设算法对关节点图像进行过滤处理,得到人物图像中包括的主播图像。
在本实施例中,人物图像中所有关节点信息皆有不同的特征,根据关节点之间的连线长短或者关节点丰富程度皆可以确定出主播图像是人物图像中的哪一部分。
另一方面,在人物图像中主播图像的关节点被遮盖住之时,该方法可以将人物关节点进行回归,得到完整的关节点信息,从而确定出主播图像。
实施这种实施方式,可以对被遮挡的关节进行回归,从而有利于推断被遮挡的关节,获取完整的主播图像。
本实施例中,该过程可以理解为通过人像分割将主播提取出来的过程。
本实施例中,该过程具体可以为根据center map来去除掉对其他人的响应的过程。其中,center map,为一个高斯响应,因为cpm处理的是单人提取的问题,如果图片中有多人,那么center map可以告诉网络,目前要处理的那个人的位置。
本实施例中,步骤S303和步骤S304可以共同构成“对人物图像进行处理,得到人物图像包括的主播图像”这一技术特征,从而能够具体地描述出一种主播图像的获取方式。
S305、检测主播图像中包括的人体关键点信息。
本实施例中,人体关键点信息包括头部关键点信息、脸部关键点信息、身体关键点信息等等。
在本实施例中,该过程获取到所有的人体关键点信息。
本实施例中,人体关键点信息的检测可以使用CPM方案来进行。其中,cpm是开源项目OpenPose(人体姿态识别项目)的前身,整个framework(框架)还是比较清晰的,Poseestimation(深度学习人体姿势估计)任务属于FCN(全卷积神经网络)的一种,输入是一张人体姿势图,输出n张热力图,代表n个关节的响应。
本实施例中,CPM是比较好的单人人体关键点检测方案,速度精确度都能达到比较好的效果,其中CPM模型采用的大卷积核来获得大的感受野,能够有效推断出被遮挡的关节。
S306、根据人体关键点信息确定主播图像中包括的头颈部图像。
本实施例中,在人体关键点信息中确定头颈部关键点信息(即肩部以上的关键点)。
本实施例中,该过程可以理解为通过人体关键点检测的方法,得到人的肩部以上的关键点的过程。
S307、在主播图像中置黑头颈部图像,得到服装图像。
本实施例中,在主播图像中得到包括所有头颈部关键点信息的最小框,并根据该最小框将肩部以上的人头相关像素置黑。
本实施例中,该过程可以理解为将包括所有肩部以上关键点的最小框相关像素置黑的过程。
本实施例中,步骤S305~S307可以共同构成“提取主播图像中包括的服装图像”这一技术特征,从而能够具体的描述出一种服装图像的获取方式。
S308、根据预设的服装识别模型对服装图像进行特征识别,得到第一服装特征。
本实施例中,服装识别模型包括mobilenet网络。
本实施例中,在本实施例中,服装识别模型可以识别出服装图像对应的服装类别和服装特征。
本实施例中,该方法可以先对服装图像进行服装分类,并根据分类结果和服装图像在服装识别模型中进行识别,从而提高服装识别模型识别的准确性。
本实施例中,服装识别模型的训练过程需要的初始训练集的获取方式与该方法中服装图像获取的方式相同,此处便不进行赘述了。
在本实施例中,服装是被模型的训练过程,可以通过重复地对预测出来的热力图(heatmap)进行优化(refine)得到最终的结果在进行优化的时候,需要引入中间层的损失,从而保证较深的网络仍然可以训练下去,不至于梯度弥散或者爆炸。
S309、在服装特征集合中匹配与第一服装特征相对应的第二服装特征;服装特征集合包括直播平台中所有其它视频对应的服装特征。
S310、输出与第二服装特征相对应的视频推荐信息。
本实施例中,步骤S309至S310与步骤S206至S207是相同步骤,因此,对于该步骤的解释说明将不进行赘述。
S311、添加第一服装特征至服装特征集合中。
本实施例中,将第一服装特征添加至服装特征集合中可以使得该服装特征集合具有更多的服装特征,以使该服装特征集合能够提供更准确的实时数据。
作为一种可选的实施方式,当服装特征集合中包括直播视频的服装特征时,该添加第一服装特征至服装特征集合中步骤可以替换为:
在服装特征集合中替换直播视频的服装特征为第一服装特征。
实施这种实施方式,可以保证服装特征集合中的服装特征是实时有效的,并且对于同一视频不会出现多个相同的服装特征,从而保证服装特征集合的是全面且不重复的。
可见,实施图4所描述的这种视频推荐信息的输出方法,能够根据关节点回归处理来进行人物图像中非主播的人物排除,从而得到准确、有效的主播图像,以便于主播图像可以被用于进行服装提取,保证了提取出的服装特征是准确有效的,进而保证了视频推荐是准确有效的;还能够准确获取服装图像,以使人工智能模型具有更高的针对性与适应性,从而能够得到更准确的服装特征,便于后续的特征匹配,有利于提高视频推荐的准确度;还能够使服装特征集合可以被实时更新,从而增加了视频推荐信息获取的实时性,提高了视频推荐信息的输出准确性。
实施例4
请参看图6,图6为本申请实施例提供的另一种视频推荐信息的输出方法的流程示意图。本实施例4中所描述的视频推荐信息的输出方法是根据实施例3中描述视频推荐信息的输出方法进行改进得到的。其中,该视频推荐信息的输出方法包括:
S401、获取直播平台中直播视频包括的视频帧。
S402、获取视频帧包括的人物图像。
S403、对人物图像进行关节点回归处理,得到人物关节点图像。
S404、根据人物关节点图像进行处理,得到人物图像包括的主播图像。
S405、检测主播图像中包括的人体关键点信息。
S406、根据人体关键点信息确定主播图像中包括的头颈部图像。
S407、在主播图像中置黑头颈部图像,得到服装图像。
S408、根据预设的服装识别模型对服装图像进行特征识别,得到第一服装特征。
S409、在服装特征集合中,计算第一服装特征与服装特征集合包括的服装特征之间的欧氏距离集合;服装特征集合包括直播平台中所有其它视频对应的服装特征。
作为一种可选的实施方式,在服装特征集合中,计算第一服装特征与服装特征集合包括的服装特征之间的欧氏距离集合的步骤包括:
获取第一服装特征的第一服装类别标签;
在服装特征集合中提取与第一服装类别标签相对应的多个服装特征;
计算第一服装特征与多个服装特征之间的欧式距离,得到欧氏距离集合。
实施这种实施方式,能够提高服装特征匹配的效率与精度,还能够获取更加准确且小数量的欧式距离,从而降低第二服装特征获取的难度,提高整体的视频推荐效果。
本实施例中,欧式距离计算方法:
|x|=√(x[1]2+x[2]2+…+x[n]2)
实施这种实施方式,可以得到主播服装风格分类及与主播服装风格距离最近的主播。
在本实施例中,x[1]、x[2]皆为服装特征包括的子特征。
本实施例中,该方法实通过得到mobilenet较靠后一层的特征进行欧式距离计算,从而推荐更接近风格的主播视频的。
在本实施例中,该方法可以通过提取最后一层特征,然后通过计算与同类其他特征的距离得到最接近的服装风格的主播排序,从而进行直接推荐,避免了传统的获取到结果再进行识别的推荐过程,简化的视频推荐的流程,提高视频推荐的效率。
作为一种进一步可选的实施方式,获取第一服装特征的第一服装类别标签的步骤包括:
根据预设的服装识别模型对视频帧进行识别分类,得到第一服装类别标签;其中,第一服装类别标签与第一服装特征相对应。
实施这种实施方式,能够额外输出服装类型来进行推荐辅助,从而提高视频推荐的智能化,便于用户的了解与观看。
S410、确定欧氏距离集合中最小欧氏距离对应的服装特征为第二服装特征。
S411、输出与第二服装特征相对应的视频推荐信息。
在本实施例中,推荐并非推送,该过程可以由用户选定是否播放时,而非直接播放。
S412、添加第一服装特征至服装特征集合中。
本实施例中,对于步骤S401至S412中与步骤S301至S311相同步骤的解释说明,此处将不再进行赘述。
举例来说,请参照图5和图7,图5为当前播放视频中的人物图像,图7为推荐视频中的人物图像,因为视频为动态内容,所以,此处以人物图像来举例说明该方法的实现过程。其中,当获取到图5所示的人物图像之后,该方法可以先对图像的所有出现的人进行回归,回归各个人的关节的点;再根据center map来去除掉对其他人的响应,得到主播图像;然后根据该主播图像进行关键点提取,置黑头颈部所有关键点部分图像,得到服装图像,以使图5中的服装图像为古风的服装图像;同时在服装特征集合中匹配图5服装图像的服装特征的对应服装特征,得到图7的服装特征(即第二服装特征),其中两种服装特征的比对是通过欧式距离计算公式进行的;在获取到图7的服装特征之后,该方法可以获取图7的服装特征对应的播放视频,并将该播放视频作为推荐视频进行推荐。
实施这种实施方式,因为用户选择主播观看有很大概率是因为观众喜欢这种风格,而风格大程度由穿衣风格体现。所以,该方法通过机器学习的方法,得到与该主播穿衣风格接近的主播推荐给用户,从而能够为其他主播引流,还能够给观众更好的观看体验。
实施这种实施方式,该方法能够提出一种新的视频推荐信息的输出方法,与传统的视频推荐方法不同。其中,传统的视频方法通常为个性化推荐方法,包括于特征的知识图谱辅助推荐的推荐方法和基于结构的推荐模型的推荐方法,在前者这种处理框架下,推荐系统和知识图谱特征学习实际上成为了两个相关的任务,而这两个相关的任务需要相互辅助进行视频推荐,这就使得视频推荐需要获取到两个结果(特征结果和知识图谱)才能完成,从而使得该视频推荐的过程变得复杂繁琐,而使用本实施例中描述的这种方法,则不需要两个结果,其效率将会大幅提高而推荐效果也会丝毫不差;在后者这种基于结构的推荐模型中,仅仅是更加直接地使用知识图谱的结构特征,具体来说,对于知识图谱中的每一个实体,该方法都进行宽度优先搜索来获取其在知识图谱中的多跳关联实体从中得到推荐结果,从而也增加了推荐复杂度,而使用本实施例中描述的这种方法简单快速,适合轻量级场景的推荐。
实施这种实施方式,能够将主播服装风格分类用于主播推荐方案中,实时推荐与当前主播服装同类或相近的主播视频。同时,根据主播穿衣风格进行推荐的方法,能够给用户更精准的个性化推荐,提高用户体验,增加用户留存,将用户引流至更多可能喜欢的主播视频。
可见,实施图6这种视频推荐信息的输出方法,能够根据将第一服装特征进行特征划分,得到多个子特征,再以多个子特征为依据,在服装特征集合中的任一服装特征中一一匹配相应的子特征,并以每个子特征的距离为依据,计算两个服装特征之间的欧氏距离,在全部计算完毕之时,选取欧氏距离最小的一个服装特征为第二服装特征,从而能够保证第二服装特征是服装特征集合中与第一服装特征最相近的服装特征,进而保证视频推荐是基于相似服装或相同服装的,实现在线对相似服装主播的播放视频进行推流的效果。
实施例5
请参看图8,图8为本申请实施例提供的一种视频推荐信息的输出装置的结构示意图。其中,该视频推荐信息的输出装置包括:
获取单元810,用于获取直播平台中直播视频包括的视频帧;
识别单元820,用于根据预设的服装识别模型对视频帧进行特征识别,得到第一服装特征;
匹配单元830,用于在服装特征集合中匹配与第一服装特征相对应的第二服装特征;服装特征集合包括直播平台中所有其它视频对应的服装特征;
输出单元840,用于输出与第二服装特征相对应的视频推荐信息。
本实施例中,服装识别模型包括mobilenet网络。
本实施例中,对于视频推荐信息的输出装置的解释说明可以参照实施例1至实施例4中的描述,对此本实施例中不再多加赘述。
可见,实施图8所描述的视频推荐信息的输出装置,能够通过多个单元的协同工作,快速有效地实现对视频推荐信息的输出,从而有利于提高视频推荐信息的输出效率;另外,使用该种视频推荐信息的输出装置,能够以直播视频中的服装为依据、以人工智能模型为处理工具、以服装特征集合作为匹配数据源来完成视频推荐信息的输出过程,从而使得该输出装置能够简单、快速、高精确度地获取到同时段相同或相似服装类型的播放视频,进而能够更智能化地进行视频推荐信息的输出,并为其他视频进行引流操作,有利于视频的推广。
实施例6
请参看图9,图9为本申请实施例提供的另一种视频推荐信息的输出装置的结构示意图。图9所描述的视频推荐信息的输出装置的结构示意图是根据图8所描述的视频推荐信息的输出装置的结构示意图进行改进得到的。
其中,识别单元820包括:
获取子单元821,用于获取视频帧包括的人物图像;
处理子单元822,用于对人物图像进行处理,得到人物图像包括的主播图像;
提取子单元823,用于提取主播图像中包括的服装图像;
识别子单元824,用于根据预设的服装识别模型对服装图像进行特征识别,得到第一服装特征。
作为一种可选的实施方式,处理子单元822具体用于对人物图像进行关节点回归处理,得到人物关节点图像;并根据人物关节点图像进行处理,得到人物图像包括的主播图像。
作为一种可选的实施方式,提取子单元823具体用于检测主播图像中包括的人体关键点信息;根据人体关键点信息确定主播图像中包括的头颈部图像;并在主播图像中置黑头颈部图像,得到服装图像。
作为一种可选的实施方式,视频推荐信息的输出装置还可以包括:
添加单元850,用于添加第一服装特征至服装特征集合中。
作为一种可选的实施方式,匹配单元830包括:
计算子单元831,用于在服装特征集合中,计算第一服装特征与服装特征集合包括的服装特征之间的欧氏距离集合;
确定子单元832,用于确定欧氏距离集合中最小欧氏距离对应的服装特征为第二服装特征。
作为一种可选的实施方式,计算子单元831具体用于获取第一服装特征的第一服装类别标签;在服装特征集合中提取与第一服装类别标签相对应的多个服装特征;并计算第一服装特征与多个服装特征之间的欧式距离,得到欧氏距离集合。
作为一种可选的实施方式,计算子单元831在获取第一服装特征的第一服装类别标签的过程中可以根据预设的服装识别模型对视频帧进行识别分类,得到第一服装类别标签;其中,第一服装类别标签与第一服装特征相对应。
本实施例中,对于视频推荐信息的输出装置的解释说明可以参照实施例1或实施例2中的描述,对此本实施例中不再多加赘述。
可见,实施图9所描述的视频推荐信息的输出装置,能够通过多个单元的协同工作,快速有效地实现对视频推荐信息的输出,从而有利于提高视频推荐信息的输出效率;另外,使用该种视频推荐信息的输出装置,能够以直播视频中的服装为依据、以人工智能模型为处理工具、以服装特征集合作为匹配数据源来完成视频推荐信息的输出过程,从而使得该输出装置能够简单、快速、高精确度地获取到同时段相同或相似服装类型的播放视频,进而能够更智能化地进行视频推荐信息的输出,并为其他视频进行引流操作,有利于视频的推广。
本申请实施例还提供了一种视频推荐系统。其中,该视频推荐系统用于在播放直播视频时,执行实施例1至实施例4中任一视频推荐信息的输出方法。
本实施例中,视频推荐系统可以为软件方式呈现,具体的,该视频推荐系统可以应用于计算机、手机等电子设备中,本实施例中不做任何限定。
在本实施例中,该视频推荐系统在电子设备中使用时,可以输出视频播放界面以便于用户观看,并根据用于观看的内容实施实施例1至实施例4中描述的方法,对此本实施例中不再赘述。
本实施例中,对于视频推荐系统的解释说明可以参照实施例1至实施例4中的描述,对此本实施例中不再多加赘述。
可见,实施这种视频推荐系统,能够在视频播放的界面中,以服装为依据、以人工智能模型为处理工具、以服装特征集合作为匹配数据源来完成完整的视频推荐过程,从而使得该方法能够简单、快速、高精确度地获取到同时段相同或相似服装类型的播放视频,进而能够更智能化地进行视频推荐,以便于为其他已有视频或在播视频进行引流操作,有利于视频的推广。
本申请实施例提供了一种电子设备,包括存储器以及处理器,存储器用于存储计算机程序,处理器运行计算机程序以使电子设备执行本申请实施例1至实施例4中任一项视频推荐信息的输出方法。
本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序指令,计算机程序指令被一处理器读取并运行时,执行本申请实施例1至实施例4中任一项视频推荐信息的输出方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (12)

1.一种视频推荐信息的输出方法,其特征在于,所述方法包括:
获取直播平台中直播视频包括的视频帧;
根据预设的服装识别模型对所述视频帧进行特征识别,得到第一服装特征;
在服装特征集合中匹配与所述第一服装特征相对应的第二服装特征;所述服装特征集合包括所述直播平台中所有其它视频对应的服装特征;
输出与所述第二服装特征相对应的视频推荐信息。
2.根据权利要求1所述的视频推荐信息的输出方法,其特征在于,所述根据预设的服装识别模型对所述视频帧进行特征识别,得到第一服装特征的步骤包括:
获取所述视频帧包括的人物图像;
对所述人物图像进行处理,得到所述人物图像包括的主播图像;
提取所述主播图像中包括的服装图像;
根据预设的服装识别模型对所述服装图像进行特征识别,得到第一服装特征。
3.根据权利要求2所述的视频推荐信息的输出方法,其特征在于,所述对所述人物图像进行处理,得到所述人物图像包括的主播图像的步骤包括:
对所述人物图像进行关节点回归处理,得到人物关节点图像;
根据所述人物关节点图像进行处理,得到所述人物图像包括的主播图像。
4.根据权利要求2所述的视频推荐信息的输出方法,其特征在于,所述提取所述主播图像中包括的服装图像的步骤包括:
检测所述主播图像中包括的人体关键点信息;
根据所述人体关键点信息确定所述主播图像中包括的头颈部图像;
在所述主播图像中置黑所述头颈部图像,得到服装图像。
5.根据权利要求1所述的视频推荐信息的输出方法,其特征在于,所述输出与所述第二服装特征相对应的视频推荐信息的步骤之后,所述方法还包括:
添加所述第一服装特征至所述服装特征集合中。
6.根据权利要求1所述的视频推荐信息的输出方法,其特征在于,所述在服装特征集合中匹配与所述第一服装特征相对应的第二服装特征的步骤包括:
在服装特征集合中,计算所述第一服装特征与所述服装特征集合包括的服装特征之间的欧氏距离集合;
确定所述欧氏距离集合中最小欧氏距离对应的服装特征为第二服装特征。
7.根据权利要求6所述的视频推荐信息的输出方法,其特征在于,所述在服装特征集合中,计算所述第一服装特征与所述服装特征集合包括的服装特征之间的欧氏距离集合的步骤包括:
获取所述第一服装特征的第一服装类别标签;
在所述服装特征集合中提取与所述第一服装类别标签相对应的多个服装特征;
计算所述第一服装特征与所述多个服装特征之间的欧式距离,得到欧氏距离集合。
8.根据权利要求7所述的视频推荐信息的输出方法,其特征在于,所述获取所述第一服装特征的第一服装类别标签的步骤包括:
根据预设的服装识别模型对所述视频帧进行识别分类,得到第一服装类别标签;其中,所述第一服装类别标签与所述第一服装特征相对应。
9.一种视频推荐信息的输出装置,其特征在于,所述视频推荐信息的输出装置包括:
获取单元,用于获取直播平台中直播视频包括的视频帧;
识别单元,用于根据预设的服装识别模型对所述视频帧进行特征识别,得到第一服装特征;
匹配单元,用于在服装特征集合中匹配与所述第一服装特征相对应的第二服装特征;所述服装特征集合包括所述直播平台中所有其它视频对应的服装特征;
输出单元,用于输出与所述第二服装特征相对应的视频推荐信息。
10.一种视频推荐系统,其特征在于,所述视频推荐系统用于在播放直播视频时,执行权利要求1至8中任一项所述的视频推荐信息的输出方法。
11.一种电子设备,其特征在于,所述电子设备包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至8中任一项所述的视频推荐信息的输出方法。
12.一种可读存储介质,其特征在于,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行权利要求1至8任一项所述的视频推荐信息的输出方法。
CN202010205470.7A 2020-03-20 2020-03-20 一种视频推荐信息的输出方法、装置及系统 Active CN113497947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010205470.7A CN113497947B (zh) 2020-03-20 2020-03-20 一种视频推荐信息的输出方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010205470.7A CN113497947B (zh) 2020-03-20 2020-03-20 一种视频推荐信息的输出方法、装置及系统

Publications (2)

Publication Number Publication Date
CN113497947A true CN113497947A (zh) 2021-10-12
CN113497947B CN113497947B (zh) 2023-03-21

Family

ID=77994113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010205470.7A Active CN113497947B (zh) 2020-03-20 2020-03-20 一种视频推荐信息的输出方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113497947B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185471A (zh) * 2022-02-17 2022-03-15 哈尔滨工业大学(威海) 一种基于用户意图识别的服装推荐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130343615A1 (en) * 2012-06-20 2013-12-26 Tong Zhang Identifying a style of clothing based on an ascertained feature
CN106604051A (zh) * 2016-12-20 2017-04-26 广州华多网络科技有限公司 直播频道推荐方法及装置
CN107404656A (zh) * 2017-06-26 2017-11-28 武汉斗鱼网络科技有限公司 直播视频推荐方法、装置及服务器
CN107862277A (zh) * 2017-11-02 2018-03-30 北京奇虎科技有限公司 直播服饰装扮推荐方法、装置、计算设备及存储介质
CN110149558A (zh) * 2018-08-02 2019-08-20 腾讯科技(深圳)有限公司 一种基于内容识别的视频播放实时推荐方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130343615A1 (en) * 2012-06-20 2013-12-26 Tong Zhang Identifying a style of clothing based on an ascertained feature
CN106604051A (zh) * 2016-12-20 2017-04-26 广州华多网络科技有限公司 直播频道推荐方法及装置
CN107404656A (zh) * 2017-06-26 2017-11-28 武汉斗鱼网络科技有限公司 直播视频推荐方法、装置及服务器
CN107862277A (zh) * 2017-11-02 2018-03-30 北京奇虎科技有限公司 直播服饰装扮推荐方法、装置、计算设备及存储介质
CN110149558A (zh) * 2018-08-02 2019-08-20 腾讯科技(深圳)有限公司 一种基于内容识别的视频播放实时推荐方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185471A (zh) * 2022-02-17 2022-03-15 哈尔滨工业大学(威海) 一种基于用户意图识别的服装推荐方法

Also Published As

Publication number Publication date
CN113497947B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN110235138B (zh) 用于外观搜索的系统和方法
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107087211B (zh) 一种主持人镜头检测方法及装置
CN109643448A (zh) 机器人系统中的细粒度物体识别
CN106020448B (zh) 基于智能终端的人机交互方法和系统
US10257569B2 (en) Display apparatus and method for providing service thereof
CN108509893A (zh) 基于微表情识别的影视评分方法、存储介质及智能终端
CN111090768A (zh) 一种基于深度卷积神经网络的相似图像检索系统和方法
CN107895161B (zh) 基于视频数据的实时姿态识别方法及装置、计算设备
US20150117794A1 (en) Generating image compositions
CN113497947B (zh) 一种视频推荐信息的输出方法、装置及系统
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
CN108833964A (zh) 一种实时的连续帧信息植入识别系统
CN111444822B (zh) 对象识别方法和装置、存储介质和电子装置
CN108024148B (zh) 基于行为特征的多媒体文件识别方法、处理方法及装置
CN112712051A (zh) 对象跟踪方法、装置、计算机设备及存储介质
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN112104914B (zh) 视频推荐方法及装置
CN115379290A (zh) 视频处理方法、装置、设备及存储介质
CN110879944A (zh) 基于人脸相似度的主播推荐方法、存储介质、设备及系统
CN112101479B (zh) 一种发型识别方法及装置
CN114360015A (zh) 活体检测方法、装置、设备及存储介质
CN112487858A (zh) 一种视频生成方法及装置
CN110956075A (zh) 图像处理装置、图像处理方法及记录介质
Xia et al. Texture-aware Network for Smoke Density Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant