CN112258232A - 一种基于直播画面的推广内容展示方法及装置 - Google Patents

一种基于直播画面的推广内容展示方法及装置 Download PDF

Info

Publication number
CN112258232A
CN112258232A CN202011139952.3A CN202011139952A CN112258232A CN 112258232 A CN112258232 A CN 112258232A CN 202011139952 A CN202011139952 A CN 202011139952A CN 112258232 A CN112258232 A CN 112258232A
Authority
CN
China
Prior art keywords
target
live broadcast
live
scene
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011139952.3A
Other languages
English (en)
Inventor
刘平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011139952.3A priority Critical patent/CN112258232A/zh
Publication of CN112258232A publication Critical patent/CN112258232A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0277Online advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本申请实施例公开了一种基于直播画面的推广内容展示方法及装置;本申请实施例可以在直播客户端显示直播画面;对所述直播画面中的直播场景进行特征识别;当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;在所述直播画面的目标展示区域展示目标推广内容。该方案可以灵活地在直播画面中展示推广内容,并且,也不会对主播的当前操作产生影响,使得基于直播画面的推广内容展示可以更高效地进行。

Description

一种基于直播画面的推广内容展示方法及装置
技术领域
本申请涉及计算机技术领域,具体涉及一种基于直播画面的推广内容展示方法及装置。
背景技术
网络直播作为一种网络社交方式,吸取和延续了互联网的优势。在网络直播中,由于主播与观众之间具有的强的实时互动性,使得网络直播能在传统内容推广渠道中脱颖而出、成为更适于进行内容推广的渠道。例如,在游戏直播中,除了对可以对游戏过程进行直播,还可以通过在直播画面中展示推广内容来进行内容推广。
在对相关技术的研究和实践过程中,本申请的发明人发现,在直播画面中展示推广内容时,为避免对观众观看的直播画面产生干扰,可以通过在直播画面的边角区域中展示待推广内容。但该方法仅能产生生硬的效果、又无法灵活地进行调整,导致基于直播画面的推广内容展示无法高效进行。此外,当直播中包括主播参与时,在直播过程中进行推广内容的展示则会打断主播的当前操作,进一步使得基于直播画面的推广内容展示无法高效进行。
发明内容
本申请实施例提供一种基于直播画面的推广内容展示方法及装置,可以灵活地在直播画面中展示推广内容,使得基于直播画面的推广内容展示可以更高效地进行。
本申请实施例提供一种基于直播画面的推广内容展示方法,包括:
在直播客户端显示直播画面;
对所述直播画面中的直播场景进行特征识别;
当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;
在所述直播画面的目标展示区域展示目标推广内容。
相应的,本申请实施例还提供一种基于直播画面的推广内容展示装置,包括:
显示单元,用于在直播客户端显示直播画面;
识别单元,用于对所述直播画面中的直播场景进行特征识别;
确定单元,用于当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;
展示单元,用于在所述直播画面的目标展示区域展示目标推广内容。
在一实施例中,所述确定单元,包括:
集合确定子单元,用于确定针对推广内容的映射关系集合,其中,所述映射关系集合包括预设场景特征与预设展示区域之间的映射关系,所述预设展示区域为在直播时展示所述推广内容的区域;
区域确定子单元,用于根据所述映射关系集合和所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域。
在一实施例中,所述区域确定子单元,用于:
确定所述目标场景特征在所述映射关系集合中对应的目标映射关系,其中,所述目标映射关系为所述目标场景特征与目标展示区域之间的映射关系,所述目标展示区域为在直播时展示目标推广内容的区域;基于所述目标映射关系,生成响应于所述目标场景特征的响应事件;通过所述响应事件,获取确定目标展示区域所需要的位置参数;根据所述位置参数,在所述直播画面中确定目标展示区域。
在一实施例中,所述识别单元,包括:
画面获取子单元,用于获取所述直播画面;
图像提取子单元,用于从所述直播画面中提取所述直播场景对应的直播场景图像;
图像输入子单元,用于将所述直播场景图像输入目标识别模型,以通过所述目标识别模型对所述直播场景图像进行特征识别。
在一实施例中,所述图像输入子单元,用于:
获取目标配置文件,其中,所述目标配置文件中包括至少一个候选场景特征的特征描述信息;通过所述目标识别模型,将所述直播场景图像与所述特征描述信息进行特征匹配,得到匹配结果;基于所述匹配结果,确定所述直播画面中所述直播场景的特征识别结果。
在一实施例中,在所述在直播客户端显示直播画面之前,所述基于直播画面的推广内容展示装置,还包括:
设置信息获取单元,用于获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,其中,所述场景设置信息与直播场景对应,所述直播场景具有目标场景特征;
映射关系建立单元,用于根据所述直播设置信息、所述场景设置信息,以及所述推广内容设置信息,建立所述目标场景特征与目标展示区域之间的映射关系,其中,所述目标展示区域为在直播时展示所述目标推广内容的区域。
在一实施例中,所述设置信息获取单元,包括:
配置页面显示子单元,用于显示针对目标推广内容的推广配置页面,其中,所述推广配置页面包括至少一个推广配置控件,所述推广配置控件包括直播设置控件、场景设置控件,以及推广内容设置控件;
配置信息获取子单元,用于响应于针对所述推广配置控件的推广配置操作,获取针对所述目标推广内容的推广配置信息,其中,所述推广配置信息包括直播设置信息、场景设置信息,以及推广内容设置信息。
在一实施例中,所述推广配置页面包括效果预览窗口;所述设置信息获取单元,还包括:
预览效果展示子单元,用于响应于针对所述推广配置控件的推广配置操作,在所述效果预览窗口展示对应的推广展示预览效果。
在一实施例中,所述设置信息获取单元,还包括:
进程页面显示子单元,用于当检测到针对所述推广配置页面的推广配置完成操作时,显示直播进程选择页面,其中,所述直播进程选择页面包括直播进程的选择触发控件;
进程窗口显示子单元,用于响应于针对所述选择触发控件的选择触发操作,在所述直播进程选择页面中显示直播进程选择窗口,其中,所述直播进程选择窗口包括直播进程选择列表,所述直播进程选择列表包括至少一个可选的直播进程。
在一实施例中,所述设置信息获取单元,还包括:
直播窗口显示子单元,用于当在所述直播进程选择列表中选择目标直播进程后,响应于针对所述直播进程选择列表的选择完成操作,显示直播触发窗口;
游戏直播开启子单元,用于响应于针对所述直播触发窗口的直播触发操作,开启针对所述目标直播进程的直播。
在一实施例中,所述基于直播画面的推广内容展示装置,还包括:
识别模型获取单元,用于根据所述直播设置信息、所述场景设置信息,以及所述推广内容设置信息,获取展示所述目标推广内容需要的目标识别模型及目标配置文件。
在一实施例中,在所述获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息之前,所述基于直播画面的推广内容展示装置,还包括:
样本视频获取单元,用于获取直播样本视频;
图像集合生成单元,用于基于所述直播样本视频,生成训练目标识别模型需要的目标样本图像集合,其中,所述目标样本图像集合包括至少一个目标样本图像,所述目标样本图像中包括至少一个预设场景特征;
样本图像输入单元,用于将所述目标样本图像输入待训练的识别模型,以对所述待训练识别模型进行模型训练,得到训练后的目标识别模型。
在一实施例中,所述图像集合生成单元,包括:
图像提取子单元,用于对所述直播样本视频进行图像提取,得到提取后的样本图像;
图像筛选子单元,用于基于预设场景特征,对所述提取后样本图像进行图像筛选,得到筛选后的候选样本图像;
图像增强子单元,用于对所述候选样本图像进行图像增强操作,得到增强后的目标样本图像;
图像组合子单元,用于对所述目标样本图像进行组合,得到组合后的目标样本图像集合。
在一实施例中,所述展示单元,包括:
内容获取子单元,用于获取目标推广内容;
参数确定子单元,用于确定所述目标展示区域的位置参数;
内容展示子单元,用于基于所述位置参数,将所述目标推广内容展示在所述目标展示区域。
相应的,本申请实施例还提供一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如本申请实施例所示的基于直播画面的推广内容展示方法的步骤。
相应的,本申请实施例还提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如本申请实施例所示的基于直播画面的推广内容展示方法的步骤。
本申请实施例可以在直播客户端显示直播画面;对所述直播画面中的直播场景进行特征识别;当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;在所述直播画面的目标展示区域展示目标推广内容。
该方案可以通过检测直播画面中的目标场景特征,触发展示目标推广内容,并且,使得目标推广内容在直播画面中的目标展示区域能够更为灵活地选择,例如,可以在特定直播场景中融入目标推广内容;又如,可以在多区域进行展示。这样的话,在直播画面中展示推广内容时则可以不限制于直播画面中的固定区域,如边角区域。此外,对于需要主播参与的直播过程,该方法可以使得在直播过程中进行目标推广内容的展示时,无需主播进行针对目标推广内容的展示触发操作,因而不会干扰主播的当前操作,能够进一步地使得基于直播画面的推广内容的展示可以更为高效地进行。因此,该方法通过结合智能的图像识别技术,能够在直播的特定场景中融入推广内容,大大提高了基于直播画面的推广内容的展示效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于直播画面的推广内容展示方法的场景示意图;
图2是本申请实施例提供的基于直播画面的推广内容展示方法的流程图;
图3是本申请实施例提供的基于直播画面的推广内容展示方法的内容推广示意图;
图4是本申请实施例提供的基于直播画面的推广内容展示方法的游戏直播画面示意图;
图5是本申请实施例提供的基于直播画面的推广内容展示方法的场景特征示意图;
图6是本申请实施例提供的基于直播画面的推广内容展示方法的另一游戏直播画面示意图;
图7是本申请实施例提供的基于直播画面的推广内容展示方法的另一场景特征示意图;
图8是本申请实施例提供的基于直播画面的推广内容展示方法的展示区域示意图;
图9是本申请实施例提供的基于直播画面的推广内容展示方法的另一内容推广示意图;
图10是本申请实施例提供的基于直播画面的推广内容展示方法的推广配置示意图;
图11是本申请实施例提供的基于直播画面的推广内容展示方法的部署实践架构图;
图12是本申请实施例提供的基于直播画面的推广内容展示方法的游戏流程选择示意图;
图13是本申请实施例提供的基于直播画面的推广内容展示方法的步骤示意图;
图14是本申请实施例提供的基于直播画面的推广内容展示方法的另一展示区域示意图;
图15是本申请实施例提供的基于直播画面的推广内容展示方法的另一展示区域示意图;
图16是本申请实施例提供的基于直播画面的推广内容展示方法的另一内容推广示意图;
图17是本申请实施例提供的基于直播画面的推广内容展示方法的另一流程示意图;
图18是本申请实施例提供的基于直播画面的推广内容展示装置的结构示意图;
图19是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图20是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图21是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图22是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图23是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图24是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图25是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图26是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图27是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图28是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图29是本申请实施例提供的基于直播画面的推广内容展示装置的另一结构示意图;
图30是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种基于直播画面的推广内容展示方法及装置。具体地,本申请实施例提供适用于计算机设备的基于直播画面的推广内容展示装置。其中,该计算机设备可以为终端或服务器等设备,该终端可以为手机、平板电脑、笔记本电脑等设备。该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群。
本申请实施例将以基于直播画面的推广内容展示方法由终端执行为例进行介绍。
参考图1,直播客户端可以运行在终端10上,因此,可以在终端10上显示直播画面,并对直播画面中的直播场景进行特征识别。当在直播场景中识别到目标场景特征时,可以根据识别到的目标场景特征,在直播画面中确定目标推广内容的目标展示区域,以便后续可以在直播画面的目标展示区域展示目标推广内容。值得注意点是,上述直播画面可以为多种类型的直播画面,例如,可以为游戏直播画面,购物直播画面,节目直播画面;等等。
可选的,在终端10上开启直播之前,可以获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息。其中,场景设置信息可以与直播画面中的直播场景对应,并且,该直播场景中可以具有目标场景特征。在获取前述信息后,即可建立目标场景特征与目标展示区域之间的映射关系,其中,目标展示区域为在直播时展示目标推广内容的区域。例如,可以通过提供可交互界面的方式来获取前述信息、并建立映射关系。
进一步地,终端10可以根据获取的直播设置信息、场景设置信息,以及推广内容设置信息,获取展示目标推广内容需要的目标识别模型与目标配置文件。以使得可以通过获取到的目标识别模型与目标配置文件,在后续对直播画面中的直播场景进行特征识别。
在另一实施例中,以基于直播画面的推广内容展示方法,由终端和服务器共同执行,并运用在游戏直播中为例进行介绍。
参考图1,在终端10获取针对目标推广内容的直播设置信息、场景设置信息、以及推广内容设置信息,并建立目标场景特征与目标展示区域之间的映射关系之前,服务器20可以目标识别模型进行训练,以便后续可以将训练后的目标识别模型下发给终端10,以使得终端10可以通过获得的目标识别模型,对游戏的直播画面中的直播场景进行特征识别。
例如,服务器20可以获取游戏的直播样本视频,并基于该直播样本视频,生成训练目标识别模型需要的目标样本图像集合,其中,生成的目标样本图像集合可以包括至少一个目标样本图像,并且,目标样本图像中可以包括至少一个预设场景特征,例如,可以为针对目标推广内容的目标场景特征。服务器20可以通过将目标样本图像输入待训练的识别模型,以对该待训练的识别模型进行模型训练,得到训练后的目标识别模型。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供的一种基于直播画面的推广内容展示方法,该方法可以由终端或服务器执行,也可以由终端和服务器共同执行;本申请实施例以基于直播画面的推广内容展示方法由终端执行为例来进行说明,具体的,由集成在终端中的基于直播画面的推广内容展示装置来执行,如图2所述,该基于直播画面的推广内容展示方法的具体流程可以如下:
101、在直播客户端显示直播画面。
其中,直播为通过一定设备采集开播方数据,并对开播放数据进行一系列处理,如通过视频编码压缩成可观看可传输的视频流,并将处理后的数据输出至观看用户端的技术。直播的种类可以有多种,例如,直播可以包括课堂直播、节目直播、购物直播、游戏直播等。
相应地,直播画面可以为在直播过程中显示的画面内容,例如,直播画面可以是课堂直播画面、节目直播画面、购物直播画面、游戏直播画面;等等。
在一实施例中,直播画面可以为游戏直播画面,其中,游戏直播为对游戏过程进行直播的过程,例如,可以对电竞赛事中的游戏过程进行直播;又如,可以为游戏用户对自己游戏操作的游戏过程进行直播;等等。
在游戏直播中,还可以包括游戏主播对游戏过程进行介绍或解说,而游戏主播在游戏直播中的身份可以有多种情况,例如,游戏主播可以不是游戏的当前操作用户,而是以游戏外用户的身份,对当前的游戏过程进行解说;又如,游戏主播可以为参与游戏的游戏操作用户,并且,在游戏过程中,既作为游戏操作用户进行游戏操作,又作为游戏主播对游戏过程及游戏操作进行解说。
在一实施例中,直播画面可以为游戏直播画面,其中,游戏直播画面中可以包括部分或者完整的游戏过程中的画面内容,譬如,可以包括有游戏场景、游戏角色、游戏操作示意、游戏特效等元素。可选的,在有游戏主播参与时,游戏直播画面中还可以包括有游戏主播进行游戏解说或者游戏操作的画面内容。例如,参考图4,在该游戏直播画面中,包括了游戏画面内容、以及画面右下角区域的游戏主播画面内容。
在本实施例中,在进行直播时,可以首先在直播客户端显示直播画面,以便可以后续在直播画面中展示目标推广内容。为了更高效地实现目标推广内容的展示,可以在开启直播显示直播画面之前,获取针对目标推广内容的若干设置信息,并通过获取的设置信息,建立目标推广内容与直播场景中的目标场景特征之间的映射关系。具体地,在步骤“在直播客户端显示直播画面”之前,基于直播画面的推广内容展示方法还可以包括:
获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,其中,场景设置信息与直播场景对应,直播场景具有目标场景特征;
根据直播设置信息、场景设置信息,以及推广内容设置信息,建立该目标场景特征与目标展示区域之间的映射关系,其中,该目标展示区域为在直播时展示该目标推广内容的区域。
其中,推广可以用于扩大事物的影响范围,例如,营销、宣传、广告等都可以为推广的一种。相应的,推广内容可以为进行推广需要的内容,例如,推广内容可以包括若干不同形式的数据,即推广内容可以以多种形式存在,例如,可以为文本内容、图像内容、视频内容、音频内容、链接内容等。此外,还可以通过对若干内容进行组合,得到组合后的推广内容,以使得得到的推广内容可以包括若干不同形式的数据;例如,以广告为例,广告内容中可以包括有广告描述文本、图像、视频、音频、交互设置等多项内容;等等。
在实际应用中,目标推广内容可以为广告内容,并且,直播画面可以为游戏直播画面,参考图3,可以在游戏直播画面中显示广告内容201。其中,该广告内容中可以包括有广告描述文本、图像、视频、音频、或交互设置等多项内容。
其中,针对目标推广内容的直播设置信息可以用于描述要展示目标推广内容的目标直播;例如,可以通过直播设置信息来确定目标直播;譬如,直播设置信息可以为目标直播的直播名称、直播图标或直播标识等能够标识该目标直播的信息。
在一实施例中,当直播的类型为游戏直播时,则直播设置信息可以为游戏设置信息,例如,游戏设置信息可以以游戏名称、游戏图标或游戏标识等能够标识游戏的信息形式存在。在另一实施例中,当直播的类型为节目直播时,则直播设置信息可以为节目设置信息,例如,节目设置信息可以以节目名称、节目图标或节目标识等能够标识节目的信息形式存在。
在直播过程中的直播画面里,可以包括多个直播场景,例如,在游戏直播中,游戏直播客户端显示的游戏直播画面中可以包括多个游戏场景,譬如,图4为一回合制策略游戏中“选将时刻”对应的游戏场景,并且,在该游戏场景中,游戏用户可以在游戏中途回合选择自己想要的英雄;又如,图6为一回合制策略游戏中“开始时刻”对应的游戏场景,并且,在该游戏场景为游戏回合刚开始且还没有进行战斗的一游戏阶段;等等。因此,要确定在直播画面中,目标推广内容具体的目标展示区域,可以进一步地对直播场景进行设置。
其中,针对目标推广内容的场景设置信息可以用于描述在目标直播的直播画面中展示目标推广内容时所对应的目标直播场景,例如,当将本方案应用在游戏直播中时,场景设置信息可以以游戏场景名称、游戏场景图标、或游戏场景标识等能够标识游戏场景的信息形式存在。譬如,图4显示了一回合制策略游戏中“选将时刻”对应的游戏场景,;又如,图6显示了一回合制策略游戏中“开始时刻”对应的游戏场景。
值得注意的是,场景设置信息与直播场景对应,而直播场景中可以具有对应的场景特征。其中,场景特征可以为直播场景的突出性质的表现,因此,可以用场景特征来标识或识别直播场景。例如,当直播类型为游戏直播时,在图4所示的“选将时刻”对应的游戏场景中,该游戏场景的游戏场景特征可以为图5所示的画面中间的八边形场地,即,当检测到该八边形场地时,可以确定游戏的当前游戏场景为“选将时刻”对应的游戏场景;又如,在图6所示的“开始时刻”对应的游戏场景中,该游戏场景的游戏场景特征可以为图7所示的画面中间的近正方形场地,即,当检测到图中所示近正方形场地时,可以确定游戏的当前游戏场景为“开始时刻”对应的游戏场景;等等。
在实际应用中,除了可以根据直播画面中的特征部分来确定场景特征,还可以结合其他直播过程中的其他因素。例如,当直播类型为游戏直播时,除了可以以游戏画面中的特征部分,如,图4中的八边形场地、图6中的近正方形场地,作为游戏场景特征,还可以结合音频、玩家操作、游戏情节、游戏开发逻辑等多个元素来确定游戏场景特征。本申请实施例不对此做限制。
其中,目标场景特征可以为在直播画面中,展示目标推广内容的直播场景所具有的场景特征。在本实施例中,由于获取的是针对目标推广内容的场景设置信息,因此,与该场景设置信息对应的直播场景所具有的场景特征,即为与目标推广内容对应的目标场景特征。
其中,针对目标推广内容的推广内容设置信息可以为描述目标推广内容的相关设置信息,例如,推广内容设置信息可以以目标推广内容的名称、图标、标识、或资源地址等能够标识目标推广内容的信息。
值得注意的是,由于目标推广内容可以为由若干内容进行组合后得到的,因此,推广内容设置信息中可以包括描述若干内容的相关设置信息。例如,当目标推广内容包括推广图像与推广音频时,针对目标推广内容的推广内容设置信息可以包括针对推广图像的推广内容设置信息、与针对推广音频的推广内容设置信息。
在本实施例中,获取了针对目标推广内容的直播设置信息、场景设置信息、以及推广内容设置信息,即相应地确定了要展示的目标推广内容、展示该目标推广内容的目标直播以及该目标直播中对应的目标直播场景,并且,由于目标直播场景具有对应的目标场景特征,因此,在实际应用时,终端可以通过目标场景特征来识别目标直播场景。
然而,仅确定展示目标推广内容的目标直播以及该目标直播中对应的目标直播场景后,还可以通过进一步的设置,来确定无误地在直播画面中展示目标推广内容。例如,在一实施例中,在步骤“获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,其中,场景设置信息与直播场景对应,直播场景具有目标场景特征”后,还可以包括如下步骤:
获取针对目标展示区域的区域设置信息,其中,所述目标展示区域为在目标直播的目标直播场景中展示目标推广内容的区域。
其中,针对目标展示区域的区域设置信息可以用于描述目标展示区域的位置信息,以使得可以基于该位置信息在目标直播的目标直播场景中确定目标展示区域的位置。
在实际应用中,在确定针对目标推广内容的目标直播、以及目标直播场景后,可以通过多种方式确定目标直播场景中的目标展示区域,例如,可以通过人为选择的方式;又如,可以将包括目标直播场景的直播画面输入图像处理模型中,通过图像处理模型确定适于展示目标推广内容的区域;等等。
在一实施例中,当直播类型为游戏直播时,参考图8,对于“选将时刻”对应的游戏场景,可以在图中八边形场地中选择图中的矩形部分区域作为目标展示区域。
因此,在确定展示目标推广内容的目标直播、目标直播场景之外,终端还可以通过获取针对目标展示区域的区域设置信息,进一步地确定在游戏直播画面中展示目标推广内容的具体区域。
在本实施例中,在确定了针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息后,可以进一步地建立目标场景特征与目标展示区域之间的映射关系,其中,该目标展示区域为在直播时展示目标推广内容的区域。
其中,目标场景特征与目标展示区域之间的映射关系,可以用于描述目标场景特征与目标展示区域的对应关系。例如,当直播类型为游戏直播时,对于一目标推广内容,当终端在游戏直播画面的游戏直播场景中检测到目标场景特征时,即可通过目标场景特征与目标展示区域之间的映射关系,确定该目标推送内容的目标展示区域。
通过建立目标场景特征与目标展示区域之间的映射关系,即可对应地在目标直播场景中确定目标展示区域,以使得在直播中能够基于各直播场景的不同,灵活地切换不同的展示区域。例如,在一实施例中,当直播类型为游戏直播时,目标推广内容可以为二维码图像,且设置该目标推广内容的目标直播场景可以为“选将时刻”对应的游戏直播场景。由于“选将时刻”对应的游戏直播场景的场景特征为八边形场地,且与该场景特征具有映射关系的目标展示区域为图8所示的展示区域,因此,参考图9,当在游戏直播画面中通过该目标场景特征检测到该目标直播场景时,可以对应地确定目标推广内容的目标展示区域。
在实际应用中,获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息的方式可以有多种,例如,可以通过在终端提供可交互的界面获取;又如,可以通过请求数据库获取;又如,可以通过解析包括这些信息的配置表获取;等等。具体地,步骤“获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息”,可以包括:
显示针对目标推广内容的推广配置页面,其中,该推广配置页面包括至少一个推广配置控件,该推广配置控件包括直播设置控件、场景设置控件,以及推广内容设置控件;
响应于针对推广配置控件的推广配置操作,获取针对目标推广内容的推广配置信息,其中,该推广配置信息包括直播设置信息、场景设置信息,以及推广内容设置信息。
本实施例中的控件的表现形式,可以为图标、输入框以及按钮等形式。
本实施例中的推广配置操作的表现形式,可以是特定的触控操作,如单击操作、长按操作、双击操作、以及滑动操作等等,还可以是通过语音的方式触发的;可选的,登录触发操作还可以是一系列操作的组合,本实施例对此没有限制。
在一实施例中,可以通过直播设置控件获取针对目标推广内容的直播设置信息、通过场景设置控件获取针对目标推广内容的场景设置信息、通过推广内容设置控件获取针对目标推广内容的推广内容设置信息。
在一实施例中,直播类型可以为游戏直播,目标推广内容可以为广告内容,并且,目标推广内容可以包括二维码图像、以及游戏主播提前录制的推广音频。可以在终端显示图10中202所示的推广配置页面,其中,推广配置页面202中可以包括至少一个推广配置控件,例如,可以包括203所示的直播设置控件、包括204所示的场景设置控件、包括205所示的推广内容设置控件,其中,204所示的场景设置控件可以包括若干个可选的子控件;205所示的推广内容设置控件可以包括206所示的推广图像设置控件、以及207所示的推广音频设置控件。
当用户通过推广配置页面完成了各项推广配置后,终端即可相应地获取包括直播设置信息、场景设置信息,以及推广内容设置信息的推广配置信息。在一实施例中,参考图10,终端可以通过202所示的推广配置页面,获取针对目标推广内容的直播设置信息为“游戏A”、场景设置信息为“选将时刻”、推广内容设置信息则可以包括二维码图像的资源路径“C:\图片\二维码.png”与推广音频的资源路径“C:\图片\宣传小店.mp3”,以使得终端可以通过资源路径获取到对应的推广内容。
值得注意的是,除了可以获取到针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,还可以在推广配置页面中设置效果预览窗口,以使得可以在推广配置页面中展示对应的推广预览效果。具体地,步骤“获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息”,还可以包括:
响应于针对推广配置控件的推广配置操作,在效果预览窗口展示对应的推广展示预览效果。
在一实施例中,由于推广配置页面中可以包括至少一个推广配置控件,使得对应地可以包括至少一项推广配置操作,因此,在效果预览窗口展示对应的推广展示预览效果的方式可以有多种。
例如,可以在每次推广配置操作后都在效果预览窗口中对推广展示预览效果进行刷新;譬如,当直播类型为游戏直播时,参考图10,当通过直播设置控件203中选择了“游戏A”后,可以在效果预览窗口208中显示游戏A对应的游戏名称、游戏图标、游戏海报、游戏画面等游戏素材;在此基础上,当通过场景设置控件204选择了“选将时刻”后,可以在效果预览窗口208中,进一步地将“选将时刻”游戏场景对应的场景名称、场景图标、场景海报或场景画面等场景素材,在效果预览窗口208中进行展示;在此基础上,当通过推广图像设置控件206设置了推广图像的资源路径为“C:\图片\二维码.png”后,可以在效果预览窗口208中,再进一步地将二维码图像在“选将时刻”游戏场景中的目标展示区域中进行展示;最后,当通过推广音频设置控件207设置了推广音频的资源路径为“C:\图片\宣传小店.mp3”后,可以通过扬声器或喇叭等设备播放对应的推广音频,以使得可以与效果预览窗口208中的已有的预览画面结合起来,得到最终的推广展示预览效果。
又如,可以在部分或全部推广配置操作结束选择后,才在效果预览窗口中显示对应的推广展示预览效果;譬如,当直播类型为游戏直播时,参考图10,当通过直播设置控件203中选择了“游戏A”、通过场景设置控件204中选择了“选将时刻”游戏直播场景、通过推广图像设置控件206设置了推广图像的资源路径为“C:\图片\二维码.png”、通过推广音频设置控件207设置了推广音频的资源路径为“C:\图片\宣传小店.mp3”后,通过扬声器或喇叭等设备播放对应的推广音频,并在效果预览窗口208中展示对应的预览效果,以得到最终的推广展示预览效果。
值得注意的是,若目标推广内容包括至少一种格式的数据,例如,图像、音频、视频、交互操作等,均可对应地通过推广配置页面的效果预览窗口结合其他设备对应进行展示。
在实际应用中,在完成了针对目标推广内容的推广设置后,可以进一步地选择要开启直播的直播进程。具体地,步骤“获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息”,还可以包括:
当检测到针对推广配置页面的推广配置完成操作时,显示直播进程选择页面,其中,该直播进程选择页面包括直播进程的选择触发控件;
响应于针对选择触发控件的选择触发操作,在直播进程选择页面中显示直播进程选择窗口,其中,该直播进程选择窗口包括直播进程选择列表,该直播进程选择列表包括至少一个可选的直播进程。
本实施例中的控件的表现形式,可以为图标、输入框以及按钮等形式。
本实施例中的推广配置完成操作或选择触发操作的表现形式,可以是特定的触控操作,如单击操作、长按操作、双击操作、以及滑动操作等等,还可以是通过语音的方式触发的;可选的,登录触发操作还可以是一系列操作的组合,本实施例对此没有限制。
其中,针对推广配置页面的推广配置完成操作可以通过多种方式实现,例如,可以提供推广配置完成控件,并通过触发该推广配置完成控件实现推广配置完成操作;等等。
其中,进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。在早期面向进程设计的计算机结构中,进程是程序的基本执行实体;在当代面向线程设计的计算机结构中,进程是线程的容器。程序是指令、数据及其组织形式的描述,进程是程序的实体。
在一实施例中,直播类型可以为游戏直播,当检测到针对推广配置页面的推广配置完成操作时,参考图12,可以在终端上显示209所示的直播进程选择页面,其中可以包括210所示的直播进程的选择触发控件。
如图12所示,当检测到针对选择触发控件210的选择触发操作时,可以在直播进程选择页面209中显示211所示的直播进程选择窗口,其中可以包括212所示的直播进程选择列表,并且,直播进程选择列表中可以包括至少一个可选的直播进程,参考图12,图中展示了四个可选的直播进程:“游戏A”、“进程1”、“进程2”、以及“进程3”。
进一步地,在确定待直播的直播进程后,即可开启直播,具体地,步骤“获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息”,还可以包括:
当在直播进程选择列表中选择目标直播进程后,响应于针对该直播进程选择列表的选择完成操作,显示直播触发窗口。
响应于针对直播触发窗口的直播触发操作,开启针对目标直播进程的直播。
本实施例中的游戏进程选择完成操作或游戏直播触发操作的表现形式,可以是特定的触控操作,如单击操作、长按操作、双击操作、以及滑动操作等等,还可以是通过语音的方式触发的;可选的,登录触发操作还可以是一系列操作的组合,本实施例对此没有限制。
在一实施例中,参考图12,在212所示的直播进程选择列表中选择了“游戏A”作为目标直播进程后,可以通过触发213所示的直播进程选择完成控件来完成针对直播进程选择列表212的直播进程选择完成操作,并显示直播触发窗口。
可选的,直播触发窗口中可以包括直播触发控件,可以通过触发该直播触发控件来实现直播触发操作,以开启针对目标直播进程的直播。
例如,参考图12,当在直播进程选择列表212中选择了目标直播进程“游戏A”后,可以通过触发213所示的“确认”按钮来完成针对直播进程选择列表212的直播进程选择完成操作,并显示直播触发窗口。进一步地,可以通过触发该直播触发控件来实现直播触发操作,以开启针对“游戏A”的直播。
而终端除了可以通过提供可交互的界面来获取针对目标推广内容的直播设置信息、场景设置信息与推广内容设置信息,并开启直播外,还可以通过获取展示目标推广内容需要的目标识别模型以及目标配置文件,以使得在开启游戏直播后,可以通过获取的目标识别模型以及目标配置文件对直播画面进行识别。具体地,在步骤“在直播客户端显示直播画面”之前,基于直播画面的推广内容展示方法还可以包括:
根据该直播设置信息、该场景设置信息,以及该推广内容设置信息,获取展示目标推广内容需要的目标识别模型及目标配置文件。
其中,在对直播画面中的直播场景进行特征识别之前,可以获取需要的目标识别模型以及目标配置文件。
在一实施例中,目标推广内容包括广告图像与声音,并且,可以针对在直播画面中展示推广内容开发相应的组件或应用,例如,参考图11,可以开发“直播助手”,并将“直播助手”装载在终端上。可以看到,在通过“直播助手”将目标推广内容与直播画面进行智能融合,得到展示有目标推广内容的直播画面前,还可以包括有通过人工智能(ArtificialIntelligence,AI)识别引擎,加载需要的AI识别模型与配置文件,以使得在应用时,可以通过加载有AI识别模型与配置文件的AI识别引擎,完成针对直播画面的特征识别,以及后续的事件触发操作。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在一实施例中,目标推广内容的直播设置信息为“游戏A”,场景设置信息为“选将时刻”,推广内容设置信息为二维码图像的资源地址“C:\图片\二维码.png”与推广音频的资源地址“C:\图片\宣传小店.mp3”,则终端可以相应地获取到,当在直播时要将二维码图像与推广音频展示在游戏A的“选将时刻”游戏场景中时,所需要的目标识别模型及目标配置文件。以使得在对游戏A进行游戏直播时,当要在“选将时刻”游戏场景中展示目标推广内容的二维码图像及播放宣传音频时,可以通过该目标识别模型及目标配置文件实现。
可选的,终端在获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息之前,还可以对目标识别模型进行训练,以得到训练后的目标识别模型。具体地,在步骤“获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息”之前,基于直播画面的推广内容展示方法还可以包括:
获取直播样本视频;
基于直播样本视频,生成训练目标识别模型需要的目标样本图像集合,其中,该目标样本图像集合包括至少一个目标样本图像,该目标样本图像中包括至少一个预设场景特征;
将目标样本图像输入待训练的识别模型,以对所述待训练识别模型进行模型训练,得到训练后的目标识别模型。
其中,直播样本视频可以为训练目标识别模型需要的样本视频,例如,当直播类型为游戏直播时,直播样本视频可以为包括目标游戏在目标游戏场景时的游戏画面的图像集合。
获取直播样本视频的方式可以有多种,例如,可以通过对直播过程进行录制来获取直播样本视频,又如,可以通过对授权用户的线上直播画面进行截取来获取直播样本视频;等等。
在一实施例中,参考图13,在进行模型训练之前,可以通过获取直播样本视频进行素材收集,进一步地,可以对收集到的素材进行预处理,以使得能够基于获取的直播样本视频,生成训练目标识别模型需要的目标样本图像集合。生成目标样本图像集合的方法可以有多种,例如,可以通过对直播样本视频中的样本图像进行筛选、图像增强、组合等操作实现,具体地,步骤“基于直播样本视频,生成训练目标识别模型需要的目标样本图像集合,其中,该目标样本图像集合包括至少一个目标样本图像,该目标样本图像中包括至少一个预设场景特征”,可以包括:
对所述直播样本视频进行图像提取,得到提取后的样本图像;
基于预设场景特征,对提取后样本图像进行图像筛选,得到筛选后的候选样本图像;
对候选样本图像进行图像增强操作,得到增强后的目标样本图像;
对目标样本图像进行组合,得到组合后的目标样本图像集合。
值得注意的是,在进行图像提取前,还可以包括对直播场景进行区域分析与区域标注的步骤,例如,若直播类型为游戏直播,则对于游戏中的各个游戏场景,可以分析可作为代表该游戏场景的展示区域,并对该展示区域进行标注。
其中,分析直播场景中的展示区域的方式可以有多种,例如,可以通过人工分析的方式,如,可以通过人工分析,将直播场景中适于展示推广内容的区域作为展示区域,并对该展示区域进行标注;又如,可以通过模型分析的方式,如,可以将包括直播场景的直播画面输入标注模型中,通过标注模型确定该直播场景中适于展示推广内容的展示区域,并对该展示区域进行标注;等等。
值得注意的是,游戏场景中展示区域的位置可以是固定的、也可以是在一定范围内灵活确定的。例如,若直播类型为游戏直播时,参考图8,对于游戏A中“选将时刻”对应的游戏场景,该游戏场景中的展示区域可以固定为该游戏场景中八边形场地的中央区域。又如,参考图6,对于游戏A中“开始时刻”对应的游戏场景,由于在该游戏场景中,游戏角色可以自由在场景中的场地上进行活动,因此,参考图14,可以将该场地确定为展示推广内容的候选区域,而具体的展示区域,可以在游戏直播时结合该游戏场景中游戏角色的分布来确定,譬如,参考图13,当在游戏直播中,该游戏场景中的游戏角色如图15所示时,可以如图15所示选择展示区域。
其中,对展示区域进行标注的方式可以有多种,例如,可以通过记录展示区域的位置参数实现,又如,可以通过记录展示区域的区域特征实现;等等。
在一实施例中,可以通过记录展示区域的位置参数实现对展示区域进行标注,例如,若标注的展示区域为矩形,则可以记录展示区域左上角坐标的值,以及展示区域的宽、高值;又如,若标注的展示区域为圆形,则可以记录展示区域圆心坐标的值,以及半径值;等等。
对直播样本视频进行图像提取的方式可以有多种,例如,可以使用多媒体处理软件从直播样本视频中提取样本图像。譬如,可以使用FFmpeg按每秒一张的速度对直播样本视频进行图像截取,以实现对该直播样本视频进行图像提取,并得到提取后的样本图像,其中,FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案。
值得注意的是,该提取后的样本图像中可以包括具有场景特征的,也可以包括不具有场景特征的,因此,后续可以对提取后的样本图像进行图像筛选,以得到包括场景特征的候选样本图像。
例如,可以设计一个自动化工具,基于预设的场景特征,从提取后的样本图像中剔除那些不具有场景特征的,使得筛选后的候选样本图像中均包括至少一个预设场景特征。
进一步地,可以对得到的候选样本图像进行图像增强操作,其中,图像增强可以用于增强图像中的有用信息,它可以是一个失真的过程,其目的是要改善图像的视觉效果,针对给定图像的应用场合。并且,图像增强可以有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果,满足某些特殊分析的需要。
进行图像增强的方式可以有多种,例如,可以通过频率域法或空间域法实现,其中,前者把图像看成一种二维信号,对其进行基于二维傅里叶变换的信号增强。采用低通滤波(即只让低频信号通过)法,可去掉图中的噪声;采用高通滤波法,则可增强边缘等高频信号,使模糊的图片变得清晰。而后者空间域法中具有代表性的算法有局部求平均值法和中值滤波(取局部邻域中的中间像素值)法等,它们可用于去除或减弱噪声。
在一实施例中,可以使用Python的imgaug库对得到的候选样本图像进行对比度变换、增加噪声等图像增强操作来对数据集进行扩充,得到增强后的目标样本图像,其中,imgaug是一个用于机器学习实验的图像增强库。
进一步地,在得到增强后的目标样本图像后,即可通过对该目标样本图像进行组合,从而得到组合后的目标样本图像集合。
在得到目标样本图像集合后,参考图13,可以将目标样本图像输入待训练的识别模型,以对待训练识别模型进行模型训练。
进行模型训练的方式可以有多种,例如,可以在结合深度学习框架与深度学习模型的基础上,将目标样本图像输入待训练的识别模型,以对该待训练识别模型进行模型训练。
在一实施例中,可以使用深度学习框架caffee与轻量级模型SqueezeNet,由于该神经网络对模型进行网络深度压缩,使得参数数量比神经网络模型AlexNet显著降低了50X,并且,可以使用深度压缩(DeepCompression)技术,使得压缩比进一步达到461X。进一步地,在通过调整网络的卷积输出层参数,来适配需要识别的类数后,可以通过caffe提供的图像数据转换工具convert_imageset,将目标样本图像集合中的目标样本图像转换为lmdb文件,并在转换过程中打乱顺序,其中,lmdb是LightningMemory-MappedDatabaseManager的缩写,指闪电般的内存映射型数据库管理器,在Caffe中的作用主要是提供数据管理,将形形色色的原始数据转换为统一的键值对存储,便于Caffe的获取这些数据。随后,可以将转换后的目标样本图像的宽高适用性调整为256,并使用GPU(图形处理器,英文全称为GraphicsProcessingUnit)机器(P40)和微调方式对模型进行训练。
102、对直播画面中的直播场景进行特征识别。
值得注意的是,参考图13,在对直播画面中的直播场景进行特征识别之前,还可以将训练后的识别模型部署在终端,以使得终端可以基于部署后的识别模型,对直播画面中的直播场景进行特征识别。例如,可以实现一个基于OpenCV的AI识别引擎来加载训练后的识别模型,并将识别环境部署在终端,以对直播画面中的直播场景进行特征识别。
进一步地,在部署完后,即可对直播画面进行识别,具体地,步骤“对直播画面中的直播场景进行特征识别”,可以包括:
获取直播画面;
从直播画面中提取直播场景对应的直播场景图像;
将直播场景图像输入目标识别模型,以通过该目标识别模型对所述直播场景图像进行特征识别。
在一实施例中,参考图11,可以将游戏画面输入部署在终端上的AI识别引擎,使得对应地,终端可以获取到直播画面,并可以通过AI识别引擎对直播画面中的直播场景进行特征识别。
在实际应用中,直播画面的获取方式可以有多种,例如,可以通过向服务器请求获取;又如,可以通过终端自身,对该终端上的直播画面进行截取、录制等获取;又如,可以通过其他终端设备获取;等等。
其中,由于获取的直播画面中,可以包括直播场景对应的直播场景图像,也可以包括其他的图像内容,例如,背景图像等。因此,在获取直播画面后,可以从直播画面中提取直播场景对应的直播场景图像,例如,可将直播场景部分截取出来,从而得到直播场景图像。
进一步地,参考图11,可以将该获得的直播场景图像输入目标识别引擎,以通过该目标识别引擎对该直播场景图像进行特征识别,具体地,步骤“将直播场景图像输入目标识别模型,以通过该目标识别模型对所述直播场景图像进行特征识别”,可以包括:
获取目标配置文件,其中,该目标配置文件中包括至少一个候选场景特征的特征描述信息;
通过目标识别模型,将直播场景图像与特征描述信息进行特征匹配,得到匹配结果;
基于匹配结果,确定直播画面中直播场景的特征识别结果。
其中,配置文件是一种计算机文件,可以为一些计算机程序配置参数和初始设置,例如,在本实施例中,配置文件中可以包括至少一个候选场景特征的特征描述信息。
由于目标配置文件中包括至少一个候选场景特征的特征描述信息,因此,当目标识别模型在直播场景图像中识别到待匹配的场景特征后,可以通过将该场景特征与目标配置文件中的候选场景特征进行匹配,以得到该直播场景图像的匹配结果。例如,可以通过遍历的方式,将直播场景图像与目标配置文件中的所有候选场景特征进行特征匹配,直至命中或者遍历结束。
其中,匹配结果的形式可以为多种,例如,当将直播场景图像与候选场景特征的特征描述信息进行特征匹配时,可以仅以命中或未命中的形式确定匹配结果;又如,可以将匹配结果以匹配分数的形式呈现;等等。
在一实施例中,可以以匹配分数的形式描述匹配结果,因此,通过特征匹配,可以得到直播画面中直播场景与各候选场景特征的匹配分数。
基于匹配结果确定直播画面中直播场景的特征识别结果的方式可以有多种,例如,当以匹配分数来描述匹配结果时,可以将分数最高的候选场景特征确定为该直播场景命中的场景特征;又如,可以选取最高的匹配分数,并结合预设的阈值,对该匹配分数进行判断,若该最高的匹配分数符合该预设的阈值,则可以认为该匹配分数对应的场景特征为该直播场景命中的候选场景特征,否则,认为该直播场景未命中任何候选场景特征;等等。
103、当在直播场景中识别到目标场景特征时,根据该目标场景特征,在直播画面中确定目标推广内容的目标展示区域。
由于通过目标识别模型在直播场景中识别到了目标场景特征,因此,可以通过确定目标场景特征对应的目标映射关系,来确定目标推广内容的目标展示区域。具体地,步骤“当在直播场景中识别到目标场景特征时,根据该目标场景特征,在直播画面中确定目标推广内容的目标展示区域”,可以包括:
确定针对推广内容的映射关系集合,其中,该映射关系集合包括预设场景特征与预设展示区域之间的映射关系,该预设展示区域为在直播时展示推广内容的区域;
根据映射关系集合和目标场景特征,在直播画面中确定目标推广内容的目标展示区域。
在实际应用中,可以存在多个待展示的推广内容,因此,可以对针对各个待展示的推广内容,确定其对应的映射关系,其中,映射关系为推广内容的展示区域、与该展示区域所在直播场景的场景特征之间的映射关系。在确定了多个待展示的推广内容对应的映射关系后,即得到了针对推广内容的映射关系集合。
进一步地,可以根据该映射关系集合和目标场景特征,在直播画面中确定目标推广内容的目标展示区域。具体地,步骤“根据映射关系集合和目标场景特征,在直播画面中确定目标推广内容的目标展示区域”,可以包括:
确定目标场景特征在映射关系集合中对应的目标映射关系,其中,该目标映射关系为目标场景特征与目标展示区域之间的映射关系,该目标展示区域为在直播时展示目标推广内容的区域;
基于该目标映射关系,生成响应于所述目标场景特征的响应事件;
通过该响应事件,获取确定目标展示区域所需要的位置参数;
根据该位置参数,在直播画面中确定目标展示区域。
由于映射关系集合中包括了多个推广内容的展示区域与场景特征之间的映射关系,因此,可以通过查询或搜索等方式,确定目标场景特征在映射关系集合中对应的目标映射关系,以使得可以通过该目标映射关系,确定当要在直播画面中展示目标推广内容时的目标展示区域。
在一实施例中,参考图11,对直播画面中的直播场景画面经过目标识别引擎进行特征识别时,当命中目标场景特征时,可以触发生成响应于该目标场景特征的响应事件。并且,可以基于该目标映射关系确定对应的目标展示区域,并生成响应于该目标场景特征、且携带该目标展示区域的位置信息的响应事件。由于该响应事件可以将位置信息、直播场景标识等信息发送至系统,因此,即可通过该响应事件,获取确定目标展示区域需要的位置参数。
进一步地,在获取位置参数后,即可基于该位置参数确定直播画面中目标展示区域的位置,以在直播画面中确定目标展示区域。值得注意的是,由于是通过目标场景特征确定了目标展示区域,因此相应地,后续可以通过应用该确定的目标映射关系,进一步地在游戏直播画面中展示目标推广内容。
104、在直播画面的目标展示区域展示目标推广内容。
在确定了目标推广内容在直播画面中的目标展示区域后,即可在该目标展示区域对该目标推广内容进行展示。具体地,步骤“在直播画面的目标展示区域展示目标推广内容”,可以包括:
获取目标推广内容;
确定目标展示区域的位置参数;
基于该位置参数,将目标推广内容展示在目标展示区域。
在一实施例中,参考图11,终端的直播助手通过加载目标推广内容,如,广告、推广音频等来获取目标推广内容,并且,可以在通过响应于目标场景特征的响应事件获取目标展示区域的位置参数后,根据该位置参数,将目标推广内容展示在目标展示区域,例如,可以将广告内容渲染在画布上,并播放推广音频。最终通过直播画面与声音的融合,可以得到融合后的最终画面,其中,最终画面中融合了广告的直播画面和终端播放的推广音频。随后,可以将该最终画面推送到服务器,例如,可以通过实时消息传输协议(RealTimeMessagingProtocol,RTMP)推流到服务器,从而完成在直播画面的目标展示区域展示目标推广内容。
在另一实施例中,当直播类型为游戏时,且直播画面中的直播场景为游戏A的“开始时刻”对应的游戏场景时,在该直播场景中展示“新店开张”的推广图像时,可以如图16所示,在图中所示的目标展示区域展示该目标推广内容。
由上可知,本实施例可以在游戏直播客户端显示游戏直播画面;对所述游戏直播画面中的游戏场景进行特征识别;当在所述游戏场景中识别到目标游戏场景特征时,根据所述目标游戏场景特征,在所述游戏直播画面中确定目标推广内容的目标展示区域;在所述游戏直播画面的目标展示区域展示目标推广内容。
该方案可以通过检测直播画面中的目标场景特征,触发展示目标推广内容,并且,使得目标推广内容在直播画面中的目标展示区域能够更为灵活地选择,例如,可以在特定直播场景中融入目标推广内容;又如,可以在多区域进行展示。这样的话,在直播画面中展示推广内容时则可以不限制于直播画面中的固定区域,如边角区域。此外,对于需要主播参与的直播过程,该方法可以使得在直播过程中进行目标推广内容的展示时,无需主播进行针对目标推广内容的展示触发操作,因而不会干扰主播的当前操作,能够进一步地使得基于直播画面的推广内容的展示可以更为高效地进行。因此,该方法通过结合智能的图像识别技术,能够在直播的特定场景中融入推广内容,大大提高了基于直播画面的推广内容的展示效率。
其次,通过使用本方案实现在直播画面中展示推广内容时,能够高效地对直播画面进行处理,例如,当应用在游戏直播上时,处理游戏直播画面所需的时间大概在50ms至100ms之间,使得基本上能够实现实时地对游戏直播画面进行处理。此外,本方案提供了多种方式来确定目标推广内容的目标展示区域,使得直播场景中展示区域的位置可以是固定的、也可以是在一定范围内灵活确定的,因此,能够在提高基于直播画面的推广内容的展示效率的基础上,提供了更多的展示可能性。
根据上面实施例所描述的方法,以下将举例进一步详细说明。
在本实施例中,将以基于直播画面的推广内容展示装置集成在服务器与终端为例进行说明,该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群;该终端可以为手机、平板电脑、笔记本电脑等设备。
如图17所示,一种基于直播画面的推广内容展示方法,具体流程如下:
301、终端获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,其中,该场景设置信息与直播场景对应,该直播场景具有目标场景特征。
在一实施例中,可以通过在终端上显示针对目标推广内容的推广配置页面来获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息。
例如,终端提供的推广配置页面中可以包括直播设置控件、游戏场景设置控件,以及推广内容设置控件,并且,可以在检测到针对直播设置控件的直播设置操作时,获取针对目标推广内容的直播设置信息;在检测到针对场景设置控件的场景设置操作时,获取针对目标推广内容的场景设置信息;在检测到针对推广内容设置控件的推广内容设置操作时,获取针对目标推广内容的推广内容设置信息。
值得注意的是,其中,本实施例中的控件的表现形式,可以为图标、输入框以及按钮等形式。本实施例中的触发操作的表现形式,可以是特定的触控操作,如单击操作、长按操作、双击操作、以及滑动操作等等,还可以是通过语音的方式触发的;可选的,登录触发操作还可以是一系列操作的组合,本实施例对此没有限制。
302、终端根据直播设置信息、场景设置信息,以及推广内容设置信息,建立目标场景特征与目标展示区域之间的映射关系,其中,该目标展示区域为在直播时展示目标推广内容的区域。
其中,目标场景特征与目标展示区域之间的映射关系,可以用于描述目标场景特征与目标展示区域的对应关系。例如,对于一目标推广内容,当终端在直播画面的直播场景中检测到目标场景特征时,即可通过目标场景特征与目标展示区域之间的映射关系,确定该目标推广内容的目标展示区域。
在本实施例中,由于获取了针对目标推广内容的直播设置信息、场景设置信息、以及推广内容设置信息,即相应地确定了要展示的目标推广内容、展示该目标推广内容的目标直播、以及目标直播时的目标直播场景,并且,由于目标直播场景具有对应的目标场景特征,因此,即可建立目标场景特征与目标展示区域之间的映射关系,以使得在实际应用时,终端可以通过目标场景特征来标识目标场景。
303、终端根据直播设置信息、场景设置信息,以及推广内容设置信息,生成针对目标识别模型的模型请求,并向服务器发送该模型请求。
在一实施例中,终端可以通过直播设置信息确定展示目标推广内容的目标直播。而服务器端可以针对不同的直播类型训练不同的识别模型,因此,终端可以根据获得的直播设置信息,生成模型请求,以向服务器请求对目标直播中的直播画面进行识别时需要的目标识别模型。
在另一实施例中,终端可以通过直播设置信息与场景设置信息,确定展示目标推广内容的目标直播以及对应的目标直播场景。而服务器端可以针对不同的直播类型及直播场景训练不同的识别模型,因此,终端可以根据获得的直播设置信息与场景设置信息,生成模型请求,以向服务器请求对目标直播中包括目标直播场景的直播画面进行识别时需要的目标识别模型。
在另一实施例中,终端可以通过直播设置信息与推广内容设置信息,确定待展示的目标推广内容,以及展示该目标推广内容的目标直播。而服务器端可以针对不同的直播类型及推广内容训练不同的识别模型,因此,终端可以根据获得的直播设置信息与推广内容设置信息,生成模型请求,以向服务器请求对目标直播的直播画面进行识别时需要的目标识别模型。
304、服务器接收模型请求,并向终端发送展示目标推广内容需要的目标识别模型及目标配置文件。
服务器端则可以响应终端发送的模型请求,向终端发送所需的目标识别模型以及目标配置文件。其中,配置文件是一种计算机文件,可以为一些计算机程序配置参数和初始设置,例如,在本实施例中,配置文件中可以包括至少一个候选场景特征的特征描述信息。
305、终端利用目标识别模型与目标配置文件,对直播画面中的直播场景进行特征识别。
在一实施例中,由于目标配置文件中包括至少一个候选场景特征的特征描述信息,因此,终端可以在获取直播画面后,从该直播画面中提取直播场景对应的直播场景图像,并将直播场景图像输入目标识别模型,以通过目标识别模型对直播场景图像进行特征识别。
306、当在直播场景中识别到目标场景特征时,终端根据目标场景特征,在直播画面中确定目标推广内容的目标展示区域。
在一实施例中,终端可以确定针对推广内容的映射关系集合,其中,该映射关系集合包括预设场景特征与预设展示区域之间的映射关系,该预设展示区域为在直播时展示所述推广内容的区域。进而,可以从该映射关系集合中确定目标场景特征对应的目标映射关系,并根据该目标映射关系,在游戏直播画面中确定目标推广内容的目标展示区域。
307、终端在直播画面的目标展示区域展示目标推广内容。
在一实施例中,终端可以在获取目标推广内容后,确定目标展示区域的位置参数,并基该述位置参数,将目标推广内容展示在目标展示区域。
由上可知,本申请实施例可以通过检测直播画面中的目标场景特征,触发展示目标推广内容,并且,使得目标推广内容在直播画面中的目标展示区域能够更为灵活地选择,例如,可以在特定直播场景中融入目标推广内容;又如,可以在多区域进行展示。这样的话,在直播画面中展示推广内容时则可以不限制于直播画面中的固定区域,如边角区域。此外,对于需要主播参与的直播过程,该方法可以使得在直播过程中进行目标推广内容的展示时,无需主播进行针对目标推广内容的展示触发操作,因而不会干扰主播的当前操作,能够进一步地使得基于直播画面的推广内容的展示可以更为高效地进行。因此,本申请实施例通过结合智能的图像识别技术,能够在直播的特定场景中融入推广内容,大大提高了基于直播画面的推广内容的展示效率。
为了更好地实施以上方法,相应的,本申请实施例还提供一种基于直播画面的推广内容展示装置,其中,该基于直播画面的推广内容展示装置可以集成在服务器或终端中。该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群;该终端可以为手机、平板电脑、笔记本电脑等设备。
例如,如图18所示,该基于直播画面的推广内容展示装置可以包括显示单元401,识别单元402,确定单元403,以及展示单元304,如下:
显示单元401,用于在直播客户端显示直播画面;
识别单元402,用于对所述直播画面中的直播场景进行特征识别;
确定单元403,用于当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;
展示单元404,用于在所述直播画面的目标展示区域展示目标推广内容。
在一实施例中,参考图19,所述确定单元403,可以包括:
集合确定子单元4031,可以用于确定针对推广内容的映射关系集合,其中,所述映射关系集合包括预设场景特征与预设展示区域之间的映射关系,所述预设展示区域为在直播时展示所述推广内容的区域;
区域确定子单元4032,可以用于根据所述映射关系集合和所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域。
在一实施例中,所述区域确定子单元4032,可以具体用于:
确定所述目标场景特征在所述映射关系集合中对应的目标映射关系,其中,所述目标映射关系为所述目标场景特征与目标展示区域之间的映射关系,所述目标展示区域为在直播时展示目标推广内容的区域;基于所述目标映射关系,生成响应于所述目标场景特征的响应事件;通过所述响应事件,获取确定目标展示区域所需要的位置参数;根据所述位置参数,在所述直播画面中确定目标展示区域。
在一实施例中,参考图20,所述识别单元402,可以包括:
画面获取子单元4021,可以用于获取所述直播画面;
图像提取子单元4022,可以用于从所述直播画面中提取所述直播场景对应的直播场景图像;
图像输入子单元4023,可以用于将所述直播场景图像输入目标识别模型,以通过所述目标识别模型对所述直播场景图像进行特征识别。
在一实施例中,所述图像输入子单元4023,可以具体用于:
获取目标配置文件,其中,所述目标配置文件中包括至少一个候选场景特征的特征描述信息;通过所述目标识别模型,将所述直播场景图像与所述特征描述信息进行特征匹配,得到匹配结果;基于所述匹配结果,确定所述直播画面中所述直播场景的特征识别结果。
在一实施例中,参考图21,在所述在直播客户端显示直播画面之前,所述基于直播画面的推广内容展示装置,还可以包括:
设置信息获取单元405,可以用于获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,其中,所述场景设置信息与直播场景对应,所述直播场景具有目标场景特征;
映射关系建立单元406,可以用于根据所述直播设置信息、所述场景设置信息,以及所述推广内容设置信息,建立所述目标场景特征与目标展示区域之间的映射关系,其中,所述目标展示区域为在直播时展示所述目标推广内容的区域。
在一实施例中,参考图22,所述设置信息获取单元405,可以包括:
配置页面显示子单元4051,可以用于显示针对目标推广内容的推广配置页面,其中,所述推广配置页面包括至少一个推广配置控件,所述推广配置控件包括直播设置控件、场景设置控件,以及推广内容设置控件;
配置信息获取子单元4052,可以用于响应于针对所述推广配置控件的推广配置操作,获取针对所述目标推广内容的推广配置信息,其中,所述推广配置信息包括直播设置信息、场景设置信息,以及推广内容设置信息。
在一实施例中,参考图23,所述推广配置页面包括效果预览窗口;所述设置信息获取单元405,还可以包括:
预览效果展示子单元4053,可以用于响应于针对所述推广配置控件的推广配置操作,在所述效果预览窗口展示对应的推广展示预览效果。
在一实施例中,参考图24,所述设置信息获取单元405,还可以包括:
进程页面显示子单元4054,可以用于当检测到针对所述推广配置页面的推广配置完成操作时,显示直播进程选择页面,其中,所述直播进程选择页面包括直播进程的选择触发控件;
进程窗口显示子单元4055,可以用于响应于针对所述选择触发控件的选择触发操作,在所述直播进程选择页面中显示直播进程选择窗口,其中,所述直播进程选择窗口包括直播进程选择列表,所述直播进程选择列表包括至少一个可选的直播进程。
在一实施例中,参考图25,所述设置信息获取单元405,还可以包括:
直播窗口显示子单元4056,可以用于当在所述直播进程选择列表中选择目标直播进程后,响应于针对所述直播进程选择列表的选择完成操作,显示直播触发窗口;
游戏直播开启子单元4057,可以用于响应于针对所述直播触发窗口的直播触发操作,开启针对所述目标直播进程的直播。
在一实施例中,参考图26,所述基于直播画面的推广内容展示装置,还可以包括:
识别模型获取单元407,可以用于根据所述直播设置信息、所述场景设置信息,以及所述推广内容设置信息,获取展示所述目标推广内容需要的目标识别模型及目标配置文件。
在一实施例中,参考图27,在所述获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息之前,所述基于直播画面的推广内容展示装置,还可以包括:
样本视频获取单元408,可以用于获取直播样本视频;
图像集合生成单元409,可以用于基于所述直播样本视频,生成训练目标识别模型需要的目标样本图像集合,其中,所述目标样本图像集合包括至少一个目标样本图像,所述目标样本图像中包括至少一个预设场景特征;
样本图像输入单元410,可以用于将所述目标样本图像输入待训练的识别模型,以对所述待训练识别模型进行模型训练,得到训练后的目标识别模型。
在一实施例中,参考图28,所述图像集合生成单元409,可以包括:
图像提取子单元4091,可以用于对所述直播样本视频进行图像提取,得到提取后的样本图像;
图像筛选子单元4092,可以用于基于预设场景特征,对所述提取后样本图像进行图像筛选,得到筛选后的候选样本图像;
图像增强子单元4093,可以用于对所述候选样本图像进行图像增强操作,得到增强后的目标样本图像;
图像组合子单元4094,可以用于对所述目标样本图像进行组合,得到组合后的目标样本图像集合。
在一实施例中,参考图29,所述展示单元404,可以包括:
内容获取子单元4041,可以用于获取目标推广内容;
参数确定子单元4042,可以用于确定所述目标展示区域的位置参数;
内容展示子单元4043,可以用于基于所述位置参数,将所述目标推广内容展示在所述目标展示区域。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的基于直播画面的推广内容展示装置中由显示单元401在直播客户端显示直播画面;由识别单元402对所述直播画面中的直播场景进行特征识别;由确定单元403当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;由展示单元404在所述直播画面的目标展示区域展示目标推广内容。
该方案可以通过检测直播画面中的目标场景特征,触发展示目标推广内容,并且,使得目标推广内容在直播画面中的目标展示区域能够更为灵活地选择,例如,可以在特定直播场景中融入目标推广内容;又如,可以在多区域进行展示。这样的话,在直播画面中展示推广内容时则可以不限制于直播画面中的固定区域,如边角区域。此外,对于需要主播参与的直播过程,该方法可以使得在直播过程中进行目标推广内容的展示时,无需主播进行针对目标推广内容的展示触发操作,因而不会干扰主播的当前操作,能够进一步地使得基于直播画面的推广内容的展示可以更为高效地进行。因此,该方法通过结合智能的图像识别技术,能够在直播的特定场景中融入推广内容,大大提高了基于直播画面的推广内容的展示效率。
此外,本申请实施例还提供一种计算机设备,该计算机设备可以为服务器或终端等设备,如图30所示,其示出了本申请实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括有一个或一个以上计算机可读存储介质的存储器501、输入单元502、显示单元503、音频电路504、无线保真(WiFi,Wireless Fidelity)模块505、包括有一个或者一个以上处理核心的处理器506、以及电源507等部件。本领域技术人员可以理解,图30中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
存储器501可用于存储软件程序以及模块,处理器506通过运行存储在存储器501的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器501可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器501可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器501还可以包括存储器控制器,以提供处理器506和输入单元502对存储器501的访问。
输入单元502可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元502可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器506,并能接收处理器506发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元502还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元503可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元503可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器506以确定触摸事件的类型,随后处理器506根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图30中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
音频电路504、扬声器,传声器可提供用户与计算机设备之间的音频接口。音频电路504可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路504接收后转换为音频数据,再将音频数据输出处理器506处理后,经RF电路601以发送给比如另一计算机设备,或者将音频数据输出至存储器501以便进一步处理。音频电路504还可能包括耳塞插孔,以提供外设耳机与计算机设备的通信。
WiFi属于短距离无线传输技术,计算机设备通过WiFi模块505可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图30示出了WiFi模块505,但是可以理解的是,其并不属于计算机设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器506是计算机设备的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器501内的软件程序和/或模块,以及调用存储在存储器501内的数据,执行计算机设备的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器506可包括一个或多个处理核心;优选的,处理器506可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器506中。
计算机设备还包括给各个部件供电的电源507(比如电池),优选的,电源可以通过电源管理系统与处理器506逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源507还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,计算机设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,计算机设备中的处理器506会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器501中,并由处理器506来运行存储在存储器501中的应用程序,从而实现各种功能,如下:
在直播客户端显示直播画面;对所述直播画面中的直播场景进行特征识别;当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;在所述直播画面的目标展示区域展示目标推广内容。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本实施例的计算机设备可以通过检测直播画面中的目标场景特征,触发展示目标推广内容,并且,使得目标推广内容在直播画面中的目标展示区域能够更为灵活地选择,例如,可以在特定直播场景中融入目标推广内容;又如,可以在多区域进行展示。这样的话,在直播画面中展示推广内容时则可以不限制于直播画面中的固定区域,如边角区域。此外,对于需要主播参与的直播过程,该方法可以使得在直播过程中进行目标推广内容的展示时,无需主播进行针对目标推广内容的展示触发操作,因而不会干扰主播的当前操作,能够进一步地使得基于直播画面的推广内容的展示可以更为高效地进行。因此,本实施例的计算机设备通过结合智能的图像识别技术,能够在直播的特定场景中融入推广内容,大大提高了基于直播画面的推广内容的展示效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种基于直播画面的推广内容展示方法中的步骤。例如,该指令可以执行如下步骤:
在直播客户端显示直播画面;对所述直播画面中的直播场景进行特征识别;当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;在所述直播画面的目标展示区域展示目标推广内容。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种基于直播画面的推广内容展示方法中的步骤,因此,可以实现本申请实施例所提供的任一种基于直播画面的推广内容展示方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述基于直播画面的推广内容展示方面的各种可选实现方式中提供的方法。
以上对本申请实施例所提供的一种基于直播画面的推广内容展示方法、装置和系统进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种基于直播画面的推广内容展示方法,其特征在于,包括:
在直播客户端显示直播画面;
对所述直播画面中的直播场景进行特征识别;
当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;
在所述直播画面的目标展示区域展示目标推广内容。
2.根据权利要求1所述的基于直播画面的推广内容展示方法,其特征在于,当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域,包括:
确定针对推广内容的映射关系集合,其中,所述映射关系集合包括预设场景特征与预设展示区域之间的映射关系,所述预设展示区域为在直播时展示所述推广内容的区域;
根据所述映射关系集合和所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域。
3.根据权利要求2所述的基于直播画面的推广内容展示方法,其特征在于,根据所述映射关系集合和所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域,包括:
确定所述目标场景特征在所述映射关系集合中对应的目标映射关系,其中,所述目标映射关系为所述目标场景特征与目标展示区域之间的映射关系,所述目标展示区域为在直播时展示目标推广内容的区域;
基于所述目标映射关系,生成响应于所述目标场景特征的响应事件;
通过所述响应事件,获取确定目标展示区域所需要的位置参数;
根据所述位置参数,在所述直播画面中确定目标展示区域。
4.根据权利要求1所述的基于直播画面的推广内容展示方法,其特征在于,对所述直播画面中的直播场景进行特征识别,包括:
获取所述直播画面;
从所述直播画面中提取所述直播场景对应的直播场景图像;
将所述直播场景图像输入目标识别模型,以通过所述目标识别模型对所述直播场景图像进行特征识别。
5.根据权利要求4所述的基于直播画面的推广内容展示方法,其特征在于,将所述直播场景图像输入目标识别模型,以通过所述目标识别模型对所述直播场景图像进行特征识别,包括:
获取目标配置文件,其中,所述目标配置文件中包括至少一个候选场景特征的特征描述信息;
通过所述目标识别模型,将所述直播场景图像与所述特征描述信息进行特征匹配,得到匹配结果;
基于所述匹配结果,确定所述直播画面中所述直播场景的特征识别结果。
6.根据权利要求1所述的基于直播画面的推广内容展示方法,其特征在于,在所述在直播客户端显示直播画面之前,所述方法还包括:
获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,其中,所述场景设置信息与直播场景对应,所述直播场景具有目标场景特征;
根据所述直播设置信息、所述场景设置信息,以及所述推广内容设置信息,建立所述目标场景特征与目标展示区域之间的映射关系,其中,所述目标展示区域为在直播时展示所述目标推广内容的区域。
7.根据权利要求6所述的基于直播画面的推广内容展示方法,其特征在于,获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息,包括:
显示针对目标推广内容的推广配置页面,其中,所述推广配置页面包括至少一个推广配置控件,所述推广配置控件包括直播设置控件、场景设置控件,以及推广内容设置控件;
响应于针对所述推广配置控件的推广配置操作,获取针对所述目标推广内容的推广配置信息,其中,所述推广配置信息包括直播设置信息、场景设置信息,以及推广内容设置信息。
8.根据权利要求7所述的基于直播画面的推广内容展示方法,其特征在于,所述推广配置页面包括效果预览窗口;所述方法还包括:
响应于针对所述推广配置控件的推广配置操作,在所述效果预览窗口展示对应的推广展示预览效果。
9.根据权利要求7所述的基于直播画面的推广内容展示方法,其特征在于,所述方法还包括:
当检测到针对所述推广配置页面的推广配置完成操作时,显示直播进程选择页面,其中,所述直播进程选择页面包括直播进程的选择触发控件;
响应于针对所述选择触发控件的选择触发操作,在所述直播进程选择页面中显示直播进程选择窗口,其中,所述直播进程选择窗口包括直播进程选择列表,所述直播进程选择列表包括至少一个可选的直播进程。
10.根据权利要求9所述的基于直播画面的推广内容展示方法,其特征在于,所述方法还包括:
当在所述直播进程选择列表中选择目标直播进程后,响应于针对所述直播进程选择列表的选择完成操作,显示直播触发窗口;
响应于针对所述直播触发窗口的直播触发操作,开启针对所述目标直播进程的直播。
11.根据权利要求6所述的基于直播画面的推广内容展示方法,其特征在于,所述方法还包括:
根据所述直播设置信息、所述场景设置信息,以及所述推广内容设置信息,获取展示所述目标推广内容需要的目标识别模型及目标配置文件。
12.根据权利要求6所述的基于直播画面的推广内容展示方法,其特征在于,在所述获取针对目标推广内容的直播设置信息、场景设置信息,以及推广内容设置信息之前,所述方法还包括:
获取直播样本视频;
基于所述直播样本视频,生成训练目标识别模型需要的目标样本图像集合,其中,所述目标样本图像集合包括至少一个目标样本图像,所述目标样本图像中包括至少一个预设场景特征;
将所述目标样本图像输入待训练的识别模型,以对所述待训练识别模型进行模型训练,得到训练后的目标识别模型。
13.根据权利要求12所述的基于直播画面的推广内容展示方法,其特征在于,基于所述直播样本视频,生成训练目标识别模型需要的目标样本图像集合,包括:
对所述直播样本视频进行图像提取,得到提取后的样本图像;
基于预设场景特征,对所述提取后样本图像进行图像筛选,得到筛选后的候选样本图像;
对所述候选样本图像进行图像增强操作,得到增强后的目标样本图像;
对所述目标样本图像进行组合,得到组合后的目标样本图像集合。
14.根据权利要求1所述的基于直播画面的推广内容展示方法,其特征在于,在所述直播画面的目标展示区域展示目标推广内容,包括:
获取目标推广内容;
确定所述目标展示区域的位置参数;
基于所述位置参数,将所述目标推广内容展示在所述目标展示区域。
15.一种基于直播画面的推广内容展示装置,其特征在于,包括:
显示单元,用于在直播客户端显示直播画面;
识别单元,用于对所述直播画面中的直播场景进行特征识别;
确定单元,用于当在所述直播场景中识别到目标场景特征时,根据所述目标场景特征,在所述直播画面中确定目标推广内容的目标展示区域;
展示单元,用于在所述直播画面的目标展示区域展示目标推广内容。
CN202011139952.3A 2020-10-22 2020-10-22 一种基于直播画面的推广内容展示方法及装置 Pending CN112258232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011139952.3A CN112258232A (zh) 2020-10-22 2020-10-22 一种基于直播画面的推广内容展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139952.3A CN112258232A (zh) 2020-10-22 2020-10-22 一种基于直播画面的推广内容展示方法及装置

Publications (1)

Publication Number Publication Date
CN112258232A true CN112258232A (zh) 2021-01-22

Family

ID=74264770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139952.3A Pending CN112258232A (zh) 2020-10-22 2020-10-22 一种基于直播画面的推广内容展示方法及装置

Country Status (1)

Country Link
CN (1) CN112258232A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732152A (zh) * 2021-01-27 2021-04-30 腾讯科技(深圳)有限公司 直播处理方法、装置、电子设备及存储介质
CN113813593A (zh) * 2021-08-11 2021-12-21 RealMe重庆移动通信有限公司 终端游戏的控制方法及装置、存储介质及终端
CN114071179A (zh) * 2021-11-22 2022-02-18 北京字跳网络技术有限公司 一种直播预览方法、装置、设备、程序产品及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404642A (zh) * 2011-12-06 2012-04-04 鄂文轩 一种移动终端中的广告发布方法和设备
CN107404662A (zh) * 2017-05-31 2017-11-28 武汉斗鱼网络科技有限公司 一种直播间内容推广的方法和装置
CN108449640A (zh) * 2018-03-26 2018-08-24 广州虎牙信息科技有限公司 直播视频输出控制方法、装置及存储介质、终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102404642A (zh) * 2011-12-06 2012-04-04 鄂文轩 一种移动终端中的广告发布方法和设备
CN107404662A (zh) * 2017-05-31 2017-11-28 武汉斗鱼网络科技有限公司 一种直播间内容推广的方法和装置
CN108449640A (zh) * 2018-03-26 2018-08-24 广州虎牙信息科技有限公司 直播视频输出控制方法、装置及存储介质、终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732152A (zh) * 2021-01-27 2021-04-30 腾讯科技(深圳)有限公司 直播处理方法、装置、电子设备及存储介质
CN113813593A (zh) * 2021-08-11 2021-12-21 RealMe重庆移动通信有限公司 终端游戏的控制方法及装置、存储介质及终端
CN114071179A (zh) * 2021-11-22 2022-02-18 北京字跳网络技术有限公司 一种直播预览方法、装置、设备、程序产品及介质
CN114071179B (zh) * 2021-11-22 2023-12-26 北京字跳网络技术有限公司 一种直播预览方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112351302B (zh) 基于云游戏的直播交互方法、装置及存储介质
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
CN112258232A (zh) 一种基于直播画面的推广内容展示方法及装置
CN110647303B (zh) 一种多媒体播放方法、装置、存储介质及电子设备
CN104935980B (zh) 互动信息处理方法、客户端及服务平台
CN107087224B (zh) 内容同步设备和方法
US9363551B2 (en) TV program identification method, apparatus, terminal, server and system
CN107659850B (zh) 媒体信息处理方法和装置
CN109756767B (zh) 预览数据播放方法、装置及存储介质
CN108965981B (zh) 视频播放方法、装置、存储介质及电子设备
CN112516589A (zh) 直播中游戏商品互动方法、装置、计算机设备及存储介质
CN110703913A (zh) 对象交互方法和装置、存储介质及电子装置
CN110554831A (zh) 操作同步方法、装置、设备及存储介质
CN112312217A (zh) 一种图像编辑方法、装置、计算机设备和存储介质
CN112437338A (zh) 虚拟资源转移方法、装置、电子设备以及存储介质
CN111343512A (zh) 信息获取方法、显示设备及服务器
CN106507201A (zh) 一种视频播放控制方法及装置
CN112330371A (zh) 基于ai的智能广告推送方法及装置、系统及存储介质
CN114095793A (zh) 一种视频播放方法、装置、计算机设备及存储介质
US20110279224A1 (en) Remote control method and apparatus using smartphone
CN111274449B (zh) 视频播放方法、装置、电子设备和存储介质
CN110868632B (zh) 视频处理方法、装置、存储介质及电子设备
CN116437155A (zh) 一种直播互动方法、装置、计算机设备和存储介质
CN110784762A (zh) 一种视频数据处理方法、装置、设备及存储介质
CN112165626A (zh) 图像处理方法、资源获取方法、相关设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination