CN111669612A - 基于直播的信息投放方法、装置和计算机可读存储介质 - Google Patents
基于直播的信息投放方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111669612A CN111669612A CN201910175394.7A CN201910175394A CN111669612A CN 111669612 A CN111669612 A CN 111669612A CN 201910175394 A CN201910175394 A CN 201910175394A CN 111669612 A CN111669612 A CN 111669612A
- Authority
- CN
- China
- Prior art keywords
- information
- video frame
- live
- server
- live broadcast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002716 delivery method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 36
- 238000012015 optical character recognition Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 22
- 238000010586 diagram Methods 0.000 description 32
- 238000004422 calculation algorithm Methods 0.000 description 29
- 238000013527 convolutional neural network Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000002411 adverse Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000005507 spraying Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于直播的信息投放方法、装置和计算机可读存储介质。本发明提供的方法中,服务器对直播客户端发送的直播视频流中的视频帧进行处理,确定视频帧中可加载信息区域的位置信息,将视频帧的视频帧标识和可加载信息区域的位置信息携带在指示消息中发送给直播客户端,这样直播客户端在接收到指示消息后,在确定出视频帧标识对应的视频帧满足信息投放条件时向服务器发送信息推送请求,并在接收到服务器推送的消息后在可加载信息区域投放推送的信息。由于本发明中对视频帧进行了识别,故识别出的可加载信息区域不会遮挡直播中重要内容,这样就解决了现有技术中存在的在指定位置处投放广告时所造成的遮挡直播重要内容的问题。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种基于直播的信息投放方法、装置和计算机可读存储介质。
背景技术
目前在直播流中播放的广告、信息都是大众化的广告、信息,并且广告投放的通用做法是在直播流中嵌入广告的方法进行广告投放处理,用户收看到的广告投放时机完全依赖人工指定。参考图1所示的采用现有技术在直播中嵌入广告的效果图。
现有技术是在人工指定时间段、人工指定的视频位置上进行广告投放。由于大多直播内容是难以预计的,以现有方法进行广告投放,不仅会对直播内容产生长时间遮挡,而且还不会考虑广告对直播内容所产生的影响,即不会基于直播内容投放适合的广告。尤其对游戏、影视等直播内容产生严重影响,比如,在游戏、影视等直播过程中出现广告的时机极有可能是直播中精彩部分,广告的出现不仅对直播内容产生长时间遮挡等干扰,更影响了用户观看体验,这就大大降低了广告、信息自身的价值,更有可能对直播平台产生不良影响,参考图1中所示,当前直播为游戏直播,则对于游戏而言右下角往往意味着游戏小地图、技能框或是游戏主播直播框,这样,若在该位置投放广告则会对直播内容产生严重影响,会极大的影响用户的观看体验。
因此,如何在直播中合理地位置处投放广告,避免投放的广告遮挡直播内容,进而降低对直播内容产生的不良影响是值得考虑的问题之一。
发明内容
本发明实施例提供一种基于直播的信息投放方法、装置和计算机可读存储介质,用以在直播中合理地位置处投放广告,避免投放的广告遮挡直播内容,进而降低对直播内容产生的不良影响。
一方面,本发明实施例提供一种服务器出的基于直播的信息投放方法,包括:
接收直播客户端发送的直播视频流;
对直播视频流中的视频帧进行处理,确定所述视频帧中的可加载信息区域的位置信息;
向所述直播客户端发送指示消息,所述指示消息中携带有所述视频帧的视频帧标识和所述可加载信息区域的位置信息,所述视频帧标识用于区分直播视频流中各个视频帧;
接收所述直播客户端在基于所述视频帧标识确定出所述视频帧标识对应的视频帧满足信息投放条件后发送的信息推送请求;
根据所述信息推送请求向所述直播客户端发送推送的信息,以使所述直播客户端在所述可加载信息区域投放所述推送的信息。
另一方面,本发明实施例提供一种终端侧的基于直播的信息投放方法,包括:
向服务器发送直播视频流;
接收所述服务器发送的指示消息,所述指示消息携带有视频帧中可加载信息区域的位置信息和所述视频帧的视频帧标识,其中,所述视频帧为所述服务器从所述直播视频流中获取,所述可加载信息区域的所述位置信息为所述服务器对所述视频帧进行处理确定出的,所述视频帧标识用于区分直播视频流中各个视频帧;
在基于所述视频帧标识确定出所述视频帧标识对应的视频帧满足信息投放条件时,向所述服务器发送信息推送请求;
接收所述服务器推送的信息,并在所述可加载信息区域投放所述推送的信息。
另一方面,本发明实施例提供一种服务器侧的基于直播的信息投放装置,包括:
第一接收模块,用于接收直播客户端发送的直播视频流;
处理模块,用于对直播视频流中的视频帧进行处理,确定所述视频帧中的可加载信息区域的位置信息;
发送模块,用于向所述直播客户端发送指示消息,所述指示消息中携带有所述视频帧的视频帧标识和所述可加载信息区域的位置信息,所述视频帧标识用于区分直播视频流中各个视频帧;
第二接收模块,用于接收所述直播客户端在基于所述视频帧标识确定出所述视频帧标识对应的视频帧满足信息投放条件后发送的信息推送请求;
信息推送模块,用于根据所述信息推送请求向所述直播客户端发送推送的信息,以使所述直播客户端在所述可加载信息区域投放所述推送的信息。
另一方面,本发明实施例提供一种终端侧的基于直播的信息投放装置,包括:
第一发送模块,用于向服务器发送直播视频流;
第一接收模块,用于接收所述服务器发送的指示消息,所述指示消息携带有视频帧中可加载信息区域的位置信息和所述视频帧的视频帧标识,其中,所述视频帧为所述服务器从所述直播视频流中获取,所述可加载信息区域的所述位置信息为所述服务器对所述视频帧进行处理确定出的,所述视频帧标识用于区分直播视频流中各个视频帧;
第一确定模块,用于确定所述视频帧标识对应的视频帧是否满足信息投放条件;
第二发送模块,用于在所述第一确定模块确定出所述视频帧满足信息投放条件时,向所述服务器发送信息推送请求;
第二接收模块,用于接收所述服务器推送的信息,并在所述可加载信息区域投放所述推送的信息。
再一方面,本发明实施例提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行本申请提供的上述任一种基于直播的信息投放方法。
再一方面,本发明实施例提供一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请提供的上述任一种基于直播的信息投放方法。
本发明有益效果:
本发明实施例提供的基于直播的信息投放方法、装置和计算机可读存储介质,由于本发明中对视频帧进行了分析处理,故识别出的可加载信息区域必然不会是视频帧中呈现重要内容的区域,这样,在可加载信息区域投放推送的广告时也不会出现有技术中存在的在指定位置处投放广告时所造成的遮挡直播重要内容的情况发生。此外,本发明中直播客户端在确定视频帧满足信息投放条件后才会获取推送的信息,这样,也就解决了现有技术在人工指定时间投放广告所造成的用户观看直播体验不佳的问题。另外,本发明实施例中还对视频帧进行了事件检测,当检测出视频帧中存在事件后将上述事件的事件类型标识发送给直播客户端,这样,直播客户端在获取推送的信息时可以将上述事件类型标识发送给服务器,由服务器推送与事件类型相匹配的信息,从而实现了在视频帧中投放与视频帧中内容相匹配的信息,提高了用户的直播观看体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为现有技术中在直播中投放广告的效果示意图;
图2为本发明实施例提供的基于直播的信息投放方法的应用场景示意图;
图3a为本发明实施例提供的基于直播的信息投放方法的流程示意图之一;
图3b为本发明实施例提供的服务器的结构示意图;
图4a为本发明实施例提供的识别视频帧中的可加载信息区域的位置信息的流程示意图;
图4b为本发明实施例提供的Yolo v3的网络结构示意图;
图4c为本发明实施例提供的游戏直播中主播框的位置示意图;
图4d为本发明实施例提供的基于主播框区域确定出的可加载信息区域的效果示意图;
图5为本发明实施例提供的基于直播的信息投放方法的流程示意图之二;
图6a为本发明实施例提供的基于直播的信息投放方法的流程示意图之三;
图6b为本发明实施例提供的基于图6a所示的流程投放在视频帧中存在打药事件时投放与其相匹配的广告—百事可乐的效果示意图;
图7a为本发明实施例提供的基于卷积神经网络进行事件检测的执行逻辑示意图;
图7b为本发明实施例提供的利用事件检测模型得到的各游戏场景中的视频帧的事件检测结果示意图;
图8为本发明实施例提供的基于特征模板匹配算法识别英雄事件的效果示意图;
图9a为本发明实施例提供的对视频帧进行初步筛选的流程示意图;
图9b为本发明实施例提供的事件进度标识示意图;
图10为本发明实施例提供的服务器侧的基于直播的信息投放装置的结构示意图;
图11为本发明实施例提供的终端侧的基于直播的信息投放装置的结构示意图;
图12为本发明实施例提供的实施基于直播的信息投放方法的计算装置的结构示意图。
具体实施方式
本发明实施例提供的基于直播的信息投放方法、装置和计算机可读存储介质,用以在直播中合理地位置处投放广告,避免投放的广告遮挡直播内容,进而降低对直播内容产生的不良影响。
以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
为了便于理解本发明,本发明涉及的技术术语中:
1、Yolo算法,You only look once,是一种可以将物体分类和物体定位在一个步骤中完成的物体检测方法,该算法速度非常快,比R-CNN快1000倍,比Fast R-CNN快100倍,特别适合于工程应用和直播视频实时处理,而Yolo v3算法是目前最新的Yolo算法,达到了更好的性能,增加了多尺度预测,使用了更好的基础分类网络和分类器,在保持速度的前提下,解决了Yolo算法颗粒度粗,对小目标无力的问题,Yolo v3算法对紧凑密集或者高度重叠目标也有非常高的检测率,本发明实施例中采用Yolo v3算法来确定视频帧中可加载信息区域的位置信息。
2、Conv2D,是指神经网络中的二维卷积层。
3、UpSampling2D,是指神经网络中的二维反卷积层。
4、卷积神经网络:(Convolutional Neural Network,CNN)是一种针对二维输入识别问题的神经网络,由一个或多个卷积层和池化层(pooling layer)组成。其特点是权值共享,减少了参数数量,且对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
5、终端设备,为可以安装各类客户端,并且能够将已安装的客户端中提供的对象进行显示的电子设备,该电子设备可以是移动的,也可以是固定的。例如,手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、地铁站内的监控设备或其它能够实现上述功能的电子设备等。
6、客户端,为可以完成某项或多项特定工作的计算机程序,它具有可视的显示界面,能与用户进行交互,比如YY直播和微信等都可以称为客户端。
为了解决现有技术中在人工指定时间段及人工指定的视频位置上进行广告投放时所导致的遮挡直播视频内容的问题,本发明实施例给出了解决方案,参考图2所示的应用场景示意图,用户设备11中安装有直播客户端,当用户打开直播客户端进入直播房间观看直播时,直播视频流加载到直播客户端的同时,直播客户端也会将直播视频流发送给服务器12,服务器12接收到直播客户端发送的直播视频流后,对直播视频流中的视频帧进行处理,确定上述视频帧中的可加载信息区域的位置信息,并向直播客户端返回携带有上述视频帧的视频帧标识和上述可加载信息区域的位置信息的指示消息,这样,直播视频帧在接收到上述指示消息后,可以先基于接收到的视频帧标识确定上述视频帧是否满足信息投放条件,然后在确定出满足信息投放条件时,向服务器12发送信息推送请求;这样,服务器12可以根据信息推送请求向所述直播客户端发送推送的信息(如推送的信息为广告等),当直播客户端接收到服务器12发送的推送的信息后,即可在所述可加载信息区域投放推送的信息。基于此,由于本发明中服务器对视频帧进行了分析,然后确定视频帧中可加载信息区域,上述可加载信息区域为不会遮挡直播视频中重要内容的区域,若直播为游戏,则该可加载信息区域不会是主播框区域,这样,也就解决了现有技术中在人工指定时间段及人工指定的视频位置上进行广告投放时所导致的遮挡直播视频内容的问题,从而提高了观看直播的用户的观看体验。
需要说明的是,用户设备11与服务器12之间通过网络进行通信连接,该网络可以为局域网、广域网等。用户设备11可以为便携设备(例如:手机、平板、笔记本电脑等),也可以为个人电脑(PC,Personal Computer),服务器12可以为任何能够提供互联网服务的设备,用户设备11中的直播客户端可以为YY直播等等。
下面结合图2的应用场景,参考下面各图来描述根据本发明示例性实施方式提供的基于直播的信息投放方法。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
如图3a所示,为本发明实施例提供的基于直播的信息投放方法的流程示意图,以图2中的服务器实施上述方法为例,服务器12可以按照下述步骤实施:
S31、直播客户端向服务器发送直播视频流。
具体地,当用户进入直播房间后,视频流在加载到直播客户端的同时,直播客户端也将视频流传到服务器端。
S32、服务器对直播视频流中的视频帧进行处理,确定所述视频帧中的可加载信息区域的位置信息。
可选地,服务器可以从接收到的直播视频流中截取视频帧,然后对截取到的视频帧进行识别处理,得到截取的视频帧中的可加载信息区域的位置信息。
具体地,如图3b所示的服务器的结构示意图,服务器包括处理模块和信息推送模块,其中,上述处理模块包括截图模块和识别模块,服务器在接收到直播视频流后,截图模块会对直播视频流进行解密操作,然后可以按周期截取相应截取视频帧,该周期可以以秒为单位,由此服务器完成截取视频帧操作。另一个实施例中,截图模块可以将直播视频流的每一视频帧进行截取,然后对截取的每一视频帧进行分析,识别各个视频帧中可加载信息区域的位置信息。
可选地,本发明中的可加载信息区域中的信息可以但不限于包括广告、文本信息等,若信息为广告,则可加载信息区域为可加载广告区域。为了候选描述方便,后续以在直播中嵌入的信息为广告为例进行说明。
本步骤中,当服务器中截图模块按秒截取视频帧后,将截取的视频帧发送给识别模块,由识别模块确定视频帧中可加载广告区域的位置信息。可选地,本发明中的可加载广告区域一般在主播框、射击类游戏的狙击镜附近等。主播框在直播画面中一般为矩形框,但不同主播会对主播框有不同的处理,如增加花边边框或以绿幕去除背景等。主播框的样式不仅不同,而且主播框的大小也有很大差异,一般物体检测算法很难检测到。另一方面,在游戏直播画面中对算法的实时性要求很高,这需要物体检测算法必须快速响应并返回结果。考虑到上面两个因素,本发明实施例提出可以采用Yolo v3物体检测算法来检测视频帧中的可加载广告区域的位置信息。
具体地,识别模块可以按照图4a所示的流程实施步骤S32,包括以下步骤:
S41、根据截取的视频帧和训练好的区域定位模型,确定所述视频帧中不可遮挡候选区域的位置信息和置信度。
本步骤中,训练好的区域定位模型为训练好的Yolo v3网络,Yolo v3的网络结构参考图4b所示,本发明实施例中的Yolo v3网络采用了darknet-53基础网络,大大提高了网络拟合能力,另外还借鉴了残差网络(ResNet)的残差结构,其速度与ResNet-101或ResNet-152准确率接近,但速度更快。此外,在预测方面,Yolo v3增加了多尺度预测,输出了3个不同尺度的特征图,每种尺度预测3个anchor box,在保持速度的前提下,解决了Yolo算法颗粒度粗、对小目标无力计算的问题。需要说明的是,图4b所示的Yolo v3网络中涉及的关键技术名称解释可以参考表1所示:
表1
Darknet-53 | Yolo V3的特征提取层 |
Inputs | 网络输入:图片 |
batch_size | 网络一次迭代所需的图片规格 |
Conv 2D | 神经网络中的二维卷积层 |
UpSampling 2D | 神经网络中的二维反卷积层 |
Residual Block | 残差卷积块 |
Concat | 连接层 |
基于上述原理,识别模块可以将截取的视频帧图像输入至训练好的Yolo v3网络中,该网络首先提取视频帧的特征,然后对提取的特征进行处理就可以输出视频帧中不可遮挡候选区域的位置信息和置信度。该置信度用于表征不可遮挡候选区域的类别的置信度。
具体地,以直播中的主播框为例进行说明,主播框一般是不允许被遮挡的,故本发明中训练好的Yolo v3网络输出的不可遮挡候选区域可以理解为候选主播框的位置信息和候选主播框类型的置信度。
S42、根据不可遮挡候选区域的置信度,确定不可遮挡区域。
本步骤中,置信度越高越表明,候选主播框越有可能是主播框,置信度越低,候选主播框为主播框的可能性越低,基于此,识别模块可以基于各个候选主播框类型的置信度可以确定视频帧中真实的主播框的具体位置,参考图4c所示,图4c中给出了游戏直播中主播框的位置示意图。
S43、根据不可遮挡区域的位置信息,确定所述视频帧中可加载信息区域的位置信息。
本步骤中,图4c中主播框区域即为不可遮挡区域,则基于该不可遮挡区域的位置信息,选择靠近该不可遮挡区域且不属于该不可遮挡区域的边缘区域确定为可加载信息区域,然后输出可加载信息区域的位置信息。如图4d所示,图4d中给出了基于主播框区域确定出的可加载信息区域,当嵌入的信息为广告时,则图4d中可加载信息区域就是可加载广告区域。
可选地,确定出的可加载信息区域的位置信息可以表示为:中心点的坐标,可加载信息区域的长和宽。可选地,确定出的可加载信息区域的位置信息可以表示为:中心点的坐标,可加载信息区域的长和宽,以及加载信息内容的格式与时间长度。当然,还可以有其他表示方法,具体可以根据实际情况而定。
可选地,在确定该视频帧中可加载信息区域的位置信息时,还可以按照下述过程实施:确定该视频帧与前一视频帧之间的变化程度,若变化程度大于预设程度阈值,则基于图4a所示的流程确定该视频帧中可加载信息区域的位置信息。若变化程度小于预设程度阈值,则直接将前一视频帧中可加载信息区域的位置信息作为该视频帧中可加载信息区域的位置信息,将其与该视频帧的视频帧标识携带在指示消息中发送给直播客户端,这样,就可以实现直播客户端在固定位置投放广告的目的,同时也不会遮挡视频帧中重要的内容。
可选地,在同一应用场景中,有些视频帧上能够投放广告的区域的位置信息是固定的,例如,有些游戏场景中主播框所在位置区域的正上方或者左侧固定位置处一般可用于投放广告,故可以预先对一个游戏中的各个游戏界面进行分析,然后筛选出一些可以在固定位置投放广告的视频帧,并记录这些视频帧中可投放广告区域的位置信息并进行存储,格式形如:(视频帧图像,视频帧图像中可加载信息区域的位置信息)。这样,当从直播视频流中获取到视频帧后,可以将该视频帧与上述筛选出的视频帧进行匹配,若匹配成功,则将匹配成功的视频帧的可加载信息区域的位置信息确定为该视频帧中的可加载信息区域的位置信息;若均匹配不成功,则再按照图4a的流程的该视频帧中的可加载信息区域的位置信息。
S33、服务器向所述直播客户端发送指示消息,所述指示消息中携带有所述视频帧的视频帧标识和所述可加载信息区域的位置信息。
本步骤中,在直播中嵌入广告等信息时,也不是一直在直播界面显示广告等信息,而且本发明中服务器截取的是直播视频流中某一帧视频图像,同时确定的也是该帧视频图像中可加载信息(广告)区域,这样,即使投放广告等信息时也应该在该视频帧上可加载信息(广告)区域投放广告,基于该理由,服务器中识别模块在实施步骤S32之后,会将截取的视频帧的视频帧标识和该视频帧中可加载信息区域的位置信息发送给直播客户端,以使直播客户端来判断是否能够投放广告。
可选地,本发明中的视频帧标识用于区分直播视频流中各个视频帧,视频帧标识可以用视频帧的时间戳来表征,由于直播视频流中各视频帧之间都是有时间顺序的,也即各个视频帧的时间戳互不相同,故可以用视频帧的时间戳作为视频帧的视频帧标识。当然,还可以采用其他能够唯一表征视频帧的信息作为视频帧标识,如采用直播房间ID和/或直播平台ID+时间戳等作为视频帧标识,具体可以根据实际情况而定。
S34、直播客户端在确定出所述视频帧标识对应的视频帧满足信息投放条件时,向所述服务器发送信息推送请求。
本步骤中,直播客户端可以按照下述过程确定视频帧标识对应的视频帧是否满足广告投放条件,包括:确定视频帧标识对应的视频帧的发生时间;若确定上述发生时间在信息频控范围内,则确定视频帧标识对应的视频帧不满足信息投放条件;若确定出上述发生时间不在信息频控范围内,则确定视频帧标识对应的视频帧满足信息投放条件。
具体实施时,为了避免长时间在直播中投放广告而影响用户对直播的观看体验的问题发生,本发明实施例提出在每投放一个广告等信息的同时,设置一个信息频控范围,该信息频控范围为时间范围,当视频帧的发生时间落到该信息频控范围内,则表明若继续在视频帧投放广告等信息,则可能会存在频繁投放广告等信息的情况,为了避免这一情况发生,本发明提出,当确定出视频帧的发生时间在信息频控范围内,则表明当前不能投放广告,则此时直播客户端忽略本次接收的指示消息,即:不会向服务器发送广告投放请求,进而也就避免了频繁投放广告影响用户的直播体验等情况的发生。当直播客户端确定视频帧的发生时间不在信息频控范围内,则表明可以投放广告等信息,则此时直播客户端会向服务器发送信息投放请求,以获取服务器推送的广告等信息。
可选地,直播客户端接收到视频帧标识后,可以基于视频帧标识找到对应的视频帧,然后就可以确定出视频帧在直播视频流的发生时间。具体地,当视频帧标识为视频帧中的时间戳时,该时间戳就可以被确定为视频帧的发生时间。
为了更好地理解步骤S34,以投放的信息为广告为例进行说明,若在上一视频帧投放广告的时间为9分30秒,且基于上一视频帧投放广告后设置的广告频控范围为:[9分30秒,14分30秒],则当确定出当前接收到的视频帧在直播视频流中的发生时间为12分30秒时,则可以确定发生时间12分30秒在该广告频控范围内,则确定接收到的视频帧不满足广告投放条件,则流程结束;若确定出当前接收到的视频帧的发生时间为15分15秒,则可以确定发生时间15分15秒不在上述广告频控范围内,则确定接收到的视频帧满足广告投放条件,则直播客户端向服务器发送广告推送请求。
S35、服务器根据所述信息推送请求向所述直播客户端发送推送的信息。
具体地,直播客户端在发送信息推送请求时,是将信息推送请求发送给服务器中的信息推送模块的,故本步骤中,信息推送模块在接收到直播客户端发送的信息推送请求后,即可为直播客户端确定推送的信息。具体地,信息推送模块可以随机筛选一条信息作为推送的信息,或者,也可以查找上一次为直播客户端推送的信息,然后将与上一次推送的信息相关的信息作为要推送的信息。
S36、直播客户端根据所述可加载信息区域的位置信息,在所述可加载信息区域投放所述推送的信息。
本步骤中,结合图4d进行说明,当推送的信息为广告时,直播客户端接收到服务器中的信息推送模块推送的广告后,即可在图4d所示的可加载广告区域投放推送的广告。
可选地,直播客户端在接收到上述推送的信息后,由于直播客户端一直在播放直播视频流中每一帧视频,故直播客户端接收到的视频帧标识对应的视频帧的播放情况有可能存在三种情况:一种是已经播放、正在播放和未播放。然而接收到的推送的信息本是要在视频帧标识对应的视频帧上投放的,故直播客户端需要判断当接收到推送的信息后,视频帧标识对应的视频帧是否播放,因此本发明实施例提出,直播客户端在接收到推送的信息之后,以及在所述可加载信息区域投放所述推送的信息之前,还可以包括图5所示的流程,可以包括以下步骤:
S51、获取推送的信息中的时间戳和当前正在播放的视频帧的时间戳。
S52、确定所述信息中的时间戳与所述视频帧的时间戳之间的差值在预设差值范围内。
步骤S51和步骤S52中,一般情况下,信息中都会携带时间戳,故直播客户端在接收到信息推送模块推送的信息时,可以获取推送的信息中的时间戳。为了确认是否能够投放接收到的信息,直播客户端还需要获取当前正在播放的视频帧的时间戳,然后将推送的信息中的时间戳与当前正在播放的视频帧中的时间戳进行比对,若确定出当前正在播放的视频帧的时间戳与上述推送的信息中的时间戳相差较小或相等时,则在正在播放的视频帧上投放上述推送的信息。若上述两个时间戳相差过大,则放弃本次广告加载。
具体地,若确定出当前正在播放的视频帧的时间戳大于推送的信息中的时间戳且与推送的信息中的时间戳之差高于设定值,则表明视频帧标识对应的视频帧已经播放且距离当前已经过去很长时间,则直播客户端不会再当前直播的视频帧上投放上述推送的信息。例如,直播过程中,有些场景需要占用多个视频帧,且多个视频帧图像相差不大,若在多个视频帧中任一视频帧中投放广告可能不会遮挡直播内容,也不会对用户造成不良影响,然而若播放至下一场景时由于场景发生变化,则相邻两张视频帧图像会相差比较大,则若此时继续嵌入广告时,可能会存在遮挡直播内容产生遮挡。因此,直播客户端需要确定当前正在播放的视频帧的时间戳与推送的广告中的时间戳之间的大小,在高于推送的广告中的时间戳时,确定这两个时间戳的差值,若差值小于设定值,表明两个时间戳相差较小,表明可能处于同一个场景中,则允许在当前正在播放的视频帧投放推送的广告;若差值大于设定值,表明两个时间戳相差较大,则表明当前正在播放的视频帧与推送的广告对应的视频帧相差较大,则此时不在当前正在播放的视频帧中投放推送的广告。
若确定出当前正在播放的视频帧的时间戳等于推送的信息中的时间戳,则表明视频帧标识对应的视频帧正在播放,则直播客户端在该视频帧上投放上述推送的信息;若确定出当前正在播放的视频帧的时间戳小于推送的信息中的时间戳,则表明视频帧标识对应的视频帧未播放,则暂时不播放上述推送的信息,直到直播客户端播放视频帧标识对应的视频帧时,在该视频帧上投放上述推送的信息。
采用图3a所示的流程,服务器从直播客户端发送的直播视频流中截取视频帧,然后识别截取的视频帧中可加载信息区域的位置信息,并将截取的视频帧的视频帧标识和可加载信息区域的位置信息携带在指示消息中发送给直播客户端,这样,直播客户端在接收到指示消息后,可以基于视频帧标识确定视频帧标识对应的视频帧是否满足信息投放条件,在满足信息投放条件时向服务器发送信息推送请求,以及在接收到服务器推送的消息后,在可加载信息区域投放推送的信息。由于本发明中对视频帧进行了识别,故识别出的可加载信息区域必然不会是视频帧中不可被遮挡区域,这样,在可加载信息区域投放推送的广告时也就不会出现有技术中存在的在指定位置处投放广告时所造成的遮挡直播重要内容的情况。此外,本发明中直播客户端在确定视频帧满足信息投放条件后才会获取推送的信息,这样,也就解决了现有技术在人工指定时间投放广告所造成的用户直播观看体验不佳的问题。
现有技术中并不会考虑直播内容,直接在指定位置处投放广告,这样会影响用户的观看直播体验。为了更好地为用户提供服务,本发明提出对视频帧进行事件检测,以便向直播客户端推送与视频帧中发生的事件相关的广告,为此,本发明提出服务器在执行步骤S32之前,还可以执行对视频帧进行事件检测的步骤,由于实施了该步骤,故后续服务器向直播客户端反馈的信息有所不同,故可以结合步骤S31,可以按照图6a所示的流程实施基于直播的信息投放方法,其中,图6a中仅给出服务器接收到的直播视频流之后的流程,图6a的流程包括以下步骤:
S61、服务器对直播视频流中的视频帧进行事件检测,并确定所述视频帧中存在事件。
本发明中的事件用于表征视频帧中的内容,当直播为游戏直播时,则可以包括狙击场景中打开狙击镜事件、游戏加载事件和游戏结束事件等等。
本步骤中,由服务器中的识别模块实施,具体地,识别模块可以直接利用识别算法对截取的视频帧进行事件检测,或者先对截取的视频帧进行预处理,然后对预处理后的视频帧进行事件检测。可选地,截取的视频帧实质上也是一幅图像,故可以用图像预处理算法对视频帧进行预处理,以便于更好地识别视频帧是否存在事件,其中,图像预处理算法可以但不限于包括:图片大小缩放算法、图片二值化处理算法和图片部分区域截取算法等等。
可选地,识别模块在对视频帧进行事件检测时,本发明给出了三种方法,当然不限于这三种算法,具体可以根据应用场景的不同选取合适的算法进行事件检测,接下来对每一种事件检测算法进行介绍:
方式一:基于卷积神经网络分类算法的事件检测。
具体地,识别模块可以基于卷积神经网络的分类算法对视频帧进行事件检测,包括:根据截取的视频帧和训练好的事件检测模型,确定所述视频帧是否存在事件,其中,所述事件检测模型的训练样本为:存在事件的事件图像样本和除事件图像样本以外的图像样本。
具体地,参考图7a所示的基于卷积神经网络进行事件检测的执行逻辑示意图,将截取的视频帧输入至训练好的事件检测模型中,该事件检测模型会输出视频帧的事件检测结果,若视频帧中存在事件,输出结果会输出存在的事件类型标识,若视频帧中不存在事件,则输出用于表征不存在事件的标识,且区别于事件类型标识。可选地,可以用数字来表示事件类型标识,且不同的事件类型标识对应的事件也不相同。例如,数字“1”标识打开狙击镜事件,数字“1”标识游戏加载事件,数字“3”标识游戏结束事件等,而数字“0”不存在事件。基于此,利用卷积神经网络即可识别出视频帧中是否存在事件,及存在的事件的事件类型标识。
可选地,本发明中的事件检测模型为训练好的卷积神经网络,利用各种事件分别对应的事件图像样本和不存在事件的图像样本对卷积神经网络进行迭代训练得到。具体的,在训练结束后,将训练好的事件检测模型的模型数据(如模型参数值)存储到识别模块中。当识别模块启动时首先加载存储的模型数据,然后等待截取模块截取的视频帧,再对截取的视频帧进行事件检测并获得事件检测结果。例如,图7b分别给出了游戏加载事件和游戏结束事件的事件检测结果。需要说明的是,实际应用中可能存在多张图像表征同一事件的情况,例如,图7b中第一行第2张图、第二行第1张图和第2张图的事件检测结果均为游戏结束事件。
方式二:基于特征模板匹配的事件检测。
可选地,可以按照下述过程实施方式二,包括:将所述视频帧与每一事件的特征模板进行特征匹配;根据匹配结果,确定所述视频帧是否存在事件。
具体地,将视频帧与每一事件的特征模板输入至特征模板匹配算法中,该模板匹配算法就可以确定视频帧中是否存在事件。
具体实施时,预先配置多种事件对应的特征模板,然后识别模块利用特征模板匹配算法对截取的视频帧和多种事件对应的特征模板进行快速匹配,分别确定截取视频帧与各个事件的特征模板相匹配的像素点的数量,若基于某一事件的特征模板确定出相匹配的像素点的数量大于设定数量阈值,则确定截取的视频帧中存在该事件。例如,若基于打开狙击镜事件的特征模板确定出相匹配的像素点的数量大于设定数量阈值,则确定视频帧中存在事件,则存在的事件为打开狙击镜事件。如图8所示,在英雄联盟游戏中,可利用特征模板匹配算法将视频帧与英雄头像特征模板进行匹配,以确定视频帧中存在英雄击杀事件。
方式三:基于光学字符识别算法的事件检测。
可选地,可以按照下述过程基于方式三对视频帧进行事件检测,包括:利用光学字符识别方法识别所述视频帧中包含的文字,并根据文字识别结果确定所述视频帧是否存在事件。
具体地,一些事件所在的图像中可能包含特定文字,且不同的事件对于的文字不同,故基于此原理,可以利用光学字符识别算法识别截取的视频帧中是否包含文字,根据文字识别结果利用事件与文字之间的规则对视频帧中是否存在事件进行判别。
一般情况下,文字识别速度时比较慢的,故在实际场景中,为了避免文字识别速度过慢并对服务器造成负担的问题,本发明提出在利用光学字符识别方法对所述视频帧中包含的文字进行文字识别之前,对视频帧进行初步筛选,具体可以按照图9a所示的流程实施,包括以下步骤:
S91、确定所述视频帧中表征事件进度的标识所在区域的颜色。
S92、根据所述颜色,确定所述视频帧疑似存在事件。
具体地,一般事件都有事件进度标识,而当事件开始实施时,事件进度标识也会发生变化,一般用颜色来表示,而不同事件在实施时,其事件进度标识发生变化时颜色也是不相同的,故可以基于此原理对视频帧进行初步筛选。如图9b所示,在绝地求生游戏中,包扎伤口事件可以通过图9b事件进度标识(左侧加载区域)所在区域的颜色来判断当前视频帧是否疑似存在事件,如果基于颜色确定视频帧中疑似存在事件,则再利用光学字符识别方法对图9b中右侧的文字区域进行细粒度的文字识别,这样仅对初步筛选通过的图像进行文字识别,减少了光学字符识别方法的使用次数,从而在一定程度上减轻了服务器的负担。
若识别模块确定视频帧中未存在事件,则无需针对当前视频帧执行后续步骤,由于本发明中仅选取了一些特定事件且在这些特定事件中嵌入广告不会对直播内容造成很大影响,不影响直播观看体验,故当检测到视频帧中不存在这些事件时,也就无需确定视频帧中的可加载信息区域了;此时,识别模块继续对接收到的下一视频帧进行事件检测。
S62、服务器识别所述视频帧中的可加载信息区域的位置信息。
具体地,步骤S62的实施可以参考步骤S32的实施,此处不再详细赘述。
S63、服务器向直播客户端发送指示消息,所述指示消息包括所述视频帧的视频帧标识、所述可加载信息区域的位置信息和所述事件的事件类型标识。
可选地,当步骤S61确定出视频帧中存在事件时,则为了能够投放与事件相关的广告,服务器需要将事件的事件类型标识同视频帧标识和视频帧中可加载信息区域的位置信息一起发送给直播客户端。
S64、直播客户端在基于所述视频帧标识确定出所述视频帧满足信息投放条件时,向所述服务器发送携带有所述事件类型标识的信息推送请求。
本步骤中,直播客户端可以按照步骤S34中的描述确定视频帧是否满足信息投放条件。具体地,在确定出满足信息投放条件时,由于服务器中各个模块分工不同,为了保证信息推送模块准确地返回与事件相关的信息,直播客户端需要将事件类型标识发送给服务器中的信息推送模块。
S65、服务器根据所述信息推送请求中携带的事件类型标识,确定与所述事件类型相匹配的信息。
本步骤中,信息推送模块接收到事件类型标识后,就可以确定与事件类型相关的信息,从而使得直播客户端在视频帧中嵌入与直播内容相关的广告,以更好地为用户提供服务。
S66、服务器向所述直播客户端发送与所述事件类型相匹配的信息。
S67、直播客户端在接收到与所述事件类型相匹配的信息后,根据所述可加载信息区域的位置信息,在所述可加载信息区域投放所述相匹配的信息。
具体地,步骤S67的实施可以参考步骤S36的实施,此处不再详细描述。参考图6b所示,为基于图6a所示的流程投放在视频帧中存在打药事件时投放与其相匹配的广告—百事可乐的效果示意图(在图的右边),利用基于光学字符识别算法识别出图6b中打药事件中文字部分“引用能量饮料”,则在推送广告时推送与该事件相匹配的百事可乐广告,即实现了推送与直播内容相匹配的广告的目的。
可选地,在图3a所示的流程基础之上,还可以包括:确定直播视频流中每一视频帧中的可加载信息区域的位置信息;并统计具有相同可加载信息区域的位置信息的视频帧的数量,或者统计具有的位置信息差别较小的视频帧的数量;然后基于统计出的视频帧的数量,确定具有相同可加载信息区域的位置信息的各个视频帧所占的视频长度;再将上述视频长度同上述可加载信息区域的位置信息、上述各个视频帧中时间戳最小的视频帧的视频帧标识携带在指示消息中发送给直播客户端。
这样,直播客户端接收到视频长度后,以及在确定出视频帧标识对应的视频帧满足信息投放条件后,将视频长度发送给服务器,由服务器向直播客户端推送与视频长度相匹配的信息,这样,直播客户端就可以以视频帧标识对应的视频帧为基准开始投放服务器推送的与视频长度相匹配的信息,当与视频长度相匹配的信息为广告时,以视频长度大于n帧(n大于1)为例,则广告为具有相应帧的动态广告,则投放广告的过程为:在视频帧标识对应的视频帧的上述位置信息处上投放动态广告的第一帧,然后在上述视频帧的下一视频帧的上述位置信息处投放动态广告的第二帧,直至在第n个视频帧中的上述位置信息处投放动态广告的第n帧,这样也就实现了动态广告的投放。
可选地,在确定出具有相同可加载信息区域的位置信息的各个视频帧所占的视频长度后,当按照图6a的流程实施时,还可以将可加载信息区域的位置信息、视频长度、上述各个视频帧中时间戳最小的视频帧的视频帧标识和事件类型标识携带在指示消息中发送给直播客户端,这样,直播客户端在接收到上述指示消息后,可以将视频长度和事件类型标识携带在信息推送请求中发送给服务器,当服务器接收到事件类型标识和视频长度后,先基于事件类型标识筛选出与事件类型相匹配的信息,然后在基于视频长度从与事件类型相匹配的信息中进一步筛选出与视频长度相匹配的信息,然后将筛选出的与视频长度相匹配的信息发送给直播客户端,这样直播客户端就可以以视频帧标识对应的视频帧为基准开始投放上述与视频长度相匹配的信息,具体投放过程可以参考上一段中的描述。
可选地,直播客户端按照图3a或图6a所示的流程在可加载信息区域投放推送的信息后,还可以包括:重新配置信息频控范围。具体地,以投放推送的信息的时间为基准,重新配置信息频控范围。这样一来,就可以防止因短时间内多次出现信息(广告)导致用户观看直播的体验不佳的情况发生。
可选地,本发明实施例提供的基于直播的信息推送方法还可以包括下述流程,包括以下步骤:
步骤一:确定推送的信息的投放时间。
步骤二:在所述投放时间达到设定投放时长时,不在所述可加载信息区域投放所述推送的信息。
若推送的信息长时间展示在直播中,可能会影响用户的直播观看体验,为了避免这一问题,本发明提出了解决方案,直播客户端实时确定推送的信息在直播中的投放时长,一旦确定出投放时长达到预设投放时长时,如2分钟,则不在可加载信息区域继续投放推送的信息。这样,就可以避免推送的信息长时间存在于直播中。
采用图6a所示的流程,服务器在截取到直播视频流中的视频帧后,对视频帧进行事件检测,并在确定出视频帧中存在事件时,确定视频帧中可加载信息区域的位置信息,然后将视频帧中存在的事件的事件类型标识、可加载信息区域的位置信息和视频帧标识携带在指示消息中发送给直播客户端,直播客户端在基于视频帧标识确定视频帧满足信息投放条件后,将上述事件类型标识携带在信息推送请求中发送给服务器,使得服务器基于事件类型标识确定与事件类型相匹配的信息,然后将相匹配的信息发送给直播客户端,使得直播客户端在可加载信息区域投放上述相匹配的信息,由此,实现了在视频帧合适的区域投放与视频帧内容相关的信息,以向用户展示更好地直播效果。
基于同一发明构思,本发明实施例中还提供了一种服务器侧的基于直播的信息投放装置,由于上述装置解决问题的原理与服务器侧的基于直播的信息投放方法相似,因此上述装置的实施可以参见方法的实施,重复之处不再赘述。
如图10所示,为本发明实施例提供的服务器侧的基于直播的信息投放装置的结构示意图,包括:
第一接收模块101,用于接收直播客户端发送的直播视频流;
处理模块102,用于对直播视频流中的视频帧进行处理,确定所述视频帧中的可加载信息区域的位置信息;
发送模块103,用于向所述直播客户端发送指示消息,所述指示消息中携带有所述视频帧的视频帧标识和所述可加载信息区域的位置信息,所述视频帧标识用于区分直播视频流中各个视频帧;
第二接收模块104,用于接收所述直播客户端在确定出所述视频帧标识对应的视频帧满足信息投放条件后发送的信息推送请求;
信息推送模块105,用于根据所述信息推送请求向所述直播客户端发送推送的信息,以使所述直播客户端在所述可加载信息区域投放所述推送的信息。
所述处理模块102,还用于在确定所述视频帧中的可加载信息区域的位置信息之前,对所述视频帧进行事件检测,并确定所述视频帧中存在事件;
所述发送模块103,具体用于向所述直播客户端发送携带有所述事件的事件类型标识的指示消息;
所述信息推送模块105,具体用于根据所述信息推送请求中携带的事件类型标识,向所述直播客户端发送与所述事件类型相匹配的信息,以使所述直播客户端在所述可加载信息区域投放所述相匹配的信息。
可选地,所述处理模块102,具体用于根据所述视频帧和训练好的事件检测模型,确定所述视频帧是否存在事件,其中,所述事件检测模型的训练样本为:存在事件的图像样本和存在除事件以外的图像样本。
可选地,所述处理模块102,具体用于利用光学字符识别方法识别所述视频帧中包含的文字,并根据文字识别结果确定所述视频帧是否存在事件。
可选地,本发明提供的基于直播的信息投放装置,还包括:
确定模块106,用于在所述处理模块102利用光学字符识别方法对所述视频帧中包含的文字进行文字识别之前,确定所述视频帧中表征事件进度的标识所在区域的颜色;根据所述颜色,确定所述视频帧疑似存在事件。
可选地,所述处理模块102,具体用于根据所述视频帧和训练好的区域定位模型,确定所述视频帧中不可遮挡候选区域的位置信息和置信度;根据不可遮挡候选区域的置信度,确定不可遮挡区域;根据不可遮挡区域的位置信息,确定所述视频帧中的可加载信息区域的位置信息。
可选地,所述第一接收模块101与所述第二接收模块104可以合并于同一个接收模块中实施。
为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
基于同一发明构思,本发明实施例中还提供了一种终端侧的基于直播的信息投放装置,由于上述装置解决问题的原理与终端侧的基于直播的信息投放方法相似,因此上述装置的实施可以参见方法的实施,重复之处不再赘述。
如图11所示,为本发明实施例提供的终端侧的基于直播的信息投放装置的结构示意图,包括:
第一发送模块111,用于向服务器发送直播视频流;
第一接收模块112,用于接收所述服务器发送的指示消息,所述指示消息携带有视频帧中可加载信息区域的位置信息和所述视频帧的视频帧标识,其中,所述视频帧为所述服务器从所述直播视频流中获取,所述可加载信息区域的所述位置信息为所述服务器对所述视频帧进行处理确定出的,所述视频帧标识用于区分直播视频流中各个视频帧;
第一确定模块113,用于确定所述视频帧标识对应的视频帧是否满足信息投放条件;
第二发送模块114,用于在所述第一确定模块113确定出所述视频帧满足信息投放条件时,向所述服务器发送信息推送请求;
第二接收模块115,用于接收所述服务器推送的信息,并在所述可加载信息区域投放所述推送的信息。
可选地,所述第一接收模块112,还用于接收所述服务器发送的携带有所述视频帧中存在的事件的事件类型标识的指示消息;
所述第二发送模块114,具体用于向所述服务器发送携带有所述事件类型标识的信息推送请求;
所述第二接收模块115,具体用于接收所述服务器发送的与所述事件类型相匹配的信息。
可选地,所述第一确定模块113,具体用于确定所述视频帧的发生时间不在信息频控范围内。
可选地,本发明提供的基于直播的信息投放装置,还包括:
获取模块116,用于在所述第二接收模块115接收所述服务器推送的信息之后,以及在所述可加载信息区域投放所述推送的信息之前,获取所述信息中的时间戳和当前正在播放的视频帧的时间戳;
第二确定模块117,用于确定所述信息中的时间戳与所述视频帧的时间戳之间的差值在预设差值范围内。
可选地,本发明提供的基于直播的信息投放装置,还包括:
第三确定模块118,用于确定所述推送的信息的投放时间;
控制模块119,用于在所述投放时间达到设定投放时长时,不在所述可加载信息区域投放所述推送的信息。
可选地,所述第一接收模块112与所述第二接收模块115可以合并于同一个接收模块中实施。
为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本发明示例性实施方式的基于直播的信息投放方法、装置和计算机可读存储介质之后,接下来,介绍根据本发明的另一示例性实施方式的计算装置。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中,根据本发明的计算装置可以至少包括至少一个处理单元、以及至少一个存储单元。其中,所述存储单元存储有程序代码,当所述程序代码被所述处理单元执行时,使得所述处理单元执行本说明书上述描述的根据本发明各种示例性实施方式的数据查询方法中的步骤。例如,所述处理单元可以执行如图3a所示的步骤S31~步骤S36中服务器实施的基于直播的信息投放流程,或者直播客户端实施的基于直播的信息投放流程。
下面参照图12来描述根据本发明的这种实施方式的计算装置120。图12显示的计算装置120仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示,计算装置120以通用计算设备的形式表现。计算装置120的组件可以包括但不限于:上述至少一个处理单元121、上述至少一个存储单元122、连接不同系统组件(包括存储单元122和处理单元121)的总线123。
总线123表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元122可以包括易失性存储器形式的可读存储介质,例如随机存取存储器(RAM)1221和/或高速缓存存储器1222,还可以进一步包括只读存储器(ROM)1223。
存储单元122还可以包括具有一组(至少一个)程序模块1224的程序/实用工具1225,这样的程序模块1224包括但不限于:操作系统、一个或者多个客户端、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置120也可以与一个或多个外部设备124(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算装置120交互的设备通信,和/或与使得该计算装置120能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口125进行。并且,计算装置120还可以通过网络适配器126与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器126通过总线123与用于计算装置120的其它模块通信。应当理解,尽管图中未示出,可以结合计算装置120使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本发明提供的数据查询方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的数据查询方法中的步骤,例如,所述计算机设备可以执行如图3a所示的步骤S31~步骤S36中服务器实施的基于直播的信息投放流程,或者直播客户端实施的基于直播的信息投放流程。
所述程序产品可以采用一个或多个可读存储介质的任意组合。可读存储介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于数据查询方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算设备上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读存储介质,该可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读存储介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (15)
1.一种基于直播的信息投放方法,其特征在于,包括:
接收直播客户端发送的直播视频流;
对直播视频流中的视频帧进行处理,确定所述视频帧中的可加载信息区域的位置信息;
向所述直播客户端发送指示消息,所述指示消息中携带有所述视频帧的视频帧标识和所述可加载信息区域的位置信息,所述视频帧标识用于区分直播视频流中各个视频帧;
接收所述直播客户端在确定出所述视频帧标识对应的视频帧满足信息投放条件后发送的信息推送请求;
根据所述信息推送请求向所述直播客户端发送推送的信息,以使所述直播客户端在所述可加载信息区域投放所述推送的信息。
2.如权利要求1所述的方法,其特征在于,在确定所述视频帧中的可加载信息区域的位置信息之前,还包括:
对所述视频帧进行事件检测,并确定所述视频帧中存在事件;以及
向所述直播客户端发送指示消息,具体包括:
向所述直播客户端发送携带有所述事件的事件类型标识的指示消息;
根据所述信息推送请求向所述直播客户端发送推送的信息,具体包括:
根据所述信息推送请求中携带的事件类型标识,向所述直播客户端发送与所述事件类型相匹配的信息,以使所述直播客户端在所述可加载信息区域投放所述相匹配的信息。
3.如权利要求2所述的方法,其特征在于,对所述视频帧进行事件检测,具体包括:
根据所述视频帧和训练好的事件检测模型,确定所述视频帧是否存在事件,其中,所述事件检测模型的训练样本为:存在事件的事件图像样本和除事件图像样本以外的图像样本。
4.如权利要求2所述的方法,其特征在于,对所述视频帧进行事件检测,具体包括:
利用光学字符识别方法识别所述视频帧中包含的文字,并根据文字识别结果确定所述视频帧是否存在事件。
5.如权利要求4所述的方法,其特征在于,在利用光学字符识别方法对所述视频帧中包含的文字进行文字识别之前,还包括:
确定所述视频帧中表征事件进度的标识所在区域的颜色;
根据所述颜色,确定所述视频帧疑似存在事件。
6.如权利要求1或2所述的方法,其特征在于,确定所述视频帧中的可加载信息区域的位置信息,具体包括:
根据所述视频帧和训练好的区域定位模型,确定所述视频帧中不可遮挡候选区域的位置信息和置信度;
根据不可遮挡候选区域的置信度,确定不可遮挡区域;
根据不可遮挡区域的位置信息,确定所述视频帧中的可加载信息区域的位置信息。
7.一种基于直播的信息投放方法,其特征在于,包括:
向服务器发送直播视频流;
接收所述服务器发送的指示消息,所述指示消息携带有视频帧中可加载信息区域的位置信息和所述视频帧的视频帧标识,其中,所述视频帧为所述服务器从所述直播视频流中获取,所述可加载信息区域的所述位置信息为所述服务器对所述视频帧进行处理确定出的,所述视频帧标识用于区分直播视频流中各个视频帧;
在确定出所述视频帧标识对应的视频帧满足信息投放条件时,向所述服务器发送信息推送请求;
接收所述服务器推送的信息,并在所述可加载信息区域投放所述推送的信息。
8.如权利要求7所述的方法,其特征在于,还包括:
接收所述服务器发送的携带有所述视频帧中存在的事件的事件类型标识的指示消息;
向所述服务器发送信息推送请求,具体包括:
向所述服务器发送携带有所述事件类型标识的信息推送请求;
接收所述服务器推送的信息,具体包括:
接收所述服务器发送的与所述事件类型相匹配的信息。
9.如权利要求7或8所述的方法,其特征在于,确定所述视频帧标识对应的视频帧满足信息投放条件,具体包括:
确定所述视频帧的发生时间不在信息频控范围内。
10.如权利要求7或8所述的方法,其特征在于,在接收所述服务器推送的信息之后,以及在所述可加载信息区域投放所述推送的信息之前,还包括:
获取所述信息中的时间戳和当前正在播放的视频帧的时间戳;
确定所述信息中的时间戳与所述视频帧的时间戳之间的差值在预设差值范围内。
11.如权利要求7或8所述的方法,其特征在于,还包括:
确定所述推送的信息的投放时间;
在所述投放时间达到设定投放时长时,不在所述可加载信息区域投放所述推送的信息。
12.一种基于直播的信息投放装置,其特征在于,包括:
第一接收模块,用于接收直播客户端发送的直播视频流;
处理模块,用于对直播视频流中的视频帧进行处理,确定所述视频帧中的可加载信息区域的位置信息;
发送模块,用于向所述直播客户端发送指示消息,所述指示消息中携带有所述视频帧的视频帧标识和所述可加载信息区域的位置信息,所述视频帧标识用于区分直播视频流中各个视频帧;
第二接收模块,用于接收所述直播客户端在基于所述视频帧标识对应的视频帧标识确定出所述视频帧满足信息投放条件后发送的信息推送请求;
信息推送模块,用于根据所述信息推送请求向所述直播客户端发送推送的信息,以使所述直播客户端在所述可加载信息区域投放所述推送的信息。
13.一种基于直播的信息投放装置,其特征在于,包括:
第一发送模块,用于向服务器发送直播视频流;
第一接收模块,用于接收所述服务器发送的指示消息,所述指示消息携带有视频帧中可加载信息区域的位置信息和所述视频帧的视频帧标识,其中,所述视频帧为所述服务器从所述直播视频流中获取,所述可加载信息区域的所述位置信息为所述服务器对所述视频帧进行处理确定出的,所述视频帧标识用于区分直播视频流中各个视频帧;
第一确定模块,用于确定所述视频帧标识对应的视频帧是否满足信息投放条件;
第二发送模块,用于在所述第一确定模块确定出所述视频帧满足信息投放条件时,向所述服务器发送信息推送请求;
第二接收模块,用于接收所述服务器推送的信息,并在所述可加载信息区域投放所述推送的信息。
14.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6任一权利要求所述的方法,或者执行如权利要求7~11任一权利要求所述的方法。
15.一种计算机可读存储介质,存储有处理器可执行指令,其特征在于,所述处理器可执行指令用于执行如权利要求1至6任一权利要求所述的方法,或者执行如权利要求7~11任一权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910175394.7A CN111669612B (zh) | 2019-03-08 | 2019-03-08 | 基于直播的信息投放方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910175394.7A CN111669612B (zh) | 2019-03-08 | 2019-03-08 | 基于直播的信息投放方法、装置和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111669612A true CN111669612A (zh) | 2020-09-15 |
CN111669612B CN111669612B (zh) | 2023-02-28 |
Family
ID=72382454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910175394.7A Active CN111669612B (zh) | 2019-03-08 | 2019-03-08 | 基于直播的信息投放方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111669612B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112770173A (zh) * | 2021-01-28 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 直播画面处理方法、装置、计算机设备及存储介质 |
CN113055731A (zh) * | 2021-03-09 | 2021-06-29 | 北京达佳互联信息技术有限公司 | 信息显示方法、装置、设备、介质及程序产品 |
CN113786605A (zh) * | 2021-08-23 | 2021-12-14 | 咪咕文化科技有限公司 | 视频处理方法、装置和计算机可读存储介质 |
CN114222147A (zh) * | 2021-11-03 | 2022-03-22 | 广州方硅信息技术有限公司 | 直播布局调整方法、装置、存储介质及计算机设备 |
CN115174946A (zh) * | 2022-06-27 | 2022-10-11 | 北京字跳网络技术有限公司 | 直播页面的显示方法、装置、设备、存储介质和程序产品 |
WO2022213979A1 (zh) * | 2021-04-06 | 2022-10-13 | 北京字节跳动网络技术有限公司 | 特效显示方法、装置、设备、存储介质及产品 |
CN115358830A (zh) * | 2022-10-19 | 2022-11-18 | 广州市千钧网络科技有限公司 | 一种直播商品自动上架的方法及装置 |
CN115720279A (zh) * | 2022-11-18 | 2023-02-28 | 杭州面朝信息科技有限公司 | 一种在直播场景中展现任意特效的方法及装置 |
WO2024007861A1 (zh) * | 2022-07-08 | 2024-01-11 | 海信视像科技股份有限公司 | 接收装置及元数据生成系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105635764A (zh) * | 2016-01-14 | 2016-06-01 | 腾讯科技(深圳)有限公司 | 视频直播中播放推送信息的方法和装置 |
CN105872602A (zh) * | 2015-12-22 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种广告数据获取方法、装置及相关系统 |
CN105898446A (zh) * | 2015-12-14 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 广告推送方法、装置、视频服务器及终端设备 |
CN107332871A (zh) * | 2017-05-18 | 2017-11-07 | 百度在线网络技术(北京)有限公司 | 广告推送方法及装置 |
CN108495152A (zh) * | 2018-03-30 | 2018-09-04 | 武汉斗鱼网络科技有限公司 | 一种视频直播方法、装置、电子设备及介质 |
US20180310043A1 (en) * | 2016-08-08 | 2018-10-25 | Tencent Technology (Shenzhen) Company Limited | Media information delivery method and system, terminal, server, and storage medium |
CN108833936A (zh) * | 2018-05-25 | 2018-11-16 | 广州虎牙信息科技有限公司 | 直播间信息推送方法、装置、服务器和介质 |
CN108989855A (zh) * | 2018-07-06 | 2018-12-11 | 武汉斗鱼网络科技有限公司 | 一种广告插播方法、装置、设备及介质 |
CN108989883A (zh) * | 2018-07-06 | 2018-12-11 | 武汉斗鱼网络科技有限公司 | 一种直播广告方法、装置、设备及介质 |
CN109218754A (zh) * | 2018-09-28 | 2019-01-15 | 武汉斗鱼网络科技有限公司 | 一种直播中的信息显示方法、装置、设备及介质 |
CN109286824A (zh) * | 2018-09-28 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 一种直播用户侧控制的方法、装置、设备及介质 |
-
2019
- 2019-03-08 CN CN201910175394.7A patent/CN111669612B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898446A (zh) * | 2015-12-14 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 广告推送方法、装置、视频服务器及终端设备 |
CN105872602A (zh) * | 2015-12-22 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种广告数据获取方法、装置及相关系统 |
CN105635764A (zh) * | 2016-01-14 | 2016-06-01 | 腾讯科技(深圳)有限公司 | 视频直播中播放推送信息的方法和装置 |
US20180310043A1 (en) * | 2016-08-08 | 2018-10-25 | Tencent Technology (Shenzhen) Company Limited | Media information delivery method and system, terminal, server, and storage medium |
CN107332871A (zh) * | 2017-05-18 | 2017-11-07 | 百度在线网络技术(北京)有限公司 | 广告推送方法及装置 |
CN108495152A (zh) * | 2018-03-30 | 2018-09-04 | 武汉斗鱼网络科技有限公司 | 一种视频直播方法、装置、电子设备及介质 |
CN108833936A (zh) * | 2018-05-25 | 2018-11-16 | 广州虎牙信息科技有限公司 | 直播间信息推送方法、装置、服务器和介质 |
CN108989855A (zh) * | 2018-07-06 | 2018-12-11 | 武汉斗鱼网络科技有限公司 | 一种广告插播方法、装置、设备及介质 |
CN108989883A (zh) * | 2018-07-06 | 2018-12-11 | 武汉斗鱼网络科技有限公司 | 一种直播广告方法、装置、设备及介质 |
CN109218754A (zh) * | 2018-09-28 | 2019-01-15 | 武汉斗鱼网络科技有限公司 | 一种直播中的信息显示方法、装置、设备及介质 |
CN109286824A (zh) * | 2018-09-28 | 2019-01-29 | 武汉斗鱼网络科技有限公司 | 一种直播用户侧控制的方法、装置、设备及介质 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112770173A (zh) * | 2021-01-28 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 直播画面处理方法、装置、计算机设备及存储介质 |
CN113055731A (zh) * | 2021-03-09 | 2021-06-29 | 北京达佳互联信息技术有限公司 | 信息显示方法、装置、设备、介质及程序产品 |
WO2022188454A1 (zh) * | 2021-03-09 | 2022-09-15 | 北京达佳互联信息技术有限公司 | 信息显示方法及装置 |
WO2022213979A1 (zh) * | 2021-04-06 | 2022-10-13 | 北京字节跳动网络技术有限公司 | 特效显示方法、装置、设备、存储介质及产品 |
CN113786605A (zh) * | 2021-08-23 | 2021-12-14 | 咪咕文化科技有限公司 | 视频处理方法、装置和计算机可读存储介质 |
CN113786605B (zh) * | 2021-08-23 | 2024-03-22 | 咪咕文化科技有限公司 | 视频处理方法、装置和计算机可读存储介质 |
CN114222147A (zh) * | 2021-11-03 | 2022-03-22 | 广州方硅信息技术有限公司 | 直播布局调整方法、装置、存储介质及计算机设备 |
CN114222147B (zh) * | 2021-11-03 | 2023-10-03 | 广州方硅信息技术有限公司 | 直播布局调整方法、装置、存储介质及计算机设备 |
CN115174946B (zh) * | 2022-06-27 | 2024-01-30 | 北京字跳网络技术有限公司 | 直播页面的显示方法、装置、设备、存储介质和程序产品 |
CN115174946A (zh) * | 2022-06-27 | 2022-10-11 | 北京字跳网络技术有限公司 | 直播页面的显示方法、装置、设备、存储介质和程序产品 |
WO2024007861A1 (zh) * | 2022-07-08 | 2024-01-11 | 海信视像科技股份有限公司 | 接收装置及元数据生成系统 |
CN115358830A (zh) * | 2022-10-19 | 2022-11-18 | 广州市千钧网络科技有限公司 | 一种直播商品自动上架的方法及装置 |
CN115720279A (zh) * | 2022-11-18 | 2023-02-28 | 杭州面朝信息科技有限公司 | 一种在直播场景中展现任意特效的方法及装置 |
CN115720279B (zh) * | 2022-11-18 | 2023-09-15 | 杭州面朝信息科技有限公司 | 一种在直播场景中展现任意特效的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111669612B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111669612B (zh) | 基于直播的信息投放方法、装置和计算机可读存储介质 | |
CN110784759B (zh) | 弹幕信息处理方法、装置、电子设备及存储介质 | |
US11308993B2 (en) | Short video synthesis method and apparatus, and device and storage medium | |
CN108353208B (zh) | 优化媒体指纹保持以提高系统资源利用率 | |
CN110198456B (zh) | 基于直播的视频推送方法、装置和计算机可读存储介质 | |
CN110232369B (zh) | 一种人脸识别方法和电子设备 | |
US8805123B2 (en) | System and method for video recognition based on visual image matching | |
CN110933490A (zh) | 一种画质和音质的自动调整方法、智能电视机及存储介质 | |
US10264329B2 (en) | Descriptive metadata extraction and linkage with editorial content | |
CN112182299B (zh) | 一种视频中精彩片段的获取方法、装置、设备和介质 | |
US11036998B2 (en) | CCTV video smart surveillance system and method thereof | |
US10694263B2 (en) | Descriptive metadata extraction and linkage with editorial content | |
KR102297217B1 (ko) | 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치 | |
CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
US20130083965A1 (en) | Apparatus and method for detecting object in image | |
KR20180030565A (ko) | 공통적인 미디어 세그먼트의 검출 | |
CN114679607B (zh) | 一种视频帧率控制方法、装置、电子设备及存储介质 | |
CN111586432B (zh) | 空播直播间确定方法、装置、服务器及存储介质 | |
CN111339368B (zh) | 基于视频指纹的视频检索方法、装置和电子设备 | |
CN113329260B (zh) | 一种直播处理方法、装置、存储介质及电子设备 | |
CN107770487B (zh) | 一种特征提取并优选的方法、系统及终端设备 | |
KR102308303B1 (ko) | 유해 동영상 파일을 필터링 하기 위한 장치 및 방법 | |
CN112752110B (zh) | 视频呈现方法及装置、计算设备、存储介质 | |
CN109819279B (zh) | 媒介信息投放的监控方法、装置、设备及存储介质 | |
KR20180030655A (ko) | Acr 텔레비전 모니터링 시스템에서의 작업 부하 관리를 개선하기 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |