CN110311945B - 一种用于在实时视频流中呈现资源推送信息的方法与设备 - Google Patents

一种用于在实时视频流中呈现资源推送信息的方法与设备 Download PDF

Info

Publication number
CN110311945B
CN110311945B CN201910361923.2A CN201910361923A CN110311945B CN 110311945 B CN110311945 B CN 110311945B CN 201910361923 A CN201910361923 A CN 201910361923A CN 110311945 B CN110311945 B CN 110311945B
Authority
CN
China
Prior art keywords
information
real
resource
time video
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910361923.2A
Other languages
English (en)
Other versions
CN110311945A (zh
Inventor
顾正相
宋凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhangmen Science and Technology Co Ltd
Original Assignee
Shanghai Zhangmen Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhangmen Science and Technology Co Ltd filed Critical Shanghai Zhangmen Science and Technology Co Ltd
Priority to CN201910361923.2A priority Critical patent/CN110311945B/zh
Publication of CN110311945A publication Critical patent/CN110311945A/zh
Application granted granted Critical
Publication of CN110311945B publication Critical patent/CN110311945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请的目的是提供一种用于在实时视频流中呈现资源推送信息的方法与设备，具体包括：接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信；根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息；将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。本申请通过在实时视频通信过程中基于实时视频流，向用户展示其可能感兴趣的资源推送信息，从而提高用户获取信息的效率、增加屏幕利用率、改善用户使用体验。

Description

一种用于在实时视频流中呈现资源推送信息的方法与设备
技术领域
本申请涉及通信领域，尤其涉及一种用于在实时视频流中呈现资源推送信息的技术。
背景技术
随着现代通信技术和业务的发展，人们对通信已经由最初的单一语音需求转变为对视频和音频的通信需求，以传送语音、数据、视频为一体的视频通信业务成为通信领域发展的热点。现有的视频通信过程中，人们通过摄像装置拍摄当前画面并传输至对方，画面内容较为单调，信息利用率低，对于在视频通信过程中出现的各类信息的利用转化有待进一步发掘。
发明内容
本申请的一个目的是提供一种用于在实时视频流中呈现资源推送信息的方法与设备。
根据本申请的一个方面，提供了一种用于在实时视频流中呈现资源推送信息的方法，应用于网络设备，其中，该方法包括：
接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信；
根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息；
将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。
根据本申请的另一个方面，提供了一种用于在实时视频流中呈现资源推送信息的方法，应用于第二用户设备，该方法包括：
接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息，其中，所述第二用户设备与对应的第一用户设备通过所述网络设备建立了所述实时视频通信；
呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息。
根据本申请的一个方面，提供了一种用于在实时视频流中呈现资源推送信息的方法，其中，所述方法包括：
网络设备接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过所述网络设备建立所述实时视频通信；
所述网络设备根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息，并将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备；
所述第二用户设备接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息；
所述第二用户设备呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流中呈现所述资源推送信息。
根据本申请的一个方面，提供了一种用于在实时视频流中呈现资源推送信息的网络设备，其中，所述设备包括：
一一模块，用于接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信；
一二模块，用于根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息；
一三模块，用于将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。
根据本申请的另一个方面，提供了一种用于在实时视频流中呈现资源推送信息的第二用户设备，其中，所述设备包括：
二一模块，用于接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息，其中，所述第二用户设备与对应的第一用户设备通过所述网络设备建立了所述实时视频通信；
二二模块，用于呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息。
根据本申请的一个方面，提供一种用于在实时视频流中呈现资源推送信息的设备，其中，所述设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行使得系统进行如上所述任一方法的操作。
与现有技术相比，本申请通过接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信，根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息，将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。本申请通过在实时视频通信过程中基于实时视频流，向用户展示其可能感兴趣的资源推送信息，从而提高用户获取信息的效率、增加屏幕利用率、改善用户使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种用于在实时视频流中呈现资源推送信息的系统拓扑图；
图2示出根据本申请一个方面的一种用于在实时视频流中呈现资源推送信息的方法流程图；
图3示出根据本申请一个方面的一种在网络设备端用于在实时视频流中呈现资源推送信息的方法流程图；
图4示出根据本申请一个方面的一种在第二用户设备端用于在实时视频流中呈现资源推送信息的方法流程图；
图5示出根据本申请一个方面的一种用于在实时视频流中呈现资源推送信息的网络设备的功能模块；
图6示出根据本申请另一个方面的一种用于在实时视频流中呈现资源推送信息的第二用户设备的功能模块；
图7示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了本申请一个典型场景，第一用户设备与第二用户设备通过网络设备建立了实时视频通信，第一用户设备将实时视频通信的实时视频流传输至网络设备，网络设备基于该实时视频流确定对应的资源推送信息及所述资源推送信息的呈现位置信息，并将所述实时视频流、所述资源推送信息以及所述呈现位置信息发送至第二用户设备，第二用户设备接收并呈现所述实时视频流并在所述实时视频流中对对应位置呈现所述资源推送信息。其中，所述第一用户设备、第二用户设备等用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等；所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。其中，第一用户设备包括摄像装置，用于拍摄第一用户设备对应的用户相关的实时视频流，如摄像头等。第二用户设备包括显示装置，用于呈现所述实时视频流和所述资源推送信息，如显示屏等。
参考图1所示的系统，图2示出一种用于在实时视频流中呈现资源推送信息的方法，其中，所述方法包括：
网络设备接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过所述网络设备建立所述实时视频通信；
所述网络设备根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息，并将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备；
所述第二用户设备接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息；
所述第二用户设备呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流中呈现所述资源推送信息。
参照图2示出的系统方法，本申请提供了实施于网络设备、第二用户设备的各实施例对应的方法，下面，我们结合图3从网络设备的角度，对本申请包含的各实施例进行介绍。
图3示出根据本申请一个方面的一种在网络设备端用于在实时视频流中用于呈现资源推送信息的方法，其中，该方法适用于图1所示的系统，包括步骤S101、步骤S102以及步骤S103。在步骤S101中，网络设备接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信；在步骤S102中，网络设备根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息；在步骤S103中，网络设备将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。
具体而言，在步骤S101中，网络设备接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信。例如，所述实时视频流包括能够被作为一个稳定的和连续的流通过网络处理的视频数据的传输，因为流动的特性，用户设备端的浏览器或插件等能够在整个文件被传输完成前显示多媒体数据。第一用户持有第一用户设备、第二用户持有第二用户设备，第一用户设备及第二用户设备安装有网络设备对应的应用程序，通过该应用程序第一用户设备与第二用户设备建立了实时视频通信，第一用户设备通过其摄像装置拍摄第一用户相关的实时视频流，并将该实时视频流发送至网络设备。
在步骤S102中，网络设备根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息。例如，所述资源推送信息包括利用用于传播、普及或者扩散资源相关信息的多种形式的多媒体信息等，包括但不限于文字、图像、语音、视频以及前述任意组合的多媒体形式或者各多媒体信息的访问链接信息等。在此，网络设备端存储有对应的资源推送数据库，在所述资源推送数据库中各资源推送信息存在对应的一个或多个资源特征信息(如资源的名称、标识或者图像特征点等)；网络设备提取所述实时视频流的当前视频帧中包含的相关信息(如识别某目标对象的目标特征点或者文字识别目标对象的名称等)，并基于提取的当前视频帧中存在的相关信息，在资源推送数据库中与资源推送信息的特征点进行匹配，从而确定对应的资源推送信息，同时，基于目标相关信息在当前视频帧中的位置可以确定资源推送信息在所述当前视频帧中的呈现位置信息，如直接将所述目标相关信息所在位置信息作为对应的呈现位置信息，其中，所述呈现位置信息包括所述资源推送信息相对于所述当前视频帧的呈现位置，如资源推送信息在所述当前视频帧对应的图像坐标系中的至少三个角点的图像坐标位置(假设资源推送信息的呈现位置为矩形框)，又如资源推送信息在所述当前视频帧中的图像坐标系中的呈现中心的图像坐标位置以及呈现半径(假设资源推送信息的呈现位置为圆形框)，又如资源推送信息在所述当前视频帧中的图像坐标系中的边界曲线信息等。
在一些实施方式中，在步骤S102中，网络设备提取所述实时视频流的当前视频帧中的目标特征信息及所述目标特征信息的目标位置信息，并根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，并根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息。例如，目标特征信息包括但不限于当前视频帧中目标对象的名称、语音特征、图像特征点信息等，所述目标特征信息可以通过文字识别或者提取当前视频帧的图像特征点来获取；所述资源特征信息包括但不限于资源相关的名称、关键字段、语音特征或者资源图像对应的特征点等。网络设备通过提取所述实时视频流中当前视频帧的目标相关特征，如通过对当前视频帧中图像进行特征点提取，获取当前视频帧中所有特征点的相关信息，基于特征点的分布特征可以确定目标对象的目标特征信息以及这些特征点在当前视频帧中的目标位置信息，如将特征点分布较为稠密的区域对应的特征点信息作为目标特征点，并将该区域作为目标特征信息的目标位置信息。在一些实施方式中，所述根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，包括：若所述目标特征信息与资源推送数据库中某资源推送信息的资源特征信息匹配，将该资源推送信息作为对应的资源推送信息。例如，若网络设备从所述当前视频帧中提取“xx笔记本”对应的文字信息，并在资源推送数据库中进行匹配，若匹配到“xx笔记本”资源推送信息对应的资源特征信息中包含“xx笔记本”的字段，网络设备确定该资源推送信息为当前视频帧中的“xx笔记本”对应的资源特征信息。又如，网络设备从所述当前视频帧中提取“xx笔记本”对应的图像特征点信息，并在资源推送数据库中进行匹配，若匹配到与该图像特征点信息匹配的资源特征信息，如资源特征信息中特征点信息与该图像特征点信息的相似度大于或等于相似度阈值(如80％等)，网络设备确定该资源推送信息为当前视频帧中的“xx笔记本”对应的资源特征信息。在一些实施方式中，所述根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息，包括：根据所述目标位置信息周围在所述当前视频帧中的像素灰度特征，从所述目标位置信息周围像素灰度特征变化小于或等于灰度变化阈值的区域确定所述资源推送信息在所述当前视频帧的呈现位置信息。例如，像素灰度特征包括像素灰度值、灰度值变化梯度等反应图像灰度信息的特征；网络设备根据目标特征信息所在的目标位置信息对应的图像坐标范围，在所述目标位置信息周围匹配像素灰度特征变化小于或等于灰度变化阈值的区域，如根据资源推送信息的占比大小，预设一定的资源推送信息占用像素的数量及长宽比例等，并根据所述资源推送信息在所述目标位置信息周围匹配像素灰度变化较为缓慢的区域，该区域大小与资源推送信息预设的占用像素数量及长宽比例成一定比例。通过该方案可以防止遮挡资源推送信息对应的目标对象，造成信息干扰，提升了用户获取信息的效率。
在步骤S103中，网络设备将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。例如，网络设备获取对应的资源推送信息及所述呈现位置信息后，将所述实时视频流、所述资源推送信息以及所述呈现位置信息发送至第二用户设备，第二用户设备接收所述实时视频流、所述资源推送信息及所述呈现位置信息，并通过显示装置呈现所述视频流及所述资源推送信息，其中，所述资源推送信息的呈现位置基于所述呈现位置信息确定。
在一些实施方式中，网络设备可以根据当前视频帧进行匹配确定对应的资源推送信息，并将该资源推送信息发送至第二用户设备，随后，在后续视频帧中，网络设备可以继续发送相关资源推送信息及所述呈现位置信息，或者网络设备在当前视频帧时将完整的资源推送信息发送第二用户设备，在后续视频帧中仅发送所述呈现位置信息，又或者网络设备在当前视频帧时将完整的资源推送信息及所述呈现位置信息发送至第二用户设备，后续第二用户设备基于资源推送信息在后续视频帧中跟踪呈现对应的资源推送信息，网络设备无需在后续帧中向第二用户设备发送至资源相关信息，如所述资源推送信息呈现形式包括但不限于文字、图像、语音或者视频等，所述第二用户设备在当前视频帧中呈现对应文字、图像、语音信息的当前播放帧、视频信息的当前播放帧，并在后续视频帧中跟踪呈现对应文字、图像、语音信息的后续播放帧、视频信息的后续播放帧。在一些实施方式中，当第一用户设备采集的关于第一用户的实时视频流中不包含资源推送信息相关的目标对象时，该实时视频流的后续某一视频帧不存在所述目标特征信息，网络设备生成对应的截止呈现指令，并将该截止呈现指令发送至第二用户设备，第二用户设备接收后停止继续呈现所述资源推送信息，如第二用户设备停止呈现对应文字、图像、语音或者视频等。如所述方法还包括步骤S104(未示出)，若所述实时视频流的后续某一视频帧中不存在所述目标特征信息，生成所述资源推送信息的截止呈现指令；其中，在步骤S103中，网络设备将所述实时视频流、所述截止呈现指令发送至所述第二用户设备。
在一些实施方式中，所述方法还包括步骤S105(未示出)，网络设备基于所述资源推送信息及所述呈现位置信息，将所述资源推送信息叠加于所述当前视频帧获得处理后的实时视频流；其中，在步骤S103中，网络设备将所述处理后的实时视频流发送至所述第二用户设备。例如，网络设备确定对应的资源推送信息及所述呈现位置信息后，基于当前视频帧，将所述资源推送信息叠加于所述当前视频帧中，如将所述资源推送信息对应的文字、图像、语音的当前播放帧或者视频的当前播放帧叠加于所述当前帧中获得处理后的实时视频流，并将所述处理后的实时视频流发送至所述第二用户设备，第二用户设备接收并呈现该处理后的实时视频流。本方案通过将资源推送信息直接处理至当前视频帧中，使第二用户设备端可以直接获取处理后的实时视频流，减少了第二用户设备端的运算，为第二用户设备的正常运行提供了更加稳固的环境。
在一些实施方式中，所述方法还包括步骤S106(未示出)，网络设备将所述资源推送信息及所述呈现位置信息返回至所述第一用户设备。例如，第一用户设备还包括显示装置，用于呈现所述第一用户设备端拍摄的所述视频流，如以小窗的形式呈现第一用户设备拍摄的实时视频流或者基于第一用户的操作在所述屏幕中呈现所述实时视频流，在一些实施方式中，网络设备将所述资源推送信息以及所述呈现位置信息发送至第一用户设备，供第一用户查看对应的资源推送信息，提高了用户获取信息的效率，提高了屏幕利用率，提升了用户使用体验。
上文主要从网络设备的角度对本申请各实施例对应的方法进行了介绍，相对应地，下面我们结合图4从第二用户设备的角度对本申请各实施例对应的方法进行介绍。
图4示出根据本申请另一个方面的一种用于在实时视频流中呈现资源推送信息的方法，其中，该方法同样适用于图1所示的系统，包括步骤S201及步骤S202。在步骤S201中，第二用户设备接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息，其中，所述第二用户设备与对应的第一用户设备通过所述网络设备建立了所述实时视频通信；在步骤S202中，第二用户设备呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息。例如，所述实时视频流包括能够被作为一个稳定的和连续的流通过网络处理的视频数据的传输，因为流动的特性，用户设备端的浏览器或插件等能够在整个文件被传输完成前显示多媒体数据。第一用户持有第一用户设备、第二用户持有第二用户设备，第一用户设备及第二用户设备安装有网络设备对应的应用程序，通过该应用程序第一用户设备与第二用户设备建立了实时视频通信，第一用户设备通过其摄像装置拍摄第一用户相关的实时视频流，并将该实时视频流发送至网络设备。在此，网络设备端存储有对应的资源推送数据库，在所述资源推送数据库中各资源推送信息存在对应的一个或多个资源特征信息(如资源的名称、标识或者图像特征点等)；网络设备提取所述实时视频流的当前视频帧中包含的相关信息(如识别某目标对象的目标特征点或者文字识别目标对象的名称等)，并基于提取的当前视频帧中存在的相关信息，在资源推送数据库中与资源推送信息的特征点进行匹配，从而确定对应的资源推送信息，同时，基于目标相关信息在当前视频帧中的位置可以确定资源推送信息在所述当前视频帧中的呈现位置信息，如直接将所述目标相关信息所在位置信息作为对应的呈现位置信息。网络设备获取对应的资源推送信息及所述呈现位置信息后，将所述实时视频流、所述资源推送信息以及所述呈现位置信息发送至第二用户设备，第二用户设备接收所述实时视频流、所述资源推送信息及所述呈现位置信息，并通过显示装置呈现所述视频流及所述资源推送信息，其中，所述资源推送信息的呈现位置基于所述呈现位置信息确定。
在一些实施方式中，在步骤S202中，第二用户设备呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息的推送提示信息，并获取用户关于所述推送提示信息的点击或者触控操作，在所述呈现位置信息呈现所述资源推送信息。例如，网络设备将所述资源推送信息及所述呈现位置信息发送至第二用户设备，第二用户设备基于所述呈现位置信息在所述实时视频流中对应位置呈现对应的推送提示信息(如在对应位置呈现对应符号、文字或者图像提示等)，若第二用户设备获取到第二用户关于所述推送提示信息的点击或者触控操作，第二用户设备在对应位置呈现资源推送信息。本方案通过基于用户许可呈现对应位置信息，使资源推送过程更加软化，提升用户的使用体验。
在一些实施方式中，所述资源推送信息包括关于资源推送的访问链接信息；其中，所述方法还包括步骤S203(未示出)，第二用户设备获取用户关于所述资源推送信息的点击或触控操作，向所述网络设备发送关于资源推送的访问请求，接收所述网络设备基于所述访问请求返回的资源呈现信息。例如，所述资源推送信息包括关于资源的文字、图像、语音或者视频等多媒体信息的访问链接信息，网络设备将该资源推送信息发送至第二用户设备，第二用户设备接收呈现所述资源推送信息。若第二用户设备获取第二用户关于所述资源推送的点击或者触控操作等，第二用户设备向网络设备发送关于资源推送的访问请求，网络设备基于该访问请求返回对应的资源推送的资源呈现信息(如关于资源的文字、图像、语音或者视频等多媒体信息等)，第二用户设备接收并在资源推送信息的呈现位置信息对应位置呈现素数资源呈现信息。本方案通过先发送资源相关的访问链接信息，后续基于用户的访问请求再返回对应的资源呈现信息，使得资源推送过程更加符合用户需求，且减少了视频通信过程中的带宽需求，提升了用户的使用体验。
在一些实施方式中，网络设备可以根据当前视频帧进行匹配确定对应的资源推送信息，并将该资源推送信息发送至第二用户设备，随后，在后续视频帧中，网络设备可以继续发送相关资源推送信息及所述呈现位置信息，或者网络设备在当前视频帧时将完整的资源推送信息发送第二用户设备，在后续视频帧中仅发送所述呈现位置信息，又或者网络设备在当前视频帧时将完整的资源推送信息及所述呈现位置信息发送至第二用户设备，后续第二用户设备基于资源推送信息在后续视频帧中跟踪呈现对应的资源推送信息，网络设备无需在后续帧中向第二用户设备发送至资源相关信息，如所述资源推送信息呈现形式包括但不限于文字、图像、语音或者视频等，所述第二用户设备在当前视频帧中呈现对应文字、图像、语音信息的当前播放帧、视频信息的当前播放帧，并在后续视频帧中跟踪呈现对应文字、图像、语音信息的后续播放帧、视频信息的后续播放帧。在一些实施方式中，所述方法还包括步骤S204(未示出)，第二用户设备在所述实时视频流的后续视频帧中跟踪显示所述资源推送信息。例如，网络设备根据当前视频帧确定对应的资源推送信息及呈现位置信息，并将资源推送信息及呈现位置信息发送至第二用户设备，第二用户设备基于该呈现位置信息在后续视频帧中跟踪呈现该资源推送信息，直至所述实时视频流中不包含资源推送信息对应的目标对象，或者接收到所述网络设备发送的截止呈现指令。如在一些实施方式中，所述方法还包括步骤S205(未示出)，第二用户设备接收所述网络设备返回的、关于所述资源推送信息的截止呈现指令，截止呈现所述资源推送信息。例如，当第一用户设备采集的关于第一用户的实时视频流中不包含资源推送信息相关的目标对象时，该实时视频流的后续某一视频帧不存在所述目标特征信息，网络设备生成对应的截止呈现指令，并将该截止呈现指令发送至第二用户设备，第二用户设备接收后停止继续呈现所述资源推送信息，如第二用户设备停止呈现对应文字、图像、语音或者视频等。
在一些实施方式中，在步骤S201中，第二用户设备接收对应网络设备发送的、关于实时视频通信的实时视频流，其中，所述实时视频流包含所述网络设备基于资源推送信息的呈现位置信息叠加于当前视频帧的所述资源推送信息；其中，在步骤S202中，第二用户设备呈现所述叠加所述资源推送信息后的实时视频流。例如，网络设备确定对应的资源推送信息及所述呈现位置信息后，基于当前视频帧，将所述资源推送信息叠加于所述当前视频帧中，如将所述资源推送信息对应的文字、图像、语音的当前播放帧或者视频的当前播放帧叠加于所述当前帧中获得处理后的实时视频流，并将所述处理后的实时视频流发送至所述第二用户设备，第二用户设备接收并呈现该处理后的实时视频流。本方案通过将资源推送信息直接处理至当前视频帧中，使第二用户设备端可以直接获取处理后的实时视频流，减少了第二用户设备端的运算，为第二用户设备的正常运行提供了更加稳固的环境。
上文主要介绍了本申请各实施例对应的方法，相对应地，本申请还提供了用于实施本申请各实施例对应方法的设备，下面我们结合图5、图6分别对本申请的网络设备、第二用户设备进行介绍。
图5示出根据本申请一个方面的一种用于在实时视频流中用于呈现资源推送信息的网络设备，其中，该设备适用于图1所示的系统，包括一一模块101、一二模块102以及一三模块103。一一模块101，用于接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信；一二模块102，用于根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息；一三模块103，用于将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。
具体而言，一一模块101，用于接收所述第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信。例如，所述实时视频流包括能够被作为一个稳定的和连续的流通过网络处理的视频数据的传输，因为流动的特性，用户设备端的浏览器或插件等能够在整个文件被传输完成前显示多媒体数据。第一用户持有第一用户设备、第二用户持有第二用户设备，第一用户设备及第二用户设备安装有网络设备对应的应用程序，通过该应用程序第一用户设备与第二用户设备建立了实时视频通信，第一用户设备通过其摄像装置拍摄第一用户相关的实时视频流，并将该实时视频流发送至网络设备。
一二模块102，用于根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息。例如，所述资源推送信息包括利用用于传播、普及或者扩散资源相关信息的多种形式的多媒体信息等，包括但不限于文字、图像、语音、视频以及前述任意组合的多媒体形式或者各多媒体信息的访问链接信息等。在此，网络设备端存储有对应的资源推送数据库，在所述资源推送数据库中各资源推送信息存在对应的一个或多个资源特征信息(如资源的名称、标识或者图像特征点等)；网络设备提取所述实时视频流的当前视频帧中包含的相关信息(如识别某目标对象的目标特征点或者文字识别目标对象的名称等)，并基于提取的当前视频帧中存在的相关信息，在资源推送数据库中与资源推送信息的特征点进行匹配，从而确定对应的资源推送信息，同时，基于目标相关信息在当前视频帧中的位置可以确定资源推送信息在所述当前视频帧中的呈现位置信息，如直接将所述目标相关信息所在位置信息作为对应的呈现位置信息，其中，所述呈现位置信息包括所述资源推送信息相对于所述当前视频帧的呈现位置，如资源推送信息在所述当前视频帧对应的图像坐标系中的至少三个角点的图像坐标位置(假设资源推送信息的呈现位置为矩形框)，又如资源推送信息在所述当前视频帧中的图像坐标系中的呈现中心的图像坐标位置以及呈现半径(假设资源推送信息的呈现位置为圆形框)，又如资源推送信息在所述当前视频帧中的图像坐标系中的边界曲线信息等。
在一些实施方式中，一二模块102，用于提取所述实时视频流的当前视频帧中的目标特征信息及所述目标特征信息的目标位置信息，并根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，并根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息。例如，目标特征信息包括但不限于当前视频帧中目标对象的名称、语音特征、图像特征点信息等，所述目标特征信息可以通过文字识别或者提取当前视频帧的图像特征点来获取；所述资源特征信息包括但不限于资源相关的名称、关键字段、语音特征或者资源图像对应的特征点等。网络设备通过提取所述实时视频流中当前视频帧的目标相关特征，如通过对当前视频帧中图像进行特征点提取，获取当前视频帧中所有特征点的相关信息，基于特征点的分布特征可以确定目标对象的目标特征信息以及这些特征点在当前视频帧中的目标位置信息，如将特征点分布较为稠密的区域对应的特征点信息作为目标特征点，并将该区域作为目标特征信息的目标位置信息。在一些实施方式中，所述根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，包括：若所述目标特征信息与资源推送数据库中某资源推送信息的资源特征信息匹配，将该资源推送信息作为对应的资源推送信息。例如，若网络设备从所述当前视频帧中提取“xx笔记本”对应的文字信息，并在资源推送数据库中进行匹配，若匹配到“xx笔记本”资源推送信息对应的资源特征信息中包含“xx笔记本”的字段，网络设备确定该资源推送信息为当前视频帧中的“xx笔记本”对应的资源特征信息。又如，网络设备从所述当前视频帧中提取“xx笔记本”对应的图像特征点信息，并在资源推送数据库中进行匹配，若匹配到与该图像特征点信息匹配的资源特征信息，如资源特征信息中特征点信息与该图像特征点信息的相似度大于或等于相似度阈值(如80％等)，网络设备确定该资源推送信息为当前视频帧中的“xx笔记本”对应的资源特征信息。在一些实施方式中，所述根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息，包括：根据所述目标位置信息周围在所述当前视频帧中的像素灰度特征，从所述目标位置信息周围像素灰度特征变化小于或等于灰度变化阈值的区域确定所述资源推送信息在所述当前视频帧的呈现位置信息。例如，像素灰度特征包括像素灰度值、灰度值变化梯度等反应图像灰度信息的特征；网络设备根据目标特征信息所在的目标位置信息对应的图像坐标范围，在所述目标位置信息周围匹配像素灰度特征变化小于或等于灰度变化阈值的区域，如根据资源推送信息的占比大小，预设一定的资源推送信息占用像素的数量及长宽比例等，并根据所述资源推送信息在所述目标位置信息周围匹配像素灰度变化较为缓慢的区域，该区域大小与资源推送信息预设的占用像素数量及长宽比例成一定比例。通过该方案可以防止遮挡资源推送信息对应的目标对象，造成信息干扰，提升了用户获取信息的效率。
一三模块103，用于将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备。例如，网络设备获取对应的资源推送信息及所述呈现位置信息后，将所述实时视频流、所述资源推送信息以及所述呈现位置信息发送至第二用户设备，第二用户设备接收所述实时视频流、所述资源推送信息及所述呈现位置信息，并通过显示装置呈现所述视频流及所述资源推送信息，其中，所述资源推送信息的呈现位置基于所述呈现位置信息确定。
在一些实施方式中，网络设备可以根据当前视频帧进行匹配确定对应的资源推送信息，并将该资源推送信息发送至第二用户设备，随后，在后续视频帧中，网络设备可以继续发送相关资源推送信息及所述呈现位置信息，或者网络设备在当前视频帧时将完整的资源推送信息发送第二用户设备，在后续视频帧中仅发送所述呈现位置信息，又或者网络设备在当前视频帧时将完整的资源推送信息及所述呈现位置信息发送至第二用户设备，后续第二用户设备基于资源推送信息在后续视频帧中跟踪呈现对应的资源推送信息，网络设备无需在后续帧中向第二用户设备发送至资源相关信息，如所述资源推送信息呈现形式包括但不限于文字、图像、语音或者视频等，所述第二用户设备在当前视频帧中呈现对应文字、图像、语音信息的当前播放帧、视频信息的当前播放帧，并在后续视频帧中跟踪呈现对应文字、图像、语音信息的后续播放帧、视频信息的后续播放帧。在一些实施方式中，当第一用户设备采集的关于第一用户的实时视频流中不包含资源推送信息相关的目标对象时，该实时视频流的后续某一视频帧不存在所述目标特征信息，网络设备生成对应的截止呈现指令，并将该截止呈现指令发送至第二用户设备，第二用户设备接收后停止继续呈现所述资源推送信息，如第二用户设备停止呈现对应文字、图像、语音或者视频等。如所述设备还包括一四模块104(未示出)，若所述实时视频流的后续某一视频帧中不存在所述目标特征信息，生成所述资源推送信息的截止呈现指令；其中，一三模块103，用于将所述实时视频流、所述截止呈现指令发送至所述第二用户设备。
在一些实施方式中，所述设备还包括一五模块105(未示出)，网络设备基于所述资源推送信息及所述呈现位置信息，将所述资源推送信息叠加于所述当前视频帧获得处理后的实时视频流；其中，一三模块103，用于将所述处理后的实时视频流发送至所述第二用户设备。例如，网络设备确定对应的资源推送信息及所述呈现位置信息后，基于当前视频帧，将所述资源推送信息叠加于所述当前视频帧中，如将所述资源推送信息对应的文字、图像、语音的当前播放帧或者视频的当前播放帧叠加于所述当前帧中获得处理后的实时视频流，并将所述处理后的实时视频流发送至所述第二用户设备，第二用户设备接收并呈现该处理后的实时视频流。本方案通过将资源推送信息直接处理至当前视频帧中，使第二用户设备端可以直接获取处理后的实时视频流，减少了第二用户设备端的运算，为第二用户设备的正常运行提供了更加稳固的环境。
在一些实施方式中，所述设备还包括一六模块106(未示出)，用于将所述资源推送信息及所述呈现位置信息返回至所述第一用户设备。例如，第一用户设备还包括显示装置，用于呈现所述第一用户设备端拍摄的所述视频流，如以小窗的形式呈现第一用户设备拍摄的实时视频流或者基于第一用户的操作在所述屏幕中呈现所述实时视频流，在一些实施方式中，网络设备将所述资源推送信息以及所述呈现位置信息发送至第一用户设备，供第一用户查看对应的资源推送信息，提高了用户获取信息的效率，提高了屏幕利用率，提升了用户使用体验。
上文主要从网络设备的角度对应用于本申请各实施例对应的设备进行了介绍，相对应地，下面我们结合图6对第二用户设备进行介绍。
图6示出根据本申请另一个方面的一种用于在实时视频流中呈现资源推送信息的第二用户设备，其中，该设备同样适用于图1所示的系统，包括二一模块201及二二模块202。二一模块201，用于接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息，其中，所述第二用户设备与对应的第一用户设备通过所述网络设备建立了所述实时视频通信；二二模块202，用于呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息。例如，所述实时视频流包括能够被作为一个稳定的和连续的流通过网络处理的视频数据的传输，因为流动的特性，用户设备端的浏览器或插件等能够在整个文件被传输完成前显示多媒体数据。第一用户持有第一用户设备、第二用户持有第二用户设备，第一用户设备及第二用户设备安装有网络设备对应的应用程序，通过该应用程序第一用户设备与第二用户设备建立了实时视频通信，第一用户设备通过其摄像装置拍摄第一用户相关的实时视频流，并将该实时视频流发送至网络设备。在此，网络设备端存储有对应的资源推送数据库，在所述资源推送数据库中各资源推送信息存在对应的一个或多个资源特征信息(如资源的名称、标识或者图像特征点等)；网络设备提取所述实时视频流的当前视频帧中包含的相关信息(如识别某目标对象的目标特征点或者文字识别目标对象的名称等)，并基于提取的当前视频帧中存在的相关信息，在资源推送数据库中与资源推送信息的特征点进行匹配，从而确定对应的资源推送信息，同时，基于目标相关信息在当前视频帧中的位置可以确定资源推送信息在所述当前视频帧中的呈现位置信息，如直接将所述目标相关信息所在位置信息作为对应的呈现位置信息。网络设备获取对应的资源推送信息及所述呈现位置信息后，将所述实时视频流、所述资源推送信息以及所述呈现位置信息发送至第二用户设备，第二用户设备接收所述实时视频流、所述资源推送信息及所述呈现位置信息，并通过显示装置呈现所述视频流及所述资源推送信息，其中，所述资源推送信息的呈现位置基于所述呈现位置信息确定。
在一些实施方式中，二二模块202，用于呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息的推送提示信息，并获取用户关于所述推送提示信息的点击或者触控操作，在所述呈现位置信息呈现所述资源推送信息。例如，网络设备将所述资源推送信息及所述呈现位置信息发送至第二用户设备，第二用户设备基于所述呈现位置信息在所述实时视频流中对应位置呈现对应的推送提示信息(如在对应位置呈现对应符号、文字或者图像提示等)，若第二用户设备获取到第二用户关于所述推送提示信息的点击或者触控操作，第二用户设备在对应位置呈现资源推送信息。本方案通过基于用户许可呈现对应位置信息，使资源推送过程更加软化，提升用户的使用体验。
在一些实施方式中，所述资源推送信息包括关于资源推送的访问链接信息；其中，所述设备还包括二三模块203(未示出)，用于获取用户关于所述资源推送信息的点击或触控操作，向所述网络设备发送关于资源推送的访问请求，接收所述网络设备基于所述访问请求返回的资源呈现信息。例如，所述资源推送信息包括关于资源的文字、图像、语音或者视频等多媒体信息的访问链接信息，网络设备将该资源推送信息发送至第二用户设备，第二用户设备接收呈现所述资源推送信息。若第二用户设备获取第二用户关于所述资源推送的点击或者触控操作等，第二用户设备向网络设备发送关于资源推送的访问请求，网络设备基于该访问请求返回对应的资源推送的资源呈现信息(如关于资源的文字、图像、语音或者视频等多媒体信息等)，第二用户设备接收并在资源推送信息的呈现位置信息对应位置呈现素数资源呈现信息。本方案通过先发送资源相关的访问链接信息，后续基于用户的访问请求再返回对应的资源呈现信息，使得资源推送过程更加符合用户需求，且减少了视频通信过程中的带宽需求，提升了用户的使用体验。
在一些实施方式中，网络设备可以根据当前视频帧进行匹配确定对应的资源推送信息，并将该资源推送信息发送至第二用户设备，随后，在后续视频帧中，网络设备可以继续发送相关资源推送信息及所述呈现位置信息，或者网络设备在当前视频帧时将完整的资源推送信息发送第二用户设备，在后续视频帧中仅发送所述呈现位置信息，又或者网络设备在当前视频帧时将完整的资源推送信息及所述呈现位置信息发送至第二用户设备，后续第二用户设备基于资源推送信息在后续视频帧中跟踪呈现对应的资源推送信息，网络设备无需在后续帧中向第二用户设备发送至资源相关信息，如所述资源推送信息呈现形式包括但不限于文字、图像、语音或者视频等，所述第二用户设备在当前视频帧中呈现对应文字、图像、语音信息的当前播放帧、视频信息的当前播放帧，并在后续视频帧中跟踪呈现对应文字、图像、语音信息的后续播放帧、视频信息的后续播放帧。在一些实施方式中，所述设别还包括二四模块204(未示出)，用于在所述实时视频流的后续视频帧中跟踪显示所述资源推送信息。例如，网络设备根据当前视频帧确定对应的资源推送信息及呈现位置信息，并将资源推送信息及呈现位置信息发送至第二用户设备，第二用户设备基于该呈现位置信息在后续视频帧中跟踪呈现该资源推送信息，直至所述实时视频流中不包含资源推送信息对应的目标对象，或者接收到所述网络设备发送的截止呈现指令。如在一些实施方式中，所述设备还包括二五模块205(未示出)，用于接收所述网络设备返回的、关于所述资源推送信息的截止呈现指令，截止呈现所述资源推送信息。例如，当第一用户设备采集的关于第一用户的实时视频流中不包含资源推送信息相关的目标对象时，该实时视频流的后续某一视频帧不存在所述目标特征信息，网络设备生成对应的截止呈现指令，并将该截止呈现指令发送至第二用户设备，第二用户设备接收后停止继续呈现所述资源推送信息，如第二用户设备停止呈现对应文字、图像、语音或者视频等。
在一些实施方式中，二一模块201，用于接收对应网络设备发送的、关于实时视频通信的实时视频流，其中，所述实时视频流包含所述网络设备基于资源推送信息的呈现位置信息叠加于当前视频帧的所述资源推送信息；其中，二二模块202，用于呈现所述叠加所述资源推送信息后的实时视频流。例如，网络设备确定对应的资源推送信息及所述呈现位置信息后，基于当前视频帧，将所述资源推送信息叠加于所述当前视频帧中，如将所述资源推送信息对应的文字、图像、语音的当前播放帧或者视频的当前播放帧叠加于所述当前帧中获得处理后的实时视频流，并将所述处理后的实时视频流发送至所述第二用户设备，第二用户设备接收并呈现该处理后的实时视频流。本方案通过将资源推送信息直接处理至当前视频帧中，使第二用户设备端可以直接获取处理后的实时视频流，减少了第二用户设备端的运算，为第二用户设备的正常运行提供了更加稳固的环境。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图7示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图7所示在一些实施例中，系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (13)

1.一种用于在实时视频流中呈现资源推送信息的方法，应用于网络设备端，其中，该方法包括：
接收第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过网络设备建立所述实时视频通信；
在将所述实时视频流发送至所述第二用户设备前，根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息；
在确定所述资源推送信息在所述当前视频帧的呈现位置信息后，将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备，其中，所述第二用户设备呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息，后续所述第二用户设备基于所述资源推送信息在后续视频帧中跟踪呈现对应的资源推送信息，而所述网络设备无需在后续视频帧中向所述第二用户设备发送资源相关信息；
其中，所述根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息，包括：
提取所述实时视频流的当前视频帧中的目标特征信息及所述目标特征信息的目标位置信息；
根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，并根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息，其中，所述根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息包括：根据所述目标位置信息周围在所述当前视频帧中的像素灰度特征，从所述目标位置信息周围像素灰度特征变化小于或等于灰度变化阈值的区域确定所述资源推送信息在所述当前视频帧的呈现位置信息，所述区域的大小与所述资源推送信息预设的占用像素数量及长宽比例成一定比例。
2.根据权利要求1所述的方法，其中，所述根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，包括：
若所述目标特征信息与资源推送数据库中某资源推送信息的资源特征信息匹配，将该资源推送信息作为对应的资源推送信息。
3.根据权利要求1或2所述的方法，其中，所述方法还包括：
若所述实时视频流的后续某一视频帧中不存在所述目标特征信息，生成所述资源推送信息的截止呈现指令；
其中，所述将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备，包括：
将所述实时视频流、所述截止呈现指令发送至所述第二用户设备。
4.根据权利要求1或2所述的方法，其中，所述方法还包括：
基于所述资源推送信息及所述呈现位置信息，将所述资源推送信息叠加于所述当前视频帧获得处理后的实时视频流；
其中，所述将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备，包括：
将所述处理后的实时视频流发送至所述第二用户设备。
5.根据权利要求1或2所述的方法，其中，所述方法还包括：
将所述资源推送信息及所述呈现位置信息返回至所述第一用户设备。
6.一种用于在实时视频流中呈现资源推送信息的方法，应用于第二用户设备端，其中，所述方法包括：
接收对应网络设备在确定资源推送信息在当前视频帧的呈现位置信息后发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息，其中，所述第二用户设备与对应的第一用户设备通过所述网络设备建立了所述实时视频通信，所述网络设备在将所述实时视频流发送至所述第二用户设备前，提取所述实时视频流的当前视频帧中的目标特征信息及所述目标特征信息的目标位置信息；根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，并根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息，所述根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息包括：根据所述目标位置信息周围在所述当前视频帧中的像素灰度特征，从所述目标位置信息周围像素灰度特征变化小于或等于灰度变化阈值的区域确定所述资源推送信息在所述当前视频帧的呈现位置信息，所述区域的大小与所述资源推送信息预设的占用像素数量及长宽比例成一定比例；
呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息，后续基于所述资源推送信息在后续视频帧中跟踪呈现对应的资源推送信息，所述网络设备无需在后续视频帧中向所述第二用户设备发送资源相关信息。
7.根据权利要求6所述的方法，其中，所述呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息，包括：
呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息的推送提示信息；
获取用户关于所述推送提示信息的点击或者触控操作，在所述呈现位置信息呈现所述资源推送信息。
8.根据权利要求6所述的方法，其中，所述资源推送信息包括关于资源推送的访问链接信息；
其中所述方法还包括：
获取用户关于所述资源推送信息的点击或触控操作，向所述网络设备发送关于资源推送的访问请求；
接收所述网络设备基于所述访问请求返回的资源呈现信息。
9.根据权利要求6所述的方法，其中，所述方法还包括：
接收所述网络设备返回的、关于所述资源推送信息的截止呈现指令，截止呈现所述资源推送信息。
10.根据权利要求6所述的方法，其中，所述接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息，其中，所述第二用户设备与对应的第一用户设备通过所述网络设备建立了所述实时视频通信，包括：
接收对应网络设备发送的、关于实时视频通信的实时视频流，其中，所述实时视频流包含所述网络设备基于资源推送信息的呈现位置信息叠加于当前视频帧的所述资源推送信息；
其中，所述呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流的当前视频帧中呈现所述资源推送信息，包括：
呈现所述叠加所述资源推送信息后的实时视频流。
11.一种用于在实时视频流中呈现资源推送信息的方法，其中，所述方法包括：
网络设备接收第一用户设备发送的、关于实时视频通信的实时视频流，其中，所述第一用户设备与对应的第二用户设备通过所述网络设备建立所述实时视频通信；
所述网络设备在将所述实时视频流发送至所述第二用户设备前，根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息，并在确定所述资源推送信息在所述当前视频帧的呈现位置信息后，将所述实时视频流、所述资源推送信息及所述呈现位置信息发送至所述第二用户设备，其中，所述根据所述实时视频流的当前视频帧，确定对应的资源推送信息及所述资源推送信息在所述当前视频帧的呈现位置信息，包括：提取所述实时视频流的当前视频帧中的目标特征信息及所述目标特征信息的目标位置信息；根据所述目标特征信息在资源推送数据库中匹配对应的资源推送信息，并根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息，所述根据所述目标位置信息确定所述资源推送信息在所述当前视频帧的呈现位置信息包括：根据所述目标位置信息周围在所述当前视频帧中的像素灰度特征，从所述目标位置信息周围像素灰度特征变化小于或等于灰度变化阈值的区域确定所述资源推送信息在所述当前视频帧的呈现位置信息，所述区域的大小与所述资源推送信息预设的占用像素数量及长宽比例成一定比例；
所述第二用户设备接收对应网络设备发送的关于实时视频通信的实时视频流、所述实时视频流对应的资源推送信息及所述资源推送信息的呈现位置信息；
所述第二用户设备呈现所述实时视频流并基于所述呈现位置信息在所述实时视频流中呈现所述资源推送信息，后续基于所述资源推送信息在后续视频帧中跟踪呈现对应的资源推送信息，所述网络设备无需在后续视频帧中向所述第二用户设备发送资源相关信息。
12.一种用于在实时视频流中呈现资源推送信息的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至10中任一项所述方法的操作。
13.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至10中任一项所述方法的操作。
CN201910361923.2A 2019-04-30 2019-04-30 一种用于在实时视频流中呈现资源推送信息的方法与设备 Active CN110311945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361923.2A CN110311945B (zh) 2019-04-30 2019-04-30 一种用于在实时视频流中呈现资源推送信息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361923.2A CN110311945B (zh) 2019-04-30 2019-04-30 一种用于在实时视频流中呈现资源推送信息的方法与设备

Publications (2)

Publication Number Publication Date
CN110311945A CN110311945A (zh) 2019-10-08
CN110311945B true CN110311945B (zh) 2022-11-08

Family

ID=68075351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361923.2A Active CN110311945B (zh) 2019-04-30 2019-04-30 一种用于在实时视频流中呈现资源推送信息的方法与设备

Country Status (1)

Country Link
CN (1) CN110311945B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870106A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种信息处理方法及电子设备
WO2015043085A1 (zh) * 2013-09-30 2015-04-02 深圳创维－Rgb电子有限公司 一种视频信息显示方法和装置
CN105430455A (zh) * 2015-01-23 2016-03-23 Tcl集团股份有限公司 信息呈现方法及系统
CN105677265A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种显示方法及终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060080407A1 (en) * 2004-10-12 2006-04-13 Motorola, Inc. Multimedia session establishment in a user entity having audio floor control
CN103024334B (zh) * 2011-09-28 2015-11-25 中国移动通信集团公司 一种实现可视电话业务的方法、系统和设备
CN103888423B (zh) * 2012-12-20 2019-01-15 联想(北京)有限公司 信息处理方法和信息处理设备
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置
CN108629224B (zh) * 2017-03-15 2019-11-05 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN108650482B (zh) * 2018-05-14 2020-12-11 平安科技（深圳）有限公司 一种视频通话服务的响应方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870106A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种信息处理方法及电子设备
WO2015043085A1 (zh) * 2013-09-30 2015-04-02 深圳创维－Rgb电子有限公司 一种视频信息显示方法和装置
CN105677265A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 一种显示方法及终端
CN105430455A (zh) * 2015-01-23 2016-03-23 Tcl集团股份有限公司 信息呈现方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Flexible disk scheduling for multimedia presentation servers";S.Emilda;《IEEE》;20021107;全文 *
"基于Openflow的视频流控制原型系统实现";邓亮;《中国硕士学位论文全文数据库 信息科技辑》;20140115;全文 *

Also Published As

Publication number Publication date
CN110311945A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110827061B (zh) 一种用于在小说阅读过程中提供呈现信息的方法与设备
CN109669657B (zh) 一种用于进行远程文档协作的方法与设备
CN110765395B (zh) 一种用于提供小说信息的方法与设备
CN110781397B (zh) 一种用于提供小说信息的方法与设备
CN111159536B (zh) 一种在阅读应用中推送呈现信息的方法与设备
CN110333919B (zh) 一种呈现社交对象信息的方法与设备
CN110321189B (zh) 一种在宿主程序中呈现寄宿程序的方法与设备
CN112822431B (zh) 一种私密音视频通话的方法与设备
CN110780955A (zh) 一种用于处理表情消息的方法与设备
CN111427650A (zh) 一种用于提供呈现信息的方法与设备
CN110750482A (zh) 一种用于提供小说阅读信息的方法与设备
CN111506232A (zh) 一种用于在阅读应用中控制菜单显示的方法与设备
CN110430253B (zh) 一种提供小说更新通知信息的方法与设备
CN111325574B (zh) 一种用于提供呈现信息的方法与设备
CN111162990B (zh) 一种呈现消息通知的方法与设备
CN113157162B (zh) 一种用于撤回会话消息的方法、设备、介质及程序产品
CN112822430B (zh) 一种会议群组合并的方法与设备
CN109409947A (zh) 一种基于客户端的居民出行调查方法
CN111078654B (zh) 一种分享信息的方法与设备
CN112818719A (zh) 一种识别二维码的方法与设备
CN109636922B (zh) 一种用于呈现增强现实内容的方法与设备
CN110311945B (zh) 一种用于在实时视频流中呈现资源推送信息的方法与设备
US11750876B2 (en) Method and apparatus for determining object adding mode, electronic device and medium
CN110765390A (zh) 一种用于在社交空间发布分享信息的方法与设备
CN114821410A (zh) 一种确定目标对象的对象关联信息的方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant