CN112965750B

CN112965750B - Ip化多媒体资源的显示与控制系统及方法

Info

Publication number: CN112965750B
Application number: CN202110547649.5A
Authority: CN
Inventors: 冉旭; 姚远; 李厚鹏; 周劲羽
Original assignee: Beijing Digibird Technology Co ltd
Current assignee: Beijing Digibird Technology Co ltd
Priority date: 2021-05-19
Filing date: 2021-05-19
Publication date: 2021-08-13
Anticipated expiration: 2041-05-19
Also published as: CN112965750A

Abstract

本发明属于IP化多媒体资源的显示与控制领域，具体涉及了一种IP化多媒体资源的显示与控制系统及方法，旨在解决的问题。本发明包括：一个或多个显示与控制发送端，将外部和/或第三方IP化非标准多媒体资源编码为标准IP化多媒体资源，并将推送信息发送给多媒体资源池；多媒体资源池，存储推送信息并发送给在线的显示与控制接收端，以及根据显示与控制接收端发送的控制命令查找对应的标准IP化多媒体资源；一个或多个显示与控制接收端，接收多媒体资源池发送的推送信息，生成控制命令并发送至多媒体资源池，以及对控制命令对应的标准IP化多媒体资源进行解码显示与控制。本发明可以在任意的节点进行多媒体信号源推拉流，并对信号源进行控制和批注。

Description

IP化多媒体资源的显示与控制系统及方法

技术领域

本发明属于IP化多媒体资源的显示与控制领域，具体涉及了一种IP化多媒体资源的显示与控制系统及方法。

背景技术

随着信息技术的发展，各行各业的业务信息化越来越普遍，多种业务系统要求实现可视化。传统技术中，主要采用DVI、HDMI多媒体矩阵进行数据传输，然而，这种方法在同时投放较多的可视化页面时，需要非常昂贵的多媒体矩阵，会议现场还需要大量的工作站登录相关系统进行业务投放，成本较高，并且离开了集中展示的会议室，信号获取则相对困难，无法快速调阅相关业务的可视化页面。

现在一些技术提出针对视频数据发送端和若干视频数据接收端，将视频数据接收端通过路由器与交换机信号连接，则可根据需要将视频信息传送到大楼的任何展示屏幕[1]，还有一些技术提出通过接收发送端的多媒体信号，转换为带有IP标识的数据包，然后数据包发送至IP标识对应的接收端，这样，通过将多媒体信号IP化处理，按照IP地址进行投放和传输[2]，传输过程中只受限于交换机的容量大小，只要保证交换机容量足够，即可保证多媒体信号的稳定传输，并且对于包含IP标识的多媒体信号，在发生信号丢失时，也更容易进行故障排查。

然而，上述技术是基于传统的视频信号或文件进行传输展示，一是没有办法实现对多媒体信号内容的控制和批注；二是无法简单便捷的实现多个多种类型的多媒体信号的传输，多媒体信号类型包括但不限于：Office文档、Web网页以及Windows桌面等，且现有方法需要投放多种类的多媒体信号时，需要多个工作站电脑的物理输入进行编码，成本昂贵、实施难度大。

以下文献是与本发明相关的技术背景资料：

[1]罗崇立、秦凤枝、杨志花等，一种IP化多媒体信号传输系统，2017-12-18，CN207573504U。

[2]秦凤枝、罗崇立、杨志花等，一种多媒体信号的传输方法、传输系统及相关装置，2018-11-16，CN109412979A。

发明内容

为了解决现有技术中的上述问题，即现有的多媒体传输技术方案中布线复杂、成本高昂、维护难、操作繁琐、无法批注的问题，本发明提供了一种IP化多媒体资源的显示与控制系统，该显示与控制系统包括一个或多个显示与控制发送端、多媒体资源池以及一个或多个显示与控制接收端；

所述显示与控制发送端，用于将外部多媒体资源和/或第三方IP化非标准多媒体资源编码为标准IP化多媒体资源，并将所述标准IP化多媒体资源的推送信息发送给所述多媒体资源池，以及执行所述显示与控制接收端的控制命令；

所述多媒体资源池，用于存储所述推送信息、将所述推送信息发送给在线的一个或多个显示与控制接收端，以及根据所述显示与控制接收端发送的控制命令查找对应的标准IP化多媒体资源；

所述显示与控制接收端，用于接收所述多媒体资源池发送的推送信息，生成控制命令并发送至所述多媒体资源池，以及对所述控制命令对应的标准IP化多媒体资源进行解码显示与控制。

在一些优选的实施例中，所述将外部多媒体资源和/或第三方IP化非标准多媒体资源编码为标准IP化多媒体资源，包括：

进行外部多媒体资源和/或第三方IP化非标准多媒体资源解码显示；

在解码后的多媒体资源的显示图层上覆盖透明批注层；

将解码后的多媒体资源的显示图层与透明批注层合并后进行编码，获得标准IP化多媒体资源。

在一些优选的实施例中，所述多媒体资源为多页文件时，在所述透明批注层的设定位置生成文件的翻页按钮。

在一些优选的实施例中，所述控制命令对应的标准IP化多媒体资源，其传递过程为：

所述多媒体资源池接收到所述显示与控制接收端的控制命令后，根据所述控制命令查找相应的标准IP化多媒体资源所在的显示与控制发送端；

所述多媒体资源池建立与标准IP化多媒体资源所在的显示与控制发送端之间的第一数据通道和第一控制通道；

所述多媒体资源池建立与所述控制命令发出的显示与控制接收端之间的第二数据通道和第二控制通道；

所述标准IP化多媒体资源所在的显示与控制发送端分别通过所述第一数据通道和第一控制通道将所述标准IP化多媒体资源以及对应的控制命令和批注发送至所述多媒体资源池；

所述多媒体资源池分别通过所述第二数据通道和第二控制通道将所述标准IP化多媒体资源以及对应的控制命令和批注发送至所述控制命令发出的显示与控制接收端。

在一些优选的实施例中，所述标准IP化多媒体资源的推送信息包括：

标准IP化多媒体资源的文件名、文件类型、文件总页数以及文件所在显示与控制发送端的ID地址。

在一些优选的实施例中，所述多媒体资源池在所述一个或多个显示与控制发送端以及一个或多个显示与控制接收端之间创建并行的子进程，实现多个IP化多媒体资源并行的显示与控制。

在一些优选的实施例中，所述显示与控制接收端与所述显示与控制发送端均为显示与控制系统，所述显示与控制系统在进行多媒体资源推送时作为显示与控制发送端，在进行多媒体资源订阅时，作为显示与控制接收端。

本发明的另一方面，提出了一种IP化多媒体资源的显示与控制方法，基于上所述的IP化多媒体资源的显示与控制系统，该显示与控制方法包括：

步骤S10，显示与控制发送端作为主进程，创建读取相应多媒体资源的文件读取子进程；

步骤S20，若文件为office文件，则所述文件读取子进程通过创建COM组件打开所述多媒体资源，并将COM组件嵌入创建的隐藏Windows窗口；否则，通过文件对应的解码库解码；

步骤S30，文件读取子进程将获取的多媒体资源的显示图层以及多媒体资源的文件总页数、当前页数和宽高比通过进程间通信方式传输至主进程；

步骤S40，主进程在所述显示图层上覆盖透明批注层后进行合并编码，并生成多媒体资源的推送信息发送至多媒体资源池；

步骤S50，多媒体资源池将推送消息发送至在线的一个或多个显示与控制接收端，并在接受到显示与控制接收端的控制命令后，分别建立与发送端之间的第一数据通道和第一控制通道以及与接收端之间的第二数据通道和第二控制通道；

步骤S60，发送端与接收端通过所述第一数据通道和第二数据通道进行多媒体资源传输，通过所述第一控制通道和第二控制通道进行控制命令和批注传输。

本发明的第三方面，提出了一种IP化多媒体资源的显示与控制设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的IP化多媒体资源的显示与控制方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的IP化多媒体资源的显示与控制方法。

本发明的有益效果：

（1）本发明IP化多媒体资源的显示与控制系统，实现了对多种类型的多媒体信号的IP化传输，不再通过对物理信号输入进行编码的方式传输媒体信号，免去高昂的使用成本，简单高效。

（2）本发明IP化多媒体资源的显示与控制系统，针对其他IP化的多媒体信号，可进行二次IP化后进行统一的控制和批注。

（3）本发明IP化多媒体资源的显示与控制系统，可同时对多个种类的多媒体信号进行实时控制和批注。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明IP化多媒体资源的显示与控制系统的结构示意图；

图2是本发明IP化多媒体资源的显示与控制系统一种实施例的多媒体资源IP化过程示意图；

图3是本发明IP化多媒体资源的显示与控制系统一种实施例的IP化多媒体资源的获取、显示和控制过程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种IP化多媒体资源的显示与控制系统，通过IP化多种类型的多媒体信号实现对信号的显示、控制和批注，解决现有的多媒体传输技术方案中布线复杂、成本高昂、维护难、操作繁琐、无法批注等问题，用户只需要在局域网或公网上部署服务器以及显示和控制系统节点，便可以在任意的节点进行多媒体信号源推拉流，并对信号源进行控制和批注。

本发明的一种IP化多媒体资源的显示与控制系统，该显示与控制系统包括一个或多个显示与控制发送端、多媒体资源池以及一个或多个显示与控制接收端；

为了更清晰地对本发明IP化多媒体资源的显示与控制系统进行说明，下面结合图1对本发明实施例中各模块展开详述。

本发明第一实施例的IP化多媒体资源的显示与控制系统，包括一个或多个显示与控制发送端、多媒体资源池以及一个或多个显示与控制接收端，各模块详细描述如下：

显示与控制发送端，用于将外部多媒体资源和/或第三方IP化非标准多媒体资源编码为标准IP化多媒体资源，并将所述标准IP化多媒体资源的推送信息发送给所述多媒体资源池，以及执行所述显示与控制接收端的控制命令。

标准IP化多媒体资源的推送信息包括：

将外部多媒体资源和/或第三方IP化非标准多媒体资源编码为标准IP化多媒体资源，包括：

在解码后的多媒体资源的显示图层上覆盖透明批注层；

多媒体资源为多页文件时，在所述透明批注层的设定位置生成文件的翻页按钮。

显示与控制接收端与显示与控制发送端均为显示与控制系统，显示与控制系统在进行多媒体资源推送时作为显示与控制发送端，在进行多媒体资源订阅时，作为显示与控制接收端。

如图2所示，为本发明IP化多媒体资源的显示与控制系统一种实施例的多媒体资源IP化过程示意图，其过程简单描述如下：

（1）显示与控制系统作为发送端时，读取外部的多媒体文件或第三方IP化资源，进行解码显示，同时覆盖透明的图层，用于批注，将多媒体资源的显示图层和批注图层合并后进行编码，发布该多媒体资源的推送信息给多媒体资源池（服务器）；

（2）多媒体资源池（服务器）收到推送信息后存储，以便之后查询，并将该信息推送给其他在线的显示与控制系统，使其第一时间发现新的多媒体资源；

（3）显示和控制系统作为接收端时，收到新的多媒体资源推送信息后，向多媒体资源池（服务器）请求拉取该资源，进行解码显示与控制。

多媒体资源池，用于存储所述推送信息、将所述推送信息发送给在线的一个或多个显示与控制接收端，以及根据所述显示与控制接收端发送的控制命令查找对应的标准IP化多媒体资源。

显示与控制接收端，用于接收所述多媒体资源池发送的推送信息，生成控制命令并发送至所述多媒体资源池，以及对所述控制命令对应的标准IP化多媒体资源进行解码显示与控制。

控制命令对应的标准IP化多媒体资源，其传递过程为：

显示与控制接收端进行标准IP化多媒体资源解码显示与控制时，通过所述第一控制通道以及所述第二控制通道进行控制命令和/或批注的传输。

多媒体资源池在所述一个或多个显示与控制发送端以及一个或多个显示与控制接收端之间创建并行的子进程，实现多个IP化多媒体资源并行的显示与控制。

如图3所示，为本发明IP化多媒体资源的显示与控制系统一种实施例的IP化多媒体资源的获取、显示和控制过程示意图，其过程简单描述如下：

（1）显示与控制系统作为接收端时，可以查询或被动接收多媒体资源池（服务器）中多媒体资源的推送信息，并请求服务器对某一个资源进行拉取控制；

（2）多媒体资源池（服务器）收到拉取请求后，根据请求信息找到对应的发送端，建立数据通道，成功后发送端会将编码后的数据包传输到多媒体资源池（服务器），建立控制通道，用于接受控制命令和批注；

（3）多媒体资源池（服务器）与接收端建立数据通道，将收到的数据包通过数据通道发送给接收端，建立控制通道，用于发送控制命令和批注；

（4）接收端对数据包进行解码渲染显示，可将控制命令或批注，通过建立好的控制通道，经过多媒体资源池（服务器）转发给发送端，发送端根据命令类型执行相应操作即可。

本发明第二实施例的IP化多媒体资源的显示与控制方法，基于上所述的IP化多媒体资源的显示与控制系统，该显示与控制方法包括：

即对于OFFCIE文档类型的文件，才通过创建COM组件打开所述多媒体资源、嵌入隐藏的Windows窗口中进行处理，并且Office文档类型是采用抓图的方式来获取实时的图像数据，而其他类型的文件则采用文件相应的第三方解码库解码显示。

下面以多个PPT文档IP化过程为例进一步对本发明IP化多媒体资源的显示与控制系统的详细运行过程进行描述：

（1）显示与控制系统作为发送端和主进程，创建一个子进程程序，读取某个PPT文件的内容。子进程通过创建COM组件打开该文档，并创建一个隐藏的Windows窗口并将COM组件嵌入窗口，子进程截取窗口中的画面，通过进程间通信的方式，将图像传输到主进程，主进程根据文档类型创建不同的显示窗口和控制按钮，实现对这个PPT文档的显示；

为了实现控制文档，子进程在文档打开成功后，会将PPT的总页数、当前页数以及宽高比通过进程间通信传输到主进程。主进程根据用户的控制命令，给子进程下发向后或向前翻页的命令，子进程根据命令类型调用COM组件中的接口，实现对PPT文档的控制；

（2）显示与控制系统作为发送端，在创建窗口显示PPT文档的同时，创建一个背景透明的显卡纹理图层，当发送端接收到批注绘制命令时，先根据命令找到对应的窗口，再将批注点集传给窗口，由窗口绘制在透明的显卡纹理图层上，实现对窗口内容的批注；

（3）显示与控制系统在打开文档后，将文档窗口的显示内容图层和批注图层合并后进行编码，同时通知显示与控制服务器（多媒体资源池），发布了一个流媒体文档及相关信息，包括文件名、推流用户ID等，再经过服务器（多媒体资源池）转发至其他显示与控制终端；

（4）其他显示与控制终端接收到发布信息后，终端如果订阅并打开该文档时，会向服务器（多媒体资源池）推送订阅消息，由服务器（多媒体资源池）转发给发布终端。此时发布终端与服务器（多媒体资源池）建立数据通道，将文档窗口的编码数据通过数据通道推送至服务器（多媒体资源池），同时建立控制通道，将文档的类型、当前页数、总页数等属性信息，通过控制通道推送至服务器（多媒体资源池），服务器（多媒体资源池）请求与订阅终端建立数据通道和控制通道，将上述数据包转发至订阅终端，由订阅终端根据文档类型生成创建对应的窗口及UI并解码渲染，完成文档从发布-订阅-显示的过程；

（5）订阅终端根据类型创建PPT窗口后，可进行同发布者一样的控制操作，当订阅终端点击翻页按钮时，订阅终端通过控制通道，将控制命令推送到服务器（多媒体资源池），再由服务器（多媒体资源池）转发至发布终端，发布终端根据命令调用相应的控制接口即可；

（6）当订阅终端决定关闭该文档时，会向服务器（多媒体资源池）请求取消订阅，由服务器（多媒体资源池）转发至发布终端后，发布终端断开与服务器（多媒体资源池）的数据通道和控制通道，最终服务器（多媒体资源池）转发取消订阅成功的消息至订阅终端，并由订阅终端断开数据通道和控制通道；

（7）当发布终端决定关闭该文档时，会向服务器（多媒体资源池）请求取消发布，并断开与服务器（多媒体资源池）的数据通道和控制通道，并由服务器（多媒体资源池）转发至所有订阅的终端，所有订阅终端收到取消发布的消息后，统一关闭该文档窗口，并断开与服务器（多媒体资源池）的数据通道和控制通道；

上述过程描述了一个PPT文档从打开到发布，从订阅到显示，从控制到结束的整个过程。以此类推其他多媒体文件的IP化过程。该过程支持多个多媒体文档同时进行。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法的具体工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的IP化多媒体资源的显示与控制系统及方法，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种IP化多媒体资源的显示与控制设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的IP化多媒体资源的显示与控制方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种IP化多媒体资源的显示与控制系统，其特征在于，该显示与控制系统包括一个或多个显示与控制发送端、多媒体资源池以及一个或多个显示与控制接收端；

所述显示与控制接收端，用于接收所述多媒体资源池发送的推送信息，生成控制命令并发送至所述多媒体资源池，以及对所述控制命令对应的标准IP化多媒体资源进行解码显示与控制；

其中，将外部多媒体资源和/或第三方IP化非标准多媒体资源编码为标准IP化多媒体资源，包括：

在解码后的多媒体资源的显示图层上覆盖透明批注层；

2.根据权利要求1所述的IP化多媒体资源的显示与控制系统，其特征在于，所述多媒体资源为多页文件时，在所述透明批注层的设定位置生成文件的翻页按钮。

3.根据权利要求1所述的IP化多媒体资源的显示与控制系统，其特征在于，所述控制命令对应的标准IP化多媒体资源，其传递过程为：

所述多媒体资源池接收到所述显示与控制接收端的控制命令后，根据所述控制命令查找相应标准IP化多媒体资源所在的显示与控制发送端；

4.根据权利要求1所述的IP化多媒体资源的显示与控制系统，其特征在于，所述标准IP化多媒体资源的推送信息包括：

5.根据权利要求1-4任一项所述的IP化多媒体资源的显示与控制系统，其特征在于，所述多媒体资源池在所述一个或多个显示与控制发送端以及一个或多个显示与控制接收端之间创建并行的子进程，实现多个IP化多媒体资源并行的显示与控制。

6.根据权利要求1-4任一项所述的IP化多媒体资源的显示与控制系统，其特征在于，所述显示与控制接收端与所述显示与控制发送端均为显示与控制系统，所述显示与控制系统在进行多媒体资源推送时作为显示与控制发送端，在进行多媒体资源订阅时，作为显示与控制接收端。

7.一种IP化多媒体资源的显示与控制方法，其特征在于，基于权利要求1-6任一项所述的IP化多媒体资源的显示与控制系统，该显示与控制方法包括：

8.一种IP化多媒体资源的显示与控制设备，其特征在于，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求7所述的IP化多媒体资源的显示与控制方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求7所述的IP化多媒体资源的显示与控制方法。