CN113067887B - 一种多目标应用程序窗口信息抓取与网络推送方法及系统 - Google Patents

Abstract

本发明公开了一种多目标应用程序窗口信息抓取与网络推送方法，其包括如下步骤：(1)设置一主控计算机、云拼接前端处理器和多个运行目标应用程序界面的终端机；(2)抓取各终端机正在运行的应用程序界面的窗口信息数据、编码；(3)发送给云拼接前端处理器的FPGA模块)；(4)FPGA模块对窗口信息编码数据进行处理，生成新的窗口信息编码数据；(5)解码后发送给阵列显示输出模块；(6)进行集成化阵列窗口信息显示。本发明还公开了上述上述方法的系统。本发明通过网络设备对多个运行目标应用程序的终端机窗口信息进行抓取、编辑和集成化展示，使用的设备少、运行效率高，可广泛应用于大数据平台、集成化智能监控等技术领域。

Description

一种多目标应用程序窗口信息抓取与网络推送方法及系统

技术领域

本发明涉及大数据处理与多媒体显示技术领域，具体为一种多目标应用程序窗口信息抓取与网络推送方法及系统。

背景技术

应用在大数据分析、展示平台，以及智能监控平台、多媒体演出布景等场景下，往往需要采用阵列化的超大屏幕显示被监控的目标终端设备中运行的程序，并进行智能化的分析、处理。但是，由于各种终端设备的应用程序及接口均不一致，难以对多个终端的窗口运行的内容，或者对一个终端的多个窗口运行的内容，进行实时、准确的抓取。

中国发明专利申请CN201811255783.2提供了一种UI元素的信息抓取方法及装置、及存储介质。所述UI元素的信息抓取方法包括：检测作用于UI的用户操作，获得所述用户操作所作用的位置参数；根据所述位置参数确定所述用户操作用的目标元素；获取所述目标元素的类型；根据所述目标元素的类型，调用对应的元素抓取工具抓取所述目标元素的信息。该发明在抓取UI上的UI元素的信息时，不再是直接利用统一的抓取工具，而是首先会区分不同UI元素的类型，根据获取的类型，选择合适可以成功抓取到目标元素的信息的抓取工具来抓取目标元素的信息，减少因为抓取工具选择不恰当或者直接采用单一抓取工具抓取目标元素的信息，导致的目标元素的信息抓取失败的问题，提升了目标元素的抓取成功率。

但是，该技术方案采用的抓取工具较多、操作步骤复杂，而且不能实现按需推送。网络信息推送是利用推送(Push)技术根据用户需要，有目的、按时将用户感兴趣的信息主动发送到用户的计算机中。就像是广播电台播音，“推送”技术主动将最新的新闻和资料推送给客户，使用者不必上网搜索。Push技术的主要优点是对用户要求低，普遍适用于广大公众，不要求有专门的技术；二是及时性好，信源及时地向用户“推送”不断更新的动态信息。

现有技术的信息推送系统，在一台计算机上显示多个终端机的程序活动窗口信息时往往需要多头个显卡的进行处理，如需要显示几十个程序活动窗口信息或者上百个程序活动窗口信息的时候，则需要非常数台或者数十台计算机去实现，而且功耗高，线路布线非常繁琐、中间节点太多容易造成接触不良或其他隐患。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种多目标应用程序窗口信息抓取的网络推送系统，解决了传统数据显示需要为多头显卡的方式，如需要显示几十个信号或者上百个信号的时候则需要非常多台计算机去实现，而且线路布线非常繁琐，中间节点太多容易造成接触不良或其他隐患的问题。

（二）技术方案

为实现上述目的，本发明提供如下技术方案：

一种多目标应用程序窗口信息抓取与网络推送方法，其特征在于，其包括如下步骤：

（1）设置一主控计算机（100）及分别与该主控计算机（100）网络连接的云拼接前端处理器（200）和多个运行目标应用程序的终端机（300）；所述主控计算机（100）及各终端机（300）内置的控制程序中分别安装有B/S架构的目标应用程序窗口信息抓取程序S端与B端；所述的主控计算机（100）还内置有编码模块（102）；

所述的云拼接前端处理器（200）包括相互连接的：目标应用程序窗口信息接收模块（201）、FPGA模块（203）、解码模块（204）和阵列显示输出模块（205）；

（2）通电运行，各终端机中的目标应用程序窗口信息抓取程序B端，抓取各终端机正在运行的应用程序界面的窗口信息数据，并通过网络发送到S端的主控计算机（100），由目标应用程序窗口信息抓取程序S端对其进行排序、编组、打包等数据处理，然后由编码模块（102）按照设定的编码标准进行音视频编码；

（3）主控计算机（100）将处理后的窗口信息（音视频）编码数据，通过流媒体传输网络，发送给云拼接前端处理器（200）的目标应用程序窗口信息接收模块（201），其接收后转给FPGA模块（203）；

（4）FPGA模块（203）对窗口信息编码数据进行处理，包括：将一个编码窗口图像切换分割成多个窗口图像、或者将多个编码窗口图像拼接成一个窗口图像，然后进行编组、打包、排序，生成新的窗口信息编码数据；

（5）解码模块（204）对新的窗口信息编码数据进行解码，并按照编组、打包、排序，将解码后的数据还原为窗口信息，然后根据用户设定的规则生成流媒体信号，发送给用户指定的阵列显示输出模块（205）；

（6）阵列显示输出模块（205）将该流媒体信号，发送给外部阵列显示装置（400），进行集成化阵列窗口信息显示，完成信息推送。

所述的多目标应用程序窗口信息抓取与网络推送方法，其特征在于，其还包括如下步骤：

（11）其还包括AI服务器，所述AI服务器内置括AI深度学习模块；

（21）AI深度学习模块对目标应用程序窗口信息抓取程序抓取的窗口信息数据，导入训练模型，进行提取、识别、分类，然后再发送给编码模块（102）对其进行编码。

所述的多目标应用程序窗口信息抓取与网络推送方法，其特征在于，所述的步骤（4），还包括：云拼接前端处理器（200）的FPGA模块（203），对接收到的窗口信息，进行画面任意窗口排列显示、图层叠加、窗体漫游及画面分割运算处理后，再将得到的流媒体（图像视频流）信息发送至所述阵列显示输出模块（205），进行最终的集成化阵列窗口信息显示。

所述的目标应用程序窗口信息抓取程序S端或B端，通过窗口监听及流媒体网络远程控制，抓取各终端机上运行的目标应用程序的窗口信息；所述的目标应用程序窗口信息，包括出现在目标应用程序的活动窗口、窗口/对象、矩形区域、手绘区域、整个屏幕、滚动窗口、固定区域内的，文字、符号、视频、音频或图像信息。

所述的目标应用程序窗口信息抓取程序S端（101）或B端（301），通过流媒体传输协议的动态控制，进行单台终端机（电脑）的多层应用程序窗口信息的动态抓取；

所述的目标应用程序窗口信息抓取程序S端（101）或B端（301），通过流媒体传输协议的同步协同控制，进行多台终端机（电脑）的应用程序窗口信息的同步抓取。

一种实施前述方法的多目标应用程序窗口信息抓取与网络推送系统，其特征在于，其包括基于网络相互连接并交互通讯的主控计算机（100）、多个运行目标应用程序的终端机（300）、云拼接前端处理器（200）、阵列显示装置（400）；所述主控计算机（100）内置有主控程序，该主控程序包括目标应用程序窗口信息抓取程序S端（101）、编码模块（102）；所述的云拼接前端处理器（200）包括FPGA模块（203）、解码模块（204）和阵列显示输出模块（205）；每一所述的终端机（300）均内置有目标应用程序窗口信息抓取程序B端（301）；其中，所述的目标应用程序窗口信息抓取程序S端（101）、B端（301），对各终端机应用程序的窗口信息进行抓取；所述编码模块（102）对所抓取的窗口信息进行编码；FPGA模块（203）对编码窗口信息进行处理；所述的解码模块（204）对FPGA模块（203）处理的编码窗口信息进行解码，再将解码后生成的流媒体信号通过网络发送给阵列显示输出模块（205），通过集成化显示阵列装置（400）显示最终的流媒体信号。

所述编码模块（102）为海思HI3521A编码芯片。

所述解码模块（204）为海思HI3536解码芯片，该解码芯片内置的SOC应用处理程序，对窗口信息进行数据的接收、编组、打包、排序的数据处理。

所述云拼接前端处理器（200）为XSR-WP9000云拼接图像处理器；所述的多个运行目标应用程序的终端机，为电脑终端、智能设备终端或PLC终端之一。

（三）有益效果

与现有技术相比，本发明提供的多目标应用程序窗口信息抓取的网络推送方法及系统，具备以下有益效果：

（1）该多目标应用程序窗口信息抓取与网络推送方法与系统，是通过网络传输方式获取、传输并处理图像数据，可实现图像数据的实时获取和传输，通过对终端机（电脑）B端的抓取应用程序实现电脑窗口的抓取，包含网页、音视频文件、PPT、WORD等电脑能显示的全部窗口显示信息，传输给S端进行处理，图像数据的接收、图像解码和图像显示，只需要一台主控计算机即可。将主控计算机获取的数据通过网络流媒体转发的方式，编码后传输至云拼接前端处理器再解码，可保证数据传输的准确性、一致性，实现画面任意窗口显示，图层叠加、窗体漫游、画面分割等应用，可广泛应用在大数据展示平台、多媒体超大屏幕显示等领域，可大大节省设备成本以及运行、维护成本。

（2）本发明提供的多个终端应用程序窗口信息（运行界面）抓取与网络推送系统，解决了传统数据显示的弊端，以往需要在一台计算机上显示多个屏幕画面时需要采用多头显卡的方式，如需要显示几十个信号或者上百个信号的时候则需要非常多台计算机去实现，而且线路布线非常繁琐，中间节点太多容易造成接触不良或其他隐患，现通过多个应用抓取网络推送系统解决了以上问题，只需要一台计算机即可将计算机内的信号通过网络流媒体转发的方式编解码传输至云拼接解码控制器解码，大大节省了设备成本以及维护成本。

附图说明

图1为本发明多目标应用程序窗口信息抓取与网络推送系统的模块组成结构示意图。

图2为本发明多目标应用程序窗口信息抓取与网络推送方法及系统模块组成结构示意图。

图中： 100、主控计算机；101、目标应用程序窗口信息抓取程序S端；102、编码模块；200、云拼接前端处理器；201、接收模块；203、FPGA模块；204、解码模块；205、阵列显示输出模块；300、运行目标应用程序的终端机；301、目标应用程序窗口信息抓取程序B端； 400、阵列显示装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

实施例1：

请参阅附图1及图2，本发明实施例提供的多目标应用程序窗口信息抓取与网络推送方法，其包括如下步骤：

（1）设置一主控计算机100及分别与该主控计算机100网络连接的云拼接前端处理器200和多个运行目标应用程序的终端机300；所述主控计算机100及各终端机300内置的控制程序中分别安装有B/S架构的目标应用程序窗口信息抓取程序S端与目标应用程序窗口信息抓取程序B端；所述的主控计算机100还内置有编码模块102；该内置的B/S架构程序可以为一个单独工作，例如可以采用FastStone Capture程序进行屏幕截图、抓屏、屏幕录像；也可以同时采用多个程序并行工作：例如可以采用snipaste软件进行截图、贴图； 采用调用Win32 API来捕获屏幕或当前活动窗口的源代码（如具体调用API函数 "BitBlt"，或使用GDI32.dll来实现捕获屏幕或者当前活动窗口）；采用c#开发的窗口信息获取器、窗口信息提取器等软件；采用Pazera Free Audio Extractor、Abelssoft MusicExtractor等提取音频数据；各程序并行运行、各自抓取对应的数据，并发送给主控计算机100。

所述的云拼接前端处理器200包括相互连接的：目标应用程序窗口信息接收模块201、FPGA模块203、解码模块204和阵列显示输出模块205；

（2）通电运行，各终端机中的目标应用程序窗口信息抓取程序B端，抓取各终端机正在运行的应用程序的窗口信息（包括并不限于UI界面）数据，并通过网络发送到主控计算机100，由目标应用程序窗口信息抓取程序S端对其进行排序、编组、打包等数据处理，然后由编码模块102按照设定的编码标准进行音视频编码；

（3）主控计算机100将处理后的窗口信息（音视频、图像）编码数据，通过流媒体传输网络，发送给云拼接前端处理器200的目标应用程序窗口信息接收模块201，其接收后转给FPGA模块203；

（4）FPGA模块203对窗口信息编码数据进行处理，包括：将一个编码窗口图像切换分割成多个窗口图像、或者将多个编码窗口图像拼接成一个窗口图像，然后进行编组、打包、排序，生成新的窗口信息编码数据；

（5）解码模块204对新的窗口信息编码数据进行解码，并按照编组、打包、排序，将解码后的数据还原为窗口信息，然后根据用户设定的规则生成流媒体信号，发送给用户指定的阵列显示输出模块205；

（6）阵列显示输出模块205将该流媒体信号，发送给外部阵列显示装置（400），进行集成化阵列窗口信息显示，完成信息推送。

所述的多目标应用程序窗口信息抓取与网络推送方法，为强化对大数据的批量化高效处理，其还包括如下步骤：

（11）其还包括AI服务器，所述AI服务器内置括AI深度学习模块；

（21）AI深度学习模块对目标应用程序窗口信息抓取程序抓取的窗口信息数据，导入训练模型，进行提取、识别、分类，然后再发送给编码模块102对所其进行编码。该训练模型可以根据用户的需求和设定的规则、选取的数据，通过事先训练而获得。

所述的步骤（4），还包括：云拼接前端处理器200的FPGA模块203，对接收到的窗口信息，进行画面任意窗口排列显示、图层叠加、窗体漫游及画面分割运算处理后，再将得到的流媒体（图像视频流）信息发送至所述阵列显示输出模块205，进行最终的集成化阵列窗口信息显示。

所述的目标应用程序窗口信息抓取程序S端101或B端301，通过窗口监听及流媒体网络远程控制，抓取各终端机上运行的目标应用程序的窗口信息；所述的目标应用程序窗口信息，包括出现在目标应用程序的活动窗口、窗口/对象、矩形区域、手绘区域、整个屏幕、滚动窗口、固定区域内的，文字、符号、视频、音频或图像信息。

所述的目标应用程序窗口信息抓取程序S端101或B端301，通过流媒体传输协议的动态控制，进行单台终端机（电脑）的多层应用程序窗口信息的动态抓取。

本实施例中，流媒体可采用一下列网络协议之一，包括：实时传输协议RTP（Real-time Transport protocol）；实时传输控制协议RTCP（Real-time Transport Controlprotocol），实时流协议RTSP（Real Time Streaming protocol）。

一种实施前述方法的多目标应用程序窗口信息抓取与网络推送系统，其包括基于网络相互连接并交互通讯的主控计算机100、多个运行目标应用程序的终端机300、云拼接前端处理器200、阵列显示装置400；所述主控计算机100内置有主控程序，该主控程序包括目标应用程序窗口信息抓取程序S端101、编码模块102；所述的云拼接前端处理器200包括接收模块201、FPGA模块203、解码模块204和阵列显示输出模块205；每一所述的终端机300均内置有目标应用程序窗口信息抓取程序B端301；其中，所述的目标应用程序窗口信息抓取程序S端101、B端301，对各终端机应用程序的窗口信息进行抓取；所述编码模块102对所抓取的窗口信息进行编码；FPGA模块203对编码窗口信息进行处理；所述的解码模块204对FPGA模块203处理的编码窗口信息进行解码，再将解码后生成的流媒体信号通过网络发送给阵列显示输出模块205，通过集成化显示阵列装置400显示最终的流媒体信号。

所述编码模块102为海思HI3521A编码芯片。

所述解码模块204为海思HI3536解码芯片，该解码芯片内置的SOC应用处理程序，对窗口信息进行数据的接收、编组、打包、排序的数据处理。

所述云拼接前端处理器200为XSR-WP9000云拼接图像处理器；所述的多个运行目标应用程序的终端机，为电脑终端、智能设备终端或PLC终端之一；

本发明可以实现多目标应用程序窗口信息抓取、截图功能，可以捕捉：活动窗口、窗口/对象、矩形区域、手绘区域、整个屏幕、滚动窗口、固定区域，可以进行屏幕录像（输出格式为 WMV），并对其进行处理后，根据客户的需求进行网络推送系统。

本发明的多目标应用程序窗口信息抓取包括了全屏截取，当前活动窗口截取，截取选定区域，多边形截取和截取滚动页面等。

本实施例中，Hi3536是针对多路高清或多路D1NVR产品应用开发的专业高端SoC；Hi3536内置高性能A17处理器和具有高达16路1080p解码能力的多协议视频解码引擎，集成了多项复杂图像处理算法的高性能视频/图像处理引擎，结合双路高清显示输出能力，为客户产品提供优异的图像质量。支持丰富的外围接口，在为客户提供差异化产品功能、性能、图像质量要求的同时，大大降低了ebom成本。

具体的，云拼接前端处理器200为XSR-WP9000系列云拼接图像处理器。

本实施例中，XSR-WP9000系列云处理系统，是一款融合云应用、云互联、云接入、云控制的综合拼接处理器系统，具有丰富的应用、媒体、IP、DVI、VGA、HDMI、SDI、YCrCb、CVBS等接入能力，支持海量H.264 ONVIF协议网络摄像机直接解码显示，构成完整的综合应用显示管理云平台。系统具备云接入和云处理特点，满足信号分散灵活接入，大规模拼接显示需求，又具备支持高性能的实时桌面，可支持超高应用显示需求，因此为XSR-WP9000系列云拼接图像处理器作为云拼接前端处理器200。

实施例2：

本发明实施例提供的多目标应用程序窗口信息抓取与网络推送方法及系统，其与实施例1基本上相同，其不同之处在于，其包括如下步骤：

所述的目标应用程序窗口信息抓取程序S端101或B端301，是通过流媒体传输协议的同步协同控制，进行多台终端机（例如电脑）的应用程序窗口信息的同步抓取。

本发明采用网络传输的方式传输图像数据，通过B/S架构对多个终端机的应用程序窗口信息实现远程抓取；只需要一台计算机即可将计算机内的信号通过网络流媒体转发的方式编解码传输至云拼接前端处理器解码，可实现画面任意窗口显示，图层叠加、窗体漫游、画面分割等应用，应用在大数据展示多媒体显示等领域，大大节省了设备成本以及维护成本。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多目标应用程序窗口信息抓取与网络推送方法，其特征在于，其包括如下步骤：

（1）设置一主控计算机（100）及分别与该主控计算机（100）网络连接的云拼接前端处理器（200）和多个运行目标应用程序的终端机（300）；所述主控计算机（100）及各终端机（300）内置的控制程序中分别安装有B/S架构的目标应用程序窗口信息抓取程序S端与目标应用程序窗口信息抓取程序B端；所述的主控计算机（100）还内置有编码模块（102）；

所述的云拼接前端处理器（200）包括相互连接的：目标应用程序窗口信息接收模块（201）、FPGA模块（203）、解码模块（204）和阵列显示输出模块（205）；

（2）通电运行，各终端机中的目标应用程序窗口信息抓取程序B端，抓取各终端机正在运行的应用程序界面的窗口信息数据，并通过网络发送到主控计算机（100），由目标应用程序窗口信息抓取程序S端对其进行数据处理，包括排序、编组、打包，然后由编码模块（102）按照设定的编码标准进行音视频编码；

（3）主控计算机（100）将处理后的窗口信息编码数据，通过流媒体传输网络，发送给云拼接前端处理器（200）的目标应用程序窗口信息接收模块（201），其接收后转给FPGA模块（203）；

（4）FPGA模块（203）对窗口信息编码数据进行处理，包括：将一个编码窗口图像切换分割成多个窗口图像、或者将多个编码窗口图像拼接成一个窗口图像，然后进行编组、打包、排序，生成新的窗口信息编码数据；

（5）解码模块（204）对新的窗口信息编码数据进行解码，并按照编组、打包、排序，将解码后的数据还原为窗口信息，然后根据用户设定的规则生成流媒体信号，发送给用户指定的阵列显示输出模块（205）；

（6）阵列显示输出模块（205）将该流媒体信号，发送给外部阵列显示装置（400），进行集成化阵列窗口信息显示，完成信息推送。

2.根据权利要求1所述的多目标应用程序窗口信息抓取与网络推送方法，其特征在于，其还包括如下步骤：

（11）其还包括AI服务器，所述AI服务器内置括AI深度学习模块；

（21）AI深度学习模块对目标应用程序窗口信息抓取程序抓取的窗口信息数据，导入训练模型，进行提取、识别、分类，然后再发送给编码模块（102）对其进行编码。

3.根据权利要求1或2所述的多目标应用程序窗口信息抓取与网络推送方法，其特征在于，所述的步骤（4），还包括：云拼接前端处理器（200）的FPGA模块（203），对接收到的窗口信息，进行画面任意窗口排列显示、图层叠加、窗体漫游及画面分割运算处理后，再将得到的流媒体信号发送至所述阵列显示输出模块（205），进行最终的集成化阵列窗口信息显示。

4.根据权利要求1或2所述的多目标应用程序窗口信息抓取与网络推送方法，其特征在于：所述的目标应用程序窗口信息抓取程序S端（101）或B端（301），通过窗口监听及流媒体网络远程控制，抓取各终端机上运行的目标应用程序的窗口信息；所述的目标应用程序窗口信息，包括出现在目标应用程序的活动窗口中的，文字、符号、视频、音频或图像信息。

5.根据权利要求4所述的多目标应用程序窗口信息抓取与网络推送方法，其特征在于：所述的目标应用程序窗口信息抓取程序S端（101）或B端（301），通过流媒体传输协议的动态控制，进行单台终端机的多层应用程序窗口信息的动态抓取。

6.根据权利要求4所述的多目标应用程序窗口信息抓取与网络推送方法，其特征在于：所述的目标应用程序窗口信息抓取程序S端（101）或B端（301），通过流媒体传输协议的同步协同控制，进行多台终端机的应用程序窗口信息的同步抓取。

7.一种实施权利要求1～6之一所述方法的多目标应用程序窗口信息抓取与网络推送系统，其特征在于，其包括基于网络相互连接并交互通讯的主控计算机（100）、多个运行目标应用程序的终端机（300）、云拼接前端处理器（200）、阵列显示装置（400）；所述主控计算机（100）内置有主控程序，该主控程序包括目标应用程序窗口信息抓取程序S端（101）、编码模块（102）；所述的云拼接前端处理器（200）包括FPGA模块（203）、解码模块（204）和阵列显示输出模块（205）；每一所述的终端机（300）均内置有目标应用程序窗口信息抓取程序B端（301）；其中，所述的目标应用程序窗口信息抓取程序S端（101）、B端（301），对各终端机应用程序的窗口信息进行抓取；所述编码模块（102）对所抓取的窗口信息进行编码；FPGA模块（203）对编码窗口信息进行处理；所述的解码模块（204）对FPGA模块（203）处理的编码窗口信息进行解码，再将解码后生成的流媒体信号通过网络发送给阵列显示输出模块（205），通过集成化阵列显示装置 （400）显示最终的流媒体信号。

8.根据权利要求7所述的多目标应用程序窗口信息抓取与网络推送系统，其特征在于：所述编码模块（102）为海思HI3521A编码芯片。

9.根据权利要求7所述的多目标应用程序窗口信息抓取与网络推送系统，其特征在于：所述解码模块（204）为海思HI3536解码芯片，该解码芯片内置的SOC应用处理程序，对窗口信息进行数据的接收、编组、打包、排序的数据处理。

10.根据权利要求7所述的多目标应用程序窗口信息抓取与网络推送系统，其特征在于：所述云拼接前端处理器（200）为XSR-WP9000云拼接图像处理器；所述的多个运行目标应用程序的终端机，为电脑终端、智能设备终端或PLC终端之一。

Images