CN117411998A - 基于网络传输的监控系统、方法、设备和介质 - Google Patents
基于网络传输的监控系统、方法、设备和介质 Download PDFInfo
- Publication number
- CN117411998A CN117411998A CN202311137415.9A CN202311137415A CN117411998A CN 117411998 A CN117411998 A CN 117411998A CN 202311137415 A CN202311137415 A CN 202311137415A CN 117411998 A CN117411998 A CN 117411998A
- Authority
- CN
- China
- Prior art keywords
- signal source
- picture
- receiving end
- video stream
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000005540 biological transmission Effects 0.000 title claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 208000003464 asthenopia Diseases 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及视听显示技术领域，提供一种基于网络传输的监控系统、方法、设备和介质，系统包括第一接收端、第二接收端和服务器；第一接收端将各信号源的如广告画面显示在显示界面上，并计算分析采集的当前显示界面和之前显示界面的区别，以确定其中发生图像变化的区域；结合每个信号源的画面在显示界面上的分布方式，对发生图像变化的区域所对应的信号源的显示画面信息进行编码，形成编码视频流，并将画面信息和编码视频流地址上报服务器；服务器将信号源的画面信息和编码视频流地址转发至第二接收端；第二接收端解码显示信号源的画面。本发明可以减少监控画面卡顿和延迟，实现对监控目标的快速锁定，提高监控系统的监控效率。
Description
技术领域
本发明涉及视听显示技术领域，尤其涉及基于网络传输的监控系统、方法、设备和介质。
背景技术
随着视听显示技术的发展，用户可以从显示画面中获取大量的信息。以监控系统为例，一个监控中心可以获取多个信号源图像的内容，所述信号源图像例如可以包括摄像头图像、广告内容、铭牌、其他电脑终端图像等。当监控中心希望通过网络向其他监控终端传递监控图像时，由于摄像头等信号源图像的数量巨大，接收了所有图像的其他监控终端会出现画面卡顿以及无法快速锁定有用的目标图像等问题。
但以上图像处理技术都无法同时解决监控画面出现卡顿以及无法快速锁定有用的目标图像的问题。
发明内容
针对以上图像处理中的技术问题，本发明提出基于网络传输的监控系统，其包括：
第一接收端、第二接收端和服务器；所述第一接收端和所述第二接收端通过所述服务器建立通信连接；
所述第一接收端用于获取每个信号源的画面，以及按一种分布方式将各所述信号源的画面显示在显示界面上；所述第一接收端还用于采集当前显示界面，以及计算分析当前显示界面和之前显示界面之间的区别，以确定其中发生图像变化的区域；以及结合每个所述信号源的画面在所述显示界面上的分布方式和发生图像变化的区域，确定发生图像变化的区域所对应的信号源，以及只对所述对应的信号源的画面进行编码，将其编码形成编码视频流，以及将所述对应的信号源的画面信息和所述编码视频流的地址上报到所述服务器上；
所述服务器用于接收所述第一接收端发送的对应的信号源的画面信息和编码视频流地址，并将其转发至所述第二接收端；
所述第二接收端用于接收所述对应的信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并进行解码显示。
根据本发明的一些实施例，当所述信号源中含有PPT播放内容时，所述第一接收端用于基于GDI采集当前显示界面，以及对于PPT之外的其他信号源的画面，所述第一接收端用于基于DXGI采集当前显示界面。
根据本发明的一些实施例，所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址；所述第二接收端用于接收所述信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并结合所述信号源的画面信息进行解码显示。
根据本发明的一些实施例，第二接收端还用于关闭显卡的垂直同步特性。
根据本发明的一些实施例，所述第一接收端通过HDMI线连接每个信号源或通过网络连接每个信号源，所述信号源的画面为广告画面。
本发明还提出基于网络传输的监控方法，包括：
S1.第一接收端获取每个信号源的画面，以及按一种分布方式将每个信号源的画面显示在显示界面上；
S2.所述第一接收端采集当前显示界面，以及计算分析当前显示界面和之前显示界面之间的区别，以确定其中发生图像变化的区域；
S3.所述第一接收端结合每个信号源的画面在所述显示界面上的分布方式和发生图像变化的区域，确定发生图像变化的区域所对应的信号源；
S4.所述第一接收端只对所述对应的信号源的画面进行编码，将其编码形成编码视频流，以及将所述对应的信号源的画面信息和所述编码视频流的地址上报到服务器上；
S5.所述服务器接收所述第一接收端发送的对应的信号源的画面信息和编码视频流地址，并将其转发至所述第二接收端；
S6.所述第二接收端接收所述对应的信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并进行解码显示。
根据本发明的一些实施例，所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址；所述第二接收端接收所述信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并结合所述信号源的画面信息进行解码显示。
根据本发明的一些实施例，所述第二接收端关闭显卡的垂直同步特性。
本发明还提出基于网络传输的监控设备，包括处理器和存储器；该处理器基于存储器中存储的计算机程序，执行所述的监控方法。
本发明还提出计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的监控方法。
通过本发明的上述实施例，可以减少监控系统资源消耗，减少网络数据传输数据量，减少监控画面卡顿和延迟，实现对监控目标的快速聚集，减少视觉疲劳以及提高监控系统的监控效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本发明的一些实施例的基于网络传输的监控系统示意图。
图2示出图1的第二接收端上显示的画面。
图3示出图2的下一时刻在第二接收端上显示的画面。
图4示出图1的第一接收端的内部模块。
图5为根据本发明的一些实施例的基于网络传输的监控方法的流程图。
图6示出根据本发明的一些实施例的基于网络传输的监控设备的示意性结构图。
具体实施方式
本发明中，凡涉及通过网络实现的，其本质旨在涵盖通过交换机、路由器等必要的固件或软件实现的有线或无线的网络连接，也涵盖通过一些服务端或其他计算机等作为中介实现的有线或无线的网络连接，本发明为简化描述，突出发明点，在描述网络连接时有时略去了对路由器/交换机的说明。在本发明中，所涉及的网络可以包括Wi-fi网络、蓝牙网络、私人区域网络(PAN)、局域网(LAN)、广域网(WAN)、IEEE 802.1x、内联网、互联网、外联网及其各项组合。网络也可以包括数字蜂窝电话网络，其可以包括全球移动通信系统(GSM)、通用分组无线服务(GPRS)、cdmaOne、CDMA2000、演进-数据优化的(EV-DO)、增强型数据速率GSM演进(EDGE)、通用移动通信系统(UMTS)、数字增强型无绳通信(DECT)、数字AMPS(IS-136/TDMA)、集成数字增强型网络(iDEN)、WiMAX、LTE、LTE advanced、移动宽带无线接入(MBWA)、IEEE 802.20。网络可以是公共接入的、私人的、虚拟私人的例如VPN。
下面将参考附图并结合实施例来示例性地说明本发明，需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。另外，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
图1示出根据本发明的一些实施例的基于网络传输的监控系统示意图。
所述基于网络传输的监控系统包括：第一接收端601、第二接收端603、服务器900。第一接收端601、第二接收端603和服务器900通过交换机800建立通信连接。
第一接收端601可以包括输入设备和显示设备。所述输入设备和显示设备也可以包括一个触屏显示器，通过触屏显示器可以接收用户触控以及输出显示界面。
第一接收端601连接每个信号源，以获取每个信号源的画面。第一接收端601例如可以通过HDMI线连接每个信号源或通过网络连接每个信号源，所述信号源的画面为广告画面。信号源包括摄像头等监控设备。如图1所示，第一接收端上可以显示A,B,C,D四个画面，其中每个画面分别对应信号源701、702、703和704上显示的画面。
第一接收端601可以按一种分布方式将各信号源的画面显示在显示界面上，除了图中所示之外，还可以以纵向或全部横向的方式来显示四个画面。
在本发明的一种实施方式中，第一接收端601采集当前显示界面，以及计算分析当前显示界面和之前显示界面之间的区别，以确定其中发生图像变化的区域。在本发明的另一种实施方式中，第一接收端601采集当前显示界面，以及确定当前时刻的帧图像与当前时刻的上一时刻的帧图像之间的像素差异量。将像素差异量大于预设像素差异阈值的区域确定为发生图像变化的区域。
如图1所示，当确定A和B画面所在区域发生变化时，由于A和B画面所在位置为信号源701和702的分布位置，因此，可以确定发生图像变化的区域为信号源701和702。所述采集当前显示界面可以采用低分辨率采集方式，以减少计算量。根据本发明的一些实施例，可以在第一接收端启动截图程序来采集当前显示界面，以及计算分析当前显示界面和之前显示界面之间的区别，以确定其中发生图像变化的区域。因为启动了截图程序，因此，可以同时确保采集对象内的画面图像都是同一时间内的所有画面图像，即同一时间内的实际场景，而不会因画面之间有滞后而出现某个对象在某个时刻既在画面A中又在画面B中，或者，某个对象在某个时刻既不在画面A中，又不在画面B中。而且，由于是对当前整个显示界面进行截图，因此，可以取一个统一的低分辨率值进行采样，以方便计算，从而可以大大降低运算量。
根据本发明的一些实施例，当信号源中含有PPT播放内容时，鉴于PPT播放中实时性要求很高，不能出现演讲者已讲到下一幅画面了，但PPT还停留在之前的画面中，因此，当第一接收端的用户确定所述信号源中含有PPT播放内容时，第一接收端可以接收用户设置，以基于GDI采集当前显示界面，从而确保图像采集和传输中的高实时性，GDI对CPU的占用率极高，但本发明通过前述仅对部分信号源进行编码，可以节省很多CPU资源，从而可以形成一种补偿。其中，GDI是一种用于2D图形绘制和输出的图形设备接口，用于在计算机上进行2D图形渲染和输出。它是在Microsoft Windows操作系统中使用的一种API(ApplicationProgramming Interface，应用程序接口)，提供了一组函数和数据结构来绘制文本、图形和图像等2D图形元素。GDI能够通过计算机的图形设备(如显示模块、打印机)将所绘制的图形内容呈现出来，从而确保图像采集和传输中的高实时性，具有采集图像类型全面的优势。此外，对于PPT之外的对帧的延迟性要求不高的其他信号源的画面，可以基于DXGI采集当前显示界面，从而降低CPU消耗。根据本发明的一些实施例，也可以根据监控端(第二接收端)的需要，使第一接收端周期性地采集当前显示界面的截图，所述周期可以根据需要设定。其中，DXGI是一组用于管理和操作计算机上图形设备的API。DXGI为应用程序提供了访问计算机上图形硬件的接口，包括显示模块、GPU和视频呈现链等。它充当了DirectX和底层图形设备驱动程序之间的桥梁，协调了计算机上的图形资源和渲染操作。DXGI提供了一些功能，如多重采样、全屏窗口切换、高级显示模式等，以帮助应用程序实现高性能的图形渲染。
第一接收端601还进一步结合所述四个信号源的画面在第一接收端上的分布方式，和发生图像变化的区域，确定发生图像变化的区域所对应的信号源。在确定所对应的信号源之后，第一接收端只对所述的对应的信号源的画面进行编码，将其编码形成rtsp(RealTime Streaming Protocol)视频流(或称编码视频流)，rtsp视频流可以存放到第一接收端601自身的rtsp流服务器上(图中未示出)。第一接收端可以进一步将所述的对应的信号源的画面信息和所述rtsp视频流地址(编码视频流地址)上报到服务器900上。所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址。
服务器900用于接收各第一接收端601发送的对应的信号源的画面信息和编码视频流地址，并将其转发至第二接收端603。
第二接收端603用于接收所述的对应的信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面并进行解码显示，或者结合所述信号源的画面信息进行解码显示，例如将信号源的画面按其在第一接收端上的显示方式进行显示，如，图1信号源701显示于左上角，当第二接收端要显示信号源701时，也将其显示于左上角。此外，也可以根据信号源的画面信息中的内容在第二接收端上同时附加显示更多信息。
根据本发明的一些实施例，当第一接收端601结合所述四个信号源的画面在第一接收端上的分布方式，和发生图像变化的区域，确定发生图像变化的区域所对应的信号源为多个时，在确定所对应的信号源之后，第一接收端对对应的多个信号源的画面分别进行编码，将它们分别编码形成rtsp视频流(或称编码视频流)，rtsp视频流可以存放到第一接收端601自身的rtsp流服务器上(图中未示出)。第一接收端可以进一步将对应的多个信号源的画面信息和所述rtsp视频流地址(编码视频流地址)上报到服务器900上。服务器900用于接收第一接收端601发送的各信号源的画面信息和各编码视频流地址，并将其转发至第二接收端603。第二接收端603接收所述信号源的画面信息和编码视频流地址，以及获取编码视频流地址对应的各信号源的画面并进行解码显示。根据本发明的一些实施例，第二接收端603接收所述信号源的画面信息和编码视频流地址，获取编码视频流地址对应的各信号源的画面并结合所述信号源的画面信息进行解码显示，例如将信号源的画面按其在第一接收端上的显示位置或显示方式进行显示，如，图1信号源701和702显示于第一行，当第二接收端要显示信号源701和702时，也将其显示于第一行；此外，还可以显示信号源的画面的信息中的其他信息。
根据本发明的一些实施例，第二接收端603除了上述只显示动态变化的信号源(所述的对应的信号源)之外，第二接收端603也可以保留显示没有任何变化的其他信号源的最后一帧的画面。
根据本发明的一些实施例，第二接收端603可以将图像没有变化的信号源位置显示为黑色，以避免信息干扰，以及当之后再次从服务器接收到该位置对应的信号源的编码视频流地址时，重新通过该编码视频流地址获取信号源的画面，并进行解码显示。由此，可以实现的一种效果是，可以让用户快速将视线转移到目标移动的画面中。如图2所示，假设第一接收端判断信号源702上有画面变化，因此，其仅将702对应的编码视频流地址发送给服务器，由服务器转发给第二接收端，第二接收端此时只去获取信号源702的画面并进行解码显示，而其他画面位置则全部黑色处理。当下一时刻，第一接收端判断信号源701上有画面变化时，同时702上也将出现画面中的人从有到无的过程，这也对应一种变化，因此，第一接收端将702和701对应的编码视频流地址发送给服务器，由服务器转发给第二接收端，第二接收端此时只获取信号源702和701的画面并进行解码显示，而其他画面位置则全部黑色处理，如图3所示。参考图2和图3可知，通过这种方式，可以提供直观高效的动态移动监控，而无需同时查看每个摄像头，尤其当画面大部分时间都是静止没有变化时，本发明可以实现对目标的快速聚集和减少视觉疲劳。
通过本发明的上述实施例，可以减少监控系统资源消耗，减少网络数据传输数据量，减少监控画面卡顿和延迟，实现对监控目标的快速聚集，减少视觉疲劳以及提高监控系统的监控效率。
更进一步地，虽然传输量得以下降，但考虑到监控摄像头的数据量巨大，整体的量还是很大，当大量信号源需要通过网络传输到第二接收端的过程中，会因暂时的网络拥堵造成视频帧数据流动不稳定，出现数据流抖动。对于视频数据流的抖动情况，这里以每秒60帧的视频实时源举例，理想情况每帧的处理(包括编码、网络传输、解码、渲染的所有处理动作)耗时间隔应当是1000/60≈16.6毫秒。但实际情况由于数据抖动，帧率并非时刻稳定在60FPS，通常是以下情况：第一帧14毫秒，第二帧18毫秒，第三帧20毫秒第四帧16毫秒第五帧12毫秒第六帧20毫秒......即总体帧率是60FPS(即100毫秒处理了6帧图像)，但每一帧并非是60FPS的时间间隔。目前常用的渲染方式比如OPENGL，通常默认情况下会开启垂直同步特性，造成以上的数据抖动延迟会一直累积。开启垂直同步的情况下，OPENGL显示的最大帧率会被限制在显示器的刷新率下。以60HZ刷新率的显示器为例，OPENGL在渲染某一帧图像时，如果距离渲染上一帧图像的时间间隔不足16.6毫秒，也会等待直至16.6毫秒时才进行此帧图像的显示。对于以上6帧图像的处理，如果开启了垂直同步则实际处理的时间间隔变成了以下，即所有少于16.6毫秒的处理都会变成16.6毫秒:第一帧16.6毫秒，第二帧18毫秒，第三帧20毫秒第四帧16.6毫秒第五帧16.6毫秒第六帧20毫秒......这样处理这六帧图像实际花费了107.8毫秒，比本来的100毫秒延迟了7.8毫秒。并且这种延迟会一直累积，无法消除。因此，根据本发明的一些实施例，本发明的第二接收端选择关闭显卡的垂直同步特性，从而避免出现延迟积累。关闭显卡的垂直同步后，图形处理器会传输完一帧图像，立即传输下一帧图像，不需要等显示器刷新完成，即省略了等待刷新的时间，所以没有画面积压，降低延时。
可以基于运行关闭算法设置关闭垂直同步。还可以通过以下程序代码设置关闭垂直同步，以OPENGL为例：
typedef BOOL(APIENTRY*PFNWGLSWAPINTERVALFARPROC)(int)；(代码的含义：定义一个函数指针，名字为PFNWGLSWAPINTERVALFARPROC)；
PFNWGLSWAPINTERVALFARPROC wglSwapIntervalEXT＝0；(代码的含义：将PFNWGLSWAPINTERVALFARPROC函数指针初始化为0)；
wglSwapIntervalEXT＝(PFNWGLSWAPINTERVALFARPROC)wglGetProcAddress(″wglSwapIntervalEXT″)；(代码的含义：将PFNWGLSWAPINTERVALFARPROC函数的地址赋值给wglSwapIntervalEXT函数)
wglSwapIntervalEXT(0)；(代码的含义：将wglSwapIntervalEXT函数设置为0，从而关闭垂直同步)；
性能测试：
测试环境为Wi-fi网络环境，测试页面运行后，持续1-2分钟，观察页面变化和硬件使用情况：
表1现有技术的测试结果
从现有技术的表1测试结果可知，显示信息的数量越多，CPU的使用率和内存占用率越高，CPU使用率的特点是跨度大、起伏高，分析应该是瞬间抖动造成；内存占用率的特点是持续增加，播放数据越多增加幅度越大。显示信息数量为16路时，测试出现画面不同步的情况。显示信息数量为48路时，测试出现网格延时10秒的情况。显示信息数量为64路时，测试出现网格画面卡死的情况。鼠标和键盘在显示信息数量为16路、48路、64路的情况下，测试出现不灵敏的情况。
表2本发明的测试结果
采用本发明的技术方案后，从表2的测试结果可知，随着显示信息数量的增加，CPU的使用率和内存占用率不会快速增高，视频流畅度较好，且鼠标和键盘的响应也均为灵敏。
图4示出根据本发明一些实施例的图1的第一接收端601的主要内部模块示意图。
如图4所示，第一接收端601包括信号采集模块6001、显示界面采集模块6002、画面判断模块6003、视频编码模块6004及其他辅助模块。
这些模块之间也可以相互组合作为一个新的模块存在，或者以新的方式划分各个模块的功能。
信号采集模块6001用于采集来自信号源701-704的信号源的画面；
显示界面采集模块6002用于采集当前显示界面，例如通过执行截图程序。
画面判断模块6003用于对采集的当前显示界面进行分析，以确定其中发生图像变化的区域，以及结合每个信号源的画面在所述显示界面上的分布方式和发生图像变化的区域，确定发生图像变化的区域所对应的信号源。
如图1所示，当确定A和B画面所在区域发生变化时，由于A和B画面所在位置为信号源头701和702的分布位置，因此，可以确定发生图像变化的区域为信号源701和702。
视频编码模块6004用于对对应的信号源的画面进行编码，将其编码形成编码视频流。所述对应的信号源为前述发生图像变化的区域所对应的信号源。
根据本发明的一些实施例，第一接收端还可以包括指令打包模块(图中未示出)，用于将所述的对应的信号源的画面信息和所述rtsp视频流地址(编码视频流地址)打包后上报到服务器900。所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址。
前面参考图1-3所作的相应细节描述通过引用的方式囊括在此处，各个模块可以根据相应细节补充对应的功能，此处不再赘述。
通过本发明的上述实施例，可以减少监控系统资源消耗，减少网络数据传输数据量，减少监控画面卡顿和延迟，实现对监控目标的快速聚集，减少视觉疲劳以及提高监控系统的监控效率。
本发明另一方面提出一种基于网络传输的监控方法。图5所示为根据本发明的一些实施例的基于网络传输的监控方法的流程图，其中各个步骤的执行主体可以为前述围绕图1-3所描述的终端，或者也可以是独立于前述图1-3所描述的各个终端。
所述方法包括以下步骤：
S1.第一接收端获取每个信号源的画面,以及按一种分布方式将每个信号源的画面显示在显示界面上。
S2.第一接收端采集当前显示界面，以及计算分析当前显示界面和之前显示界面之间的区别，以确定其中发生图像变化的区域。
S3.第一接收端结合每个信号源的画面在所述显示界面上的分布方式和发生图像变化的区域，确定发生图像变化的区域所对应的信号源。
S4.第一接收端只对所述的对应的信号源的画面进行编码，将其编码形成编码视频流，以及将所述的对应的信号源的画面信息和所述编码视频流的地址上报到服务器上。
所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址。
S5.服务器接收第一接收端发送的对应的信号源的画面信息和编码视频流地址，并将其转发至第二接收端。
S6.第二接收端接收所述的对应的信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并进行解码显示。
根据本发明的一些实施例，第二接收端除了上述只显示动态变化的信号源(所述的对应的信号源)之外，第二接收端也可以保留显示没有任何变化的其他信号源的最后一帧的画面。
根据本发明的一些实施例，第二接收端可以将图像没有变化的信号源位置显示为黑色，以避免信息干扰，以及当之后再次从服务器接收到该位置对应的信号源的编码视频流地址时，重新通过该编码视频流地址获取信号源的画面，并进行解码显示。由此，可以实现的一种效果是，可以让用户快速将视线转移到目标移动的画面中。如图2所示，假设第一接收端判断信号源702上有画面变化，因此，其仅将702对应的编码视频流地址发送给服务器，由服务器转发给第二接收端，第二接收端此时只去获取信号源702的画面并进行解码显示，而其他画面位置则全部黑色处理。当下一时刻，第一接收端判断信号源701上有画面变化时，同时702上也将出现画面中的人从有到无的过程，这也对应一种变化，因此，第一接收端将702和701对应的编码视频流地址发送给服务器，由服务器转发给第二接收端，第二接收端此时只获取信号源702和701的画面并进行解码显示，而其他画面位置则全部黑色处理，如图3所示。参考图2和图3可知，通过这种方式，可以提供直观高效的动态移动监控，而无需同时查看每个摄像头，尤其当画面大部分时间都是静止没有变化时，本发明可以实现对目标的快速聚焦和减少视觉疲劳，提高监控系统的监控效率。
根据本发明的一些实施例，当信号源中含有PPT播放内容时，第一接收端基于GDI采集当前显示界面，以及对于PPT之外的其他信号源的画面，第一接收端基于DXGI采集当前显示界面。
根据本发明的一些实施例，所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址；第二接收端接收所述的信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并结合所述信号源的画面信息进行解码显示。
根据本发明的一些实施例，第二接收端关闭显卡的垂直同步特性。
根据本发明的一些实施例，第一接收端通过HDMI线连接每个信号源或通过网络连接每个信号源，所述信号源的画面为广告画面。
前面参考图1-3所作的相应细节描述通过引用的方式囊括在此处，此处不再赘述。
通过本发明的上述实施例，可以减少监控系统资源消耗，减少网络数据传输数据量，减少监控画面卡顿和延迟，实现对监控目标的快速聚集，减少视觉疲劳以及提高监控系统的监控效率。
图6示出根据本发明的一些实施例的基于网络传输的监控设备的示意性结构图。如图6所示，所述设备包括处理器51、存储器52和总线53。
在一些实例中，该设备还可以包括输入设备501、输入端口502、输出端口503、以及输出设备504。其中，输入端口502、处理器51、存储器52、以及输出端口503通过总线53相互连接，输入设备501和输出设备504分别通过输入端口502和输出端口503与总线53连接，进而与设备的其他组件连接。需要说明的是，这里的输出接口和输入接口也可以用I/O接口表示。具体地，输入设备501接收来自外部的输入信息，并通过输入端口502将输入信息传送到处理器51；处理器51基于存储器52中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器52中，然后通过输出端口503将输出信息传送到输出设备504；输出设备504将输出信息输出到设备的外部。输入设备501例如可以为本发明中提到的信号采集模块6001(或设备)。输出设备例如可以为本发明中的视频编码模块等。
上述存储器52包括用于数据或指令的大容量存储器。举例来说而非限制，存储器52可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器52可在设备的内部或外部。在特定实施例中，存储器52是非易失性固态存储器。在特定实施例中，存储器52包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
总线53包括硬件、软件或两者，将多个部件彼此耦接在一起。举例来说而非限制，总线53可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该处理器51基于存储器52中存储的计算机程序，执行前面围绕图1-4所描述的第一接收端的动作。
根据本发明的再一些实施例，所述计算机程序可以以多种方式被分割成一个或多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述设备中的执行过程。所述计算机程序可以根据前面参考图4所描述的各个实施例中的各个模块的功能来分割成多个模块，或者包括前面参考图4所描述的各个实施例中的各个模块。为简化起见，此处不再复述。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分。所述设备可以是桌上型计算机、笔记本、掌上电脑及云端服务端等计算设备或其中的一部分。所述设备可包括，但不仅限于，处理器和存储器。本领域技术人员可以理解，所述示意图仅仅是设备的示例，并不构成对设备的限定。
前面参考图1-4所作的相应细节描述通过引用的方式囊括在此处，此处不再赘述。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前面围绕图1-4所描述的第一接收端的动作。
前面参考图1-4所作的相应细节描述通过引用的方式囊括在此处，此处不再赘述。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
通过本发明的上述实施例，可以减少监控系统资源消耗，减少网络数据传输数据量，减少监控画面卡顿和延迟，实现对监控目标的快速聚集，减少视觉疲劳以及提高监控系统的监控效率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应当注意，尽管在附图中以特定顺序描述了本发明装置的结构及其操作的方法，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
Claims (10)
1.一种基于网络传输的监控系统，其特征在于，包括：第一接收端、第二接收端和服务器；所述第一接收端和所述第二接收端通过所述服务器建立通信连接；
所述第一接收端用于获取每个信号源的画面，以及按一种分布方式将各所述信号源的画面显示在显示界面上；所述第一接收端还用于采集当前显示界面，以及计算分析当前显示界面和之前显示界面之间的区别，以确定其中发生图像变化的区域；以及结合每个所述信号源的画面在所述显示界面上的分布方式和发生图像变化的区域，确定发生图像变化的区域所对应的信号源，以及只对所述对应的信号源的画面进行编码，将其编码形成编码视频流，以及将所述对应的信号源的画面信息和所述编码视频流的地址上报到所述服务器上；
所述服务器用于接收所述第一接收端发送的对应的信号源的画面信息和编码视频流地址，并将其转发至所述第二接收端；
所述第二接收端用于接收所述对应的信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并进行解码显示。
2.根据权利要求1所述的监控系统，其特征在于，当所述信号源中含有PPT播放内容时，所述第一接收端用于基于GDI采集当前显示界面，以及对于PPT之外的其他信号源的画面，所述第一接收端用于基于DXGI采集当前显示界面。
3.根据权利要求1所述的监控系统，其特征在于，所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址；所述第二接收端用于接收所述信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并结合所述信号源的画面信息进行解码显示。
4.根据权利要求1所述的监控系统，其特征在于，所述第二接收端还用于关闭显卡的垂直同步特性。
5.根据权利要求1所述的监控系统，其特征在于，所述第一接收端通过HDMI线连接每个信号源或通过网络连接每个信号源，所述信号源的画面为广告画面。
6.一种基于网络传输的监控方法，其特征在于，包括：
S1.第一接收端获取每个信号源的画面，以及按一种分布方式将每个信号源的画面显示在显示界面上；
S2.所述第一接收端采集当前显示界面，以及计算分析当前显示界面和之前显示界面之间的区别，以确定其中发生图像变化的区域；
S3.所述第一接收端结合每个信号源的画面在所述显示界面上的分布方式和发生图像变化的区域，确定发生图像变化的区域所对应的信号源；
S4.所述第一接收端只对所述对应的信号源的画面进行编码，将其编码形成编码视频流，以及将所述对应的信号源的画面信息和所述编码视频流的地址上报到服务器上；
S5.所述服务器接收所述第一接收端发送的对应的信号源的画面信息和编码视频流地址，并将其转发至所述第二接收端；
S6.所述第二接收端接收所述对应的信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并进行解码显示。
7.根据权利要求6所述的监控方法，其特征在于，所述信号源的画面信息包括信号源的画面分布位置、信号源的画面ID、信号源的画面清晰度、信号源的画面权限、信号源的画面权属、信号源控制协议、控制ip和端口、信号源接入广告类型、主辅码流、是否开放公网或公网码流地址；所述第二接收端接收所述信号源的画面信息和编码视频流地址，以及根据所述编码视频流的地址获取对应的信号源的画面，并结合所述信号源的画面信息进行解码显示。
8.根据权利要求6所述的监控方法，其特征在于，所述第二接收端关闭显卡的垂直同步特性。
9.一种基于网络传输的监控设备，其特征在于，包括处理器和存储器；该处理器基于存储器中存储的计算机程序，执行权利要求6-8之一中的所述的监控方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求6-8之一中的所述的监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311137415.9A CN117411998A (zh) | 2023-09-05 | 2023-09-05 | 基于网络传输的监控系统、方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311137415.9A CN117411998A (zh) | 2023-09-05 | 2023-09-05 | 基于网络传输的监控系统、方法、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117411998A true CN117411998A (zh) | 2024-01-16 |
Family
ID=89495217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311137415.9A Pending CN117411998A (zh) | 2023-09-05 | 2023-09-05 | 基于网络传输的监控系统、方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117411998A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130165074A1 (en) * | 2011-12-24 | 2013-06-27 | Hon Hai Precision Industry Co., Ltd. | Remote monitoring system and method |
| CN103281539A (zh) * | 2013-06-07 | 2013-09-04 | 华为技术有限公司 | 一种图像编、解码处理的方法、装置及终端 |
| CN110691260A (zh) * | 2019-10-21 | 2020-01-14 | 北京东方广视科技股份有限公司 | Iptv多分屏编码播放控制方法及装置 |
| CN111010567A (zh) * | 2019-12-03 | 2020-04-14 | 北京仁光科技有限公司 | 多信号源远程调取方法和系统 |
| CN111885346A (zh) * | 2020-08-28 | 2020-11-03 | 中移（杭州）信息技术有限公司 | 画面码流合成方法、终端、电子设备和存储介质 |
| CN113645448A (zh) * | 2021-08-09 | 2021-11-12 | 北京凌壹世纪科技有限公司 | 一种适用于指挥调度的视频解码方法和装置 |
-
2023
- 2023-09-05 CN CN202311137415.9A patent/CN117411998A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130165074A1 (en) * | 2011-12-24 | 2013-06-27 | Hon Hai Precision Industry Co., Ltd. | Remote monitoring system and method |
| CN103281539A (zh) * | 2013-06-07 | 2013-09-04 | 华为技术有限公司 | 一种图像编、解码处理的方法、装置及终端 |
| CN110691260A (zh) * | 2019-10-21 | 2020-01-14 | 北京东方广视科技股份有限公司 | Iptv多分屏编码播放控制方法及装置 |
| CN111010567A (zh) * | 2019-12-03 | 2020-04-14 | 北京仁光科技有限公司 | 多信号源远程调取方法和系统 |
| CN111885346A (zh) * | 2020-08-28 | 2020-11-03 | 中移（杭州）信息技术有限公司 | 画面码流合成方法、终端、电子设备和存储介质 |
| CN113645448A (zh) * | 2021-08-09 | 2021-11-12 | 北京凌壹世纪科技有限公司 | 一种适用于指挥调度的视频解码方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9699099B2 (en) | Method of transmitting data in a communication system | |
| US8224126B2 (en) | Motion compensated temporal interpolation for frame rate conversion of video signals | |
| US20210281718A1 (en) | Video Processing Method, Electronic Device and Storage Medium | |
| US9204086B2 (en) | Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor | |
| EP3595305A1 (en) | Method for allocating code rates for intra-frame coded frames, computer device and storage medium | |
| EP3751862A1 (en) | Display method and device, television set, and storage medium | |
| WO2013118491A1 (ja) | カメラ装置、サーバ装置、画像監視システム、画像監視システム制御方法及び画像監視システム制御プログラム | |
| CN107801093B (zh) | 视频渲染方法、装置、计算机设备和可读存储介质 | |
| CN108900830B (zh) | 验证红外视频图像处理算法实现准确性的平台 | |
| US20150296054A1 (en) | Server apparatus, terminal, thin client system, screen transmission method and program | |
| CN111625211B (zh) | 一种屏幕投屏方法、装置、安卓设备及显示设备 | |
| CN113784118A (zh) | 视频质量评估方法及装置、电子设备和存储介质 | |
| CN113766217A (zh) | 视频延时的测试方法、装置、电子设备及存储介质 | |
| KR101742258B1 (ko) | 웹 기반 가상 데스크탑 프로토콜을 이용한 컨텐츠 제공 방법 및 장치 | |
| EP2903223A1 (en) | Method for transmitting image information and packet communication system | |
| US20150281699A1 (en) | Information processing device and method | |
| CN113259729B (zh) | 数据切换的方法、服务器、系统及存储介质 | |
| CN117411998A (zh) | 基于网络传输的监控系统、方法、设备和介质 | |
| WO2023142715A1 (zh) | 视频编码方法、实时通信方法、装置、设备及存储介质 | |
| US10986337B2 (en) | Systems and methods for selective transmission of media content | |
| CN110798700B (zh) | 视频处理方法、视频处理装置、存储介质与电子设备 | |
| US8782271B1 (en) | Video mixing using video speech detection | |
| CN116996749B (zh) | 多监控画面下的远程目标对象跟踪系统和方法 | |
| CN112788193A (zh) | 图像传输方法、装置、电子设备及存储介质 | |
| US20150106733A1 (en) | Terminal device, thin client system, display method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |