CN111901664A - 视频传输系统及方法 - Google Patents
视频传输系统及方法 Download PDFInfo
- Publication number
- CN111901664A CN111901664A CN202010812807.0A CN202010812807A CN111901664A CN 111901664 A CN111901664 A CN 111901664A CN 202010812807 A CN202010812807 A CN 202010812807A CN 111901664 A CN111901664 A CN 111901664A
- Authority
- CN
- China
- Prior art keywords
- video
- video signal
- frame rate
- signal window
- proportion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims description 25
- 238000009877 rendering Methods 0.000 claims description 57
- 230000009471 action Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种视频传输系统，包括：视频接收端和至少两个视频发送端，视频接收端和视频发送端网络连接；视频接收端根据所述每个视频信号窗口的被遮挡比例确定绘制帧率，并将每个视频信号窗口的绘制帧率信息发送至每个视频信号窗口的视频所对应的视频发送端；视频发送端根据所述绘制帧率信息中的绘制帧率控制图像编码速率以及图像帧发送速率，并向视频接收端发送图像帧；视频接收端接收所述图像帧，并根据接收图像的接收帧率将所述图像帧绘制到对应的视频信号窗口中。本发明可降低发送端和接收端及网络链路上的信号处理和传输压力。
Description
技术领域
本发明涉及传输技术，尤其涉及网络通信中的视频传输技术及方法。
背景技术
目前，随着互联网科技的飞速发展，远程网络教学，远程网络监控，远程视频会议，远程数据共享等在日常生活中得到了广泛应用。这些应用极大地方便了用户远距离进行交流和沟通，而在这些应用中，都需要发送端实时传输屏幕的每帧图像，然后接收端需要接收并存储这些多个帧图像到本地然后以一定的帧率绘制成一个视频动画并显示出来。当有多个发送端的数据需要发送给同一个接收端时，从发送端到接收端之间的连接线路上会出现拥塞现象，并导致接收端的视频随即出现卡顿和迟滞。
发明内容
有鉴于此，本申请提供一种视频传输系统，其包括：
视频接收端和至少两个视频发送端，所述视频接收端和视频发送端网络连接；
视频接收端计算每个视频信号窗口的被遮挡比例，以及根据所述每个视频信号窗口的被遮挡比例确定绘制帧率，并将每个视频信号窗口的绘制帧率信息发送至每个视频信号窗口的视频所对应的视频发送端；
视频发送端接收绘制帧率信息，并根据所述绘制帧率信息中的绘制帧率控制图像编码速率以及图像帧发送速率，并向视频接收端发送图像帧；
视频接收端接收所述图像帧，并根据接收图像的接收帧率将所述图像帧绘制到对应的视频信号窗口中。
根据本发明的一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率；或者
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，使所述被遮挡视频信号窗口的绘制帧率为低于正常帧率的但不为零的第二帧率；或者，
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，确定所述被遮挡视频信号窗口的绘制帧率为零；或者，
根据所述视频信号窗口的被遮挡比例确定所述视频信号窗口的绘制帧率，包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。
根据本发明的一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来确定每个视频信号窗口的绘制帧率。
根据本发明的一些实施例，所述视频信号来自网络摄像机、网络智能显示和/或控制设备、网络计算设备、移动设备。
根据本发明的一些实施例，所述视频接收端包括显示控制系统，所述显示控制系统包括拼接控制器和分布式拼接显示系统。
根据本发明的一些实施例，视频接收端包括解码单元、绘制单元、计算单元、和帧率汇报单元；所述视频发送端包括编码单元、帧率响应单元和图像发送单元；
计算单元，用于计算每个视频信号窗口的被遮挡比例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率；
帧率汇报单元，用于将绘制帧率信息发送至视频发送端，使视频发送端根据所述绘制帧率信息中的绘制帧率发送图像帧；
帧率响应单元用于接收视频接收端所发送的绘制帧率信息，并将其发送至编码单元；
编码单元用于接收绘制帧率信息并根据绘制帧率对视频信号进行编码；
图像发送单元用于将编码后的图像帧发送到视频接收端；
解码单元，用于接收所述图像帧并进行解码；
绘制单元，用于绘制视频信号窗口以及根据所述绘制帧率绘制视频发送端发送的图像帧。
本申请还提供视频传输方法，其包括：
S1.计算至少两个视频信号窗口的被遮挡比例，以及根据每个视频信号窗口的被遮挡比例，确定每个视频信号窗口的绘制帧率；
S2.将绘制帧率信息发送至对应的视频发送端，以使对应的视频发送端根据绘制帧率信息中的绘制帧率控制图像编码速率和图像帧发送速率；
S3.接收视频发送端发送的图像帧，根据所述图像帧的接收帧率将图像帧绘制到对应的显示窗口中。
本申请还提供视频传输方法，其包括：
S1.视频接收端计算至少两个视频信号窗口的被遮挡比例，以及根据每个视频信号窗口的被遮挡比例，确定每个视频信号窗口的绘制帧率；
S2.视频接收端将绘制帧率信息发送至对应的视频发送端，以使对应的视频发送端根据绘制帧率信息中的绘制帧率控制图像编码速率和图像帧发送速率；
S3.视频发送端接收所述绘制帧率信息，并根据绘制帧率信息控制图像编码速率和图像帧发送速率，以及向视频接收端发送图像帧；
S4.视频接收端接收视频发送端发送的图像帧，根据所述图像帧的接收帧率将图像帧绘制到对应的显示窗口中。
根据本发明的一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率；或者
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，使所述被遮挡视频信号窗口的绘制帧率为低于正常帧率的但不为零的第二帧率；或者，
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，确定所述被遮挡视频信号窗口的绘制帧率为零；或者
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。
根据本发明的一些实施例，所述方法还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来确定每个视频信号窗口的绘制帧率。
根据本发明的一些实施例，计算每个视频信号窗口的被遮挡比例包括，实时计算每个视频信号窗口的被遮挡比例或者根据用户对视频信号窗口的调整动作实时计算所述被遮挡比例，或者定时计算每个视频信号窗口的被遮挡比例。
本申请还提供用于视频传输的计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现所述的视频传输方法的步骤。
本申请还提供计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的视频传输方法的步骤。
通过本发明实施例的技术方案，可以在视频接收端CPU资源有限的情况下合理地节省CPU的占用率，大大提高了CPU的图像绘制速度；降低视频发送端的编码资源的占用率；降低网络上的编码信号的传输量，避免网络拥堵以及视频播放卡顿和迟滞现象；此外，由于实时传输到视频接收端的网络流信号量降低，因而也进一步降低了视频接收端需要实时解码的量，降低了视频接收端的解码压力。
附图说明
图1示出根据本发明一些实施例的视频传输方法的流程图；
图2示出根据本发明一些实施例的三组视频信号窗口示意图；
图3示出根据本发明一些实施例的视频传输方法的流程图；
图4示出根据本发明一些实施例的视频传输系统的示意性简化框；
图5示出根据本发明一些实施例的涉及视频传输系统的视频发送端和接收端的泳道图；
图6示出根据本发明一些实施例的视频接收端的示意性简化框图；
图7所示为根据本发明一些实施例的视频接收端的示意性简化框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本申请中，凡涉及通过网络实现的，其本质旨在涵盖通过交换机、路由器等必要的固件或软件实现的有线或无线的网络连接，也涵盖通过一些服务端或其他计算机等作为中介实现的有线或无线的网络连接，本申请为简化描述，突出发明点，在描述网络连接时略去了对路由器/交换机的说明。在本申请中，所涉及的网络可以包括Wi-fi网络、蓝牙网络、私人区域网络(PAN)、局域网(LAN)、广域网(WAN)、IEEE 802.1x、内联网、互联网、外联网及其各项组合。网络也可以包括数字蜂窝电话网络，其可以包括全球移动通信系统(GSM)、通用分组无线服务(GPRS)、cdmaOne、CDMA2000、演进-数据优化的(EV-DO)、增强型数据速率GSM演进(EDGE)、通用移动通信系统(UMTS)、数字增强型无绳通信(DECT)、数字AMPS(IS-136/TDMA)、集成数字增强型网络(iDEN)、WiMAX、LTE、LTE advanced、移动宽带无线接入(MBWA)、IEEE 802.20。网络可以是公共接入的、私人的、虚拟私人的例如VPN。
图1示出根据本发明一些实施例的视频传输方法的流程图。
所述方法包括步骤S1，S2和S3：
S1.计算至少两个视频信号窗口的被遮挡比例，以及根据每个视频信号窗口的被遮挡比例，确定每个视频信号窗口的绘制帧率。
所述视频信号可以来自网络摄像机、网络传感设备、网络智能显示和/或控制设备、网络计算设备、移动设备，或其他信号源；在本申请中，将视频信号所来自的设备简称为信号源或视频发送端。视频信号窗口的绘制帧率指视频信号窗口内的图像的绘制帧率。计算每个视频信号窗口的被遮挡比例包括，实时计算每个视频信号窗口的被遮挡比例或者根据用户对视频信号窗口的调整动作实时计算所述被遮挡比例，或者定时计算每个视频信号窗口的被遮挡比例。
根据本发明的一些实施例，所述计算至少两个视频信号窗口的被遮挡比例包括计算每个视频信号窗口顶点的位置坐标以及根据所述坐标确定每个视频信号窗口的被遮挡比例。
以图2所示的三组视频信号窗口为例，如第一视频动画窗口11的四个顶点分别为【x11,y11】【x12,y12】【x13,y13】【x14,y14】，第二视频动画窗口12的四个顶点分别为【x21,y21】【x22,y22】【x23,y23】【x24,y24】，第三视频动画窗口13的四个顶点分别为【x31,y31】【x32,y32】【x33,y33】【x34,y34】；比较各窗口顶点的横纵坐标；例如，若x11<x21，x12<x22，x13<x23，x14<x24，且y11<y21，y12<y22，y13<y23，y14<y24时，则可以判断出第二视频动画窗口12的四个顶点坐标均在第一视频动画窗口的四个顶点范围内，因此可以判断出窗口2被窗口1全部遮挡。类似地，通过比较各顶点相对位置，可以判断出窗口被遮挡的比例。
根据本发明的一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率，例如，如所述被遮挡比例为整个窗口的20％，则绘制帧率仅为原正常帧率的80％(即，1-20％)。
根据本发明的另一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，使所述被遮挡视频信号窗口的绘制帧率为低于正常帧率的但不为零的第二帧率；所述正常帧率为30帧/秒，所述第二帧率为1帧/秒。所述正常帧率指没有经过帧率计算和调整情况下，视频信号窗口没有被遮挡时的正常播放帧率。
根据本发明的另一些实施例，根据所述视频信号窗口的被遮挡比例确定所述视频信号窗口的绘制帧率包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。例如，如视频信号窗口a的被遮挡比例为整个窗口a的20％，视频信号窗口b的被遮挡比列为整个窗口b的30％，则调整绘制帧率，使视频信号窗口a和b的绘制帧率为80％/(80％+70％),70％/(80％+70％)。
根据本发明的另一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来进一步确定每个视频信号窗口的绘制帧率。例如，如果一个视频信号窗口中未被遮挡部分位于屏幕左下角，则可以适当再调低绘制帧率，如果一个视频信号窗口中未被遮挡部分位于屏幕正中心位置，则可以适当再调高绘制帧率。
S2.将绘制帧率信息发送至对应的视频发送端，以使对应的视频发送端根据绘制帧率信息中的绘制帧率控制图像编码速率和图像帧发送速率。
如前所述，每个视频信号窗口根据其被遮挡比例的不同，可能有不同的绘制帧率，因此，将各视频信号窗口的绘制帧率对应的信息发送至各个视频所对应的视频发送端，以便各视频发送端相应地控制图像编码速率和图像发送速率，例如使图像编码速率和发送速率这两者和所述绘制帧率匹配。
S3.接收视频发送端发送的图像帧，根据所述图像帧的接收帧率将图像帧绘制到对应的显示窗口中。
该步骤包含接收图像帧，以及对图像帧进行解码等过程，鉴于该过程为本领域技术人员所熟知，故不再展开描述。
图3示出根据本发明一些实施例的视频传输方法的流程图。
所述方法包括步骤S1，S2，S3和S4：
S1.视频接收端计算至少两个视频信号窗口的被遮挡比例，以及根据每个视频信号窗口的被遮挡比例，确定每个视频信号窗口的绘制帧率。
所述视频信号可以来自网络摄像机、网络传感设备、网络智能显示和/或控制设备、网络计算设备、移动设备，或其他信号源；在本申请中，将视频信号所来自的设备简称为信号源。视频信号窗口的绘制帧率指视频信号窗口内的图像的绘制帧率。计算每个视频信号窗口的被遮挡比例包括，实时计算每个视频信号窗口的被遮挡比例或者根据用户对视频信号窗口的调整动作实时计算所述被遮挡比例，或者定时计算每个视频信号窗口的被遮挡比例。
根据本发明的一些实施例，所述计算至少两个视频信号窗口的被遮挡比例包括计算每个视频信号窗口顶点的位置坐标以及根据所述坐标确定每个视频信号窗口的被遮挡比例。
根据本发明的一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率，例如，如所述被遮挡比例为整个窗口的20％，则调整绘制帧率，使其仅为原帧率的80％(即，1-20％)。
根据本发明的另一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，所述被遮挡视频信号窗口的绘制帧率为低于正常帧率的但不为零的第二帧率；或者当被遮挡比例大于一阈值时，确定所述被遮挡视频信号窗口的绘制帧率为零；所述正常帧率为30帧/秒，所述第二帧率为1帧/秒。
根据本发明的另一些实施例，根据所述视频信号窗口的被遮挡比例确定所述视频信号窗口的绘制帧率包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。例如，如视频信号窗口a的被遮挡比例为整个窗口a的20％，视频信号窗口b的被遮挡比列为整个窗口b的30％，则调整绘制帧率，使视频信号窗口a和b的绘制帧率为80％/(80％+70％),70％/(80％+70％)。
根据本发明的另一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来进一步确定每个视频信号窗口的绘制帧率。例如，如果一个视频信号窗口中未被遮挡部分位于屏幕左下角，则可以适当再调低绘制帧率，如果一个视频信号窗口中未被遮挡部分位于屏幕正中心位置，则可以适当再调高绘制帧率。
S2.视频接收端将绘制帧率信息发送至对应的视频发送端，以使对应的视频发送端根据绘制帧率信息中的绘制帧率控制图像编码速率和图像帧发送速率。
如前所述，每个视频信号窗口根据其被遮挡比例的不同，可能有不同的绘制帧率，因此，将各绘制帧率对应的信息发送至对应的视频发送端，以便视频发送端相应地控制图像编码速率和图像发送速率，例如使图像编码速率和发送速率这两者和所述绘制帧率匹配。
S3.视频发送端接收所述绘制帧率信息，并根据绘制帧率信息控制图像编码速率和图像帧发送速率，以及向视频接收端发送图像帧。
所述绘制帧率信息包括所述绘制帧率的值，视频发送端可以根据该值以相应的编码速率编码图像，以及以相应的速率向视频接收端发送图像帧；根据本发明的一些实施例，所述绘制帧率还可以包括其他视频信号的绘制帧率，以便视频发送端可以实时了解其他视频发送端对应的视频信号的绘制情况及其自身帧率下调或上升的原因。
S4.视频接收端接收视频发送端发送的图像帧，根据所述图像帧的接收帧率将图像帧绘制到对应的显示窗口中。
图4示出根据本发明一些实施例的视频传输系统的示意性简化框图。图5示出涉及视频传输系统的视频发送端和接收端的泳道图。
如图4所示，所述视频传输系统包括视频发送端(56，57)和视频接收端54。视频发送端和视频接收端网络连接，图中所示为通过交换机55来连接。
视频发送端可以是所述视频信号可以来自网络摄像机、网络传感设备、网络智能显示和/或控制设备、网络计算设备、移动设备，或其他信号源；视频发送端在输出视频信号前先对视频信号进行编码，然后将编码后的内容发送至交换机，并经由交换机发送至视频接收端54。
图4中显示为通过交换机实现视频发送端和接收端之间的通信，根据实际需要，也可以通过服务器或其他网络结构实现视频发送端和视频接收端的通信连接。
视频接收端54将视频发送端56和57分别发送的视频信号绘制在屏幕6的视频信号窗口51和52内。根据本发明的一些实施例，所述视频接收端54可以为显示控制系统。显示控制系统用于控制输入信号在显示屏幕上的显示效果，例如，分屏显示各个信号，整屏显示其中一个信号，信号之间互相拼接后再输出显示，对输入信号进行局部裁剪后再输出显示等等。鉴于显示控制系统已广为本领域技术人员所熟知，故此处不再展开说明。
根据本发明的一些实施例，所述视频接收端或显示控制系统可以包括拼接控制器。视频发送端发送的内容通过拼接控制器后输出至屏幕6。显示控制系统可以包括分布式拼接系统中的图像拼接控制中心，视频发送端发送的内容通过图像拼接控制中心后输出至多个解码盒，各个解码盒将其收到的内容解码后输出至对应屏幕，对于这种情况，可以将图像控制中心和各个解码盒视为一个可以控制视频信号窗口内的图像绘制速度的整体，因此，本发明的各种描述也同样适用于该分布式拼接控制系统。
以下参考图5对视频发送端和接收端的工作流程作进一步介绍。
如图中所示，视频接收端根据用户最后一次调整的窗口布局来显示窗口(S51)，并据此计算各个视频信号窗口被遮挡的比例(S52)，根据各个视频信号窗口被遮挡的比例，确定需要绘制的帧率(S53)，并将绘制帧率信息发送到对应的视频发送端(S54)。
视频发送端等待接收来自视频接收端的绘制帧率信息(S58)，并根据其中的帧率进行图像采集(S59)，根据帧率进行编码(S60)以及发送图像帧(S61)发送速率，并向视频接收端发送图像。在视频发送端不包含图像采集功能的情况下，可以根据所述帧率控制图像编码速率以及图像帧发送速率，并向视频接收端发送图像。当所述绘制帧率下调时，编码速率和发送速率相应降低，当绘制帧率升高时，编码速率和发送速率相应提高。所述编码速率和发送速率可以和绘制帧率完全一致或成比例地变化。
视频接收端接收图像帧(S55)，根据接收帧率进行解码(S56)，以及将图像帧绘制到对应的显示窗口中(S57)。
根据本发明的一些实施例，视频接收端也可以实时接收用户对窗口布局的调整操作，所述窗口布局包括各个窗口在屏幕上的分布位置，窗口大小和层叠关系。视频接收端可以实时计算各个视频信号窗口被遮挡的比例，根据各个视频信号窗口被遮挡的比例，计算绘制帧率，并将绘制帧率信息发送到对应的视频发送端，使视频发送端根据所述帧率进行图像采集，编码以及发送。
根据本发明的一些实施例，视频接收端可以只在绘制帧率发生变化时，将该绘制帧率信息发送至对应的视频发送端。
根据本发明的一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率，例如，如所述被遮挡比例为整个窗口的20％，则调整绘制帧率，使其仅为原帧率的80％(即，1-20％)。
根据本发明的另一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，所述被遮挡视频信号窗口的绘制帧率为低于正常帧率的但不为零的第二帧率；或者当被遮挡比例大于一阈值时，确定所述被遮挡视频信号窗口的绘制帧率为零；所述正常帧率为30帧/秒，所述第二帧率为1帧/秒。
根据本发明的另一些实施例，根据所述视频信号窗口的被遮挡比例确定所述视频信号窗口的绘制帧率包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。例如，如视频信号窗口a的被遮挡比例为整个窗口a的20％，视频信号窗口b的被遮挡比列为整个窗口b的30％，则调整绘制帧率，使视频信号窗口a和b的绘制帧率为80％/(80％+70％),70％/(80％+70％)。由此，当一个窗口调整后，使其他窗口内的绘制帧率也相应改变。与此相应，视频接收端将向各个窗口对应的视频发送端发送对应的绘制帧率信息，使各个视频发送端相应地调整其图像编码和发送速度。因此，可以最大化各个视频信号对通信链路的资源利用效率，降低带宽要求，避免拥堵，并降低接收端同时处理大量输入的视频信号的压力。
根据本发明的另一些实施例，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来进一步确定每个视频信号窗口的绘制帧率。例如，如果一个视频信号窗口中未被遮挡部分位于屏幕左下角，则可以适当再调低绘制帧率，如果一个视频信号窗口中未被遮挡部分位于屏幕正中心位置，则可以适当再调高绘制帧率。
根据本发明的一些实施例，所述视频接收端也可以在发送绘制帧率信息的同时，向视频发送端发送帧率调整命令，使得视频发送端根据所述帧率调整命令相应地调整编码速率和发送速率。或者，视频发送端可以预先设置为一旦接收到绘制帧率信息，则读取该绘制帧率信息，并相应地调整编码速率和控制视频发送帧率。
根据本发明的一些实施例，所述视频发送端和视频接收端可以包括以下实施例中所示的视频发送端和接收端。
此外，前面围绕图1-3展开的各方法实施例的实施细节也适用于图4-5所涉及的实施例，此处不再赘述。
图6所示为根据本发明一些实施例的视频接收端的示意性简化框图。
所述视频接收端包括解码单元21、计算单元22、图像存储单元23、帧率汇报单元24和解码单元25；
解码单元25，用于对接收的视频进行解码，例如，当视频信号通过网络途径传输至视频接收端时，所述视频接收端的解码单元将先对该网络流信号格式的视频进行解码，以获取图像。
图像存储单元23用于存储要被绘制成视频的多组图像帧数据。其中，所述的多组指的是至少两组。如图2示出的为三组图像帧数据，第一组图像帧数据可以包括100帧图像，第二组图像帧数据可以包括200帧图像，第三组图像帧数据可以包括150帧图像。
所述计算单元22用于计算每个视频信号窗口的被遮挡比例。计算每个视频信号窗口的被遮挡比例包括实时计算每个视频信号窗口的被遮挡比例或者根据用户对视频信号窗口的调整动作实时计算所述被遮挡比例，或者定时计算每个视频信号窗口的被遮挡比例。
所述计算单元22还用于根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率；所述计算单元22还将绘制帧率信息发送至帧率汇报单元24，由帧率汇报单元24将绘制帧率信息发送至每个视频所来自的信号源或视频发送端。
所述绘制单元21用于根据所述图像接收帧率将各组图像帧数据绘制成相应的视频。绘制的过程包括根据接收到的图像帧的接收帧率将每组中的帧图像绘制到相应的视频信号窗口中。
根据本发明的另一些实施例，所述计算单元22根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率，例如，如所述被遮挡比例为整个窗口的20％，则调整绘制帧率，使其仅为原帧率的80％(即，1-20％)。由此，可以根据实际需要，在兼顾用户对视频信号窗口的信息获取精细度的同时，有效地节约视频处理资源。
根据本发明的另一些实施例，所述计算单元22根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，将所述被遮挡视频信号窗口的绘制帧率计算为低于正常帧率的但不为零的第二帧率；或者当被遮挡比例大于一阈值时，确定所述被遮挡视频信号窗口的绘制帧率为零；所述正常帧率为30帧/秒，所述第二帧率为1帧/秒。由此可以使用户能实时把握视频内容的变化趋势，但同时又尽可能地节约了处理资源。
根据本发明的另一些实施例，根据所述视频信号窗口的被遮挡比例确定所述视频信号窗口的绘制帧率包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。
根据本发明的另一些实施例，所述计算单元根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来进一步确定每个视频信号窗口的绘制帧率。例如，如果一个视频信号窗口中未被遮挡部分位于屏幕左下角，则可以适当再调低绘制帧率，如果一个视频信号窗口中未被遮挡部分位于屏幕正中心位置，则可以适当再调高绘制帧率。
所述帧率汇报单元24用于将绘制帧率信息发送至对应的视频发送端，使视频发送端根据所述绘制帧率信息中的绘制帧率发送视频信号。根据本发明的一些实施例，可以实时地将视频信号窗口的绘制帧率信息发送给对应的视频发送端，或者为节约处理资源，仅在绘制帧率有调整的情况下，将调整后的绘制帧率信息发送给对应的视频发送端，以使视频发送端根据最新的绘制帧率发送视频。
视频发送端(图中未示出)接收绘制帧率信息，并根据绘制帧率信息相对应地进行编码和发送视频或图像帧。
图7所示为根据本发明一些实施例的视频发送端的示意性简化框图。
所述视频发送端包括编码单元61、帧率响应单元62和图像发送单元63。
帧率响应单元62用于接收视频接收端所发送的绘制帧率信息，并将其发送至编码单元61；编码单元61用于接收绘制帧率信息并根据绘制帧率对视频信号进行编码；图像发送单元63用于将编码后的视频信号按编码帧率发送到视频接收端。
根据本发明的一些实施例，图像发送单元63也可以接收帧率响应单元的绘制帧率信息，以便根据所述绘制帧率调整图像发送速率。
以上可以通过计算机程序中的一个功能模块来实现以上所述的各个单元的功能，所述各个单元或其组合的功能也可以通过一个个独立的硬件部件来实现。
本申请进一步提出一种用于视频传输的计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现所述的视频传输方法中的视频发送端的各个步骤。
本申请进一步提出一种用于视频传输的计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现所述的视频传输方法中的视频接收端的各个步骤。
本申请进一步提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项技术方案中的视频传输系统中的视频发送端的步骤。
本申请进一步提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项技术方案中的视频传输系统中的视频接收端的步骤。
基于前文的描述，本领域技术人员将明了如何实现相应的介质或用于视频传输的计算机设备，因此，此处不再具体展开描述。
通过本发明实施例的技术方案，可以在视频接收端CPU资源有限的情况下合理地节省CPU的占用率，大大提高了CPU的图像绘制速度；降低视频发送端的编码资源的占用率；降低网络上的编码信号的传输量，避免网络拥堵以及视频播放卡顿和迟滞现象；此外，由于实时传输到视频接收端的网络流信号量降低，因而也进一步降低了视频接收端需要实时解码的量，降低了视频接收端的解码压力。
Claims (10)
1.视频传输系统，包括：
视频接收端和至少两个视频发送端，所述视频接收端和视频发送端网络连接；
视频接收端计算每个视频信号窗口的被遮挡比例，以及根据所述每个视频信号窗口的被遮挡比例确定绘制帧率，并将每个视频信号窗口的绘制帧率信息发送至每个视频信号窗口的视频所对应的视频发送端；
视频发送端接收绘制帧率信息，并根据所述绘制帧率信息中的绘制帧率控制图像编码速率以及图像帧发送速率，并向视频接收端发送图像帧；
视频接收端接收所述图像帧，并根据接收图像的接收帧率将所述图像帧绘制到对应的视频信号窗口中。
2.根据权利要求1所述的视频传输系统，其中，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率；或者
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，使所述被遮挡视频信号窗口的绘制帧率为低于正常帧率的但不为零的第二帧率；或者，
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，确定所述被遮挡视频信号窗口的绘制帧率为零；或者，
根据所述视频信号窗口的被遮挡比例确定所述视频信号窗口的绘制帧率，包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。
3.根据权利要求1或2所述的视频传输系统，其中，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来确定每个视频信号窗口的绘制帧率。
4.根据权利要求1或2所述的视频传输系统，其中，所述视频信号来自网络摄像机、网络智能显示和/或控制设备、网络计算设备、移动设备。
5.根据权利要求1或2所述的视频传输系统，其中，所述视频接收端包括显示控制系统，所述显示控制系统包括拼接控制器和分布式拼接显示系统。
6.视频传输方法，包括：
S1.计算至少两个视频信号窗口的被遮挡比例，以及根据每个视频信号窗口的被遮挡比例，确定每个视频信号窗口的绘制帧率；
S2.将绘制帧率信息发送至对应的视频发送端，以使对应的视频发送端根据绘制帧率信息中的绘制帧率控制图像编码速率和图像帧发送速率；
S3.接收视频发送端发送的图像帧，根据所述图像帧的接收帧率将图像帧绘制到对应的显示窗口中。
7.视频传输方法，包括：
S1.视频接收端计算至少两个视频信号窗口的被遮挡比例，以及根据每个视频信号窗口的被遮挡比例，确定每个视频信号窗口的绘制帧率；
S2.视频接收端将绘制帧率信息发送至对应的视频发送端，以使对应的视频发送端根据绘制帧率信息中的绘制帧率控制图像编码速率和图像帧发送速率；
S3.视频发送端接收所述绘制帧率信息，并根据绘制帧率信息控制图像编码速率和图像帧发送速率，以及向视频接收端发送图像帧；
S4.视频接收端接收视频发送端发送的图像帧，根据所述图像帧的接收帧率将图像帧绘制到对应的显示窗口中。
8.根据权利要求6或7所述的方法，其中，根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括：依据绘制帧率与被遮挡比例成反比关系来计算视频信号窗口的绘制帧率；或者
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，使所述被遮挡视频信号窗口的绘制帧率为低于正常帧率的但不为零的第二帧率；或者，
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，当被遮挡比例大于一阈值时，确定所述被遮挡视频信号窗口的绘制帧率为零；或者
根据所述每个视频信号窗口的被遮挡比例确定每个视频信号窗口的绘制帧率，包括，根据所述视频信号窗口的被遮挡比例相对于所有视频信号窗口的被遮挡比例，来确定所述视频信号窗口的绘制帧率。
9.根据权利要求6或7所述的方法，其中，还包括进一步结合每个视频信号窗口中未被遮挡部分在视频所在的整个显示屏幕中的位置，来确定每个视频信号窗口的绘制帧率。
10.根据权利要求6或7所述的方法，其中，计算每个视频信号窗口的被遮挡比例包括，实时计算每个视频信号窗口的被遮挡比例或者根据用户对视频信号窗口的调整动作实时计算所述被遮挡比例，或者定时计算每个视频信号窗口的被遮挡比例。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010812807.0A CN111901664A (zh) | 2020-08-13 | 2020-08-13 | 视频传输系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010812807.0A CN111901664A (zh) | 2020-08-13 | 2020-08-13 | 视频传输系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111901664A true CN111901664A (zh) | 2020-11-06 |
Family
ID=73230310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010812807.0A Pending CN111901664A (zh) | 2020-08-13 | 2020-08-13 | 视频传输系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111901664A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102340792A (zh) * | 2010-07-22 | 2012-02-01 | 上海贝尔股份有限公司 | 一种切换方法及设备 |
| US20130004179A1 (en) * | 2011-07-01 | 2013-01-03 | Certusview Technologies, Llc | Neighborhood node mapping methods and apparatus for ingress mitigation in cable communication systems |
| CN110933493A (zh) * | 2018-12-03 | 2020-03-27 | 北京仁光科技有限公司 | 视频绘制系统、方法及计算机可读存储介质 |
| CN111432251A (zh) * | 2020-04-26 | 2020-07-17 | 浙江宇视科技有限公司 | 视频处理方法、装置、电子设备及介质 |
-
2020
- 2020-08-13 CN CN202010812807.0A patent/CN111901664A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102340792A (zh) * | 2010-07-22 | 2012-02-01 | 上海贝尔股份有限公司 | 一种切换方法及设备 |
| US20130004179A1 (en) * | 2011-07-01 | 2013-01-03 | Certusview Technologies, Llc | Neighborhood node mapping methods and apparatus for ingress mitigation in cable communication systems |
| CN110933493A (zh) * | 2018-12-03 | 2020-03-27 | 北京仁光科技有限公司 | 视频绘制系统、方法及计算机可读存储介质 |
| CN111432251A (zh) * | 2020-04-26 | 2020-07-17 | 浙江宇视科技有限公司 | 视频处理方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10904408B2 (en) | Picture file processing method, device, and computer storage medium | |
| CN102457544B (zh) | 基于互联网的屏幕共享系统中用于采集屏幕图像的方法和系统 | |
| CN103248964B (zh) | 基于rtp/rtcp的车载视频传输系统 | |
| CN101640784A (zh) | 一种在视频会议系统中控制多画面复合的控制装置及方法 | |
| US20210409685A1 (en) | Video encoding method, video decoding method, and related apparatuses | |
| WO2021057705A1 (zh) | 视频编解码方法和相关装置 | |
| US20220210469A1 (en) | Method For Transmitting Video Picture, Device For Sending Video Picture, And Video Call Method And Device | |
| CN111901663A (zh) | 视频传输系统、方法及计算机可读存储介质 | |
| US11979577B2 (en) | Video encoding method, video decoding method, and related apparatuses | |
| CN114786040A (zh) | 数据通信方法、系统、电子设备和存储介质 | |
| US11943473B2 (en) | Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device | |
| CN111901664A (zh) | 视频传输系统及方法 | |
| US11902517B2 (en) | Method and system for adaptive cross-component filtering | |
| US11849127B2 (en) | Video encoding method, video decoding method, and related apparatuses | |
| KR20010111353A (ko) | 화질 열화를 줄인 데이터 레이트 감소장치 및 방법 | |
| CN115150367A (zh) | 一种数据分层传输方法、装置及系统 | |
| US20220078454A1 (en) | Video encoding method, video decoding method, and related apparatuses | |
| CN111327863A (zh) | 一种视频通话处理方法及装置 | |
| CN106101739A (zh) | 一种基于数模混合的大数据辅助视频传输方法 | |
| CN112788193A (zh) | 图像传输方法、装置、电子设备及存储介质 | |
| KR100363550B1 (ko) | 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치 | |
| KR20190081413A (ko) | 영상을 송수신하는 장치 및 방법 | |
| CN113160342B (zh) | 基于反馈的编码方法及装置、存储介质、电子设备 | |
| KR101251879B1 (ko) | 멀티미디어 클라우드 시스템에서 화면변화에 따른 광고영상 출력 장치 및 방법 | |
| JP6826439B2 (ja) | 映像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201106 |
|
| WD01 | Invention patent application deemed withdrawn after publication |